WO2020152758A1 - 内視鏡装置及び内視鏡システム - Google Patents

内視鏡装置及び内視鏡システム Download PDF

Info

Publication number
WO2020152758A1
WO2020152758A1 PCT/JP2019/001712 JP2019001712W WO2020152758A1 WO 2020152758 A1 WO2020152758 A1 WO 2020152758A1 JP 2019001712 W JP2019001712 W JP 2019001712W WO 2020152758 A1 WO2020152758 A1 WO 2020152758A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis unit
unit
analysis
result
inspection
Prior art date
Application number
PCT/JP2019/001712
Other languages
English (en)
French (fr)
Inventor
光隆 木村
大和 神田
明広 窪田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201980087618.7A priority Critical patent/CN113271839B/zh
Priority to PCT/JP2019/001712 priority patent/WO2020152758A1/ja
Priority to JP2020567685A priority patent/JP7189969B2/ja
Publication of WO2020152758A1 publication Critical patent/WO2020152758A1/ja
Priority to US17/378,080 priority patent/US20210338042A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00062—Operational features of endoscopes provided with means for preventing overuse

Definitions

  • the present invention relates to an endoscope device and an endoscope system.
  • Endoscopes have been widely used in the medical and industrial fields.
  • an operator can find and identify a lesion by looking at an endoscopic image of the inside of the subject displayed on the display device, and perform processing using the treatment tool on the lesion.
  • an image processing apparatus that attaches a marker such as a frame to highlight the lesion detected from the endoscopic image is generally used. Is widely known.
  • Japanese Patent Laid-Open No. 2006-255021 proposes a technique of temporally changing the display intensity based on the display period in order to prevent the lesion candidate region from being overlooked.
  • Japanese Patent Laid-Open No. 2017-039364 discloses a technique of analyzing a user's drowsiness state and changing a display method so as to reduce drowsiness (fatigue), thereby suppressing a driving operation error of the user. ing.
  • the present invention provides an endoscope apparatus and an endoscope system that can prevent a lesion candidate region from being overlooked by changing the display method according to the state of the user without changing the observation image itself.
  • the purpose is to do.
  • An endoscope apparatus includes an input unit that inputs an observation image of a subject or inputs the observation image and system information, a detection unit that detects a lesion candidate from the observation image, A risk estimation unit that estimates a risk of deterioration of inspection quality from an observation image or system information, a notification control unit that controls a notification mode of a lesion candidate from a risk estimation result of the risk estimation unit, and the control unit according to the control of the notification control unit. And a notification output unit that notifies the lesion candidate.
  • An endoscope system includes an endoscope that images a subject and outputs an image pickup signal, a video processor that generates an observation image based on the image pickup signal of the endoscope, and the video processor. From the observation image or the system information, the input unit that inputs the observation image from the observation image or the input unit that inputs the observation image and the system information, the detection unit that detects the lesion candidate from the observation image, and the estimation risk of the inspection quality deterioration from the observation image or the system information. A risk estimation unit, a notification control unit that controls the notification mode of the lesion candidate from the risk estimation result of the risk estimation unit, and a notification output unit that notifies the lesion candidate according to the control of the notification control unit. To do.
  • FIG. 3 is a diagram showing a configuration of a main part of an endoscope system including the endoscope device according to the first embodiment.
  • 2 is a block diagram showing an example of a specific configuration of the image processing device 40 in FIG. 1.
  • 3 is a flowchart for explaining the first embodiment.
  • 9 is a flowchart for explaining the operation of the second embodiment.
  • 9 is a flowchart for explaining the operation of the second embodiment.
  • 9 is a flowchart for explaining the operation of the second embodiment.
  • 9 is a flowchart for explaining the operation of the second embodiment.
  • 9 is a flowchart for explaining the operation of the second embodiment.
  • the block diagram which shows the 3rd Embodiment of this invention The flowchart for demonstrating operation
  • the block diagram which shows the 4th Embodiment of this invention The flowchart for demonstrating operation
  • the block diagram which shows the 5th Embodiment of this invention The flowchart for demonstrating operation
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including the endoscope device according to the first embodiment.
  • the present embodiment for example, by analyzing the history of the user, the inspection situation, etc., the situation (risk) in which the inspection quality is likely to deteriorate is determined, and according to this determination, the display method of To make changes. Thereby, in the present embodiment, for example, it is possible to prevent the user from overlooking the lesion candidate, and there is an effect that the inspection quality is improved.
  • the endoscope system 1 is configured to include a light source driving device 11, an endoscope 21, a video processor 31, an image processing device 40, and a display device 95. ..
  • the light source driving device 11 is configured to include a drive circuit, for example. Further, the light source driving device 11 is connected to the endoscope 21 and the video processor 31. Further, the light source drive device 11 generates a light source drive signal for driving the light source unit 23 of the endoscope 21 based on the light source control signal from the video processor 31, and the generated light source drive signal is used by the endoscope 21. It is configured to output to.
  • the endoscope 21 is connected to the light source driving device 11 and the video processor 31.
  • the endoscope 21 is configured to have an elongated insertion portion 22 that can be inserted into the body cavity of the subject.
  • a light source unit 23 and an image pickup unit 24 are provided at the tip of the insertion unit 22.
  • the light source unit 23 is configured to include a light emitting element such as a white LED. Further, the light source unit 23 is configured to generate illumination light by emitting light in accordance with a light source drive signal output from the light source drive device 11, and to emit the generated illumination light to a subject such as a biological tissue. There is.
  • the image pickup unit 24 is configured to have an image sensor such as a color CCD or a color CMOS, for example. Further, the image pickup unit 24 is configured to perform an operation according to the image pickup control signal output from the video processor 31.
  • the imaging unit 24 also receives the reflected light from the subject illuminated by the illumination light from the light source unit 23, images the received reflected light to generate an imaging signal, and generates the imaging signal by the video processor. It is configured to output to 31.
  • the video processor 31 is connected to the light source drive device 11 and the endoscope 21.
  • the video processor 31 is also configured to generate a light source control signal for controlling the light emitting state of the light source unit 23 and output the light source control signal to the light source driving device 11.
  • the video processor 31 is also configured to generate and output an image pickup control signal for controlling the image pickup operation of the image pickup unit 24.
  • the video processor 31 generates an observation image of the subject by performing a predetermined process on the image pickup signal output from the endoscope 21. Then, the generated observed image is subjected to emphasis processing and white balance correction processing, and then sequentially output to the image processing apparatus 40 frame by frame.
  • the image processing device 40 is configured to include an electronic circuit such as an image processing circuit. Further, the image processing device 40 is configured to generate a display image based on the observed image output from the video processor 31 and perform an operation for displaying the generated display image on the display device 95. There is.
  • the display device 95 includes a monitor and the like, and is configured to display a display image output from the image processing device 40.
  • FIG. 2 is a block diagram showing an example of a specific configuration of the image processing device 40 in FIG.
  • the image processing device 40 includes an input unit 50, a diagnosis support unit 60, a risk estimation unit 70, a notification control unit 80, and a notification output unit 90. ..
  • the diagnosis support unit 60, the risk estimation unit 70, and the notification control unit 80 may be configured by a processor using a CPU, an FPGA, or the like, and operate according to a program stored in a memory (not shown) to control each unit. It may be one that realizes a part or all of the functions by an electronic circuit of hardware.
  • the input unit 50 captures the observation image input from the video processor 31 and outputs it to the diagnosis support unit 60. Further, the input unit 50 may be adapted to take in system information from the video processor 31.
  • the system information may be included in the header information of the observation image and input, or may be input as data different from the observation image. In the present embodiment, the system information includes information indicating the history of the user and the inspection status.
  • the input unit 50 outputs the input observation image to the diagnosis support unit 60 and the risk estimation unit 70. Further, when the system information is input separately from the observation image, the input unit 50 outputs the input system information to the risk estimation unit 70.
  • the diagnosis support unit 60 is configured to detect a lesion candidate based on the input observation image by a known method.
  • the diagnosis support unit 60 outputs information on the detected lesion part candidate to the notification control unit 80.
  • the notification control unit 80 is provided with the observation image from the input unit 50 and the information of the lesion candidate from the diagnosis support unit 60, and the detection result of the lesion candidate detected by the diagnosis support unit 60 in the observation image.
  • the information for notifying is generated.
  • the notification control unit 80 outputs the generated information to the notification output unit 90.
  • the notification output unit 90 notifies the user of the detection result of the lesion site candidate based on the information from the notification control unit 80. For example, the notification output unit 90 notifies the user of the detection result of the lesion site candidate by image notification, audio notification, or the like.
  • the notification control unit 80 when the notification output unit 90 performs an image notification, the notification control unit 80 generates information for displaying an image (hereinafter, referred to as a detection marker) indicating the position of the lesion candidate on the observation image. And outputs to the notification output unit 90.
  • the notification output unit 90 generates a display image in which the image of the detection marker based on the information from the notification control unit 80 is combined with the observation image from the input unit 50.
  • the notification output unit 90 gives the generated display image to the display device 95 to display it on the display screen 95a.
  • the doctor or the like makes a final judgment by referring to the lesion site candidate detected by the diagnosis support unit 60 based on the observation image and the detection marker displayed on the display screen 95a of the display device 95.
  • the detection marker may be overlooked or attention may be reduced depending on the experience of a doctor or the like who observes the observation image and the degree of fatigue.
  • the same problem occurs when the notification is given by voice. For example, depending on the volume of the sound volume and the notification period, there are problems such as a hearing error, and a lack of attention due to voice.
  • the risk estimation unit 70 is provided in order to optimize the notification mode of the notification by the notification control unit 80 according to the user.
  • the risk estimation unit 70 estimates the risk that the inspection quality will deteriorate based on the observed image, and outputs the risk estimation result to the notification control unit 80.
  • the risk estimation unit 70 may use the system information to estimate the risk of inspection quality deterioration. That is, the risk estimation unit 70 estimates the risk based on at least one of the observed image and the system information.
  • the risk estimation unit 70 may use the analysis result of the user's fatigue level or experience level as the estimation result of the risk that the inspection quality deteriorates, based on the observed image and the system information.
  • the risk estimation unit 70 generates a risk estimation result for changing the notification mode so as to prevent oversight.
  • the risk estimation unit 70 estimates the risk that the inspection quality will deteriorate because the display mode of the detected marker is changed.
  • the notification control unit 80 optimizes the display form of the detection marker according to the user according to the risk estimation result.
  • an example of performing the notification using an image will be described, but the same control can be performed when the notification is performed by voice.
  • the notification control unit 80 is provided with the risk estimation result of the risk estimation unit 70, and changes the display form of the detection marker.
  • the notification control unit 80 allows the user to recognize the presence or absence of the detection of the lesion site candidate by displaying or not displaying the detection marker, and allows the user to recognize the position of the lesion site in the body based on the display position in the observed image.
  • the detection marker is displayed in the display form corresponding to the risk estimation result which is the analysis result of the user's fatigue level or experience level, for example, and it is possible to prevent oversight and improve the inspection quality.
  • FIG. 3 is a flow chart for explaining the first embodiment.
  • the endoscope 21 emits illumination light to a subject, receives reflected light from the subject, and images the received reflected light when the light source driving device 11 and the video processor 31 are powered on, for example. Then, the image pickup signal is generated, and the generated image pickup signal is output to the video processor 31.
  • the video processor 31 generates an observation image of the subject by performing a predetermined process on the image pickup signal output from the endoscope 21, and sequentially outputs the generated observation image to the image processing device 40 frame by frame. .. That is, the input unit 50 acquires an endoscopic image (observation image), which is a lumen image in the living body, from the video processor 31 (S1). System information may be included in the header information of the observed image. When the header information of the observed image does not include the system information, the input unit 50 may capture the system information separately from the observed image. The input unit 50 may be configured to capture only the observed image that does not include system information.
  • step S2 the diagnosis support unit 60 receives the observation image from the input unit 50, detects a lesion candidate from the observation image, and outputs the detection result to the notification control unit 80.
  • step S3 the risk estimation unit 70 estimates the risk that the inspection quality is deteriorated by receiving at least one of the observation image and the system information from the input unit 50.
  • the risk estimation unit 70 outputs the risk estimation result to the notification control unit 80.
  • steps S2 and S3 may be executed in the order of steps S3 and S2, or may be executed simultaneously.
  • the notification control unit 80 generates information for displaying a detection marker for identifying a lesion site candidate detected by the diagnosis support unit 60 on the observation image provided from the input unit 50.
  • the notification control unit 80 generates information for displaying the detection marker in the display form according to the risk estimation result by the risk estimation unit 70 (S4).
  • the notification output unit 90 displays the detection marker on the display screen 95a of the display device based on the information from the notification control unit 80 (S5).
  • the risk that the inspection quality is deteriorated is estimated, and the display method is changed according to the estimation result in order to suppress the deterioration of the inspection quality. Thereby, the inspection quality can be improved.
  • FIG. 4 is a block diagram showing the second embodiment of the present invention.
  • the endoscope system of this embodiment is different from that of FIG. 1 in that an image processing device 41 is used instead of the image processing device 40.
  • FIG. 4 shows an example of a specific configuration of the image processing device 41.
  • the present embodiment is an example in which the risk of deterioration of inspection quality is estimated by analyzing the user's fatigue level.
  • the configuration of the input unit 50 in FIG. 4 is the same as that in FIG. In the present embodiment, an example will be described in which the display control unit 81 is adopted as a specific example of the notification control unit 80 and the display output unit 91 is adopted as a specific example of the notification output unit 90.
  • the input unit 50 outputs the observation image to the diagnosis support unit 60 and the display control unit 81.
  • the input unit 50 also outputs at least one of the observation image and the system information to the risk estimation unit 70.
  • the display output unit 91 causes the display image from the display control unit 81 to be displayed on the display screen 95a of the display device 95.
  • the diagnosis support unit 60 has a lesion candidate detection unit 61.
  • the lesion site candidate detection unit 61 is configured to detect a lesion site candidate included in the observation image sequentially output from the input unit 50.
  • the lesion candidate detection unit 61 performs, from the observation image, a process of applying an image discriminator, which has acquired a function capable of discriminating the lesion candidate in advance by a learning method such as deep learning, to the observation image, for example.
  • a lesion candidate is detected.
  • the detection of the lesion candidate is not limited to the learning method described above, and another method may be used.
  • the polyp candidate detection processing disclosed in Japanese Patent Laid-Open No. 2007-244518 may be used.
  • the lesion site candidate detection unit 61 determines an area (hereinafter referred to as a lesion site candidate area) on the observed image of the detected lesion site candidate, and displays information indicating the lesion site candidate area as a detection result of the lesion site candidate.
  • the data is output to the section 81.
  • the display control unit 81 has a detection marker information generation unit 82.
  • the detection marker information generation unit 82 is provided with information indicating the lesion candidate region and allows the user to recognize the presence of the lesion candidate detected by the diagnosis support unit 60, for example, the lesion candidate in the observed image.
  • the information for generating the image (detection marker) surrounding the area is generated and output to the display output unit 91.
  • the display output unit 91 has an image combining unit 92.
  • the image combining unit 92 generates a display image in which the detection marker is superimposed on the observation image from the input unit 50 based on the information from the display control unit 81, and outputs the display image to the display device 95.
  • the detection marker generated by the information of the detection marker information generation unit 82 has a form necessary for making the user visually recognize the presence of the lesion candidate.
  • the shape of the detection marker may be a quadrangle, a triangle, a circle, a star, or the like, or may be any other shape.
  • the detection marker may be an image that does not surround the lesion candidate as long as it can indicate the presence and position of the lesion candidate.
  • the detection marker information generation unit 82 may generate a message indicating a lesion as support information and display it in the form of a pop-up message or the like near the lesion to indicate its presence.
  • the detection marker information generation unit 82 is configured to change the display form of the detection marker based on the risk estimation result from the risk estimation unit 70. That is, the detection marker information generation unit 82 changes the display form so that the presence of the lesion candidate is easily recognized and the observation image is not disturbed as much as possible.
  • the risk estimation unit 70 controls the change of the display form by the detection marker information generation unit 82 according to the risk estimation result based on the analysis of the fatigue level of the user.
  • the risk estimation unit 70 has a fatigue degree analysis unit 71.
  • the fatigue level analysis unit 71 analyzes the user's fatigue level and obtains an analysis result.
  • the risk estimation unit 70 may use the analysis result of the fatigue degree analysis unit 71 as the risk estimation result.
  • the fatigue degree analysis unit 71 is configured by the operation log analysis unit 73.
  • the operation log analysis unit 73 analyzes the operation log of the endoscope 21 to analyze the user's fatigue level.
  • the operation log analysis unit 73 includes a holding change number analysis unit 73a and a twist number analysis unit 73b.
  • the holding pattern number analysis unit 73a is configured to analyze the number of holding patterns of the endoscope 21 based on the operation log of the endoscope 21. For example, the holding pattern number analysis unit 73a obtains the number of times the user holds the insertion unit 22 of the endoscope 21 in the arbitrary period acquired by a predetermined method. The user's action of holding the insertion portion 22 changes, for example, as the observation image shakes because the user's hand moves away from the insertion portion 22. For example, the cross-holding number analysis unit 73a analyzes that the user holds the insertion unit 22 by detecting such a change in the observation image by image analysis of the observation image, and acquires the number of times. May be.
  • the risk estimation unit 70 may analyze the number of times of holding by acquiring the output of such an acceleration sensor as system information.
  • the information on the period including the arbitrary period can be obtained by various methods.
  • the image processing device 40 and each of the image processing devices described below may acquire the set period from a device such as a timer or a sensor (not shown), or may acquire from the information of the photographing time included in the image information, It may also be acquired from system information based on user settings.
  • the twist number analysis unit 73b is configured to analyze the twist number of the endoscope 21 based on the operation log of the endoscope 21.
  • the twisting frequency analysis unit 73b includes a timer (not shown), and calculates the number of times the user has twisted the insertion unit 22 of the endoscope 21 in an arbitrary period.
  • the action of the user who twists the insertion portion 22 appears as a change in rotation of the observation image because the insertion portion 22 rotates.
  • the twist number analysis unit 73b detects that such a change in the observation image by image analysis is performed on the observation image, analyzes that the user has twisted the insertion unit 22, and acquires the number of times. May be.
  • the risk estimation unit 70 may analyze the number of twists by acquiring the output of such a gyro sensor as system information.
  • the fatigue degree analysis unit 71 analyzes the fatigue degree of the user according to at least one of the number of times of change of holding determined by the number of holding times analysis unit 73a and the number of twists determined by the number of twisting analysis unit 73b, and the analysis result is a risk estimation result.
  • the fatigue degree analysis unit 71 may determine that the fatigue degree is higher as the number of times the user changes the holding or twisting of the endoscope 21 is higher, and may estimate that the risk of deterioration of inspection quality is increased.
  • the risk estimating unit 70 may determine that the fatigue degree is lower as the number of times the user changes the holding or twisting of the endoscope 21 is lower, and may estimate that the risk of deterioration of inspection quality is lower.
  • the risk estimation result based on the user's fatigue level from the risk estimation unit 70 is supplied to the display control unit 81.
  • the operation log analysis unit 73 has been described as an example in which the operation log count analysis unit 73a and the twist count analysis unit 73b are described, but either the change count analysis unit 73a or the twist count analysis unit 73b. You may comprise by either one.
  • FIG. 5 is a block diagram showing an example of a specific configuration of the detection marker information generation unit 82.
  • FIG. 5 shows an example in which the detected marker information generation unit 82 is configured by the display time control unit 83 and the display content control unit 84.
  • the display time control unit 83 changes the display time of the detection marker based on the input risk estimation result.
  • the display time control unit 83 may set the display time according to the user's fatigue level indicated by the risk estimation result. For example, the display time can be lengthened as the user's fatigue level increases, and shortened as the user's fatigue level decreases.
  • the display content control unit 84 changes the display content (quality) of the detection marker based on the input risk estimation result.
  • the display content control unit 84 includes a color tone changing unit 84a and a display determination level changing unit 84b.
  • the color tone changing unit 84a changes the color tone of the detection marker based on the input risk estimation result.
  • the color tone changing unit 84a may set the color tone according to the degree of fatigue of the user indicated by the risk estimation result.
  • the color tone changing unit 84a may set the detection marker to a more noticeable color tone as the user's fatigue level increases.
  • the color tone changing unit 84a may set the brightness and saturation of the detection marker to be higher as the user's fatigue level is higher. In this case, the higher the user's fatigue level, the more noticeably the detected marker is displayed. Conversely, the lower the user's fatigue level, the more intuitively the detection marker can have a more natural color.
  • the display determination level changing unit 84b changes the display level of the detection marker display (hereinafter referred to as the display determination level) based on the input risk estimation result.
  • the display determination level will be described as being less likely to be displayed when it is lower and more likely to be displayed when it is higher. For example, even if the lesion candidate is the same, the detection marker may not be displayed if the display determination level is low, and may be displayed if the display determination level is high.
  • the display determination level changing unit 84b may determine the display determination level based only on the risk estimation result, but in the example of FIG. 5, the lesion analysis unit 85 is provided to determine the display determination level.
  • the lesion analysis unit 85 analyzes the properties of the lesion candidate detected by the lesion candidate detection unit 61.
  • the lesion analysis unit 85 analyzes whether or not the lesion candidate is easily overlooked.
  • the lesion analysis unit 85 is provided with information such as the shape, size, and color of the lesion site candidate from the lesion site candidate detection unit 61, and determines the degree of ease of oversight.
  • the display determination level changing unit 84b determines the display determination level based on the user's fatigue level and the degree of easy oversight indicated by the risk estimation result.
  • the display determination level is set to a higher value as the degree of oversight is higher, and the display determination level changing unit 84b is set to a higher value as the user's fatigue level is higher. ing. Therefore, according to the control of the display determination level changing unit 84b, the easier it is to overlook and the higher the degree of fatigue, the easier it is for the detected marker to be displayed. The more difficult it is for overlooking and the lower the degree of fatigue, the more difficult it is for the detected marker to be displayed.
  • FIGS. 6 to 10 are flowcharts for explaining the operation of the second embodiment.
  • FIG. 10 is an explanatory diagram for explaining a display example.
  • the endoscope 21 When the light source driving device 11 and the video processor 31 are powered on, the endoscope 21 emits illumination light to the subject, receives reflected light from the subject, images the received reflected light, and captures an image signal. Is generated and the generated image pickup signal is output to the video processor 31.
  • the video processor 31 generates an observation image of the subject by performing a predetermined process on the image pickup signal output from the endoscope 21, and sequentially outputs the generated observation image to the image processing device 41 frame by frame.
  • the input unit 50 acquires an endoscopic image (observation image) that is a lumen image in the living body from the video processor 31 (S1 in FIG. 3). Note that the observed image may include system information.
  • the input unit 50 outputs the acquired image to the diagnosis support unit 60 and the risk estimation unit 70.
  • the input unit 50 outputs the acquired system information to the risk estimation unit 70 when the system information is input separately from the observed image.
  • the lesion candidate detection unit 61 detects a lesion candidate from the observed image using a learning method such as deep learning (S2 in FIG. 3).
  • the lesion site candidate detection unit 61 determines a lesion site candidate region indicating a range in the image of the detected lesion site candidate, and outputs information indicating the lesion site candidate region to the display control unit 81 as a lesion site candidate detection result. To do.
  • the fatigue degree analysis unit 71 of the risk estimation unit 70 analyzes the fatigue degree of the user in step S31 of FIG.
  • the fatigue degree analysis unit 71 causes the operation log analysis unit 73 to analyze the operation log of the endoscope 21.
  • FIG. 7 shows a specific flow of the operation log analysis unit 73.
  • the operation log analysis unit 73 analyzes the number of holding times of the endoscope 21 by the holding number analysis unit 73a (S311). Further, the operation log analysis unit 73 analyzes the number of twists of the endoscope 21 by the number of twists analysis unit 73b (S312).
  • the steps S311 and S312 may be performed in reverse order for the number of times of changing patterns and the number of times of twisting, or only one of them may be analyzed.
  • the fatigue degree analysis unit 71 calculates the degree of fatigue based on the analyzed result of at least one of the number of holding changes and the number of twists (S313).
  • the fatigue degree analysis unit 71 outputs the calculated fatigue degree to the display control unit 81 as a risk estimation result.
  • the fatigue degree analysis unit 71 may use the number of times of analysis as the fatigue degree analysis result and output the fatigue degree analysis result as it is as the risk estimation result. In this case, it is estimated that the higher the number of times of analysis, the higher the fatigue level and the higher the risk of quality deterioration.
  • the detection marker information generation unit 82 of the display control unit 81 sets the form of the detection marker based on the input risk estimation result, and generates information for displaying the detection marker according to the setting. For example, the detection marker information generation unit 82 sets the display time based on the risk estimation result by the display time control unit 83 (S41 in FIG. 8). Further, the detected marker information generation unit 82 sets the display content based on the risk estimation result by the display content control unit 84 (S42 in FIG. 8). The settings in steps S41 and S42 may be performed in reverse order, or only one of them may be set.
  • FIG. 9 shows an example of a specific flow of step S42 in FIG.
  • the display content control unit 84 changes the color tone according to the risk estimation result by the color tone changing unit 84a (S421 in FIG. 9).
  • the color tone changing unit 84a sets the detection marker to a noticeable color tone.
  • the display content control unit 84 determines the display determination level by the display determination level changing unit 84b.
  • the display determination level changing unit 84b analyzes the property of the lesion candidate in step S422.
  • the display determination level changing unit 84b determines the display determination level based on the risk estimation result and the property of the lesion candidate (S423).
  • the display determination level changing unit 84b raises the display determination level for a lesion part candidate that is small in size and has a property that is easily overlooked so that it can be easily displayed.
  • the display determination level changing unit 84b further changes the display determination level according to the risk estimation result. For example, when the user's fatigue level is relatively high, the display determination level changing unit 84b further increases the display determination level to facilitate the display.
  • the steps S421, S423, and S423 may be set in reverse order, or only the step S421 may be set. Further, the display determination level changing unit 84b may determine the display determination level by changing the predetermined display determination level based on only the risk estimation result.
  • the detection marker information generation unit 82 generates information for displaying the detection marker based on at least one of the set display time, the set color tone, and the set display determination level, and the display output unit 91. Output to.
  • the image synthesis unit 92 of the display output unit 91 generates a display image in which the detection marker is superimposed on the observation image based on the information from the detection marker information generation unit 82, and gives it to the display device 95. As a result, the display device 95 displays the observation image on which the detection marker is superimposed on the display screen 95a.
  • FIG. 10 shows an example of an image displayed on the display screen 95 a of the display device 95.
  • Images 101a to 101c in FIG. 10 show three display examples of the detection marker when the risk estimation result is different for the same observation image 101.
  • a lesion part candidate 101a detected by the diagnosis support unit 60 is present in the observed image 101.
  • Detection markers 102 to 104 are displayed so as to surround the lesion site candidate 101a.
  • the detection marker 102 is a display example when the fatigue level is medium
  • the detection marker 103 is a display example when the fatigue level is high
  • the detection marker 104 is a display example when the fatigue level is extremely low.
  • the detection marker 103 is displayed with a thicker line than that of the detection marker 102, so that, for example, the display has a relatively long display time, a relatively noticeable color tone, and a display corresponding to a relatively high display determination level. Showing.
  • the line width of the frame of the detection marker and the type of the frame may be changed as shown in FIG.
  • the detection marker may be turned on and off according to the risk estimation result, and the blinking cycle may be changed according to the risk estimation result.
  • the detection marker 104 when the fatigue level is relatively low, the detection marker may be displayed by a broken line.
  • the risk of deterioration of inspection quality is estimated by analyzing the user's fatigue level, and the display form of the detection marker is changed based on the risk estimation result.
  • FIG. 11 is a block diagram showing the third embodiment of the present invention.
  • the endoscope system of this embodiment is different from that of FIG. 1 in that an image processing device 42 is used instead of the image processing device 40.
  • the image processing device 42 of FIG. 11 differs from that of FIG. 4 in that the fatigue degree analysis unit 71 is configured by the inspection status analysis unit 74.
  • the other configurations are similar to those of the second embodiment, and the description thereof will be omitted.
  • the present embodiment is an example of estimating the user's fatigue level by analyzing the inspection situation.
  • the inspection status analysis unit 74 analyzes the user's fatigue level by analyzing the status of the endoscopy.
  • the inspection status analysis unit 74 includes an inspection elapsed time analysis unit 74a and a continuous inspection number analysis unit 74b.
  • the inspection elapsed time analysis unit 74a is configured to analyze the inspection elapsed time. For example, the examination elapsed time analysis unit 74a obtains the time during which the user has performed the endoscopic examination in the arbitrary period acquired by the various methods described above. At the time of the endoscopic inspection, information for identifying the inspector such as the name of the inspector is input, and the inspection elapsed time analysis unit 74a can analyze the inspection elapsed time by the system information. .. Note that the observation image may include information specifying the inspector separately from the system information, and the inspection elapsed time analysis unit 74a can also analyze the inspection elapsed time of each user from the observation image.
  • one day, one week, one month, etc. can be set.
  • the fatigue level is considered to increase as the elapsed time increases.
  • the fatigue degree analysis unit 71 can analyze that the fatigue degree is higher as the inspection elapsed time obtained by the inspection elapsed time analysis unit 74a is longer, and the risk estimation unit 70 estimates that the risk of deterioration of inspection quality increases. be able to.
  • the continuous examination number analysis unit 74b analyzes the number of consecutive examinations of the endoscopic examination for each user.
  • the continuous inspection frequency analysis unit 74b can analyze the continuous inspection frequency for each user based on the system information. Further, the continuous inspection frequency analysis unit 74b can also analyze the continuous inspection frequency of each user from the observed image.
  • the degree of fatigue is different between the case where the same user performs the examination continuously and the case where the examination is performed by a plurality of users taking turns, It is considered that the fatigue level increases as the number of times the same user continuously performs the inspection.
  • the fatigue degree analysis unit 71 can analyze that the fatigue degree is higher as the number of continuous inspection times calculated by the continuous inspection number analysis unit 74b is higher, and the risk estimation unit 70 estimates that the risk of deterioration of inspection quality increases. be able to.
  • the inspection status analysis unit 74 is configured by the inspection elapsed time analysis unit 74a and the continuous inspection number analysis unit 74b has been described, but the inspection elapsed time analysis unit 74a or the continuous inspection number analysis unit 74b is described. You may comprise by either one of these.
  • FIG. 12 is a flow chart for explaining the operation of the third embodiment.
  • FIG. 12 shows an example of a specific flow different from that of FIG. 7 in step S31 of FIG.
  • the fatigue level analysis unit 71 of the risk estimation unit 70 analyzes the fatigue level of the user in step S31 of FIG.
  • the fatigue degree analysis unit 71 causes the examination situation analysis unit 74 to analyze the endoscopic examination situation of each user.
  • FIG. 12 shows an example of specific processing of the inspection status analysis unit 74.
  • the examination status analysis unit 74 analyzes the examination elapsed time of the endoscopic examination by the examination elapsed time analysis unit 74a (S314). Further, the examination status analysis unit 74 analyzes the number of consecutive examinations of the endoscopic examination by the consecutive examination number analysis unit 74b (S315).
  • the analysis in steps S314 and S315 may be performed in reverse order, or only one of them may be analyzed.
  • the fatigue level analysis unit 71 calculates the fatigue level based on the analyzed analysis result of at least one of the elapsed test time and the number of continuous tests (S316).
  • the fatigue degree analysis unit 71 outputs the calculated fatigue degree to the display control unit 81 as a risk estimation result. Note that the fatigue degree analysis unit 71 estimates that the longer the inspection elapsed time and the greater the number of continuous inspections, the higher the fatigue degree and the higher the risk of quality deterioration.
  • the detection marker information generation unit 82 of the display control unit 81 generates information for displaying the detection marker in the form corresponding to the risk estimation result.
  • a detection marker having a form corresponding to the user's fatigue level is displayed.
  • FIG. 13 is a block diagram showing the fourth embodiment of the present invention.
  • the endoscope system of the present embodiment differs from that of FIG. 1 in that an image processing device 43 is adopted instead of the image processing device 40.
  • the image processing device 43 of FIG. 13 differs from that of FIG. 4 in that the fatigue degree analysis unit 71 is configured by the biological information analysis unit 75.
  • the other configurations are similar to those of the second embodiment, and the description thereof will be omitted.
  • the present embodiment is an example of estimating the fatigue level of a user by analyzing biometric information.
  • the biometric information analysis unit 75 analyzes the biometric information to analyze the fatigue level of the user.
  • the biological information analysis unit 75 includes a blink frequency analysis unit 75a and a pulse rate analysis unit 75b.
  • the blink frequency analysis unit 75a is configured to analyze the number of blinks of the user.
  • a surgical field camera or the like is provided so that the user's face can be imaged. Images from these cameras are also input to the video processor 31, and the video processor 31 can obtain the number of blinks of the user by image analysis of the image captured by the user.
  • the video processor 31 can output the number of blinks of the user to the image processing device 43 as system information.
  • the blink frequency analysis unit 75a analyzes the blink frequency of the user based on the input system information. Although the example of acquiring the information on the number of blinks from the image has been described, it may be acquired from a device such as various sensors other than the image, or may be acquired from the system information.
  • the risk estimation unit 70 may be configured to capture a captured image of the user with a surgical field camera or the like.
  • the blink frequency analysis unit 75a can obtain the number of blinks of the user by performing image analysis on the captured image of the captured user.
  • the fatigue degree analysis unit 71 can analyze that the greater the number of blinks calculated by the blink number analysis unit 75a, the higher the fatigue degree, and the risk estimation unit 70 can estimate that the risk of deterioration of inspection quality increases. it can.
  • the pulse analysis unit 75b analyzes the pulse, body temperature, saturated oxygen amount, etc. for each user.
  • the pulse analysis unit 75b can perform these analyzes for each user based on the system information.
  • the fatigue level analysis unit 71 analyzes the user's fatigue level based on the analysis results of pulse rate, body temperature, saturated oxygen content, and the like.
  • the biological information analysis unit 75 has been described as an example in which the biological information analysis unit 75a and the pulse rate analysis unit 75b are configured, but either the blink frequency analysis unit 75a or the pulse rate analysis unit 75b is used. You may comprise by.
  • FIG. 14 is a flow chart for explaining the operation of the fourth embodiment.
  • FIG. 14 shows an example of a specific flow different from that of FIG. 7 in step S31 of FIG.
  • the fatigue level analysis unit 71 of the risk estimation unit 70 analyzes the fatigue level of the user in step S31 of FIG.
  • the fatigue degree analysis unit 71 causes the biometric information analysis unit 75 to analyze the biometric information of each user.
  • FIG. 14 shows an example of specific processing of the biometric information analysis unit 75.
  • the biological information analysis unit 75 analyzes the number of blinks by the blink number analysis unit 75a (S317). Further, the examination status analysis unit 74 analyzes the user's pulse, body temperature, saturated oxygen amount, etc. by the pulse analysis unit 75b (S318).
  • the analysis in steps S317 and S318 may be performed in reverse order, or only one of them may be analyzed.
  • the fatigue degree analysis unit 71 calculates the fatigue degree based on the analyzed result of at least one of the number of blinks and the pulse rate (S319).
  • the fatigue degree analysis unit 71 outputs the calculated fatigue degree to the display control unit 81 as a risk estimation result.
  • the fatigue degree analysis unit 71 estimates that the greater the number of blinks, the higher the degree of fatigue and the higher the risk that the inspection quality will deteriorate.
  • the fatigue level analysis unit 71 may calculate the fatigue level based on changes during the user's examination, or may store and store normal information for each user. The fatigue level may be calculated by comparison with the information.
  • the detection marker information generation unit 82 of the display control unit 81 generates information for displaying the detection marker in the form corresponding to the risk estimation result.
  • a detection marker having a form corresponding to the user's fatigue level is displayed.
  • the fatigue level analysis unit 71 including at least one of the pulse rate analysis unit 75b and the pulse rate analysis unit 75b may be adopted to analyze the fatigue level of the user.
  • FIG. 15 is a block diagram showing the fifth embodiment of the present invention.
  • the endoscope system of the present embodiment differs from that of FIG. 1 in that an image processing device 44 is used instead of the image processing device 40.
  • FIG. 15 shows an example of a specific configuration of the image processing device 44.
  • the image processing device 44 of FIG. 15 differs from that of FIG. 4 in that the risk estimation unit 70 employs an experience level analysis unit 72 instead of the fatigue degree analysis unit 71.
  • the other configurations are similar to those of the second embodiment, and the description thereof will be omitted.
  • the present embodiment is an example of estimating the risk of deterioration of inspection quality by analyzing the experience level of the user.
  • the risk estimation unit 70 has an experience level analysis unit 72.
  • the experience level analysis unit 72 analyzes the experience level of the user and obtains an analysis result.
  • the risk estimation unit 70 may use the analysis result of the experience level analysis unit 72 as the risk estimation result.
  • the experience level analysis unit 72 is configured by the operation log analysis unit 76.
  • the operation log analysis unit 76 analyzes the operation log of the endoscope 21 to analyze the experience level of the user.
  • the operation log analysis unit 76 includes an insertion/removal count analysis unit 76a and an arrival time analysis unit 76b.
  • the insertion/removal count analysis unit 76a is configured to analyze the insertion/removal count of the endoscope 21 based on the operation log of the endoscope 21. For example, the insertion/removal number analysis unit 76a obtains the number of times of insertion/removal of the insertion unit 22 until the insertion unit 22 is inserted into the body and reaches the inspection target site. The user's action of inserting/removing the insertion section 22 also moves the imaging section 24 provided in the insertion section 22 and changes the observed image.
  • the insertion/removal number analysis unit 76a detects that such a change in the observation image is obtained by performing image analysis on the observation image, analyzes that the user has inserted/removed the insertion unit 22, and acquires the number of times. May be. Further, for example, by attaching an acceleration sensor (not shown) or the like to the insertion portion 22, it is possible to analyze the number of times of insertion and removal by analyzing the output of the acceleration sensor.
  • the risk estimation unit 70 may analyze the number of times of insertion/removal by acquiring the output of such an acceleration sensor as system information.
  • the arrival time analysis unit 76b is configured to analyze the time (arrival time) required for the insertion unit 22 to reach the examination target site based on the operation log of the endoscope 21. That is, the arrival time analysis unit 76b obtains the time from when the insertion unit 22 is inserted into the body to when it reaches the inspection target site.
  • the start of insertion of the insertion portion 22 and the arrival of the inspection target site can be detected by image analysis of the observation image and timing by a timer or the like.
  • the arrival time analysis unit 76b may analyze the arrival time by image analysis of the observed image. Further, for example, the user can operate the endoscope switch to transmit the insertion start time and the inspection target site arrival time to the video processor 31, and the risk estimation unit 70 acquires these times as system information. By doing so, the arrival time may be analyzed.
  • the experience level analysis unit 72 analyzes the experience level of the user according to at least one of the number of times of insertion and removal determined by the number of insertions and removals analysis unit 76a and the arrival time determined by the arrival time analysis unit 76b, and the analysis result is also used as a risk estimation result. Good. For example, the experience level analysis unit 72 determines that the less the number of times the user inserts and removes the insertion unit 22 or the shorter the arrival time, the higher the skill level, that is, the higher the experience level, and the risk of deterioration of inspection quality. May be estimated to be low.
  • the risk estimation unit 70 determines that the skill level is low, that is, the experience level is low as the number of times the user inserts and removes the insertion unit 22 is large or the arrival time is long, and the risk of deterioration of inspection quality is high. May be estimated to be high.
  • the risk estimation result based on the experience level of the user from the risk estimation unit 70 is supplied to the display control unit 81.
  • the operation log analysis unit 76 has been described as an example in which the operation log analysis unit 76 is configured by the removal/insertion number analysis unit 76a and the arrival time analysis unit 76b. You may comprise by.
  • FIGS. 16 and 17 are flowcharts for explaining the operation of the fifth embodiment.
  • FIG. 16 shows an example of a specific flow of step S3 of FIG. 3
  • FIG. 17 shows an example of a specific flow of step S51 of FIG.
  • Acquisition of an observation image, detection of a lesion candidate, and display control are the same as those in the second embodiment.
  • This embodiment is different from the second embodiment in the method of risk estimation.
  • the experience level analysis unit 72 of the risk estimation unit 70 analyzes the experience level of the user in step S51 of FIG.
  • the experience level analysis unit 72 causes the operation log analysis unit 76 to analyze the operation log of the endoscope 21.
  • FIG. 17 shows an example of specific processing of the operation log analysis unit 76.
  • the operation log analysis unit 76 analyzes the number of times of insertion/removal of the insertion unit 22 by the number of times of insertion/removal analysis unit 76a (S511).
  • the operation log analysis unit 76 analyzes the arrival time until the insertion unit 22 reaches the inspection target site by the arrival time analysis unit 76b (S512).
  • the analysis of the number of times of insertion/removal and the arrival time analysis in steps S511 and S512 may be performed in reverse order, or only one of them may be performed.
  • the experience level analysis unit 72 calculates the experience level of the user based on the analyzed result of at least one of the number of times of insertion/removal and the arrival time (S513).
  • the experience level analysis unit 72 outputs the calculated experience level to the display control unit 81 as a risk estimation result.
  • the experience level analysis unit 72 may output the values of the number of times of insertion/removal and the arrival time as the analysis result of the experience level, and may output the analysis result of the experience level as it is as the risk estimation result.
  • the higher the number of insertions and removals and the longer the arrival time the lower the skill level (the lower the experience level) and the higher the risk of quality deterioration.
  • the detection marker information generation unit 82 of the display control unit 81 sets the form of the detection marker based on the input risk estimation result, and generates information for displaying the detection marker according to the setting. For example, in the detected marker information generation unit 82, the display time control unit 83 sets the display time based on the risk estimation result (S41 in FIG. 8), and the display content control unit 84 sets the display content based on the risk estimation result. (S42 of FIG. 8).
  • the detection marker is displayed in the display format according to the risk estimation result.
  • the detection marker is displayed in a more prominent color tone for a relatively long time based on the risk estimation result. This makes it possible to prevent the detection marker from being overlooked even for a user with a low experience level, and consequently improve the inspection quality.
  • the detection marker is displayed in a more natural color tone for a relatively short time based on the risk estimation result.
  • the detection marker is displayed in a more natural color tone for a relatively short time based on the risk estimation result.
  • the risk of inspection quality deterioration is estimated by analyzing the experience level of the user, and the display form of the detection marker is changed based on the risk estimation result.
  • FIG. 18 is a block diagram showing the sixth embodiment of the present invention.
  • the endoscope system of the present embodiment differs from that of FIG. 1 in that an image processing device 45 is adopted instead of the image processing device 40.
  • the image processing apparatus 44 of FIG. 18 differs from that of FIG. 15 in that the experience level analysis unit 72 is configured by the inspection history analysis unit 77.
  • the other configuration is similar to that of the fifth embodiment, and the description is omitted.
  • the present embodiment is an example in which the experience level of the user is estimated by analyzing the examination history.
  • the inspection history analysis unit 77 analyzes the experience level of the user by analyzing the history of endoscopy.
  • the inspection history analysis unit 77 includes a total inspection number analysis unit 77a and a total inspection time analysis unit 77b.
  • the total inspection number analysis unit 77a is configured to analyze the total inspection number. For example, the total examination number analysis unit 77a obtains the number of endoscopic examinations performed by the user in an arbitrary period acquired by the various methods described above. At the time of the endoscopic examination, information for identifying the inspector such as the name of the inspector is input, and the total examination number analysis unit 77a can analyze the total examination number by the system information. .. Note that the observation image may include information identifying the inspector separately from the system information, and the total examination number analysis unit 77a can also analyze the examination number of each user from the observation image.
  • the total inspection time analysis unit 77b is designed to analyze the total inspection time. For example, the total examination time analysis unit 77b obtains the time during which the user has performed the endoscopic examination in the arbitrary period acquired by the various methods described above. The total inspection time analysis unit 77b can analyze the total inspection time based on the system information. The total inspection time analysis unit 77b can also analyze the total inspection time of each user from the observed image.
  • one day, one week, one month, etc. can be set. For example, if the total number of inspections for each user is relatively large and the total inspection time is relatively long, it is considered that the skill level (experience level) is high.
  • the experience level analysis unit 72 can analyze that the experience level is higher as the total inspection number obtained by the total inspection number analysis unit 77a is larger and the total inspection time obtained by the total inspection time analysis unit 77b is longer.
  • the risk estimation unit 70 can estimate that the risk of deterioration of inspection quality is small.
  • the examination history analysis unit 77 is configured by the total examination number analysis unit 77a and the total examination time analysis unit 77b has been described. You may comprise by either one of these.
  • FIG. 19 is a flow chart for explaining the operation of the sixth embodiment.
  • FIG. 19 shows an example of a specific flow different from that of FIG. 17 in step S51 of FIG.
  • the experience level analysis unit 72 of the risk estimation unit 70 analyzes the experience level of the user in step S51 of FIG.
  • the experience level analysis unit 72 causes the examination history analysis unit 77 to analyze the endoscopic examination history of each user.
  • FIG. 19 shows an example of specific processing of the inspection history analysis unit 77.
  • the examination history analysis unit 77 analyzes the total number of endoscopic examinations by the total examination number analysis unit 77a (S514). Further, the inspection history analysis unit 77 analyzes the total inspection time of the endoscopic inspection by the total inspection time analysis unit 77b (S515).
  • the analysis in steps S514 and S515 may be performed in reverse order, or only one of them may be performed.
  • the experience level analysis unit 72 calculates the experience level based on the analysis result of at least one of the total number of inspections and the total inspection time analyzed (S516).
  • the experience level analysis unit 72 outputs the calculated experience level to the display control unit 81 as a risk estimation result.
  • the experience level analysis unit 72 estimates that the higher the total number of inspections and the longer the total inspection time, the higher the experience level and the lower the risk of deterioration of inspection quality. It is estimated that the shorter the total inspection time, the lower the experience level and the higher the risk of quality deterioration.
  • the detection marker information generation unit 82 of the display control unit 81 generates information for displaying the detection marker in the form corresponding to the risk estimation result.
  • a detection marker having a form corresponding to the experience level of the user is displayed.
  • FIG. 20 is a block diagram showing the seventh embodiment of the present invention.
  • the endoscope system of the present embodiment differs from that of FIG. 1 in that an image processing device 46 is adopted instead of the image processing device 40.
  • the image processing device 46 of FIG. 20 differs from that of FIG. 15 in that the experience level analysis unit 72 is configured by the comparison analysis unit 78.
  • Other configurations are similar to those of the fifth embodiment, and description thereof will be omitted.
  • the present embodiment is an example in which the experience level of a user is estimated by analysis by comparison with a computer diagnosis support device (Computer Aided Diagnostic: CAD).
  • CAD Computer Aided Diagnostic
  • the comparison analysis unit 78 analyzes the transition of the comparison result by comparing the diagnosis result of the user with respect to the lesion candidate and the diagnosis result by CAD.
  • the comparison analysis unit 78 includes a past transition analysis unit 78a and an intra-case transition analysis unit 78b.
  • the transition analysis unit 78a compares the diagnosis result of the user with respect to the lesion candidate and the diagnosis result of CAD, and analyzes the transition of how the user's diagnosis result has changed based on the CAD diagnosis result.
  • the degree of validity of diagnosis for a lesion candidate is considered to be an expert doctor who has a very high degree of skill ⁇ CAD> an unskilled doctor. Therefore, it is considered that the difference between the diagnosis result by the inexperienced doctor and the CAD result is relatively large, and the difference gradually becomes smaller as the doctor gains experience.
  • the transition analysis unit 78a from the past records and reads such a diagnosis result and analyzes the transition of the comparison result, and the experience level analysis unit 72 determines the experience level of the user based on the analysis result.
  • the risk estimation unit 70 can acquire the diagnosis result of the user and the CAD diagnosis result based on the system information.
  • the in-case transition analysis unit 78b compares the user's diagnosis result with respect to the lesion candidate and the CAD diagnosis result in one case, and determines how the user's diagnosis result is based on the CAD diagnosis result. Analyze the transition of changes to. Even during diagnosis within one case, the user may gain experience and the difference between the user's diagnosis result and the CAD diagnosis result may become small.
  • the in-case transition analysis unit 78b records and reads the diagnosis result in each case to analyze the transition of the comparison result, and the experience level analysis unit 72 determines the experience level of the user based on the analysis result.
  • the comparative analysis unit 78 has been described as an example including the transition analysis unit 78a from the past and the transition analysis unit 78b in the case, but the transition analysis unit 78a from the past or the transition in the case You may comprise by either one of the analysis parts 78b.
  • FIG. 21 is a flow chart for explaining the operation of the seventh embodiment.
  • FIG. 21 shows an example of a specific flow different from that of FIG. 17 regarding step S51 of FIG.
  • the experience level analysis unit 72 of the risk estimation unit 70 analyzes the experience level of the user in step S51 of FIG.
  • the experience level analysis unit 72 analyzes the experience level by the comparison analysis unit 78.
  • FIG. 21 shows an example of a specific process of the comparison analysis unit 78.
  • the comparative analysis unit 78 acquires the diagnostic result of each user and the CAD diagnostic result (S517 in FIG. 21), and analyzes the transition of the difference between the user diagnostic result and the CAD diagnostic result by the transition analysis unit 78a from the past. Yes (S518).
  • the experience level analysis unit 72 analyzes the transition of the difference between the user's diagnosis result and the CAD diagnosis result in one case by the intra-case transition analysis unit 78b (S519).
  • the experience level analysis unit 72 calculates the experience level based on the analysis result of at least one of the analysis result of the transition from the past and the analysis result of the transition within one case (S520). For example, the experience level analysis unit 72 determines the justification degree of the user's diagnosis result based on the transition of the difference between the user's diagnosis result and the CAD diagnosis result, and obtains the user's experience level. For example, when the difference between the user's diagnosis result and the CAD diagnosis result becomes smaller, it can be determined that the user's experience level has increased.
  • the risk estimation unit 70 outputs the calculated experience level to the display control unit 81 as a risk estimation result. Similar to the fifth embodiment, the detection marker information generation unit 82 of the display control unit 81 generates information for displaying the detection marker in the form corresponding to the risk estimation result. As a result, on the display screen 95a of the display device 95, a detection marker having a form corresponding to the experience level of the user is displayed.
  • the insertion/extraction number analysis unit 76a, arrival time analysis unit 76b, total inspection number analysis unit 77a, total inspection time analysis unit 77b, and transition analysis from the past in the fifth to seventh embodiments The experience level analysis unit 72 including at least one of the unit 78a and the intra-case transition analysis unit 78b may be adopted to analyze the experience level of the user.
  • the risk estimation unit 70 may include at least one of the fatigue level analysis unit 71 and the experience level analysis unit 72 in the second to seventh embodiments.
  • control mainly described in the flowchart is often settable by a program, and may be stored in a recording medium or a recording unit.
  • the recording medium and the recording unit may be recorded at the time of product shipment, may be recorded by a distributed recording medium, or may be downloaded via the Internet.
  • the execution order may be changed, a plurality of steps may be executed simultaneously, or a different order may be executed for each execution.
  • the part described as “unit” may be configured by a dedicated circuit or a combination of a plurality of general-purpose circuits, and if necessary, a microcomputer that operates according to pre-programmed software.
  • a processor such as a CPU, or a sequencer such as an FPGA may be combined.
  • the present invention is not limited to the above-described embodiments as they are, and constituent elements can be modified and embodied at the stage of implementation without departing from the spirit of the invention. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above respective embodiments. For example, some of all the constituent elements shown in the embodiment may be deleted. Furthermore, the constituent elements of different embodiments may be combined appropriately.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

内視鏡装置は、被検体の観察画像を入力するか又は前記観察画像及びシステム情報を入力する入力部と、前記観察画像から病変部候補を検出する検出部と、前記観察画像又はシステム情報から検査品質の低下リスクを推定するリスク推定部と、前記リスク推定部のリスク推定結果から病変部候補の報知態様を制御する報知制御部と、前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、を具備する。

Description

内視鏡装置及び内視鏡システム
　本発明は、内視鏡装置及び内視鏡システムに関する。
　従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び識別し、病変部に対する処置具を用いた処理を行うことができる。
　術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカを付与して強調表示させる画像処理装置は、一般的に広く知られている。
　ところで、内視鏡観察においては、内視鏡により撮像される体腔内の被写体と、当該体腔内に挿入される当該内視鏡の挿入部との相対位置が常時変化し得るため、一旦検出された病変部を、全フレームで正しく検出することは難しく、病変部候補領域の見落としが生じやすい。そこで、日本国特開２００６－２５５０２１号公報では、病変候補領域の見落としを防止するために、表示期間に基づいて表示強度を時間的に変化させる技術が提案されている。また、日本国特開２０１７－０３９３６４においては、ユーザの眠気状態を解析し、眠気（疲労）が低減されるように表示方法を変更することで、ユーザの運転操作ミスを抑制する技術が開示されている。
　しかしながら、日本国特開２００６－２５５０２１号の提案では、ユーザのスキルや状態に関係なく表示を強調するため、ユーザによっては必要以上に強調される可能性があり、疲労度が増加して病変部候補領域を見落す可能性が増大し検査品質が低下する虞があるという欠点がある。
　また、日本国特開２０１７－０３９３６４の提案では、色味の変更によって眠気状態を低減させるようになっており、内視鏡観察画像の色の変化により、検査品質がかえって低下する虞がある。
　本発明は、観察画像そのものを変更することなく、ユーザの状態に応じて表示方法を変更することにより、病変部候補領域の見落としを防止することができる内視鏡装置及び内視鏡システムを提供することを目的とする。
　本発明の一態様による内視鏡装置は、被検体の観察画像を入力するか又は前記観察画像及びシステム情報を入力する入力部と、前記観察画像から病変部候補を検出する検出部と、 前記観察画像又はシステム情報から検査品質の低下リスクを推定するリスク推定部と、前記リスク推定部のリスク推定結果から病変部候補の報知態様を制御する報知制御部と、前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、を具備する。
　本発明の他の態様による内視鏡システムは、被検体を撮像して撮像信号を出力する内視鏡と、前記内視鏡の撮像信号に基づく観察画像を生成するビデオプロセッサと、前記ビデオプロセッサから前記観察画像を入力するか又は前記観察画像及びシステム情報を入力する入力部と、前記観察画像から病変部候補を検出する検出部と、 前記観察画像又はシステム情報から検査品質の低下リスクを推定するリスク推定部と、前記リスク推定部のリスク推定結果から病変部候補の報知態様を制御する報知制御部と、前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、を具備する。
第１の実施形態に係る内視鏡装置を含む内視鏡システムの要部の構成を示す図。 図１中の画像処理装置４０の具体的な構成の一例を示すブロック図。 第１の実施形態を説明するためのフローチャート。 本発明の第２の実施形態を示すブロック図。 検出マーカ情報生成部８２の具体的な構成の一例を示すブロック図。 第２の実施形態の動作を説明するためのフローチャート。 第２の実施形態の動作を説明するためのフローチャート。 第２の実施形態の動作を説明するためのフローチャート。 第２の実施形態の動作を説明するためのフローチャート。 表示例を説明するための説明図。 本発明の第３の実施形態を示すブロック図。 第３の実施形態の動作を説明するためのフローチャート。 本発明の第４の実施形態を示すブロック図。 第４の実施形態の動作を説明するためのフローチャート。 本発明の第５の実施形態を示すブロック図。 第５の実施形態の動作を説明するためのフローチャート。 第５の実施形態の動作を説明するためのフローチャート。 本発明の第６の実施形態を示すブロック図。 第６の実施形態の動作を説明するためのフローチャート。 本発明の第７の実施形態を示すブロック図。 第７の実施形態の動作を説明するためのフローチャート。
　以下、図面を参照して本発明の実施形態について詳細に説明する。
（第１の実施形態）
　図１は第１の実施形態に係る内視鏡装置を含む内視鏡システムの要部の構成を示す図である。本実施形態は、例えば、ユーザの経歴や検査状況等を解析することにより、検査品質が低下しそうな状況（リスク）を判断し、この判断に従って、検査品質の低下を抑制するために表示方法の変更を行うものである。これにより、本実施形態においては、例えば、ユーザの病変部候補の見落としを防止することができ、検査品質を向上させる効果がある。
　図１に示すように、内視鏡システム１は、光源駆動装置１１と、内視鏡２１と、ビデオプロセッサ３１と、画像処理装置４０と、表示装置９５と、を有して構成されている。
　光源駆動装置１１は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置１１は、内視鏡２１及びビデオプロセッサ３１に接続されている。また、光源駆動装置１１は、ビデオプロセッサ３１からの光源制御信号に基づき、内視鏡２１の光源部２３を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡２１へ出力するように構成されている。
　内視鏡２１は、光源駆動装置１１及びビデオプロセッサ３１に接続されている。また、内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２２を有して構成されている。また、挿入部２２の先端部には、光源部２３と、撮像部２４と、が設けられている。
　光源部２３は、例えば、白色ＬＥＤ等の発光素子を具備して構成されている。また、光源部２３は、光源駆動装置１１から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。
　撮像部２４は、例えば、カラーＣＣＤまたはカラーＣＭＯＳ等のイメージセンサを有して構成されている。また、撮像部２４は、ビデオプロセッサ３１から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部２４は、光源部２３からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力するように構成されている。
　ビデオプロセッサ３１は、光源駆動装置１１及び内視鏡２１に接続されている。また、ビデオプロセッサ３１は、光源部２３の発光状態を制御するための光源制御信号を生成して光源駆動装置１１へ出力するように構成されている。また、ビデオプロセッサ３１は、撮像部２４の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像を生成する。そして、当該生成した観察画像に対して強調処理やホワイトバランス補正処理を施した後、画像処理装置４０へ１フレームずつ順次出力するように構成されている。
　画像処理装置４０は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置４０は、ビデオプロセッサ３１から出力される観察画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置９５に表示させるための動作を行うように構成されている。
　表示装置９５は、モニタ等を具備し、画像処理装置４０から出力される表示用画像を表示することができるように構成されている。
　図２は図１中の画像処理装置４０の具体的な構成の一例を示すブロック図である。
　図２に示すように、画像処理装置４０は、入力部５０と、診断支援部６０と、リスク推定部７０と、報知制御部８０と、報知出力部９０と、を有して構成されている。なお、診断支援部６０、リスク推定部７０及び報知制御部８０は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
　入力部５０は、ビデオプロセッサ３１から入力される観察画像を取り込んで、診断支援部６０に出力する。また、入力部５０は、ビデオプロセッサ３１からシステム情報を取り込むようになっていてもよい。なお、システム情報は、観察画像のヘッダ情報に含まれて入力される場合もあり、また、観察画像とは別のデータとして入力される場合もある。本実施形態においては、システム情報は、ユーザの履歴や検査状況を示す情報を含む。入力部５０は、入力された観察画像を診断支援部６０及びリスク推定部７０に出力する。また、入力部５０は、観察画像とは別にシステム情報が入力された場合には、入力されたシステム情報をリスク推定部７０に出力するようになっている。
　診断支援部６０は、公知の手法により、入力された観察画像に基づいて病変部候補を検出するように構成されている。診断支援部６０は、検出した病変部候補の情報を報知制御部８０に出力する。
　報知制御部８０は、入力部５０から観察画像が与えられ、診断支援部６０から病変部候補の情報が与えられて、観察画像中に、診断支援部６０によって検出された病変部候補の検出結果を報知するための情報を生成する。報知制御部８０は、生成した情報を報知出力部９０に出力する。報知出力部９０は、報知制御部８０からの情報に基づいて、病変部候補の検出結果をユーザに報知するようになっている。例えば、報知出力部９０は、画像による報知、音声による報知等によって、病変部候補の検出結果をユーザに報知する。
　例えば、報知出力部９０が画像による報知を行う場合には、報知制御部８０は、病変部候補の位置を示す画像（以下、検出マーカという）を観察画像に重ねて表示するための情報を生成して報知出力部９０に出力する。報知出力部９０は、報知制御部８０からの情報に基づく検出マーカの画像を、入力部５０からの観察画像に合成した表示用画像を生成する。報知出力部９０は、生成した表示用画像を表示装置９５に与えて表示画面９５ａに表示させる。
　この場合には、医者等は、表示装置９５の表示画面９５ａ上に表示された観察画像及び検出マーカによって、診断支援部６０によって検出された病変部候補を参考にし、最終的な判断を行う。この場合において、観察画像を観察する医者等の経験や疲労度等に応じて、検出マーカの見落としが生じたり、注意力が削がれたりする可能性がある。なお、報知が音声で行われる場合にも同様の問題がある。例えば、音量の大きさや報知期間によっては、聞き取り誤りが生じたり、音声によって注意力が削がれたりする等の問題がある。
　そこで、本実施形態においては、報知制御部８０による報知の報知態様をユーザに応じて最適化するためにリスク推定部７０が設けられている。リスク推定部７０は、観察画像に基づいて、検査品質が低下するリスクを推定し、リスクの推定結果を報知制御部８０に出力するようになっている。なお、リスク推定部７０は、システム情報を用いて検査品質が低下するリスクを推定するようになっていてもよい。即ち、リスク推定部７０は、観察画像及びシステム情報の少なくとも一方に基づいてリスクを推定する。
　例えば、リスク推定部７０は、観察画像やシステム情報に基づいて、ユーザの疲労度や経験レベルの解析結果を、検査品質が低下するリスクの推定結果として用いてもよい。リスク推定部７０は、見落としを防止するするように、報知態様を変更するためのリスク推定結果を発生する。
　例えば、画像によって報知を行う場合には、リスク推定部７０は、検出マーカの表示形態の変更制御を行うために、検査品質が低下するリスクを推定する。報知制御部８０は、リスク推定結果に従って、検出マーカの表示形態をユーザに応じて最適化する。なお、以下の説明では、画像を用いて報知を行う例について説明するが、報知を音声によって行う場合にも同様の制御が可能である。
　報知制御部８０は、リスク推定部７０のリスク推定結果が与えられて、検出マーカの表示形態を変更するようになっている。報知制御部８０は、検出マーカの表示、非表示によって病変部候補の検出の有無をユーザに認知させ、観察画像中の表示位置によって、病変部の体内の位置をユーザに認知させることができる。こうして、検出マーカは、例えばユーザの疲労度や経験レベルの解析結果であるリスク推定結果に対応する表示形態で表示されることになり、見落としを防止し、検査品質を向上させることができる。
　次に、このように構成された実施形態の動作について図３を参照して説明する。図３は第１の実施形態を説明するためのフローチャートである。
　内視鏡２１は、例えば、光源駆動装置１１及びビデオプロセッサ３１の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力する。
　ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像を生成し、当該生成した観察画像を画像処理装置４０へ１フレームずつ順次出力する。すなわち、入力部５０は、ビデオプロセッサ３１から生体内管腔画像である内視鏡画像（観察画像）を取得する（Ｓ１）。この観察画像のヘッダ情報中に、システム情報が含まれていてもよい。また、観察画像のヘッダ情報にシステム情報が含まれていない場合には、入力部５０は、観察画像とは別にシステム情報を取り込むようになっていてもよい。なお、入力部５０は、システム情報を含まない観察画像のみを取り込むようになっていてもよい。
　次に、ステップＳ２において、診断支援部６０は、入力部５０から観察画像が与えられ、観察画像から病変部候補を検出し、検出結果を報知制御部８０に出力する。
　また、ステップＳ３において、リスク推定部７０は、入力部５０から観察画像及びシステム情報の少なくとも一方が与えられて、検査品質が低下するリスクを推定する。リスク推定部７０はリスクの推定結果を報知制御部８０に出力する。なお、ステップＳ２，Ｓ３は、ステップＳ３，Ｓ２の順に実行されてもよく、同時に実行されてもよい。
　報知制御部８０は、入力部５０から与えられた観察画像上に、診断支援部６０により検出された病変部候補を特定するための検出マーカを表示させるための情報を生成する。本実施形態においては、報知制御部８０は、リスク推定部７０によるリスクの推定結果に応じた表示形態の検出マーカを表示するための情報を生成する（Ｓ４）。
　報知制御部８０からの情報に基づいて報知出力部９０は検出マーカを表示装置の表示画面９５ａ上に表示する（Ｓ５）。
　このように本実施形態においては、検査品質が低下するリスクを推定し、この推定結果に従って、検査品質の低下を抑制するために表示方法の変更を行う。これにより、検査品質を向上させることができる。
（第２の実施形態）
　図４は本発明の第２の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置４０に代えて画像処理装置４１を採用した点が図１と異なる。図４は画像処理装置４１の具体的な構成の一例を示している。本実施形態は検査品質が低下するリスクをユーザの疲労度の解析によって推定する例である。
　図４における入力部５０の構成は図２と同様である。本実施形態においては、報知制御部８０の具体例として表示制御部８１を採用し、報知出力部９０の具体例として表示出力部９１を採用する例について説明する。
　入力部５０は、観察画像を診断支援部６０及び表示制御部８１に出力する。また、入力部５０は、観察画像及びシステム情報の少なくとも一方をリスク推定部７０に出力する。また、表示出力部９１は、表示制御部８１からの表示用画像を表示装置９５の表示画面９５ａに表示させる。
　本実施形態においては、診断支援部６０は、病変部候補検出部６１を有している。病変部候補検出部６１は、入力部５０から順次出力される観察画像に含まれる病変部候補を検出するように構成されている。病変部候補検出部６１は、例えば、ディープラーニング等の学習手法で病変部候補を鑑別可能な機能を予め取得した画像鑑別器を観察画像に対して適用する処理を行うことにより、当該観察画像から病変部候補を検出する。なお、病変部候補の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７－２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。
　病変部候補検出部６１は、検出した病変部候補の観察画像上の領域（以下、病変部候補領域という）を判定し、当該病変部候補領域を示す情報を病変部候補の検出結果として表示制御部８１に出力するようになっている。
　表示制御部８１は、検出マーカ情報生成部８２を有している。検出マーカ情報生成部８２は、病変部候補領域を示す情報が与えられて、診断支援部６０において検出された病変部候補の存在をユーザに認知させるために、例えば、観察画像中の病変部候補の領域を囲む画像（検出マーカ）を生成するための情報を生成して表示出力部９１に出力する。
　表示出力部９１は、画像合成部９２を有している。画像合成部９２は、表示制御部８１からの情報に基づいて、入力部５０からの観察画像中に検出マーカを重畳した表示用画像を生成して表示装置９５に出力する。
　検出マーカ情報生成部８２の情報により生成される検出マーカは、病変部候補の存在をユーザに視覚的に認知させるために必要な形態を有している。例えば、検出マーカの形状としては、四角形、三角形、円形、星形等であってもよく、他の任意の形状でもよい場合がある。また、検出マーカは、病変部候補の存在及び位置を示すことができるものであれば、病変部候補を囲まない画像であっても構わない。更には、検出マーカ情報生成部８２は、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。
　本実施形態においては、検出マーカ情報生成部８２は、リスク推定部７０からのリスク推定結果に基づいて、検出マーカの表示形態を変更するようになっている。即ち、検出マーカ情報生成部８２は、病変部候補の存在を容易に認知させ、且つ、なるべく観察画像を確認の妨げとならないように、表示形態を変更する。この場合において、本実施形態においては、リスク推定部７０は、ユーザの疲労度の解析に基づくリスク推定結果に従って、検出マーカ情報生成部８２による表示形態の変更を制御するようになっている。
　リスク推定部７０は、疲労度解析部７１を有している。疲労度解析部７１は、ユーザの疲労度を解析して解析結果を得る。リスク推定部７０は、疲労度解析部７１の解析結果をリスク推定結果として用いてもよい。本実施形態においては、疲労度解析部７１は、操作ログ解析部７３によって構成される。操作ログ解析部７３は、内視鏡２１の操作ログを解析することで、ユーザの疲労度を解析する。本実施形態では、一例として、操作ログ解析部７３は、持ち変え回数解析部７３ａ及びひねり回数解析部７３ｂによって構成する。
　持ち変え回数解析部７３ａは、内視鏡２１の操作ログにより、内視鏡２１の持ち換え回数を解析するようになっている。例えば、持ち変え回数解析部７３ａは、所定の方法で取得された任意期間において、ユーザが内視鏡２１の挿入部２２を持ち変えた回数を求める。挿入部２２を持ち変えるユーザの行為は、挿入部２２からユーザの手が離れることから、例えば、観察画像が揺れる等の変化となって現れる。例えば、持ち変え回数解析部７３ａは、観察画像に対する画像解析によって、このような観察画像の変化を検出することで、ユーザが挿入部２２を持ち変えたことを解析し、その回数を取得するようになっていてもよい。また、例えば、挿入部２２に図示しない加速度センサ等を取り付けることによって、この加速度センサの出力の解析により、持ち変え回数を解析することも可能である。リスク推定部７０は、このような加速度センサの出力をシステム情報として取得することにより、持ち変え回数を解析してもよい。
　なお、上記任意期間を含む期間の情報は、種々の方法で取得することができる。画像処理装置４０及び後述の各画像処理装置は、設定する期間を、図示しないタイマやセンサ等のデバイスから取得してもよく、画像情報中に含まれる撮影時間の情報から取得してもよく、また、ユーザ設定に基づくシステム情報より取得してもよい。
　また、ひねり回数解析部７３ｂは、内視鏡２１の操作ログにより、内視鏡２１のひねり回数を解析するようになっている。例えば、ひねり回数解析部７３ｂは、図示しないタイマを備えており、任意期間において、ユーザが内視鏡２１の挿入部２２をひねった回数を求める。挿入部２２をひねるユーザの行為は、挿入部２２が回転することから、観察画像が回転する変化となって現れる。例えば、ひねり回数解析部７３ｂは、観察画像に対する画像解析によって、このような観察画像の変化を検出することで、ユーザが挿入部２２をひねったことを解析し、その回数を取得するようになっていてもよい。また、例えば、挿入部２２に図示しないジャイロセンサ等を取り付けることによって、このジャイロセンサの出力の解析により、ひねり回数を解析することも可能である。リスク推定部７０は、このようなジャイロセンサの出力をシステム情報として取得することにより、ひねり回数を解析してもよい。
　疲労度解析部７１は、持ち変え回数解析部７３ａによって求めた持ち変え回数及びひねり回数解析部７３ｂによって求めたひねり回数の少なくとも一方に応じてユーザの疲労度を解析し、解析結果をリスク推定結果としてもよい。例えば、疲労度解析部７１は、ユーザの内視鏡２１の持ち換え回数又はひねり回数が多いほど疲労度が高いものと判定し、検査品質の低下のリスクが高まったと推定してもよい。逆に、リスク推定部７０は、ユーザの内視鏡２１の持ち換え回数又はひねり回数が少ないほど疲労度が低いものと判定し、検査品質の低下のリスクが低いと推定してもよい。リスク推定部７０からのユーザの疲労度に基づくリスク推定結果は、表示制御部８１に供給される。
　なお、本実施形態においては、操作ログ解析部７３は、持ち変え回数解析部７３ａ及びひねり回数解析部７３ｂにより構成した例を説明したが、持ち変え回数解析部７３ａ又はひねり回数解析部７３ｂのいずれか一方によって構成してもよい。
　図５は検出マーカ情報生成部８２の具体的な構成の一例を示すブロック図である。
　図５では、検出マーカ情報生成部８２が、表示時間制御部８３及び表示内容制御部８４によって構成される例を示している。表示時間制御部８３は、入力されたリスク推定結果に基づいて、検出マーカの表示時間を変更する。例えば、表示時間制御部８３は、リスク推定結果によって示されたユーザの疲労度に応じた表示時間を設定してもよい。例えば、ユーザの疲労度が高い程表示時間を長くし、ユーザの疲労度が短い程表示時間を短くすることができる。
　表示内容制御部８４は、入力されたリスク推定結果に基づいて、検出マーカの表示の内容（質）を変更する。図５の例では、表示内容制御部８４は、色調変更部８４ａ及び表示判定レベル変更部８４ｂにより構成されている。色調変更部８４ａは、入力されたリスク推定結果に基づいて、検出マーカの色調を変更する。例えば、色調変更部８４ａは、リスク推定結果によって示されたユーザの疲労度に応じた色調を設定してもよい。例えば、色調変更部８４ａは、ユーザの疲労度が高いほど検出マーカを目立つ色調に設定してもよい。例えば、色調変更部８４ａは、ユーザの疲労度が高い程、検出マーカの明度及び彩度を高く設定してもよい。この場合には、ユーザの疲労度が高い程、感覚的には検出マーカは目立った表示となる。逆に、ユーザの疲労度が低い程、感覚的には検出マーカは自然な色合いとすることもできる。
　表示判定レベル変更部８４ｂは、入力されたリスク推定結果に基づいて、検出マーカの表示非表示の判定レベル（以下、表示判定レベルという）を変更する。なお、表示判定レベルは、低い程表示されにくく、高い程表示されやすいものとして説明する。例えば、同一の病変部候補であっても、検出マーカは、表示判定レベルが低ければ表示されない場合があり、表示判定レベルが高ければ表示される場合もある。
　表示判定レベル変更部８４ｂは、リスク推定結果のみに基づいて表示判定レベルを決定してもよいが、図５の例では表示判定レベルを決定するために、病変解析部８５を備えている。病変解析部８５は、病変部候補検出部６１によって検出された病変部候補の性状を解析するようになっている。病変解析部８５は、病変部候補が見落としやすいものであるか否かを解析する。例えば、病変解析部８５は、病変部候補検出部６１から病変部候補の形状、サイズ、色等の情報が与えられ、見落としやすさの度合いを判定する。
　表示判定レベル変更部８４ｂは、リスク推定結果によって示されたユーザの疲労度と見落としやすさの度合いとに基づいて表示判定レベルを決定する。表示判定レベルは、見落としやすさの度合いが高い程、高い値に設定されており、表示判定レベル変更部８４ｂは、この表示判定レベルをユーザの疲労度が高い程高い値に設定するようになっている。従って、表示判定レベル変更部８４ｂの制御によれば、見落としやすく、疲労度が高い程、検出マーカはより表示されやすくなり、見落としにくく、疲労度が低い程、検出マーカはより表示されにくくなる。
　次に、このように構成された実施形態の動作について図６から図１０を参照して説明する。図６から図９は第２の実施形態の動作を説明するためのフローチャートである。また、図１０は表示例を説明するための説明図である。
　本実施形態における動作は、図３と同様である。本実施形態は図３のステップＳ３，Ｓ４について、具体的なフローの一例を示している。
　光源駆動装置１１及びビデオプロセッサ３１の電源が投入されると、内視鏡２１は、被写体へ照明光を出射し、当該被写体からの反射光を受光し、受光した反射光を撮像して撮像信号を生成し、生成した撮像信号をビデオプロセッサ３１へ出力する。
　ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像を生成し、生成した観察画像を画像処理装置４１へ１フレームずつ順次出力する。入力部５０は、ビデオプロセッサ３１から生体内管腔画像である内視鏡画像（観察画像）を取得する（図３のＳ１）。なお、観察画像には、システム情報が含まれることもある。入力部５０は、取得した画像を診断支援部６０及びリスク推定部７０に出力する。なお、入力部５０は、観察画像とは別にシステム情報が入力される場合には、取得したシステム情報をリスク推定部７０に出力する。
　病変部候補検出部６１は、例えば、ディープラーニング等の学習手法を利用して観察画像から病変部候補を検出する（図３のＳ２）。病変部候補検出部６１は、検出された病変部候補の画像中の範囲を示す病変部候補領域を判定し、病変部候補領域を示す情報を病変部候補の検出結果として表示制御部８１に出力する。
　一方、リスク推定部７０の疲労度解析部７１は、図６のステップＳ３１において、ユーザの疲労度を解析する。例えば、疲労度解析部７１は、操作ログ解析部７３によって、内視鏡２１の操作ログを解析する。図７は操作ログ解析部７３の具体的なフローを示している。操作ログ解析部７３は、持ち変え回数解析部７３ａによって、内視鏡２１の持ち変え回数を解析する（Ｓ３１１）。また、操作ログ解析部７３は、ひねり回数解析部７３ｂによって内視鏡２１のひねり回数を解析する（Ｓ３１２）。
　なお、ステップＳ３１１，Ｓ３１２の持ち変え回数の解析及びひねり回数の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。疲労度解析部７１は、解析した持ち変え回数及びひねり回数の少なくとも一方の解析結果に基づいて、疲労度を算出する（Ｓ３１３）。疲労度解析部７１は、算出した疲労度をリスク推定結果として表示制御部８１に出力する。なお、疲労度解析部７１は、解析した回数を疲労度の解析結果とし、疲労度の解析結果をそのままリスク推定結果として出力してもよい。この場合には、解析した回数が多い程疲労度が高く、品質が低下するリスクが高いと推定される。
　表示制御部８１の検出マーカ情報生成部８２は、入力されたリスク推定結果に基づいて、検出マーカの形態を設定し、設定に応じた検出マーカを表示させるための情報を生成する。例えば、検出マーカ情報生成部８２は、表示時間制御部８３によって、リスク推定結果に基づく表示時間を設定する（図８のＳ４１）。また、検出マーカ情報生成部８２は、表示内容制御部８４によって、リスク推定結果に基づく表示内容を設定する（図８のＳ４２）。なお、ステップＳ４１，Ｓ４２の設定は、逆順に行ってもよく、また、いずれか一方の設定のみを行ってもよい。
　図９は図８中のステップＳ４２の具体的なフローの一例を示している。例えば、表示内容制御部８４は、色調変更部８４ａによって、リスク推定結果に従って色調を変更する（図９のＳ４２１）。例えば、リスク推定結果により検査品質が低下するリスクが比較的高いことが示された場合には、色調変更部８４ａは、検出マーカを目立つ色調に設定する。
　また、表示内容制御部８４は、表示判定レベル変更部８４ｂによって、表示判定レベルを決定する。例えば、表示判定レベル変更部８４ｂは、ステップＳ４２２において、病変部候補の性状を解析する。表示判定レベル変更部８４ｂは、リスク推定結果及び病変部候補の性状に基づいて表示判定レベルを決定する（Ｓ４２３）。例えば、表示判定レベル変更部８４ｂは、サイズが小さく見逃しやすい性状の病変部候補については、表示判定レベルを高くして表示し易くする。そして、表示判定レベル変更部８４ｂは、リスク推定結果に従って、表示判定レベルを更に変更する。例えば、表示判定レベル変更部８４ｂは、ユーザの疲労度が比較的高い場合には、より表示判定レベルを高くして、表示しやすくする。
　なお、ステップＳ４２１とステップＳ４２３，Ｓ４２３の設定は、逆順に行ってもよく、また、ステップＳ４２１の設定のみを行ってもよい。また、表示判定レベル変更部８４ｂは、所定の表示判定レベルをリスク推定結果のみによって変更することで、表示判定レベルを決定してもよい。
　検出マーカ情報生成部８２は、ステップＳ４３において、設定した表示時間、設定した色調、設定した表示判定レベルの少なくとも１つの設定に基づいて検出マーカを表示するための情報を生成して表示出力部９１に出力する。表示出力部９１の画像合成部９２は、検出マーカ情報生成部８２からの情報に基づいて、観察画像に検出マーカを重畳した表示用画像を生成して表示装置９５に与える。これにより、表示装置９５は、表示画面９５ａ上に検出マーカが重畳された観察画像を表示する。
　図１０は表示装置９５の表示画面９５ａ上に表示された画像の例を示している。図１０の画像１０１ａ～１０１ｃは、同一観察画像１０１について、リスク推定結果が異なる場合の検出マーカの３つの表示例を示している。観察画像１０１中には、診断支援部６０によって検出された病変部候補１０１ａが存在する。この病変部候補１０１ａを囲むように、検出マーカ１０２～１０４が表示されている。
　例えば、検出マーカ１０２は、中程度の疲労度の場合の表示例であり、検出マーカ１０３は、疲労度が大きい場合の表示例であり、検出マーカ１０４は、疲労度が極めて小さい場合の表示例である。図面上、検出マーカ１０３は、検出マーカ１０２に比べて太線で表示することにより、例えば、比較的長い表示時間で、比較的目立つ色調で、比較的高い表示判定レベルに対応した表示であることを示している。
　また、表示内容の変更の例として、色調及び表示判定レベルについて説明したが、図１０のように、検出マーカの枠の線の太さや枠の種類等を変えるようになっていてもよい。例えば、疲労度が高い程枠の線の太さを太くするようになっていてもよい。あるいは、リスク推定結果によって検出マーカを点灯、点滅させてもよく、リスク推定結果に応じて点滅周期を変化させてもよい。また、例えば、検出マーカ１０４に示すように、疲労度が比較的低い場合には、検出マーカを破線によって表示するようになっていてもよい。
　このように本実施の形態においては、検査品質が低下するリスクをユーザの疲労度の解析によって推定し、リスク推定結果に基づいて検出マーカの表示形態を変更するようになっている。これにより、ユーザの疲労度が比較的高い場合には、検出マーカを例えば見やすく表示することで検出マーカの見落としを防止し、検査品質を向上させ、ユーザの疲労度が比較的低い場合には、観察画像の視認性が悪化しないように検出マーカを表示することで、検査品質を向上させることができる。
（第３の実施形態）
　図１１は本発明の第３の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置４０に代えて画像処理装置４２を採用した点が図１と異なる。図１１の画像処理装置４２は、疲労度解析部７１を検査状況解析部７４によって構成した点が図４と異なる。他の構成は第２の実施形態と同様であり、説明を省略する。本実施形態はユーザの疲労度を検査状況の解析によって推定する例である。
　検査状況解析部７４は、内視鏡検査の状況を解析することで、ユーザの疲労度を解析する。本実施形態では、一例として、検査状況解析部７４は、検査経過時間解析部７４ａ及び連続検査回数解析部７４ｂによって構成する。
　検査経過時間解析部７４ａは、検査経過時間を解析するようになっている。例えば、検査経過時間解析部７４ａは、上述した各種の方法により取得した任意期間において、ユーザが内視鏡検査を行った時間を求める。内視鏡検査時には、検査者の氏名等の検査者を特定する情報が入力されるようになっており、検査経過時間解析部７４ａは、システム情報によって検査経過時間を解析することが可能である。なお、観察画像中に検査者を特定する情報がシステム情報とは別に含まれることもあり、検査経過時間解析部７４ａは、観察画像から各ユーザの検査経過時間を解析することも可能である。
　例えば、任意期間として、例えば、１日、１週間、１ヶ月等を設定することができる。例えば、各ユーザについて１日の検査経過時間が比較的長い場合には、経過時間が長くなるにつれて疲労度が高くなるものと考えられる。疲労度解析部７１は、検査経過時間解析部７４ａが求めた検査経過時間が長い程疲労度が高いと解析することができ、リスク推定部７０は、検査品質が低下するリスクが増大すると推定することができる。
　また、連続検査回数解析部７４ｂは、各ユーザについて、内視鏡検査の連続検査回数を解析する。連続検査回数解析部７４ｂは、システム情報によってユーザ毎に連続検査回数を解析することが可能である。また、連続検査回数解析部７４ｂは、観察画像から各ユーザの連続検査回数を解析することも可能である。
　例えば、１日に複数回の内視鏡検査が行われるものとして、同一ユーザが連続して検査を行った場合と、複数のユーザによって交代しながら検査を行った場合とでは疲労度が異なり、同一ユーザが連続して検査を行う回数が多い程、疲労度が増大すると考えられる。疲労度解析部７１は、連続検査回数解析部７４ｂが求めた連続検査回数が多い程疲労度が高いと解析することができ、リスク推定部７０は、検査品質が低下するリスクが増大すると推定することができる。
　なお、本実施形態においては、検査状況解析部７４は、検査経過時間解析部７４ａ及び連続検査回数解析部７４ｂにより構成した例を説明したが、検査経過時間解析部７４ａ又は連続検査回数解析部７４ｂのいずれか一方によって構成してもよい。
　次に、このように構成された実施形態の動作について図１２を参照して説明する。図１２は第３の実施形態の動作を説明するためのフローチャートである。
　本実施形態における動作は、図３及び図６と同様である。図１２は、図６のステップＳ３１について、図７とは異なる具体的なフローの一例を示している。
　リスク推定部７０の疲労度解析部７１は、図６のステップＳ３１において、ユーザの疲労度を解析する。例えば、疲労度解析部７１は、検査状況解析部７４によって、各ユーザの内視鏡検査状況を解析する。図１２は検査状況解析部７４の具体的な処理の一例を示している。検査状況解析部７４は、検査経過時間解析部７４ａによって内視鏡検査の検査経過時間を解析する（Ｓ３１４）。また、検査状況解析部７４は、連続検査回数解析部７４ｂによって内視鏡検査の連続検査回数を解析する（Ｓ３１５）。
　なお、ステップＳ３１４，Ｓ３１５の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。疲労度解析部７１は、解析した検査経過時間及び連続検査回数の少なくとも一方の解析結果に基づいて、疲労度を算出する（Ｓ３１６）。疲労度解析部７１は、算出した疲労度をリスク推定結果として表示制御部８１に出力する。なお、疲労度解析部７１は、検査経過時間が長いほど、また、連続検査回数が多い程、疲労度が高く、品質が低下するリスクが高いと推定する。
　表示制御部８１の検出マーカ情報生成部８２において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第２の実施形態と同様である。この結果、表示装置９５の表示画面９５ａ上には、ユーザの疲労度に応じた形態の検出マーカが表示される。
　他の作用は第２の実施形態と同様である。このように本実施の形態においても、第２の実施形態と同様の効果を得ることができる。
（第４の実施形態）
　図１３は本発明の第４の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置４０に代えて画像処理装置４３を採用した点が図１と異なる。図１３の画像処理装置４３は、疲労度解析部７１を生体情報解析部７５によって構成した点が図４と異なる。他の構成は第２の実施形態と同様であり、説明を省略する。本実施形態はユーザの疲労度を生体情報の解析によって推定する例である。
　生体情報解析部７５は、生体情報を解析することで、ユーザの疲労度を解析する。本実施形態では、一例として、生体情報解析部７５は、瞬き回数解析部７５ａ及び脈拍等解析部７５ｂによって構成する。
　瞬き回数解析部７５ａは、ユーザの瞬き回数を解析するようになっている。検査室等においては、術野カメラ等が設けられており、ユーザの顔部の撮像が可能である。ビデオプロセッサ３１には、これらのカメラからの画像も入力されるようになっており、ビデオプロセッサ３１は、ユーザの撮像画像の画像解析によって、ユーザが瞬きした回数を求めることができる。ビデオプロセッサ３１は、ユーザの瞬き回数をシステム情報として画像処理装置４３に出力することができる。瞬き回数解析部７５ａは、入力されたシステム情報によって、ユーザの瞬き回数を解析する。
　なお、瞬き回数の情報を画像から取得する例を説明したが、画像以外の各種センサ等のデバイスから取得してもよく、システム情報から取得してもよい。
　なお、リスク推定部７０において、術野カメラ等によるユーザの撮像画像を取り込むようになっていてもよい。この場合には、瞬き回数解析部７５ａは、取り込んだユーザの撮像画像に対する画像解析によって、ユーザの瞬き回数を求めることが可能である。
　瞬き回数が多いほど、ユーザの疲労度が大きいと考えられる。疲労度解析部７１は、瞬き回数解析部７５ａが求めた瞬き回数が多い程疲労度が高いと解析することができ、リスク推定部７０は、検査品質が低下するリスクが増大すると推定することができる。
　また、脈拍等解析部７５ｂは、各ユーザについて、脈拍、体温、飽和酸素量等を解析する。脈拍等解析部７５ｂは、システム情報によってユーザ毎にこれらの解析を行うことが可能である。疲労度解析部７１は、脈拍、体温、飽和酸素量等の解析結果によって、ユーザの疲労度を解析する。
　なお、本実施形態においては、生体情報解析部７５は、瞬き回数解析部７５ａ及び脈拍等解析部７５ｂにより構成した例を説明したが、瞬き回数解析部７５ａ又は脈拍等解析部７５ｂのいずれか一方によって構成してもよい。
　次に、このように構成された実施形態の動作について図１４を参照して説明する。図１４は第４の実施形態の動作を説明するためのフローチャートである。
　本実施形態における動作は、図３及び図６と同様である。図１４は、図６のステップＳ３１について、図７とは異なる具体的なフローの一例を示している。
　リスク推定部７０の疲労度解析部７１は、図６のステップＳ３１において、ユーザの疲労度を解析する。例えば、疲労度解析部７１は、生体情報解析部７５によって、各ユーザの生体情報を解析する。図１４は生体情報解析部７５の具体的な処理の一例を示している。生体情報解析部７５は、瞬き回数解析部７５ａによって瞬き回数を解析する（Ｓ３１７）。また、検査状況解析部７４は、脈拍等解析部７５ｂによってユーザの脈拍、体温、飽和酸素量等を解析する（Ｓ３１８）。
　なお、ステップＳ３１７，Ｓ３１８の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。疲労度解析部７１は、解析した瞬き回数及び脈拍等の少なくとも一方の解析結果に基づいて、疲労度を算出する（Ｓ３１９）。疲労度解析部７１は、算出した疲労度をリスク推定結果として表示制御部８１に出力する。なお、疲労度解析部７１は、瞬き回数が多いほど、疲労度が高く、検査品質が低下するリスクが高いと推定する。疲労度解析部７１は、脈拍、体温、飽和酸素量については、ユーザの検査中における変化に基づいて疲労度を算出してもよく、あるいは、ユーザ毎の平常時の情報を記憶し、記憶した情報との比較によって、疲労度を算出してもよい。
　表示制御部８１の検出マーカ情報生成部８２において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第２の実施形態と同様である。この結果、表示装置９５の表示画面９５ａ上には、ユーザの疲労度に応じた形態の検出マーカが表示される。
　他の作用は第２の実施形態と同様である。このように本実施の形態においても、第２の実施形態と同様の効果を得ることができる。
　なお、リスク推定部７０としては、上記第２から第４の実施形態における持ち変え回数解析部７３ａ、ひねり回数解析部７３ｂ、検査経過時間解析部７４ａ、連続検査回数解析部７４ｂ、瞬き回数解析部７５ａ及び脈拍等解析部７５ｂのうちの少なくとも１つを備えた疲労度解析部７１を採用してユーザの疲労度を解析するようになっていてもよい。
（第５の実施形態）
　図１５は本発明の第５の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置４０に代えて画像処理装置４４を採用した点が図１と異なる。図１５は画像処理装置４４の具体的な構成の一例を示している。図１５の画像処理装置４４は、リスク推定部７０が疲労度解析部７１に代えて経験レベル解析部７２を採用した点が図４と異なる。他の構成は第２の実施形態と同様であり、説明を省略する。本実施形態は検査品質が低下するリスクをユーザの経験レベルの解析によって推定する例である。
　リスク推定部７０は、経験レベル解析部７２を有している。経験レベル解析部７２は、ユーザの経験レベルを解析して解析結果を得る。リスク推定部７０は、経験レベル解析部７２の解析結果をリスク推定結果として用いてもよい。本実施形態においては、経験レベル解析部７２は、操作ログ解析部７６によって構成される。操作ログ解析部７６は、内視鏡２１の操作ログを解析することで、ユーザの経験レベルを解析する。本実施形態では、一例として、操作ログ解析部７６は、抜き差し回数解析部７６ａ及び到達時間解析部７６ｂによって構成する。
　抜き差し回数解析部７６ａは、内視鏡２１の操作ログにより、内視鏡２１の抜き差し回数を解析するようになっている。例えば、抜き差し回数解析部７６ａは、挿入部２２が体内に挿入開始されて検査対象部位に到達するまでの間の挿入部２２の抜き差し回数を求める。挿入部２２を抜き差しするユーザの行為により、挿入部２２に設けた撮像部２４も移動し、観察画像が変化する。例えば、抜き差し回数解析部７６ａは、観察画像に対する画像解析によって、このような観察画像の変化を検出することで、ユーザが挿入部２２を抜き差ししたことを解析し、その回数を取得するようになっていてもよい。また、例えば、挿入部２２に図示しない加速度センサ等を取り付けることによって、この加速度センサの出力の解析により、抜き差し回数を解析することも可能である。リスク推定部７０は、このような加速度センサの出力をシステム情報として取得することにより、抜き差し回数を解析してもよい。
　また、到達時間解析部７６ｂは、内視鏡２１の操作ログにより、挿入部２２が検査対象部位に到達するまでに要した時間（到達時間）を解析するようになっている。即ち、到達時間解析部７６ｂは、挿入部２２が体内に挿入開始されて検査対象部位に到達するまでの時間を求める。挿入部２２の挿入開始時と検査対象部位に到達したことは、観察画像の画像解析及びタイマ等による計時によって検出可能である。到達時間解析部７６ｂは、観察画像の画像解析によって、到達時間を解析するようになっていてもよい。また、例えば、ユーザの内視鏡スイッチの操作によって、挿入開始時及び検査対象部位到達時をビデオプロセッサ３１に伝達することも可能であり、リスク推定部７０は、システム情報としてこれらの時刻を取得することにより、到達時間を解析してもよい。
　経験レベル解析部７２は、抜き差し回数解析部７６ａによって求めた抜き差し回数及び到達時間解析部７６ｂによって求めた到達時間の少なくとも一方に応じてユーザの経験レベルを解析し、解析結果をリスク推定結果としてもよい。例えば、経験レベル解析部７２は、ユーザの挿入部２２の抜き差し回数が少ない程、あるいは、到達時間が短い程、熟練度が高い、即ち、経験レベルが高いと判定し、検査品質の低下のリスクが低いと推定してもよい。逆に、リスク推定部７０は、ユーザの挿入部２２の抜き差し回数が多い程、あるいは、到達時間が長い程、熟練度が低い、即ち、経験レベルが低いと判定し、検査品質の低下のリスクが高いと推定してもよい。リスク推定部７０からのユーザの経験レベルに基づくリスク推定結果は、表示制御部８１に供給される。
　なお、本実施形態においては、操作ログ解析部７６は、抜き差し回数解析部７６ａ及び到達時間解析部７６ｂにより構成した例を説明したが、抜き差し回数解析部７６ａ又は到達時間解析部７６ｂのいずれか一方によって構成してもよい。
　次に、このように構成された実施形態の動作について図１６及び図１７を参照して説明する。図１６及び図１７は第５の実施形態の動作を説明するためのフローチャートである。
　本実施形態における動作は、図３と同様である。図１６は図３のステップＳ３について、具体的なフローの一例を示しており、図１７は図１６のステップＳ５１の具体的なフローの一例を示している。
　観察画像の取得、病変部候補の検出及び表示制御は、第２の実施形態と同様である。本実施形態は、リスク推定の手法が第２の実施形態と異なる。
　リスク推定部７０の経験レベル解析部７２は、図１６のステップＳ５１において、ユーザの経験レベルを解析する。例えば、経験レベル解析部７２は、操作ログ解析部７６によって、内視鏡２１の操作ログを解析する。図１７は操作ログ解析部７６の具体的な処理の一例を示している。操作ログ解析部７６は、抜き差し回数解析部７６ａによって挿入部２２の抜き差し回数を解析する（Ｓ５１１）。また、操作ログ解析部７６は、到達時間解析部７６ｂによって挿入部２２が検査対象部位に到達するまでの到達時間を解析する（Ｓ５１２）。
　なお、ステップＳ５１１，Ｓ５１２の抜き差し回数の解析及び到達時間解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。経験レベル解析部７２は、解析した抜き差し回数及び到達時間の少なくとも一方の解析結果に基づいて、ユーザの経験レベルを算出する（Ｓ５１３）。経験レベル解析部７２は、算出した経験レベルをリスク推定結果として表示制御部８１に出力する。なお、経験レベル解析部７２は、抜き差し回数及び到達時間の数値を経験レベルの解析結果とし、経験レベルの解析結果をそのままリスク推定結果として出力してもよい。この場合には、抜き差し回数が多い程、到達時間が長いほど熟練度が低く（経験レベルが低く）、品質が低下するリスクが高いと推定される。
　表示制御部８１の検出マーカ情報生成部８２は、入力されたリスク推定結果に基づいて、検出マーカの形態を設定し、設定に応じて検出マーカを表示するための情報を生成する。例えば、検出マーカ情報生成部８２は、表示時間制御部８３によって、リスク推定結果に基づく表示時間を設定し（図８のＳ４１）、表示内容制御部８４によって、リスク推定結果に基づく表示内容を設定する（図８のＳ４２）。
　こうして、リスク推定結果に応じて表示形態で検出マーカが表示される。
　例えば、抜き差し回数が多い場合や、到達時間が長い場合には、リスク推定結果に基づいて、比較的長い時間、より目立つ色調で検出マーカが表示される。これにより、経験レベルが低いユーザについても、検出マーカの見落としを防止することができ、結果的に検査品質の向上を図ることができる。
　逆に、抜き差し回数が少ない場合や、到達時間が短い場合には、リスク推定結果に基づいて、比較的短い時間、より自然な色調で検出マーカが表示される。これにより、経験レベルが高いユーザについては、観察画像の視認性が検出マーカによって悪化することを抑制することができ、結果的に検査品質の向上を図ることができる。
　このように本実施の形態においては、検査品質が低下するリスクをユーザの経験レベルの解析によって推定し、リスク推定結果に基づいて検出マーカの表示形態を変更するようになっている。これにより、ユーザの経験レベルが比較的低い場合には、検出マーカを例えば見やすく表示することで検出マーカの見落としを防止して検査品質を向上させ、ユーザの経験レベルが比較的高い場合には、観察画像の視認性が悪化しないように検出マーカを表示することで、検査品質を向上させることができる。
（第６の実施形態）
　図１８は本発明の第６の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置４０に代えて画像処理装置４５を採用した点が図１と異なる。図１８の画像処理装置４４は、経験レベル解析部７２を検査経歴解析部７７によって構成した点が図１５と異なる。他の構成は第５の実施形態と同様であり、説明を省略する。本実施形態はユーザの経験レベルを検査経歴の解析によって推定する例である。
　検査経歴解析部７７は、内視鏡検査の経歴を解析することで、ユーザの経験レベルを解析する。本実施形態では、一例として、検査経歴解析部７７は、総検査数解析部７７ａ及び総検査時間解析部７７ｂによって構成する。
　総検査数解析部７７ａは、総検査数を解析するようになっている。例えば、総検査数解析部７７ａは、上述した各種の方法により取得した任意期間において、ユーザが内視鏡検査を行った数を求める。内視鏡検査時には、検査者の氏名等の検査者を特定する情報が入力されるようになっており、総検査数解析部７７ａは、システム情報によって総検査数を解析することが可能である。なお、観察画像中に検査者を特定する情報がシステム情報とは別に含まれることもあり、総検査数解析部７７ａは、観察画像から各ユーザの検査数を解析することも可能である。
　総検査時間解析部７７ｂは、総検査時間を解析するようになっている。例えば、総検査時間解析部７７ｂは、上述した各種の方法により取得した任意期間において、ユーザが内視鏡検査を行った時間を求める。総検査時間解析部７７ｂは、システム情報によって総検査時間を解析することが可能である。なお、総検査時間解析部７７ｂは、観察画像から各ユーザの総検査時間を解析することも可能である。
　例えば、任意期間として、例えば、１日、１週間、１ヶ月等を設定することができる。例えば、各ユーザについて年間における総検査数が比較的多く、総検査時間が比較的長い場合には、熟練度（経験レベル）が高いものと考えられる。経験レベル解析部７２は、総検査数解析部７７ａが求めた総検査数が多い程、総検査時間解析部７７ｂが求めた総検査時間が長い程、経験レベルが高いと解析することができ、リスク推定部７０は、検査品質が低下するリスクが小さいと推定することができる。
　なお、本実施形態においては、検査経歴解析部７７は、総検査数解析部７７ａ及び総検査時間解析部７７ｂにより構成した例を説明したが、総検査数解析部７７ａ又は総検査時間解析部７７ｂのいずれか一方によって構成してもよい。
　次に、このように構成された実施形態の動作について図１９を参照して説明する。図１９は第６の実施形態の動作を説明するためのフローチャートである。
　本実施形態における動作は、図３及び図１６と同様である。図１９は、図１６のステップＳ５１について、図１７とは異なる具体的なフローの一例を示している。
　リスク推定部７０の経験レベル解析部７２は、図１６のステップＳ５１において、ユーザの経験レベルを解析する。例えば、経験レベル解析部７２は、検査経歴解析部７７によって、各ユーザの内視鏡検査経歴を解析する。図１９は検査経歴解析部７７の具体的な処理の一例を示している。検査経歴解析部７７は、総検査数解析部７７ａによって内視鏡検査の総検査数を解析する（Ｓ５１４）。また、検査経歴解析部７７は、総検査時間解析部７７ｂによって内視鏡検査の総検査時間を解析する（Ｓ５１５）。
　なお、ステップＳ５１４，Ｓ５１５の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。経験レベル解析部７２は、解析した総検査数及び総検査時間の少なくとも一方の解析結果に基づいて、経験レベルを算出する（Ｓ５１６）。経験レベル解析部７２は、算出した経験レベルをリスク推定結果として表示制御部８１に出力する。なお、経験レベル解析部７２は、総検査数が多いほど、また、総検査時間が長い程、経験レベルが高く、検査品質が低下するリスクが低いと推定し、総検査数が少ないほど、また、総検査時間が短い程、経験レベルが低く、品質が低下するリスクが高いと推定する。
　表示制御部８１の検出マーカ情報生成部８２において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第５の実施形態と同様である。この結果、表示装置９５の表示画面９５ａ上には、ユーザの経験レベルに応じた形態の検出マーカが表示される。
　他の作用は第５の実施形態と同様である。このように本実施の形態においても、第５の実施形態と同様の効果を得ることができる。
（第７の実施形態）
　図２０は本発明の第７の実施形態を示すブロック図である。本実施形態の内視鏡システムは、画像処理装置４０に代えて画像処理装置４６を採用した点が図１と異なる。図２０の画像処理装置４６は、経験レベル解析部７２を比較解析部７８によって構成した点が図１５と異なる。他の構成は第５の実施形態と同様であり、説明を省略する。本実施形態はユーザの経験レベルをコンピュータ診断支援装置（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）との比較による解析によって推定する例である。
　比較解析部７８は、病変部候補に対するユーザの診断結果とＣＡＤによる診断結果とを比較し比較結果の推移を解析する。本実施形態では、一例として、比較解析部７８は、過去からの推移解析部７８ａ及び症例内の推移解析部７８ｂによって構成する。
　過去からの推移解析部７８ａは、病変部候補に対するユーザの診断結果とＣＡＤによる診断結果とを比較し、ＣＡＤの診断結果を基準にしてユーザの診断結果がどのように変化したかの推移を解析する。通常、病変部候補に対する診断の正当性の度合いは、熟練度が極めて高いエキスパートの医師≧ＣＡＤ＞未熟な医師であると考えられる。このため、未熟な医師による診断結果とＣＡＤの診断結果との差は比較的大きく、当該医師が経験を積むにつれて、次第にその差が小さくなるものと考えられる。
　従って、ユーザの診断結果とＣＡＤによる診断結果との比較を行い、比較結果を図示しないメモリに記憶させ、比較結果の推移によって、ユーザの経験レベルを判断することが可能である。過去からの推移解析部７８ａは、このような診断結果の記録及び読み出しを行って比較結果の推移を解析し、経験レベル解析部７２は、解析結果に基づいてユーザの経験レベルを判定する。なお、リスク推定部７０は、システム情報に基づいて、ユーザの診断結果及びＣＡＤの診断結果を取得することができる。
　また、症例内の推移解析部７８ｂは、１つの症例内において、病変部候補に対するユーザの診断結果とＣＡＤによる診断結果とを比較し、ＣＡＤの診断結果を基準にしてユーザの診断結果がどのように変化したかの推移を解析する。１症例内の診断時においても、ユーザが経験を積み、ユーザの診断結果とＣＡＤによる診断結果との差が小さくなることがある。症例内の推移解析部７８ｂは、各症例内において診断結果の記録及び読み出しを行って比較結果の推移を解析し、経験レベル解析部７２は、解析結果に基づいてユーザの経験レベルを判定する。
　なお、本実施形態においては、比較解析部７８は、過去からの推移解析部７８ａ及び症例内の推移解析部７８ｂにより構成した例を説明したが、過去からの推移解析部７８ａ又は症例内の推移解析部７８ｂのいずれか一方によって構成してもよい。
　次に、このように構成された実施形態の動作について図２１を参照して説明する。図２１は第７の実施形態の動作を説明するためのフローチャートである。
　本実施形態における動作は、図３及び図１６と同様である。図２１は、図１６のステップＳ５１について、図１７とは異なる具体的なフローの一例を示している。
　リスク推定部７０の経験レベル解析部７２は、図１６のステップＳ５１において、ユーザの経験レベルを解析する。経験レベル解析部７２は、比較解析部７８によって、経験レベルを解析する。図２１は比較解析部７８の具体的な処理の一例を示している。比較解析部７８は、各ユーザの診断結果とＣＡＤの診断結果を取得し（図２１のＳ５１７）、過去からの推移解析部７８ａによってユーザの診断結果とＣＡＤの診断結果との差の推移を解析する（Ｓ５１８）。経験レベル解析部７２は、症例内の推移解析部７８ｂによって、１症例内について、ユーザの診断結果とＣＡＤの診断結果との差の推移を解析する（Ｓ５１９）。
　なお、ステップＳ５１８，Ｓ５１９の解析は、逆順に行ってもよく、また、いずれか一方の解析のみを行ってもよい。経験レベル解析部７２は、解析した過去からの推移の解析結果及び１症例内での推移の解析結果の少なくとも一方の解析結果に基づいて、経験レベルを算出する（Ｓ５２０）。例えば、経験レベル解析部７２は、ユーザの診断結果とＣＡＤの診断結果との差の推移によって、ユーザの診断結果の正当性の度合いを判断してユーザの経験レベルを求める。例えば、ユーザの診断結果とＣＡＤの診断結果との差が小さくなると、ユーザの経験レベルが高くなったものと判定することができる。
　リスク推定部７０は、算出した経験レベルをリスク推定結果として表示制御部８１に出力する。表示制御部８１の検出マーカ情報生成部８２において、リスク推定結果に応じた形態の検出マーカを表示するための情報が生成されることは第５の実施形態と同様である。この結果、表示装置９５の表示画面９５ａ上には、ユーザの経験レベルに応じた形態の検出マーカが表示される。
　他の作用は第５の実施形態と同様である。このように本実施の形態においても、第５の実施形態と同様の効果を得ることができる。
　なお、リスク推定部７０としては、上記第５から第７の実施形態における抜き差し回数解析部７６ａ、到達時間解析部７６ｂ、総検査数解析部７７ａ、総検査時間解析部７７ｂ、過去からの推移解析部７８ａ及び症例内の推移解析部７８ｂのうちの少なくとも１つを備えた経験レベル解析部７２を採用してユーザの経験レベルを解析するようになっていてもよい。
　更に、リスク推定部７０は、上記第２～第７の実施形態における疲労度解析部７１及び経験レベル解析部７２の少なくとも１つを備えていてもよい。
　また、上記各実施形態において、報知を音声等によって行う場合にも、リスク推定結果に応じた報知態様を設定することが可能である。
　なお、明細書中で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
　また、フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
　なお、実施形態中で、「部」として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。
　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (24)

  1. 　被検体の観察画像を入力するか又は前記観察画像及びシステム情報を入力する入力部と、
    　前記観察画像から病変部候補を検出する検出部と、 
    　前記観察画像又はシステム情報から検査品質の低下リスクを推定するリスク推定部と、
    　前記リスク推定部のリスク推定結果から病変部候補の報知態様を制御する報知制御部と、
    　前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、
    を具備したことを特徴とする内視鏡装置。
  2. 　前記リスク推定部は、ユーザの疲労度を解析する疲労度解析部を具備し、
    　解析結果の疲労度に基づいて、前記リスク推定結果を求める
    ことを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記疲労度解析部は、操作ログを解析する第１操作ログ解析部を具備し、
    　解析結果の操作ログに基づいて、前記疲労度を求める
    ことを特徴とする請求項２に記載の内視鏡装置。
  4. 　前記第１操作ログ解析部は、任意期間における内視鏡の持ち変え回数を解析する持ち変え回数解析部を具備し、
    　解析結果の持ち変え回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項３に記載の内視鏡装置。
  5. 　前記第１操作ログ解析部は、任意期間における内視鏡のひねり回数を解析するひねり回数解析部を具備し、
    　解析結果のひねり回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項３に記載の内視鏡装置。
  6. 　前記疲労度解析部は、検査状況ログを解析する検査状況解析部を具備し、
    　解析結果の検査状況に基づいて、前記疲労度を求める
    ことを特徴とする請求項２に記載の内視鏡装置。
  7. 　前記検査状況解析部は、任意期間における検査経過時間を解析する検査経過時間解析部を具備し、
    　解析結果の検査経過時間に基づいて、前記疲労度を求める
    ことを特徴とする請求項６に記載の内視鏡装置。
  8. 　前記検査状況解析部は、連続検査回数を解析する連続検査回数解析部を具備し、
    　解析結果の連続検査回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項６に記載の内視鏡装置。
  9. 　前記疲労度解析部は、生体情報を解析する生体情報解析部を具備し、
    　解析結果の生体情報に基づいて、前記疲労度を求める
    ことを特徴とする請求項２に記載の内視鏡装置。
  10. 　前記生体情報解析部は、瞬き回数解析部を具備し、
    　解析結果の瞬き回数に基づいて、前記疲労度を求める
    ことを特徴とする請求項９に記載の内視鏡装置。
  11. 　前記リスク推定部は、ユーザの経験レベルを解析する経験レベル解析部を具備し、
    　解析結果の経験レベルに基づいて、前記リスク推定結果を求める
    ことを特徴とする請求項１に記載の内視鏡装置。
  12. 　前記経験レベル解析部は、操作ログを解析する第２操作ログ解析部を具備し、
    　解析結果の操作ログに基づいて、前記経験レベルを求める
    ことを特徴とする請求項１１に記載の内視鏡装置。
  13. 　前記第２操作ログ解析部は、内視鏡の検査対象部までの内視鏡の抜き差し回数を解析する抜き差し回数解析部を具備し、
    　解析結果の抜き差し回数に基づいて、前記経験レベルを求める
    ことを特徴とする請求項１２に記載の内視鏡装置。
  14. 　前記第２操作ログ解析部は、内視鏡の検査対象部までの到達時間を解析する到達時間解析部を具備し、
    　解析結果の到達時間に基づいて、前記経験レベルを求める
    ことを特徴とする請求項１２に記載の内視鏡装置。
  15. 　前記経験レベル解析部は、ユーザの検査経歴を解析する検査経歴解析部を具備し、
    　解析結果の検査経歴に基づいて、前記経験レベルを求める
    ことを特徴とする請求項１１に記載の内視鏡装置。
  16. 　前記検査経歴解析部は、任意期間における検査の総検査数及び総検査時間の少なくとも一方を解析することで前記経験レベルを求める
    ことを特徴とする請求項１５に記載の内視鏡装置。
  17. 　前記経験レベル解析部は、ユーザの診断結果とコンピュータ診断支援装置の診断結果との比較結果の推移を解析する比較解析部を具備し、
    　解析結果の比較結果の推移に基づいて、前記経験レベルを求める
    ことを特徴とする請求項１１に記載の内視鏡装置。
  18. 　前記比較解析部は、過去から現在に至る比較結果の推移及び１検査内における比較結果の推移の少なくとも一方に基づいて前記経験レベルを求める
    ことを特徴とする請求項１７に記載の内視鏡装置。
  19. 　前記報知制御部は、前記リスク推定結果に基づいて前記病変部候補の報知時間を変更する
    ことを特徴とする請求項１に記載の内視鏡装置。
  20. 　前記報知制御部は、前記リスク推定結果に基づいて前記病変部候補の報知内容を変更する
    ことを特徴とする請求項１に記載の内視鏡装置。
  21. 　前記報知制御部は、前記リスク推定結果に基づいて前記病変部候補の報知態様の表示色調を変更する
    ことを特徴とする請求項２０に記載の内視鏡装置。
  22. 　前記報知制御部は、前記病変部候補の性状を解析する病変解析部を具備し、
    　前記病変部候補の性状及び前記リスク推定結果に基づいて前記病変部候補の表示非表示の表示判定レベルを変化させる
    ことを特徴とする請求項２０に記載の内視鏡装置。
  23. 　前記報知出力部は、前記観察画像と前記病変部候補を示す検出マーカとを表示器に表示する
    ことを特徴とする請求項１に記載の内視鏡装置。
  24. 　被検体を撮像して撮像信号を出力する内視鏡と、
    　前記内視鏡の撮像信号に基づく観察画像を生成するビデオプロセッサと、
    　前記ビデオプロセッサから前記観察画像を入力するか又は前記観察画像及びシステム情報を入力する入力部と、
    　前記観察画像から病変部候補を検出する検出部と、 
    　前記観察画像又はシステム情報から検査品質の低下リスクを推定するリスク推定部と、
    　前記リスク推定部のリスク推定結果から病変部候補の報知態様を制御する報知制御部と、
    　前記報知制御部の制御に従って前記病変部候補を報知する報知出力部と、
    を具備したことを特徴とする内視鏡システム。
PCT/JP2019/001712 2019-01-21 2019-01-21 内視鏡装置及び内視鏡システム WO2020152758A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980087618.7A CN113271839B (zh) 2019-01-21 图像处理装置和计算机程序产品
PCT/JP2019/001712 WO2020152758A1 (ja) 2019-01-21 2019-01-21 内視鏡装置及び内視鏡システム
JP2020567685A JP7189969B2 (ja) 2019-01-21 2019-01-21 画像処理装置、画像処理装置の作動方法及び画像処理プログラム
US17/378,080 US20210338042A1 (en) 2019-01-21 2021-07-16 Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/001712 WO2020152758A1 (ja) 2019-01-21 2019-01-21 内視鏡装置及び内視鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/378,080 Continuation US20210338042A1 (en) 2019-01-21 2021-07-16 Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program

Publications (1)

Publication Number Publication Date
WO2020152758A1 true WO2020152758A1 (ja) 2020-07-30

Family

ID=71735644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001712 WO2020152758A1 (ja) 2019-01-21 2019-01-21 内視鏡装置及び内視鏡システム

Country Status (3)

Country Link
US (1) US20210338042A1 (ja)
JP (1) JP7189969B2 (ja)
WO (1) WO2020152758A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210274999A1 (en) * 2018-11-28 2021-09-09 Olympus Corporation Endoscope system, endoscope image processing method, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7085018B2 (ja) * 2018-11-30 2022-06-15 オリンパス株式会社 表示装置、表示制御方法及び内視鏡システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02166493A (ja) * 1988-12-20 1990-06-27 Nec Corp Ｖｄｔ装置
WO2006100808A1 (ja) * 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2010057727A (ja) * 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 医用画像読影システム
JP2010262466A (ja) * 2009-05-07 2010-11-18 Toshiba Corp 医用診断支援システム及び医療診断支援方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW455769B (en) * 1999-08-18 2001-09-21 Jian Huei Jiuan Eye-protection method and apparatus set up for monitor screen
US6533797B1 (en) * 1999-11-24 2003-03-18 Nuvasive Control grip assembly
US9675272B2 (en) * 2013-03-13 2017-06-13 DePuy Synthes Products, Inc. Methods, systems, and devices for guiding surgical instruments using radio frequency technology
EP3102087A4 (en) * 2014-02-05 2017-10-25 National University of Singapore Systems and methods for tracking and displaying endoscope shape and distal end orientation
CA3042091A1 (en) * 2016-10-31 2018-05-03 Synaptive Medical (Barbados) Inc. 3d navigation system and methods
US20180325617A1 (en) * 2017-05-12 2018-11-15 MezLight, LLC Surgical light and uses thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02166493A (ja) * 1988-12-20 1990-06-27 Nec Corp Ｖｄｔ装置
WO2006100808A1 (ja) * 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2010057727A (ja) * 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 医用画像読影システム
JP2010262466A (ja) * 2009-05-07 2010-11-18 Toshiba Corp 医用診断支援システム及び医療診断支援方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210274999A1 (en) * 2018-11-28 2021-09-09 Olympus Corporation Endoscope system, endoscope image processing method, and storage medium
US11642005B2 (en) * 2018-11-28 2023-05-09 Olympus Corporation Endoscope system, endoscope image processing method, and storage medium

Also Published As

Publication number Publication date
US20210338042A1 (en) 2021-11-04
JPWO2020152758A1 (ja) 2021-12-09
CN113271839A (zh) 2021-08-17
JP7189969B2 (ja) 2022-12-14

Similar Documents

Publication Publication Date Title
JP6602969B2 (ja) 内視鏡画像処理装置
KR102185886B1 (ko) 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
JP2008301968A (ja) 内視鏡画像処理装置
CN112040830A (zh) 内窥镜图像处理装置和内窥镜图像处理方法
US20220058799A1 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
US20240304311A1 (en) Medical image processing apparatus, medical image proces sing method, program, and diagnosis support apparatus
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
US9820648B2 (en) Image processing apparatus and image processing method
US20210338042A1 (en) Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program
EP2671503A1 (en) Image processing apparatus
JPWO2021157487A5 (ja)
JP2008119259A (ja) 内視鏡挿入形状解析システム
US20210251470A1 (en) Image processing device for endoscope, image processing method for endoscope, and recording medium
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP4855902B2 (ja) 生体観測システム
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
JP4794992B2 (ja) 挿入モニタリング装置
CN113271839B (zh) 图像处理装置和计算机程序产品
JPWO2020070818A1 (ja) 計測装置、計測方法、及びプログラム
JP2020171599A (ja) 画像生成装置、コンピュータプログラム及び画像生成方法
JPWO2021044910A5 (ja)
WO2024121886A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20230240510A1 (en) Examination support device, examination support method, and storage medium storing examination support program
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911774

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567685

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911774

Country of ref document: EP

Kind code of ref document: A1