WO2020110214A1 - 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム - Google Patents

内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム Download PDF

Info

Publication number
WO2020110214A1
WO2020110214A1 PCT/JP2018/043699 JP2018043699W WO2020110214A1 WO 2020110214 A1 WO2020110214 A1 WO 2020110214A1 JP 2018043699 W JP2018043699 W JP 2018043699W WO 2020110214 A1 WO2020110214 A1 WO 2020110214A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image
notification
risk
oversight
Prior art date
Application number
PCT/JP2018/043699
Other languages
English (en)
French (fr)
Inventor
明広 窪田
勝義 谷口
大和 神田
光隆 木村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/043699 priority Critical patent/WO2020110214A1/ja
Priority to CN201880099663.XA priority patent/CN113164023B/zh
Priority to JP2020557446A priority patent/JP6957771B2/ja
Publication of WO2020110214A1 publication Critical patent/WO2020110214A1/ja
Priority to US17/329,446 priority patent/US11642005B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscope system, an image processing method for an endoscope, and an image processing program for an endoscope.
  • Endoscopes have been widely used in the medical field and industrial field.
  • an operator can detect and discriminate a lesioned part by looking at an endoscopic image in the subject displayed on a display device, and perform processing using a treatment tool on the lesioned part.
  • CAD Computer Aided Detection/ Diagnosis
  • the diagnosis support function is an effective function for suppressing the oversight of lesions, but the user may miss the lesions depending on the image conditions. Therefore, for example, in Japanese Unexamined Patent Publication No. 2015-160083, it is determined whether or not the user is looking at the lesion by detecting the line of sight of the user, and if it is determined that the lesion is not being viewed, an alarm is issued. , An endoscope system having an oversight prevention function has been proposed.
  • the present invention has been made in view of the above-described circumstances, and an endoscope system and an endoscope image, which can realize an oversight prevention function at low cost without impairing the convenience of the user.
  • An object of the present invention is to provide a processing method and an image processing program for an endoscope.
  • An endoscope system includes an image input unit to which a plurality of observation images obtained by imaging a subject with an endoscope are sequentially input, and a lesion part that is an observation target of the endoscope.
  • a lesion detection unit that detects the observation image, based on the observation image
  • an oversight risk analysis unit that determines the degree of the oversight risk, which is the risk that the operator misses the lesion region, and based on the degree of the oversight risk
  • a notification control unit that controls the notification unit and the notification method of the detection of the lesion portion, and a notification unit that notifies the operator of the detection of the lesion portion based on the control of the notification control unit.
  • An image processing method for an endoscope of one aspect of the present invention sequentially inputs a plurality of observation images obtained by imaging an object with an endoscope, and selects a lesion part that is an observation target of the endoscope. Detected from the observation image, based on the observation image, the operator determines the degree of oversight risk, which is the risk of overlooking the lesion, the notification means and notification method of the detection of the lesion based on the degree of the oversight risk. The operator is controlled to notify the operator of the detection of the lesion based on the control of the notification controller.
  • the image input unit sequentially acquires a plurality of observation images obtained by imaging the subject with an endoscope
  • the lesion detection unit includes: A step of detecting a lesion part that is an observation object of the endoscope from the observation image, and an oversight risk analysis section, based on the observation image, a step of determining the degree of the oversight risk, which is a risk that the operator overlooks the lesion part.
  • a notification control unit controls the notification unit and the notification method of detection of the lesion based on the degree of the oversight risk; and the notification unit detects the lesion based on the control of the notification control unit. Causing the computer to execute the step of notifying the operator.
  • FIG. 3 is a block diagram illustrating an example of a configuration related to image processing of a processor 4.
  • the block diagram which shows the structure of the calculating part 22b of the control calculating part 22.
  • the block diagram which shows the structure of the oversight risk analysis part 34.
  • 3 is a flowchart illustrating an example of an endoscope image processing method according to an embodiment of the present invention.
  • the figure which shows an example of the endoscopic image displayed on the monitor 5.
  • the block diagram which shows the structure of the notification control part 35 concerning 2nd Embodiment.
  • FIG. 1 is a perspective view showing an example of the overall configuration of an endoscope system according to an embodiment of the present invention.
  • the endoscope system 1 of the present embodiment mainly includes an electronic endoscope (hereinafter, simply referred to as an endoscope) 2 as an endoscope scope, a light source device 3, a processor 4, and a monitor 5. Has been done.
  • the endoscope 2 is configured to include a long and slender insertion portion 9, an operation portion 10, and a universal cable 19 which is an electric cable.
  • the insertion portion 9 of the endoscope 2 is configured to have a tip portion 6, a bending portion 7, and a flexible tube portion 8 in order from the tip.
  • An illumination window and an observation window are provided on the tip portion 6, and the illumination light is emitted from the illumination window to the subject, and the return light from the subject is incident on the observation window.
  • a solid-state image pickup device such as a CCD or a CMOS is arranged at the tip portion 6 as a means for picking up an image of a subject, and photoelectrically converts a subject image formed by light incident through the observation window to output an image pickup signal.
  • the image pickup signal is supplied to the processor 4 via the universal cable 19.
  • a bending operation unit 14 for bending the bending unit 7 of the insertion unit 9 is rotatably arranged in the operation unit 10, and various endoscope function switches including a focus switch 15 are provided.
  • the bending operation unit 14 is configured such that the UD bending operation knob 12 for bending the bending unit 7 in the vertical direction and the RL bending operation knob 13 for bending the bending unit 7 in the left-right direction are overlapped with each other. It is arranged.
  • the connecting portion between the insertion portion 9 and the operation portion 10 is a grip portion 11 that also serves as a grip portion for a user, and a bend-preventing portion provided between the grip portion 11 and one end of the flexible tube portion 8 of the insertion portion 9.
  • a treatment instrument channel insertion portion 18 which is an opening portion of a treatment instrument channel through which various treatment portions disposed in the insertion portion 9 are inserted.
  • the universal cable 19 extended from the operation unit 10 has a light source device 3 and a detachable scope connector 19a at the extension end. Further, the scope connector 19a has a coil-shaped coil cable 20 extending therein, and the extension end of the coil cable 20 is provided with the processor 4 and a scope connector 20a as a detachable connector.
  • the endoscope 2 of the present embodiment transmits illumination light from the light source device 3 to the tip portion 6 by the universal cable 19, the light guide cable of the illumination means arranged in the operation portion 10 and the insertion portion 9. Is.
  • the processor 4 is electrically connected to a monitor 5 that displays an endoscopic image, processes an image pickup signal photoelectrically converted by an image pickup means such as a CCD mounted on the endoscope 2, and monitors the image signal as an image signal. Output to 5.
  • An endoscopic image is displayed on the monitor 5.
  • the monitor 5 also includes a speaker 5a that outputs sound.
  • the monitor 5 also has a function as a notification unit.
  • FIG. 2 is a block diagram showing a configuration related to image processing of the processor 4.
  • the processor 4 is an image processing device including an image pickup signal acquisition unit 21, a control calculation unit 22, a storage device 23, and an input unit 24.
  • the control calculation unit 22 is a circuit including a control unit 22a and a calculation unit 22b.
  • the imaging signal acquisition unit 21 is a circuit that receives and acquires an imaging signal from the imaging element of the endoscope 2 and outputs it to the control calculation unit 22 under the control of the control unit 22a.
  • the control unit 22a includes a central processing unit (hereinafter referred to as CPU), ROM, RAM, and the like, controls the operation of the entire processor 4, and responds to an instruction from the operator to the input unit 24 to allow the endoscope 2 to operate.
  • CPU central processing unit
  • ROM read-only memory
  • RAM random access memory
  • Controls image processing controls the operation of the entire processor 4 and responds to an instruction from the operator to the input unit 24 to allow the endoscope 2 to operate.
  • Drive control of the image pickup device control of various circuits based on various operation signals from the operation unit 10 of the endoscope 2, recording of various data in the storage device 23, control of reading various data from the storage device 23, and Controls image processing.
  • control unit 22a controls the operation of the endoscope system 1 based on an instruction or input made by the input unit 24, and outputs a control signal or a setting signal to each unit.
  • the calculation unit 22b executes various image processing and various calculation processes based on the image pickup signal acquired by the image pickup signal acquisition unit 21, and at the same time, an endoscopic image displayed on the monitor 5. Is a circuit for generating the image signal and various display information and outputting it to the monitor 5. Note that all or part of the processing of the control unit 22a and the calculation unit 22b in the control calculation unit 22 may be performed by a software program.
  • the storage device 23 is a large-capacity storage device such as a hard disk device, and stores image data of an endoscopic image of the inside of the subject obtained by the endoscopic examination and various data such as support information.
  • the input unit 24 is an operation panel having various buttons, and is an input device for the operator to give various settings of the endoscope system 1 and various instructions to the processor 4.
  • FIG. 3 is a block diagram showing the configuration of the arithmetic unit 22b of the control arithmetic unit 22 in the present embodiment.
  • the calculation unit 22b is a circuit including an image input unit 31 and a support information generation unit 32. Although not shown, the calculation unit 22b generates an observation image G1 of the subject by performing a predetermined process on the received image pickup signal, and sequentially outputs the generated observation image G1 to the image input unit 31 frame by frame. An image generation unit for outputting is also provided.
  • the image input unit 31 sequentially outputs the input observation image G1 to the support information generation unit 32 frame by frame.
  • the support information generation unit 32 includes a lesion detection unit 33, an oversight risk analysis unit 34, a notification control unit 35, and an image superposition unit 26.
  • the lesion detecting unit 33 is configured to detect a lesion included in the generated images sequentially output from the image input unit 31.
  • the lesion detection unit 33 performs processing for applying to the generated image an image discriminator that has acquired a function capable of discriminating polyp images in advance by a learning method such as deep learning, thereby detecting the lesion portion from the generated image. To detect.
  • the detection of the lesion area is not limited to the learning method described above, and other methods may be used. For example, a polyp candidate detection process disclosed in Japanese Patent Laid-Open No. 2007-244518 may be used.
  • the oversight risk analysis unit 34 is a circuit that analyzes the image including the lesion detected by the lesion detection unit 33 and determines the possibility that the operator who is the user misses the lesion as a risk.
  • FIG. 4 is a block diagram showing the configuration of the oversight risk analysis unit 34.
  • the oversight risk analysis unit 34 includes a lesion analysis unit 34A, an image state analysis unit 34B, and a movement analysis unit 34C.
  • the lesion analysis unit 34A analyzes the input image, determines the size, position, density, shape, etc. of the lesion, and evaluates the risk of overlooking the lesion.
  • the image state analysis unit 34B analyzes the input image, determines whether the image pickup state of the image is suitable for the diagnosis support function, and evaluates the risk of overlooking the lesion.
  • the movement analysis unit 34C analyzes the input image, determines the degree of movement of the lesion by the user operating the endoscope 2, and evaluates the risk of overlooking the lesion.
  • FIG. 4 shows not only the configuration related to the present embodiment described below, but also the configurations related to the second and third embodiments described after the present embodiment.
  • the notification control unit 35 controls a notification unit and a notification method for allowing the user to recognize the presence of the lesion detected by the lesion detection unit 33.
  • notification is performed using the display image on the monitor 5.
  • a marker image surrounding the lesion portion is generated and added to the generated image.
  • the marker image may have any form as long as it can present the presence of the lesion as visual information, and may be any image such as a quadrangle, a triangle, a circle, and a star. Further, the marker image may be an image that does not surround the lesion area as long as it can indicate the presence of the lesion area. For example, the presence or absence of the lesion may be indicated by making the brightness or color tone of the lesion different from that of the peripheral region. Further, the presence of the lesion may be indicated by generating a message indicating the lesion as the support information and displaying the message near the lesion in a format such as a pop-up message.
  • the notification control unit 35 controls the notification method of the support information according to the risk of overlooking the lesion site evaluated by the oversight risk analysis unit 34. For example, the color, thickness, and size of the marker image added to the lesion area are changed according to the degree of risk of oversight.
  • FIG. 5 is a flowchart illustrating an example of the endoscopic image processing method according to the embodiment of the present invention. That is, the execution procedure of the diagnosis support function performed in the endoscope system of the present embodiment is shown.
  • the control unit 22a controls the drive of the light source device 3 and the drive of the image pickup device of the endoscope 2 according to the set observation mode, and controls the image pickup signal acquisition unit 21, whereby the calculation unit 22b is An image pickup signal from the endoscope 2 is acquired.
  • the image input unit 31 of the calculation unit 22b acquires the observed image G1 of the subject by performing a predetermined process on the image pickup signal generated in the image generation unit (not shown), and sends it to the support information generation unit 32 frame by frame. Output sequentially. That is, the support information generation unit 32 acquires the endoscopic image (observation image G1) that is the in-vivo lumen image from the image input unit 31 (S1).
  • the lesion detection unit 33 for example, a process of applying an image discriminator, which has previously acquired a function capable of discriminating a polyp image by a learning method such as deep learning, to the observation image G1.
  • the lesion Ln is detected from the observation image G1 (S2).
  • the detection result of the lesion Ln is output to the oversight risk analysis unit 34.
  • the oversight risk analysis unit 34 determines the possibility of overlooking the lesion Ln in the observation image G1 as a risk (oversight risk analysis process, S3).
  • the oversight risk analysis unit 34 determines the state of the lesion, the state of the image, the operation state of the endoscope (moving state of the lesion in the image) by image analysis, and determines the oversight risk.
  • the lesion analysis unit 34A of the oversight risk analysis unit 34 performs analysis processing for risk determination.
  • the analysis items of the risk of oversight depending on the state of the lesion include, for example, (a) size of the lesion Ln, (b) position of the lesion Ln in the observation image G1, (c) concentration of the lesion Ln, (d) lesion Items such as the shape of the part Ln are listed.
  • the lesion analysis unit 34A analyzes the items selected from these to determine the risk of overlooking the lesion Ln.
  • the lesion size analysis unit 34A1 first estimates the imaging distance to each pixel in the image.
  • estimation of the imaging distance here, of various known techniques, the estimation of the imaging distance on the assumption that the imaging target is a uniform diffusion surface based on the image will be described.
  • a low absorption wavelength component for example, a red (R) wavelength component
  • a red (R) wavelength component that has the lowest degree of absorption or scattering in the living body. This is to suppress the pixel value reduction due to blood vessels and the like reflected on the mucous membrane surface, and to obtain pixel value information that is most correlated with the imaging distance from the mucous membrane surface.
  • the red (R), green (G), and blue (B) This is because in the image composed of three components, the red (R) component is a component having a wavelength away from the absorption band of blood and a long wavelength, and is not easily affected by absorption and scattering in the living body.
  • the ingredients are selected.
  • the lesion size analysis unit 34A1 estimates the imaging distance assuming a uniform diffusion surface based on the pixel value of the low absorption wavelength component. Specifically, the imaging distance is calculated by the following equation (1).
  • r represents the imaging distance
  • I represents the radiation intensity of the light source obtained by measuring in advance
  • K represents the diffuse reflectance coefficient of the mucous membrane surface, which is the average value measured in advance.
  • .. ⁇ represents an angle formed by a normal vector of the mucosal surface and a vector from the surface to the light source, and is a value determined by the positional relationship between the light source at the tip of the insertion portion of the endoscope 2 and the mucosal surface, and is an average value.
  • L represents the R component value of the pixel in which the surface of the mucous membrane of which the imaging distance is to be estimated is reflected.
  • the pixel value unevenness due to the optical system or the illumination system which may be a factor of reducing the accuracy of each process, or exclude the non-mucosal areas such as specular reflection, residues, and bubbles.
  • the calculation may be performed based on a distance measuring sensor or the like.
  • the lesion size analysis unit 34A1 sets a threshold smaller than the imaging distance and a threshold larger than the imaging distance of the pixels near the lesion.
  • the region of the imaging distance band having a lesion is extracted by the threshold processing.
  • the lesion size analysis unit 34A1 calculates the circularity of the region, and when the circularity is larger than a predetermined value, detects the region as a lumen.
  • the lesion size analysis unit 34A1 compares the lumen and the lesion region to estimate the size of the lesion region.
  • the lesion size analysis unit 34A1 estimates the actual size of the lesion by calculating the ratio of the length of the lesion to the circumference of the detected lumen.
  • the circumference of the lumen of each organ part (position) can be set in advance based on anatomy to improve the accuracy of size estimation. For example, in the case of a large intestine examination, the site (position) of the lesion in the large intestine is estimated from the insertion amount of the insertion portion, and compared with the preset perimeter of the lumen to improve the accuracy of size estimation. You may make it improve.
  • the lesion size analysis unit 34A1 estimates the size of the lesion Ln by comparing it with the circular size of the lumen shown in the endoscopic image. If the estimated size of the lesion Ln is larger than a predetermined size (for example, 5 mm) set in advance, it is determined that the risk of oversight is small. On the other hand, when the estimated size of the lesion Ln is smaller than the predetermined size, it is determined that the risk of overlooking is large.
  • a predetermined size for example, 5 mm
  • the lesion position analysis unit 34A2 first applies, to the observation image G1, an image discriminator that has acquired in advance a function capable of discriminating the polyp image by a learning method such as deep learning, thereby performing the observation image G1.
  • the lesion Ln is detected from G1 and the positional information is acquired.
  • the detection of the lesion Ln is not limited to the learning method described above, and another method may be used.
  • a polyp candidate detection process disclosed in Japanese Patent Laid-Open No. 2007-244518 may be used.
  • the position information of the lesion area Ln may be acquired from the lesion detection unit 33.
  • the position of the lesion Ln in the observation image G1 is analyzed.
  • An example of a specific method will be described below.
  • the observation image G1 in the observation image G1 is divided into three equal parts in the vertical direction and three equal parts in the horizontal direction, and divided into nine blocks.
  • An oversight risk is registered in each block.
  • the block in which the lesion Ln exists is specified and output as the position of the lesion Ln.
  • the block in which the lesioned part Ln exists is the largest block is the block in which the lesioned part Ln exists.
  • the method of identifying the block in which the lesion Ln exists is not limited to the above-described method, and another method such as a block in which the pixel located at the center of the lesion Ln exists may be used.
  • the lesion position analysis unit 34A2 estimates the position of the lesion Ln.
  • the oversight risk registered in the block where the lesion Ln is located is determined as the oversight risk of the lesion Ln. That is, when it is estimated that the lesion Ln exists in a block registered with a high risk of oversight, it is determined that the risk of oversight of the lesion Ln is high. On the other hand, when it is estimated that the lesion part Ln exists in the block registered with the small oversight risk, it is determined that the oversight risk of the lesion part Ln is small.
  • the position of the lesion Ln may be calculated as a distance from the central pixel position of the observed image G1 instead of the block position described above. In this case, if the calculated distance is larger than a preset threshold value, the risk of oversight is determined to be large. On the other hand, when the calculated distance is smaller than the preset threshold value, the risk of oversight is determined to be small.
  • the lesion-concentration analysis unit 34A3 extracts the density value (luminance value) of each pixel included in the lesion Ln and obtains an average value, which is used as the density value of the lesion Ln.
  • the statistical value such as the mode value may be used instead of the average for calculating the density value.
  • the threshold value for example, the concentration value of normal mucous membrane
  • the risk of oversight is small.
  • the estimated concentration value of the lesion Ln is smaller than the threshold value, it is determined that the risk of oversight is high.
  • the density value serving as the determination reference one registered in advance may be used, or the value of the normal mucous membrane portion in the observed image G1 in which the lesion Ln exists may be used.
  • (D) Shape of lesioned part Ln When this item is selected as an analysis item, the process described below is performed.
  • the lesion shape analysis unit 34A4 in FIG. 4 is involved in the following processing.
  • the lesion shape analysis unit 34A4 performs differential classification based on the shape of the lesion. Specifically, a mask image showing a lesion is created, and the shape feature amount is calculated based on the image. The shape feature amount is classified into one of a plurality of classes generated by machine learning using a classifier such as SVM. Here, known parameters such as circularity, moment, and fractal dimension are used as the shape feature amount.
  • a ridge type I type
  • a surface type II type
  • shape of the lesion Ln is classified into either one.
  • more detailed shape classification may be performed. For example, if it is a swelling type, it is classified as either sessile with no constriction on rising (Is), subpedunculated with constriction on rising (Isp), or pedunculated with stem (Ip),
  • the surface type may be classified into any of a raised type (IIa), a flat type (IIb), and a recessed type (IIc).
  • Oversight risk (either large oversight risk or small oversight risk) is registered in each category.
  • a raised type (type I) is registered as a small oversight risk
  • a surface type (type II) is registered as a large oversight risk.
  • the lesion shape analysis unit 34A4 determines the oversight risk registered in the shape classification of the lesion Ln as the oversight risk of the lesion Ln. That is, when the shape of the lesion Ln is classified as a shape registered with a high risk of oversight (eg, surface type (II type)), it is determined that the risk of oversight of the lesion Ln is high. On the other hand, if the shape is classified as a shape registered as having a small oversight risk (for example, a raised type (I type)), it is determined that the oversight risk of the lesion Ln is small.
  • the image state analysis unit 34B of the oversight risk analysis unit 34 performs analysis processing for risk determination.
  • the analysis items of the oversight risk depending on the state of the image include, for example, items such as (e) exposure state, (f) focus state (g) subject surface state (h) lens state, and the like.
  • the image state analysis unit 34B analyzes the items selected from these and determines the risk of overlooking the lesion Ln.
  • the exposure state analysis unit 34B1 in FIG. 4 analyzes the exposure state of the observation image G1. If the image is dark because the exposure time of the image pickup device of the endoscope 2 is too short, or if the portion irradiated with strong light has halation that blurs white, improper exposure is performed. In some cases, the exposure state analysis unit 34B1 determines that the risk of overlooking the lesion Ln is high. On the other hand, when the exposure is appropriate, it is determined that the risk of overlooking the lesion Ln is small.
  • the focus state analysis unit 34B2 in FIG. 4 analyzes the focus state of the observation image G1.
  • the focus state analysis unit 34B2 detects the lesion. It is determined that the risk of overlooking the part Ln is high. On the other hand, when the subject is in focus, it is determined that the risk of overlooking the lesion Ln is small.
  • (G) Surface state of subject When this item is selected as an analysis item, the subject surface analysis unit 34B3 in FIG. 4 analyzes the state of the subject in the observation image G1. If the subject has residues, bleeding, treatment marks, etc., it is determined that the risk of overlooking the lesion Ln is high. On the other hand, when there is no residue, bleeding, treatment marks, etc., the risk of overlooking the lesion Ln is determined to be small.
  • the lens state analysis unit 34B4 in FIG. 4 analyzes the state of the lens forming the imaging system of the endoscope 2 from the observation image G1. If the lens is cloudy or dirty, it is determined that the risk of overlooking the lesion Ln is high. On the other hand, if the lens is not clouded or soiled, it is determined that the risk of overlooking the lesion Ln is small.
  • the movement analysis unit 34C of the oversight risk analysis unit 34 performs analysis processing for risk determination.
  • the movement analysis unit 34C includes items such as (i) movement speed of the endoscope (j) position change of the lesion Ln as analysis items of the oversight risk due to the operation state of the endoscope.
  • the items selected from the inside are analyzed to determine the risk of overlooking the lesion Ln.
  • the operator when the operator discovers the lesion Ln in the observation image G1, the operator lowers the extraction speed of the endoscope 2 (or stops the extraction) in order to observe the lesion Ln. If the extraction speed of the endoscope 2 does not change despite the appearance of the lesion Ln in the observation image G1, it is highly probable that the operator has overlooked the lesion Ln. .. Therefore, when the change in speed is smaller than a preset threshold value, that is, when the change in the extraction speed of the endoscope 2 is small, it is determined that the risk of overlooking the lesion Ln is high.
  • the position analysis unit 34C2 in FIG. 4 analyzes the change in position of the lesion Ln in the observation image G1.
  • the position analysis unit 34C2 continuously monitors the position of the lesion Ln from the state in which the lesion Ln is detected in the observation image G1.
  • the lesion Ln moves out of the observation image G1 and is no longer detected in the observation image G1, it is determined that the risk of overlooking the lesion Ln is high.
  • the risk of overlooking the lesion Ln is small.
  • the oversight risk analysis unit 34 When the oversight risk analysis processing (S3) in the flowchart of FIG. 5 is completed as described above, the oversight risk analysis unit 34 outputs the oversight risk determination result to the notification control unit 35.
  • the notification control unit 35 determines the notification method according to the magnitude of the input oversight risk (S4).
  • the notification control unit 35 controls the notification method of the support information according to the risk of overlooking the lesion part, which is input from the oversight risk analysis unit 34.
  • the support information for example, the marker image
  • the color, the thickness, and the size of the marker image added to the lesion are changed according to the degree of risk of oversight. ..
  • the risk of oversight is large, the thickness of the marker image is made thicker, and if the risk of oversight is small, the thickness of the marker image is made thin.
  • the size of the marker image is increased when the risk of oversight is large, and the size of the marker image is decreased when the risk of oversight is small.
  • the change item of the marker image is not limited to one item, and a plurality of items may be changed according to the degree of risk. For example, both the thickness and size of the marker image may be changed. Further, when the risk of oversight is small, only the marker image is displayed. When the risk of oversight is large, a popup message is displayed in addition to the marker image.
  • the notification control unit 35 generates support information based on the notification method determined in S4 and notifies it (S5). Specifically, as the support information, a marker image G2 according to the degree of oversight risk is generated and output to the image superimposing unit 36.
  • the image superimposing unit 36 outputs the endoscopic image in which the marker image G2 input from the notification control unit 35 is superimposed on the observation image G1 input from the image input unit 31 to the monitor 5 for display.
  • FIG. 6 and 7 are diagrams showing an example of an endoscopic image displayed on the monitor 5. That is, FIG. 6 shows an endoscopic image on which support information is superimposed, FIG. 6 shows an example in which the risk of oversight is small, and FIG. 7 shows an example in which the risk of oversight is large.
  • the observation image G1 provided with the marker image G2 is displayed.
  • a marker image G2 having a size that surrounds the periphery of the lesion L1 is superimposed on the observation image G1.
  • a marker image G2 having a size surrounding the peripheral edge of the observation image G1 is superimposed on the observation image G1.
  • the thickness of the marker image G2 shown in FIG. 7 is made thicker than the thickness of the marker image G2 shown in FIG.
  • the observation image G1 is analyzed to analyze the risk of oversight of the lesion L1, and the operator is made to recognize the presence of the lesion L1 according to the degree of risk of oversight. Controls the notification method of support information. Therefore, the oversight prevention function can be realized at low cost without impairing the convenience of the user.
  • the degree of oversight risk is classified into two levels, large and small, but three or more levels may be set and the notification method of support information may be controlled according to each level.
  • the image generation unit (not shown) in the processor 4 generates the observation image based on the image pickup signal obtained by picking up the image of the subject with the endoscope 2.
  • 4 may be provided with an image processing device, the image processing device may generate an observation image, and the processor 4 may be configured to generate the support information using the input observation image.
  • the endoscope system of the present embodiment has the same configuration as the endoscope system 1 of the first embodiment.
  • the endoscope system of the present embodiment is characterized by the configuration of the notification controller 35 of the calculator 22b.
  • the detailed configuration of the notification control unit 35 will be described with reference to FIG.
  • the same components are denoted by the same reference numerals and description thereof will be omitted.
  • FIG. 8 is a block diagram showing the configuration of the notification control unit 35 according to the second embodiment.
  • the notification control unit 35 includes a notification unit selection unit 35A, a notification target risk setting unit 35B, and a notification method setting unit 35C.
  • the notification means selection unit 35A selects a means for notifying that the support information is displayed on the monitor 5.
  • image notification notification by voice from the speaker 5a (hereinafter, referred to as audio notification), an operator such as the operation unit 10, etc.
  • audio notification notification by voice from the speaker 5a
  • vibration notification vibration notification of a gripped portion
  • the notification target risk setting unit 35B sets an oversight risk that is a target of notification control.
  • the oversight risk that can be set is a risk whose risk degree can be determined based on the analysis result of the oversight risk analysis unit 34.
  • the setting items include, for example, (A) the number of detected lesions Ln, (B) the difficulty of finding lesions Ln, (C) the size of lesions Ln, (D) the type of lesions Ln, and (E) the lesions.
  • the detection reliability of the part Ln, (F) elapsed time of detection of the lesion Ln, and the like are included.
  • the notification target risk setting unit 35B selects an item to be set as a notification target risk from these.
  • This item is an oversight risk determined based on the number of lesions Ln existing in the observed image G1.
  • the detection of the number of lesion parts Ln existing in the observed image G1 is performed by the lesion number analysis part 34A5 of the oversight risk analysis part 34.
  • the lesion number analysis unit 3A5 determines an oversight risk based on the number of lesion portions Ln detected in the observed image G1. That is, when the number of lesion parts Ln is larger than a preset threshold value (for example, two), it is determined that the risk of oversight is small. On the other hand, when the number of lesion parts Ln is less than or equal to a preset threshold value, it is determined that the risk of oversight is high.
  • a preset threshold value for example, two
  • This item is an oversight risk that is determined by comprehensively considering the risk of oversight based on the shape, position, size, etc. of lesion Ln.
  • the difficulty level of discovery is determined using the analysis results of the lesion shape analysis unit 34A3, the lesion position analysis unit 34A2, and the lesion size analysis unit 34A1 of the oversight risk analysis unit 34, or the risk determination result. For example, if the lesion Ln has a prominent shape, the position is near the center of the observation image G1, or the lesion Ln is large, it is determined that the degree of difficulty of discovery is small. ..
  • the lesion Ln has a flat shape
  • the position is near the peripheral edge of the observation image G1, or the size of the lesion Ln is small
  • (C) Size of Lesion Ln This item is an oversight risk determined based on the size of the lesion Ln.
  • the oversight risk determined by the lesion size analysis unit 34A1 of the oversight risk analysis unit 34 is used.
  • This item is an oversight risk determined according to the type of the lesion Ln based on the shape, severity, and the like. Specifically, the oversight risk is determined using the analysis results of the lesion shape analysis unit 34A3 and the lesion severity analysis unit 36A of the oversight risk analysis unit 34, or the risk determination results.
  • the lesion severity analysis unit 36A analyzes the severity of the lesion Ln based on whether the tumor that is the lesion Ln is benign or malignant. To determine whether a tumor is benign or malignant, for example, the state of the boundary line between the tumor and the normal mucosa is observed, and if the boundary line is unclear and the shape is uneven such as jagged, the boundary line is determined. Is clear, it is judged to be benign. If it is benign, it is determined that the severity is low and the risk of oversight is low, and if it is malignant, it is determined that the severity is high and the risk of oversight is high.
  • the lesion Ln has a raised shape or a low severity, it is presumed to be low and the risk is low. On the other hand, if the lesion Ln has a flat shape or a high degree of severity, it is determined that there is a large number of risks.
  • (E) Detection reliability of lesioned part Ln This item is determined by comprehensively considering the oversight risk based on the image state (exposure state, focus state, subject surface state, lens state). It is a risk. Specifically, the detection reliability is determined using the analysis result or the risk determination result in the image state analysis unit 34B of the oversight risk analysis unit 34.
  • the exposure is appropriate, the subject is in focus, the surface of the subject is free of residue, bleeding, treatment marks, etc. Is judged to be high.
  • the exposure is not appropriate, the subject is out of focus, there is residue, bleeding, treatment marks on the subject surface, or the lens is cloudy or dirty, it can be detected.
  • Judged as unreliable If the detection reliability is high, it is determined that the risk of oversight is small. On the other hand, if the detection reliability is low, it is determined that the risk of oversight is high.
  • (F) Detection elapsed time of lesion Ln This item is the oversight risk determined based on the detection elapsed time, which is the time during which detection is continuously performed after the lesion Ln is detected in the observation image G1. Is.
  • the detection elapsed time is measured by the detection time measuring unit 35B1.
  • a preset threshold value for example, 5 seconds
  • the detected elapsed time is equal to or greater than the preset threshold value, it is determined that the risk of oversight is high.
  • the notification method setting unit 35C sets the notification method for each notification means. For each of the notification means selected by the notification means selection unit 35A, the notification method corresponding to the oversight risk of the notification control target set by the notification target risk setting unit 35B is extracted from the preset notification method. Then, the selected notification means is controlled according to the extracted notification method.
  • the notification method for image notification is set in the image notification setting unit 35C1.
  • the notification method for voice notification is set in the audio notification setting unit 35C2, and the notification method for set vibration is set in the vibration notification setting unit 35C3.
  • an example of setting contents in each notification setting unit will be described.
  • the setting contents of the image notification setting unit 35C1 will be described.
  • the setting contents are described for each item set as the notification target risk.
  • (A) The number of detected lesions Ln is notified regardless of the risk of overlooking.
  • the color and size of the marker image G2 are changed according to the risk of oversight. For example, the color of the marker image G2 is set to green when the risk of overlooking is small, and the color of the marker image G2 is set to red when the risk of overlooking is large.
  • the marker image G2 may be blinked as many times as the detected number, or the marker image G2 may be displayed with flags as many as the detected number.
  • (F) Elapsed detection time of lesion Ln The display start timing and display time of the marker image G2 are changed according to the risk of being overlooked. For example, the marker image G2 is not displayed at the stage where the detection elapsed time is shorter than the threshold and the oversight risk is small, and the marker image starts to be displayed at the timing when the detection elapsed time exceeds the threshold and the oversight risk becomes high. Further, for example, when the detection elapsed time is long, the display time of the marker image G2 is also set long.
  • the number of detected lesions Ln is notified regardless of the risk of overlooking.
  • the notification content of the voice differs depending on the risk of being overlooked. For example, the alert is issued only the number of times of detection. Further, for example, when the risk of oversight is small, the voice may be reduced or the pitch may be lowered, and when the risk of oversight is high, the voice may be increased or the pitch may be set high.
  • (F) Elapsed time of detection of lesion Ln Notification is performed from the detection start point regardless of the risk of oversight.
  • the alert time may be set according to the risk of oversight, or may be a predetermined set time. When the alert time is set to the predetermined set time, the alert is stopped when the set time is exceeded even if the detection of the lesion Ln continues.
  • the number of detected lesions Ln is notified regardless of the risk of overlooking.
  • the notification content of vibration differs depending on the risk of oversight.
  • the notification means is vibrated the number of times of detection.
  • the vibration frequency may be set low when the risk of oversight is small, and the vibration frequency may be set high when the risk of oversight is large.
  • the vibration pattern may be different depending on the risk of being overlooked.
  • (B) Difficulty in finding lesion Ln When the risk of oversight is small, the vibration frequency is set low, and when the risk of oversight is high, the vibration frequency is set high. The vibration pattern may be changed according to the risk of being overlooked. Note that when both the image notification and the vibration notification are performed, the vibration notification may not be performed when the risk of overlooking is small, and the vibration notification may be performed only when the risk of overlooking is large. Further, when both the voice notification and the vibration notification are performed, the notification may be set regardless of the risk of oversight.
  • (C) Size of Lesion Ln When the risk of overlooking is small, the vibration frequency is set low, and when the risk of overlooking is large, the vibration frequency is set high. The vibration pattern may be changed according to the risk of being overlooked. In the case where the image notification and the vibration notification are combined, the vibration notification may not be performed when the oversight risk is low, and the vibration notification may be performed only when the oversight risk is high. Further, when the voice notification and the vibration notification are combined, the notification may be set regardless of the oversight risk.
  • (F) Elapsed time of detection of lesion Ln When image notification and vibration notification are combined, notification is performed from the detection start time point regardless of the risk of oversight. On the other hand, when the voice notification and the vibration notification are combined, the vibration notification is not performed while the oversight risk is small, and the notification is performed when the oversight risk becomes high.
  • the alert time may be set according to the risk of oversight, or may be a predetermined set time. When the alert time is set to a predetermined set time, when the image notification and the vibration notification are combined, the alert is stopped when the set time is exceeded even if the detection of the lesion Ln continues. When a combination of voice notification and vibration notification is performed, the notification is continued while the lesion Ln is continuously detected.
  • the procedure for executing the diagnostic support function performed using the endoscope system configured as described above is the same as the diagnostic support procedure of the first embodiment shown in FIG. However, in the determination of the notification method in S4, a notification method is set for the plurality of notification means selected by the operator according to the set oversight risk.
  • the notification method setting unit 35C causes the image notification setting unit 35C1 to perform the image notification method. Is set, and the voice notification setting unit 35C2 sets the voice notification method.
  • the image notification setting unit 35C1 is set to blink the marker image G2 by the number of detected lesions Ln, and the audio notification setting unit 35C2 is set to issue the alarm by the detected number.
  • the notification of the support information is performed using the plurality of notification units, and the presence of the lesion L1 is determined according to the combination of the degree of risk of oversight and the selected notification unit.
  • the method of informing the support information to be recognized by the person is controlled. Therefore, the oversight prevention function can be realized at low cost without impairing the convenience of the user.
  • the notification means is not limited to the above three types (image, sound, vibration), and other means may be used in combination.
  • the risk item to be notified and the specific notification method are not limited to the above example.
  • the case where two types of notification means are used in combination has been described, but three or more types of notification means may be used in combination.
  • the present embodiment In the above-described first embodiment, only one image display area D1 is arranged on the display screen 51A of the monitor 5. On the other hand, in the present embodiment, two display areas D1 and D2 of images are arranged on the display screen 51A, and the point that the method of notifying the display areas D1 and D2 is overlooked and controlled according to the degree of risk is different. There is.
  • the endoscope system of this embodiment has the same configuration as the endoscope system 1 of the first embodiment.
  • the notification control unit 35 generates support information corresponding to the risk of overlooking the lesion Ln for each of the two display areas D1 and D2, and causes the monitor 5 to display the support information. It is characterized by points. This will be described below with reference to FIG.
  • FIG. 9 is a diagram showing an example of an endoscopic image generated by the image superimposing unit 36 according to the third embodiment.
  • two display areas are arranged: a display area D1 for displaying the observation image G1 and a display area D2 having a size smaller than the display area D1. ..
  • the operator performs a procedure while observing the endoscopic image displayed in the display area D1 as the main screen, and the endoscopic image displayed in the display area D1 in the display area D2 as the sub screen.
  • An image (for example, a magnified image of a specific area) that supports the observation, a recorded image, or the like is displayed.
  • the notification method of the support information (marker image G2) displayed in the display area D1 and the notification method of the marker image G2 displayed in the display area D2 are different. That is, the marker image G2 displayed in the display area D2 has high sensitivity to an oversight risk. For example, when the risk of overlooking the lesion Ln is small, the marker image G2 is displayed only in the display area D2, and when the risk of overlooking the lesion Ln is high, the marker image G2 is displayed in both the display areas D1 and D2. ..
  • the risk sensitivity is reduced and the marker image G2, which is the support information, is displayed in the region where the endoscopic image mainly observed by the operator is displayed. It is possible to prevent the marker image G2 from interfering with the procedure. Then, by increasing the risk sensitivity and displaying the marker image G2, which is the support information, on the sub-screen, it is possible to suppress the oversight of the lesion Ln. Therefore, the oversight prevention function can be realized at low cost without impairing the convenience of the user.
  • the method of notifying the support information according to the risk of oversight is not limited to the control of the display timing of the marker image G2, and the control method may be controlled by the format of the marker image G2 (thickness, color, size, presence/absence of blinking, etc.). Good. Further, the degree of risk of oversight is not limited to two levels, and three or more levels may be set and the method of reporting support information may be controlled according to each level.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システムは、被写体を内視鏡２にて撮像して得られた複数の観察画像が順次入力される画像入力部３１と、内視鏡２の観察対象である病変部を観察画像から検出する病変検出部３３と、観察画像に基づき、操作者が病変部を見落とすリスクである見落としリスクの度合いを判断する見落としリスク解析部３４と、見落としリスクの度合いに基づき、病変部の検出の報知手段及び報知方法を制御する報知制御部３５と、報知制御部３５の制御に基づき病変部の検出を操作者に対して報知するモニタ５とを備える。

Description

内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
　本発明は、内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムに関する。
　従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処理を行うことができる。
　近年、術者が病変部の見落としを抑制するために、内視鏡の動画画像に対して病変候補の位置を示したり鑑別情報を表示したりする、コンピュータ支援画像診断（CAD：Computer Aided Detection/Diagnosis）が開発されている。例えば、CADにより病変部が発見されると、内視鏡画像上に枠などのマーカによる強調表示を提示することで、病変部が存在することを術者に報知する内視鏡システムが提案されている。
　診断支援機能は、病変部の見落としを抑制するために有効な機能であるが、画像の状況によってはユーザが病変部を見逃す可能性があった。そこで、例えば、日本国特開2015-160083号公報などにおいて、ユーザの視線を検出して病変部を見ているか否かを判断し、病変部を見ていないと判断した場合にはアラームを出す、見落とし防止機能を備えた内視鏡システムが提案されている。
　しかし、日本国特開2015-160083号公報による内視鏡システムでは、ユーザの視線を検出するために、視線検出機構を内視鏡システムに組み込まなくてはならないため、装置が大型化したりコストが高くなったりするという問題があった。また、ユーザの病変部見落としの判定精度を確保するためには、視線検出機構のキャリブレーションが必要となるため、ユーザに作業負荷がかかり利便性が損なわれるという問題もあった。
　本発明は、前述した事情に鑑みてなされたものであり、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる、内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。
　本発明の一態様の内視鏡システムは、被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断する見落としリスク解析部と、前記見落としリスクの度合いに基づき、前記病変部の検出の報知手段及び報知方法を制御する報知制御部と、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知する報知部と、を備える。
　本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、前記内視鏡の観察対象である病変部を前記観察画像から検出し、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断し、前記見落としリスクの度合いに基づき前記病変部の検出の報知手段及び報知方法を制御し、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知する。
　本発明の一態様の内視鏡用画像処理プログラムは、画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、病変検出部が前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、見落としリスク解析部が、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断するステップと、報知制御部が、前記見落としリスクの度合いに基づき、前記病変部の検出の報知手段及び報知方法を制御するステップと、報知部が、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知するステップと、をコンピュータに実行させる。
本発明の実施形態に係わる内視鏡システムの全体構成の一例を示す斜視図。 プロセッサ４の画像処理に係る構成の一例を説明するためのブロック図。 制御演算部２２の演算部２２ｂの構成を示すブロック図。 見落としリスク解析部３４の構成を示すブロック図。 本発明の実施形態に係わる内視鏡用画像処理方法の一例を説明するフローチャート。 モニタ５に表示される内視鏡画像の一例を示す図。 モニタ５に表示される内視鏡画像の一例を示す図。 第２の実施形態に係わる報知制御部３５の構成を示すブロック図。 第３の実施形態に係わる画像重畳部３６により生成される内視鏡画像の一例を示す図。
　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
　（第１の実施形態）
　図１は、本発明の実施形態に係わる内視鏡システムの全体構成の一例を示す斜視図である。本実施形態の内視鏡システム１は、内視鏡スコープとしての電子内視鏡（以下、単に内視鏡という）２と、光源装置３と、プロセッサ４と、モニタ５と、から主に構成されている。
　内視鏡２は、長尺で細長な挿入部９と、操作部１０と、電気ケーブルであるユニバーサルケーブル１９と、を有して構成されている。内視鏡２の挿入部９は、先端から順に、先端部６と、湾曲部７と、可撓管部８と、を有して構成されている。先端部６には、図示しない照明窓及び観察窓が設けられており、照明光が照明窓から被検体へ出射され、被検体からの戻り光が観察窓へ入射される。先端部６には、被写体を撮像する手段として、ＣＣＤ、ＣＭＯＳなどの固体撮像素子が配置されおり、観察窓から入射した光による被写体像を光電変換して撮像信号を出力する。撮像信号は、ユニバーサルケーブル１９を介してプロセッサ４へ供給される。
　操作部１０には、挿入部９の湾曲部７を湾曲操作するための湾曲操作部１４が回転自在に配設されると共に、フォーカススイッチ１５を含む、各種内視鏡機能のスイッチ類などが設けられている。なお、湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とが重畳するように配設されている。
　また、挿入部９と操作部１０の連結部は、ユーザによる把持部を兼ねる把持部１１と、この把持部１１及び挿入部９の可撓管部８の一端の間に設けられた折れ止め部に配設されて、挿入部９に配設された各種処置部を挿通する処置具チャネルの開口部となる処置具チャネル挿通部１８とを有して構成されている。
　操作部１０から延設されたユニバーサルケーブル１９は、延出端に光源装置３と着脱自在なスコープコネクタ１９ａを有している。また、スコープコネクタ１９ａは、コイル状のコイルケーブル２０が延設しており、このコイルケーブル２０の延出端にプロセッサ４と着脱自在なコネクタとしてのスコープコネクタ２０ａが設けられている。なお、本実施形態の内視鏡２は、ユニバーサルケーブル１９、操作部１０及び挿入部９に配設された照明手段のライトガイドケーブルによって、光源装置３から先端部６まで照明光を伝送するものである。
　プロセッサ４は、内視鏡画像を表示するモニタ５と電気的に接続され、内視鏡２に搭載されているＣＣＤなどの撮像手段によって光電変換された撮像信号を処理して、画像信号としてモニタ５に出力する。　
　　モニタ５は、内視鏡画像が表示される。また、モニタ５は、音声を出力するスピーカー５aを備えている。なお、モニタ５は、報知部としての機能も有する。
　図２は、プロセッサ４の画像処理に関わる構成を示すブロック図である。プロセッサ４は、撮像信号取得部２１と、制御演算部２２と、記憶装置２３と、入力部２４とを有する画像処理装置である。制御演算部２２は、制御部２２ａと、演算部２２ｂを含む回路である。
　撮像信号取得部２１は、制御部２２ａの制御の下、内視鏡２の撮像素子からの撮像信号を受信して取得し、制御演算部２２へ出力する回路である。　
　　制御部２２ａは、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を含み、プロセッサ４全体の動作の制御を行うと共に、術者による入力部２４への指示に応じて、内視鏡２の撮像素子の駆動の制御、内視鏡２の操作部１０からの各種操作信号に基づく各種回路の制御、記憶装置２３への各種データの記録及び記憶装置２３からの各種データの読み出し制御、及び画像処理の制御を行う。
　すなわち、制御部２２ａは、入力部２４においてされた指示あるいは入力に基づいて、内視鏡システム１の動作を制御し、各部への制御信号あるいは設定信号を出力する。
　演算部２２ｂは、制御部２２ａの制御の下で、撮像信号取得部２１で取得された撮像信号に基づき、各種画像処理及び各種演算処理を実行すると共に、モニタ５に表示される内視鏡画像の画像信号及び各種表示情報を生成し、モニタ５へ出力する回路である。　
　　なお、制御演算部２２における制御部２２ａ及び演算部２２ｂの処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。
　記憶装置２３は、ハードディスク装置などの大容量の記憶装置であり、内視鏡検査で得られた被検体内の内視鏡画像の画像データ、及び支援情報等の各種データを記憶する。　
　　入力部２４は、各種ボタンを有する操作パネルであり、術者が内視鏡システム１の各種設定、各種指示などをプロセッサ４へ与えるための入力装置である。
　図３は、本実施の形態における、制御演算部２２の演算部２２ｂの構成を示すブロック図である。演算部２２ｂは、画像入力部３１と、支援情報生成部３２とを含む回路である。なお、図示しないが、演算部２２ｂは、受信した撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像入力部３１へ１フレームずつ順次出力する、画像生成部も備えている。
　画像入力部３１は、入力された観察画像Ｇ１を、支援情報生成部３２へ１フレームずつ順次出力する。
　支援情報生成部３２は、病変検出部３３と、見落としリスク解析部３４と、報知制御部３５と、画像重畳部２６と、を有して構成される。　
　　病変検出部３３は、画像入力部３１から順次出力される生成画像に含まれる病変部を検出するように構成されている。病変検出部３３は、例えば、ディープラーニング等の学習手法でポリープ画像を鑑別可能な機能を予め取得した画像鑑別器を生成画像に対して適用する処理を行うことにより、当該生成画像から病変部を検出する。なお、病変部の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７－２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。
　見落としリスク解析部３４は、病変検出部３３によって検出された病変部が含まれる画像を解析し、ユーザである術者が病変部を見落とす可能性をリスクとして判断する回路である。図４は、見落としリスク解析部３４の構成を示すブロック図である。見落としリスク解析部３４は、病変解析部３４Ａと、画像状態解析部３４Ｂと、移動解析部３４Ｃとから構成されている。
　病変解析部３４Ａでは、入力画像を解析し、病変部のサイズや位置、濃度、形状などを判定して、病変部を見落とすリスクを評価する。画像状態解析部３４Ｂでは、入力画像を解析し、該画像の撮像状態が診断支援機能に適した状態であるか否かを判定し、病変部を見落とすリスクを評価する。移動解析部３４Ｃでは、入力画像を解析し、ユーザが内視鏡２を操作することにより病変部の移動度合いを判定し、病変部を見落とすリスクを評価する。
　図４に示す、病変解析部３４Ａ、画像状態解析部３４Ｂ、及び、移動解析部３４Ｃ中の各部の動作については、下記の説明の対応する箇所で後述する。図４は、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第２、第３の実施形態に関わる構成も含めて示している。
　報知制御部３５は、病変検出部３３で検出された病変部の存在をユーザに認知させるための、報知手段と報知方法とを制御する。本実施形態においては、モニタ５への表示画像を用いた報知を行なう。また、病変部が存在することを術者に認知させるための支援情報として、例えば、当該病変部を囲むマーカ画像を生成して生成画像に付加する。
　マーカ画像は、病変部の存在を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像は、病変部の存在を示すことができるものであれば、病変部を囲まない画像であっても構わない。例えば、病変部の明るさや色調を周辺領域とは異なるものとすることによって病変部の存在を示してもよい。更には、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。
　報知制御部３５は、見落としリスク解析部３４で評価された、病変部を見落とすリスクに応じて、支援情報の報知方法を制御する。例えば、病変部に対して付加するマーカ画像の色、太さ、サイズを、見落としリスクの度合いに応じて変更する。
　続いて、本実施形態の作用について説明する。図５は、本発明の実施形態に係わる内視鏡用画像処理方法の一例を説明するフローチャートである。すなわち、本実施の形態の内視鏡システムにおいて行なわれる診断支援機能の実行手順を示している。
　制御部２２ａが、設定された観察モードに応じて、光源装置３の駆動と内視鏡２の撮像素子の駆動とを制御しかつ撮像信号取得部２１を制御することによって、演算部２２ｂは、内視鏡２からの撮像信号を取得する。演算部２２ｂの画像入力部３１は、図示しない画像生成部において生成された、撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を取得し、支援情報生成部３２へ１フレームずつ順次出力する。すなわち、支援情報生成部３２は、画像入力部３１から生体内管腔画像である内視鏡画像（観察画像Ｇ１）を取得する（Ｓ１）。
　支援情報生成部３２では、まず、病変検出部３３において、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変部Ｌｎを検出する（Ｓ２）。病変部Ｌｎの検出結果は、見落としリスク解析部３４に出力される。
　見落としリスク解析部３４では、観察画像Ｇ１における病変部Ｌｎを見落とす可能性をリスクとして判断する（見落としリスク解析処理、Ｓ３）。見落としリスク解析部３４は、画像解析によって、病変部の状態や、画像の状態、内視鏡の操作状態（画像における病変部の移動状態）を判定し、見落としリスクを判断する。
　病変部の状態によって見落としリスクを判断する場合、見落としリスク解析部３４の病変解析部３４Ａによってリスク判断のための解析処理が行われる。病変部の状態による見落としリスクの解析項目としては、例えば、（ａ）病変部Ｌｎのサイズ、（ｂ）観察画像Ｇ１における病変部Ｌｎの位置、（ｃ）病変部Ｌｎの濃度、（ｄ）病変部Ｌｎの形状、などの項目があげられる。病変解析部３４Ａは、これらの中から選択された項目について解析を行い、病変部Ｌｎを見落とすリスクを判断する。
　（ａ）病変部Ｌｎのサイズ　
　　本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変サイズ解析部３４Ａ１が係る。
　病変サイズ解析部３４Ａ１は、まず、画像内の各画素までの撮像距離を推定する。撮像距離の推定は、ここでは、公知の様々な技術のうち、画像を基に撮影対象を均等拡散面と仮定した撮影距離推定について説明する。
　具体的には、まず、低吸収波長成分として、生体内での吸収あるいは散乱の度合いが最も低い低吸収波長（例えば赤色（Ｒ）の波長）成分が選択される。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像においては、赤（Ｒ）成分が血液の吸収帯域から離れる波長、かつ長波長の成分で、生体内での吸収、散乱の影響を受け難いためであり、赤（Ｒ）成分が選択される。
　そして、病変サイズ解析部３４Ａ１は、低吸収波長成分の画素値を基に均等拡散面を仮定した撮像距離を推定する。具体的には、撮像距離は、次の式（１）により算出される。
Figure JPOXMLDOC01-appb-I000001
　ここで、ｒは、撮像距離を示し、Ｉは、事前に測定して得られた光源の放射強度を示し、Ｋは、事前に測定された、平均値である粘膜表面の拡散反射係数を示す。θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角を示し、内視鏡２の挿入部先端部の光源と粘膜表面の位置関係により決まる値であり、平均的な値が事前に設定される。Ｌは、撮像距離推定対象の粘膜表面が映る画素のＲ成分値を示す。
　なお、撮像距離推定の前に、各処理の精度低下要因と成り得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行っても良い。
　　また、ここでは、画像に基づく方法を示したが、その他にも測距センサ等に基づいて算出しても良い。
　以上のように、内視鏡２と病変部Ｌｎとの距離を推定した後、病変サイズ解析部３４Ａ１は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。病変サイズ解析部３４Ａ１は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。
　　最後に、病変サイズ解析部３４Ａ１は、管腔と病変部を比較し、病変部のサイズを推定する。
　具体的には、病変サイズ解析部３４Ａ１は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部の挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。
　以上のように、病変サイズ解析部３４Ａ１は、内視鏡画像に写る管腔の円形サイズと比較して病変部Ｌｎのサイズを推定する。推定した病変部Ｌｎのサイズが、予め設定された所定のサイズ（例えば、５ｍｍなど）より大きい場合、見落としリスクは小さいと判定する。一方、推定した病変部Ｌｎのサイズが、所定のサイズよりも小さい場合、見落としリスクは大きいと判定する。
　（ｂ）観察画像Ｇ１における病変部Ｌｎの位置
　　本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変位置解析部３４Ａ２が係る。
　病変位置解析部３４Ａ２は、まず、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変部Ｌｎを検出し、位置情報を取得する。なお、病変部Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７－２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。また、病変領域Ｌｎの位置情報は、病変検出部３３から取得してもよい。
　次に、観察画像Ｇ１における病変部Ｌｎの位置を解析する。具体的な手法の一例を以下に説明する。まず、観察画像Ｇ１中における観察画像Ｇ１を垂直方向に３等分、水平方向に３等分し、９つのブロックに分割する。例えば、観察画像Ｇ１が１９２０×１０８０画素の場合、画像の左上を原点（０、０）とすると、（０、０）～（６４０、３６０）の領域（１Ａ）、（６４１、０）～（１２８０、３６０）の領域（１Ｂ）、（１２８１、０）～（１９２０、３６０）の領域（１Ｃ）、（０、３６１）～（６４０、７２０）の領域（２Ａ）、（６４１、３６１）～（１２８０、７２０）の領域（２Ｂ）、（１２８１、３６１）～（１９２０、７２０）の領域（２Ｃ）、（０、７２１）～（６４０、１０８０）の領域（３Ａ）、（６４１、７２１）～（１２８０、１０８０）の領域（３Ｂ）、（１２８１、７２１）～（１９２０、１０８０）の領域（３Ｃ）、に分割する。なお、各ブロックには、見落としリスク（見落としリスク大、または、見落としリスク小、のいずれか）が登録されている。
　この１Ａ～３Ｃの９ブロックのうち、病変部Ｌｎが存在するブロックを特定し、病変部Ｌｎの位置として出力する。なお、病変部Ｌｎが複数ブロックに跨って存在する場合、病変部Ｌｎが存在する面積が最も大きいブロックを、病変部Ｌｎが存在するブロックとする。なお、病変部Ｌｎが存在するブロックの特定方法は、上述の方法に限定されず、例えば、病変部Ｌｎの中心に位置する画素が存在するブロックとするなど他の方法を用いてもよい。また、観察画像Ｇ１を分割して生成するブロック数は９ブロックに限定されず、例えば、２×２＝４ブロック、４×４＝１６ブロックなどとしてもよい。
　以上のように、病変位置解析部３４Ａ２は、病変部Ｌｎの位置を推定する。病変部Ｌｎの位置するブロックに登録されている見落としリスクを、病変部Ｌｎの見落としリスクとして判定する。すなわち、見落としリスク大と登録されているブロックに病変部Ｌｎが存在すると推定された場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、見落としリスク小と登録されているブロックに病変部Ｌｎが存在すると推定された場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　なお、病変部Ｌｎの位置は、上述したブロック位置でなく、観察画像Ｇ１の中心画素位置からの距離として算出してもよい。この場合、算出された距離が予め設定された閾値よりも大きい場合、見落としリスクは大きいと判定する。一方、算出された距離が予め設定された閾値よりも小さい場合、見落としリスクは小さいと判定する。
　（ｃ）病変部Ｌｎの濃度
　　本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変濃度解析部３４Ａ３が係る。
　病変濃度解析部３４Ａ３は、病変部Ｌｎに含まれる画素について、それぞれの濃度値（輝度値）を抽出して平均値を求め、病変部Ｌｎの濃度値とする。なお、濃度値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。算出した濃度値が、閾値（例えば、正常粘膜の濃度値）よりも大きい場合、見落としリスクは小さいと判定する。一方、推定した病変部Ｌｎの濃度値が、閾値よりも小さい場合、見落としリスクは大きいと判定する。なお、判定基準となる濃度値は、予め登録したものを用いてもよいし、病変部Ｌｎが存在する観察画像Ｇ１における、正常粘膜部分の値を用いてもよい。
　（ｄ）病変部Ｌｎの形状
　　本項目が解析項目として選択された場合、以下に説明する処理が行われる。以下の処理には、図４における病変形状解析部３４Ａ４が係る。
　病変形状解析部３４Ａ４は、病変部の形状に基づいた鑑別分類を行う。具体的には、病変部を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。
　例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、病変部Ｌｎの形状はどちらかに分類される。なお、更に詳細な形状分類を行ってもよい。例えば、隆起型であれば、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)、のいずれかに分類し、表面型であれば、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)、のいずれかに分類してもよい。
　それぞれの分類には、見落としリスク（見落としリスク大、または、見落としリスク小、のいずれか）が登録されている。例えば、隆起型(Ｉ型)は見落としリスク小、表面型(ＩＩ型)は見落としリスク大と登録されている。病変形状解析部３４Ａ４は、病変部Ｌｎの形状分類に登録されている見落としリスクを、病変部Ｌｎの見落としリスクとして判定する。すなわち、病変部Ｌｎの形状が、見落としリスク大と登録されている形状（例えば、表面型(ＩＩ型)）であると分類された場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、見落としリスク小と登録されている形状（例えば、隆起型(Ｉ型)）であると分類された場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　画像の状態によって見落としリスクを判断する場合、見落としリスク解析部３４の画像状態解析部３４Ｂによってリスク判断のための解析処理が行われる。画像の状態による見落としリスクの解析項目としては、例えば、（ｅ）露出の状態（ｆ）焦点の状態（ｇ）被写体の表面状態（ｈ）レンズの状態、などの項目があげられる。画像状態解析部３４Ｂは、これらの中から選択された項目について解析を行い、病変部Ｌｎを見落とすリスクを判断する。
　（ｅ）露出の状態　
　　本項目が解析項目として選択された場合、図４における露出状態解析部３４Ｂ１は、観察画像Ｇ１の露出の状態を解析する。内視鏡２の撮像素子の露光時間が短すぎるために画像が暗くなっている場合や、強い光が照射されている部分が白くぼやけるハレーションを起こしてしまっている場合など、露出が不適切である場合、露出状態解析部３４Ｂ１は、病変部Ｌｎの見落としリスクは大きいと判定する。一方、露出が適切である場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　（ｆ）焦点の状態
　　本項目が解析項目として選択された場合、図４における焦点状態解析部３４Ｂ２は、観察画像Ｇ１の焦点の状態を解析する。内視鏡２の撮像系を構成するレンズの焦点制御が適切に行われておらず、被写体に対して合焦していない場合（いわゆるピンボケ状態である場合）、焦点状態解析部３４Ｂ２は、病変部Ｌｎの見落としリスクは大きいと判定する。一方、合焦している場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　（ｇ）被写体の表面状態
　　本項目が解析項目として選択された場合、図４における被写体表面解析部３４Ｂ３は、観察画像Ｇ１における被写体の状態を解析する。被写体に残渣や出血や治療痕などがある場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、残渣や出血や治療痕などがない場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　（ｈ）レンズの状態
　　本項目が解析項目として選択された場合、図４におけるレンズ状態解析部３４Ｂ４は、観察画像Ｇ１から内視鏡２の撮像系を構成するレンズの状態を解析する。レンズに曇りや汚れがある場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、レンズに曇りや汚れがない場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　内視鏡の操作状態（画像における病変部の移動状態）によって見落としリスクを判断する場合、見落としリスク解析部３４の移動解析部３４Ｃによってリスク判断のための解析処理が行われる。内視鏡の操作状態による見落としリスクの解析項目としては、例えば、（ｉ）内視鏡の移動速度（ｊ）病変部Ｌｎの位置変化、などの項目があげられる移動解析部３４Ｃは、これらの中から選択された項目について解析を行い、病変部Ｌｎを見落とすリスクを判断する。
　（ｉ）病変部Ｌｎの移動速度
　　本項目が解析項目として選択された場合、図４における移動解析部３４Ｃ１は、内視鏡の移動速度（引き抜き速度）の変化を解析する。病変部Ｌｎが検出される前の状態での内視鏡２の移動速度と、病変部Ｌｎが検出された状態における内視鏡２の移動速度とを比較する。
　通常、術者は、観察画像Ｇ１中に病変部Ｌｎを発見すると、病変部Ｌｎの観察を行うために、内視鏡２の引き抜き速度を低下させる（または引き抜きを停止する）。観察画像Ｇ１中に病変部Ｌｎが出現しているにもかかわらず、内視鏡２の引き抜き速度が変化していない場合、術者が病変部Ｌｎを見落としている可能性が高いと推測される。従って、速度の変化が予め設定された閾値よりも小さい場合、すなわち、内視鏡２の引き抜き速度の変化が小さい場合、病変部Ｌｎの見落としリスクは大きいと判定する。
　一方、速度の変化が予め設定された閾値よりも大きい場合、すなわち、内視鏡２の引き抜き速度の変化が大きい場合、病変部Ｌｎの見落としリスクは小さいと判定する。
　（ｊ）病変部Ｌｎの位置変化
　　本項目が解析項目として選択された場合、図４における位置解析部３４Ｃ２は、観察画像Ｇ１における病変部Ｌｎの位置の変化を解析する。位置解析部３４Ｃ２病変部Ｌｎが観察画像Ｇ１に検出されている状態から、継続的に病変部Ｌｎの位置をモニタする。病変部Ｌｎが観察画像Ｇ１外に移動し、観察画像Ｇ１中に検出されなくなった場合、病変部Ｌｎの見落としリスクは大きいと判定する。一方、観察画像Ｇ１中に継続的に検出されている間は、病変部Ｌｎの見落としリスクは小さいと判定する。
　以上のようにして、図５のフローチャートにおける見落としリスク解析処理（Ｓ３）が終了すると、見落としリスク解析部３４から報知制御部３５に対し、見落としリスクの判定結果が出力される。報知制御部３５では、入力された見落としリスクの大小に応じて、報知方法を決定する（Ｓ４）。
　報知制御部３５は、見落としリスク解析部３４から入力された、病変部を見落とすリスクに応じて、支援情報の報知方法を制御する。モニタ５の表示画像に支援情報（例えば、マーカ画像）を表示させることで報知する場合、病変部に対して付加するマーカ画像の色、太さ、サイズを、見落としリスクの度合いに応じて変更する。例えば、見落としリスクが大きい場合はマーカ画像の太さを太くし、見落としリスクが小さい場合はマーカ画像の太さを細くする。また、例えば、見落としリスクが大きい場合はマーカ画像のサイズを大きくし、見落としリスクが小さい場合はマーカ画像のサイズを小さくする。
　なお、マーカ画像の変更項目は、１項目に限定されず、複数の項目をリスクの度合いに応じて変更してもよい。例えば、マーカ画像の太さとサイズの両方を変更してもよい。また、見落としリスクが小さい場合はマーカ画像のみ、見落としリスクが大きい場合はマーカ画像に加えてポップアップメッセージを表示させるなど、支援情報の種類を増やすなどの変更を行ってもよい。
　最後に、報知制御部３５は、Ｓ４で決定された報知方法に基づいて支援情報を生成し、報知する（Ｓ５）。具体的には、支援情報として、見落としリスクの度合いに応じたマーカ画像Ｇ２を生成し、画像重畳部３６に出力する。画像重畳部３６は、画像入力部３１から入力された観察画像Ｇ１に、報知制御部３５から入力されたマーカ画像Ｇ２を重畳させた内視鏡画像を、モニタ５に出力して表示させる。
　図６、図７は、モニタ５に表示される内視鏡画像の一例を示す図である。すなわち、支援情報が重畳された内視鏡画像を示しており、図６は、見落としリスクが小さい場合の一例を、図７は、見落としリスクが大きい場合の一例を示している。
　図６、図７に示すように、モニタ５の表示画面５１Ａの表示領域Ｄ１には、マーカ画像Ｇ２を付与した観察画像Ｇ１が表示される。図６に示すように、見落としリスクが小さい場合、病変部Ｌ１の周辺を取り囲むサイズのマーカ画像Ｇ２が、観察画像Ｇ１に重畳されている。一方、図７に示すように、見落としリスクが大きい場合、観察画像Ｇ１の周縁部を取り囲むサイズのマーカ画像Ｇ２が、観察画像Ｇ１に重畳されている。また、図６に示すマーカ画像Ｇ２の太さより、図７に示すマーカ画像Ｇ２の太さのほうが、太くなされている。
　このように、上述の実施形態によれば、観察画像Ｇ１を解析することにより、病変部Ｌ１の見落としリスクを解析し、見落としリスクの度合いに応じて、病変部Ｌ１の存在を術者に認識させる支援情報の報知方法を制御する。従って、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる。
　なお、上述では、見落としリスクの度合いを大小の２段階に分類しているが、３段階以上設定し、各段階に応じて支援情報の報知方法を制御してもよい。
　また、上述では、プロセッサ４内の図示しない画像生成部において、被写体を内視鏡２にて撮像して得られた撮像信号に基づいて観察画像を生成しているが、内視鏡２とプロセッサ４との間に画像処理装置を設け、当該画像処理装置において観察画像を生成し、プロセッサ４では入力された観察画像を用いて支援情報の生成を行うように構成してもよい。
　（第２の実施形態）
　　上述の第１の実施形態では、支援情報をモニタ５上に画像表示する際に、見落としリスクの度合いに応じて表示方法を変えて報知していた。これに対し、本実施形態では、画面表示による報知以外の報知手段も用い、複数の報知手段によって報知する点が異なっている。
　本実施形態の内視鏡システムは、第１の実施形態の内視鏡システム１と同様の構成を有する。本実施の形態の内視鏡システムは、演算部２２ｂの報知制御部３５の構成に特徴を有する。以下、報知制御部３５の詳細な構成について、図８を用いて説明する。なお、同じ構成要素については、同じ符号を付して説明は省略する。
　　図８は、第２の実施形態に係わる報知制御部３５の構成を示すブロック図である。報知制御部３５は、報知手段選択部３５Ａと、報知対象リスク設定部３５Ｂと、報知方法設定部３５Ｃとから構成されている。
　報知手段選択部３５Ａは、支援情報をモニタ５上に表示する旨を報知する手段を選択する。選択可能な報知手段としては、上述したモニタ５への画像表示（以下、画像報知と記す）に加え、スピーカー５ａからの音声による報知（以下、音声報知と記す）、操作部１０など術者が把持する部分の振動による報知（以下、振動報知と記す）、などがあげられる。
　報知対象リスク設定部３５Ｂは、報知制御の対象となる見落としリスクを設定する。設定可能な見落としリスクは、見落としリスク解析部３４の解析結果に基づきリスク度合いを判定可能なリスクである。設定項目としては、例えば、（Ａ）病変部Ｌｎの検出個数、（Ｂ）病変部Ｌｎの発見困難度、（Ｃ）病変部Ｌｎのサイズ、（Ｄ）病変部Ｌｎの種類、（Ｅ）病変部Ｌｎの検出信頼性、（Ｆ）病変部Ｌｎの検出経過時間、などがあげられる。報知対象リスク設定部３５Ｂは、これらの中から報知対象リスクとして設定する項目を選択する。
　（Ａ）病変部Ｌｎの検出個数　
　　本項目は、観察画像Ｇ１中に存在する病変部Ｌｎの個数に基づき判定された見落としリスクである。観察画像Ｇ１中に存在する病変部Ｌｎの個数の検出は、見落としリスク解析部３４の病変個数解析部３４Ａ５において行われる。病変個数解析部３Ａ５は、観察画像Ｇ１中において検出された病変部Ｌｎの個数に基づき、見落としリスクを判定する。すなわち、病変部Ｌｎの個数が予め設定された閾値（例えば、２個）よりも多い場合、見落としリスクが小さいと判定する。一方、病変部Ｌｎの個数が予め設定された閾値以下である場合、見落としリスクが大きいと判定する。
　（Ｂ）病変部Ｌｎの発見困難度
　　本項目は、病変部Ｌｎの形状、位置、サイズなどに基づく見落としリスクを総合的に勘案して判定する、見落としリスクである。具体的には、見落としリスク解析部３４の病変形状解析部３４Ａ３、病変位置解析部３４Ａ２、病変サイズ解析部３４Ａ１における解析結果、または、リスク判定結果を用いて、発見困難度を判断する。例えば、病変部Ｌｎの形状が隆起性の形状を有していたり、位置が観察画像Ｇ１の中央付近であったり、病変部Ｌｎのサイズが大きかったりする場合は、発見困難度が小さいと判断する。また、例えば、病変部Ｌｎの形状が平坦であったり、位置が観察画像Ｇ１の周縁部近傍であったり、病変部Ｌｎのサイズが小さかったりする場合は、発見困難度が大きいと判断する。発見困難度が小さい場合、見落としリスクが小さいと判定する。一方、発見困難度が大きい場合、見落としリスクが大きいと判定する。
　（Ｃ）病変部Ｌｎのサイズ
　　本項目は、病変部Ｌｎのサイズに基づき判定された見落としリスクである。見落としリスク解析部３４の病変サイズ解析部３４Ａ１において判定された見落としリスクを用いる。
　（Ｄ）病変部Ｌｎの種類
　　本項目は、形状や重篤度などに基づく病変部Ｌｎの種類に応じて判定された見落としリスクである。具体的には、見落としリスク解析部３４の病変形状解析部３４Ａ３、病変重篤度解析部３６Ａの解析結果、または、リスク判定結果を用いて、見落としリスクを判定する。
　病変重篤度解析部３６Ａは、病変部Ｌｎの重篤度を、病変部Ｌｎである腫瘍が良性であるか悪性であるかに基づき解析する。腫瘍の良性・悪性の判定は、例えば、腫瘍と正常粘膜部分との境界線の状態を観察し、境界線が不明瞭で形状がギザギザなど不均一である場合には悪性と判定し、境界線が明瞭である場合には良性と判定する。良性である場合は重篤度が低く見落としリスクが小さいと判定し、悪性である場合は重篤度が高く見落としリスクが大きいと判定する。
　病変部Ｌｎの形状が隆起型であったり、重篤度が低かったりする場合は、見多しリスクが低いと判定する。一方、病変部Ｌｎの形状が平坦であったり、重篤度が高かったりする場合は、見多しリスクが大きいと判定する。
　（Ｅ）病変部Ｌｎの検出信頼性
　　本項目は、画像の状態（露出の状態、焦点の状態、被写体の表面状態、レンズの状態）に基づく見落としリスクを総合的に勘案して判定する、見落としリスクである。具体的には、見落としリスク解析部３４の画像状態解析部３４Ｂにおける解析結果、または、リスク判定結果を用いて、検出信頼性を判断する。
　例えば、露出の状態が適切であったり、被写体に対して合焦していたり、被写体表面に残渣や出血や治療痕などがなかったり、レンズに曇りや汚れがなかったりする場合は、検出信頼性が高いと判断する。一方、露出の状態が不適切であったり、被写体に対して合焦していなかったり、被写体表面に残渣や出血や治療痕などがあったり、レンズに曇りや汚れがあったりする場合は、検出信頼性が低いと判断する。検出信頼性が高い場合、見落としリスクが小さいと判定する。一方、検出信頼性が低い場合、見落としリスクが大きいと判定する。
　（Ｆ）病変部Ｌｎの検出経過時間
　　本項目は、観察画像Ｇ１中に病変部Ｌｎが検出されてから継続的に検出が継続されている時間である、検出経過時間に基づき判定された見落としリスクである。検出経過時間は、検出時間計測部３５Ｂ１において計測される。検出経過時間が予め設定された閾値（例えば、５秒）よりも短い場合、見落としリスクが小さいと判定する。一方、検出経過時間が予め設定された閾値以上である場合、見落としリスクが大きいと判定する。
　報知方法設定部３５Ｃは、各報知手段における報知方法が設定されている。報知手段選択部３５Ａで選択された各報知手段について、報知対象リスク設定部３５Ｂで設定された報知制御対象の見落としリスクに対応する報知方法を、予め設定されている報知方法から抽出する。そして、抽出した報知方法に従って、選択された報知手段を制御する。
　画像報知における報知方法は、画像報知設定部３５Ｃ１に設定されている。また、音声報知における報知方法は音声報知設定部３５Ｃ２に、設定振動における報知方法は振動報知設定部３５Ｃ３に、それぞれ設定されている。以下、各報知設定部における設定内容の一例について説明する。
　まず、画像報知設定部３５Ｃ１の設定内容の一例を説明する。報知対象リスクとして設定された項目ごとに、設定内容を記す。
　　（Ａ）病変部Ｌｎの検出個数
　　見落としリスクの高低にかかわらず、報知を行う。ただし、見落としリスクに応じてマーカ画像Ｇ２の色や大きさを異ならせる。例えば、例えば、見落としリスクが小さい場合はマーカ画像Ｇ２の色を緑色、見落としリスクが大きい場合はマーカ画像Ｇ２の色を赤色に設定する。また、マーカ画像Ｇ２を検出個数の回数だけ点滅させたり、マーカ画像Ｇ２に検出個数の数だけフラグを表示させたりしてもよい。
　（Ｂ）病変部Ｌｎの発見困難度
　　見落としリスクの高低にかかわらず、報知を行う。
　（Ｃ）病変部Ｌｎのサイズ
　　見落としリスクの高低にかかわらず、報知を行う。
　（Ｄ）病変部Ｌｎの種類
　　見落としリスクの高低にかかわらず、報知を行う。
　（Ｅ）病変部Ｌｎの検出信頼性
　　見落としリスクの高低にかかわらず、報知を行う。
　（Ｆ）病変部Ｌｎの検出経過時間
　　見落としリスクに応じてマーカ画像Ｇ２の表示開始タイミングや、表示時間を異ならせる。例えば、検出経過時間が閾値より短く見落としリスクが小さい段階ではマーカ画像Ｇ２は表示せず、検出経過時間が閾値を超えて見落としリスクが高くなったタイミングで、マーカ画像の表示を開始する。また例えば、検出経過時間が長い場合、マーカ画像Ｇ２の表示時間も長く設定する。
　次に、音声報知設定部３５Ｃ２の設定内容の一例を説明する。
　　（Ａ）病変部Ｌｎの検出個数
　　見落としリスクの高低にかかわらず、報知を行う。ただし、見落としリスクに応じて音声の報知内容異ならせる。例えば、検出個数の回数だけアラートを発する。また、例えば、見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定してもよい。
　（Ｂ）病変部Ｌｎの発見困難度
　　見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。
　（Ｃ）病変部Ｌｎのサイズ
　　見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。
　（Ｄ）病変部Ｌｎの種類
　　見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、画像報知と音声報知とを組み合わせて行う場合には、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。更に、音声報知と振動報知とを組み合わせて場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。
　（Ｅ）病変部Ｌｎの検出信頼性
　　画像報知と音声報知とを組み合わせて行う場合には、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定する。更に、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定する。
　（Ｆ）病変部Ｌｎの検出経過時間
　　見落としリスクの高低にかかわらず検出開始時点から報知を行う。なお、アラート時間は、見落としリスクに応じて設定してもよいし、所定の設定時間としてもよい。アラート時間を所定の設定時間とする場合、病変部Ｌｎの検出が継続していても、設定時間を超えたらアラートを停止する。
　最後に、振動報知設定部３５Ｃ３の設定内容の一例を説明する。
　　（Ａ）病変部Ｌｎの検出個数
　　見落としリスクの高低にかかわらず、報知を行う。ただし、見落としリスクに応じて振動の報知内容異ならせる。例えば、検出個数の回数だけ報知手段を振動させる。また、例えば、見落としリスクが小さい場合は振動周波数を低くしたりし、見落としリスクが大きい場合は振動周波数を高く設定してもよい。なお、見落としリスクに応じて、振動パターンを異なるパターンにしてもよい。
　（Ｂ）病変部Ｌｎの発見困難度
　　見落としリスクが小さい場合は振動周波数を低くし、見落としリスクが大きい場合は振動周波数を高く設定する。見落としリスクに応じて、振動パターンを変化させてもよい。なお、画像報知と振動報知の両方を行う場合には、見落としリスクが小さい場合は振動報知を行わず、見落としリスクが大きい場合のみ振動報知を行うように設定してもよい。更に、音声報知と振動報知の両方を行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。
　（Ｃ）病変部Ｌｎのサイズ
　　見落としリスクが小さい場合は振動周波数を低くし、見落としリスクが大きい場合は振動周波数を高く設定する。見落としリスクに応じて、振動パターンを変化させてもよい。なお、画像報知と振動報知とを組み合わせて行う場合には、見落としリスクが小さい場合は振動報知を行わず、見落としリスクが大きい場合のみ振動報知を行うように設定してもよい。更に、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。
　（Ｄ）病変部Ｌｎの種類
　　見落としリスクが小さい場合は音声を小さくしたり音程を低くしたりし、見落としリスクが大きい場合は音声を大きくしたり音程を高く設定する。または、画像報知と音声報知の両方を行う場合には、見落としリスクが小さい場合は音声報知を行わず、見落としリスクが大きい場合のみ音声報知を行うように設定してもよい。更に、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず、報知を行うように設定してもよい。
　（Ｅ）病変部Ｌｎの検出信頼性
　　見落としリスクが小さい場合は振動報知を行わず、見落としリスクが大きい場合のみ振動報知を行うように設定する。
　（Ｆ）病変部Ｌｎの検出経過時間
　　画像報知と振動報知とを組み合わせて行う場合には、見落としリスクの高低にかかわらず検出開始時点から報知を行う。一方、音声報知と振動報知とを組み合わせて行う場合には、見落としリスクが小さい間は振動報知を行わず、見落としリスクが高くなった時点から報知を行う。なお、アラート時間は、見落としリスクに応じて設定してもよいし、所定の設定時間としてもよい。アラート時間を所定の設定時間とする場合、画像報知と振動報知とを組み合わせて場合には、病変部Ｌｎの検出が継続していても、設定時間を超えたらアラートを停止する。音声報知と振動報知とを組み合わせて行う場合には、病変部Ｌｎの検出が継続している間は報知を継続する。
　以上のように構成された内視鏡システムを用いて行われる診断支援機能の実行手順は、図５に示す第１の実施形態の診断支援手順と同様である。ただし、Ｓ４の報知方法の決定においては、術者によって選択された複数の報知手段について、設定された見落としリスクに応じた報知方法が設定される。
　例えば、画像報知と音声報知が選択されており、報知対象リスクとして（Ａ）病変部Ｌｎの検出個数が設定されている場合、報知方法設定部３５Ｃは、画像報知設定部３５Ｃ１において画像報知の方法を設定し、また、音声報知設定部３５Ｃ２において音声報知の方法を設定する。例えば、画像報知設定部３５Ｃ１において、病変部Ｌｎの検出個数だけマーカ画像Ｇ２を点滅させるよう設定し、音声報知設定部３５Ｃ２において、検出個数だけアラームを発するように設定する。
　このように、上述の実施形態によれば、支援情報の報知を複数の報知手段を用いて行い、また、見落としリスクの度合いと選択した報知手段の組み合わせに応じて、病変部Ｌ１の存在を術者に認識させる支援情報の報知方法を制御する。従って、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる。
　なお、報知手段は、上述の３種類（画像、音声、振動）に限定されず、他の手段を組み合わせて用いてもよい。また、報知対象リスク項目や、具体的な報知方法は、上述の一例に限定されない。更に、上述の一例では、２種類の報知手段を組み合わせて用いる場合について説明したが、３種類以上の報知手段を組み合わせて用いてもよい。
（第３の実施形態）
　　上述の第１の実施形態では、モニタ５の表示画面５１Ａに、画像の表示領域Ｄ１が１つのみ配置されていた。これに対し、本実施形態では、表示画面５１Ａに画像の表示領域Ｄ１、Ｄ２が２つ配置されており、各表示領域Ｄ１、Ｄ２への報知方法を見落としリスクの度合いによって制御する点が異なっている。
　本実施形態の内視鏡システムは、第１の実施形態の内視鏡システム１と同様の構成を有する。本実施の形態の内視鏡システムは、報知制御部３５において、２つの表示領域Ｄ１、Ｄ２のそれぞれに対して、病変部Ｌｎの見落としリスクに応じた支援情報を生成し、モニタ５に表示させる点に特徴を有する。以下、図９を用いて説明する。
　図９は、第３の実施形態に係わる画像重畳部３６により生成される内視鏡画像の一例を示す図である。図９に示すように、モニタ５の表示画面５１Ａには、観察画像Ｇ１を表示させる表示領域Ｄ１と、表示領域Ｄ１よりも小さなサイズを有する表示領域Ｄ２の、２つの表示領域が配置されている。通常、術者はメイン画面としての表示領域Ｄ１に表示される内視鏡画像を観察しながら手技を行い、サブ画面としての表示領域Ｄ２には、表示領域Ｄ１に表示されている内視鏡画像の観察をサポートする画像（例えば、特定領域の拡大画像）や、記録画像などが表示される。
　本実施形態においては、表示領域Ｄ１に表示させる支援情報（マーカ画像Ｇ２）の報知方法と、表示領域Ｄ２に表示させるマーカ画像Ｇ２の報知方法とを異ならせている。すなわち、表示領域Ｄ２に表示させるマーカ画像Ｇ２は、見落としリスクに対する感度を高くしている。例えば、病変部Ｌｎの見落としリスクが小さい場合は、表示領域Ｄ２にのみマーカ画像Ｇ２を表示させ、病変部Ｌｎの見落としリスクが高い場合は、表示領域Ｄ１とＤ２の両方にマーカ画像Ｇ２を表示させる。
　このように、本実施の形態によれば、術者が主に観察する内視鏡画像が表示されている領域には、リスク感度を下げて支援情報であるマーカ画像Ｇ２を表示させることで、マーカ画像Ｇ２が手技の妨げになるのを抑制することができる。そして、サブ画面には、リスク感度を上げて支援情報であるマーカ画像Ｇ２を表示させることで、病変部Ｌｎの見落としを抑制することができる。従って、ユーザの利便性を損なうことなく、低コストで見落とし防止機能を実現することができる。
　なお、見落としリスクに応じた支援情報の報知方法は、マーカ画像Ｇ２の表示タイミングの制御に限定されず、マーカ画像Ｇ２の形式（太さや色、大きさ、点滅の有無など）により制御してもよい。また、見落としリスクの度合いは２段階に限定されず、３段階以上設定し、各段階に応じて支援情報の報知方法を制御してもよい。
　本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (23)

  1. 　被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、
    　前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、
    　前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断する見落としリスク解析部と、
    　前記見落としリスクの度合いに基づき、前記病変部の検出の報知手段及び報知方法を制御する報知制御部と、
    　前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知する報知部と、
    　を備えることを特徴とする、内視鏡システム。
  2. 　前記見落としリスク解析部は、前記病変部の状態に基づき前記見落としリスクを解析する病変解析部を備えることを特徴とする、請求項１に記載の内視鏡システム。
  3. 　前記病変解析部は、前記病変部自体の大きさを推定する病変サイズ解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
  4. 　前記病変解析部は、前記観察画像における前記病変部の位置を解析する病変位置解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
  5. 　前記病変解析部は、前記病変部の濃度を解析する病変濃度解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
  6. 　前記病変解析部は、前記病変部の形状を解析する病変形状解析部を備えることを特徴とする、請求項２に記載の内視鏡システム。
  7. 　前記見落としリスク解析部は、前記観察画像の状態に基づき前記見落としリスクを解析する画像状態解析部を備えることを特徴とする、請求項１に記載の内視鏡システム。
  8. 　前記画像状態解析部は、前記観察画像の露出の状態を解析する露出状態解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
  9. 　前記画像状態解析部は、前記観察画像の焦点の合焦度合いを解析する焦点状態解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
  10. 　前記画像状態解析部は、前記観察画像に、残渣や出血が存在するか否かを解析する被写体表面解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
  11. 　前記画像状態解析部は、前記観察画像に、曇りやレンズ汚れが存在するか否かを解析するレンズ状態解析部を備えることを特徴とする、請求項７に記載の内視鏡システム。
  12. 　前記見落としリスク解析部は、前記観察画像における前記病変部の移動状態に基づき前記見落としリスクを解析する移動解析部を備えることを特徴とする、請求項１に記載の内視鏡システム。
  13. 　前記移動解析部は、前記観察画像における前記病変部の移動速度の変化を解析する速度解析部を備えることを特徴とする、請求項１２に記載の内視鏡システム。
  14. 　前記移動解析部は、前記観察画像における前記病変部の位置の変化を解析する位置解析部を備えることを特徴とする、請求項１２に記載の内視鏡システム。
  15. 　前記報知制御部は、前記病変部を示すマーカ画像を生成して観察画像に重畳するよう報知制御を行い、前記病変部の前記リスク度合いに応じて、前記マーカ画像の色、または太さ、またはサイズの少なくとも一つを異ならせることを特徴とする、請求項１に記載の内視鏡システム。
  16. 　前記報知部を複数備え、各々の前記報知部は互いに異なる報知手段で前記病変部の検出を報知することを特徴とする、請求項１に記載の内視鏡システム。
  17. 　前記報知制御部は、前記複数の報知部から報知対象となる報知部を選択する報知手段選択部と、前記選択されたそれぞれの報知部に対して前記報知方法を制御する報知方法設定部とを備えることを特徴とする、請求項１６に記載の内視鏡システム。
  18. 　前記報知部は、前記病変部を示すマーカ画像を表示する第１及び第２の画像領域を備えた表示部であり、前記報知制御部における前記第１の画像領域に表示させる前記マーカ画像に対する第１の制御方法と、前記第２の画像領域に表示させる前記マーカ画像に対する第２の制御方法とが異なることを特徴とする、請求項１に記載の内視鏡システム。
  19. 　被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、
    　前記内視鏡の観察対象である病変部を前記観察画像から検出し、
    　前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断し、
    　前記見落としリスクの度合いに基づき、前記病変部の検出の報知手段及び報知方法を制御し、
    　前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知することを特徴とする、内視鏡用画像処理方法。
  20. 　画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、
    　病変検出部が前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、
    　見落としリスク解析部が、前記観察画像に基づき、操作者が前記病変部を見落とすリスクである見落としリスクの度合いを判断するステップと、
    　報知制御部が、前記見落としリスクの度合いに基づき、前記病変部の検出の報知手段及び報知方法を制御するステップと、
    　報知部が、前記報知制御部の制御に基づき前記病変部の検出を前記操作者に対して報知するステップと、
    　をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
  21. 　前記報知手段は、画像、音声、振動、のいずれかであることを特徴とする、請求項１６に記載の内視鏡システム。
  22. 　前記報知方法設定部は、前記報知手段選択部により選択された複数の前記報知部の組み合わせに応じて、それぞれの前記報知部に対する前記報知方法を決定することを特徴とする、請求項１７に記載の内視鏡システム。
  23. 　前記第２の画像領域は前記第１の画像領域よりもサイズが小さくなされており、前記第２の制御方法は、前記見落としリスクに対する感度が前記第１の制御方法よりも高く設定されていることを特徴とする、請求項１８に記載の内視鏡システム。
    　
PCT/JP2018/043699 2018-11-28 2018-11-28 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム WO2020110214A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/043699 WO2020110214A1 (ja) 2018-11-28 2018-11-28 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
CN201880099663.XA CN113164023B (zh) 2018-11-28 2018-11-28 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
JP2020557446A JP6957771B2 (ja) 2018-11-28 2018-11-28 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US17/329,446 US11642005B2 (en) 2018-11-28 2021-05-25 Endoscope system, endoscope image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043699 WO2020110214A1 (ja) 2018-11-28 2018-11-28 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/329,446 Continuation US11642005B2 (en) 2018-11-28 2021-05-25 Endoscope system, endoscope image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2020110214A1 true WO2020110214A1 (ja) 2020-06-04

Family

ID=70853765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043699 WO2020110214A1 (ja) 2018-11-28 2018-11-28 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Country Status (4)

Country Link
US (1) US11642005B2 (ja)
JP (1) JP6957771B2 (ja)
CN (1) CN113164023B (ja)
WO (1) WO2020110214A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202430A1 (ja) * 2021-03-23 2022-09-29 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
WO2023089716A1 (ja) 2021-11-18 2023-05-25 日本電気株式会社 情報表示装置、情報表示方法、及び、記録媒体
CN117576097A (zh) * 2024-01-16 2024-02-20 华伦医疗用品(深圳)有限公司 基于ai辅助图像处理信息的内窥镜图像处理方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019004084T5 (de) * 2019-03-27 2021-05-06 Hoya Corporation Endoskopprozessor, informationsverarbeitungsvorrichtung, endoskopsystem, programm und informationsverarbeitungsverfahren
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012247879A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
JP2013074397A (ja) * 2011-09-27 2013-04-22 Konica Minolta Holdings Inc 画像処理システム、画像処理方法および画像処理プログラム
JP2017080246A (ja) * 2015-10-30 2017-05-18 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2018033657A (ja) * 2016-08-31 2018-03-08 コニカミノルタ株式会社 医用画像システム及びプログラム
JP2018138140A (ja) * 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4891636B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP2007319327A (ja) 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
EP2057569A1 (en) * 2006-08-16 2009-05-13 MeVis BreastCare GmbH & Co. KG Method, apparatus and computer program for presenting cases comprising images
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
EP2986199B1 (en) * 2013-04-18 2018-01-31 Koninklijke Philips N.V. Acquiring cervical images
JP6400304B2 (ja) 2014-02-28 2018-10-03 キヤノンメディカルシステムズ株式会社 医用画像表示装置
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
JP6529144B2 (ja) * 2015-08-24 2019-06-12 富士フイルム株式会社 読影支援装置及び方法
CN106557536B (zh) * 2015-09-30 2021-12-21 松下知识产权经营株式会社 控制方法
CN108135457B (zh) * 2015-10-26 2020-02-21 奥林巴斯株式会社 内窥镜图像处理装置
JPWO2017073337A1 (ja) * 2015-10-27 2017-11-09 オリンパス株式会社 内視鏡装置及びビデオプロセッサ
JP6246431B2 (ja) * 2015-11-10 2017-12-13 オリンパス株式会社 内視鏡装置
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
US10485629B2 (en) 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7084994B2 (ja) * 2018-07-06 2022-06-15 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
JP7189969B2 (ja) * 2019-01-21 2022-12-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012247879A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
JP2013074397A (ja) * 2011-09-27 2013-04-22 Konica Minolta Holdings Inc 画像処理システム、画像処理方法および画像処理プログラム
JP2017080246A (ja) * 2015-10-30 2017-05-18 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2018033657A (ja) * 2016-08-31 2018-03-08 コニカミノルタ株式会社 医用画像システム及びプログラム
JP2018138140A (ja) * 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202430A1 (ja) * 2021-03-23 2022-09-29 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
WO2023089716A1 (ja) 2021-11-18 2023-05-25 日本電気株式会社 情報表示装置、情報表示方法、及び、記録媒体
CN117576097A (zh) * 2024-01-16 2024-02-20 华伦医疗用品(深圳)有限公司 基于ai辅助图像处理信息的内窥镜图像处理方法及系统
CN117576097B (zh) * 2024-01-16 2024-03-22 华伦医疗用品(深圳)有限公司 基于ai辅助图像处理信息的内窥镜图像处理方法及系统

Also Published As

Publication number Publication date
CN113164023B (zh) 2024-02-23
JP6957771B2 (ja) 2021-11-02
CN113164023A (zh) 2021-07-23
US11642005B2 (en) 2023-05-09
US20210274999A1 (en) 2021-09-09
JPWO2020110214A1 (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
JP6957771B2 (ja) 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
JP6707083B2 (ja) 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7084994B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
US11910994B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
EP3777645A1 (en) Endoscope observation assistance device, endoscope observation assistance method, and program
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
US20210000327A1 (en) Endoscopic image processing apparatus, endoscopic image processing method, and recording medium
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
JPWO2020170791A1 (ja) 医療画像処理装置及び方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP4077716B2 (ja) 内視鏡挿入方向検出装置
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JP6904727B2 (ja) 内視鏡装置
EP4101364A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
JPWO2016111178A1 (ja) 内視鏡システム
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2022010368A (ja) 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941264

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020557446

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941264

Country of ref document: EP

Kind code of ref document: A1