WO2018105062A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2018105062A1
WO2018105062A1 PCT/JP2016/086408 JP2016086408W WO2018105062A1 WO 2018105062 A1 WO2018105062 A1 WO 2018105062A1 JP 2016086408 W JP2016086408 W JP 2016086408W WO 2018105062 A1 WO2018105062 A1 WO 2018105062A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
specular reflection
unit
output
Prior art date
Application number
PCT/JP2016/086408
Other languages
English (en)
French (fr)
Inventor
文行 白谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/086408 priority Critical patent/WO2018105062A1/ja
Priority to JP2018555385A priority patent/JP6751773B2/ja
Publication of WO2018105062A1 publication Critical patent/WO2018105062A1/ja
Priority to US16/412,936 priority patent/US10491813B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present invention relates to an image processing apparatus and an image processing method.
  • specular reflection occurs due to the proximity of the distance between the exit surface of the optical member that emits illumination light to the outside of the endoscope and the object illuminated by the illumination light. Can do.
  • Japanese Patent Laid-Open No. 10-210454 discloses an image processing apparatus that performs image processing on an endoscopic image obtained by an endoscope, and generates halation caused by specular reflection.
  • a technique for removing an area having inappropriate data for calculating the amount of IHb, such as a section, as an invalid area is disclosed.
  • Japanese Patent Laid-Open No. 10-210454 specifically discloses a configuration for determining whether or not to remove an invalid area from an endoscopic image according to the work state of a user who performs endoscopic observation. Not equal. Therefore, according to the configuration disclosed in Japanese Patent Application Laid-Open No. 10-210454, for example, abnormal points that are detected (detected) using specular reflection, such as polyps in body cavities and scratches on metal surfaces. The discovery rate (detection accuracy) decreases, and as a result, there is a problem that an excessive burden may be imposed on the user who diagnoses the abnormal part.
  • the present invention has been made in view of the above-described circumstances, and provides an image processing apparatus and an image processing method capable of reducing a burden on a user who diagnoses an abnormal place discovered or detected using specular reflection.
  • the purpose is that.
  • An image processing apparatus includes a work state estimation unit configured to estimate a work state of a user who performs work while observing an image obtained by imaging a subject and obtain an estimation result.
  • a specular reflection region correction unit configured to perform processing for correcting a specular reflection region included in an image obtained by imaging the subject, and an estimation result obtained by the work state estimation unit And, when detecting that the first operation related to the search for a desired subject in the subject is performed, performs control for outputting an image in which the specular reflection area is maintained as an observation image, When it is detected that the second operation relating to the discrimination of the desired subject found in the subject is detected, the image in which the specular reflection area is corrected by the specular reflection area correction unit is viewed. And a control unit configured to perform control for outputting an image.
  • An image processing method includes a step of estimating a working state of a user who performs work while observing an image obtained by imaging a subject and obtaining an estimation result, and imaging the subject. Based on the step of performing a process for correcting the specular reflection area included in the obtained image and the estimation result, it is detected that the first work relating to the search for a desired subject in the subject is being performed. In this case, control for outputting an image in which the specular reflection area is maintained as an observation image is performed, and a second operation relating to differentiation of the desired subject found in the subject is performed. And a step of performing control for outputting an image in which the specular reflection area is corrected as an observation image.
  • FIG. 3 is a diagram for explaining an example of a configuration of an image processing unit according to the first embodiment.
  • 5 is a flowchart for explaining an example of a learning procedure of the detection convolutional neural network of FIG.
  • (First embodiment) 1 and 2 relate to a first embodiment of the present invention.
  • the endoscope system 1 can be inserted into a body cavity of a subject who is a living body, and images a subject such as a living tissue existing in the body cavity and outputs an imaging signal.
  • FIG. 1 is a diagram illustrating a configuration of a main part of an endoscope system including an image processing apparatus according to an embodiment.
  • the endoscope 2 includes an insertion portion 2a formed in an elongated shape that can be inserted into a body cavity of a subject, and an operation portion 2b provided on the proximal end side of the insertion portion 2a. Yes.
  • a light guide 7 configured to transmit illumination light supplied from the light source device 3 to the distal end portion of the insertion portion 2a is inserted into the insertion portion 2a. Further, at the distal end of the insertion portion 2a, an illumination lens 21 that irradiates the subject with illumination light emitted through the light guide 7, and reflected light (hereinafter referred to as return light) generated from the subject illuminated by the illumination light. And an image pickup unit 22 that outputs an image pickup signal.
  • a treatment instrument channel 23 into which an elongated treatment instrument 8 used for movement and excision of a lesion present in the body cavity of the subject can be inserted is provided inside the insertion portion 2a. That is, the treatment tool 8 has a function as an observation aid used when observing the subject with the endoscope 2.
  • the imaging unit 22 includes an objective lens 22a, an imaging lens 22b, an imaging element 22c, and a lens driving mechanism 22d.
  • the objective lens 22a is configured to form an optical image corresponding to the return light emitted from the subject illuminated by the illumination light emitted through the illumination lens 21.
  • the imaging lens 22b is configured to form an optical image formed by the objective lens 22a.
  • the imaging lens 22b is configured to move along the optical axis direction in accordance with the operation of the lens driving mechanism 22d.
  • the image sensor 22c is configured to include, for example, a CCD or a CMOS.
  • the imaging element 22c is provided on a plurality of pixels for photoelectrically converting and imaging the optical image formed by the imaging lens 22b and an imaging surface in which the plurality of pixels are two-dimensionally arranged.
  • a color filter In the color filter described above, for example, minute filters of R (red), G (green), and B (blue) are arranged in a Bayer arrangement (in a checkered pattern) at positions corresponding to the respective pixels of the image sensor 22c. It is formed by.
  • the image sensor 22c is driven according to the image sensor drive signal output from the processor 4, and generates an image signal by capturing an optical image formed by the imaging lens 22b, and the generated image The signal is output to the processor 4.
  • the lens driving mechanism 22d moves the imaging lens 22b within a predetermined movable range between the light emitting surface of the objective lens 22a and the imaging surface of the imaging element 22c based on the lens driving signal output from the processor 4. It is comprised so that operation
  • the treatment instrument channel 23 includes an insertion port 23a that is an opening provided at the proximal end portion of the insertion portion 2a, and a projection port 23b that is an opening provided at the distal end portion of the insertion portion 2a. Yes.
  • the treatment instrument channel 23 is formed to have a tube shape that allows the elongated treatment instrument 8 inserted from the insertion opening 23a to protrude from the protrusion opening 23b.
  • the operation unit 2b is configured to have a shape that can be gripped and operated by the user. Further, the operation unit 2b is provided with a scope switch 24 configured to include a switch capable of instructing the processor 4 according to a user input operation.
  • the scope switch 24 may be instructed to the processor 4 to set the observation mode of the endoscope system 1 to either the white light observation mode or the narrow band light observation mode.
  • Possible observation mode setting switches (not shown) are provided.
  • the scope switch 24 is provided with, for example, an optical zoom switch (not shown) that can instruct the processor 4 regarding optical scaling.
  • the scope switch 24 is, for example, for setting a function (hereinafter also referred to as a diagnosis support function) for assisting diagnosis of a polyp that is an abnormal location in the body cavity of the subject to ON or OFF.
  • a polyp diagnosis support switch capable of giving an instruction to the processor 4 is provided.
  • the light source device 3 includes a light emitting unit 31, a multiplexer 32, a condenser lens 33, and a light source control unit 34.
  • the light emitting unit 31 includes a red light source 31a, a green light source 31b, and blue light sources 31c and 31d.
  • the red light source 31a includes, for example, a red LED.
  • the red light source 31a is configured to emit R light, which is narrow band red light having a center wavelength set in a red region near 600 nm, for example. Further, the red light source 31a is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the red light source 31a is configured to generate R light having an intensity or a light amount according to the control of the light source control unit 34 in the lighting state.
  • the green light source 31b includes, for example, a green LED. Further, the green light source 31b is configured to emit G light, which is a narrow-band green light having a center wavelength set in a green region near 540 nm, for example. Further, the green light source 31b is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the green light source 31b is configured to generate G light having an intensity or a light amount according to the control of the light source control unit 34 in the lighting state.
  • G light is a narrow-band green light having a center wavelength set in a green region near 540 nm, for example.
  • the green light source 31b is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34. Further, the green light source 31b is configured to generate G light having an intensity or a light amount according to the control of the light source control unit 34 in the lighting state.
  • the blue light source 31c includes, for example, a blue LED.
  • the blue light source 31c is configured to emit BL light that is narrow-band blue light having a center wavelength set in a blue region near 460 nm, for example.
  • the blue light source 31c is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34.
  • the blue light source 31c is configured to generate BL light having an intensity or a light amount according to the control of the light source control unit 34 in the lighting state.
  • the blue light source 31d includes, for example, a blue LED.
  • the blue light source 31d is configured to emit BS light, which is narrow band blue light having a center wavelength set in a blue region near 410 nm, for example.
  • the blue light source 31d is configured to be switched between a lighting state and a light-off state according to the control of the light source control unit 34.
  • the blue light source 31d is configured to generate BS light having an intensity or a light amount according to the control of the light source control unit 34 in the lighting state.
  • the multiplexer 32 is configured to be able to multiplex each light emitted from the light emitting unit 31 so as to enter the condenser lens 33.
  • the condenser lens 33 is configured to collect the light incident through the multiplexer 32 and output it to the light guide 7.
  • the light source control unit 34 includes, for example, a light source control circuit.
  • the light source control unit 34 is configured to control each light source of the light emitting unit 31 in accordance with a system control signal output from the processor 4.
  • the processor 4 includes an imaging control unit 41, an image processing unit 42, and a control unit 43.
  • the imaging control unit 41 includes, for example, an imaging control circuit. Further, the imaging control unit 41 is configured to generate and output an imaging element driving signal for driving the imaging element 22c in accordance with a system control signal output from the control unit 43. Further, the imaging control unit 41 is configured to generate and output a lens driving signal for driving the lens driving mechanism 22d in accordance with a system control signal output from the control unit 43.
  • the image processing unit 42 includes, for example, an image processing circuit.
  • the image processing unit 42 includes, for example, an image generation unit 42a, a selector 42b, a specular reflection area correction unit 42c, and a display control unit 42d as shown in FIG.
  • FIG. 2 is a diagram for explaining an example of the configuration of the image processing unit according to the first embodiment.
  • the image generation unit 42 a is configured to generate an image based on the imaging signal output from the endoscope 2 and output the generated image to the selector 42 b and the control unit 43.
  • the selector 42b is an operation for setting the output destination of the image output from the image generation unit 42a to either the specular reflection region correction unit 42c or the display control unit 42d in accordance with the system control signal output from the control unit 43. Is configured to do.
  • the specular reflection area correction unit 42c is configured to extract a specular reflection area from an image output via the selector 42b and to perform processing for correcting the extracted specular reflection area.
  • the specular reflection area correction unit 42c is configured to output an image obtained by correcting the specular reflection area by the above-described processing to the display control unit 42d.
  • the specular reflection area correction unit 42c for example, based on an image output through the selector 42b, sets an area composed of one or more pixels having a pixel value equal to or greater than a predetermined threshold as a specular reflection area.
  • the process of extracting as Further, the specular reflection area correction unit 42c performs a process of interpolating the pixel values of each pixel included in the specular reflection area using the pixel values around the specular reflection area extracted as described above.
  • the specular reflection area correction unit 42c is not limited to the one that corrects the specular reflection area by the method exemplified above, and the specular reflection area correction unit 42c uses a known method disclosed in Japanese Patent Laid-Open No. 10-210454. The reflection area may be corrected.
  • the display control unit 42d outputs an image output from either the image generation unit 42a or the specular reflection region correction unit 42c as an observation image to the display device 5 according to a system control signal output from the control unit 43. It is configured to perform operations.
  • the control unit 43 includes, for example, a control circuit such as a CPU. Further, the control unit 43 can generate and output a system control signal for controlling each of the light source control unit 34, the imaging control unit 41, and the image processing unit 42 based on an instruction from the scope switch 24. It is configured.
  • control unit 43 is a system for supplying illumination light to the endoscope 2 according to the observation mode of the endoscope system 1 based on an instruction from the observation mode setting switch of the scope switch 24.
  • a control signal is generated and output to the light source controller 34.
  • control unit 43 based on an instruction from the optical zoom switch of the scope switch 24, the control unit 43 generates a system control signal for moving and arranging the imaging lens 22b to a position corresponding to the observation magnification of the imaging unit 22. And output to the imaging control unit 41.
  • the control unit 43 observes an image (endoscopic image) obtained by imaging the subject with the endoscope 2 based on an instruction from the scope switch 24 and / or an image output from the image processing unit 42.
  • a work state estimating unit 43a configured to estimate a work state of a user who performs the work and obtain an estimation result is provided.
  • the control unit 43 controls the operation of the selector 42b and the display control unit 42d based on the instruction from the polyp diagnosis support switch of the scope switch 24 and the estimation result obtained by the work state estimation unit 43a.
  • the system control signal can be generated and output.
  • the user connects each part of the endoscope system 1 and turns on the power, and then operates the scope switch 24 to set the observation mode of the endoscope system 1 to the white light observation mode and diagnose the processor 4. Instruct to turn off the support function. Thereafter, the user starts inserting the insertion portion 2a into the body cavity of the subject.
  • control unit 43 When the control unit 43 detects that the observation mode of the endoscope system 1 is set to the white light observation mode based on an instruction from the scope switch 24, the control unit 43 uses the white light as illumination light to the endoscope 2. A system control signal for supply is generated and output to the light source controller 34. Further, when the control unit 43 detects that the diagnosis support function of the processor 4 is set to OFF based on an instruction from the scope switch 24, the control unit 43 displays the image generated by the image generation unit 42a as an observation image. A system control signal to be output to the device 5 is generated and output to the selector 42b and the display control unit 42d.
  • the light source control unit 34 When the observation mode of the endoscope system 1 is set to the white light observation mode according to the system control signal output from the control unit 43, the light source control unit 34 has a red light source 31a, a green light source 31b, and a blue light source. Control for turning off the blue light source 31d while simultaneously turning on 31c is performed on the light emitting unit 31. That is, according to such control of the light source control unit 34, white light combined with R light, G light, and BL light is supplied from the light source device 3 to the endoscope 2 in the white light observation mode. White light is irradiated to the subject through the illumination lens 21, and an optical image of the subject corresponding to the reflected light of the white light is picked up by the image sensor 22c. In the white light observation mode, the image generation unit 42a generates a white light image corresponding to the optical image captured by the image sensor 22c.
  • the selector 42b controls the display of the output destination of the white light image output from the image generation unit 42a when the diagnosis support function of the processor 4 is set to OFF according to the system control signal output from the control unit 43. An operation for setting the unit 42d is performed.
  • the display control unit 42d uses the white light image output from the image generation unit 42a as an observation image when the diagnosis support function of the processor 4 is set to OFF. An operation for outputting to the display device 5 is performed.
  • the user turns on the diagnosis support function of the processor 4 by operating the scope switch 24 in a state where the distal end portion of the insertion portion 2a is placed in a portion where the presence of the polyp is suspected in the body cavity of the subject. Give instructions for setting.
  • the work state estimation unit 43a is activated when the diagnosis support function of the processor 4 is set to ON and the observation mode of the endoscope system 1 is set to the white light observation mode.
  • An estimation result is obtained that a user observing an image (endoscopic image) obtained by imaging the sample with the endoscope 2 is performing work related to polyp search.
  • the control unit 43 Based on the estimation result obtained by the work state estimation unit 43a, the control unit 43 performs an operation related to searching for a desired subject or a polyp that is a discovery target in the subject into which the endoscope 2 is inserted. When this is detected, a system control signal for outputting the image in which the specular reflection region is maintained to the display device 5 as an observation image is generated and output to the selector 42b and the display control unit 42d.
  • the selector 42b displays the output destination of the white light image output from the image generation unit 42a when the work related to the search for the polyp is being performed according to the system control signal output from the control unit 43.
  • the display control unit 42d The operation for setting to is performed.
  • the display control unit 42d displays the white light image output from the image generation unit 42a as an observation image when an operation related to polyp search is performed in accordance with the system control signal output from the control unit 43. The operation for outputting to 5 is performed.
  • the user searches for a polyp present in the body cavity of the subject by operating the insertion portion 2a while confirming the white light image displayed on the display device 5 while the specular reflection region is maintained. To do. Then, when the user finds a polyp, the user operates the scope switch 24 to give an instruction for setting the observation mode of the endoscope system 1 to the narrow-band light observation mode.
  • the work state estimation unit 43a is set when the diagnosis support function of the processor 4 is set to ON and the observation mode of the endoscope system 1 is set to the narrowband light observation mode.
  • An estimation result is obtained that a user observing an image (endoscopic image) obtained by imaging the subject with the endoscope 2 is performing an operation related to polyp discrimination.
  • control unit 43 When the control unit 43 detects that the observation mode of the endoscope system 1 is set to the narrow-band light observation mode based on an instruction from the scope switch 24, the control unit 43 uses G light and BS light as illumination light. A system control signal to be supplied to the endoscope 2 is generated and output to the light source control unit 34. In addition, the control unit 43 performs work related to differentiation of a desired subject or a polyp that is a discovery target found in the subject into which the endoscope 2 is inserted based on the estimation result obtained by the work state estimation unit 43a. Is detected, a system control signal is generated to output an image in which the specular reflection area is corrected by the specular reflection area correction unit 42c to the display device 5 as an observation image, and the selector 42b and display It outputs to the control part 42d.
  • the light source control unit 34 turns off the red light source 31a and the blue light source 31c while simultaneously turning on the green light source 31b and the blue light source 31d in the narrow-band light observation mode. Control is performed on the light emitting unit 31. That is, according to such control of the light source control unit 34, in the narrow-band light observation mode, the mixed light obtained by combining the G light and the BS light is supplied from the light source device 3 to the endoscope 2, and the mixed light Is irradiated to the subject through the illumination lens 21, and an optical image of the subject corresponding to the reflected light of the mixed light is captured by the imaging element 22c. In the narrow band light observation mode, a narrow band light image corresponding to the optical image captured by the image sensor 22c is generated by the image generation unit 42a.
  • the selector 42b sets the output destination of the image output from the image generation unit 42a to the specular reflection region correction unit 42c when an operation related to polyp discrimination is performed according to the system control signal output from the control unit 43. The operation for setting to is performed.
  • the display control unit 42d displays, as an observation image, an image output from the specular reflection region correction unit 42c when an operation related to polyp discrimination is performed in accordance with a system control signal output from the control unit 43. The operation for outputting to 5 is performed.
  • the user discriminates the malignancy of the polyp discovered through the work related to the above-mentioned search by confirming the narrow-band light image displayed on the display device 5 with the specular reflection region corrected. Then, after completing the work related to the polyp discrimination, the user operates the scope switch 24 to set, for example, the observation mode of the endoscope system 1 to the white light observation mode and the diagnosis support of the processor 4. Give instructions to set the function off.
  • the specular reflection area when the specular reflection area is removed from the image obtained when searching for the polyp, the polyp discovery rate or detection accuracy is lower than when the specular reflection area is not removed.
  • the diagnosis support function of the processor 4 when the diagnosis support function of the processor 4 is set to ON, the specular reflection area is maintained according to the estimation result obtained by the work state estimation unit 43a. Either the observed image or the observed image in which the specular reflection area is corrected is selectively output to the display device 5. Therefore, according to the present embodiment, it is possible to reduce the burden on the user who diagnoses a polyp detected using specular reflection.
  • the work state estimation unit 43a of the present embodiment is not limited to estimating the user's work state by the estimation method as described above when the diagnosis support function of the processor 4 is set to ON. You may make it estimate a user's working state with the estimation method which is illustrated below.
  • the work state estimation unit 43a for example, based on the brightness of the image output from the image processing unit 42, the user who observes the image (endoscopic image) obtained by imaging the subject with the endoscope 2
  • the estimation result may be obtained by estimating the working state.
  • the work state estimation unit 43a calculates, for example, the average luminance value of each pixel included in the image output from the image processing unit 42, and the calculated average luminance value is equal to or greater than the threshold value TH1. While acquiring the estimation result that the polyp search operation is being performed, the estimation result that the polyp identification operation is being performed when the calculated average luminance value is less than the threshold value TH1 may be acquired. Good.
  • the work state estimation unit 43a observes an image (endoscopic image) obtained by imaging the subject with the endoscope 2 based on the current observation magnification of the endoscope 2 (imaging unit 22).
  • the estimation result may be obtained by estimating the user's working state.
  • the work state estimation unit 43a acquires, for example, the current observation magnification of the endoscope 2 (imaging unit 22) set by an instruction from the scope switch 24, and the acquired current observation magnification. Is estimated when it is less than the threshold TH2, while it is estimated that the polyp is being searched when the current observation magnification obtained is greater than or equal to the threshold TH2. You may make it acquire a result.
  • the work state estimation unit 43a estimates the work state of the user who observes an image (endoscope image) obtained by imaging the subject with the endoscope 2 based on the use state of the treatment instrument 8, for example. An estimation result may be obtained.
  • the work state estimation unit 43a can detect the distal end portion of the treatment instrument 8 based on the processing result when the image recognition process is performed on the image output from the image processing unit 42, for example. If it is not possible to obtain an estimation result that the polyp is being searched for, it obtains an estimation result that the polyp is being differentiated if the distal end portion of the treatment instrument 8 can be detected. You may make it do.
  • the work state estimation unit 43a acquires an estimation result that a polyp search operation is being performed when an instruction from a predetermined switch provided in the scope switch 24 cannot be detected, for example. When the instruction from the predetermined switch can be detected, an estimation result that the polyp is being differentiated may be acquired.
  • the work state estimation unit 43a for example, a user's work for observing an image (endoscopic image) obtained by imaging the subject with the endoscope 2 based on the color tone of the image output from the image processing unit 42.
  • the estimation result may be obtained by estimating the state.
  • the work state estimation unit 43a extracts, for example, pixels of a predetermined color (corresponding to the color of the polyp stain) from each pixel included in the image output from the image processing unit 42.
  • the number of extracted pixels is less than the threshold value TH3
  • an estimation result that a polyp search operation is in progress is obtained.
  • the number of extracted pixels is greater than or equal to the threshold value TH3, You may make it acquire the estimation result that it is in discrimination work.
  • the work state estimation unit 43a for example, an image (endoscopic image) obtained by imaging the subject with the endoscope 2 based on the position and size of the polyp included in the image output from the image processing unit 42. It is also possible to obtain the estimation result by estimating the working state of the user who observes the above.
  • the work state estimation unit 43a cannot detect a polyp, for example, based on a processing result when an image recognition process and a tracking process are performed on an image output from the image processing unit 42. If the polyp is present at the peripheral edge of the image, or if the ratio of the area occupied by the polyp in the image is less than the threshold value TH4, the estimation result that the polyp is being searched is acquired. It may be.
  • the work state estimation unit 43a has, for example, a polyp at the center of the image based on the processing result when the image output processing and tracking processing are performed on the image output from the image processing unit 42.
  • an estimation result that the polyp is being identified may be acquired.
  • the work state estimation unit 43a may use the method exemplified above alone when estimating the user work state and obtaining the estimation result, or exemplified above.
  • a plurality of methods may be used in combination.
  • the work state estimation unit 43a, the observation mode when observing the subject with the endoscope 2, the brightness of the endoscope image obtained by imaging the subject with the endoscope 2, and the subject The observation magnification when observing the sample with the endoscope 2, the use state of the treatment tool 8 used when observing the subject with the endoscope 2, the color tone of the endoscope image, and the endoscope What is necessary is just to estimate the said working state based on at least one of the position and size of the polyp contained in a mirror image.
  • the diagnosis support function of the processor 4 may be set on or off.
  • the insertion unit 2a is inserted into the body cavity based on the brightness and / or color tone of the image output from the image processing unit 42.
  • the diagnosis support function of the processor 4 is turned on.
  • the diagnosis support function of the processor 4 is set off. May be.
  • the diagnosis support function of the present embodiment is not limited to the case of making a polyp diagnosis.
  • the diagnosis support function of the present embodiment is not limited to the case of making a polyp diagnosis.
  • various abnormal points detected using specular reflection such as a scratch on a metal surface. It can be used in substantially the same way.
  • the work state estimation unit 43a obtains an estimation result that the target object in the subject or a scratch on the metal surface to be found is being searched.
  • the observation image in which the specular reflection area is maintained can be output to the display device 5, and the estimation result indicating that the metal surface flaw detected in the subject is being identified
  • an observation image in which the specular reflection area is corrected by the specular reflection area correction unit 42c can be output to the display device 5.
  • the processor 4 according to the present embodiment includes an image processing unit 62 as illustrated in FIG. 3 instead of the image processing unit 42.
  • FIG. 3 is a diagram for explaining an example of the configuration of the image processing unit according to the second embodiment.
  • the image processing unit 62 includes, for example, an image processing circuit. Further, for example, as shown in FIG. 3, the image processing unit 62 includes an image generation unit 42a, a selector 42b, a specular reflection area correction unit 42c, a display control unit 42d, an output side of the selector 42b, and a display control unit.
  • Search support image recognition processing unit 62a hereinafter abbreviated as image recognition processing unit 62a
  • an output side of the specular reflection region correction unit 42c and an input side of the display control unit 42d.
  • an identification recognition image recognition processing unit 62b hereinafter abbreviated as an image recognition processing unit 62b provided between the two.
  • the selector 42b In response to the system control signal output from the control unit 43, the selector 42b sends the output destination of the image output from the image generation unit 42a to the image recognition processing unit 62a when work related to polyp search is being performed. Performs operations for setting.
  • the selector 42b sets the output destination of the image output from the image generation unit 42a to the specular reflection region correction unit 42c when an operation related to polyp discrimination is performed according to the system control signal output from the control unit 43. The operation for setting to is performed.
  • the image recognition processing unit 62a is configured to perform processing for detecting the presence or absence of polyps in an image output via the selector 42b, that is, an image in which the specular reflection area is maintained. In addition, when the image recognition processing unit 62a detects a polyp from the image output via the selector 42b, the image recognition processing unit 62a performs a process for generating a detection frame indicating the position and size of the polyp and the generated detection frame And the image together are output to the display control unit 42d.
  • the image recognition processing unit 62a of the present embodiment is configured to detect the presence or absence of a polyp and generate a detection frame using a detection convolutional neural network (hereinafter abbreviated as detection CNN). Yes. A configuration example of such a detection CNN will be described in detail later.
  • the image recognition processing unit 62b outputs a polyp included in an image output through the selector 42b and the specular reflection region correction unit 42c, that is, an image in which the specular reflection region is corrected by the specular reflection region correction unit 42c, according to a predetermined classification criterion.
  • the processing is performed to classify and obtain a classification result, and the obtained classification result and the image are combined and output to the display control unit 42d.
  • the image recognition processing unit 62b of the present embodiment is configured to classify polyps using a classification convolutional neural network (hereinafter abbreviated as classification CNN). A configuration example of such a classification CNN will be described in detail later.
  • classification CNN classification convolutional neural network
  • the image recognition processing unit 62b performs processing for classifying the polyp included in the image whose specular reflection area is corrected by the specular reflection area correction unit 42c into any one of Type 1, Type 2, or Type 3 of the NICE classification.
  • the image in which the specular reflection area is corrected is not limited to the image input to the image recognition processing unit 62b.
  • the image from which the specular reflection area is excluded may be input to the image recognition processing unit 62b.
  • the display control unit 42d is an image in which the specular reflection region output from the image recognition processing unit 62a is maintained when an operation related to polyp search is performed according to the system control signal output from the control unit 43. Then, an operation for outputting the observation image generated using the polyp detection frame which is the processing result output from the image recognition processing unit 62a to the display device 5 is performed.
  • the display control unit 42d is an image in which the specular reflection area output from the image recognition processing unit 62b is corrected when an operation related to polyp discrimination is performed in accordance with the system control signal output from the control unit 43. Then, an operation for outputting the observation image generated using the polyp classification result, which is the processing result output from the image recognition processing unit 62b, to the display device 5 is performed.
  • control unit 43 When the control unit 43 detects that the work related to the search for the polyp is performed based on the estimation result obtained by the work state estimation unit 43a, the control unit 43 performs image recognition on the image in which the specular reflection area is maintained. Control for outputting an observation image corresponding to the processing result obtained by performing processing by the processing unit 62a is performed on the selector 42b and the display control unit 42d.
  • the control unit 43 corrects the specular reflection region by the specular reflection region correction unit 42c when detecting that the work related to the polyp discrimination is performed based on the estimation result obtained by the work state estimation unit 43a. Control is performed on the selector 42b and the display control unit 42d to output an observation image corresponding to the processing result obtained by performing the processing by the image recognition processing unit 62b on the obtained image.
  • each unit of the present embodiment for example, when an operation related to polyp search is performed, an image in which the specular reflection area is maintained and the image is included in the image.
  • An observation image having a detection frame formed around the polyp is displayed on the display device 5.
  • an image in which the specular reflection area is corrected and the image is included in the image.
  • An observation image including visual information such as a character string for notifying the user whether the polyp belongs to Type 1, Type 2, or Type 3 of the NICE classification is displayed on the display device 5.
  • FIG. 4 is a conceptual diagram for explaining a configuration example of the detection CNN used in the search support image recognition processing unit of the image processing unit according to the second embodiment.
  • the detection CNN 71 includes a Region Proposal Network (hereinafter abbreviated as RPN) 71a for detecting a rectangular candidate frame including a polyp from an input image in which a specular reflection area is maintained, and the detection.
  • RPN Region Proposal Network
  • FRCNN Fast R-CNN
  • the RPN 71a includes a feature quantity extraction CNN 72a and a candidate frame detection CNN 72b.
  • the FRCNN 71b is configured to include a feature quantity extraction CNN 72a, an ROI Pooling layer 72c, and a candidate frame classification full connection layer 72d. That is, the feature quantity extraction CNN 72a is shared by both the RPN 71a and the FRCNN 71b.
  • the feature amount extraction CNN 72a is configured to obtain a feature map of the input image as a calculation result by performing a plurality of convolution operations and pooling operations on the input image.
  • the feature quantity extraction CNN 72a is configured using a network structure such as AlexNet or VGG-16.
  • the feature quantity extraction CNN 72a is configured using VGG-16 unless otherwise specified. That is, in the following, for example, when an input image having a horizontal width W, a vertical width H, and the number of channels 3 (Red, Green, and Blue) is input to the feature amount extraction CNN 72a, the horizontal width W / 16, the vertical width In the following description, it is assumed that a feature map having H / 16 and the number of channels 512 is obtained as a calculation result of the feature amount extraction CNN 72a.
  • the candidate frame detection CNN 72b includes, for example, an RPN frame variation map output convolution layer 731 that acquires and outputs an RPN frame variation map, and an RPN score map output convolution layer 732 that acquires and outputs an RPN score map.
  • RPN frame variation map output convolution layer 731 that acquires and outputs an RPN frame variation map
  • RPN score map output convolution layer 732 that acquires and outputs an RPN score map.
  • the candidate frame detection CNN 72b is configured to calculate an RPN score representing the coordinate value and polyp-likeness of the candidate frame by performing an operation described later using the RPN frame variation map and the RPN score map.
  • the RPN frame variation map output convolution layer 731 performs computation using the feature map obtained as the computation result of the feature quantity extraction CNN 72a, for example, the horizontal width W / 16, the vertical width H / 16, and the number of channels.
  • An RPN frame fluctuation amount map having 4 ⁇ A is acquired and output. That is, in the RPN frame variation map, the position in the spatial direction corresponds to the position of the input image, and the frame variation of each anchor (the frame center movement amount and the frame width expansion amount in the xy directions) is provided in the channel direction. Obtained as a thing.
  • the value A described above represents the number of anchors.
  • the anchor represents the shape of the candidate frame including the aspect ratio and the scale.
  • the RPN score map output convolution layer 732 performs an operation using the RPN frame variation map output from the RPN frame variation map output convolution layer 731 to obtain, for example, a horizontal width W / 16 and a vertical width H / 16. And an RPN score map having 2 ⁇ A channels is acquired and output.
  • the RPN score map is acquired as the position in the spatial direction corresponds to the position of the input image and the score of each anchor (polyp score and background score) is provided in the channel direction.
  • the coordinate values (x and y coordinates at the upper left corner of the rectangle and the x and y coordinates at the lower right corner of the rectangle) of the rectangle candidate frame represented by the anchor a as the center. Is calculated using the following formula (1).
  • b represents an anchor base size
  • r represents an aspect ratio
  • s represents a scale.
  • R represents the aspect ratio
  • S represents the number of scales
  • the candidate frame detection CNN 72b calculates the coordinate value p of the candidate frame by performing a calculation using the following mathematical formula (2).
  • each parameter included in the mathematical formula (2) is calculated using the following mathematical formulas (3) to (11).
  • bmap in the following mathematical formulas (3) to (6) represents an RPN frame variation map.
  • the candidate frame detection CNN 72b calculates an RPN score sc representing the likelihood of polyp by performing an operation using the following mathematical formula (12).
  • “smap” in the following formula (12) indicates an RPN score map.
  • the ROI Pooling layer 72c uses the feature map obtained as the calculation result of the feature amount extraction CNN 72a and the coordinate value of the candidate frame obtained as the calculation result of the candidate frame detection CNN 72b, and uses the feature map for each candidate frame.
  • the feature map is resized by Max Pooling for each cut out feature map.
  • the ROI Pooling layer 72c is configured to acquire and output, for example, a feature map having a width of 7, a width of 7 and the number of channels 512 as a feature map for each candidate frame.
  • the candidate frame classification total connection layer 72d is, for example, an FRCNN frame variation map output total connection layer 733 that acquires and outputs an FRCNN frame variation map, and an FRCNN score map output that acquires and outputs an FRCNN score map. And a four-layer CNN having a total coupling layer 734.
  • the candidate frame classification total connection layer 72d uses the FRCNN frame variation map and the FRCNN score map, and performs the same calculation as that shown in the above formulas (1) to (12), thereby detecting the coordinates of the detection frame.
  • An FRCNN score representing the value and the polyp-likeness is calculated.
  • the FRCNN frame fluctuation amount map output all combined layer 733 performs calculation using the feature map obtained as the calculation result of the feature amount extraction CNN 72a, for example, the horizontal width 1, the vertical width 1, and the number of extracted maps.
  • An FRCNN frame variation map having M and 4 channels (frame center movement amount and frame width expansion amount in each xy direction) ⁇ A is acquired and output.
  • the FRCNN score map output full coupling layer 734 performs the calculation using the FRCNN frame variation map output from the FRCNN frame variation map output total coupling layer 733, so that, for example, the horizontal width 1, the vertical width 1,
  • the FRCNN score map having the map number M and the channel number 2 (polyp score and background score) ⁇ A is acquired and output.
  • both the RPN 71a and the FRCNN 71b A case where the feature amount extraction CNN 72a is shared will be described as an example.
  • an endoscope image obtained by imaging the inside of a body cavity using an endoscope is used as a learning image.
  • FIG. 5 is a flowchart for explaining an example of a learning procedure of the detection convolutional neural network of FIG.
  • step S1 of FIG. 5 the learning image, the correct mask image, and the pre-training data are input to the RPN 71a.
  • the pre-training data input in the process of step S1 in FIG. 5 is data obtained in advance by learning the RPN 71a using an image group included in a large-scale image database such as ImageNet, for example. .
  • step S2 of FIG. 5 a correct frame variation map and a correct label map for learning of the RPN 71a are created using the correct mask image input by the process of step S1 of FIG.
  • the correct answer frame variation map created by the process of step S2 in FIG. 5 is, for example, the horizontal width W / 16, the vertical width H / 16, and the number of channels 4 (the frame center movement amount and the frame width expansion amount in the xy directions, respectively) ) XA.
  • the correct label map created by the process of step S2 in FIG. 5 is created as having, for example, a horizontal width W / 16, a vertical width H / 16, and the number of channels 1 (label) ⁇ A.
  • the label 0 indicating the polyp is the correct answer.
  • step S3 of FIG. 5 the learning image input by the process of step S1 of FIG. 5 and the correct answer frame variation map and correct answer map created by the process of step S2 of FIG.
  • the second RPN 71a is learned.
  • step S3 in FIG. 5 the pre-training data input in step S1 in FIG. 5 is used as the initial value of the feature amount extraction CNN 72a. Further, the process of step S3 in FIG. 5 is performed to optimize both the feature amount extraction CNN 72a and the candidate frame detection CNN 72b. In addition, in the process of step S3 in FIG. 5, the Softmax cross entropy of the correct label map and the RPN score map and the Smooth L1 Loss of the correct answer frame variation map and the RPN frame variation map are weighted and added. Shall be used as the loss function. Further, in the process of step S3 in FIG. 5, the feature amount extraction CNN 72a and the candidate frame detection CNN 72b are optimized using a stochastic gradient descending method (SGD).
  • SGD stochastic gradient descending method
  • step S4 of FIG. 5 by applying the first learned RPN 71a constructed through the process of step S3 of FIG. 5 to the learning image input by the process of step S1 of FIG.
  • the coordinate value of the candidate frame and the RPN score representing the polyp-likeness are respectively calculated.
  • step S5 in FIG. 5 the first FRCNN 71b is used by using the coordinate value of the candidate frame calculated by the process in step S4 in FIG. 5 and the correct mask image input in the process in step S1 in FIG. A correct frame variation map and a correct label map for learning are created.
  • the correct answer frame variation map created by the process of step S5 in FIG. 5 is, for example, the width W / 16, the height H / 16, the number of output candidate frames M, and the number of channels 4 (frames in each of the xy directions). Center movement amount and frame width expansion amount) ⁇ A.
  • the correct label map created by the process of step S5 in FIG. 5 includes, for example, a horizontal width W / 16, a vertical width H / 16, an output candidate frame number M, and a channel number 1 (label) ⁇ A. Created as a thing. In the process of step S5 in FIG. 5, for example, when the degree of overlap between the coordinate value of the candidate frame calculated by the process of step S4 in FIG.
  • step S6 of FIG. 5 based on the learning image input by the process of step S1 of FIG. 5 and the correct frame variation map and the correct label map created by the process of step S5 of FIG.
  • the FRCNN 71b is learned for the second time.
  • step S6 in FIG. 5 the pre-training data input in step S1 of FIG. 5 is used as the initial value of the feature amount extraction CNN 72a. Further, the process of step S6 in FIG. 5 is performed to optimize both the feature quantity extracting CNN 72a and the candidate frame classifying all combined layer 72d. Further, in the process of step S6 in FIG. 5, the same loss function and optimization method as those used in the process of step S3 in FIG. 5 are used.
  • step S7 of FIG. 5 the learning image input by the process of step S1 of FIG. 5 and the correct frame variation map and the correct label map created by the process of step S2 of FIG.
  • the second RPN 71a is learned.
  • step S7 in FIG. 5 it is assumed that the feature quantity extraction CNN 72a is fixed by the first learning result of the FRCNN 71b acquired through the process of step S6 in FIG. Further, the process of step S7 in FIG. 5 is performed to optimize only the candidate frame detection CNN 72b.
  • step S8 in FIG. 5 the second learned RPN 71a constructed through the process in step S7 in FIG. 5 is applied to the learning image input in the process in step S1 in FIG.
  • the coordinate value of the candidate frame and the RPN score representing the polyp-likeness are respectively calculated.
  • step S9 of FIG. 5 the second FRCNN 71b is used by using the coordinate value of the candidate frame calculated by the process of step S8 of FIG. 5 and the correct mask image input by the process of step S1 of FIG. A correct frame variation map and a correct label map for learning are created.
  • step S10 of FIG. 5 the learning image input by the process of step S1 of FIG. 5 and the correct frame variation map and the correct label map created by the process of step S9 of FIG.
  • the FRCNN 71b is learned for the second time.
  • step S10 in FIG. 5 it is assumed that the feature amount extraction CNN 72a is fixed by the first learning result of the FRCNN 71b obtained through the process of step S6 in FIG. Further, the process of step S7 in FIG. 5 is performed in order to optimize only the candidate frame classification fully connected layer 72d.
  • the image recognition processing unit 62a of the present embodiment uses the detection CNN 71 constructed through the series of learning procedures illustrated in FIG. 5, and the image output through the selector 42b (the image in which the specular reflection area is maintained). ) To detect the presence or absence of a polyp, and to generate a detection frame indicating the position and size of the detected polyp.
  • FIG. 6 is a conceptual diagram for explaining a configuration example and the like of a classification convolutional neural network used in the image recognition processing unit for discrimination support of the image processing unit according to the second embodiment.
  • the classification CNN 81 repeats the process of the convolution layer 81a and the pooling layer (subsampling layer) 81b three times on the input image with the specular reflection region corrected, and then 2 By further performing the processing by the entire combined layer 81c, the polyp included in the input image is classified according to the NICE classification to obtain a classification result.
  • each convolution layer 81a of the classification CNN 81 is configured to output a processing result obtained by applying a nonlinear function (ReLU) to the pooling layer 81b after the convolution processing. Further, in the classification CNN 81, it is only necessary to perform the process by the convolution layer 81a and the pooling layer 81b on the input image one or more times. Further, in the classification CNN 81, it is sufficient that one or more total bonding layers 81c exist.
  • ReLU nonlinear function
  • the classification CNN 81 can be constructed using Alex-net, ZFNet, VGG-16, GoogleLeNet, Network in Network, or the like. Therefore, an example in the case where the classification CNN 81 is constructed using VGG-16 will be described below.
  • the CNN 81 for classification constructed using VGG-16 a convolution filter of 3 ⁇ 3 size is used, and the convolution processing result between the convolution filter and the input image is applied to the nonlinear function ReLU. .
  • MaxPooling select the maximum value among the 2 ⁇ 2 outputs of the previous layer after the processing by the convolution layer is continued twice or three times. Subsampling) is performed. (Note that in VGG-16, pooling is not counted as the number of layers.)
  • the classification CNN 81 constructed using VGG-16 processing by 13 convolution layers and 5 times After passing through Max Pooling, the processing by the three combined layers is performed.
  • a white light image or a narrow band stored in a digestive endoscopic image database (hereinafter abbreviated as a digestive endoscopic image DB) 91 outside the endoscope system 1 is used.
  • An endoscopic image such as an optical image can be used.
  • learning the classification CNN 81 for example, learning data that is a combination of an endoscope image and a label generated by classifying the endoscope image according to the NICE classification one by one. A set is used.
  • the VGG-16 network can be directly learned. However, if a sufficient number of the above learning data sets cannot be prepared, for example, a digestive endoscopic image for a VGG-16 network pre-trained using a large-scale image DB such as ImageNet is used. Fine tuning with a data set including
  • the learning of the classification CNN 81 when an image included in the learning data set described above is input, convolution and pooling are repeatedly performed on the input image so that a signal is output in the forward direction (output from the input side). The difference between the output layer signal and the teacher signal is calculated as an error, and the signal propagates in the opposite direction (from the output side to the input side) so that the calculated error becomes smaller. The weight is updated. Then, when learning of the classification CNN 81 is completed, the weight of each layer is fixed.
  • the learned classification CNN 81 when an unknown image is input to the learned classification CNN 81, convolution and pooling are repeatedly performed on the input image, so that the signal propagates in the forward direction and is output.
  • the input image is classified based on each signal value output from the layer (total coupling layer). Specifically, for example, three signal values respectively corresponding to three labels of Type 1, Type 2, and Type 3 of the NICE classification are output from the output layer (all coupling layers) of the classification CNN 81, and the three signal values Among them, a label indicating the maximum value is acquired as a classification result.
  • the image recognition processing unit 62b of the present embodiment uses the classification CNN 81 constructed by the method as described above, and outputs an image (specular reflection region correction) output through the selector 42b and the specular reflection region correction unit 42c.
  • the polyp included in the image in which the specular reflection area is corrected by the unit 42c) is classified according to the NICE classification to obtain a classification result.
  • the image processing unit 62 is provided instead of the image processing unit 42 and the processor 4 is configured, the same operation as the first embodiment is performed. The effect can be demonstrated.
  • the classification CNN 81 is used to configure the image recognition processing unit 62b, but instead of the detection CNN 71, a region extraction convolutional neural network (hereinafter referred to as region extraction CNN).
  • region extraction CNN a region extraction convolutional neural network
  • the image recognition processing unit 62a may be configured using (abbreviated).
  • the region extraction CNN extracts, for example, the region extraction result by extracting each of the normal region and the region where the polyp exists from the image output through the selector 42b (the image in which the specular reflection region is maintained), and acquires the region extraction result.
  • the region extraction results are connected, the specular reflection region is corrected for the image including the connected region, and the image subjected to the processing is input to the classification CNN and classified according to the NICE classification (Type1, Type2, or It is configured to perform Type 3).
  • FIG. 7 is a diagram illustrating an example of a network configuration included in the DeepLab system.
  • an input image is input to CNN (specifically, a modified model of VGG-16), and a score map (the likelihood of a predetermined category) whose vertical and horizontal image sizes are each 1/8 of the input image.
  • CNN specifically, a modified model of VGG-16
  • a score map the likelihood of a predetermined category whose vertical and horizontal image sizes are each 1/8 of the input image.
  • the output score map is subjected to resolution conversion so as to be an image having the same size as the input image by bilinear interpolation.
  • a process related to a conditional random field specifically, Full Connected CRF
  • CRF Full Connected
  • the spatial probability is included in the category probability output from the output layer by replacing all the connected layers with convolution layers.
  • FCN Fully Convolutional Network
  • the modified model of VGG-16 modifies the stride in the 4th and 5th pooling that makes up the processing of VGG from 2 to 1, and convolves all 3 connected layers. By replacing it with a layer, the output from the output layer is made to be 1/8 the size of the input image.
  • the convolution layer immediately after the fourth pooling in which the stride is corrected from 2 to 1 by setting the sampling pixel interval on the input side of the filter to twice the original interval, the filter characteristics and the input side are changed. The sample pixel position of the image is matched.
  • the sampling pixel interval on the input side of the convolution layer immediately after the fifth pooling is set to four times the original interval. Since the output score map of the modified model of VGG-16 is 1/8 the size of the input image, the resolution conversion is performed to the same size as the input image by bilinear interpolation, and then the process related to the Full Connected CRF is performed. .
  • the processing related to the Full Connected CRF is performed on the output score map to achieve high accuracy in units of pixels. Region extraction is performed.
  • the Fully Connected CRF is configured to output a category map according to the input image and the input of the resolution-converted score map.
  • Fully Connected CRF is an unary potential based on the likelihood of the category obtained from the score map, an index indicating that “similar colors are close” calculated between all pixels of the input image, and “category region” The category of each pixel included in the input image is estimated by performing an iterative process using pairwise potential based on the index indicating “smoothness of the image”.
  • the image recognition processing unit 62a is configured using the detection CNN 71, while the image recognition processing unit 62b is configured using the above-described region extraction CNN instead of the classification CNN 81. You may make it do. In such a configuration, it is desirable that an image from which the specular reflection area is excluded by the process of cutting out the portion including the polyp in the image output from the selector 42b into a rectangle is input to the image recognition processing unit 62b.
  • the functions of both the image recognition processing units 62a and 62b may be realized by appropriately modifying the above-described CNN 71 for detection.
  • the RPN 71a and the FRCNN 71b have different feature amount extraction CNNs and a polyp search is being performed, an image in which the specular reflection area is maintained becomes the feature amount extraction CNN of the RPN 71a.
  • an image in which the specular reflection region is corrected by the specular reflection region correction unit 42c may be input to the feature amount extraction CNN of the FRCNN 71b.

Abstract

画像処理装置は、被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得る作業状態推定部と、被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行う鏡面反射領域補正部と、作業状態推定部により得られた推定結果に基づき、被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、被検体において発見された所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、鏡面反射領域補正部により鏡面反射領域が補正された画像を観察画像として出力させるための制御を行う制御部と、を有する。

Description

画像処理装置及び画像処理方法
　本発明は、画像処理装置及び画像処理方法に関する。
　内視鏡観察においては、内視鏡の外部へ照明光を出射する光学部材の出射面と、当該照明光により照明される物体と、の間の距離の近さ等に起因する鏡面反射が発生し得る。
　これに対し、例えば、日本国特開平１０－２１０４５４号公報には、内視鏡により得られた内視鏡画像に対して画像処理を施す画像処理装置であって、鏡面反射に伴って生じるハレーション部等のような、ＩＨｂ量の算出を行う上で不適当なデータを持つ領域を無効領域として除去する技術が開示されている。
　しかし、日本国特開平１０－２１０４５４号公報には、内視鏡観察を行うユーザの作業状態に応じ、内視鏡画像から無効領域を除去するか否かを決定するための構成については特に開示等されていない。そのため、日本国特開平１０－２１０４５４号公報に開示された構成によれば、例えば、体腔内のポリープ及び金属表面の傷のような、鏡面反射を利用して発見（検出）される異常箇所の発見率（検出精度）が低下し、その結果、当該異常箇所の診断を行うユーザに対して過度な負担を強いてしまうおそれがある、という課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、鏡面反射を利用して発見または検出される異常箇所の診断を行うユーザの負担を軽減可能な画像処理装置及び画像処理方法を提供することを目的としている。
　本発明の一態様の画像処理装置は、被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るように構成された作業状態推定部と、前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行うように構成された鏡面反射領域補正部と、前記作業状態推定部により得られた推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記鏡面反射領域補正部により前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行うように構成された制御部と、を有する。
　本発明の一態様の画像処理方法は、被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るステップと、前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行うステップと、前記推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行うステップと、を有する。
実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。 第１の実施形態に係る画像処理部の構成の一例を説明するための図。 第２の実施形態に係る画像処理部の構成の一例を説明するための図。 第２の実施形態に係る画像処理部の探索支援用画像認識処理部において用いられる検出用コンボリューショナルニューラルネットワークの構成例等を説明するための概念図。 図４の検出用コンボリューショナルニューラルネットワークの学習手順の一例を説明するためのフローチャート。 第２の実施形態に係る画像処理部の鑑別支援用画像認識処理部において用いられる分類用コンボリューショナルニューラルネットワークの構成例等を説明するための概念図。 ＤｅｅｐＬａｂシステムに含まれるネットワーク構成の一例を示す図。
　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
　図１及び図２は、本発明の第１の実施形態に係るものである。
　内視鏡システム１は、図１に示すように、生体である被検者の体腔内に挿入可能であるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力する内視鏡２と、当該被写体を照明するための照明光を内視鏡２へ供給する光源装置３と、内視鏡２から出力される撮像信号に応じた観察画像を生成して出力するプロセッサ４と、プロセッサ４から出力される観察画像等を表示することが可能な表示装置５と、を有して構成されている。図１は、実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。
　内視鏡２は、被検者の体腔内に挿入可能な細長形状に形成された挿入部２ａと、挿入部２ａの基端側に設けられた操作部２ｂと、を具備して構成されている。
　挿入部２ａの内部には、光源装置３から供給される照明光を挿入部２ａの先端部へ伝送するように構成されたライトガイド７が挿通されている。また、挿入部２ａの先端部には、ライトガイド７を経て出射される照明光を被写体へ照射する照明レンズ２１と、当該照明光により照明された当該被写体から発生する反射光（以降、戻り光とも称する）を撮像して撮像信号を出力する撮像部２２と、が設けられている。また、挿入部２ａの内部には、被検者の体腔内に存在する病変の移動及び切除等に用いられる細長の処置具８を挿通可能な処置具チャンネル２３が設けられている。すなわち、処置具８は、被検体を内視鏡２で観察する際に用いられる観察補助具としての機能を有している。
　撮像部２２は、対物レンズ２２ａと、結像レンズ２２ｂと、撮像素子２２ｃと、レンズ駆動機構２２ｄと、を有して構成されている。
　対物レンズ２２ａは、照明レンズ２１を経て出射される照明光により照明された被写体から発せられる戻り光に応じた光学像を形成するように構成されている。
　結像レンズ２２ｂは、対物レンズ２２ａにより形成された光学像を結像するように構成されている。また、結像レンズ２２ｂは、レンズ駆動機構２２ｄの動作に応じ、光軸方向に沿って移動することができるように構成されている。
　撮像素子２２ｃは、例えば、ＣＣＤまたはＣＭＯＳ等を具備して構成されている。また、撮像素子２２ｃは、結像レンズ２２ｂにより結像された光学像を光電変換して撮像するための複数の画素と、当該複数の画素を２次元状に配置した撮像面上に設けられたカラーフィルタと、を具備して構成されている。なお、前述のカラーフィルタは、例えば、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）の微小なフィルタを撮像素子２２ｃの各画素に対応する位置にベイヤ配列で（市松状に）配置することにより形成されている。また、撮像素子２２ｃは、プロセッサ４から出力される撮像素子駆動信号に応じて駆動するとともに、結像レンズ２２ｂにより結像された光学像を撮像することにより撮像信号を生成し、当該生成した撮像信号をプロセッサ４へ出力するように構成されている。
　レンズ駆動機構２２ｄは、プロセッサ４から出力されるレンズ駆動信号に基づき、対物レンズ２２ａの光出射面と撮像素子２２ｃの撮像面との間の所定の可動範囲内で結像レンズ２２ｂを移動させるための動作を行うことができるように構成されている。
　処置具チャンネル２３は、挿入部２ａの基端部に設けられた開口である挿入口２３ａと、挿入部２ａの先端部に設けられた開口である突出口２３ｂと、を有して構成されている。また、処置具チャンネル２３は、挿入口２３ａから挿入された細長の処置具８を突出口２３ｂから突出させることが可能な管形状を具備して形成されている。
　操作部２ｂは、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部２ｂには、ユーザの入力操作に応じた指示をプロセッサ４に対して行うことが可能なスイッチを具備して構成されたスコープスイッチ２４が設けられている。
　具体的には、スコープスイッチ２４には、例えば、内視鏡システム１の観察モードを白色光観察モードまたは狭帯域光観察モードのいずれかに設定するための指示をプロセッサ４に対して行うことが可能な観察モード設定スイッチ（不図示）が設けられている。また、スコープスイッチ２４には、例えば、光学的な変倍に係る指示をプロセッサ４に対して行うことが可能な光学ズームスイッチ（不図示）が設けられている。また、スコープスイッチ２４には、例えば、被検者の体腔内に存在する異常箇所であるポリープの診断を支援するための機能（以降、診断支援機能とも称する）をオンまたはオフに設定するための指示をプロセッサ４に対して行うことが可能なポリープ診断支援スイッチ（不図示）が設けられている。
　光源装置３は、発光部３１と、合波器３２と、集光レンズ３３と、光源制御部３４と、を有して構成されている。
　発光部３１は、赤色光源３１ａと、緑色光源３１ｂと、青色光源３１ｃ及び３１ｄと、を有して構成されている。
　赤色光源３１ａは、例えば、赤色ＬＥＤを具備して構成されている。また、赤色光源３１ａは、例えば、６００ｎｍ付近の赤色域に中心波長が設定された狭帯域な赤色光であるＲ光を発するように構成されている。また、赤色光源３１ａは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、赤色光源３１ａは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＲ光を発生するように構成されている。
　緑色光源３１ｂは、例えば、緑色ＬＥＤを具備して構成されている。また、緑色光源３１ｂは、例えば、５４０ｎｍ付近の緑色域に中心波長が設定された狭帯域な緑色光であるＧ光を発するように構成されている。また、緑色光源３１ｂは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、緑色光源３１ｂは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＧ光を発生するように構成されている。
　青色光源３１ｃは、例えば、青色ＬＥＤを具備して構成されている。また、青色光源３１ｃは、例えば、４６０ｎｍ付近の青色域に中心波長が設定された狭帯域な青色光であるＢＬ光を発するように構成されている。また、青色光源３１ｃは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色光源３１ｃは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＢＬ光を発生するように構成されている。
　青色光源３１ｄは、例えば、青色ＬＥＤを具備して構成されている。また、青色光源３１ｄは、例えば、４１０ｎｍ付近の青色域に中心波長が設定された狭帯域な青色光であるＢＳ光を発するように構成されている。また、青色光源３１ｄは、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色光源３１ｄは、点灯状態において、光源制御部３４の制御に応じた強度または光量のＢＳ光を発生するように構成されている。
　合波器３２は、発光部３１から発せられた各光を合波して集光レンズ３３に入射させることができるように構成されている。
　集光レンズ３３は、合波器３２を経て入射した光を集光してライトガイド７へ出射するように構成されている。
　光源制御部３４は、例えば、光源制御回路を具備して構成されている。また、光源制御部３４は、プロセッサ４から出力されるシステム制御信号に応じ、発光部３１の各光源に対する制御を行うように構成されている。
　プロセッサ４は、撮像制御部４１と、画像処理部４２と、制御部４３と、を有して構成されている。
　撮像制御部４１は、例えば、撮像制御回路を具備して構成されている。また、撮像制御部４１は、制御部４３から出力されるシステム制御信号に応じ、撮像素子２２ｃを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。また、撮像制御部４１は、制御部４３から出力されるシステム制御信号に応じ、レンズ駆動機構２２ｄを駆動させるためのレンズ駆動信号を生成して出力するように構成されている。
　画像処理部４２は、例えば、画像処理回路を具備して構成されている。また、画像処理部４２は、例えば、図２に示すように、画像生成部４２ａと、セレクタ４２ｂと、鏡面反射領域補正部４２ｃと、表示制御部４２ｄと、を有して構成されている。図２は、第１の実施形態に係る画像処理部の構成の一例を説明するための図である。
　画像生成部４２ａは、内視鏡２から出力される撮像信号に基づいて画像を生成し、当該生成した画像をセレクタ４２ｂ及び制御部４３へ出力するように構成されている。
　セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、画像生成部４２ａから出力される画像の出力先を鏡面反射領域補正部４２ｃまたは表示制御部４２ｄのいずれかに設定するための動作を行うように構成されている。
　鏡面反射領域補正部４２ｃは、セレクタ４２ｂを経て出力される画像から鏡面反射領域を抽出するとともに、当該抽出した鏡面反射領域を補正するための処理を行うように構成されている。また、鏡面反射領域補正部４２ｃは、前述の処理により鏡面反射領域を補正した画像を表示制御部４２ｄへ出力するように構成されている、
　具体的には、鏡面反射領域補正部４２ｃは、例えば、セレクタ４２ｂを経て出力される画像に基づき、所定の閾値以上の画素値を具備する１つ以上の画素により構成される領域を鏡面反射領域として抽出する処理を行う。また、鏡面反射領域補正部４２ｃは、前述のように抽出した鏡面反射領域の周囲の画素値を用いて当該鏡面反射領域に含まれる各画素の画素値を補間する処理を行う。
　なお、鏡面反射領域補正部４２ｃは、以上に例示したような方法で鏡面反射領域を補正するものに限らず、日本国特開平１０－２１０４５４号公報等に開示された公知の方法を用いて鏡面反射領域を補正してもよい。
　表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、画像生成部４２ａまたは鏡面反射領域補正部４２ｃのいずれかから出力される画像を観察画像として表示装置５へ出力するための動作を行うように構成されている。
　制御部４３は、例えば、ＣＰＵ等の制御回路を具備して構成されている。また、制御部４３は、スコープスイッチ２４からの指示に基づき、光源制御部３４、撮像制御部４１及び画像処理部４２の各部を制御するためのシステム制御信号を生成して出力することができるように構成されている。
　具体的には、制御部４３は、例えば、スコープスイッチ２４の観察モード設定スイッチからの指示に基づき、内視鏡システム１の観察モードに応じた照明光を内視鏡２へ供給させるためのシステム制御信号を生成して光源制御部３４へ出力するように構成されている。また、制御部４３は、例えば、スコープスイッチ２４の光学ズームスイッチからの指示に基づき、撮像部２２の観察倍率に応じた位置に結像レンズ２２ｂを移動及び配置させるためのシステム制御信号を生成して撮像制御部４１へ出力するように構成されている。
　制御部４３は、スコープスイッチ２４からの指示及び／または画像処理部４２から出力される画像に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るように構成された作業状態推定部４３ａを具備している。また、制御部４３は、スコープスイッチ２４のポリープ診断支援スイッチからの指示と、作業状態推定部４３ａにより得られた推定結果と、に基づき、セレクタ４２ｂ及び表示制御部４２ｄの動作を制御するためのシステム制御信号を生成して出力することができるように構成されている。
　続いて、本実施形態に係る内視鏡システム１の具体的な動作等について説明する。
　ユーザは、内視鏡システム１の各部を接続して電源を投入した後、スコープスイッチ２４を操作することにより、内視鏡システム１の観察モードを白色光観察モードに設定するとともにプロセッサ４の診断支援機能をオフに設定するための指示を行う。その後、ユーザは、被検者の体腔内への挿入部２ａの挿入を開始する。
　制御部４３は、スコープスイッチ２４からの指示に基づき、内視鏡システム１の観察モードが白色光観察モードに設定されていることを検出した場合に、白色光を照明光として内視鏡２へ供給させるためのシステム制御信号を生成して光源制御部３４へ出力する。また、制御部４３は、スコープスイッチ２４からの指示に基づき、プロセッサ４の診断支援機能がオフに設定されていることを検出した場合に、画像生成部４２ａにより生成された画像を観察画像として表示装置５へ出力させるためのシステム制御信号を生成してセレクタ４２ｂ及び表示制御部４２ｄへ出力する。
　光源制御部３４は、制御部４３から出力されるシステム制御信号に応じ、内視鏡システム１の観察モードが白色光観察モードに設定されている場合に、赤色光源３１ａ、緑色光源３１ｂ及び青色光源３１ｃを同時に点灯させつつ青色光源３１ｄを消灯させるための制御を発光部３１に対して行う。すなわち、このような光源制御部３４の制御によれば、白色光観察モード時において、Ｒ光、Ｇ光及びＢＬ光を合波した白色光が光源装置３から内視鏡２へ供給され、当該白色光が照明レンズ２１を経て被写体に照射され、当該白色光の反射光に応じた当該被写体の光学像が撮像素子２２ｃにより撮像される。また、白色光観察モード時においては、撮像素子２２ｃにより撮像された光学像に応じた白色光画像が画像生成部４２ａにより生成される。
　セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、プロセッサ４の診断支援機能がオフに設定されている場合に、画像生成部４２ａから出力される白色光画像の出力先を表示制御部４２ｄに設定するための動作を行う。
　表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、プロセッサ４の診断支援機能がオフに設定されている場合に、画像生成部４２ａから出力される白色光画像を観察画像として表示装置５へ出力するための動作を行う。
　一方、ユーザは、被検者の体腔内におけるポリープの存在が疑われる部分に挿入部２ａの先端部を配置した状態において、スコープスイッチ２４を操作することにより、プロセッサ４の診断支援機能をオンに設定するための指示を行う。
　作業状態推定部４３ａは、スコープスイッチ２４からの指示に基づき、プロセッサ４の診断支援機能がオンに設定されかつ内視鏡システム１の観察モードが白色光観察モードに設定されている場合に、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザがポリープの探索に係る作業を行っているとの推定結果を得る。
　制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、内視鏡２が挿入されている被検体における所望の被写体または発見対象であるポリープの探索に係る作業が行われていることを検出した場合に、鏡面反射領域が維持された画像を観察画像として表示装置５へ出力させるためのシステム制御信号を生成してセレクタ４２ｂ及び表示制御部４２ｄへ出力する。
　セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像生成部４２ａから出力される白色光画像の出力先を表示制御部４２ｄに設定するための動作を行う。
　表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像生成部４２ａから出力される白色光画像を観察画像として表示装置５へ出力するための動作を行う。
　一方、ユーザは、鏡面反射領域が維持された状態で表示装置５に表示される白色光画像を確認しつつ挿入部２ａを操作することにより、当該被検者の体腔内に存在するポリープを探索する。そして、ユーザは、ポリープを発見した際に、スコープスイッチ２４を操作することにより、内視鏡システム１の観察モードを狭帯域光観察モードに設定するための指示を行う。
　作業状態推定部４３ａは、スコープスイッチ２４からの指示に基づき、プロセッサ４の診断支援機能がオンに設定されかつ内視鏡システム１の観察モードが狭帯域光観察モードに設定されている場合に、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザがポリープの鑑別に係る作業を行っているとの推定結果を得る。
　制御部４３は、スコープスイッチ２４からの指示に基づき、内視鏡システム１の観察モードが狭帯域光観察モードに設定されていることを検出した場合に、Ｇ光及びＢＳ光を照明光として内視鏡２へ供給させるためのシステム制御信号を生成して光源制御部３４へ出力する。また、制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、内視鏡２が挿入されている被検体において発見された所望の被写体または発見対象であるポリープの鑑別に係る作業が行われていることを検出した場合に、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像を観察画像として表示装置５へ出力させるためのシステム制御信号を生成してセレクタ４２ｂ及び表示制御部４２ｄへ出力する。
　光源制御部３４は、制御部４３から出力されるシステム制御信号に応じ、狭帯域光観察モードにおいて、緑色光源３１ｂ及び青色光源３１ｄを同時に点灯させつつ赤色光源３１ａ及び青色光源３１ｃを消灯させるための制御を発光部３１に対して行う。すなわち、このような光源制御部３４の制御によれば、狭帯域光観察モード時において、Ｇ光及びＢＳ光を合波した混合光が光源装置３から内視鏡２へ供給され、当該混合光が照明レンズ２１を経て被写体に照射され、当該混合光の反射光に応じた当該被写体の光学像が撮像素子２２ｃにより撮像される。また、狭帯域光観察モード時においては、撮像素子２２ｃにより撮像された光学像に応じた狭帯域光画像が画像生成部４２ａにより生成される。
　セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、画像生成部４２ａから出力される画像の出力先を鏡面反射領域補正部４２ｃに設定するための動作を行う。
　表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、鏡面反射領域補正部４２ｃから出力される画像を観察画像として表示装置５へ出力するための動作を行う。
　一方、ユーザは、鏡面反射領域が補正された状態で表示装置５に表示される狭帯域光画像を確認することにより、前述の探索に係る作業を経て発見したポリープの悪性度等を鑑別する。そして、ユーザは、ポリープの鑑別に係る作業を完了した後で、スコープスイッチ２４を操作することにより、例えば、内視鏡システム１の観察モードを白色光観察モードに設定するとともにプロセッサ４の診断支援機能をオフに設定するための指示を行う。
　ここで、出願人の検討によれば、ポリープの探索時に得られた画像から鏡面反射領域を除去した場合に、当該鏡面反射領域を除去しない場合よりもポリープの発見率または検出精度が低下してしまう、との知見が得られている。また、出願人の検討によれば、探索を経て発見または検出されたポリープの鑑別時において、当該ポリープを含む画像から鏡面反射領域を除去することにより、当該ポリープの悪性度の判別精度を安定させることができる、との知見が得られている。そして、このような知見に鑑み、本実施形態においては、プロセッサ４の診断支援機能がオンに設定されている場合に、作業状態推定部４３ａにより得られた推定結果に応じ、鏡面反射領域が維持された観察画像、または、鏡面反射領域が補正された観察画像のいずれかを選択的に表示装置５へ出力させるようにしている。従って、本実施形態によれば、鏡面反射を利用して検出されるポリープの診断を行うユーザの負担を軽減することができる。
　なお、本実施形態の作業状態推定部４３ａは、プロセッサ４の診断支援機能がオンに設定されている場合に、以上に述べたような推定方法によりユーザの作業状態を推定するものに限らず、以下に例示するような推定方法によりユーザの作業状態を推定するようにしてもよい。
　作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像の明るさに基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
　具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に含まれる各画素の平均輝度値を算出し、当該算出した平均輝度値が閾値ＴＨ１以上である場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該算出した平均輝度値が当該閾値ＴＨ１未満である場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
　作業状態推定部４３ａは、例えば、内視鏡２（撮像部２２）の現在の観察倍率に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
　具体的には、作業状態推定部４３ａは、例えば、スコープスイッチ２４からの指示により設定されている内視鏡２（撮像部２２）の現在の観察倍率を取得し、当該取得した現在の観察倍率が閾値ＴＨ２未満である場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該取得した現在の観察倍率が閾値ＴＨ２以上である場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
　作業状態推定部４３ａは、例えば、処置具８の使用状態に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
　具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に対して画像認識処理を施した際の処理結果に基づき、処置具８の先端部を検出することができなかった場合にポリープの探索作業中であるとの推定結果を取得する一方で、処置具８の先端部を検出することができた場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。または、作業状態推定部４３ａは、例えば、スコープスイッチ２４に設けられた所定のスイッチからの指示を検出することができなかった場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該所定のスイッチからの指示を検出することができた場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
　作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像の色調に基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
　具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に含まれる各画素の中から（ポリープ用の染色液の色に相当する）所定の色の画素を抽出するとともに、当該抽出した画素の数が閾値ＴＨ３未満である場合にポリープの探索作業中であるとの推定結果を取得する一方で、当該抽出した画素の数が閾値ＴＨ３以上である場合にポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
　作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に含まれるポリープの位置及びサイズに基づき、被検体を内視鏡２で撮像して得られた画像（内視鏡画像）を観察するユーザの作業状態を推定して推定結果を得るものであってもよい。
　具体的には、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に対して画像認識処理及びトラッキング処理を施した際の処理結果に基づき、ポリープを検出することができなかった場合、当該画像の周縁部にポリープが存在する場合、または、当該画像においてポリープが占める面積の割合が閾値ＴＨ４未満である場合に、ポリープの探索作業中であるとの推定結果を取得するようにしてもよい。また、作業状態推定部４３ａは、例えば、画像処理部４２から出力される画像に対して画像認識処理及びトラッキング処理を施した際の処理結果に基づき、当該画像の中央部にポリープが存在し、かつ、当該画像においてポリープが占める面積の割合が閾値ＴＨ４以上である場合に、ポリープの鑑別作業中であるとの推定結果を取得するようにしてもよい。
　また、本実施形態によれば、作業状態推定部４３ａは、ユーザの作業状態を推定して推定結果を得る際に、以上に例示した方法を単独で用いてもよく、または、以上に例示した方法を複数組み合わせて用いてもよい。すなわち、作業状態推定部４３ａは、被検体を内視鏡２で観察する際の観察モードと、当該被検体を内視鏡２で撮像して得られた内視鏡画像の明るさと、当該被検体を内視鏡２で観察する際の観察倍率と、当該被検体を内視鏡２で観察する際に用いられる処置具８の使用状態と、当該内視鏡画像の色調と、当該内視鏡画像に含まれるポリープの位置及びサイズと、のうちの少なくとも１つに基づいて前記作業状態を推定するものであればよい。
　また、本実施形態によれば、スコープスイッチ２４のポリープ診断支援スイッチからの指示の代わりに、例えば、挿入部２ａが体腔内に挿入されているか否かを検出して得られた検出結果に基づき、プロセッサ４の診断支援機能がオンまたはオフに設定されるようにしてもよい。
　具体的には、例えば、制御部４３（または作業状態推定部４３ａ）は、画像処理部４２から出力される画像の明るさ及び／または色調に基づき、挿入部２ａが体腔内に挿入されていることを検出した場合にプロセッサ４の診断支援機能をオンに設定する一方で、挿入部２ａが体腔内に挿入されていないことを検出した場合にプロセッサ４の診断支援機能をオフに設定するようにしてもよい。
　一方、本実施形態の診断支援機能は、ポリープの診断を行う場合に限らず、例えば、金属表面の傷のような、鏡面反射を利用して検出される様々な異常箇所の診断を行う場合において略同様に利用することができる。
　具体的には、本実施形態の診断支援機能によれば、例えば、被検体における所望の被写体または発見対象である金属表面の傷の探索作業中であるとの推定結果が作業状態推定部４３ａにより得られた場合に、鏡面反射領域が維持された観察画像を表示装置５へ出力させることができるとともに、当該被検体において発見された金属表面の傷の鑑別作業中であるとの推定結果が作業状態推定部４３ａにより得られた場合に、鏡面反射領域が鏡面反射領域補正部４２ｃにより補正された観察画像を表示装置５へ出力させることができる。
（第２の実施形態）
　図３から図７は、本発明の第２の実施形態に係るものである。
　なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。
　本実施形態のプロセッサ４は、画像処理部４２の代わりに、図３に例示するような画像処理部６２を具備して構成されている。図３は、第２の実施形態に係る画像処理部の構成の一例を説明するための図である。
　画像処理部６２は、例えば、画像処理回路を具備して構成されている。また、画像処理部６２は、例えば、図３に示すように、画像生成部４２ａと、セレクタ４２ｂと、鏡面反射領域補正部４２ｃと、表示制御部４２ｄと、セレクタ４２ｂの出力側と表示制御部４２ｄの入力側との間に設けられた探索支援用画像認識処理部６２ａ（以降、画像認識処理部６２ａと略記する）と、鏡面反射領域補正部４２ｃの出力側と表示制御部４２ｄの入力側との間に設けられた鑑別支援用画像認識処理部６２ｂ（以降、画像認識処理部６２ｂと略記する）と、を有して構成されている。
　セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像生成部４２ａから出力される画像の出力先を画像認識処理部６２ａに設定するための動作を行う。
　セレクタ４２ｂは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、画像生成部４２ａから出力される画像の出力先を鏡面反射領域補正部４２ｃに設定するための動作を行う。
　画像認識処理部６２ａは、セレクタ４２ｂを経て出力される画像、すなわち、鏡面反射領域が維持された画像におけるポリープの有無を検出するための処理を行うように構成されている。また、画像認識処理部６２ａは、セレクタ４２ｂを経て出力される画像からポリープを検出した際に、当該ポリープの位置及びサイズを示す検出枠を生成するための処理を行うとともに、当該生成した検出枠と当該画像とを併せて表示制御部４２ｄへ出力するように構成されている。なお、本実施形態の画像認識処理部６２ａは、検出用コンボリューショナルニューラルネットワーク（以降、検出用ＣＮＮと略記する）を用いてポリープの有無の検出及び検出枠の生成を行うように構成されている。このような検出用ＣＮＮの構成例等については、後程詳述する。
　画像認識処理部６２ｂは、セレクタ４２ｂ及び鏡面反射領域補正部４２ｃを経て出力される画像、すなわち、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像に含まれるポリープを所定の分類基準に従って分類して分類結果を得るための処理を行うとともに、当該得られた分類結果と当該画像とを併せて表示制御部４２ｄへ出力するように構成されている。なお、本実施形態の画像認識処理部６２ｂは、分類用コンボリューショナルニューラルネットワーク（以降、分類用ＣＮＮと略記する）を用いてポリープの分類を行うように構成されている。このような分類用ＣＮＮの構成例等については、後程詳述する。また、以降においては、画像認識処理部６２ｂが、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像に含まれるポリープをＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２またはＴｙｐｅ３のいずれかに分類するための処理を行う場合を例に挙げて説明する。また、本実施形態においては、鏡面反射領域が補正された画像が画像認識処理部６２ｂに入力されるものに限らず、例えば、セレクタ４２ｂから出力される画像におけるポリープを含む部分を矩形に切り出す処理により鏡面反射領域が除外された画像が画像認識処理部６２ｂに入力されるようにしてもよい。
　表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの探索に係る作業が行われている場合に、画像認識処理部６２ａから出力される鏡面反射領域が維持された画像と、画像認識処理部６２ａから出力される処理結果であるポリープの検出枠と、を用いて生成した観察画像を表示装置５へ出力するための動作を行う。
　表示制御部４２ｄは、制御部４３から出力されるシステム制御信号に応じ、ポリープの鑑別に係る作業が行われている場合に、画像認識処理部６２ｂから出力される鏡面反射領域が補正された画像と、画像認識処理部６２ｂから出力される処理結果であるポリープの分類結果と、を用いて生成した観察画像を表示装置５へ出力するための動作を行う。
　制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、ポリープの探索に係る作業が行われていることを検出した場合に、鏡面反射領域が維持された画像に対して画像認識処理部６２ａによる処理を施して得られた処理結果に応じた観察画像を出力させるための制御をセレクタ４２ｂ及び表示制御部４２ｄに対して行う。
　制御部４３は、作業状態推定部４３ａにより得られた推定結果に基づき、ポリープの鑑別に係る作業が行われていることを検出した場合に、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像に対して画像認識処理部６２ｂによる処理を施して得られた処理結果に応じた観察画像を出力させるための制御をセレクタ４２ｂ及び表示制御部４２ｄに対して行う。
　すなわち、以上に述べたような本実施形態の各部の動作によれば、例えば、ポリープの探索に係る作業が行われている場合に、鏡面反射領域が維持された画像と、当該画像に含まれるポリープの周囲に形成された検出枠と、を具備する観察画像が表示装置５に表示される。また、以上に述べたような本実施形態の各部の動作によれば、例えば、ポリープの鑑別に係る作業が行われている場合に、鏡面反射領域が補正された画像と、当該画像に含まれるポリープがＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２及びＴｙｐｅ３のうちのいずれに属するかをユーザに報知するための文字列等の視覚情報と、を具備する観察画像が表示装置５に表示される。
　ここで、画像認識処理部６２ａにおいて用いられる検出用ＣＮＮの構成例等について、図４を参照しつつ説明する。なお、本実施形態においては、Ｆａｓｔｅｒ　Ｒ－ＣＮＮを検出用ＣＮＮとして用いた場合を例に挙げて説明する。図４は、第２の実施形態に係る画像処理部の探索支援用画像認識処理部において用いられる検出用ＣＮＮの構成例等を説明するための概念図である。
　検出用ＣＮＮ７１は、図４に示すように、鏡面反射領域が維持された入力画像の中からポリープを含む矩形の候補枠を検出するＲｅｇｉｏｎ　Ｐｒｏｐｏｓａｌ　Ｎｅｔｗｏｒｋ（以降、ＲＰＮと略記する）７１ａと、当該検出した候補枠に含まれるポリープを精査することにより検出枠を生成するＦａｓｔ　Ｒ－ＣＮＮ（以降、ＦＲＣＮＮと略記する）７１ｂと、を有して構成されている。
　ＲＰＮ７１ａは、図４に示すように、特徴量抽出用ＣＮＮ７２ａと、候補枠検出用ＣＮＮ７２ｂと、を有して構成されている。また、ＦＲＣＮＮ７１ｂは、図４に示すように、特徴量抽出用ＣＮＮ７２ａと、ＲＯＩ　Ｐｏｏｌｉｎｇ層７２ｃと、候補枠分類用全結合層７２ｄと、を有して構成されている。すなわち、特徴量抽出用ＣＮＮ７２ａは、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂの両方において共有されている。
　特徴量抽出用ＣＮＮ７２ａは、入力画像に対して複数回の畳み込み演算及びプーリング演算を施すことにより、当該入力画像の特徴マップを演算結果として得るように構成されている。また、特徴量抽出用ＣＮＮ７２ａは、例えば、ＡｌｅｘＮｅｔまたはＶＧＧ－１６のようなネットワーク構造を用いて構成されている。
　なお、以降においては、特に言及の無い限り、特徴量抽出用ＣＮＮ７２ａがＶＧＧ－１６を用いて構成されているものとして説明を行う。すなわち、以降においては、例えば、横幅Ｗ、縦幅Ｈ及びチャンネル数３（Ｒｅｄ、Ｇｒｅｅｎ及びＢｌｕｅ）を具備する入力画像が特徴量抽出用ＣＮＮ７２ａに入力された場合に、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数５１２を具備する特徴マップが特徴量抽出用ＣＮＮ７２ａの演算結果として得られるものとして説明を行う。
　候補枠検出用ＣＮＮ７２ｂは、例えば、ＲＰＮ枠変動量マップを取得して出力するＲＰＮ枠変動量マップ出力用畳み込み層７３１と、ＲＰＮスコアマップを取得して出力するＲＰＮスコアマップ出力用畳み込み層７３２と、を有する３層のＣＮＮとして構成されている。また、候補枠検出用ＣＮＮ７２ｂは、ＲＰＮ枠変動量マップ及びＲＰＮスコアマップを用いて後述の演算を行うことにより、候補枠の座標値及びポリープらしさを表すＲＰＮスコアを算出するように構成されている。
　ＲＰＮ枠変動量マップ出力用畳み込み層７３１は、特徴量抽出用ＣＮＮ７２ａの演算結果として得られた特徴マップを用いて演算を行うことにより、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数４×Ａを具備するＲＰＮ枠変動量マップを取得して出力するように構成されている。すなわち、ＲＰＮ枠変動量マップは、空間方向の位置が入力画像の位置に対応するとともに、チャンネル方向に各アンカーの枠変動量（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）を具備するものとして取得される。なお、前述のＡの値は、アンカー数を表すものとする。また、アンカーは、縦横比及びスケールを含む候補枠の形状を表すものとする。
　ＲＰＮスコアマップ出力用畳み込み層７３２は、ＲＰＮ枠変動量マップ出力用畳み込み層７３１から出力されるＲＰＮ枠変動量マップを用いて演算を行うことにより、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数２×Ａを具備するＲＰＮスコアマップを取得して出力するように構成されている。すなわち、ＲＰＮスコアマップは、空間方向の位置が入力画像の位置に対応するとともに、チャンネル方向に各アンカーのスコア（ポリープスコア及び背景スコア）を具備するものとして取得される。
　ここで、アンカーａが表す矩形の候補枠の（０，０）を中心としたときの座標値（矩形の左上のｘ座標及びｙ座標、及び、当該矩形の右下のｘ座標及びｙ座標）は、下記数式（１）を用いて算出される。なお、下記数式（１）において、ｂはアンカーベースサイズを表し、ｒは縦横比を表し、ｓはスケールを表すものとする。また、下記数式（１）において、Ｒは縦横比数を表し、Ｓはスケール数を表し、Ｒ×Ｓ＝Ａの関係が成り立つものとする。

Figure JPOXMLDOC01-appb-I000001

　そして、候補枠検出用ＣＮＮ７２ｂは、下記数式（２）を用いた演算を行うことにより、候補枠の座標値ｐを算出する。

Figure JPOXMLDOC01-appb-I000002

　なお、上記数式（２）に含まれる各パラメータは、下記数式（３）から（１１）を用いてそれぞれ算出される。但し、下記数式（３）から（６）におけるｂｍａｐは、ＲＰＮ枠変動量マップを示すものとする。

Figure JPOXMLDOC01-appb-I000003
Figure JPOXMLDOC01-appb-I000004
Figure JPOXMLDOC01-appb-I000005
Figure JPOXMLDOC01-appb-I000006
Figure JPOXMLDOC01-appb-I000007
Figure JPOXMLDOC01-appb-I000008
Figure JPOXMLDOC01-appb-I000009
Figure JPOXMLDOC01-appb-I000010
Figure JPOXMLDOC01-appb-I000011

　また、候補枠検出用ＣＮＮ７２ｂは、下記数式（１２）を用いた演算を行うことにより、ポリープらしさを表すＲＰＮスコアｓｃを算出する。但し、下記数式（１２）におけるｓｍａｐは、ＲＰＮスコアマップを示すものとする。

Figure JPOXMLDOC01-appb-I000012

　ＲＯＩ　Ｐｏｏｌｉｎｇ層７２ｃは、特徴量抽出用ＣＮＮ７２ａの演算結果として得られた特徴マップと、候補枠検出用ＣＮＮ７２ｂの演算結果として得られた候補枠の座標値と、を用い、特徴マップを候補枠毎に切り出すとともに、当該切り出した各特徴マップに対してＭａｘ　Ｐｏｏｌｉｎｇによるリサイズを施すように構成されている。そして、ＲＯＩ　Ｐｏｏｌｉｎｇ層７２ｃは、候補枠毎の特徴マップとして、例えば、横幅７、縦幅７及びチャンネル数５１２を具備する特徴マップを取得して出力するように構成されている。
　候補枠分類用全結合層７２ｄは、例えば、ＦＲＣＮＮ枠変動量マップを取得して出力するＦＲＣＮＮ枠変動量マップ出力用全結合層７３３と、ＦＲＣＮＮスコアマップを取得して出力するＦＲＣＮＮスコアマップ出力用全結合層７３４と、を有する４層のＣＮＮとして構成されている。また、候補枠分類用全結合層７２ｄは、ＦＲＣＮＮ枠変動量マップ及びＦＲＣＮＮスコアマップを用い、上記数式（１）から（１２）に示したものと同様の演算を行うことにより、検出枠の座標値及びポリープらしさを表すＦＲＣＮＮスコアを算出するように構成されている。
　ＦＲＣＮＮ枠変動量マップ出力用全結合層７３３は、特徴量抽出用ＣＮＮ７２ａの演算結果として得られた特徴マップを用いて演算を行うことにより、例えば、横幅１、縦幅１、切り出されたマップ数Ｍ、及び、チャンネル数４（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）×Ａを具備するＦＲＣＮＮ枠変動量マップを取得して出力するように構成されている。
　ＦＲＣＮＮスコアマップ出力用全結合層７３４は、ＦＲＣＮＮ枠変動量マップ出力用全結合層７３３から出力されるＦＲＣＮＮ枠変動量マップを用いて演算を行うことにより、例えば、横幅１、縦幅１、切り出されたマップ数Ｍ、及び、チャンネル数２（ポリープスコア及び背景スコア）×Ａを具備するＦＲＣＮＮスコアマップを取得して出力するように構成されている。
　次に、検出用ＣＮＮ７１の学習手順の一例について、図５を参照しつつ説明する。なお、本実施形態においては、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂを１回ずつ学習させた後で、さらに、特徴量抽出用ＣＮＮ７２ａを固定してＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂを１回ずつ学習させることにより、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂの両方において特徴量抽出用ＣＮＮ７２ａを共有させる場合を例に挙げて説明する。また、本実施形態においては、例えば、内視鏡を用いて体腔内を撮像して得られた内視鏡画像が学習画像として用いられるものとする。また、本実施形態においては、例えば、前述の学習画像におけるポリープ領域を白色で着色し、かつ、前述の学習画像における背景領域（ポリープ領域以外の領域）を黒色で着色した画像が正解マスク画像として用いられるものとする。図５は、図４の検出用コンボリューショナルニューラルネットワークの学習手順の一例を説明するためのフローチャートである。
　図５のステップＳ１において、学習画像と、正解マスク画像と、プレトレーニングデータと、がＲＰＮ７１ａに入力される。
　なお、図５のステップＳ１の処理において入力されるプレトレーニングデータは、例えば、ＩｍａｇｅＮｅｔのような大規模画像データベースに含まれる画像群を用いてＲＰＮ７１ａの学習を行うことにより予め得られたデータである。
　その後、図５のステップＳ２において、図５のステップＳ１の処理により入力された正解マスク画像を用いてＲＰＮ７１ａの学習用の正解枠変動量マップ及び正解ラベルマップが作成される。
　なお、図５のステップＳ２の処理により作成される正解枠変動量マップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数４（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）×Ａを具備するものとして作成される。また、図５のステップＳ２の処理により作成される正解ラベルマップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６及びチャンネル数１（ラベル）×Ａを具備するものとして作成される。また、図５のステップＳ２の処理においては、例えば、マップの各点に対応する候補枠の座標値と正解マスク画像との重複度が５０％以上の場合にはポリープを示すラベル＝０が正解ラベルマップに格納される一方で、当該重複度が０％以上５０％未満の場合には背景を示すラベル＝１が正解ラベルマップに格納される。また、図５のステップＳ２の処理においては、ラベル＝０が正解ラベルマップに格納される際に、候補枠から正解マスク画像のポリープ領域に外接する矩形への変動量が正解枠変動量マップに格納される。
　その後、図５のステップＳ３において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ２の処理により作成された正解枠変動量マップ及び正解ラベルマップと、を用い、１回目のＲＰＮ７１ａの学習が行われる。
　なお、図５のステップＳ３の処理においては、図５のステップＳ１で入力されたプレトレーニングデータが特徴量抽出用ＣＮＮ７２ａの初期値として用いられる。また、図５のステップＳ３の処理は、特徴量抽出用ＣＮＮ７２ａ及び候補枠検出用ＣＮＮ７２ｂの両方を最適化するために行われる。また、図５のステップＳ３の処理においては、正解ラベルマップ及びＲＰＮスコアマップのＳｏｆｔｍａｘ交差エントロピーと、正解枠変動量マップ及びＲＰＮ枠変動量マップのＳｍｏｏｔｈ Ｌ１ Ｌｏｓｓと、に対して重み付けを行って加えたものをｌｏｓｓ関数として用いるものとする。また、図５のステップＳ３の処理においては、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ　Ｇｒａｄｉｅｎｔ　Ｄｅｓｃｅｎｔ：ＳＧＤ）を用いて特徴量抽出用ＣＮＮ７２ａ及び候補枠検出用ＣＮＮ７２ｂを最適化するものとする。
　その後、図５のステップＳ４において、図５のステップＳ３の処理を経て構築された１回目の学習済のＲＰＮ７１ａを、図５のステップＳ１の処理により入力された学習画像に対して適用することにより、候補枠の座標値と、ポリープらしさを表すＲＰＮスコアと、がそれぞれ算出される。
　その後、図５のステップＳ５において、図５のステップＳ４の処理により算出された候補枠の座標値と、図５のステップＳ１の処理により入力された正解マスク画像と、を用い、１回目のＦＲＣＮＮ７１ｂの学習用の正解枠変動量マップ及び正解ラベルマップが作成される。
　なお、図５のステップＳ５の処理により作成される正解枠変動量マップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６、出力候補枠数Ｍ、及び、チャンネル数４（ｘｙ方向それぞれの枠中心移動量及び枠幅拡大量）×Ａを具備するものとして作成される。また、図５のステップＳ５の処理により作成される正解ラベルマップは、例えば、横幅Ｗ／１６、縦幅Ｈ／１６、出力候補枠数Ｍ、及び、チャンネル数１（ラベル）×Ａを具備するものとして作成される。また、図５のステップＳ５の処理においては、例えば、図５のステップＳ４の処理により算出された候補枠の座標値と正解マスク画像との重複度が５０％以上の場合にはポリープを示すラベル＝０が正解ラベルマップに格納される一方で、当該重複度が０％以上５０％未満の場合には背景を示すラベル＝１が正解ラベルマップに格納される。また、図５のステップＳ５の処理においては、ラベル＝０が正解ラベルマップに格納される際に、候補枠から正解マスク画像のポリープ領域に外接する矩形への変動量が正解枠変動量マップに格納される。
　その後、図５のステップＳ６において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ５の処理により作成された正解枠変動量マップ及び正解ラベルマップと、に基づき、１回目のＦＲＣＮＮ７１ｂの学習が行われる。
　なお、図５のステップＳ６の処理においては、図５のステップＳ１で入力されたプレトレーニングデータが特徴量抽出用ＣＮＮ７２ａの初期値として用いられる。また、図５のステップＳ６の処理は、特徴量抽出用ＣＮＮ７２ａ及び候補枠分類用全結合層７２ｄの両方を最適化するために行われる。また、図５のステップＳ６の処理においては、図５のステップＳ３の処理で用いたものと同様のｌｏｓｓ関数及び最適化手法が用いられる。
　その後、図５のステップＳ７において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ２の処理により作成された正解枠変動量マップ及び正解ラベルマップと、を用い、２回目のＲＰＮ７１ａの学習が行われる。
　なお、図５のステップＳ７の処理においては、特徴量抽出用ＣＮＮ７２ａが、図５のステップＳ６の処理を経て取得された１回目のＦＲＣＮＮ７１ｂの学習結果で固定されているものとする。また、図５のステップＳ７の処理は、候補枠検出用ＣＮＮ７２ｂだけを最適化するために行われる。
　その後、図５のステップＳ８において、図５のステップＳ７の処理を経て構築された２回目の学習済のＲＰＮ７１ａを、図５のステップＳ１の処理により入力された学習画像に対して適用することにより、候補枠の座標値と、ポリープらしさを表すＲＰＮスコアと、がそれぞれ算出される。
　その後、図５のステップＳ９において、図５のステップＳ８の処理により算出された候補枠の座標値と、図５のステップＳ１の処理により入力された正解マスク画像と、を用い、２回目のＦＲＣＮＮ７１ｂの学習用の正解枠変動量マップ及び正解ラベルマップが作成される。
　その後、図５のステップＳ１０において、図５のステップＳ１の処理により入力された学習画像と、図５のステップＳ９の処理により作成された正解枠変動量マップ及び正解ラベルマップと、を用い、２回目のＦＲＣＮＮ７１ｂの学習が行われる。
　なお、図５のステップＳ１０の処理においては、特徴量抽出用ＣＮＮ７２ａが、図５のステップＳ６の処理を経て取得された１回目のＦＲＣＮＮ７１ｂの学習結果で固定されているものとする。また、図５のステップＳ７の処理は、候補枠分類用全結合層７２ｄだけを最適化するために行われる。
　すなわち、本実施形態の画像認識処理部６２ａは、図５に例示した一連の学習手順を経て構築された検出用ＣＮＮ７１を用い、セレクタ４２ｂを経て出力される画像（鏡面反射領域が維持された画像）におけるポリープの有無を検出するとともに、当該検出したポリープの位置及びサイズを示す検出枠を生成するように構成されている。
　次に、画像認識処理部６２ｂにおいて用いられる分類用ＣＮＮの構成例等について、図６を参照しつつ説明する。図６は、第２の実施形態に係る画像処理部の鑑別支援用画像認識処理部において用いられる分類用コンボリューショナルニューラルネットワークの構成例等を説明するための概念図である。
　分類用ＣＮＮ８１は、図６に示すように、鏡面反射領域が補正された入力画像に対し、コンボリューション層８１ａ及びプーリング層（サブサンプリング層）８１ｂによる処理を３回繰り返して施した後で、２層の全結合層８１ｃによる処理をさらに施すことにより、当該入力画像に含まれるポリープをＮＩＣＥ分類に従って分類して分類結果を得るように構成されている。
　なお、分類用ＣＮＮ８１の各コンボリューション層８１ａは、コンボリューション処理の後に非線形関数（ＲｅＬＵ）を適用して得られる処理結果をプーリング層８１ｂへ出力するように構成されているものとする。また、分類用ＣＮＮ８１においては、入力画像に対し、コンボリューション層８１ａ及びプーリング層８１ｂによる処理が１回以上繰り返して行われればよい。また、分類用ＣＮＮ８１においては、全結合層８１ｃが１層以上存在していればよい。
　一方、本実施形態においては、Ａｌｅｘ－ｎｅｔ、ＺＦＮｅｔ、ＶＧＧ－１６、ＧｏｏｇＬｅＮｅｔ、または、Ｎｅｔｗｏｒｋ　ｉｎ　Ｎｅｔｗｏｒｋ等を用いて分類用ＣＮＮ８１を構築することができる。そのため、ＶＧＧ－１６を用いて分類用ＣＮＮ８１を構築した場合の例について以下に説明する。
　ＶＧＧ－１６を用いて構築された分類用ＣＮＮ８１においては、３×３のサイズのコンボリューションフィルターが用いられるとともに、当該コンボリューションフィルターと入力画像とのコンボリューション処理結果が非線形関数ＲｅＬＵに適用される。また、ＶＧＧ－１６を用いて構築された分類用ＣＮＮ８１においては、コンボリューション層による処理が２回または３回続いた後で、ＭａｘＰｏｏｌｉｎｇ（前層の２×２の出力の中の最大値を選択するサブサンプリング）が行われる。（なお、ＶＧＧ－１６においては、プーリングが層の数としてはカウントされない。）そして、ＶＧＧ－１６を用いて構築された分類用ＣＮＮ８１においては、１３層のコンボリューション層による処理と、５回のＭａｘ　Ｐｏｏｌｉｎｇと、を経た後で、３層の全結合層による処理が行われる。
　次に、分類用ＣＮＮ８１の学習手順の一例について説明する。
　分類用ＣＮＮ８１の学習においては、例えば、内視鏡システム１の外部の消化器内視鏡画像データベース（以降、消化器内視鏡画像ＤＢと略記する）９１に格納された白色光画像または狭帯域光画像のような内視鏡画像を利用することができる。そして、分類用ＣＮＮ８１の学習を行う際には、例えば、内視鏡画像と、当該内視鏡画像をＮＩＣＥ分類に従って分類することにより生成したラベルと、を１組ずつ組み合わせたデータである学習データセットが用いられる。
　分類用ＣＮＮ８１の学習においては、例えば、前述の学習データセットを数万組準備することができる場合には、ＶＧＧ－１６ネットワークを直接学習させることができる。但し、前述の学習データセットを十分な数だけ準備できない場合には、例えば、ＩｍａｇｅＮｅｔのような大規模画像ＤＢを用いてプレトレーニングが行われたＶＧＧ－１６ネットワークに対し、消化器内視鏡画像を含むデータセットによるファインチューニングを施すようにしてもよい。
　分類用ＣＮＮ８１の学習においては、前述の学習データセットに含まれる画像が入力された際に、当該入力された画像に対するコンボリューション及びプーリングが繰返し行われることにより信号が順方向に（入力側から出力側へ）伝播し、出力層の信号と教師信号との差が誤差として算出され、当該算出された誤差が小さくなるように信号が逆方向に（出力側から入力側へ）伝播するに従って各層の重みが更新される。そして、分類用ＣＮＮ８１の学習が完了した際に、各層の重みが固定される。
　そして、例えば、学習済の分類用ＣＮＮ８１に対して未知の画像が入力された場合には、当該入力された画像に対するコンボリューション及びプーリングが繰返し行われることにより信号が順方向に伝播するとともに、出力層（全結合層）から出力される各信号値に基づいて当該入力された画像が分類される。具体的には、例えば、ＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２及びＴｙｐｅ３の３つのラベルにそれぞれ対応する３つの信号値が分類用ＣＮＮ８１の出力層（全結合層）から出力されるとともに、当該３つの信号値の中で最大値を示すラベルが分類結果として取得される。
　すなわち、本実施形態の画像認識処理部６２ｂは、以上に述べたような方法で構築された分類用ＣＮＮ８１を用い、セレクタ４２ｂ及び鏡面反射領域補正部４２ｃを経て出力される画像（鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像）に含まれるポリープをＮＩＣＥ分類に従って分類して分類結果を得るように構成されている。
　以上に述べたように、本実施形態によれば、画像処理部４２の代わりに画像処理部６２を設けてプロセッサ４が構成されている場合であっても、第１の実施形態と同様の作用効果を発揮することができる。
　なお、本実施形態によれば、例えば、分類用ＣＮＮ８１を用いて画像認識処理部６２ｂを構成する一方で、検出用ＣＮＮ７１の代わりに領域抽出用コンボリューショナルニューラルネットワーク（以降、領域抽出用ＣＮＮと略記する）を用いて画像認識処理部６２ａを構成するようにしてもよい。
　領域抽出用ＣＮＮは、例えば、セレクタ４２ｂを経て出力される画像（鏡面反射領域が維持された画像）から正常な領域及びポリープが存在する領域をそれぞれ抽出して領域抽出結果を取得し、当該取得した領域抽出結果を連結処理し、連結領域を含む画像に対して鏡面反射領域を補正する処理を施し、当該処理を施した画像を分類用ＣＮＮに入力してＮＩＣＥ分類に従う分類（Ｔｙｐｅ１、Ｔｙｐｅ２またはＴｙｐｅ３）を行うように構成されている。
　ここで、図７のようなネットワーク構成を含むＤｅｅｐＬａｂシステムを用いた領域抽出用ＣＮＮの構成例等について以下に説明する。図７は、ＤｅｅｐＬａｂシステムに含まれるネットワーク構成の一例を示す図である。
　ＤｅｅｐＬａｂシステムにおいては、入力画像がＣＮＮ（具体的にはＶＧＧ－１６の修正モデル）に入力され、縦横の画像サイズがそれぞれ当該入力画像の１／８であるスコアマップ（所定のカテゴリの尤度を表す）がカテゴリごとに出力され、当該出力されたスコアマップがバイリニア補間により当該入力画像と同サイズの画像となるように解像度変換される。そして、入力画像及び解像度変換されたスコアマップに対して条件付き確率場（具体的にはＦｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ　ＣＲＦ）に係る処理が施されることにより、各画素がどのカテゴリに属するかを表す画像が出力される。
　画像のカテゴリ分類用のＣＮＮをカテゴリの領域抽出用のＣＮＮに転用したものとして、例えば、全結合層を全てコンボリューション層に置き換えることにより、出力層から出力されるカテゴリ確率に空間情報が含まれるようにしたＦｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ（ＦＣＮ）が提案されている。そして、ＤｅｅｐＬａｂシステムにおいては、ＶＧＧ－１６の修正モデルとしてＦＣＮが導入されている。
　ＶＧＧ－１６の修正モデルは、図８に示すように、ＶＧＧの処理を構成する４つ目と５つ目のプーリングにおけるストライドを２から１に修正し、３層ある全結合層を全てコンボリューション層に置き換えることにより、出力層からの出力が入力画像の１／８のサイズになるようにしている。また、ストライドを２から１に修正した４つ目のプーリングの直後のコンボリューション層では、フィルタの入力側のサンプリングの画素間隔を元の２倍の間隔とすることにより、フィルタ特性と入力側の画像のサンプル画素位置とを整合するようにしている。同様に、５つ目のプーリングの直後のコンボリューション層の入力側のサンプリング画素間隔を元の４倍の間隔としている。ＶＧＧ－１６の修正モデルの出力スコアマップは、入力画像の１／８のサイズとなっているため、バイリニア補間により入力画像と同じサイズに解像度変換された後で、Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ　ＣＲＦに係る処理を行う。
　ＤｅｅｐＬａｂシステムにおいては、ＶＧＧ－１６の修正モデルの出力スコアマップに含まれる空間情報が低解像度であるため、当該出力スコアマップに対してＦｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ　ＣＲＦに係る処理を施すことにより、画素単位の高精度な領域抽出が行われるようにしている。また、Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ　ＣＲＦは、入力画像及び解像度変換されたスコアマップの入力に応じてカテゴリマップを出力するように構成されている。また、Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ　ＣＲＦは、スコアマップから得られるカテゴリの尤度に基づくｕｎａｒｙ　ｐｏｔｅｎｔｉａｌと、入力画像の全ての画素間で計算される「似た色が近くにあるか」を示す指標及び「カテゴリ領域のスムーズさ」を示す指標に基づくｐａｉｒｗｉｓｅ　ｐｏｔｅｎｔｉａｌと、を用いた反復的な処理を行うことにより、当該入力画像に含まれる各画素のカテゴリを推定する。
　また、本実施形態によれば、例えば、検出用ＣＮＮ７１を用いて画像認識処理部６２ａを構成する一方で、分類用ＣＮＮ８１の代わりに前述の領域抽出用ＣＮＮを用いて画像認識処理部６２ｂを構成するようにしてもよい。なお、このような構成においては、セレクタ４２ｂから出力される画像におけるポリープを含む部分を矩形に切り出す処理により鏡面反射領域が除外された画像が画像認識処理部６２ｂに入力されることが望ましい。
　また、本実施形態によれば、例えば、前述の検出用ＣＮＮ７１を適宜変形することにより、画像認識処理部６２ａ及び６２ｂの両方の機能を実現するようにしてもよい。具体的には、例えば、ＲＰＮ７１ａ及びＦＲＣＮＮ７１ｂが別々の特徴量抽出用ＣＮＮを具備し、ポリープの探索が行われている際に、鏡面反射領域が維持された画像がＲＰＮ７１ａの特徴量抽出用ＣＮＮに入力され、ポリープの鑑別が行われている際に、鏡面反射領域補正部４２ｃにより鏡面反射領域が補正された画像がＦＲＣＮＮ７１ｂの特徴量抽出用ＣＮＮに入力されるようにすればよい。
　なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (7)

  1. 　被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るように構成された作業状態推定部と、
    　前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行うように構成された鏡面反射領域補正部と、
    　前記作業状態推定部により得られた推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記鏡面反射領域補正部により前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行うように構成された制御部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記作業状態推定部は、前記被検体を内視鏡で撮像して得られた画像である内視鏡画像を観察しながら作業を行うユーザの作業状態を推定する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記作業状態推定部は、前記被検体を前記内視鏡で観察する際の観察モードと、前記内視鏡画像の明るさと、前記被検体を前記内視鏡で観察する際の観察倍率と、前記被検体を前記内視鏡で観察する際に用いられる観察補助具の使用状態と、前記内視鏡画像の色調と、前記内視鏡画像に含まれる前記所望の被写体の位置及びサイズと、のうちの少なくとも１つに基づいて前記作業状態を推定する
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記所望の被写体の有無を検出するための処理を行うように構成された第１の画像認識処理部と、
    　前記所望の被写体を所定の分類基準に従って分類するための処理を行うように構成された第２の画像認識処理部と、
    　をさらに有し、
    　前記制御部は、前記作業状態推定部により得られた推定結果に基づき、前記第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像に対して前記第１の画像認識処理部による処理を施して得られた処理結果に応じた観察画像を出力させるための制御を行うとともに、前記第２の作業が行われていることを検出した場合に、前記鏡面反射領域補正部により前記鏡面反射領域が補正された画像に対して前記第２の画像認識処理部による処理を施して得られた処理結果に応じた観察画像を出力させるための制御を行う
    　ことを特徴とする請求項１に記載の画像処理装置。
  5. 　前記第１の画像認識処理部がコンボリューショナルニューラルネットワークを用いて構成されている
    　ことを特徴とする請求項４に記載の画像処理装置。
  6. 　前記第２の画像認識処理部がコンボリューショナルニューラルネットワークを用いて構成されている
    　ことを特徴とする請求項４に記載の画像処理装置。
  7. 　被検体を撮像して得られた画像を観察しながら作業を行うユーザの作業状態を推定して推定結果を得るステップと、
    　前記被検体を撮像して得られる画像に含まれる鏡面反射領域を補正するための処理を行うステップと、
    　前記推定結果に基づき、前記被検体における所望の被写体の探索に係る第１の作業が行われていることを検出した場合に、前記鏡面反射領域が維持された画像を観察画像として出力させるための制御を行うとともに、前記被検体において発見された前記所望の被写体の鑑別に係る第２の作業が行われていることを検出した場合に、前記鏡面反射領域が補正された画像を観察画像として出力させるための制御を行うステップと、
    　を有することを特徴とする画像処理方法。
PCT/JP2016/086408 2016-12-07 2016-12-07 画像処理装置及び画像処理方法 WO2018105062A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/086408 WO2018105062A1 (ja) 2016-12-07 2016-12-07 画像処理装置及び画像処理方法
JP2018555385A JP6751773B2 (ja) 2016-12-07 2016-12-07 画像処理装置及び画像処理装置の作動方法
US16/412,936 US10491813B2 (en) 2016-12-07 2019-05-15 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086408 WO2018105062A1 (ja) 2016-12-07 2016-12-07 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/412,936 Continuation US10491813B2 (en) 2016-12-07 2019-05-15 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2018105062A1 true WO2018105062A1 (ja) 2018-06-14

Family

ID=62492311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086408 WO2018105062A1 (ja) 2016-12-07 2016-12-07 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US10491813B2 (ja)
JP (1) JP6751773B2 (ja)
WO (1) WO2018105062A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657665A (zh) * 2018-10-31 2019-04-19 广东工业大学 一种基于深度学习的发票批量自动识别系统
JP2020069300A (ja) * 2018-11-02 2020-05-07 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び医療診断支援方法
JP2021520980A (ja) * 2018-10-31 2021-08-26 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 結腸ポリープ画像の処理方法並びに、その装置、コンピュータプログラム及びシステム
CN113473899A (zh) * 2019-02-26 2021-10-01 奥林巴斯株式会社 内窥镜装置以及程序
JP2021527219A (ja) * 2018-06-15 2021-10-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
WO2022097294A1 (ja) * 2020-11-09 2022-05-12 オリンパス株式会社 情報処理システム、内視鏡システム及び情報処理方法
JP2022546153A (ja) * 2020-07-31 2022-11-04 シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド 動作認識方法、装置、コンピュータ機器及び記憶媒体
WO2023286199A1 (ja) * 2021-07-14 2023-01-19 アイリス株式会社 処理装置、処理プログラム、処理方法及び処理システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211709A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 ブレ補正装置、内視鏡装置及びブレ補正方法
US20190095764A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Method and system for determining objects depicted in images
CN108830144B (zh) * 2018-05-03 2022-02-22 华南农业大学 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法
JP6937438B2 (ja) 2018-07-31 2021-09-22 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos
US11782258B2 (en) * 2020-01-21 2023-10-10 Aetherai Co., Ltd. Endoscopic inspection system and method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2012050601A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 電子内視鏡システム
WO2016181720A1 (ja) * 2015-05-13 2016-11-17 ソニー株式会社 内視鏡装置及び内視鏡装置の制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689212B2 (ja) * 1997-01-17 2005-08-31 オリンパス株式会社 画像処理装置
US7599576B2 (en) * 2004-01-23 2009-10-06 Electro Scientific Industries, Inc. Image subtraction of illumination artifacts
WO2008022005A2 (en) * 2006-08-09 2008-02-21 Fotonation Vision Limited Detection and correction of flash artifacts from airborne particulates
JP5648483B2 (ja) * 2009-01-27 2015-01-07 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
JP5533670B2 (ja) * 2009-01-29 2014-06-25 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
JP2014174132A (ja) * 2013-03-13 2014-09-22 Ricoh Co Ltd 光学センサ及び画像形成装置
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
EP3089101A1 (en) * 2013-12-03 2016-11-02 Dacuda AG User feedback for real-time checking and improving quality of scanned image
EP4009032A1 (en) * 2014-04-21 2022-06-08 Aber Instruments, Inc. Particle sensor with interferent discrimination
JP2016076851A (ja) * 2014-10-07 2016-05-12 株式会社リコー 撮像装置、画像処理方法、及びプログラム
JP6523085B2 (ja) * 2015-07-21 2019-05-29 株式会社沖データ 画像形成装置および情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2012050601A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 電子内視鏡システム
WO2016181720A1 (ja) * 2015-05-13 2016-11-17 ソニー株式会社 内視鏡装置及び内視鏡装置の制御方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021527219A (ja) * 2018-06-15 2021-10-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
US11763461B2 (en) 2018-06-15 2023-09-19 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion
JP7089071B2 (ja) 2018-06-15 2022-06-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
JP7090836B2 (ja) 2018-10-31 2022-06-27 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 結腸ポリープ画像の処理方法並びに、その装置、コンピュータプログラム及びシステム
JP2021520980A (ja) * 2018-10-31 2021-08-26 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 結腸ポリープ画像の処理方法並びに、その装置、コンピュータプログラム及びシステム
CN109657665A (zh) * 2018-10-31 2019-04-19 广东工业大学 一种基于深度学习的发票批量自动识别系统
US11468563B2 (en) 2018-10-31 2022-10-11 Tencent Technology (Shenzhen) Company Limited Colon polyp image processing method and apparatus, and system
CN109657665B (zh) * 2018-10-31 2023-01-20 广东工业大学 一种基于深度学习的发票批量自动识别系统
US11748883B2 (en) 2018-10-31 2023-09-05 Tencent Technology (Shenzhen) Company Limited Colon polyp image processing method and apparatus, and system
JP7038641B2 (ja) 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
US11464394B2 (en) 2018-11-02 2022-10-11 Fujifilm Corporation Medical diagnosis support device, endoscope system, and medical diagnosis support method
JP2020069300A (ja) * 2018-11-02 2020-05-07 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び医療診断支援方法
CN113473899A (zh) * 2019-02-26 2021-10-01 奥林巴斯株式会社 内窥镜装置以及程序
JP2022546153A (ja) * 2020-07-31 2022-11-04 シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド 動作認識方法、装置、コンピュータ機器及び記憶媒体
WO2022097294A1 (ja) * 2020-11-09 2022-05-12 オリンパス株式会社 情報処理システム、内視鏡システム及び情報処理方法
WO2023286199A1 (ja) * 2021-07-14 2023-01-19 アイリス株式会社 処理装置、処理プログラム、処理方法及び処理システム

Also Published As

Publication number Publication date
US10491813B2 (en) 2019-11-26
JP6751773B2 (ja) 2020-09-09
JPWO2018105062A1 (ja) 2019-10-24
US20190268538A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
WO2018105062A1 (ja) 画像処理装置及び画像処理方法
KR102028780B1 (ko) 영상 내시경 시스템
US20190374088A1 (en) Endoscope system and operation method therefor
JPWO2018105063A1 (ja) 画像処理装置
CN112423645B (zh) 内窥镜系统
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP7143504B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
US11200460B2 (en) Image learning device, image learning method, neural network, and image classification device
US20210150277A1 (en) Image processing method and image processing apparatus
WO2019016912A1 (ja) 診断支援装置、診断支援方法及びプログラム
CN117481579A (zh) 内窥镜系统及其工作方法
JP6952214B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2020194568A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US20230005247A1 (en) Processing system, image processing method, learning method, and processing device
WO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
US20240049944A1 (en) Recording Medium, Method for Generating Learning Model, and Surgery Support Device
EP4101364A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2022191058A1 (ja) 内視鏡画像処理装置、方法及びプログラム
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923329

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018555385

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923329

Country of ref document: EP

Kind code of ref document: A1