WO2019146066A1 - 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム - Google Patents

内視鏡画像処理装置、内視鏡画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019146066A1
WO2019146066A1 PCT/JP2018/002462 JP2018002462W WO2019146066A1 WO 2019146066 A1 WO2019146066 A1 WO 2019146066A1 JP 2018002462 W JP2018002462 W JP 2018002462W WO 2019146066 A1 WO2019146066 A1 WO 2019146066A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion candidate
candidate area
emphasizing
image
unit
Prior art date
Application number
PCT/JP2018/002462
Other languages
English (en)
French (fr)
Inventor
北村　誠
大和 神田
勝義 谷口
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/002462 priority Critical patent/WO2019146066A1/ja
Publication of WO2019146066A1 publication Critical patent/WO2019146066A1/ja
Priority to US16/936,601 priority patent/US20210000327A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an endoscope image processing apparatus, an endoscope image processing method, and a program.
  • a vision candidate region is detected from an endoscopic image obtained by imaging a desired region in a subject, and visual indication for notifying the presence of the detected lesion candidate region
  • Techniques are known in the art that add information to the endoscopic image for display.
  • a lesion candidate area is detected from an observation image obtained by imaging the inside of a subject with an endoscope, and a marker surrounding the detected lesion candidate area is detected.
  • a technique is disclosed that displays a display image in which the position of the lesion candidate area in the observation image is emphasized by adding the image to the observation image.
  • WO 2017/073338 discloses a configuration for simultaneously displaying a moving image corresponding to an observation image obtained by imaging the inside of a subject with an endoscope on a main screen and a sub screen. There is.
  • the main screen when a marker image for emphasizing the position of the lesion candidate area is always included in the observation image of the main screen, the main screen There is a possibility that the operation performed while looking at the observation image of may be disturbed by the marker image. Further, according to the configuration disclosed in WO 2017/073338, for example, the display mode of the marker image for emphasizing the position of the lesion candidate area is always the same in the main screen and the sub screen. The marker image included in the observation image of the sub screen may not substantially contribute to the operation performed while looking at the observation image of the main screen.
  • the present invention has been made in view of the above-described circumstances, and is an endoscopic image processing apparatus capable of reducing the burden on the user who works while viewing endoscopic images simultaneously displayed on a plurality of screens. It is an object of the present invention to provide an endoscopic image processing method and program.
  • An endoscope image processing apparatus includes one main screen and one or more sub screens for simultaneously displaying an endoscope image obtained by imaging an object in a subject with the endoscope.
  • An endoscopic image processing apparatus configured to generate a display image including a screen, wherein the endoscopic image is sequentially input and one or more lesion candidates included in the endoscopic image
  • a lesion candidate area detection unit configured to perform a process for detecting an area
  • an emphasis processing unit configured to perform a process to emphasize the position of the lesion candidate area
  • State the position of the lesion candidate area included in the main screen and the sub screen is emphasized based on any of the state of the user who performs work using the endoscope, or the display state of the display image
  • a display control unit configured to perform processing for setting the enhancement method when adjusted.
  • An endoscope image processing method includes one main screen and one or more sub screens for simultaneously displaying an endoscope image obtained by imaging an object in a subject with the endoscope.
  • An endoscope image processing method used in an endoscope image processing apparatus configured to generate a display image including a screen, wherein a lesion candidate area detection unit is one or one of the endoscope images included in the endoscope image.
  • a step of detecting a plurality of lesion candidate areas a step of performing a process for emphasizing a position of the lesion candidate area by a highlighting processing unit, a state of the lesion candidate area, a display control unit
  • the position of the lesion candidate area included in the main screen and the sub-screen is emphasized by the processing of the emphasis processing unit based on either the work state of the user who uses the work or the display state of the display image Strength It has a step of setting a method, a.
  • a program includes, on a computer, one main screen and one or more sub-screens for simultaneously displaying an endoscopic image obtained by imaging an object in a subject with an endoscope. Generating a displayed image, detecting one or more lesion candidate areas included in the endoscopic image, emphasizing a position of the lesion candidate area, and a state of the lesion candidate area, When emphasizing the position of the lesion candidate area included in the main screen and the sub screen, based on either the work state of the user who performs work using the endoscope or the display state of the display image And setting the emphasizing method.
  • FIG. 6 is a view showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the first embodiment.
  • FIG. 6 is a view showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the first embodiment.
  • FIG. 6 is a view showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the first embodiment.
  • FIG. 6 is a view showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the first embodiment.
  • the flowchart for demonstrating the specific example of the process performed in the endoscopic image processing apparatus which concerns on 3rd Embodiment The figure which shows an example of the display image displayed according to the process of the endoscopic image processing apparatus which concerns on 3rd Embodiment. The figure which shows an example of the display image displayed according to the process of the endoscopic image processing apparatus which concerns on 3rd Embodiment. A figure showing composition of an important section of an endoscope system containing an endoscope image processing device concerning a 4th embodiment.
  • the flowchart for demonstrating the specific example of the process performed in the endoscopic image processing apparatus which concerns on 4th Embodiment The figure which shows an example of the display image displayed according to the process of the endoscopic image processing apparatus which concerns on 4th Embodiment.
  • First Embodiment 1 to 6 relate to a first embodiment of the present invention.
  • the endoscope system 1 includes an endoscope 11, a main device 12, an endoscope image processing device 13, and a display device 14.
  • FIG. 1 is a view showing the configuration of the main part of an endoscope system including the endoscope image processing apparatus according to the first embodiment.
  • the endoscope 11 includes, for example, an elongated insertion portion (not shown) which can be inserted into a subject, and an operation portion (not shown) provided at a proximal end of the insertion portion. It is done.
  • the endoscope 11 is configured to be detachably connected to the main device 12 via, for example, a universal cable (not shown) extending from the operation unit.
  • a light guiding member such as an optical fiber for guiding the illumination light supplied from the main device 12 and emitting it from the distal end of the insertion portion is provided. It is done.
  • the endoscope 11 is configured to include an imaging unit 111 provided at the distal end of the insertion unit, and an operation switch unit 112 provided in the operation unit.
  • the imaging unit 111 is configured to include, for example, a CCD image sensor or a CMOS image sensor.
  • the imaging unit 111 images return light from the subject illuminated by the illumination light emitted through the distal end of the insertion unit, generates an imaging signal according to the imaged return light, and transmits the imaging signal to the main device 12. It is configured to output.
  • the operation switch unit 112 is configured to include one or more switches capable of giving an instruction according to the user's operation to the main device 12. Specifically, the operation switch unit 112 is provided with, for example, a switch or the like for instructing to set the observation magnification of the endoscope 11 (the imaging unit 111). That is, the operation switch unit 112 is provided with one or more switches that can issue an instruction to set the operation state of one or more functions of the endoscope 11.
  • the main device 12 is configured to be detachably connected to each of the endoscope 11 and the endoscope image processing device 13. Further, as shown in FIG. 1, for example, the main device 12 is configured to include a light source unit 121, an image generation unit 122, a control unit 123, and a storage medium 124.
  • the light source unit 121 includes, for example, one or more light emitting elements such as LEDs.
  • the light source unit 121 includes, for example, a blue LED generating blue light (hereinafter also referred to as B light), a green LED generating green light (hereinafter also referred to as G light), and red light (hereinafter referred to as , And R light) to generate the red light).
  • B light blue LED generating blue light
  • G light green LED generating green light
  • R light red light
  • the light source unit 121 is configured to be capable of generating illumination light according to the control of the control unit 123 and supplying the illumination light to the endoscope 11.
  • the image generation unit 122 generates an endoscope image based on an imaging signal output from the endoscope 11 and sequentially outputs the generated endoscope image to the endoscope image processing apparatus 13 frame by frame. It is configured to be able to
  • the control unit 123 is configured to perform control related to the operation of each unit of the endoscope 11 and the main body apparatus 12 based on an instruction or the like made in the operation switch unit 112.
  • the image generation unit 122 and the control unit 123 of the main device 12 may be configured as individual electronic circuits, or configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). It may be done. Further, in the present embodiment, for example, the main device 12 may be configured to include one or more CPUs. Also, by appropriately modifying the configuration according to the present embodiment, for example, the main device 12 reads a program for executing the functions of the image generation unit 122 and the control unit 123 from the storage medium 124 such as a memory An operation corresponding to the read program may be performed.
  • the storage medium 124 such as a memory
  • the endoscope image processing device 13 is configured to be detachably connected to each of the main device 12 and the display device 14.
  • the endoscopic image processing device 13 is configured to include a lesion candidate area detection unit 131, a lesion candidate area evaluation unit 132, a display control unit 133, and a storage medium 134.
  • the lesion candidate area detection unit 131 performs processing for detecting the lesion candidate area L included in the endoscopic image sequentially output from the main device 12, and a lesion that is information indicating the detected lesion candidate area L.
  • a process for acquiring candidate information IL is configured to be performed. That is, the lesion candidate area detection unit 131 sequentially receives an endoscope image obtained by imaging the subject in the subject with the endoscope, and one or more endoscope images included in the endoscope image.
  • a process for detecting a lesion candidate area L is configured to be performed.
  • the lesion candidate region L is detected as, for example, a region including a polyp.
  • the lesion candidate information IL includes, for example, position information indicating the position (pixel position) of the lesion candidate area L included in the endoscopic image output from the main device 12, and the endoscope It is assumed that the information is acquired including size information indicating the size (number of pixels) of the lesion candidate area L included in the image.
  • the lesion candidate area detection unit 131 is, for example, a lesion candidate based on a predetermined feature amount obtained from an endoscopic image obtained by imaging an object in a subject with an endoscope.
  • the lesion candidate region may be configured to detect the region L, or may be a lesion candidate region using a classifier that previously acquired a function capable of identifying an abnormal finding included in the endoscopic image by a learning method such as deep learning. It may be configured to detect L.
  • the lesion candidate area evaluation unit 132 is configured to perform processing for evaluating the state of the lesion candidate area L detected by the lesion candidate area detection unit 131. A specific example of the process performed in the lesion candidate area evaluation unit 132 will be described later.
  • the display control unit 133 sets one main screen (described later) and one or more subs based on the endoscope image sequentially output from the main device 12 and the display setting information (described later) read from the storage medium 134.
  • the system is configured to perform processing for generating a display image that includes the endoscope image on each of the screens (described later) and to perform processing for causing the display device 14 to display the generated display image.
  • the display control unit 133 is configured to include an emphasizing processing unit 133A that performs an emphasizing process for emphasizing the position of the lesion candidate area L detected from the endoscopic image by the process of the lesion candidate area detecting unit 131. ing.
  • the display control unit 133 is configured to perform a process related to setting of a marker image M (described later) added by the emphasizing process of the emphasizing process unit 133A.
  • the emphasis processing unit 133A emphasizes the position of the lesion candidate region L detected from the endoscopic image by the process of the lesion candidate region detection unit 131 based on the lesion candidate information IL acquired by the lesion candidate region detection unit 131.
  • the marker image M is generated, and the process of adding the generated marker image M to the endoscopic image is performed as an enhancement process.
  • the emphasizing processing unit 133A generates the marker image M for emphasizing the position of the lesion candidate area L, the emphasizing process is performed using only the position information included in the lesion candidate information IL.
  • emphasis processing may be performed using both position information and size information included in the lesion candidate information IL.
  • the storage medium 134 stores display setting information including one or more setting values of the display image generated by the display control unit 133.
  • the display setting information stored in the storage medium 134 includes, for example, information indicating setting values of the brightness of the entire display image including the main screen and the sub screen generated by the display control unit 133, and the information Information indicating the setting value of the screen size of the main screen and information indicating the setting value of the screen size of the sub screen are included.
  • the set value stored in storage medium 134 may be a fixed value set in advance, or may be a variable value changeable by the user.
  • each unit of the endoscope image processing apparatus 13 may be configured as an individual electronic circuit, or is configured as a circuit block in an integrated circuit such as a field programmable gate array (FPGA). It is also good. Further, in the present embodiment, for example, the endoscopic image processing apparatus 13 may be configured to include one or more CPUs. Also, by appropriately modifying the configuration according to the present embodiment, for example, the endoscopic image processing device 13 performs the functions of the lesion candidate area detection unit 131, the lesion candidate area evaluation unit 132, and the display control unit 133. The program may be read from the storage medium 134 such as a memory, and an operation corresponding to the read program may be performed. In addition, by appropriately modifying the configuration according to the present embodiment, for example, the functions of the respective units of the endoscope image processing apparatus 13 may be incorporated as the functions of the main apparatus 12.
  • FPGA field programmable gate array
  • the display device 14 includes a monitor and the like, and is configured to be able to display a display image output through the endoscope image processing device 13.
  • the user After the user such as the operator connects each part of the endoscope system 1 and turns on the power, the user inserts the insertion portion of the endoscope 11 into the inside of the subject, and the desired inside of the subject The distal end portion of the insertion portion is disposed at a position where it is possible to pick up an image of the subject. Then, in response to such a user operation, illumination light is supplied from the light source unit 121 to the endoscope 11, and return light from a subject illuminated by the illumination light is imaged by the imaging unit 111, and from the imaging unit 111 An endoscopic image corresponding to the output imaging signal is generated by the image generation unit 122 and output to the endoscopic image processing device 13.
  • the display control unit 133 sets the setting value SL of the screen size of the main screen included in the display setting information based on the endoscope image output from the main body apparatus 12 and the display setting information read from the storage medium 134.
  • the main screen MG is generated by processing the endoscope image so as to fit, and the endoscope is matched to the set value SS ( ⁇ SL) of the screen size of the sub screen included in the display setting information.
  • the sub screen SG is generated by processing the mirror image. Thereafter, the display control unit 133 generates a display image including the main screen MG and the sub screen SG for simultaneously displaying an endoscope image obtained by imaging the subject in the subject with the endoscope 11. And the processing for causing the display device 14 to display the generated display image.
  • FIG. 2 is a view showing an example of a display image including a main screen and a sub screen.
  • FIG. 3 is a flowchart for explaining a specific example of processing performed in the endoscopic image processing apparatus according to the first embodiment.
  • the lesion candidate area detection unit 131 performs processing for detecting the lesion candidate area L included in the endoscopic image output from the main device 12, and a lesion candidate which is information indicating the detected lesion candidate area L.
  • a process for acquiring the information IL is performed (step S11 in FIG. 3).
  • the lesion candidate area detection unit 131 detects the lesion candidate area L11 included in the endoscopic image output from the main device 12 by performing the process of step S11 of FIG. 3, for example.
  • Lesion candidate information IL11 which is information indicating the detected lesion candidate region L11 is acquired.
  • the lesion candidate area evaluation unit 132 sets at least one of the endoscopic image in which the lesion candidate area L is detected by the process of step S11 of FIG. 3 and the lesion candidate information IL corresponding to the lesion candidate area L. Based on this, processing is performed to evaluate the difficulty of finding the lesion candidate area L (step S12 in FIG. 3).
  • step S12 of FIG. 3 a specific example of the process performed in step S12 of FIG. 3 will be described.
  • the lesion candidate area evaluation unit 132 detects, for example, an endoscope image in which the lesion candidate area L11 is detected by the process of step S11 of FIG. 3 and position information included in the lesion candidate information IL1 corresponding to the lesion candidate area L11. , And detects the texture and shape of the lesion candidate area L11, respectively. Then, based on the detection result of the texture and shape of the lesion candidate area L11, the lesion candidate area evaluation unit 132 determines that the lesion candidate area L11 includes a flat polyp, for example. Obtain evaluation results that L11 has a high degree of detection difficulty.
  • the lesion candidate area evaluation unit 132 detects, for example, an endoscope image in which the lesion candidate area L11 is detected by the process of step S11 of FIG. 3 and position information included in the lesion candidate information IL1 corresponding to the lesion candidate area L11. , And detects the strength of the edge of the boundary portion of the lesion candidate region L11. Then, for example, when detecting that the intensity of the edge of the boundary portion of the lesion candidate region L11 is weak, the lesion candidate region evaluation unit 132 determines that the light lesion candidate region L11 includes a light polyp, The evaluation result that the finding difficulty level of the lesion candidate area L11 is high is acquired.
  • the lesion candidate area evaluation unit 132 determines that neither a flat polyp nor a light polyp is included in the lesion candidate area L11, the lesion candidate area evaluation unit 132 acquires an evaluation result indicating that the difficulty of finding the lesion candidate area L11 is low.
  • the lesion candidate area evaluation unit 132 is, for example, based on the size information included in the lesion candidate information IL1 acquired by the process of step S11 of FIG. 3, within the lesion candidate area L11 detected by the process of step S11 of FIG. Acquire the size in the endoscopic image. Then, for example, when detecting that the size of the lesion candidate area L11 is equal to or less than a predetermined size, the lesion candidate area evaluation unit 132 acquires an evaluation result that the difficulty level of finding the lesion candidate area L11 is high. In addition, when it is detected that the size of the lesion candidate area L11 is larger than a predetermined size, for example, the lesion candidate area evaluation unit 132 acquires an evaluation result that the difficulty level of finding the lesion candidate area L11 is low.
  • the lesion candidate area evaluation unit 132 detects, for example, among the lesion candidate areas L11 detected by the process of step S11 of FIG. 3 based on the position information included in the lesion candidate information IL1 acquired by the process of step S11 of FIG. Get the position in the endoscopic image. Then, when the lesion candidate area evaluation unit 132 detects that at least a part of the lesion candidate area L11 exists outside the endoscopic image, for example, the lesion candidate area evaluation unit 132 evaluates that the difficulty of finding the lesion candidate area L11 is high. Get the result. In addition, for example, when it is detected that the entire lesion candidate area L11 is present in the endoscopic image, the lesion candidate area evaluation unit 132 acquires an evaluation result that the difficulty level of finding the lesion candidate area L11 is low. Do.
  • the difficulty of finding the lesion candidate area L may be evaluated by appropriately combining a plurality of methods from the specific examples described above. Specifically, for example, when the lesion candidate area L11 detected from the endoscopic image includes either a flat polyp or a light polyp, the lesion candidate area evaluation unit 132 Evaluation result that the difficulty level of finding the lesion candidate area L11 is high, either in the case where the size is equal to or less than the predetermined size, or in the case where at least a part of the lesion candidate area L11 exists outside the endoscopic image. May be acquired.
  • the lesion candidate area evaluation unit 132 for example, neither a flat polyp nor a light polyp is included in the lesion candidate area L11 detected from the endoscopic image, and the size of the lesion candidate area L11 is predetermined. In the case where the entire lesion candidate area L11 is larger than the size and the entire lesion candidate area L11 is present in the endoscopic image, an evaluation result may be acquired that the finding difficulty level of the lesion candidate area L11 is low. .
  • the lesion candidate area evaluation unit 132 determines the type of lesion included in the lesion candidate area L11 detected from the endoscopic image, the endoscopic image of the lesion candidate area L11 A process for evaluating the difficulty of finding the lesion candidate area L11 is performed based on at least one of the size of the lesion candidate area and the position of the lesion candidate area L11 in the endoscopic image.
  • the display control unit 133 highlights the position of the lesion candidate area L11 in the sub screen SG with the marker image MM1 highlighting the position of the lesion candidate area L11 detected in the process of step S11 in FIG. 3 in the main screen MG.
  • a process is performed to set each marker image MS1 to be displayed.
  • the display control unit 133 sets the emphasis level EM1 of the marker image MM1 to be added to the main screen MG according to the evaluation result of the difficulty of finding the lesion candidate area L acquired by the process of step S12 of FIG.
  • a process is performed to set the emphasis level ES1 of the marker image MS1 to be added to the SG (steps S13 to S15 in FIG. 3).
  • the display control unit 133 detects that the evaluation result that the difficulty level of finding the lesion candidate area L is high is obtained (S13: YES), for example, the highlighting level EM1 of the marker image MM1 is set to a predetermined highlighting level. Along with setting, setting is performed to make the emphasis level ES1 of the marker image MS1 larger than the predetermined emphasis level (step S14 in FIG. 3).
  • the display control unit 133 detects that the evaluation result that the difficulty level of finding the lesion candidate area L is low is obtained (S13: NO), for example, the highlighting level EM1 of the marker image MM1 is set to a predetermined highlighting level. Along with setting, setting is made to make the emphasis level ES1 of the marker image MS1 equal to the predetermined emphasis level (step S15 in FIG. 3).
  • display control unit 133 determines main screen MG and sub screen SG based on the evaluation result of the difficulty level of lesion candidate area L11 obtained by the process of lesion candidate area evaluation unit 132 in steps S13 to S15 of FIG. 3.
  • a process is performed to set an emphasizing method when emphasizing the position of the lesion candidate area L11 included in the image by the process of the emphasizing unit 134A.
  • the emphasis processing unit 134A generates marker images MM1 and MS1 set through the process of step S14 or step S15 of FIG. 3 based on the lesion candidate information IL acquired by the process of step S11 of FIG.
  • the added marker image MM1 is added to the main screen MG, and the generated marker image MS1 is added to the sub screen SG (step S16 in FIG. 3).
  • the emphasis processing unit 134A generates the marker image MM1 including the emphasis level EM1 set by the process of step S14 of FIG. 3 based on, for example, the lesion candidate information IL1, and the generated marker image MM1. Is added to the periphery of the lesion candidate area L11 on the main screen MG. Further, the emphasis processing unit 134A generates a marker image MS1 including the emphasis level ES1 set to be higher than the emphasis level EM1 by the process of step S14 of FIG. 3 based on the lesion candidate information IL1, for example. A process of adding the generated marker image MS1 around the lesion candidate area L11 on the sub screen MS1 is performed.
  • FIG.4 and FIG.5 is a figure which shows an example of the display image displayed according to the process of the endoscopic image processing apparatus which concerns on 1st Embodiment.
  • the lesion candidate area L11 included in the endoscopic image of the main screen MG is surrounded by the marker image MM1 which is a rectangular frame, and the inside of the sub screen SG
  • the periphery of the lesion candidate area L11 included in the mirror image is surrounded by a marker image MS1 which is a rectangular frame.
  • the frame line of the marker image MS1 is displayed with a line width thicker than the frame line of the marker image MM1.
  • the line width of the frame line of the marker image MS1 corresponding to the emphasis level ES1 is set to the emphasis level EM1 in step S14 of FIG. 3.
  • a process for setting the line width larger than the line width of the frame line of the corresponding marker image MM1 may be performed by the display control unit 133.
  • the lesion candidate area L11 included in the endoscopic image of the main screen MG is surrounded by the marker image MM1 which is a rectangular frame, and the inside of the sub screen SG
  • the periphery of the lesion candidate area L11 included in the mirror image is surrounded by a marker image MS1 which is a rectangular frame.
  • the frame line of the marker image MS1 is displayed brighter than the frame line of the marker image MM1.
  • the display control unit 133 may perform processing for setting the brightness level higher than the brightness level of the frame line of the marker image MM1 corresponding to the mark image MM1.
  • FIG. 6 is a view showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the first embodiment.
  • the lesion candidate area L11 included in the endoscopic image of the main screen MG is surrounded by the marker image MM1 which is a rectangular frame, and the inside of the sub screen SG
  • the periphery of the lesion candidate area L11 included in the mirror image is surrounded by a marker image MS1 which is a rectangular frame.
  • the marker images MM1 and MS1 are displayed in the same enhanced state.
  • the main screen The emphasized state of the marker image M added to the MG is maintained. Further, as described above, according to the series of processing in FIG. 3, according to the difficulty of finding the lesion candidate area L included in the endoscopic image simultaneously displayed on the main screen MG and the sub screen SG, the sub The highlighting state of the marker image M added to the screen SG changes.
  • the position of the lesion candidate area L having a high degree of difficulty in finding can be easily confirmed on the sub screen SG, so the operation can be performed while viewing the endoscopic images simultaneously displayed on a plurality of screens.
  • the burden on the user to perform can be reduced.
  • processing is performed to change the highlighting state of the marker image MS1 added to the lesion candidate region L11 of the sub screen SG according to the difficulty of finding the lesion candidate region L11.
  • the processing different from the above-described processing may be performed. Specifically, for example, when an evaluation result that the difficulty level of finding the lesion candidate area L11 is high is obtained, the marker image MS1 added to the lesion candidate area L11 is blinked in step S14 of FIG. 3. A process relating to the setting of may be performed.
  • Second Embodiment 7 to 10 relate to a second embodiment of the present invention.
  • the endoscopic image processing apparatus 13 of the present embodiment is configured to perform processing different from the processing described in the first embodiment.
  • FIG. 7 is a flowchart for explaining a specific example of processing performed in the endoscopic image processing apparatus according to the second embodiment.
  • the lesion candidate area detection unit 131 performs processing for detecting the lesion candidate area L included in the endoscopic image output from the main device 12, and a lesion candidate which is information indicating the detected lesion candidate area L. A process for acquiring the information IL is performed (step S21 in FIG. 7).
  • the lesion candidate area evaluation unit 132 performs a process for determining whether the number of lesion candidate areas L detected by the process of step S21 of FIG. 7 is plural (step S22 of FIG. 7).
  • the lesion candidate area evaluation unit 132 evaluates the plurality of lesion candidate areas L when the determination result that the plurality of lesion candidate areas L are detected is obtained by the process of step S21 of FIG. 7 (S22: YES). To perform the process (step S23 in FIG. 7).
  • the lesion candidate area L21 and the lesion candidate area L22 are detected by the process of step S21 of FIG. 7, and lesion candidate information corresponding to the lesion candidate area L21.
  • the case where IL21 is acquired and the lesion candidate information IL22 corresponding to the lesion candidate area L22 is acquired will be described as an example.
  • the lesion candidate area evaluation unit 132 selects the lesion candidate information IL21 corresponding to the lesion candidate area L21 detected by the process of step S21 of FIG. 7 and the lesion candidate area L22 detected by the process of step S21 of FIG. Based on the corresponding lesion candidate information IL22, a relative distance DA corresponding to the distance between the centers of the lesion candidate regions L21 and L22 is calculated.
  • the lesion candidate area evaluation unit 132 evaluates the positional relationship between the lesion candidate areas L21 and L22 by comparing the above-described relative distance DA with a predetermined threshold value THA. Then, when the lesion candidate area evaluation unit 132 obtains, for example, the comparison result that DA ⁇ THA, the lesion candidate area evaluation unit 132 obtains an evaluation result that the lesion candidate areas L21 and L22 are in close proximity to each other. In addition, when the lesion candidate area evaluation unit 132 obtains, for example, the comparison result of DA> THA, the lesion candidate area evaluation unit 132 obtains an evaluation result that the lesion candidate areas L21 and L22 are far apart from each other.
  • the lesion candidate area evaluation unit 132 uses the relative distances of the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) detected by the process of the lesion candidate area detection unit 131. Based on the above, processing for evaluating the positional relationship of the plurality of lesion candidate regions L is performed.
  • the lesion candidate area evaluation unit 132 performs at least one of the endoscopic image in which the lesion candidate area L21 is detected by the process of step S21 of FIG. 7 and the lesion candidate information IL21 corresponding to the lesion candidate area L21. Based on the above, processing similar to step S12 in FIG. 3 is performed to evaluate the difficulty level of finding the lesion candidate area L21. Further, the lesion candidate area evaluation unit 132 performs at least the endoscopic image in which the lesion candidate area L22 is detected by the process of step S21 of FIG. 7 and the lesion candidate information IL22 corresponding to the lesion candidate area L22. Based on one side, by performing the same processing as step S12 of FIG. 3, the difficulty level of finding the lesion candidate area L22 is evaluated. Then, the lesion candidate area evaluation unit 132 acquires an evaluation result according to the difficulty of finding the lesion candidate area L21 and an evaluation result according to the difficulty of finding the lesion candidate area L22.
  • the lesion candidate area evaluation unit 132 finds each of the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) detected by the process of the lesion candidate area detection unit 131. It is designed to perform processing to evaluate the degree of difficulty.
  • step S21 of FIG. 7 S22: YES
  • step S23 of FIG. processing is performed to set the marker image M to be added by the emphasis processing of the emphasis processing unit 134A (step S24 in FIG. 7).
  • step S24 of FIG. 7 a specific example of the process performed in step S24 of FIG. 7 will be described.
  • the display control unit 133 puts the positions of the lesion candidate areas L21 and L22 together on the main screen MG.
  • a marker image MM2 for highlighting is set, and marker images MS21 and MS22 for individually highlighting the positions of the lesion candidate regions L21 and L22 in the sub screen SG are set.
  • the display control unit 133 displays the positions of the lesion candidate areas L21 and L22 on the main screen MG.
  • the marker images MM21 and MM22 for emphasizing individually are set in step (d), and the marker images MS21 and MS22 for individually highlighting the positions of the lesion candidate areas L21 and L22 in the sub screen SG are set.
  • the display control unit 133 evaluates the positional relationship of the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) obtained by the process of the lesion candidate area evaluation unit 132. Based on the above, the emphasizing method for emphasizing the positions of the plurality of lesion candidate regions L included in the main screen MG and the sub screen SG by the processing of the emphasizing processing unit 134A is set. Further, according to the specific example described above, the display control unit 133 selects a lesion candidate area among the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) detected by the process of the lesion candidate area detection unit 131.
  • the position of the lesion candidate region L for which evaluation results indicating that they are present at mutually adjacent positions by the processing of the evaluation unit 132 is collectively emphasized on the main screen MG and settings for emphasizing individually on the sub screen SG are performed. It is like that. Further, according to the specific example described above, the display control unit 133 selects a lesion candidate area among the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) detected by the process of the lesion candidate area detection unit 131. The position of the lesion candidate area L for which the evaluation result that the evaluation result of being far away exists is obtained by the processing of the evaluation unit 132 is set to be individually emphasized in each of the main screen MG and the sub screen SG. .
  • the display control unit 133 selects a marker image MM21 for highlighting the position of the lesion candidate area L21 on the main screen MG,
  • the marker image MS21 for emphasizing the position of the lesion candidate region L21 on the sub screen SG is set.
  • the display control unit 133 causes the marker image MS21 to highlight the position of the lesion candidate area L21 in the sub screen SG.
  • the display control unit 133 selects a marker image MM22 for highlighting the position of the lesion candidate area L22 on the main screen MG, and And a marker image MS22 for emphasizing the position of the lesion candidate region L22 on the sub screen SG.
  • the display control unit 133 causes the marker image MS22 to highlight the position of the lesion candidate area L22 in the sub screen SG.
  • the display control unit 133 controls the lesion candidate area among the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) detected by the process of the lesion candidate area detection unit 131.
  • the setting for emphasizing the position of the lesion candidate region L for which the evaluation result that the difficulty level of discovery is high is obtained by the processing of the evaluation unit 132 is performed in the main screen MG and the sub screen SG.
  • the display control unit 133 selects a lesion candidate area among the plurality of lesion candidate areas L (lesion candidate areas L21 and L22) detected by the process of the lesion candidate area detection unit 131.
  • a setting for emphasizing the position of the lesion candidate region L for which the evaluation result that the degree of difficulty of discovery is low is obtained by the processing of the evaluation unit 132 is performed in the sub screen SG.
  • step S21 of FIG. 7 the position of the one lesion candidate area L is displayed on the main screen.
  • a process is performed to set a marker image M to be emphasized in each of the MG and the sub screen SG (step S25 in FIG. 7).
  • the display control unit 133 displays, for example, a marker image MM23 for highlighting the position of the lesion candidate area L23 detected by the process of step S21 of FIG. 7 on the main screen MG, and the marker candidate area L23.
  • a marker image MS23 for emphasizing the position on the sub screen SG is set.
  • the emphasis processing unit 134A Based on the lesion candidate information IL acquired by the process of step S21 of FIG. 7, the emphasis processing unit 134A performs a process of adding the marker image M set through the process of step S24 or step S25 of FIG. Step S26 of 7).
  • step S26 When the process of step S26 is performed after the process of step S24 of FIG. 7, for example, a display image as shown in FIG. 8 or FIG. 9 is generated, and the generated display image is displayed. It is displayed on the device 14. 8 and 9 are diagrams showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the second embodiment.
  • the periphery of the lesion candidate regions L21 and L22 included in the endoscopic image of the main screen MG is surrounded by the marker image MM2 which is a rectangular frame, and the sub screen SG
  • the periphery of the lesion candidate region L21 included in the endoscopic image is surrounded by the marker image MS21 having a rectangular frame
  • the periphery of the lesion candidate region L22 included in the endoscopic image of the sub screen SG is rectangular It is surrounded by a marker image MS22 which is a frame. That is, in the series of processes shown in FIG. 7, when the evaluation result that the lesion candidate areas L21 and L22 exist in mutually adjacent positions is obtained, a display image as shown in FIG. 8 is displayed on the display device 14. Ru.
  • the periphery of the lesion candidate region L22 included in the endoscopic image of the main screen MG is surrounded by the marker image MM22 which is a rectangular frame, and the endoscope of the sub screen SG
  • the periphery of the lesion candidate area L21 included in the image is surrounded by the marker image MS21 which is a rectangular frame
  • the periphery of the lesion candidate area L22 included in the endoscopic image of the sub screen SG is a rectangular frame It is surrounded by a certain marker image MS22. That is, in the series of processes shown in FIG.
  • FIG. 10 is a view showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the second embodiment.
  • the periphery of the lesion candidate region L23 included in the endoscopic image of the main screen MG is surrounded by the marker image MM23 which is a rectangular frame, and the endoscope of the sub screen SG
  • the periphery of the lesion candidate area L23 included in the image is surrounded by a marker image MS23 which is a rectangular frame.
  • the sub screen SG The marker image M is added to all the lesion candidate regions L included in the endoscopic image of. Further, as described above, according to the series of processes in FIG. 7, when one lesion candidate area L is included in the endoscopic image simultaneously displayed on the main screen MG and the sub screen SG, A marker image M for emphasizing the position of one lesion candidate area L is added to the main screen. Further, as described above, according to the series of processing in FIG. 7, according to the series of processing in FIG.
  • the main screen The total number of marker images M simultaneously added to the screen MG can be less than the total number of lesion candidate areas L detected from the endoscopic image. Therefore, according to the present embodiment, the marker image M can be added to the main screen MG so as not to disturb the work performed while looking at the main screen MG as much as possible. It is possible to reduce the burden on the user who works while viewing the mirror image.
  • Third Embodiment 11 to 14 relate to a third embodiment of the present invention.
  • the endoscope system 1A is configured by providing an endoscope image processing device 13A instead of the endoscope image processing device 13 described in the first embodiment, as shown in FIG. Further, as shown in FIG. 11, the endoscopic image processing apparatus 13A is configured by providing a work state estimation unit 132A instead of the lesion candidate area evaluation unit 132 described in the first embodiment.
  • FIG. 11 is a view showing the configuration of the main part of an endoscope system including the endoscope image processing apparatus according to the third embodiment.
  • the work state estimation unit 132A is configured to be able to detect an instruction issued by the operation switch unit 112 of the endoscope 11 by monitoring the operation of the control unit 123 of the main device 12, for example.
  • the work state estimation unit 132A uses the lesion candidate area detection unit 131 based on at least one of the endoscopic image output from the main device 12 and the detection result of the instruction made by the operation switch unit 112. A process is performed to estimate the work state of the user when the lesion candidate area L is detected.
  • the work state estimation unit 132A detects the endoscopic image output from the main body device 12, the detection result of the instruction performed to set the operation state of one or more functions of the endoscope 11, and Based on at least one of the above, it is configured to perform processing for estimating the work state of the user when the lesion candidate area L is detected by the lesion candidate area detection unit 131.
  • FIG. 12 is a flowchart for describing a specific example of processing performed in the endoscopic image processing apparatus according to the third embodiment.
  • the lesion candidate area detection unit 131 performs processing for detecting the lesion candidate area L included in the endoscopic image output from the main device 12, and a lesion candidate which is information indicating the detected lesion candidate area L. A process for acquiring the information IL is performed (step S31 in FIG. 12).
  • the lesion candidate area detection unit 131 detects the lesion candidate area L31 included in the endoscopic image output from the main device 12, for example, by performing the process of step S31 in FIG.
  • Lesion candidate information IL31 which is information indicating the detected lesion candidate area L31 is acquired.
  • the work state estimation unit 132A performs the lesion processing in step S31 of FIG. 12 based on at least one of the endoscopic image output from the main body apparatus 12 and the detection result of the instruction made by the operation switch unit 112. A process is performed to estimate the work state of the user when the candidate area L is detected (step S32 in FIG. 12).
  • step S32 of FIG. 12 a specific example of the process performed in step S32 of FIG. 12 will be described.
  • the work state estimation unit 132A performs processing for calculating motion vectors of endoscope images of a plurality of frames sequentially output from the main device 12. Then, for example, in the work state estimation unit 132A, the direction of the motion vector calculated when the lesion candidate region L31 is detected in the process of step S31 of FIG. 12 is directed to the dark side (rear side) of the endoscopic image. In addition, when it is detected that the magnitude of the motion vector is equal to or greater than a predetermined threshold value THV, an estimation result is obtained that the work related to the insertion (of the insertion portion) of the endoscope 11 is being performed .
  • the direction of the motion vector calculated when the lesion candidate region L31 is detected in the process of step S31 in FIG. 12 is directed to the dark side (rear side) of the endoscopic image.
  • a predetermined threshold THV it is different from the work related to the insertion (of the insertion portion) of the endoscope 11 Judge that work is being done.
  • the work state estimation unit 132A performs, for example, an image recognition process on an endoscopic image sequentially output from the main device 12, so that the site imaged by the endoscope 11 corresponds to which site in the large intestine of the human body. While obtaining the processing result concerning whether it corresponds, according to the processing result, the flag FC indicating whether or not the endoscope 11 has reached the cecum is set.
  • the flag FC is, for example, set to OFF when the power of the endoscopic image processing apparatus 13A is turned on, and the processing result that the region imaged by the endoscope 11 is a cecum is the processing result of the endoscopic image processing apparatus 13A. Set to ON when first obtained after power on.
  • the work state estimation unit 132A performs the work related to the insertion (of the insertion portion) of the endoscope 11 Get an estimated result that has been done.
  • the work state estimation unit 132A is a work related to the insertion (of the insertion portion) of the endoscope 11. It is judged that work different from
  • the work state estimation unit 132A determines that a work different from the work related to the insertion (of the insertion unit) of the endoscope 11 is performed, for example, the detection result of the instruction made by the operation switch unit 112 Based on the above, the observation magnification of the endoscope 11 (the imaging unit 111) when the lesion candidate area L31 is detected by the process of step S31 of FIG. 12 is specified. Then, when the observation magnification of the endoscope 11 (the imaging unit 111) at the time when the lesion candidate region L31 is detected by the process of step S31 of FIG. An estimation result is obtained that the work related to the diagnosis of the lesion candidate area L is being performed.
  • the work state estimation unit 132A determines that a work different from the work related to the insertion (of the insertion unit) of the endoscope 11 is performed, for example, the endoscope image output from the main device 12 Based on the above, it is specified whether or not the distal end portion of the treatment tool used for treatment of the lesion candidate region L31 detected by the process of step S31 in FIG. 12 is included in the endoscopic image. Then, when the distal end portion of the treatment tool used for the treatment to the lesion candidate region L31 detected by the process of step S31 in FIG. 12 is included in the endoscopic image, the work state estimation unit 132A An estimation result is obtained that the work related to the treatment of the region L is being performed.
  • the work state estimation unit 132A performs the work related to the insertion (of the insertion unit) of the endoscope 11, the work related to the diagnosis of the lesion candidate area L31 detected by the process of step S31 in FIG. 12, and the lesion candidate area L31. When it is determined that the work does not correspond to any of the work related to the treatment for, an estimation result that the work related to the search for the lesion candidate area L31 is performed is obtained.
  • the display control unit 133 performs processing for setting whether to limit the addition of the marker image M on the main screen MG based on the estimation result obtained by the processing of step S32 in FIG. 12 (step in FIG. 12). S33). That is, display control unit 133 causes lesion candidate region L included in main screen MG and sub screen SG based on the estimation result of the work state of the user obtained by the process of work state estimation portion 132A in step S33 of FIG. A process is performed to set an emphasizing method when emphasizing the position of the image by the process of the emphasizing processing unit 134A.
  • the display control unit 133 estimates the work relating to the insertion (of the insertion portion) of the endoscope 11 in the process of step S32 of FIG. Either the estimation result that the work related to the diagnosis of the lesion candidate area L31 detected by the process of S31 is being performed or the estimation result that the work related to the treatment for the lesion candidate area L31 is being performed When is obtained, the setting for limiting the addition of the marker image M on the main screen MG is performed. In addition, the display control unit 133 obtains, for example, an estimation result that the work related to the search for the lesion candidate area L31 detected by the process of step S31 of FIG. 12 is performed by the process of step S32 of FIG. When it is determined, the setting is made so as not to limit the addition of the marker image M on the main screen MG.
  • the display control unit 133 estimates that the work related to the insertion of the endoscope 11 is being performed by the process of the work state estimation unit 132A, and detects the lesion candidate area The estimation result that the work related to the diagnosis of the lesion candidate area L detected by the unit 131 is performed, or the work related to the treatment of the lesion candidate area L detected by the lesion candidate area detection unit 131 is performed.
  • the setting for limiting the processing of the emphasis processing unit 134A on the main screen MG is performed.
  • the emphasis processing unit 134A uses the marker image M in the main screen MG based on the lesion candidate information IL31 acquired by the process of step S31 of FIG. 12 and the setting content set by the process of step S33 of FIG. A process for adding a marker image M inside the sub-screen SG is performed while suppressing the addition of (step S34 in FIG. 12).
  • step S34 in FIG. 12 when the process of step S34 in FIG. 12 is performed, for example, a display image as shown in FIG. 13 or 14 is generated, and the generated display image is displayed on the display device 14 .
  • 13 and 14 are diagrams showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the third embodiment.
  • the inside of the main screen MG is The marker image M is not added around the lesion candidate region L31 included in the endoscopic image. That is, when processing for adding the marker image M to the inside of the sub screen SG is performed while the marker image M is not added to the main screen MG in step S34 of FIG.
  • the display image as described above is displayed on the display device 14. In other words, in step S34 of FIG.
  • the position of the lesion candidate area L included in the main screen MG is not emphasized based on the setting content set by the process of the display control unit 133, and the sub screen SG
  • the process for emphasizing the position of the lesion candidate area L to be included is performed by the emphasizing processing unit 134A, a display image as illustrated in FIG. 13 is displayed on the display device 14.
  • the lesion candidate area L31 included in the endoscopic image of the sub screen SG is surrounded by the marker image MS3 that is a rectangular frame, and the inside of the main screen MG is A marker image MM3 which is a triangular mark for indicating the position of the lesion candidate region L31 included in the mirror image is added one by one to the top, bottom, left, and right outside the main screen MG. That is, when the process for adding the marker image M to the outside of the main screen MG is performed in step S34 of FIG. 12 and the process for adding the marker image M to the inside of the sub screen SG is performed.
  • the display image as illustrated in FIG. 14 is displayed on the display device 14.
  • the position of lesion candidate area L included in main screen MG is emphasized outside the main screen MG.
  • the display as illustrated in FIG. 14 when processing for emphasizing the position of the lesion candidate region L included in the sub screen SG in the sub screen SG is performed by the emphasizing processing unit 134A. An image is displayed on the display device 14.
  • the emphasizing processing unit 134A uses the inside of the main screen MG and the inside of the sub screen SG based on the lesion candidate information IL acquired by the process of step S31 of FIG. 12 and the setting content set by the process of step S33 of FIG. A process for adding the marker image M to each is performed (step S35 in FIG. 12).
  • step S35 in FIG. 12 when the process of step S35 in FIG. 12 is performed, for example, a display image substantially similar to that shown in FIG. 6 is displayed on the display device 14.
  • the time for which the user looks at the main screen MG is the sub screen SG
  • the addition of the marker image M to the lesion candidate area L included in the main screen MG so as not to interfere with the operation when performing an operation that is sufficiently longer than the time for focusing on . Therefore, according to the present embodiment, it is possible to reduce the burden on the user who works while viewing the endoscopic images simultaneously displayed on a plurality of screens.
  • an LED generating NB light that is blue narrow band light whose central wavelength is set to around 415 nm and green narrow band light whose central wavelength is set to around 540 nm
  • processing may be performed to estimate the work state.
  • the working state estimation unit 132A detects that, for example, an instruction to set the white light observation mode, which is a mode in which the B light, the G light, and the R light are irradiated to the subject for observation, is detected.
  • Fourth Embodiment 15 to 18 relate to a fourth embodiment of the present invention.
  • the endoscope system 1B is configured by providing an endoscope image processing device 13B instead of the endoscope image processing device 13 described in the first embodiment.
  • the endoscopic image processing apparatus 13B is configured by providing an information acquisition unit 132B instead of the lesion candidate area evaluation unit 132 described in the first embodiment.
  • FIG. 15 is a view showing the configuration of the main part of an endoscope system including the endoscope image processing apparatus according to the fourth embodiment.
  • the information acquisition unit 132B reads the display setting information stored in the storage medium 134, and the setting value included in the read display setting information.
  • the information acquisition unit 132B is configured to acquire information related to a display state when displaying a display image including the main screen MG and the sub screen SG on the display device 14.
  • the setting value SS of the screen size of the sub screen SG is changed to a desired setting value within the range from the lower limit value Smin to the upper limit value Smax by the operation of the operation switch unit 112. Description will be given assuming that it is possible to give instructions.
  • the set value BS of the brightness of the entire display image including the main screen MG and the sub screen SG is within the range from the lower limit Bmin to the upper limit Bmax by the operation of the operation switch unit 112. Description will be made assuming that it is possible to issue an instruction for changing to a desired setting value.
  • FIG. 16 is a flowchart for describing a specific example of processing performed in the endoscopic image processing apparatus according to the fourth embodiment.
  • the lesion candidate area detection unit 131 performs processing for detecting the lesion candidate area L included in the endoscopic image output from the main device 12, and a lesion candidate which is information indicating the detected lesion candidate area L. A process for acquiring the information IL is performed (step S41 in FIG. 16).
  • the lesion candidate area detection unit 131 detects the lesion candidate area L41 included in the endoscopic image output from the main device 12, for example, by performing the process of step S41 of FIG.
  • Lesion candidate information IL41 which is information indicating the detected lesion candidate area L41 is acquired.
  • the information acquiring unit 132B reads the display setting information stored in the storage medium 134 when the lesion candidate area L is detected by the process of step S41 in FIG. 16, and the setting included in the read display setting information. A process for acquiring a value is performed (step S42 in FIG. 16).
  • the display control unit 133 performs processing for setting the emphasis level EM4 of the marker image MM4 added to the main screen MG to a predetermined emphasis level. Further, the display control unit 133 is a process for setting the emphasis level ES4 of the marker image MS4 to be added to the sub screen SG according to the setting value included in the display setting information acquired by the process of step S42 of FIG. (Step S43 in FIG. 16).
  • the display control unit 133 performs processing for setting the emphasis level when emphasizing the position of the lesion candidate region L included in the main screen MG to a predetermined emphasis level, and the lesion included in the sub screen SG A process is performed to change the emphasis level at the time of emphasizing the position of the candidate area L according to the information acquired by the information acquisition unit 132B.
  • step S43 of FIG. 16 a specific example of the process performed in step S43 of FIG. 16 will be described.
  • the display control unit 133 adds the setting value SS of the screen size of the sub screen SG included in the display setting information acquired by the process of step S42 of FIG. 16 to the sub screen SG, for example, as it approaches the lower limit Smin. Setting is performed to increase the emphasis level ES4 of the marker image MS4. In addition, for example, as the setting value SS of the screen size of the sub screen SG included in the display setting information acquired by the process of step S42 in FIG. 16 approaches the upper limit value Smax, the display control unit 133 A setting is made to lower the emphasis level ES4 of the marker image MS4 to be added.
  • the display control unit 133 raises the emphasis level ES4 of the marker image MS4 added to the sub screen SG As the set value SS increases, setting is made to lower the emphasis level ES4.
  • the display control unit 133 is added to the sub screen SG, for example, as the set value BS of the brightness of the entire display image included in the display setting information acquired by the process of step S42 in FIG. 16 approaches the lower limit Bmin.
  • a setting is made to raise the emphasis level ES4 of the marker image MS4.
  • the display control unit 133 adds, for example, to the sub screen SG as the set value BS of brightness of the entire display image included in the display setting information acquired by the process of step S42 in FIG. 16 approaches the upper limit Bmax.
  • the display control unit 133 raises the emphasis level ES4 of the marker image MS4 to be added to the sub screen SG as the setting value BS of the brightness of the entire display image becomes smaller. As the set value BS increases, setting is made to lower the emphasis level ES4.
  • the highlighting processing unit 134A uses the markers on the main screen MG and the sub screen SG based on the lesion candidate information IL41 acquired by the process of step S41 of FIG. 16 and the setting content set by the process of step S43 of FIG. A process for adding the image M is performed (step S44 in FIG. 16).
  • FIG. 17 and FIG. 18 are views showing an example of a display image displayed according to the process of the endoscopic image processing apparatus according to the fourth embodiment.
  • the lesion candidate area L41 included in the endoscopic image of the main screen MG is surrounded by the marker image MM4 which is a rectangular frame, and the inside of the sub screen SG
  • the periphery of the lesion candidate area L41 included in the mirror image is surrounded by a marker image MS4 which is a rectangular frame.
  • the setting value SS of the screen size of the sub screen SG is set to the upper limit Smax (or a value close to the upper limit Smax), and the frame line of the marker image MS4 is displayed.
  • a narrow line corresponding to the line width corresponding to the emphasis level ES4 is displayed.
  • the lesion candidate area L41 included in the endoscopic image of the main screen MG is surrounded by the marker image MM4 which is a rectangular frame, and the inside of the sub screen SG
  • the periphery of the lesion candidate area L41 included in the mirror image is surrounded by a marker image MS4 which is a rectangular frame.
  • the setting value SS of the screen size of the sub screen SG is set to the lower limit Smin (or a value close to the lower limit Smin), and the frame line of the marker image MS4 A bold line corresponding to the line width corresponding to the emphasis level ES4 is displayed.
  • the series of processes in FIG. 16 for example, while displaying an endoscopic image simultaneously on the main screen MG and the sub screen SG, the diagnosis of the lesion candidate area L while viewing the sub screen MG
  • the highlighting state of the marker image M added to the sub screen SG can be changed so as not to interfere with the work.
  • the lesion candidate area L When performing a task related to the search of the mark, even if the display state of the sub screen SG is not suitable for the task, the marker image M capable of supporting the task is added to the sub screen SG be able to. Therefore, according to the present embodiment, it is possible to reduce the burden on the user who works while viewing the endoscopic images simultaneously displayed on a plurality of screens.
  • the highlighting of the marker image MS4 to be added to the sub screen SG according to the detection result of the brightness of the endoscope image output from the main device 12 Processing may be performed to change the level ES4.
  • the brightness of the endoscope image output from the main device 12 is detected, and the brightness is added to the sub screen SG as the detected brightness decreases.
  • a setting may be made to raise the emphasis level ES4 of the marker image MS4 and to lower the emphasis level ES4 as the detected brightness rises.
  • the MS may be individually set to display or non-display.
  • a foot switch, a keyboard, a tablet terminal, a microphone, or the like can be used as the input device described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡画像処理装置は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成するように構成され、内視鏡画像が順次入力されるとともに、内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出するための処理を行う病変候補領域検出部と、病変候補領域の位置を強調するための処理を行う強調処理部と、病変候補領域の状態、内視鏡を用いて作業を行うユーザの作業状態、または、表示画像の表示状態のいずれかに基づき、メイン画面及びサブ画面に含まれる病変候補領域の位置を強調処理部の処理により強調する際の強調方法を設定するための処理を行う表示制御部と、を有する。

Description

内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
　本発明は、内視鏡画像処理装置、内視鏡画像処理方法及びプログラムに関するものである。
　医療分野の内視鏡観察においては、被検体内の所望の部位を撮像して得られた内視鏡画像から病変候補領域を検出し、当該検出した病変候補領域の存在を報知するための視覚情報を当該内視鏡画像に付加して表示するような技術が従来知られている。
　具体的には、例えば、国際公開第２０１７／０７３３３８号には、内視鏡で被検体内を撮像して得られた観察画像から病変候補領域を検出し、当該検出した病変候補領域を囲むマーカ画像を当該観察画像に付加することにより、当該観察画像内における当該病変候補領域の位置が強調された表示画像を表示するような技術が開示されている。また、国際公開第２０１７／０７３３３８号には、内視鏡で被検体内を撮像して得られた観察画像に相当する動画像をメイン画面及びサブ画面に同時に表示させるための構成が開示されている。
　しかし、国際公開第２０１７／０７３３３８号には、内視鏡観察中に検出された病変候補領域の位置を強調する際の強調方法をメイン画面及びサブ画面において適宜変化させるための具体的な手法について特に開示されていない。
　そのため、国際公開第２０１７／０７３３３８号に開示された構成によれば、例えば、病変候補領域の位置を強調するためのマーカ画像がメイン画面の観察画像に常に含まれるような場合に、当該メイン画面の観察画像を見ながら行われる作業が当該マーカ画像により妨げられてしまうおそれがある。また、国際公開第２０１７／０７３３３８号に開示された構成によれば、例えば、病変候補領域の位置を強調するためのマーカ画像の表示態様がメイン画面及びサブ画面において常に同一であるような場合に、当該サブ画面の観察画像に含まれる当該マーカ画像が当該メイン画面の観察画像を見ながら行われる作業に実質的に寄与しないおそれがある。
　すなわち、国際公開第２０１７／０７３３３８号に開示された構成によれば、複数の画面に同時に表示される内視鏡画像に含まれる病変候補領域の位置を強調する際の強調方法を適宜変化させることができないことに起因し、当該複数の画面に同時に表示される内視鏡画像を見ながら作業を行うユーザに対して過度な負担を強いてしまう場合がある、という課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、複数の画面に同時に表示される内視鏡画像を見ながら作業を行うユーザの負担を軽減することが可能な内視鏡画像処理装置、内視鏡画像処理方法及びプログラムを提供することを目的としている。
　本発明の一態様の内視鏡画像処理装置は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成するように構成された内視鏡画像処理装置であって、前記内視鏡画像が順次入力されるとともに、前記内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出するための処理を行うように構成された病変候補領域検出部と、前記病変候補領域の位置を強調するための処理を行うように構成された強調処理部と、前記病変候補領域の状態、前記内視鏡を用いて作業を行うユーザの作業状態、または、前記表示画像の表示状態のいずれかに基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するための処理を行うように構成された表示制御部と、を有する。
　本発明の一態様の内視鏡画像処理方法は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成するように構成された内視鏡画像処理装置において用いられる内視鏡画像処理方法であって、病変候補領域検出部が、前記内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出するステップと、強調処理部が、前記病変候補領域の位置を強調するための処理を行うステップと、表示制御部が、前記病変候補領域の状態、前記内視鏡を用いて作業を行うユーザの作業状態、または、前記表示画像の表示状態のいずれかに基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するステップと、を有する。
　本発明の一態様のプログラムは、コンピュータに、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成する工程と、前記内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出する工程と、前記病変候補領域の位置を強調する工程と、前記病変候補領域の状態、前記内視鏡を用いて作業を行うユーザの作業状態、または、前記表示画像の表示状態のいずれかに基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調方法を設定する工程と、を実行させる。
第１の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 メイン画面及びサブ画面を含む表示画像の一例を示す図。 第１の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャート。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャート。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第３の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 第３の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャート。 第３の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第３の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第４の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 第４の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャート。 第４の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第４の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。
　以下、本発明の実施形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
　図１から図６は、本発明の第１の実施形態に係るものである。
　内視鏡システム１は、図１に示すように、内視鏡１１と、本体装置１２と、内視鏡画像処理装置１３と、表示装置１４と、を有して構成されている。図１は、第１の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。
　内視鏡１１は、例えば、被検体内に挿入可能な細長形状の挿入部（不図示）と、当該挿入部の基端部に設けられた操作部（不図示）と、を具備して構成されている。また、内視鏡１１は、例えば、操作部から延びるユニバーサルケーブル（不図示）を介し、本体装置１２に対して着脱自在に接続されるように構成されている。また、内視鏡１１の内部には、例えば、本体装置１２から供給される照明光を導光して挿入部の先端部から出射するための光ファイバ等の導光部材（不図示）が設けられている。また、内視鏡１１は、挿入部の先端部に設けられた撮像部１１１と、操作部に設けられた操作スイッチ部１１２と、を有して構成されている。
　撮像部１１１は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを具備して構成されている。また、撮像部１１１は、挿入部の先端部を経て出射された照明光により照明された被写体からの戻り光を撮像し、当該撮像した戻り光に応じた撮像信号を生成して本体装置１２へ出力するように構成されている。
　操作スイッチ部１１２は、ユーザの操作に応じた指示を本体装置１２に対して行うことが可能な１つ以上のスイッチを具備して構成されている。具体的には、操作スイッチ部１１２には、例えば、内視鏡１１（撮像部１１１）の観察倍率の設定に係る指示を行うためのスイッチ等が設けられている。すなわち、操作スイッチ部１１２には、内視鏡１１が有する１つ以上の機能の動作状態を設定するための指示を行うことが可能な１つ以上のスイッチが設けられている。
　本体装置１２は、内視鏡１１及び内視鏡画像処理装置１３のそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置１２は、例えば、図１に示すように、光源部１２１と、画像生成部１２２と、制御部１２３と、記憶媒体１２４と、を有して構成されている。
　光源部１２１は、例えば、ＬＥＤ等のような１つ以上の発光素子を具備して構成されている。具体的には、光源部１２１は、例えば、青色光（以降、Ｂ光とも称する）を発生する青色ＬＥＤと、緑色光（以降、Ｇ光とも称する）を発生する緑色ＬＥＤと、赤色光（以降、Ｒ光とも称する）を発生する赤色ＬＥＤと、を有して構成されている。また、光源部１２１は、制御部１２３の制御に応じた照明光を発生して内視鏡１１に供給することができるように構成されている。
　画像生成部１２２は、内視鏡１１から出力される撮像信号に基づいて内視鏡画像を生成し、当該生成した内視鏡画像を内視鏡画像処理装置１３へ１フレームずつ順次出力することができるように構成されている。
　制御部１２３は、操作スイッチ部１１２においてなされた指示等に基づき、内視鏡１１及び本体装置１２の各部の動作に係る制御を行うように構成されている。
　本実施形態においては、本体装置１２の画像生成部１２２及び制御部１２３が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置１２が１つ以上のＣＰＵを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、本体装置１２が、画像生成部１２２及び制御部１２３の機能を実行させるためのプログラムをメモリ等の記憶媒体１２４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
　内視鏡画像処理装置１３は、本体装置１２及び表示装置１４のそれぞれに対して着脱自在に接続されるように構成されている。また、内視鏡画像処理装置１３は、病変候補領域検出部１３１と、病変候補領域評価部１３２と、表示制御部１３３と、記憶媒体１３４と、を有して構成されている。
　病変候補領域検出部１３１は、本体装置１２から順次出力される内視鏡画像に含まれる病変候補領域Ｌを検出するための処理を行うとともに、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得するための処理を行うように構成されている。すなわち、病変候補領域検出部１３１は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像が順次入力されるとともに、当該内視鏡画像に含まれる１つのまたは複数の病変候補領域Ｌを検出するための処理を行うように構成されている。
　なお、本実施形態においては、病変候補領域Ｌは、例えば、ポリープを含む領域として検出されるものとする。また、本実施形態においては、病変候補情報ＩＬは、例えば、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌの位置（画素位置）を示す位置情報と、当該内視鏡画像に含まれる当該病変候補領域Ｌのサイズ（画素数）を示すサイズ情報と、を含む情報として取得されるものとする。
　また、本実施形態においては、病変候補領域検出部１３１が、例えば、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像から得られる所定の特徴量に基づいて病変候補領域Ｌを検出するように構成されていてもよく、または、ディープラーニング等の学習手法により当該内視鏡画像に含まれる異常所見を識別可能な機能を予め取得した識別器を用いて病変候補領域Ｌを検出するように構成されていてもよい。
　病変候補領域評価部１３２は、病変候補領域検出部１３１により検出された病変候補領域Ｌの状態を評価するための処理を行うように構成されている。なお、病変候補領域評価部１３２において行われる処理の具体例については、後程説明する。
　表示制御部１３３は、本体装置１２から順次出力される内視鏡画像と、記憶媒体１３４から読み込んだ表示設定情報（後述）と、に基づき、１つのメイン画面（後述）及び１つ以上のサブ画面（後述）の各々に当該内視鏡画像を含むような表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置１４に表示させるための処理を行うように構成されている。また、表示制御部１３３は、病変候補領域検出部１３１の処理により内視鏡画像から検出された病変候補領域Ｌの位置を強調するための強調処理を行う強調処理部１３３Ａを具備して構成されている。また、表示制御部１３３は、強調処理部１３３Ａの強調処理により付加されるマーカ画像Ｍ（後述）の設定に係る処理を行うように構成されている。
　強調処理部１３３Ａは、病変候補領域検出部１３１により取得された病変候補情報ＩＬに基づき、病変候補領域検出部１３１の処理により内視鏡画像から検出された病変候補領域Ｌの位置を強調するためのマーカ画像Ｍを生成し、当該生成したマーカ画像Ｍを当該内視鏡画像に付加する処理を強調処理として行うように構成されている。なお、強調処理部１３３Ａは、病変候補領域Ｌの位置を強調するためのマーカ画像Ｍを生成する限りにおいては、病変候補情報ＩＬに含まれる位置情報のみを用いて強調処理を行うものであってもよく、または、病変候補情報ＩＬに含まれる位置情報及びサイズ情報の両方を用いて強調処理を行うものであってもよい。
　記憶媒体１３４には、表示制御部１３３により生成される表示画像に係る１つ以上の設定値を含む表示設定情報が格納されている。
　具体的には、記憶媒体１３４に格納された表示設定情報には、例えば、表示制御部１３３により生成されるメイン画面及びサブ画面を含む表示画像全域の明るさの設定値を示す情報と、当該メイン画面の画面サイズの設定値を示す情報と、当該サブ画面の画面サイズの設定値を示す情報と、が含まれている。
　なお、記憶媒体１３４に格納されている設定値は、予め設定された固定値であってもよく、または、ユーザにより変更可能な可変値であってもよい。
　本実施形態においては、内視鏡画像処理装置１３の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、内視鏡画像処理装置１３が１つ以上のＣＰＵを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、内視鏡画像処理装置１３が、病変候補領域検出部１３１、病変候補領域評価部１３２及び表示制御部１３３の機能を実行させるためのプログラムをメモリ等の記憶媒体１３４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、内視鏡画像処理装置１３の各部の機能が本体装置１２の機能として組み込まれるようにしてもよい。
　表示装置１４は、モニタ等を具備し、内視鏡画像処理装置１３を経て出力される表示画像を表示することができるように構成されている。
　続いて、本実施形態の作用について説明する。なお、以降においては、特に言及の無い限り、制御部１２３の制御に応じた照明光として、Ｂ光、Ｇ光及びＲ光が順次または同時に光源部１２１から発せられる場合、すなわち、青色、緑色及び赤色の色成分を有する内視鏡画像が画像生成部１２２により生成される場合を例に挙げて説明する。
　術者等のユーザは、内視鏡システム１の各部を接続して電源を投入した後、被検者の内部へ内視鏡１１の挿入部を挿入するとともに、当該被検者の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。そして、このようなユーザの操作に応じ、光源部１２１から内視鏡１１へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部１１１において撮像され、撮像部１１１から出力される撮像信号に応じた内視鏡画像が画像生成部１２２において生成されるとともに内視鏡画像処理装置１３へ出力される。
　表示制御部１３３は、本体装置１２から出力される内視鏡画像と、記憶媒体１３４から読み込んだ表示設定情報と、に基づき、当該表示設定情報に含まれるメイン画面の画面サイズの設定値ＳＬに適合するように当該内視鏡画像を加工することによりメイン画面ＭＧを生成するとともに、当該表示設定情報に含まれるサブ画面の画面サイズの設定値ＳＳ（＜ＳＬ）に適合するように当該内視鏡画像を加工することによりサブ画面ＳＧを生成する。その後、表示制御部１３３は、被検体内の被写体を内視鏡１１で撮像して得られた内視鏡画像を同時に表示するためのメイン画面ＭＧ及びサブ画面ＳＧを含む表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置１４に表示させるための処理を行う。そして、このような処理によれば、例えば、本体装置１２から出力される内視鏡画像に病変候補領域Ｌが含まれていない場合において、図２に示すような表示画像が表示装置１４に表示される。なお、本実施形態においては、１つのメイン画面ＭＧと、１つ以上のサブ画面ＳＧと、が含まれる限りにおいては、図２に例示したような表示画像とは異なる表示画像が生成されるようにしてもよい。図２は、メイン画面及びサブ画面を含む表示画像の一例を示す図である。
　ここで、本実施形態の内視鏡画像処理装置１３の各部において行われる処理の具体例について、図３等を参照しつつ説明する。なお、本実施形態においては、本体装置１２から出力される内視鏡画像に１つの病変候補領域Ｌが含まれている場合を例に挙げて説明を行う。図３は、第１の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャートである。
　病変候補領域検出部１３１は、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌを検出するための処理を行うとともに、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得するための処理を行う（図３のステップＳ１１）。
　具体的には、病変候補領域検出部１３１は、例えば、図３のステップＳ１１の処理を行うことにより、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌ１１を検出するとともに、当該検出した病変候補領域Ｌ１１を示す情報である病変候補情報ＩＬ１１を取得する。
　病変候補領域評価部１３２は、図３のステップＳ１１の処理により病変候補領域Ｌが検出された内視鏡画像と、当該病変候補領域Ｌに対応する病変候補情報ＩＬと、のうちの少なくとも一方に基づき、当該病変候補領域Ｌの発見難度を評価するための処理を行う（図３のステップＳ１２）。
　ここで、図３のステップＳ１２において行われる処理の具体例について説明する。
　病変候補領域評価部１３２は、例えば、図３のステップＳ１１の処理により病変候補領域Ｌ１１が検出された内視鏡画像と、当該病変候補領域Ｌ１１に対応する病変候補情報ＩＬ１に含まれる位置情報と、に基づき、当該病変候補領域Ｌ１１のテクスチャ及び形状をそれぞれ検出する。そして、病変候補領域評価部１３２は、病変候補領域Ｌ１１のテクスチャ及び形状の検出結果に基づき、例えば、当該病変候補領域Ｌ１１に平坦なポリープが含まれていると判断した場合に、当該病変候補領域Ｌ１１の発見難度が高いとの評価結果を取得する。
　病変候補領域評価部１３２は、例えば、図３のステップＳ１１の処理により病変候補領域Ｌ１１が検出された内視鏡画像と、当該病変候補領域Ｌ１１に対応する病変候補情報ＩＬ１に含まれる位置情報と、に基づき、当該病変候補領域Ｌ１１の境界部分のエッジの強度を検出する。そして、病変候補領域評価部１３２は、例えば、病変候補領域Ｌ１１の境界部分のエッジの強度が弱いことを検出した場合に、当該病変候補領域Ｌ１１に淡いポリープが含まれていると判断するとともに、当該病変候補領域Ｌ１１の発見難度が高いとの評価結果を取得する。
　病変候補領域評価部１３２は、病変候補領域Ｌ１１に平坦なポリープ及び淡いポリープがいずれも含まれていないと判断した場合に、当該病変候補領域Ｌ１１の発見難度が低いとの評価結果を取得する。
　病変候補領域評価部１３２は、例えば、図３のステップＳ１１の処理により取得された病変候補情報ＩＬ１に含まれるサイズ情報に基づき、図３のステップＳ１１の処理により検出された病変候補領域Ｌ１１の内視鏡画像内におけるサイズを取得する。そして、病変候補領域評価部１３２は、例えば、病変候補領域Ｌ１１のサイズが所定のサイズ以下であることを検出した場合に、当該病変候補領域Ｌ１１の発見難度が高いとの評価結果を取得する。また、病変候補領域評価部１３２は、例えば、病変候補領域Ｌ１１のサイズが所定のサイズより大きいことを検出した場合に、当該病変候補領域Ｌ１１の発見難度が低いとの評価結果を取得する。
　病変候補領域評価部１３２は、例えば、図３のステップＳ１１の処理により取得された病変候補情報ＩＬ１に含まれる位置情報に基づき、図３のステップＳ１１の処理により検出された病変候補領域Ｌ１１の内視鏡画像内における位置を取得する。そして、病変候補領域評価部１３２は、例えば、病変候補領域Ｌ１１の少なくとも一部が内視鏡画像の外側に存在することを検出した場合に、当該病変候補領域Ｌ１１の発見難度が高いとの評価結果を取得する。また、病変候補領域評価部１３２は、例えば、病変候補領域Ｌ１１の全体が内視鏡画像内に存在することを検出した場合に、当該病変候補領域Ｌ１１の発見難度が低いとの評価結果を取得する。
　なお、本実施形態においては、以上に述べた具体例のうちの複数の手法を適宜組み合わせて病変候補領域Ｌの発見難度を評価するようにしてもよい。具体的には、病変候補領域評価部１３２は、例えば、内視鏡画像から検出された病変候補領域Ｌ１１に平坦なポリープまたは淡いポリープのいずれかが含まれている場合、当該病変候補領域Ｌ１１のサイズが所定のサイズ以下である場合、あるいは、病変候補領域Ｌ１１の少なくとも一部が内視鏡画像の外側に存在する場合のいずれかにおいて、当該病変候補領域Ｌ１１の発見難度が高いとの評価結果を取得するようにしてもよい。また、病変候補領域評価部１３２は、例えば、内視鏡画像から検出された病変候補領域Ｌ１１に平坦なポリープ及び淡いポリープがいずれも含まれておらず、当該病変候補領域Ｌ１１のサイズが所定のサイズより大きく、かつ、当該病変候補領域Ｌ１１の全体が当該内視鏡画像内に存在するような場合において、当該病変候補領域Ｌ１１の発見難度が低いとの評価結果を取得するようにしてもよい。
　すなわち、以上に述べた具体例によれば、病変候補領域評価部１３２は、内視鏡画像から検出された病変候補領域Ｌ１１に含まれる病変の種類、当該病変候補領域Ｌ１１の当該内視鏡画像内におけるサイズ、及び、当該病変候補領域Ｌ１１の当該内視鏡画像内における位置の少なくともいずれか１つに基づき、当該病変候補領域Ｌ１１の発見難度を評価するための処理を行うようにしている。
　表示制御部１３３は、図３のステップＳ１１の処理により検出された病変候補領域Ｌ１１の位置をメイン画面ＭＧにおいて強調するようなマーカ画像ＭＭ１と、当該病変候補領域Ｌ１１の位置をサブ画面ＳＧにおいて強調するようなマーカ画像ＭＳ１と、をそれぞれ設定するための処理を行う。また、表示制御部１３３は、図３のステップＳ１２の処理により取得された病変候補領域Ｌの発見難度の評価結果に応じ、メイン画面ＭＧに付加されるマーカ画像ＭＭ１の強調レベルＥＭ１と、サブ画面ＳＧに付加されるマーカ画像ＭＳ１の強調レベルＥＳ１と、をそれぞれ設定するための処理を行う（図３のステップＳ１３～ステップＳ１５）。
　表示制御部１３３は、病変候補領域Ｌの発見難度が高いとの評価結果が得られたことを検出した場合（Ｓ１３：ＹＥＳ）に、例えば、マーカ画像ＭＭ１の強調レベルＥＭ１を所定の強調レベルに設定するとともに、マーカ画像ＭＳ１の強調レベルＥＳ１を当該所定の強調レベルよりも大きくするための設定を行う（図３のステップＳ１４）。
　表示制御部１３３は、病変候補領域Ｌの発見難度が低いとの評価結果が得られたことを検出した場合（Ｓ１３：ＮＯ）に、例えば、マーカ画像ＭＭ１の強調レベルＥＭ１を所定の強調レベルに設定するとともに、マーカ画像ＭＳ１の強調レベルＥＳ１を当該所定の強調レベルと等しくするための設定を行う（図３のステップＳ１５）。
　すなわち、表示制御部１３３は、図３のステップＳ１３～ステップＳ１５において、病変候補領域評価部１３２の処理により得られた病変候補領域Ｌ１１の発見難度の評価結果に基づき、メイン画面ＭＧ及びサブ画面ＳＧに含まれる当該病変候補領域Ｌ１１の位置を強調処理部１３４Ａの処理により強調する際の強調方法を設定するための処理を行うようにしている。
　強調処理部１３４Ａは、図３のステップＳ１１の処理により取得された病変候補情報ＩＬに基づき、図３のステップＳ１４またはステップＳ１５の処理を経て設定されたマーカ画像ＭＭ１及びＭＳ１を生成し、当該生成したマーカ画像ＭＭ１をメイン画面ＭＧに付加し、当該生成したマーカ画像ＭＳ１をサブ画面ＳＧに付加する処理を行う（図３のステップＳ１６）。
　具体的には、強調処理部１３４Ａは、例えば、病変候補情報ＩＬ１に基づき、図３のステップＳ１４の処理により設定された強調レベルＥＭ１を具備するマーカ画像ＭＭ１を生成し、当該生成したマーカ画像ＭＭ１をメイン画面ＭＧにおける病変候補領域Ｌ１１の周辺に付加する処理を行う。また、強調処理部１３４Ａは、例えば、病変候補情報ＩＬ１に基づき、図３のステップＳ１４の処理により強調レベルＥＭ１よりも高くなるように設定された強調レベルＥＳ１を具備するマーカ画像ＭＳ１を生成し、当該生成したマーカ画像ＭＳ１をサブ画面ＭＳ１における病変候補領域Ｌ１１の周辺に付加する処理を行う。
　そして、図３のステップＳ１４の処理を経てステップＳ１６の処理が行われた場合には、例えば、図４または図５に示すような表示画像が生成されるとともに、当該生成された表示画像が表示装置１４に表示される。図４及び図５は、第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図４に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ１１の周囲が矩形の枠であるマーカ画像ＭＭ１により囲まれているとともに、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ１１の周囲が矩形の枠であるマーカ画像ＭＳ１により囲まれている。また、図４に例示した表示画像によれば、マーカ画像ＭＳ１の枠線がマーカ画像ＭＭ１の枠線よりも太い線幅で表示されている。なお、図４に例示したような表示画像を表示装置１４に表示する場合には、図３のステップＳ１４において、強調レベルＥＳ１に対応するマーカ画像ＭＳ１の枠線の線幅を、強調レベルＥＭ１に対応するマーカ画像ＭＭ１の枠線の線幅よりも大きな線幅に設定するための処理が表示制御部１３３により行われるようにすればよい。
　図５に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ１１の周囲が矩形の枠であるマーカ画像ＭＭ１により囲まれているとともに、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ１１の周囲が矩形の枠であるマーカ画像ＭＳ１により囲まれている。また、図５に例示した表示画像によれば、マーカ画像ＭＳ１の枠線がマーカ画像ＭＭ１の枠線よりも明るく表示されている。なお、図５に例示したような表示画像を表示装置１４に表示する場合には、図３のステップＳ１４において、強調レベルＥＳ１に対応するマーカ画像ＭＳ１の枠線の明るさレベルを、強調レベルＥＭ１に対応するマーカ画像ＭＭ１の枠線の明るさレベルよりも大きな明るさレベルに設定するための処理が表示制御部１３３により行われるようにすればよい。
　また、図３のステップＳ１５の処理を経てステップＳ１６の処理が行われた場合には、例えば、図６に示すような表示画像が生成されるとともに、当該生成された表示画像が表示装置１４に表示される。図６は、第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図６に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ１１の周囲が矩形の枠であるマーカ画像ＭＭ１により囲まれているとともに、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ１１の周囲が矩形の枠であるマーカ画像ＭＳ１により囲まれている。また、図６に例示した表示画像によれば、マーカ画像ＭＭ１及びＭＳ１が同一の強調状態で表示されている。
　以上に述べたように、図３の一連の処理によれば、メイン画面ＭＧ及びサブ画面ＳＧに同時に表示される内視鏡画像に含まれる病変候補領域Ｌの発見難度に係わらず、当該メイン画面ＭＧに付加されるマーカ画像Ｍの強調状態が維持される。また、以上に述べたように、図３の一連の処理によれば、メイン画面ＭＧ及びサブ画面ＳＧに同時に表示される内視鏡画像に含まれる病変候補領域Ｌの発見難度に応じ、当該サブ画面ＳＧに付加されるマーカ画像Ｍの強調状態が変化する。従って、本実施形態によれば、発見難度の高い病変候補領域Ｌの位置をサブ画面ＳＧで確認し易くすることができるため、複数の画面に同時に表示される内視鏡画像を見ながら作業を行うユーザの負担を軽減することができる。
　なお、本実施形態によれば、サブ画面ＳＧの病変候補領域Ｌ１１に付加されるマーカ画像ＭＳ１の強調状態を当該病変候補領域Ｌ１１の発見難度に応じて変化させるような処理が行われる限りにおいては、前述の処理とは異なる処理が行われるようにしてもよい。具体的には、例えば、病変候補領域Ｌ１１の発見難度が高いとの評価結果が得られた場合に、図３のステップＳ１４において、当該病変候補領域Ｌ１１に付加されるマーカ画像ＭＳ１を点滅させるための設定に係る処理が行われるようにしてもよい。
（第２の実施形態）
　図７から図１０は、本発明の第２の実施形態に係るものである。
　なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。
　本実施形態の内視鏡画像処理装置１３は、第１の実施形態で述べた処理とは異なる処理を行うように構成されている。
　ここで、本実施形態の内視鏡画像処理装置１３の各部において行われる処理の具体例について、図７等を参照しつつ説明する。図７は、第２の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャートである。
　病変候補領域検出部１３１は、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌを検出するための処理を行うとともに、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得するための処理を行う（図７のステップＳ２１）。
　病変候補領域評価部１３２は、図７のステップＳ２１の処理により検出された病変候補領域Ｌの個数が複数であるか否かを判定するための処理を行う（図７のステップＳ２２）。
　病変候補領域評価部１３２は、図７のステップＳ２１の処理により複数の病変候補領域Ｌが検出されたとの判定結果を得た場合（Ｓ２２：ＹＥＳ）に、当該複数の病変候補領域Ｌを評価するための処理を行う（図７のステップＳ２３）。
　ここで、図７のステップＳ２３において行われる処理の具体例について、図７のステップＳ２１の処理により、病変候補領域Ｌ２１及び病変候補領域Ｌ２２が検出され、当該病変候補領域Ｌ２１に対応する病変候補情報ＩＬ２１が取得され、かつ、当該病変候補領域Ｌ２２に対応する病変候補情報ＩＬ２２が取得された場合を例に挙げて説明する。
　病変候補領域評価部１３２は、例えば、図７のステップＳ２１の処理により検出された病変候補領域Ｌ２１に対応する病変候補情報ＩＬ２１と、図７のステップＳ２１の処理により検出された病変候補領域Ｌ２２に対応する病変候補情報ＩＬ２２と、に基づき、病変候補領域Ｌ２１及びＬ２２の中心間の距離に相当する相対距離ＤＡを算出する。
　病変候補領域評価部１３２は、例えば、前述の相対距離ＤＡと所定の閾値ＴＨＡとを比較することにより、病変候補領域Ｌ２１及びＬ２２の位置関係を評価する。そして、病変候補領域評価部１３２は、例えば、ＤＡ≦ＴＨＡであるとの比較結果を得た場合に、病変候補領域Ｌ２１とＬ２２とが相互に近接した位置に存在するとの評価結果を得る。また、病変候補領域評価部１３２は、例えば、ＤＡ＞ＴＨＡであるとの比較結果を得た場合に、病変候補領域Ｌ２１とＬ２２とが相互に遠く離れた位置に存在するとの評価結果を得る。
　すなわち、以上に述べた具体例によれば、病変候補領域評価部１３２は、病変候補領域検出部１３１の処理により検出された複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）の相対距離に基づき、当該複数の病変候補領域Ｌの位置関係を評価するための処理を行うようにしている。
　病変候補領域評価部１３２は、図７のステップＳ２１の処理により病変候補領域Ｌ２１が検出された内視鏡画像と、当該病変候補領域Ｌ２１に対応する病変候補情報ＩＬ２１と、のうちの少なくとも一方に基づき、図３のステップＳ１２と同様の処理を行うことにより、当該病変候補領域Ｌ２１の発見難度を評価する。また、病変候補領域評価部１３２は、図７のステップＳ２１の処理により病変候補領域Ｌ２２が検出された内視鏡画像と、当該病変候補領域Ｌ２２に対応する病変候補情報ＩＬ２２と、のうちの少なくとも一方に基づき、図３のステップＳ１２と同様の処理を行うことにより、当該病変候補領域Ｌ２２の発見難度を評価する。そして、病変候補領域評価部１３２は、病変候補領域Ｌ２１の発見難度に係る評価結果と、病変候補領域Ｌ２２の発見難度に係る評価結果と、をそれぞれ取得する。
　すなわち、以上に述べた具体例によれば、病変候補領域評価部１３２は、病変候補領域検出部１３１の処理により検出された複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）の各々の発見難度を評価するための処理を行うようにしている。
　表示制御部１３３は、図７のステップＳ２１の処理により複数の病変候補領域Ｌが検出されたとの判定結果を得た場合（Ｓ２２：ＹＥＳ）に、図７のステップＳ２３の処理により得られた評価結果に応じ、強調処理部１３４Ａの強調処理により付加されるマーカ画像Ｍを設定するための処理を行う（図７のステップＳ２４）。
　ここで、図７のステップＳ２４において行われる処理の具体例について説明する。
　表示制御部１３３は、例えば、病変候補領域Ｌ２１とＬ２２とが相互に近接した位置に存在するとの評価結果が得られた場合に、当該病変候補領域Ｌ２１及びＬ２２の位置をメイン画面ＭＧにおいてまとめて強調するためのマーカ画像ＭＭ２を設定するとともに、当該病変候補領域Ｌ２１及びＬ２２の位置をサブ画面ＳＧにおいて個別に強調するためのマーカ画像ＭＳ２１及びＭＳ２２を設定する。また、表示制御部１３３は、例えば、病変候補領域Ｌ２１とＬ２２とが相互に遠く離れた位置に存在するとの評価結果が得られた場合に、当該病変候補領域Ｌ２１及びＬ２２の位置をメイン画面ＭＧにおいて個別に強調するためのマーカ画像ＭＭ２１及びＭＭ２２を設定するとともに、当該病変候補領域Ｌ２１及びＬ２２の位置をサブ画面ＳＧにおいて個別に強調するためのマーカ画像ＭＳ２１及びＭＳ２２を設定する。
　すなわち、以上に述べた具体例によれば、表示制御部１３３は、病変候補領域評価部１３２の処理により得られた複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）の位置関係の評価結果に基づき、メイン画面ＭＧ及びサブ画面ＳＧに含まれる当該複数の病変候補領域Ｌの位置を強調処理部１３４Ａの処理により強調する際の強調方法を設定するようにしている。また、以上に述べた具体例によれば、表示制御部１３３は、病変候補領域検出部１３１の処理により検出された複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）のうち、病変候補領域評価部１３２の処理により相互に近接した位置に存在するとの評価結果が得られた病変候補領域Ｌの位置をメイン画面ＭＧにおいてまとめて強調するとともにサブ画面ＳＧにおいて個別に強調するための設定を行うようにしている。また、以上に述べた具体例によれば、表示制御部１３３は、病変候補領域検出部１３１の処理により検出された複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）のうち、病変候補領域評価部１３２の処理により遠く離れた位置に存在するとの評価結果が得られた病変候補領域Ｌの位置をメイン画面ＭＧ及びサブ画面ＳＧの各々において個別に強調するための設定を行うようにしている。
　表示制御部１３３は、例えば、病変候補領域Ｌ２１の発見難度が高いとの評価結果が得られた場合に、当該病変候補領域Ｌ２１の位置をメイン画面ＭＧにおいて強調するためのマーカ画像ＭＭ２１と、当該病変候補領域Ｌ２１の位置をサブ画面ＳＧにおいて強調するためのマーカ画像ＭＳ２１と、をそれぞれ設定する。また、表示制御部１３３は、例えば、病変候補領域Ｌ２１の発見難度が低いとの評価結果が得られた場合に、当該病変候補領域Ｌ２１の位置をサブ画面ＳＧにおいて強調するためのマーカ画像ＭＳ２１を設定する。
　表示制御部１３３は、例えば、病変候補領域Ｌ２２の発見難度が高いとの評価結果が得られた場合に、当該病変候補領域Ｌ２２の位置をメイン画面ＭＧにおいて強調するためのマーカ画像ＭＭ２２と、当該病変候補領域Ｌ２２の位置をサブ画面ＳＧにおいて強調するためのマーカ画像ＭＳ２２と、をそれぞれ設定する。また、表示制御部１３３は、例えば、病変候補領域Ｌ２２の発見難度が低いとの評価結果が得られた場合に、当該病変候補領域Ｌ２２の位置をサブ画面ＳＧにおいて強調するためのマーカ画像ＭＳ２２を設定する。
　すなわち、以上に述べた具体例によれば、表示制御部１３３は、病変候補領域検出部１３１の処理により検出された複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）のうち、病変候補領域評価部１３２の処理により発見難度が高いとの評価結果が得られた病変候補領域Ｌの位置をメイン画面ＭＧ及びサブ画面ＳＧにおいて強調させるための設定を行うようにしている。また、以上に述べた具体例によれば、表示制御部１３３は、病変候補領域検出部１３１の処理により検出された複数の病変候補領域Ｌ（病変候補領域Ｌ２１及びＬ２２）のうち、病変候補領域評価部１３２の処理により発見難度が低いとの評価結果が得られた病変候補領域Ｌの位置をサブ画面ＳＧにおいて強調させるための設定を行うようにしている。
　表示制御部１３３は、図７のステップＳ２１の処理により１つの病変候補領域Ｌが検出されたとの判定結果を得た場合（Ｓ２２：ＮＯ）に、当該１つの病変候補領域Ｌの位置をメイン画面ＭＧ及びサブ画面ＳＧのそれぞれにおいて強調するようなマーカ画像Ｍを設定するための処理を行う（図７のステップＳ２５）。
　具体的には、表示制御部１３３は、例えば、図７のステップＳ２１の処理により検出された病変候補領域Ｌ２３の位置をメイン画面ＭＧにおいて強調するためのマーカ画像ＭＭ２３と、当該病変候補領域Ｌ２３の位置をサブ画面ＳＧにおいて強調するためのマーカ画像ＭＳ２３と、をそれぞれ設定する。
　強調処理部１３４Ａは、図７のステップＳ２１の処理により取得された病変候補情報ＩＬに基づき、図７のステップＳ２４またはステップＳ２５の処理を経て設定されたマーカ画像Ｍを付加する処理を行う（図７のステップＳ２６）。
　そして、図７のステップＳ２４の処理を経てステップＳ２６の処理が行われた場合には、例えば、図８または図９に示すような表示画像が生成されるとともに、当該生成された表示画像が表示装置１４に表示される。図８及び図９は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図８に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ２１及びＬ２２の周囲が矩形の枠であるマーカ画像ＭＭ２により囲まれており、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ２１の周囲が矩形の枠であるマーカ画像ＭＳ２１により囲まれており、当該サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ２２の周囲が矩形の枠であるマーカ画像ＭＳ２２により囲まれている。すなわち、図７の一連の処理において、病変候補領域Ｌ２１とＬ２２とが相互に近接した位置に存在するとの評価結果が得られた場合に、図８のような表示画像が表示装置１４に表示される。
　図９に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ２２の周囲が矩形の枠であるマーカ画像ＭＭ２２により囲まれており、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ２１の周囲が矩形の枠であるマーカ画像ＭＳ２１により囲まれており、当該サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ２２の周囲が矩形の枠であるマーカ画像ＭＳ２２により囲まれている。すなわち、図７の一連の処理において、病変候補領域Ｌ２１のサイズが所定のサイズより大きいことに起因して当該病変候補領域Ｌ２１の発見難度が低いとの評価結果が得られ、かつ、病変候補領域Ｌ２２のサイズが当該所定のサイズ以下であることに起因して病変候補領域Ｌ２２の発見難度が高いとの評価結果が得られた場合に、図９のような表示画像が表示装置１４に表示される。
　また、図７のステップＳ２５の処理を経てステップＳ２６の処理が行われた場合には、例えば、図１０に示すような表示画像が生成されるとともに、当該生成された表示画像が表示装置１４に表示される。図１０は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図１０に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ２３の周囲が矩形の枠であるマーカ画像ＭＭ２３により囲まれており、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ２３の周囲が矩形の枠であるマーカ画像ＭＳ２３により囲まれている。
　以上に述べたように、図７の一連の処理によれば、メイン画面ＭＧ及びサブ画面ＳＧに同時に表示される内視鏡画像に含まれる病変候補領域Ｌの個数に係わらず、当該サブ画面ＳＧの内視鏡画像に含まれる全ての病変候補領域Ｌに対してマーカ画像Ｍが付加される。また、以上に述べたように、図７の一連の処理によれば、メイン画面ＭＧ及びサブ画面ＳＧに同時に表示される内視鏡画像に１つの病変候補領域Ｌが含まれる場合に、当該１つの病変候補領域Ｌの位置を強調するためのマーカ画像Ｍが当該メイン画面に付加される。また、以上に述べたように、図７の一連の処理によれば、メイン画面ＭＧ及びサブ画面ＳＧに同時に表示される内視鏡画像に複数の病変候補領域Ｌが含まれる場合に、当該メイン画面ＭＧに同時に付加されるマーカ画像Ｍの総数を当該内視鏡画像から検出された病変候補領域Ｌの総数未満にすることができる。従って、本実施形態によれば、メイン画面ＭＧを見ながら行われる作業を極力妨げないように当該メイン画面ＭＧにマーカ画像Ｍを付加することができるため、複数の画面に同時に表示される内視鏡画像を見ながら作業を行うユーザの負担を軽減することができる。
（第３の実施形態）
　図１１から図１４は、本発明の第３の実施形態に係るものである。
　なお、本実施形態においては、第１及び第２の実施形態のうちの少なくともいずれか一方と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１及び第２の実施形態のいずれともと異なる構成等を有する部分に関して主に説明を行う。
　内視鏡システム１Ａは、図１１に示すように、第１の実施形態で述べた内視鏡画像処理装置１３の代わりに内視鏡画像処理装置１３Ａを設けて構成されている。また、内視鏡画像処理装置１３Ａは、図１１に示すように、第１の実施形態で述べた病変候補領域評価部１３２の代わりに作業状態推定部１３２Ａを設けて構成されている。図１１は、第３の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。
　作業状態推定部１３２Ａは、例えば、本体装置１２の制御部１２３の動作をモニタリングすることにより、内視鏡１１の操作スイッチ部１１２においてなされた指示を検出することができるように構成されている。また、作業状態推定部１３２Ａは、本体装置１２から出力される内視鏡画像と、操作スイッチ部１１２においてなされた指示の検出結果と、のうちの少なくとも一方に基づき、病変候補領域検出部１３１により病変候補領域Ｌが検出された際のユーザの作業状態を推定するための処理を行うように構成されている。すなわち、作業状態推定部１３２Ａは、本体装置１２から出力される内視鏡画像と、内視鏡１１が有する１つ以上の機能の動作状態を設定するために行われた指示の検出結果と、のうちの少なくとも一方に基づき、病変候補領域検出部１３１により病変候補領域Ｌが検出された際のユーザの作業状態を推定するための処理を行うように構成されている。
　ここで、本実施形態の内視鏡画像処理装置１３Ａの各部において行われる処理の具体例について、図１２等を参照しつつ説明する。なお、本実施形態においては、本体装置１２から出力される内視鏡画像に１つの病変候補領域Ｌが含まれている場合を例に挙げて説明を行う。図１２は、第３の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャートである。
　病変候補領域検出部１３１は、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌを検出するための処理を行うとともに、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得するための処理を行う（図１２のステップＳ３１）。
　具体的には、病変候補領域検出部１３１は、例えば、図１２のステップＳ３１の処理を行うことにより、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌ３１を検出するとともに、当該検出した病変候補領域Ｌ３１を示す情報である病変候補情報ＩＬ３１を取得する。
　作業状態推定部１３２Ａは、本体装置１２から出力される内視鏡画像と、操作スイッチ部１１２においてなされた指示の検出結果と、のうちの少なくとも一方に基づき、図１２のステップＳ３１の処理により病変候補領域Ｌが検出された際のユーザの作業状態を推定するための処理を行う（図１２のステップＳ３２）。
　ここで、図１２のステップＳ３２において行われる処理の具体例について説明する。
　作業状態推定部１３２Ａは、本体装置１２から順次出力される複数フレームの内視鏡画像の動きベクトルを算出するための処理を行う。そして、作業状態推定部１３２Ａは、例えば、図１２のステップＳ３１の処理により病変候補領域Ｌ３１が検出された際に算出した動きベクトルの方向が内視鏡画像の暗部側（奥側）へ向いており、かつ、当該動きベクトルの大きさが所定の閾値ＴＨＶ以上であることを検出した場合に、内視鏡１１の（挿入部の）挿入に係る作業が行われているとの推定結果を得る。また、作業状態推定部１３２Ａは、例えば、図１２のステップＳ３１の処理により病変候補領域Ｌ３１が検出された際に算出した動きベクトルの方向が内視鏡画像の暗部側（奥側）へ向いていないことを検出した場合、または、当該動きベクトルの大きさが所定の閾値ＴＨＶ未満であることを検出した場合のいずれかにおいて、内視鏡１１の（挿入部の）挿入に係る作業とは異なる作業が行われていると判断する。
　作業状態推定部１３２Ａは、例えば、本体装置１２から順次出力される内視鏡画像に対して画像認識処理を行うことにより、内視鏡１１により撮像された部位が人体の大腸内のどの部位に該当するかに係る処理結果を得るとともに、当該処理結果に応じて内視鏡１１が盲腸に到達済であるか否かを示すフラグＦＣの設定を行う。フラグＦＣは、例えば、内視鏡画像処理装置１３Ａの電源投入時にオフに設定されるとともに、内視鏡１１により撮像された部位が盲腸であるとの処理結果が内視鏡画像処理装置１３Ａの電源投入後に最初に得られた際にオンに設定される。そして、作業状態推定部１３２Ａは、図１２のステップＳ３１の処理により病変候補領域Ｌ３１が検出された際のフラグＦＣがオフである場合に、内視鏡１１の（挿入部の）挿入に係る作業が行われているとの推定結果を得る。また、作業状態推定部１３２Ａは、図１２のステップＳ３１の処理により病変候補領域Ｌ３１が検出された際のフラグＦＣがオンである場合に、内視鏡１１の（挿入部の）挿入に係る作業とは異なる作業が行われていると判断する。
　作業状態推定部１３２Ａは、内視鏡１１の（挿入部の）挿入に係る作業とは異なる作業が行われていると判断した場合に、例えば、操作スイッチ部１１２においてなされた指示の検出結果に基づき、図１２のステップＳ３１の処理により病変候補領域Ｌ３１が検出された際の内視鏡１１（撮像部１１１）の観察倍率を特定する。そして、作業状態推定部１３２Ａは、図１２のステップＳ３１の処理により病変候補領域Ｌ３１が検出された際の内視鏡１１（撮像部１１１）の観察倍率が所定の閾値ＴＨＭ以上である場合に、当該病変候補領域Ｌの診断に係る作業が行われているとの推定結果を得る。
　作業状態推定部１３２Ａは、内視鏡１１の（挿入部の）挿入に係る作業とは異なる作業が行われていると判断した場合に、例えば、本体装置１２から出力される内視鏡画像に基づき、図１２のステップＳ３１の処理により検出された病変候補領域Ｌ３１に対する処置に用いられる処置具の先端部が当該内視鏡画像に含まれているか否かを特定する。そして、作業状態推定部１３２Ａは、図１２のステップＳ３１の処理により検出された病変候補領域Ｌ３１に対する処置に用いられる処置具の先端部が内視鏡画像に含まれている場合に、当該病変候補領域Ｌの処置に係る作業が行われているとの推定結果を得る。
　作業状態推定部１３２Ａは、内視鏡１１の（挿入部の）挿入に係る作業、図１２のステップＳ３１の処理により検出された病変候補領域Ｌ３１の診断に係る作業、及び、当該病変候補領域Ｌ３１に対する処置に係る作業のいずれにも該当しないと判断した場合に、当該病変候補領域Ｌ３１の探索に係る作業が行われているとの推定結果を得る。
　表示制御部１３３は、図１２のステップＳ３２の処理により得られた推定結果に基づき、メイン画面ＭＧにおけるマーカ画像Ｍの付加を制限するか否かを設定するための処理を行う（図１２のステップＳ３３）。すなわち、表示制御部１３３は、図１２のステップＳ３３において、作業状態推定部１３２Ａの処理により得られたユーザの作業状態の推定結果に基づき、メイン画面ＭＧ及びサブ画面ＳＧに含まれる病変候補領域Ｌの位置を強調処理部１３４Ａの処理により強調する際の強調方法を設定するための処理を行う。
　具体的には、表示制御部１３３は、例えば、図１２のステップＳ３２の処理により、内視鏡１１の（挿入部の）挿入に係る作業が行われているとの推定結果、図１２のステップＳ３１の処理により検出された病変候補領域Ｌ３１の診断に係る作業が行われているとの推定結果、または、当該病変候補領域Ｌ３１に対する処置に係る作業が行われているとの推定結果のいずれかが得られた場合に、メイン画面ＭＧにおけるマーカ画像Ｍの付加を制限するための設定を行う。また、表示制御部１３３は、例えば、図１２のステップＳ３２の処理により、図１２のステップＳ３１の処理により検出された病変候補領域Ｌ３１の探索に係る作業が行われているとの推定結果が得られた場合に、メイン画面ＭＧにおけるマーカ画像Ｍの付加を制限しないようにするための設定を行う。
　すなわち、以上に述べた具体例によれば、表示制御部１３３は、作業状態推定部１３２Ａの処理により、内視鏡１１の挿入に係る作業が行われているとの推定結果、病変候補領域検出部１３１により検出された病変候補領域Ｌの診断に係る作業が行われているとの推定結果、または、病変候補領域検出部１３１により検出された病変候補領域Ｌの処置に係る作業が行われているとの推定結果のいずれかが得られた場合に、メイン画面ＭＧに対する強調処理部１３４Ａの処理を制限するための設定を行うようにしている。
　強調処理部１３４Ａは、図１２のステップＳ３１の処理により取得された病変候補情報ＩＬ３１と、図１２のステップＳ３３の処理により設定された設定内容と、に基づき、メイン画面ＭＧの内部におけるマーカ画像Ｍの付加を抑制するとともに、サブ画面ＳＧの内部にマーカ画像Ｍを付加するための処理を行う（図１２のステップＳ３４）。
　そして、図１２のステップＳ３４の処理が行われた場合には、例えば、図１３または図１４に示すような表示画像が生成されるとともに、当該生成された表示画像が表示装置１４に表示される。図１３及び図１４は、第３の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図１３に例示した表示画像によれば、サブ画面ＳＧの内視鏡画像に含まれる病変候補領域Ｌ３１の周囲が矩形の枠であるマーカ画像ＭＳ３により囲まれている一方で、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ３１の周囲にはマーカ画像Ｍが付加されていない。すなわち、図１２のステップＳ３４において、メイン画面ＭＧにマーカ画像Ｍを付加しないようにするとともに、サブ画面ＳＧの内部にマーカ画像Ｍを付加するための処理が行われた際に、図１３に例示したような表示画像が表示装置１４に表示される。さらに換言すると、図１２のステップＳ３４において、表示制御部１３３の処理により設定された設定内容に基づき、メイン画面ＭＧに含まれる病変候補領域Ｌの位置を強調しないようにするとともに、サブ画面ＳＧに含まれる当該病変候補領域Ｌの位置を強調するための処理が強調処理部１３４Ａにより行われた際に、図１３に例示したような表示画像が表示装置１４に表示される。
　図１４に例示した表示画像によれば、サブ画面ＳＧの内視鏡画像に含まれる病変候補領域Ｌ３１の周囲が矩形の枠であるマーカ画像ＭＳ３により囲まれているとともに、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ３１の位置を指し示すための三角形のマークであるマーカ画像ＭＭ３が当該メイン画面ＭＧの外部における上下左右に１つずつ付加されている。すなわち、図１２のステップＳ３４において、メイン画面ＭＧの外部にマーカ画像Ｍを付加するための処理が行われるとともに、サブ画面ＳＧの内部にマーカ画像Ｍを付加するための処理が行われた際に、図１４に例示したような表示画像が表示装置１４に表示される。さらに換言すると、図１２のステップＳ３４において、表示制御部１３３の処理により設定された設定内容に基づき、メイン画面ＭＧに含まれる病変候補領域Ｌの位置を当該メイン画面ＭＧの外部において強調するための処理を行うとともに、サブ画面ＳＧに含まれる病変候補領域Ｌの位置を当該サブ画面ＳＧの内部において強調するための処理が強調処理部１３４Ａにより行われた際に、図１４に例示したような表示画像が表示装置１４に表示される。
　強調処理部１３４Ａは、図１２のステップＳ３１の処理により取得された病変候補情報ＩＬと、図１２のステップＳ３３の処理により設定された設定内容に基づき、メイン画面ＭＧの内部及びサブ画面ＳＧの内部にそれぞれマーカ画像Ｍを付加するための処理を行う（図１２のステップＳ３５）。
　そして、図１２のステップＳ３５の処理が行われた場合には、例えば、図６に示したものと略同様の表示画像が表示装置１４に表示される。
　以上に述べたように、図１２の一連の処理によれば、例えば、メイン画面ＭＧ及びサブ画面ＳＧに同時に内視鏡画像を表示させつつ、当該メイン画面ＭＧを注視する時間が当該サブ画面ＳＧを注視する時間よりも十分に長くなるような作業を行う場合において、当該作業の妨げにならないように、当該メイン画面ＭＧに含まれる病変候補領域Ｌに対するマーカ画像Ｍの付加を制限することができる。従って、本実施形態によれば、複数の画面に同時に表示される内視鏡画像を見ながら作業を行うユーザの負担を軽減することができる。
　なお、本実施形態においては、例えば、中心波長が４１５ｎｍ付近に設定された青色の狭帯域光であるＮＢ光を発生するＬＥＤと、中心波長が５４０ｎｍ付近に設定された緑色の狭帯域光であるＮＧ光を発生するＬＥＤと、が光源部１２１にさらに設けられている場合に、図１２のステップＳ３２において、操作スイッチ部１１２においてなされた観察モードの設定に係る指示の検出結果に基づいてユーザの作業状態を推定するための処理が行われるようにしてもよい。具体的には、作業状態推定部１３２Ａは、例えば、Ｂ光、Ｇ光及びＲ光を被写体に照射して観察を行うモードである白色光観察モードに設定するための指示がなされたことを検出した場合に、病変候補領域Ｌの探索に係る作業が行われているとの推定結果を得るようにしてもよい。また、作業状態推定部１３２Ａは、例えば、ＮＢ光及びＮＧ光を被写体に照射して観察を行うモードである狭帯域光観察モードに設定するための指示がなされたことを検出した場合に、病変候補領域Ｌの診断に係る作業が行われているとの推定結果を得るようにしてもよい。
（第４の実施形態）
　図１５から図１８は、本発明の第４の実施形態に係るものである。
　なお、本実施形態においては、第１～第３の実施形態のうちの少なくともいずれか１つと同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１～第３の実施形態のいずれともと異なる構成等を有する部分に関して主に説明を行う。
　内視鏡システム１Ｂは、図１５に示すように、第１の実施形態で述べた内視鏡画像処理装置１３の代わりに内視鏡画像処理装置１３Ｂを設けて構成されている。また、内視鏡画像処理装置１３Ｂは、図１５に示すように、第１の実施形態で述べた病変候補領域評価部１３２の代わりに情報取得部１３２Ｂを設けて構成されている。図１５は、第４の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。
　情報取得部１３２Ｂは、病変候補領域検出部１３１により病変候補領域Ｌが検出された際に、記憶媒体１３４に格納されている表示設定情報を読み込むとともに、当該読み込んだ表示設定情報に含まれる設定値を取得するための処理を行うように構成されている。すなわち、情報取得部１３２Ｂは、メイン画面ＭＧ及びサブ画面ＳＧを含む表示画像を表示装置１４に表示する際の表示状態に係る情報を取得するように構成されている。
　ここで、本実施形態の内視鏡画像処理装置１３Ｂの各部において行われる処理の具体例について、図１６等を参照しつつ説明する。なお、本実施形態においては、本体装置１２から出力される内視鏡画像に１つの病変候補領域Ｌが含まれている場合を例に挙げて説明を行う。また、本実施形態においては、操作スイッチ部１１２の操作により、サブ画面ＳＧの画面サイズの設定値ＳＳを、下限値Ｓｍｉｎ以上かつ上限値Ｓｍａｘ以下の範囲内の所望の設定値に変化させるための指示を行うことが可能であるものとして説明を行う。また、本実施形態においては、操作スイッチ部１１２の操作により、メイン画面ＭＧ及びサブ画面ＳＧを含む表示画像全域の明るさの設定値ＢＳを、下限値Ｂｍｉｎ以上かつ上限値Ｂｍａｘ以下の範囲内の所望の設定値に変化させるための指示を行うことが可能であるものとして説明を行う。図１６は、第４の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャートである。
　病変候補領域検出部１３１は、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌを検出するための処理を行うとともに、当該検出した病変候補領域Ｌを示す情報である病変候補情報ＩＬを取得するための処理を行う（図１６のステップＳ４１）。
　具体的には、病変候補領域検出部１３１は、例えば、図１６のステップＳ４１の処理を行うことにより、本体装置１２から出力される内視鏡画像に含まれる病変候補領域Ｌ４１を検出するとともに、当該検出した病変候補領域Ｌ４１を示す情報である病変候補情報ＩＬ４１を取得する。
　情報取得部１３２Ｂは、図１６のステップＳ４１の処理により病変候補領域Ｌが検出された際に、記憶媒体１３４に格納されている表示設定情報を読み込むとともに、当該読み込んだ表示設定情報に含まれる設定値を取得するための処理を行う（図１６のステップＳ４２）。
　表示制御部１３３は、メイン画面ＭＧに付加されるマーカ画像ＭＭ４の強調レベルＥＭ４を所定の強調レベルに設定するための処理を行う。また、表示制御部１３３は、図１６のステップＳ４２の処理により取得された表示設定情報に含まれる設定値に応じ、サブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を設定するための処理を行う（図１６のステップＳ４３）。すなわち、表示制御部１３３は、メイン画面ＭＧに含まれる病変候補領域Ｌの位置を強調する際の強調レベルを所定の強調レベルに設定するための処理を行うとともに、サブ画面ＳＧに含まれる当該病変候補領域Ｌの位置を強調する際の強調レベルを情報取得部１３２Ｂにより取得された情報に応じて変化させるための処理を行うようにしている。
　ここで、図１６のステップＳ４３において行われる処理の具体例について説明する。
　表示制御部１３３は、例えば、図１６のステップＳ４２の処理により取得された表示設定情報に含まれるサブ画面ＳＧの画面サイズの設定値ＳＳが下限値Ｓｍｉｎに近づくに従い、当該サブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を上昇させるような設定を行う。また、表示制御部１３３は、例えば、図１６のステップＳ４２の処理により取得された表示設定情報に含まれるサブ画面ＳＧの画面サイズの設定値ＳＳが上限値Ｓｍａｘに近づくに従い、当該サブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を低下させるような設定を行う。すなわち、このような場合において、表示制御部１３３は、サブ画面ＳＧの画面サイズの設定値ＳＳが小さくなるに伴ってサブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を上昇させるとともに、当該設定値ＳＳが大きくなるに伴って当該強調レベルＥＳ４を低下させるような設定を行う。
　表示制御部１３３は、例えば、図１６のステップＳ４２の処理により取得された表示設定情報に含まれる表示画像全域の明るさの設定値ＢＳが下限値Ｂｍｉｎに近づくに従い、サブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を上昇させるような設定を行う。また、表示制御部１３３は、例えば、図１６のステップＳ４２の処理により取得された表示設定情報に含まれる表示画像全域の明るさの設定値ＢＳが上限値Ｂｍａｘに近づくに従い、サブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を低下させるような設定を行う。すなわち、このような場合において、表示制御部１３３は、表示画像全域の明るさの設定値ＢＳが小さくなるに伴ってサブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を上昇させるとともに、当該設定値ＢＳが大きくなるに伴って当該強調レベルＥＳ４を低下させるような設定を行う。
　強調処理部１３４Ａは、図１６のステップＳ４１の処理により取得された病変候補情報ＩＬ４１と、図１６のステップＳ４３の処理により設定された設定内容と、に基づき、メイン画面ＭＧ及びサブ画面ＳＧにマーカ画像Ｍを付加するための処理を行う（図１６のステップＳ４４）。
　そして、図１６のステップＳ４４の処理によれば、例えば、図１７または図１８に示すような表示画像が生成されるとともに、当該生成された表示画像が表示装置１４に表示される。図１７及び図１８は、第４の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図１７に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ４１の周囲が矩形の枠であるマーカ画像ＭＭ４により囲まれているとともに、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ４１の周囲が矩形の枠であるマーカ画像ＭＳ４により囲まれている。また、図１７に例示した表示画像によれば、サブ画面ＳＧの画面サイズの設定値ＳＳが上限値Ｓｍａｘ（または上限値Ｓｍａｘに近い値）に設定されているとともに、マーカ画像ＭＳ４の枠線が強調レベルＥＳ４に応じた線幅に相当する細幅の線で表示されている。
　図１８に例示した表示画像によれば、メイン画面ＭＧの内視鏡画像に含まれる病変候補領域Ｌ４１の周囲が矩形の枠であるマーカ画像ＭＭ４により囲まれているとともに、サブ画面ＳＧの内視鏡画像に含まれる当該病変候補領域Ｌ４１の周囲が矩形の枠であるマーカ画像ＭＳ４により囲まれている。また、図１８に例示した表示画像によれば、サブ画面ＳＧの画面サイズの設定値ＳＳが下限値Ｓｍｉｎ（または下限値Ｓｍｉｎに近い値）に設定されているとともに、マーカ画像ＭＳ４の枠線が強調レベルＥＳ４に応じた線幅に相当する太幅の線で表示されている。
　以上に述べたように、図１６の一連の処理によれば、例えば、メイン画面ＭＧ及びサブ画面ＳＧに同時に内視鏡画像を表示させつつ、当該サブ画面ＭＧを見ながら病変候補領域Ｌの診断に係る作業を行うような場合に、当該作業の妨げにならないように、当該サブ画面ＳＧに付加されるマーカ画像Ｍの強調状態を変化させることができる。また、以上に述べたように、図１６の一連の処理によれば、例えば、メイン画面ＭＧ及びサブ画面ＳＧに同時に内視鏡画像を表示させつつ、当該メイン画面ＭＧを見ながら病変候補領域Ｌの探索に係る作業を行うような場合に、当該サブ画面ＳＧの表示状態が当該作業に適さない状態になっていたとしても、当該作業を支援可能なマーカ画像Ｍを当該サブ画面ＳＧに付加することができる。従って、本実施形態によれば、複数の画面に同時に表示される内視鏡画像を見ながら作業を行うユーザの負担を軽減することができる。
　なお、本実施形態によれば、例えば、図１６のステップＳ４３において、本体装置１２から出力される内視鏡画像の明るさの検出結果に応じ、サブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を変化させるような処理が行われるようにしてもよい。具体的には、例えば、図１６のステップＳ４３において、本体装置１２から出力される内視鏡画像の明るさを検出し、当該検出した明るさが低下するに伴ってサブ画面ＳＧに付加されるマーカ画像ＭＳ４の強調レベルＥＳ４を上昇させるとともに、当該検出した明るさが上昇するに伴って当該強調レベルＥＳ４を低下させるような設定が行われるようにしてもよい。
　また、以上に述べた各実施形態においては、例えば、操作スイッチ部１１２等の入力装置においてなされた指示に応じ、メイン画面ＭＧに付加されるマーカ画像ＭＭと、サブ画面ＳＧに付加されるマーカ画像ＭＳと、が個別に表示または非表示に設定されるようにしてもよい。なお、前述の入力装置としては、操作スイッチ部１１２以外に、例えば、フットスイッチ、キーボード、タブレット端末及びマイク等を用いることができる。
　本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (15)

  1. 　被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成するように構成された内視鏡画像処理装置であって、
    　前記内視鏡画像が順次入力されるとともに、前記内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出するための処理を行うように構成された病変候補領域検出部と、
    　前記病変候補領域の位置を強調するための処理を行うように構成された強調処理部と、
    　前記病変候補領域の状態、前記内視鏡を用いて作業を行うユーザの作業状態、または、前記表示画像の表示状態のいずれかに基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するための処理を行うように構成された表示制御部と、
    　を有することを特徴とする内視鏡画像処理装置。
  2. 　前記病変候補領域に含まれる病変の種類、前記病変候補領域の前記内視鏡画像内におけるサイズ、及び、前記病変候補領域の前記内視鏡画像内における位置の少なくともいずれか１つに基づき、前記病変候補領域の発見難度を評価するための処理を行うように構成された病変候補領域評価部をさらに有し、
    　前記表示制御部は、前記病変候補領域評価部の処理により得られた前記病変候補領域の発見難度の評価結果に基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するように構成されている
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  3. 　前記表示制御部は、前記病変候補領域評価部の処理により発見難度が高いとの評価結果が得られた前記病変候補領域の位置を前記メイン画面において強調する際の強調レベルを所定の強調レベルに設定し、前記病変候補領域評価部の処理により発見難度が高いとの評価結果が得られた前記病変候補領域の位置を前記サブ画面において強調する際の強調レベルを前記所定の強調レベルよりも大きな強調レベルに設定するように構成されている
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  4. 　前記病変候補領域評価部は、前記病変候補領域検出部の処理により検出された前記複数の病変候補領域の各々の発見難度を評価するための処理を行うように構成されており、
    　前記表示制御部は、前記複数の病変候補領域のうち前記病変候補領域評価部の処理により発見難度が高いとの評価結果が得られた前記病変候補領域の位置を前記メイン画面及び前記サブ画面において強調させるための設定を行い、前記複数の病変候補領域のうち前記病変候補領域評価部の処理により発見難度が低いとの評価結果が得られた前記病変候補領域の位置を前記サブ画面において強調させるための設定を行うように構成されている
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  5. 　前記病変候補領域検出部の処理により検出された前記複数の病変候補領域の相対距離に基づき、前記複数の病変候補領域の位置関係を評価するための処理を行うように構成された病変候補領域評価部をさらに有し、
    　前記表示制御部は、前記病変候補領域評価部の処理により得られた前記複数の病変候補領域の位置関係の評価結果に基づき、前記メイン画面及び前記サブ画面に含まれる前記複数の病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するように構成されている
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  6. 　前記表示制御部は、前記病変候補領域評価部の処理により相互に近接した位置に存在するとの評価結果が得られた前記病変候補領域の位置を前記メイン画面においてまとめて強調するとともに前記サブ画面において個別に強調するための設定を行い、前記病変候補領域評価部の処理により遠く離れた位置に存在するとの評価結果が得られた前記病変候補領域の位置を前記メイン画面及び前記サブ画面の各々において個別に強調するための設定を行うように構成されている
    　ことを特徴とする請求項５に記載の内視鏡画像処理装置。
  7. 　前記内視鏡画像と、前記内視鏡が有する１つ以上の機能の動作状態を設定するために行われた指示の検出結果と、のうちの少なくとも一方に基づき、前記病変候補領域が検出された際の前記ユーザの作業状態を推定するための処理を行うように構成された作業状態推定部をさらに有し、
    　前記表示制御部は、前記作業状態推定部の処理により得られた前記ユーザの作業状態の推定結果に基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するように構成されている
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  8. 　前記表示制御部は、前記作業状態推定部の処理により、前記内視鏡の挿入に係る作業が行われているとの推定結果、前記病変候補領域の診断に係る作業が行われているとの推定結果、または、前記病変候補領域の処置に係る作業が行われているとの推定結果のいずれかが得られた場合に、前記メイン画面に対する前記強調処理部の処理を制限するための設定を行うように構成されている
    　ことを特徴とする請求項７に記載の内視鏡画像処理装置。
  9. 　前記強調処理部は、前記表示制御部の処理により設定された設定内容に基づき、前記メイン画面に含まれる前記病変候補領域の位置を強調しないようにするとともに、前記サブ画面に含まれる前記病変候補領域の位置を強調するための処理を行うように構成されている
    　ことを特徴とする請求項８に記載の内視鏡画像処理装置。
  10. 　前記強調処理部は、前記表示制御部の処理により設定された設定内容に基づき、前記メイン画面に含まれる前記病変候補領域の位置を前記メイン画面の外部において強調するための処理を行うとともに、前記サブ画面に含まれる前記病変候補領域の位置を前記サブ画面の内部において強調するための処理を行うように構成されている
    　ことを特徴とする請求項８に記載の内視鏡画像処理装置。
  11. 　前記表示画像を表示装置に表示する際の表示状態に係る情報を取得するように構成された情報取得部をさらに有し、
    　前記表示制御部は、前記メイン画面に含まれる前記病変候補領域の位置を強調する際の強調レベルを所定の強調レベルに設定するための処理を行うとともに、前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調レベルを前記情報取得部により取得された情報に応じて変化させるための処理を行うように構成されている
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  12. 　前記情報取得部は、前記表示画像における前記サブ画像の画面サイズの設定値を示す情報を取得するように構成されており、
    　前記表示制御部は、前記サブ画像の画面サイズの設定値が下限値に近づくに従って前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調レベルを上昇させるような設定を行うとともに、前記サブ画像の画面サイズの設定値が上限値に近づくに従って前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調レベルを低下させるような設定を行うように構成されている
    　ことを特徴とする請求項１１に記載の内視鏡画像処理装置。
  13. 　前記情報取得部は、前記表示画像全域の明るさの設定値を示す情報を取得するように構成されており、
    　前記表示制御部は、前記表示画像全域の明るさの設定値が下限値に近づくに従って前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調レベルを上昇させるような設定を行うとともに、前記表示画像全域の明るさの設定値が上限値に近づくに従って前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調レベルを低下させるような設定を行うように構成されている
    　ことを特徴とする請求項１１に記載の内視鏡画像処理装置。
  14. 　被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成するように構成された内視鏡画像処理装置において用いられる内視鏡画像処理方法であって、
    　病変候補領域検出部が、前記内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出するステップと、
    　強調処理部が、前記病変候補領域の位置を強調するための処理を行うステップと、
    　表示制御部が、前記病変候補領域の状態、前記内視鏡を用いて作業を行うユーザの作業状態、または、前記表示画像の表示状態のいずれかに基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を前記強調処理部の処理により強調する際の強調方法を設定するステップと、
    　を有することを特徴とする内視鏡画像処理方法。
  15. 　コンピュータに、
    　被検体内の被写体を内視鏡で撮像して得られた内視鏡画像を同時に表示するための１つのメイン画面及び１つ以上のサブ画面を含む表示画像を生成する工程と、
    　前記内視鏡画像に含まれる１つのまたは複数の病変候補領域を検出する工程と、
    　前記病変候補領域の位置を強調する工程と、
    　前記病変候補領域の状態、前記内視鏡を用いて作業を行うユーザの作業状態、または、前記表示画像の表示状態のいずれかに基づき、前記メイン画面及び前記サブ画面に含まれる前記病変候補領域の位置を強調する際の強調方法を設定する工程と、
    　を実行させるためのプログラム。
PCT/JP2018/002462 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム WO2019146066A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/002462 WO2019146066A1 (ja) 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US16/936,601 US20210000327A1 (en) 2018-01-26 2020-07-23 Endoscopic image processing apparatus, endoscopic image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002462 WO2019146066A1 (ja) 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/936,601 Continuation US20210000327A1 (en) 2018-01-26 2020-07-23 Endoscopic image processing apparatus, endoscopic image processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2019146066A1 true WO2019146066A1 (ja) 2019-08-01

Family

ID=67395298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002462 WO2019146066A1 (ja) 2018-01-26 2018-01-26 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20210000327A1 (ja)
WO (1) WO2019146066A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210304889A1 (en) * 2018-06-04 2021-09-30 Deep Bio Inc. A two-phase disease diagnosis system and method thereof
JPWO2021210676A1 (ja) * 2020-04-16 2021-10-21
CN113842162A (zh) * 2020-06-25 2021-12-28 株式会社日立制作所 超声波诊断装置以及诊断辅助方法
WO2022191129A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018091486A1 (en) 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
CN112367896A (zh) * 2018-07-09 2021-02-12 富士胶片株式会社 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073338A1 (ja) * 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073338A1 (ja) * 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210304889A1 (en) * 2018-06-04 2021-09-30 Deep Bio Inc. A two-phase disease diagnosis system and method thereof
JPWO2021210676A1 (ja) * 2020-04-16 2021-10-21
CN113842162A (zh) * 2020-06-25 2021-12-28 株式会社日立制作所 超声波诊断装置以及诊断辅助方法
US20210401396A1 (en) * 2020-06-25 2021-12-30 Hitachi, Ltd. Ultrasound diagnostic apparatus and diagnosis assisting method
JP7438038B2 (ja) 2020-06-25 2024-02-26 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
US11931200B2 (en) * 2020-06-25 2024-03-19 Fujifilm Healthcare Corporation Ultrasound diagnostic apparatus and diagnosis assisting method
CN113842162B (zh) * 2020-06-25 2024-05-10 富士胶片医疗健康株式会社 超声波诊断装置以及诊断辅助方法
WO2022191129A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
US20210000327A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
WO2019146066A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
EP3151720B1 (en) Image processing apparatus and image processing method
CN108135457B (zh) 内窥镜图像处理装置
JP7074065B2 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP4861540B2 (ja) 医療装置
US10614555B2 (en) Correction processing of a surgical site image
JPWO2017073337A1 (ja) 内視鏡装置及びビデオプロセッサ
US11025835B2 (en) Imaging device, endoscope apparatus, and method for operating imaging device
JP7084994B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
JPWO2019244255A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法およびプログラム
CN113164023B (zh) 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
WO2019016912A1 (ja) 診断支援装置、診断支援方法及びプログラム
JP2011158549A (ja) 内視鏡装置およびプログラム
US20210113159A1 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method
JPWO2012153568A1 (ja) 医用画像処理装置
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6904727B2 (ja) 内視鏡装置
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
CN108463157B (zh) 内窥镜用处理器
US20210000326A1 (en) Endoscopic image processing apparatus, endoscopic image processing method, and recording medium
JPH10276974A (ja) 内視鏡装置
JP2006192058A (ja) 画像処理装置
JPWO2016111178A1 (ja) 内視鏡システム
JP7123173B2 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US11045071B2 (en) Image processing apparatus for endoscope and endoscope system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP