WO2020136858A1 - 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム - Google Patents

内視鏡画像処理装置、内視鏡画像処理方法及びプログラム Download PDF

Info

Publication number
WO2020136858A1
WO2020136858A1 PCT/JP2018/048408 JP2018048408W WO2020136858A1 WO 2020136858 A1 WO2020136858 A1 WO 2020136858A1 JP 2018048408 W JP2018048408 W JP 2018048408W WO 2020136858 A1 WO2020136858 A1 WO 2020136858A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
area
display
endoscopic image
mark
Prior art date
Application number
PCT/JP2018/048408
Other languages
English (en)
French (fr)
Inventor
健人 速水
大和 神田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020562259A priority Critical patent/JP7123173B2/ja
Priority to CN201880100423.7A priority patent/CN113226151A/zh
Priority to PCT/JP2018/048408 priority patent/WO2020136858A1/ja
Publication of WO2020136858A1 publication Critical patent/WO2020136858A1/ja
Priority to US17/355,545 priority patent/US20210327067A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an endoscopic image processing device, an endoscopic image processing method, and a program.
  • a technique is conventionally known in which a lesion is detected from an image obtained by imaging a desired region of a subject, and information regarding the detected lesion is added to the image and displayed. ing.
  • a lesion area is detected from an X-ray image obtained by imaging the chest of a subject, and the position of the detected lesion area is specified.
  • a technique for displaying possible marks on the outer frame portion of a diagnostic image corresponding to the X-ray image is disclosed.
  • an elongated insertion part provided in the endoscope is inserted into the inside of the subject, and the observation is defined by an optical element or the like provided at the distal end of the insertion part.
  • a subject in the field of view is captured, and an image obtained by capturing the subject is displayed on a display device such as a monitor.
  • the inside of the subject is changed.
  • Japanese Patent Laid-Open No. 2004-73488 discloses a specific display method for displaying a mark that can specify the position of a lesion in an image obtained by imaging a subject during endoscopic observation. Not specifically mentioned.
  • Japanese Unexamined Patent Publication No. 2004-73488 for example, according to the change in the position of the lesion part in the image obtained by imaging the subject during endoscopic observation, A situation may occur in which the display position of the mark whose position can be specified changes frequently.
  • the configuration disclosed in Japanese Unexamined Patent Publication No. 2004-73488 when the above-mentioned situation occurs, the user who performs a work such as diagnosis of a lesion site pays close attention to the mark display position. The problem is that you have to pay.
  • the present invention has been made in view of the above-mentioned circumstances, and an endoscopic image processing apparatus and an endoscopic image processing method capable of reducing the burden on a user who performs a work such as diagnosis of a lesion by endoscopic observation. And to provide a program.
  • An endoscopic image processing apparatus provides a lesion area corresponding to an area estimated to include a lesion in an endoscopic image obtained by imaging an object in a subject with an endoscope.
  • a lesion detection unit configured to perform a process for detecting, and a process for obtaining lesion information including information indicating a position of the lesion region included in the endoscopic image, and the endoscopic Based on the determination unit configured to determine whether the lesion area is included in the mirror image, the lesion information, and the determination result obtained by the determination unit, based on the lesion detection unit, While performing processing for generating one or more marks indicating the outline of the detection state of the lesion area, the endoscopic image is displayed in the endoscopic image display area set on the display screen of the display device.
  • N marks set as a region on the display screen outside the endoscopic image display region and having a number corresponding to the maximum display number of the one or more marks
  • a display control unit configured to perform a process for generating a display image for displaying the one or more marks in at least one of the display areas.
  • An endoscopic image processing method is characterized in that a lesion detecting unit is configured to detect a lesion in an endoscopic image obtained by imaging an object in a subject with an endoscope. While performing processing for detecting a corresponding lesion area, performing processing for acquiring lesion information including information indicating the position of the lesion area included in the endoscopic image, the determination unit, It is determined whether the lesion area is included in the mirror image, the display control unit, based on the lesion information and the determination result obtained by the determination unit, based on the lesion detection unit of the lesion detection unit.
  • Processing for generating one or more marks indicating an outline of the detection state is performed, and the display control unit displays the endoscopic image in an endoscopic image display area set on a display screen of a display device. While being set, N pieces are set at predetermined positions outside the endoscopic image display area on the display screen and are set as areas having a number corresponding to the maximum display number of the one or more marks. Processing for generating a display image for displaying the one or more marks in at least one of the mark display areas.
  • a program causes a computer to detect a lesion area corresponding to an area estimated to include a lesion portion in an endoscopic image obtained by imaging an object in a subject with an endoscope.
  • Processing for obtaining the lesion information including information indicating the position of the lesion area included in the endoscopic image, whether the lesion area is included in the endoscopic image A determination process based on the determination process, the lesion information, and the determination result obtained by the determination process; and a process for generating one or more marks indicating an outline of the detection state of the lesion region, While displaying the endoscopic image in the endoscopic image display area set on the display screen of the display device, while being set at a predetermined position outside the endoscopic image display area on the display screen, To generate a display image for displaying the one or more marks in at least one of the N mark display areas set as an area having a number corresponding to the maximum display number of the one or more marks The processing of and is executed.
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including an endoscope image processing device according to an embodiment.
  • 3 is a flowchart for explaining processing performed in the endoscopic image processing apparatus according to the first embodiment.
  • FIG. 6 is a diagram showing an example of an endoscopic image display area and a mark display area set on the display screen of the display device. It is a figure which shows an example of the reference area
  • 9 is a flowchart for explaining processing performed in the endoscopic image processing apparatus according to the second embodiment.
  • FIG. 9 is a flowchart for explaining processing performed in the endoscopic image processing apparatus according to the modified example of the second embodiment.
  • the endoscope system 1 is configured to include an endoscope 11, a main body device 12, an endoscope image processing device 13, and a display device 14.
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including an endoscope image processing device according to an embodiment.
  • the endoscope 11 is configured to include, for example, an elongated insertion portion (not shown) that can be inserted into a subject, and an operation portion (not shown) provided at a proximal end portion of the insertion portion. Has been done. Further, the endoscope 11 is configured to be detachably connected to the main body device 12 via, for example, a universal cable (not shown) extending from the operation unit. Further, inside the endoscope 11, for example, a light guide member (not shown) such as an optical fiber for guiding the illumination light supplied from the main body device 12 and emitting the light from the distal end portion of the insertion portion is provided. Has been. An imaging unit 111 is provided at the tip of the insertion portion of the endoscope 11.
  • the image pickup unit 111 is configured to include an image pickup element such as a CCD image sensor or a CMOS image sensor.
  • the imaging unit 111 also captures the return light from the subject illuminated by the illumination light emitted through the distal end of the insertion portion of the endoscope 11 and generates an imaging signal according to the captured return light. Output to the main body device 12.
  • the main body device 12 is configured to be detachably connected to each of the endoscope 11 and the endoscope image processing device 13. Further, the main body device 12 is configured to include a light source unit 121, an image generation unit 122, a control unit 123, and a storage medium 124, as shown in FIG. 1, for example.
  • the light source section 121 is configured to include one or more light emitting elements such as LEDs.
  • the light source unit 121 includes, for example, a blue LED that emits blue light (hereinafter also referred to as B light), a green LED that emits green light (hereinafter also referred to as G light), and a red light (hereinafter referred to as red light). , R light) is also generated. Further, the light source unit 121 is configured to generate illumination light according to the control of the control unit 123 and supply it to the endoscope 11.
  • the image generation unit 122 generates an endoscopic image based on the image pickup signal output from the endoscope 11, and sequentially outputs the generated endoscopic image to the endoscopic image processing device 13 frame by frame. It is configured to be able to.
  • the image generation unit 122 and the control unit 123 of the main body device 12 may be configured as individual electronic circuits, or configured as circuit blocks in an integrated circuit such as FPGA (Field Programmable Gate Array). It may have been done. Further, in the present embodiment, for example, the main body device 12 may be configured to include one or more processors (CPU and the like). In addition, by appropriately modifying the configuration according to the present embodiment, for example, the main body device 12 reads a program for executing the functions of the image generation unit 122 and the control unit 123 from the storage medium 124 such as a memory, and You may make it operate
  • the storage medium 124 such as a memory
  • the endoscope image processing device 13 is configured to be detachably connected to each of the main body device 12 and the display device 14. In addition, the endoscopic image processing apparatus 13 performs one or more marks indicating the outline of the detection state of the lesion area in the endoscopic image by performing processing based on the endoscopic image output from the main body apparatus 12. Is configured to generate. Further, the endoscopic image processing device 13 generates a display image including the endoscopic image output from the main body device 12 and the one or more marks generated as described above, and outputs the display image to the display device 14. Is configured to be able to. In addition, the endoscopic image processing apparatus 13 is configured to include a lesion detection unit 131, a determination unit 132, a display control unit 133, and a storage medium 134.
  • the lesion detection unit 131 performs processing for detecting a lesion region L corresponding to a region estimated to include a lesion in the endoscopic images sequentially output from the main body device 12, and also detects the detected lesion region L. Is configured to perform a process for acquiring lesion information IL corresponding to the information indicating.
  • the lesion area L is detected as an area including a polyp, for example.
  • the lesion information IL is included in the endoscopic image and the information indicating the position (pixel position) of the lesion area L included in the endoscopic image output from the main body device 12, for example.
  • Information indicating the size (number of pixels) of the lesion area L to be acquired is acquired as information including the information.
  • the determination unit 132 is configured to determine whether or not the lesion area L is included in the endoscopic image output from the main body device 12 according to the acquisition state of the lesion information IL in the lesion detection unit 131. ..
  • the determination unit 132 when the lesion detection unit 131 detects that the lesion information IL is acquired, the determination unit 132 includes the lesion area L in the endoscopic image output from the main body device 12. Acquire the determination result that there is. Further, for example, when the lesion detection unit 131 detects that the lesion information IL is not acquired, the determination unit 132 does not include the lesion area L in the endoscopic images sequentially output from the main body device 12. Acquire the judgment result of.
  • the determination unit 132 is configured to include a memory (not shown) for sequentially storing the lesion information IL obtained by the lesion detection unit 131. Further, the determination unit 132 is configured to perform a process for determining whether or not the detection of the lesion area L corresponding to the lesion information IL has been interrupted, based on the lesion information IL obtained by the lesion detection unit 131. Has been done.
  • the determination unit 132 for example, the first lesion information obtained by the attention area detection unit 131 and the second lesion information stored in the memory one frame before the first lesion information. Based on the above, it is detected whether the first lesion area indicated by the first lesion information and the second lesion area indicated by the second lesion information are the same lesion area L. To do. Then, when the determination unit 132 can detect that the first and second lesion areas are the same lesion area L, it determines that the detection of the lesion area L is not interrupted. .. In addition, the determination unit 132 acquires a determination result that the detection of the lesion area L is interrupted when it is not possible to detect that the first and second lesion areas are the same lesion area L.
  • the display control unit 133 sets the endoscopic image display area on the display screen of the display device 14, and at the same time, a maximum mark to be described later is provided at a predetermined position outside the endoscopic image display area on the display screen. It is configured to perform a process for setting N mark display areas corresponding to the display number. That is, the N mark display areas are set at predetermined positions outside the endoscopic image display area on the display screen of the display device 14, and have a number corresponding to the maximum number of marks to be described later. Is set as. According to the present embodiment, the above-mentioned value of N may be set to an arbitrary value as long as it is a value corresponding to the maximum number of marks to be described later.
  • the display control unit 133 outlines the detection state of the lesion area L corresponding to the lesion information IL based on the lesion information IL obtained by the lesion detection unit 131 and the determination result obtained by the determination unit 132. It is configured to perform a process to generate one or more marks.
  • the display control unit 133 displays the endoscopic image output from the main body device 12 in the endoscopic image display area, and at the same time, displays the one or more marks generated as described above among the N mark display areas. It is configured to perform processing for generating and outputting a display image to be displayed on at least one. That is, the display control unit 133 may generate a display image including the endoscopic image output from the main body device 12 and one or more marks generated as described above, and output the display image to the display device 14. It is configured to be able to.
  • the lesion detection unit 131, the determination unit 132, and the display control unit 133 of the endoscopic image processing device 13 may be configured as individual electronic circuits, or an FPGA (Field Programmable Gate Array). And the like may be configured as a circuit block in an integrated circuit. Further, in the present embodiment, for example, the endoscopic image processing device 13 may be configured to include one or more processors (CPU and the like). Further, by appropriately modifying the configuration according to the present embodiment, for example, the endoscopic image processing apparatus 13 stores a program for causing the lesion detection unit 131, the determination unit 132, and the display control unit 133 to execute the functions in a memory or the like. The program may be read from the storage medium 134 and the operation according to the read program may be performed.
  • the program may be read from the storage medium 134 and the operation according to the read program may be performed.
  • the display device 14 is configured to be detachably connected to the endoscope image processing device 13. Further, the display device 14 includes a monitor and the like, and is configured to display a display image output from the endoscope image processing device 13.
  • a user such as a surgeon inserts the insertion part of the endoscope 11 into the inside of the subject after connecting the respective parts of the endoscope system 1 and turning on the power, and at the same time, desires inside the subject.
  • the distal end portion of the insertion portion is arranged at a position where the subject can be imaged.
  • the control unit 123 controls the light source unit 121 to sequentially or simultaneously generate B light, G light, and R light as illumination light when the main body device 12 is powered on. Then, under the control of the control unit 123 as described above, the illumination light is supplied from the light source unit 121 to the endoscope 11, and the return light from the subject illuminated by the illumination light is imaged by the imaging unit 111, and the imaging unit 111.
  • the image generation unit 122 generates an endoscopic image EG according to the image pickup signal output from the main body device 111, and the generated endoscopic image EG is sequentially transmitted to the endoscopic image processing device 13 frame by frame. Is output.
  • FIG. 2 is a flowchart for explaining the processing performed in the endoscopic image processing apparatus according to the first embodiment.
  • the lesion detection unit 131 performs a process for detecting a lesion region L corresponding to a region estimated to include a lesion in the endoscopic image EG, and a lesion corresponding to information indicating the detected lesion region L. A process for acquiring the information IL is performed.
  • the display control unit 133 sets an endoscopic image display area on the display screen of the display device 14, and also displays N mark display areas at predetermined positions outside the endoscopic image display area on the display screen. Perform processing for setting.
  • the display control unit 133 includes, for example, one endoscopic image display area AG and four mark display areas AM1, AM2, AM3, and AM4 of the display device 14 as shown in FIG. Set each on the display screen.
  • FIG. 3 is a diagram showing an example of the endoscopic image display area and the mark display area set on the display screen of the display device.
  • the endoscopic image display area AG is set as, for example, an octagonal area having the same size as the endoscopic image EG or a size larger than the endoscopic image EG (see FIG. 3 ).
  • the mark display areas AM1 to AM4 are, for example, located outside the endoscopic image display area AG on the display screen of the display device 14 and on the upper left side when viewed from the center of the endoscopic image display area AG.
  • Lower left side, upper right side, and lower right side are set as four triangular areas (see FIG. 3). That is, the mark display areas AM1 to AM4 are set at predetermined positions outside the endoscopic image display area AG, and are set as four areas corresponding to the maximum number of marks displayed in each display example described later. ..
  • the broken lines in the display screen of FIG. 3 are drawn to explain the positional relationship between the endoscopic image display area AG and the mark display areas AM1 to AM4, and thus are actually displayed on the display device 14. Is not displayed.
  • the display control unit 133 performs processing for setting a plurality of predetermined reference areas in the endoscopic image EG.
  • the display control unit 133 corresponds to a region obtained by dividing the octagonal endoscopic image EG into upper left part, lower left part, upper right part and lower right part 4 as shown in FIG. 4, for example.
  • Two reference areas AR1, AR2, AR3 and AR4 are set. Note that in FIG. 4, for convenience of illustration and description, drawing of a subject such as a lesion area L included in the endoscopic image EG is omitted.
  • FIG. 4 is a diagram showing an example of the reference area set in the endoscopic image.
  • the display control unit 133 sets a plurality of predetermined reference areas in the endoscopic image EG, the number and/or the shape different from the reference areas AR1 to AR4 illustrated in FIG. You may make it set the reference area
  • the determination unit 132 determines whether or not the endoscopic image EG includes the lesion area L according to the acquisition state of the lesion information IL in the lesion detection unit 131 (step S1 in FIG. 2).
  • the display control unit 133 uses the endoscopic image EG as an endoscope. After a display image to be displayed in the image display area is generated and output to the display device 14 (step S4 in FIG. 2), the series of processes is ended. That is, in the present embodiment, when the endoscopic image EG does not include the lesion area L, the mark indicating the outline of the detection state of the lesion area L is not displayed in the mark display area.
  • the display control unit 133 obtains the lesion information obtained by the lesion detection unit 131. Based on the IL and a plurality of predetermined reference regions set in the endoscopic image EG, a process for generating a mark indicating the outline of the detection state of the lesion region L corresponding to the lesion information IL is performed ( Step S2 of FIG. 2).
  • the display control unit 133 displays the endoscopic image EG in the endoscopic image display area, and at the same time, generates the display image for displaying the mark generated in step S2 of FIG. (Step S3 in FIG. 2), the series of processes is terminated.
  • FIGS. 5 to 8 are diagrams showing examples of display images displayed according to the processing of the endoscopic image processing apparatus according to the first embodiment.
  • An endoscopic image EGA having the same shape and size as the endoscopic image display area AG is displayed in the endoscopic image display area AG of the display image DGA in FIG. Further, according to the endoscopic image EGA in FIG. 5, the lesion area LA is included in the reference area AR2 (see FIG. 4) set in the lower left portion of the endoscopic image EGA. Therefore, according to the display image DGA of FIG. 5, the mark MA indicating that the lesion area LA is detected in the reference area AR2 of the endoscopic image EGA is displayed in the mark display area AM2.
  • the broken lines in the display screen of FIG. 5 are drawn to explain the positional relationship between the lesion area LA and the mark display areas AM1 to AM4, and thus are not actually displayed on the display device 14. And
  • the display control unit 133 performs processing for identifying that the current position of the lesion area LA is included in the reference area AR2. Further, according to the display example of FIG. 5, as the processing of step S2 of FIG. 2, processing for generating the mark MA indicating that the lesion area LA is detected in the reference area AR2 of the endoscopic image EGA is displayed. This is performed by the control unit 133. Further, according to the display example of FIG. 5, as the process of step S3 of FIG. 2, the process for generating the display image DGA including the endoscopic image EGA and the mark MA and displaying it on the display device 14 is the display control unit. 133.
  • the process of specifying one reference area AR2 including the current position of the lesion area LA among the plurality of predetermined reference areas based on the lesion information IL, and the one reference The process of generating the one mark MA indicating the area AR2, and the one mark MA is set in the one mark display area AM2 set at the position closest to the one reference area AR2 among the N mark display areas. Display processing is performed by the display control unit 133.
  • the lesion area LA is not detected.
  • a process for displaying marks in the mark display areas AM1, AM3, and AM4 corresponding to the reference areas AR1, AR3, and AR4 may be performed.
  • each mark display corresponding to the plurality of reference areas is displayed.
  • Processing for displaying the mark in the area may be performed.
  • the display control unit 133 performs processing for displaying marks in the mark display areas AM1 and AM2 corresponding to the reference areas AR1 and AR2. May be performed by.
  • the lesion area LA has a size that is included in the plurality of reference areas of the reference areas AR1 to AR4, the lesion area of the plurality of reference areas is concerned.
  • a process for displaying the mark in the one mark display area corresponding to the one reference area having the largest area including L may be performed.
  • an endoscopic image EGB having the same shape and size as the endoscopic image display area AG is displayed.
  • the lesion area LB is included in the reference area AR1 (see FIG. 4) set in the upper left portion of the endoscopic image EGB. Therefore, according to the display image DGB of FIG. 6, four marks MB1, MB2, MB3, and MB4 indicating that the lesion area LB is detected in the endoscopic image EGB are displayed in the mark display areas AM1 to AM4. .. Further, according to the display image DGB of FIG.
  • the mark MB1 having a shape indicating that the lesion area LB is detected in the reference area AR1 of the endoscopic image EGB is displayed.
  • a triangular mark MB1 indicating the reference area AR1 corresponding to the area where the lesion area LB in the endoscopic image EGB is detected is displayed.
  • marks MB2, MB3, and MB4 having a shape indicating that the lesion area LB is not detected in the reference areas AR2, AR3, and AR4 of the endoscopic image EGB are displayed.
  • the broken lines in the display screen of FIG. 6 are drawn to explain the positional relationship between the lesion area LB and the mark display areas AM1 to AM4, and thus are not actually displayed on the display device 14.
  • the processing for generating the marks MB1, MB2, MB3, and MB4 indicating that the lesion area LB is detected in the endoscopic image EGB is performed. This is performed by the display control unit 133. Further, according to the display example of FIG. 6, as the processing of step S2 of FIG. 2, the display control unit 133 performs processing for identifying that the current position of the lesion area LB is included in the reference area AR1. Be seen. Further, according to the display example of FIG. 6, as the processing of step S2 of FIG. 2, a triangular mark MB1 indicating a reference area AR1 corresponding to the area in which the lesion area LB is detected in the endoscopic image EGB is generated.
  • the display control unit 133 performs a process for doing so. Further, according to the display example of FIG. 6, as the processing of step S2 of FIG. 2, triangular marks MB2, MB3, and MB4 indicating a direction different from the direction in which the reference area AR1 exists in the endoscopic image EGB are displayed. The display control unit 133 performs the process for generating. Further, according to the display example of FIG. 6, as the process of step S3 of FIG. 2, a process for generating the display image DGB including the endoscopic image EGB and the marks MB1 to MB4 and displaying it on the display device 14 is displayed. This is performed by the control unit 133.
  • the process of displaying one mark in each of the N mark display regions and the current lesion region LB of the plurality of predetermined reference regions based on the lesion information IL A process of identifying one reference area AR1 including a position and one of the N mark display areas displayed in the one mark display area AM1 set at the position closest to the one reference area AR1.
  • the process of setting the shape of the mark MB1 to the shape indicating the one reference area AR1 is performed by the display control unit 133.
  • an endoscopic image EGC having the same shape and size as the endoscopic image display area AG is displayed.
  • the lesion area LC is included in the reference area AR2 (see FIG. 4) set in the lower left portion of the endoscopic image EGC. Therefore, according to the display image DGC of FIG. 7, four marks MC1, MC2, MC3, and MC4 indicating that the lesion region LC is detected in the endoscopic image EGC are displayed in the mark display regions AM1 to AM4. .. Further, according to the display image DGC of FIG.
  • the mark MC2 having the brightness indicating that the lesion area LC is detected in the reference area AR2 of the endoscopic image EGC is displayed. Further, according to the display image DGC of FIG. 7, marks MC1, MC3, and MC4 having the brightness indicating that the lesion area LC is not detected in the reference areas AR1, AR3, and AR4 of the endoscopic image EGC are displayed. Has been done. The broken line in the display screen of FIG. 7 is drawn to explain the positional relationship between the lesion area LC and the mark display areas AM1 to AM4, and thus is not actually displayed on the display device 14. And
  • a process for generating marks MC1, MC2, MC3, and MC4 indicating that the lesion area LC is detected in the endoscopic image EGC is performed. This is performed by the display control unit 133. Further, according to the display example of FIG. 7, as the processing of step S2 of FIG. 2, the display control unit 133 performs processing for identifying that the current position of the lesion area LC is included in the reference area AR2. Be seen. Further, according to the display example of FIG. 7, as the processing of step S2 of FIG. 2, the display control unit 133 performs the processing for generating the mark MC2 having the brightness BHA. Further, according to the display example in FIG.
  • the display control unit 133 performs processing for generating the marks MC1, MC3, and MC4 having the brightness BLA lower than the brightness BHA.
  • the display control unit 133 performs processing for setting the brightness of the mark MC2 to a brightness higher than the brightness of the marks MC1, MC3, and MC4. Done.
  • a process for generating the display image DGC including the endoscopic image EGC and the marks MC1 to MC4 and displaying the display image DGC on the display device 14 is displayed. This is performed by the control unit 133.
  • the process of displaying one mark in each of the N mark display regions and the current lesion region L of the plurality of predetermined reference regions based on the lesion information IL A process of identifying one reference area AR2 including a position and one of the N mark display areas displayed in the one mark display area AM2 set at the position closest to the one reference area AR2.
  • the display control unit 133 performs a process of setting the brightness of the mark MC2 to a brightness different from the brightness of the (N-1) marks other than the one mark MC2.
  • an endoscopic image EGD having the same shape and size as the endoscopic image display area AG is displayed.
  • the lesion area LD is included in the reference area AR1 (see FIG. 4) set in the upper left portion of the endoscopic image EGD. Therefore, according to the display image DGD of FIG. 8, four marks MD1, MD2, MD3 and MD4 indicating that the lesion area LD is detected in the endoscopic image EGD are displayed in the mark display areas AM1 to AM4. .. Further, according to the display image DGD of FIG.
  • MD1 to MD4 having a shape indicating that the lesion area LD is detected in the reference area AR1 of the endoscopic image EGD are displayed.
  • triangular marks MD1 to MD4 indicating the reference area AR1 corresponding to the area where the lesion area LD is detected in the endoscopic image EGD are displayed.
  • the broken lines in the display screen of FIG. 8 are drawn to explain the positional relationship between the lesion area LD and the mark display areas AM1 to AM4, and thus are not actually displayed on the display device 14.
  • processing for generating marks MD1, MD2, MD3, and MD4 indicating that the lesion area LD is detected in the endoscopic image EGD is performed. This is performed by the display control unit 133. Further, according to the display example in FIG. 8, as the processing in step S2 in FIG. 2, the display control unit 133 performs processing for identifying that the current position of the lesion area LD is included in the reference area AR1. Be seen. Further, according to the display example of FIG. 8, as the processing of step S2 of FIG. 2, the direction in which the reference area AR1 including the lesion area LD in the endoscopic image EGD exists (corresponding to the upper left side of the endoscopic image EGD).
  • the display control unit 133 performs processing for generating triangular marks MD1 to MD4 indicating a direction. Further, according to the display example of FIG. 8, as the process of step S3 of FIG. 2, a process for generating the display image DGD including the endoscopic image EGD and the marks MD1 to MD4 and displaying it on the display device 14 is displayed. This is performed by the control unit 133.
  • the display control unit 133 performs the process of setting the shape to indicate.
  • each display example according to the present embodiment whether or not the lesion area L is detected in the endoscopic image EG is shown as an outline of the detection state of the lesion area L by the lesion detection unit 131, and the lesion area L is detected. N marks are displayed by generating one or more marks indicating which reference area among the plurality of predetermined reference areas set in the endoscopic image EG the current position of The display control unit 133 performs processing for displaying in at least one of the areas. Further, according to each display example according to the present embodiment, when the determination result that the lesion area L is included in the endoscopic image EG is obtained by the determination unit 132, the lesion is determined based on the lesion information IL.
  • the display control unit 133 performs processing for displaying the M marks one by one in the area.
  • the lesion area L Is displayed on the display screen of the display device 14 on the display screen of the display device 14 at a predetermined position outside the endoscopic image display area AG. Can be displayed. Therefore, according to the present embodiment, for example, when the user sees the marks displayed in the one or more mark display areas set at the predetermined positions on the display screen of the display device 14, the lesion area L The detection state can be easily grasped. Therefore, according to the present embodiment, it is possible to reduce the burden on the user who performs operations such as diagnosis of a lesion by endoscopic observation.
  • the information obtained when the user sees the marks displayed in the one or more mark display areas is set to the lesion area L in the endoscopic image EG. Processing is performed so as to limit the information to an outline of the detection state. Therefore, according to the present embodiment, for example, it is possible to prevent an unnecessary preconception from being given to the user who diagnoses the lesion area L included in the endoscopic image EG.
  • the lesion part from the tip part of the insertion part of the endoscope 11 to the lesion part.
  • a process for detecting the estimated distance EL to the surface of the subject is performed by the lesion detection unit 131, and the mark generated based on the estimated distance EL is displayed as a mark.
  • the display control unit 133 may perform the processing for displaying in the area.
  • a mark having a relatively large size is displayed in the mark display area when the estimated distance EL is short, while a relatively small size is displayed when the estimated distance EL is far. It is possible to display a mark having a mark in the mark display area. Further, according to the processing as described above, for example, a mark having a relatively high brightness is displayed in the mark display area when the estimated distance EL is short, while the mark is relatively low when the estimated distance EL is far. A mark having brightness can be displayed in the mark display area.
  • the display control unit 133 performs a process for generating one or more marks based on the estimated distance EL.
  • the display control unit 133 of the present embodiment may be configured to perform a combination of a plurality of processes related to the mark display method corresponding to each of the display examples of FIGS. 5 to 8.
  • the mark display area on the display screen is set to a position different from the position shown in FIG. You may set it.
  • the endoscope set on the display screen of the display device 14 at a predetermined position outside the endoscopic image display area AG and displayed on the endoscopic image display area AG.
  • the number of mark display areas included in the display screen is set to an arbitrary number as long as it is set as an area having a number corresponding to the maximum number of marks that indicate the outline of the detection state of the lesion area L in the mirror image EG. You may set it.
  • the present embodiment as long as it has a shape that allows the user to visually recognize the outline of the detection state of the lesion area L in the endoscopic image EG displayed in the endoscopic image display area AG.
  • the shape of the mark displayed in the mark display area may be changed to an arbitrary shape.
  • processing for generating a mark having a color that allows the user to visually recognize the outline of the detection state of the lesion area L in the endoscopic image EG is performed, and A process for displaying a display image including the mirror image EG and the mark on the display device 14 may be performed.
  • the determination unit 132 obtains a determination result that the lesion area L is included in the endoscopic image EG, the predetermined number is given to each of the N mark display areas.
  • a process for displaying one mark having each color and a process for identifying one reference region including the current position of the lesion region L among a plurality of predetermined reference regions based on the lesion information IL. Changing the color of the one mark displayed in the one mark display area set to the position closest to the one reference area of the N mark display areas to a color different from the predetermined color
  • the processing to perform is performed by the display control unit 133.
  • the endoscope system 1 having the same configuration as that of the first embodiment can be used, but the processing different from that of the first embodiment is performed by the endoscope image processing apparatus 13. Is done in. Therefore, hereinafter, a specific example of the process performed in each unit of the endoscopic image processing apparatus 13 will be described with reference to FIG. 9 and the like, while the process and the like described in the first embodiment can be applied. Specific description of the parts will be appropriately omitted. Specifically, thereafter, the endoscopic image display area AG and the mark display areas AM1 to AM4 as illustrated in FIG. 3 are set on the display screen of the display device 14, and as illustrated in FIG.
  • FIG. 9 is a flowchart for explaining a specific example of the processing performed in the endoscopic image processing apparatus according to the second embodiment.
  • the lesion detection unit 131 performs a process for detecting a lesion region L corresponding to a region estimated to include a lesion in the endoscopic image EG, and a lesion corresponding to information indicating the detected lesion region L. A process for acquiring the information IL is performed.
  • the determination unit 132 determines whether or not the lesion area L is included in the endoscopic image EG according to the acquisition state of the lesion information IL in the lesion detection unit 131 (step S11 in FIG. 9).
  • the display control unit 133 uses the endoscopic image EG as an endoscope. After the display image to be displayed in the image display area is generated and output to the display device 14 (step S16 in FIG. 9), the series of processes is ended.
  • the display control unit 133 determines the lesion area in the endoscopic image EG. Processing for generating a mark indicating that L has been detected is performed (step S12 in FIG. 9).
  • the display control unit 133 displays the endoscopic image EG in the endoscopic image display area, and at the same time, generates the display image for displaying the mark generated in step S12 of FIG. (Step S13 in FIG. 9).
  • FIG. 10 is a figure which shows an example of the display image displayed according to the process of the endoscope image processing apparatus which concerns on 2nd Embodiment.
  • an endoscopic image EGE having the same shape and size as the endoscopic image display area AG is displayed. Further, according to the endoscopic image EGE of FIG. 6, the lesion area LE is included in the reference area AR2 (see FIG. 4) set on the lower left side of the endoscopic image EGE. Therefore, according to the display image DGE of FIG. 10, four marks ME1, ME2, ME3, and ME4 indicating that the lesion area LE is detected in the endoscopic image EGE are displayed in the mark display areas AM1 to AM4. ..
  • the broken lines in the display screen of FIG. 10 are drawn to explain the positional relationship between the lesion area LE and the mark display areas AM1 to AM4, and thus are not actually displayed on the display device 14. And
  • step S12 of FIG. 9 processing for generating the marks ME1, ME2, ME3, and ME4 indicating that the lesion area LE is detected in the endoscopic image EGE is performed. This is performed by the display control unit 133. Further, according to the display example of FIG. 10, as the process of step S13 of FIG. 9, a process for generating the display image DGE including the endoscopic image EGE and the marks ME1 to ME4 and displaying the display image DGE on the display device 14 is displayed. This is performed by the control unit 133.
  • the determination unit 132 sequentially stores the lesion information IL obtained by the lesion detection unit 131 after the process of step S11 of FIG. 9 in the memory. Further, the determination unit 132 performs a process for determining whether or not the detection of the lesion area L corresponding to the lesion information IL is interrupted based on the lesion information IL stored in the memory (step S14 in FIG. 9 ). ).
  • the display control unit 133 returns to step S13 in FIG. 9 and performs the process. That is, according to the present embodiment, during the period in which the lesion area L is continuously detected by the lesion detection unit 131, the display image including the mark generated in step S13 in FIG. 9 as illustrated in FIG. Is continuously displayed on the display device 14.
  • the display control unit 133 identifies the lesion identified from the lesion information IL immediately before obtaining the determination result.
  • the position of the region L that is, the position where the lesion region L was present immediately before the detection of the lesion region L was interrupted, is defined as which reference region among the predetermined plurality of reference regions set in the endoscopic image EG.
  • step S15 of FIG. the display image as shown in any of FIGS. 11 to 13 is displayed on the display device 14.
  • 11 to 13 are diagrams showing examples of display images displayed according to the processing of the endoscopic image processing apparatus according to the second embodiment.
  • the endoscopic image display area AG of the display image DGF of FIG. 11 has the same shape and size as the endoscopic image display area AG, and is included in the lesion area LE of the endoscopic image EGE of FIG.
  • the endoscopic image EGF corresponding to the image in which the affected lesion is framed out is displayed.
  • no mark is displayed in the mark display area AM2 corresponding to the reference area AR2 in the endoscopic image EGF.
  • the marks ME1, ME3, and ME4 similar to those of FIG. 10 have the mark display areas AM1, AM3, and AM3 corresponding to the three reference areas other than the reference area AR2 in the endoscopic image EGF. It is displayed on AM4.
  • the position of the lesion area LE immediately before obtaining the determination result that the detection of the lesion area LE is interrupted is included in the reference area AR2.
  • the display control unit 133 performs a process for specifying Further, according to the display example of FIG. 11, as the processing of step S15 of FIG. 9, the lesion area included in the lesion area LE corresponds to the reference area AR2 that existed immediately before being displaced to the outside of the endoscopic image EGE.
  • the display control unit 133 performs a process for erasing the mark ME2 to be erased from the mark display area AM2.
  • the determination unit 132 when the determination unit 132 obtains a determination result that the lesion area L is included in the endoscopic image EG, a mark is provided in each of the N mark display areas.
  • the display control unit 133 performs a process for displaying each one. Further, according to the display example of FIG. 11, when the determination unit 132 obtains the determination result that the detection of the lesion area LE has been interrupted, the determination result of the predetermined reference areas among the plurality of predetermined reference areas based on the lesion information IL.
  • the process of specifying one reference area AR2 including the position where the lesion area LE was present immediately before the detection of the lesion area LE is interrupted, and the one reference area AR2 of the N mark display areas is most determined.
  • the display control unit 133 performs a process of erasing the one mark ME2 displayed in the one mark display area AM2 set at a close position.
  • step S15 of FIG. 9 instead of performing the process for erasing the mark ME2 corresponding to the reference region AR2 from the mark display region AM2, for example, the reference regions AR1, AR3.
  • the display control unit 133 may perform processing for erasing marks from the mark display areas AM1, AM3, and AM4 corresponding to AR and AR4.
  • the endoscopic image display area AG of the display image DGG in FIG. 12 has the same shape and size as the endoscopic image display area AG, and is included in the lesion area LE in the endoscopic image EGE in FIG.
  • the endoscopic image EGG corresponding to the image in which the affected lesion is framed out is displayed.
  • the mark MG2 having a shape different from the mark ME2 in FIG. 10 is displayed in the mark display area AM2 corresponding to the reference area AR2 in the endoscopic image EGG.
  • the marks ME1, ME3, and ME4 having the same shape as in FIG. 10 correspond to the three reference areas other than the reference area AR2 in the endoscopic image EGG. , AM3 and AM4.
  • the position of the lesion area LE immediately before obtaining the determination result that the detection of the lesion area LE is interrupted is included in the reference area AR2.
  • the display control unit 133 performs a process for specifying Further, according to the display example of FIG. 12, as the processing of step S15 of FIG. 9, the lesion area included in the lesion area LE corresponds to the reference area AR2 that existed immediately before being displaced to the outside of the endoscopic image EGE.
  • the display control unit 133 performs a process for generating a triangular mark MG2 that points to the reference area AR2 by changing the shape of the mark ME2 to be displayed.
  • the determination unit 132 when the determination unit 132 obtains a determination result that the lesion area L is included in the endoscopic image EG, a mark is added to each of the N mark display areas.
  • the display control unit 133 performs a process for displaying each one. Further, according to the display example of FIG. 12, when the determination unit 132 obtains the determination result that the detection of the lesion area LE is interrupted, the determination result of the predetermined reference areas among the plurality of reference areas based on the lesion information IL. The process of specifying one reference area AR2 including the position where the lesion area LE was present immediately before the detection of the lesion area LE is interrupted, and the one reference area AR2 of the N mark display areas is most determined. The display control unit 133 performs a process of setting the shape of the one mark ME2 displayed in the one mark display area AM2 set at a close position so as to indicate the one reference area AR2.
  • the reference area AR2 is indicated by changing the shapes of the marks ME1, ME3, and ME4 corresponding to the reference areas AR1, AR3, and AR4.
  • the display control unit 133 may perform a process for generating a different mark. Then, according to such processing, for example, the marks ME1, ME3, and ME4 are displayed on the display device 14 as triangles having the same shape as the mark ME2.
  • the endoscopic image display area AG of the display image DGH of FIG. 13 has the same shape and size as the endoscopic image display area AG, and is included in the lesion area LE of the endoscopic image EGE of FIG.
  • the endoscopic image EGH corresponding to the image in which the affected lesion is framed out is displayed.
  • the mark MH2 having the brightness BLH higher than the brightness BLB of the mark ME2 of FIG. 10 is displayed in the mark display area AM2 corresponding to the reference area AR2 in the endoscopic image EGH.
  • the marks ME1, ME3, and ME4 having the same brightness as the brightness BLB of the mark ME2 of FIG. 10 correspond to the three reference areas other than the reference area AR2 in the endoscopic image EGH.
  • Mark display areas AM1, AM3, and AM4 are displayed.
  • the position of the lesion area LE immediately before obtaining the determination result that the detection of the lesion area LE is interrupted is included in the reference area AR2.
  • the display control unit 133 performs a process for specifying Further, according to the display example of FIG. 13, as the processing of step S15 of FIG. 9, the lesion area included in the lesion area LE corresponds to the reference area AR2 that existed immediately before being displaced to the outside of the endoscopic image EGE.
  • the display control unit 133 performs a process for generating the mark MH2 having a higher brightness than the brightness BLB by increasing the brightness BLB of the mark ME2.
  • the display control unit 133 performs a process of setting the brightness of the mark ME2 to a brightness higher than the brightness of the marks ME1, ME3, and ME4. Done.
  • the determination unit 132 when the determination unit 132 obtains a determination result that the lesion area L is included in the endoscopic image EG, a mark is added to each of the N mark display areas.
  • the display control unit 133 performs a process for displaying each one. Further, according to the display example of FIG. 13, when the determination unit 132 obtains the determination result that the detection of the lesion area LE is interrupted, the determination result is obtained from the predetermined reference areas based on the lesion information IL.
  • the process of specifying one reference area AR2 including the position where the lesion area LE was present immediately before the detection of the lesion area LE is interrupted, and the one reference area AR2 of the N mark display areas is most determined.
  • a process of setting the brightness of the one mark ME2 displayed in the one mark display area AM2 set at a close position to a brightness different from the brightness of the (N-1) marks other than the one mark ME2. Are performed by the display control unit 133.
  • the display control unit 133 may perform a process for reducing the brightness BLB of the marks ME1, ME3, and ME4 corresponding to.
  • the outline of the detection state of the lesion area L indicates whether or not the lesion area L is detected in the endoscopic image EG, and the detection of the lesion area L is interrupted.
  • One or more marks that indicate which reference area of the plurality of predetermined reference areas set in the endoscopic image EG includes the position where the lesion area L existed immediately before Is generated and displayed in at least one of the N mark display areas by the display control unit 133.
  • the determination unit 132 obtains the determination result that the endoscopic image EG includes the lesion area L
  • the lesion area L is detected.
  • the display control unit 133 performs a process for generating four marks indicating that the mark is displayed and a process for displaying the four marks one by one in the four mark display areas AM1 to AM4.
  • the lesion area A mark indicating whether or not L is detected can be displayed on the display screen of the display device 14 in the mark display area set at a predetermined position outside the endoscopic image display area AG.
  • the lesion area L At least one mark having a display mode corresponding to the last detected position in the mark display area set at a predetermined position outside the endoscopic image display area AG on the display screen of the display device 14. Can be displayed.
  • the lesion area L the lesion area L
  • the detection state can be easily grasped. Therefore, according to the present embodiment, it is possible to reduce the burden on the user who performs operations such as diagnosis of a lesion by endoscopic observation.
  • the information obtained when the user sees the marks displayed in the one or more mark display areas is set to the lesion area L in the endoscopic image EG. Processing is performed so as to limit the information to the outline of the detection state. Therefore, according to the present embodiment, for example, it is possible to prevent an unnecessary preconception from being given to the user who diagnoses the lesion area L included in the endoscopic image EG.
  • each display example described in the present embodiment also applies to the case where the detection of the lesion area L is interrupted due to the displacement of the lesion portion included in the endoscopic image EG to the back side of the shield such as a residue. It is applied in a similar manner. Then, in such a case, for example, the display image DGP as shown in FIG. 14 is displayed on the display device 14 in accordance with the process of step S15 of FIG.
  • FIG. 14 is a diagram showing an example of a display image displayed according to the processing of the endoscopic image processing apparatus according to the second embodiment.
  • the endoscopic image display area AG of the display image DGP of FIG. 14 has the same shape and size as the endoscopic image display area AG, and is included in the lesion area LE of the endoscopic image EGE of FIG.
  • the endoscopic image EGP corresponding to the image in which the lesion part that has been displaced to the back side of the shield SP such as a residue is displayed.
  • no mark is displayed in the mark display area AM2 corresponding to the reference area AR2 in the endoscopic image EGP.
  • the marks ME1, ME3, and ME4 similar to those in FIG. 10 have the mark display areas AM1, AM3, and AM3 corresponding to the three reference areas other than the reference area AR2 in the endoscopic image EGP. It is displayed on AM4.
  • the broken line in the display screen of FIG. 14 is drawn to indicate that the lesion part included in the lesion area LE is located on the back side of the shield SP, and thus is actually displayed on the display device 14. Shall not be displayed in.
  • the position of the lesion area LE immediately before obtaining the determination result that the detection of the lesion area LE is interrupted is included in the reference area AR2.
  • the display control unit 133 performs a process for specifying Further, according to the display example of FIG. 14, as the processing of step S15 of FIG. 9, the mark corresponding to the reference area AR2 that existed immediately before the lesion part included in the lesion area LE is displaced to the back side of the shield SP. A process for erasing ME2 from the mark display area AM2 is performed by the display control unit 133.
  • the display control unit 133 shows, for example, in FIG. 15 instead of the process in step S15 in FIG. 9. It may be configured to perform such processing.
  • FIG. 15 is a flow chart for explaining the processing performed in the endoscopic image processing apparatus according to the modification of the second embodiment.
  • the display control unit 133 identifies the lesion identified from the lesion information IL immediately before obtaining the determination result.
  • a process for determining whether the position of the region L, that is, the position of the lesion region L immediately before the detection of the lesion region L is interrupted is a position corresponding to the end of the endoscopic image EG is performed. (Step S21 of FIG. 15).
  • the display control unit 133 obtains the determination result that the position of the lesion area L immediately before the detection of the lesion area L is interrupted is the position corresponding to the end of the endoscopic image EG (S21: YES).
  • the display mode of at least one mark currently displayed on the display device 14 is changed so as to indicate that the lesion part included in the lesion area L is displaced to the outside of the endoscopic image EG.
  • the display control unit 133 specifies that the position of the lesion area LE immediately before the detection of the lesion area LE illustrated in FIG. 10 is interrupted is included in the reference area AR2, and In order to generate the mark MH2 having the same display mode as the display example of FIG. 13 and display it in the mark display area AM2 when the determination result that the position corresponds to the end of the reference area AR2 is obtained. Process.
  • the display control unit 133 obtains the determination result that the position of the lesion area L immediately before the detection of the lesion area L is interrupted is a position corresponding to the inside of the end of the endoscopic image EG (S21). : NO) indicates that the lesion area included in the lesion area L has been displaced to the back side of a shield such as a residue, the display mode of at least one mark currently displayed on the display device 14. After performing the process for changing (step S23 in FIG. 15), a series of processes is ended.
  • the display control unit 133 specifies that the position of the lesion area LE immediately before the detection of the lesion area LE illustrated in FIG. 10 is interrupted is included in the reference area AR2, and When the determination result that the position is inside the end of the reference area AR2 is obtained, the mark MG2 having the same display mode as the display example of FIG. 12 is generated and the mark MG2 is displayed in the mark display area AM2. Perform processing for displaying.
  • one including the position where the lesion area LE exists immediately before the detection of the lesion area LE among the plurality of predetermined reference areas is interrupted based on the lesion information IL.
  • the display control unit 133 performs a process of setting the mode to a different display mode depending on the cause of the detection of the lesion area LE being interrupted. Further, according to the processing shown in FIG. 15, when the lesion area LE is interrupted due to the displacement of the lesion portion to the outside of the endoscopic image EG, the display mode of the one mark ME2 described above is displayed.
  • the display control unit 133 performs a process of setting the mark display mode to a second display mode (such as the mark MG2) different from the first display mode described above.
  • the display control unit 133 of the present embodiment may be configured to perform a combination of a plurality of processes related to the mark display method corresponding to each of the display examples of FIGS. 11 to 13.
  • processing for generating a mark having a color that allows the user to visually recognize the outline of the detection state of the lesion area L in the endoscopic image EG is performed, and A process for displaying a display image including the mirror image EG and the mark on the display device 14 may be performed. Then, according to such a configuration, for example, when the determination unit 132 obtains a determination result that the lesion area L is included in the endoscopic image EG, the predetermined number is given to each of the N mark display areas.
  • the display control unit 133 performs a process for displaying the marks having the colors of one by one.
  • the determination unit 132 obtains the determination result that the detection of the lesion area L is interrupted, among the plurality of predetermined reference areas based on the lesion information IL.
  • the reference area including the position where the lesion area L was present immediately before the detection of the lesion area L was interrupted, and the reference area of the N mark display areas
  • the display control unit 133 performs a process of changing the color of the one mark displayed in the one mark display area set at a close position to a color different from the predetermined color.

Abstract

内視鏡画像処理装置は、内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するとともに、内視鏡画像に含まれる病変領域の位置を示す情報を含む病変情報を取得するための処理を行う病変検出部と、内視鏡画像に病変領域が含まれているか否かを判定する判定部と、病変情報と、判定部により得られた判定結果と、に基づき、病変検出部による病変領域の検出状態の概要を示す１つ以上のマークを生成するとともに、内視鏡画像を内視鏡画像表示領域に表示させつつ、内視鏡画像表示領域の外部の所定の位置に設定されるとともに、１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに１つ以上のマークを表示させるための表示画像を生成する表示制御部と、を有する。

Description

内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
　本発明は、内視鏡画像処理装置、内視鏡画像処理方法及びプログラムに関するものである。
　医療分野においては、被検者の所望の部位を撮像して得られた画像から病変部を検出し、当該検出した病変部に関する情報を当該画像に付加して表示するような技術が従来知られている。
　具体的には、例えば、日本国特開２００４－７３４８８号公報には、被検者の胸部を撮像して得られたＸ線画像から病変部を検出し、当該検出した病変部の位置を特定可能なマークを当該Ｘ線画像に対応する診断画像の外枠部分に表示するような技術が開示されている。
　ここで、医療分野の内視鏡観察においては、内視鏡に設けられた細長な挿入部が被験者の内部に挿入され、当該挿入部の先端部に設けられた光学素子等により規定される観察視野内の被写体が撮像されるとともに、当該被写体を撮像して得られた画像がモニタ等の表示装置に表示される。また、医療分野の内視鏡観察においては、例えば、被験者の内部に挿入された挿入部の先端部と当該被験者の内部に存在する病変部との相対的な位置関係に応じ、当該被験者の内部の被写体を撮像して得られた画像における当該病変部の位置が変化する。
　しかし、日本国特開２００４－７３４８８号公報には、内視鏡観察時に被写体を撮像して得られた画像における病変部の位置を特定可能なマークを表示する際の具体的な表示方法等について特に言及されていない。
　そのため、日本国特開２００４－７３４８８号公報に開示された構成によれば、例えば、内視鏡観察時に被写体を撮像して得られた画像における病変部の位置の変化に応じ、当該病変部の位置を特定可能なマークの表示位置が頻繁に変化するような状況が発生し得る。そして、日本国特開２００４－７３４８８号公報に開示された構成によれば、前述のような状況が発生した際に、病変部の診断等の作業を行うユーザがマークの表示位置に細心の注意を払わなければならなくなる、という問題点が生じている。
　すなわち、日本国特開２００４－７３４８８号公報に開示された構成によれば、内視鏡観察により病変部の診断等の作業を行うユーザに対して過度な負担を強いるおそれがある、という前述の問題点に応じた課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察により病変部の診断等の作業を行うユーザの負担を軽減可能な内視鏡画像処理装置、内視鏡画像処理方法及びプログラムを提供することを目的としている。
　本発明の一態様の内視鏡画像処理装置は、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行うように構成された病変検出部と、前記内視鏡画像に前記病変領域が含まれているか否かを判定するように構成された判定部と、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行うとともに、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行うように構成された表示制御部と、を有する。
　本発明の一態様の内視鏡画像処理方法は、病変検出部が、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行い、判定部が、前記内視鏡画像に前記病変領域が含まれているか否かを判定し、表示制御部が、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行い、前記表示制御部が、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行う。
　本発明の一態様のプログラムは、コンピュータに、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理と、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理と、前記内視鏡画像に前記病変領域が含まれているか否かを判定する判定処理と、前記病変情報と、前記判定処理により得られた判定結果と、に基づき、前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理と、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理と、を実行させる。
実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 第１の実施形態に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャート。 表示装置の表示画面上に設定される内視鏡画像表示領域及びマーク表示領域の一例を示す図。 内視鏡画像に設定される参照領域の一例を示す図である。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャート。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図。 第２の実施形態の変形例に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャート。
　以下、本発明の実施形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
　図１から図８は、第１の実施形態に係るものである。
　内視鏡システム１は、図１に示すように、内視鏡１１と、本体装置１２と、内視鏡画像処理装置１３と、表示装置１４と、を有して構成されている。図１は、実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。
　内視鏡１１は、例えば、被検体内に挿入可能な細長形状の挿入部（不図示）と、当該挿入部の基端部に設けられた操作部（不図示）と、を具備して構成されている。また、内視鏡１１は、例えば、操作部から延びるユニバーサルケーブル（不図示）を介し、本体装置１２に対して着脱自在に接続されるように構成されている。また、内視鏡１１の内部には、例えば、本体装置１２から供給される照明光を導光して挿入部の先端部から出射するための光ファイバ等の導光部材（不図示）が設けられている。また、内視鏡１１の挿入部の先端部には、撮像部１１１が設けられている。
　撮像部１１１は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子を具備して構成されている。また、撮像部１１１は、内視鏡１１の挿入部の先端部を経て出射された照明光により照明された被写体からの戻り光を撮像し、当該撮像した戻り光に応じた撮像信号を生成して本体装置１２へ出力するように構成されている。
　本体装置１２は、内視鏡１１及び内視鏡画像処理装置１３のそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置１２は、例えば、図１に示すように、光源部１２１と、画像生成部１２２と、制御部１２３と、記憶媒体１２４と、を有して構成されている。
　光源部１２１は、例えば、ＬＥＤ等のような１つ以上の発光素子を具備して構成されている。具体的には、光源部１２１は、例えば、青色光（以降、Ｂ光とも称する）を発生する青色ＬＥＤと、緑色光（以降、Ｇ光とも称する）を発生する緑色ＬＥＤと、赤色光（以降、Ｒ光とも称する）を発生する赤色ＬＥＤと、を有して構成されている。また、光源部１２１は、制御部１２３の制御に応じた照明光を発生して内視鏡１１に供給することができるように構成されている。
　画像生成部１２２は、内視鏡１１から出力される撮像信号に基づいて内視鏡画像を生成し、当該生成した内視鏡画像を内視鏡画像処理装置１３へ１フレームずつ順次出力することができるように構成されている。
　本実施形態においては、本体装置１２の画像生成部１２２及び制御部１２３が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置１２が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、本体装置１２が、画像生成部１２２及び制御部１２３の機能を実行させるためのプログラムをメモリ等の記憶媒体１２４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
　内視鏡画像処理装置１３は、本体装置１２及び表示装置１４のそれぞれに対して着脱自在に接続されるように構成されている。また、内視鏡画像処理装置１３は、本体装置１２から出力される内視鏡画像に基づく処理を行うことにより、当該内視鏡画像における病変領域の検出状態の概要を示す１つ以上のマークを生成するように構成されている。また、内視鏡画像処理装置１３は、本体装置１２から出力される内視鏡画像と、前述のように生成した１つ以上のマークと、を含む表示画像を生成して表示装置１４へ出力することができるように構成されている。また、内視鏡画像処理装置１３は、病変検出部１３１と、判定部１３２と、表示制御部１３３と、記憶媒体１３４と、を有して構成されている。
　病変検出部１３１は、本体装置１２から順次出力される内視鏡画像において病変部を含むと推定される領域に相当する病変領域Ｌを検出するための処理を行うとともに、当該検出した病変領域Ｌを示す情報に相当する病変情報ＩＬを取得するための処理を行うように構成されている。
　なお、本実施形態においては、病変領域Ｌが、例えば、ポリープを含む領域として検出されるものとする。また、本実施形態においては、病変情報ＩＬが、例えば、本体装置１２から出力される内視鏡画像に含まれる病変領域Ｌの位置（画素位置）を示す情報と、当該内視鏡画像に含まれる当該病変領域Ｌのサイズ（画素数）を示す情報と、を含む情報として取得されるものとする。
　判定部１３２は、病変検出部１３１における病変情報ＩＬの取得状態に応じ、本体装置１２から出力される内視鏡画像に病変領域Ｌが含まれているか否かを判定するように構成されている。
　具体的には、判定部１３２は、例えば、病変検出部１３１において病変情報ＩＬが取得されたことを検出した場合に、本体装置１２から出力される内視鏡画像に病変領域Ｌが含まれているとの判定結果を取得する。また、判定部１３２は、例えば、病変検出部１３１において病変情報ＩＬが取得されなかったことを検出した場合に、本体装置１２から順次出力される内視鏡画像に病変領域Ｌが含まれていないとの判定結果を取得する。
　判定部１３２は、病変検出部１３１により得られた病変情報ＩＬを順次格納するためのメモリ（不図示）を有して構成されている。また、判定部１３２は、病変検出部１３１により得られた病変情報ＩＬに基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出が途絶したか否かを判定するための処理を行うように構成されている。
　具体的には、判定部１３２は、例えば、注目領域検出部１３１により得られた第１の病変情報と、当該第１の病変情報よりも１フレーム前にメモリに格納された第２の病変情報と、に基づき、当該第１の病変情報により示される第１の病変領域と、当該第２の病変情報により示される第２の病変領域と、が同一の病変領域Ｌであるか否かを検出する。そして、判定部１３２は、前述の第１及び第２の病変領域が同一の病変領域Ｌであることを検出できた場合に、病変領域Ｌの検出が途絶していないとの判定結果を取得する。また、判定部１３２は、前述の第１及び第２の病変領域が同一の病変領域Ｌであることを検出できなかった場合に、病変領域Ｌの検出が途絶したとの判定結果を取得する。
　表示制御部１３３は、表示装置１４の表示画面上に内視鏡画像表示領域を設定するとともに、当該表示画面上における当該内視鏡画像表示領域の外部の所定の位置に、後述のマークの最大表示数に対応するＮ個のマーク表示領域を設定するための処理を行うように構成されている。すなわち、Ｎ個のマーク表示領域は、表示装置１４の表示画面上における内視鏡画像表示領域の外部の所定の位置に設定されるとともに、後述のマークの最大表示数に応じた個数を有する領域として設定される。なお、本実施形態よれば、後述のマークの最大表示数に対応する値である限りにおいては、前述のＮの値を任意の値に設定してもよい。
　表示制御部１３３は、病変検出部１３１により得られた病変情報ＩＬと、判定部１３２により得られた判定結果と、に基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出状態の概要を示す１つ以上のマークを生成するための処理を行うように構成されている。
　表示制御部１３３は、本体装置１２から出力される内視鏡画像を内視鏡画像表示領域に表示させつつ、前述のように生成した１つ以上のマークをＮ個のマーク表示領域のうちの少なくとも１つに表示させるための表示画像を生成して出力するための処理を行うように構成されている。すなわち、表示制御部１３３は、本体装置１２から出力される内視鏡画像と、前述のように生成した１つ以上のマークと、を含む表示画像を生成して表示装置１４へ出力することができるように構成されている。
　本実施形態においては、内視鏡画像処理装置１３の病変検出部１３１、判定部１３２及び表示制御部１３３が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、内視鏡画像処理装置１３が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、内視鏡画像処理装置１３が、病変検出部１３１、判定部１３２及び表示制御部１３３の機能を実行させるためのプログラムをメモリ等の記憶媒体１３４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
　表示装置１４は、内視鏡画像処理装置１３に対して着脱自在に接続されるように構成されている。また、表示装置１４は、モニタ等を具備し、内視鏡画像処理装置１３から出力される表示画像を表示することができるように構成されている。
　続いて、本実施形態の作用について説明する。
　術者等のユーザは、内視鏡システム１の各部を接続して電源を投入した後、被検者の内部へ内視鏡１１の挿入部を挿入するとともに、当該被検者の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。
　制御部１２３は、本体装置１２の電源が投入された際に、Ｂ光、Ｇ光及びＲ光を照明光として順次または同時に発生させるための制御を光源部１２１に対して行う。そして、このような制御部１２３の制御に応じ、光源部１２１から内視鏡１１へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部１１１において撮像され、撮像部１１１から本体装置１２へ出力される撮像信号に応じた内視鏡画像ＥＧが画像生成部１２２において生成され、当該生成された内視鏡画像ＥＧが内視鏡画像処理装置１３へ１フレームずつ順次出力される。
　ここで、本実施形態の内視鏡画像処理装置１３の各部において行われる処理の具体例について、図２等を参照しつつ説明する。図２は、第１の実施形態に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャートである。
　病変検出部１３１は、内視鏡画像ＥＧにおいて病変部を含むと推定される領域に相当する病変領域Ｌを検出するための処理を行うとともに、当該検出した病変領域Ｌを示す情報に相当する病変情報ＩＬを取得するための処理を行う。
　表示制御部１３３は、表示装置１４の表示画面上に内視鏡画像表示領域を設定するとともに、当該表示画面上における当該内視鏡画像表示領域の外部の所定の位置にＮ個のマーク表示領域を設定するための処理を行う。
　具体的には、表示制御部１３３は、例えば、図３に示すような、１つの内視鏡画像表示領域ＡＧと、４つのマーク表示領域ＡＭ１、ＡＭ２、ＡＭ３及びＡＭ４と、を表示装置１４の表示画面上にそれぞれ設定する。図３は、表示装置の表示画面上に設定される内視鏡画像表示領域及びマーク表示領域の一例を示す図である。
　内視鏡画像表示領域ＡＧは、例えば、内視鏡画像ＥＧのサイズと同一のサイズまたは内視鏡画像ＥＧのサイズよりも大きなサイズを有する八角形の領域として設定される（図３参照）。また、マーク表示領域ＡＭ１～ＡＭ４は、例えば、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部に位置し、かつ、当該内視鏡画像表示領域ＡＧの中心から見て左上側、左下側、右上側及び右下側の４方向に位置する４つの三角形の領域として設定される（図３参照）。すなわち、マーク表示領域ＡＭ１～ＡＭ４は、内視鏡画像表示領域ＡＧの外部の所定の位置に設定されるとともに、後述の各表示例におけるマークの最大表示数に対応する４つの領域として設定される。なお、図３の表示画面内の破線は、内視鏡画像表示領域ＡＧ及びマーク表示領域ＡＭ１～ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　表示制御部１３３は、内視鏡画像ＥＧに所定の複数の参照領域を設定するための処理を行う。
　具体的には、表示制御部１３３は、例えば、図４に示すような、八角形の内視鏡画像ＥＧを左上部、左下部、右上部及び右下部の各部に分割した領域に相当する４つの参照領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４を設定する。なお、図４においては、図示及び説明の便宜上、内視鏡画像ＥＧに含まれる病変領域Ｌ等の被写体の描画を省略している。図４は、内視鏡画像に設定される参照領域の一例を示す図である。
　本実施形態によれば、表示制御部１３３が、内視鏡画像ＥＧに所定の複数の参照領域を設定する限りにおいては、図４に例示した参照領域ＡＲ１～ＡＲ４とは異なる数及び／または形状を有する参照領域を設定するようにしてもよい。
　判定部１３２は、病変検出部１３１における病変情報ＩＬの取得状態に応じ、内視鏡画像ＥＧに病変領域Ｌが含まれているか否かを判定する（図２のステップＳ１）。
　表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれていないとの判定結果が判定部１３２により得られた場合（Ｓ１：ＮＯ）に、当該内視鏡画像ＥＧを内視鏡画像表示領域に表示させるための表示画像を生成して表示装置１４へ出力した（図２のステップＳ４）後、一連の処理を終了させる。すなわち、本実施形態においては、内視鏡画像ＥＧに病変領域Ｌが含まれていない場合には、当該病変領域Ｌの検出状態の概要を示すマークがマーク表示領域に表示されない。
　表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合（Ｓ１：ＹＥＳ）に、病変検出部１３１により得られた病変情報ＩＬと、当該内視鏡画像ＥＧに設定した所定の複数の参照領域と、に基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出状態の概要を示すマークを生成するための処理を行う（図２のステップＳ２）。
　表示制御部１３３は、内視鏡画像ＥＧを内視鏡画像表示領域に表示させつつ、図２のステップＳ２により生成したマークをマーク表示領域に表示させるための表示画像を生成して表示装置１４へ出力した（図２のステップＳ３）後、一連の処理を終了させる。
　ここで、図２のステップＳ２及びステップＳ３の処理によれば、例えば、図５～図８のいずれかに示すような表示画像が表示装置１４に表示される。図５～図８は、第１の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図５の表示画像ＤＧＡの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＡが表示されている。また、図５の内視鏡画像ＥＧＡによれば、当該内視鏡画像ＥＧＡの左下部に設定された参照領域ＡＲ２（図４参照）に病変領域ＬＡが含まれている。そのため、図５の表示画像ＤＧＡによれば、内視鏡画像ＥＧＡの参照領域ＡＲ２において病変領域ＬＡが検出されたことを示すマークＭＡがマーク表示領域ＡＭ２に表示されている。なお、図５の表示画面内の破線は、病変領域ＬＡ及びマーク表示領域ＡＭ１～ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　図５の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＡの現在の位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図５の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＡの参照領域ＡＲ２において病変領域ＬＡが検出されたことを示すマークＭＡを生成するための処理が表示制御部１３３により行われる。また、図５の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＡ及びマークＭＡを含む表示画像ＤＧＡを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。
　すなわち、図５の表示例によれば、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域ＬＡの現在の位置を含む一の参照領域ＡＲ２を特定する処理と、当該一の参照領域ＡＲ２を示す一のマークＭＡを生成する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に当該一のマークＭＡを表示させる処理と、が表示制御部１３３により行われる。
　なお、本実施形態によれば、病変領域ＬＡが検出された参照領域ＡＲ２に対応するマーク表示領域ＡＭ２にマークを表示させるための処理が行われる代わりに、例えば、当該病変領域ＬＡが検出されなかった参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４にマークを表示させるための処理が行われるようにしてもよい。
　また、本実施形態によれば、例えば、病変領域ＬＡが参照領域ＡＲ１～ＡＲ４における複数の参照領域に含まれるようなサイズを有している場合に、当該複数の参照領域に対応する各マーク表示領域にマークを表示させるための処理が行われるようにしてもよい。具体的には、例えば、病変領域ＬＡが参照領域ＡＲ１及びＡＲ２に含まれる場合に、当該参照領域ＡＲ１及びＡＲ２に対応するマーク表示領域ＡＭ１及びＡＭ２にマークを表示させるための処理が表示制御部１３３により行われるようにしてもよい。
　また、本実施形態によれば、例えば、病変領域ＬＡが参照領域ＡＲ１～ＡＲ４における複数の参照領域に含まれるようなサイズを有している場合に、当該複数の参照領域のうちの当該病変領域Ｌを含む面積が最も大きな一の参照領域に対応する一のマーク表示領域にマークを表示させるための処理が行われるようにしてもよい。
　図６の表示画像ＤＧＢの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＢが表示されている。また、図６の内視鏡画像ＥＧＢによれば、当該内視鏡画像ＥＧＢの左上部に設定された参照領域ＡＲ１（図４参照）に病変領域ＬＢが含まれている。そのため、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢにおいて病変領域ＬＢが検出されたことを示す４つのマークＭＢ１、ＭＢ２、ＭＢ３及びＭＢ４がマーク表示領域ＡＭ１～ＡＭ４に表示されている。また、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢの参照領域ＡＲ１において病変領域ＬＢが検出されたことを示すような形状を有するマークＭＢ１が表示されている。換言すると、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢにおける病変領域ＬＢが検出された領域に相当する参照領域ＡＲ１を指し示すような三角形のマークＭＢ１が表示されている。また、図６の表示画像ＤＧＢによれば、内視鏡画像ＥＧＢの参照領域ＡＲ２、ＡＲ３及びＡＲ４において病変領域ＬＢが検出されなかったことを示すような形状を有するマークＭＢ２、ＭＢ３及びＭＢ４が表示されている。なお、図６の表示画面内の破線は、病変領域ＬＢ及びマーク表示領域ＡＭ１～ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　図６の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＢにおいて病変領域ＬＢが検出されたことを示すマークＭＢ１、ＭＢ２、ＭＢ３及びＭＢ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＢの現在の位置が参照領域ＡＲ１に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＢにおける病変領域ＬＢが検出された領域に相当する参照領域ＡＲ１を指し示すような三角形のマークＭＢ１を生成するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＢにおける参照領域ＡＲ１が存在する方向とは異なる方向を指し示すような三角形のマークＭＢ２、ＭＢ３及びＭＢ４を生成するための処理が表示制御部１３３により行われる。また、図６の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＢ及びマークＭＢ１～ＭＢ４を含む表示画像ＤＧＢを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。
　すなわち、図６の表示例によれば、Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域ＬＢの現在の位置を含む一の参照領域ＡＲ１を特定する処理と、当該Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ１に最も近い位置に設定された一のマーク表示領域ＡＭ１に表示されている一のマークＭＢ１の形状を当該一の参照領域ＡＲ１を指し示すような形状に設定する処理と、が表示制御部１３３により行われる。
　図７の表示画像ＤＧＣの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＣが表示されている。また、図７の内視鏡画像ＥＧＣによれば、当該内視鏡画像ＥＧＣの左下部に設定された参照領域ＡＲ２（図４参照）に病変領域ＬＣが含まれている。そのため、図７の表示画像ＤＧＣによれば、内視鏡画像ＥＧＣにおいて病変領域ＬＣが検出されたことを示す４つのマークＭＣ１、ＭＣ２、ＭＣ３及びＭＣ４がマーク表示領域ＡＭ１～ＡＭ４に表示されている。また、図７の表示画像ＤＧＣによれば、内視鏡画像ＥＧＣの参照領域ＡＲ２において病変領域ＬＣが検出されたことを示すような輝度を有するマークＭＣ２が表示されている。また、図７の表示画像ＤＧＣによれば、内視鏡画像ＥＧＣの参照領域ＡＲ１、ＡＲ３及びＡＲ４において病変領域ＬＣが検出されなかったことを示すような輝度を有するマークＭＣ１、ＭＣ３及びＭＣ４が表示されている。なお、図７の表示画面内の破線は、病変領域ＬＣ及びマーク表示領域ＡＭ１～ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　図７の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＣにおいて病変領域ＬＣが検出されたことを示すマークＭＣ１、ＭＣ２、ＭＣ３及びＭＣ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＣの現在の位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ２の処理として、輝度ＢＨＡを有するマークＭＣ２を生成するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ２の処理として、輝度ＢＨＡよりも低い輝度ＢＬＡを有するマークＭＣ１、ＭＣ３及びＭＣ４を生成するための処理が表示制御部１３３により行われる。換言すると、図７の表示例によれば、図２のステップＳ２の処理として、マークＭＣ２の輝度をマークＭＣ１、ＭＣ３及びＭＣ４の輝度よりも高い輝度に設定するための処理が表示制御部１３３により行われる。また、図７の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＣ及びマークＭＣ１～ＭＣ４を含む表示画像ＤＧＣを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。
　すなわち、図７の表示例によれば、Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域Ｌの現在の位置を含む一の参照領域ＡＲ２を特定する処理と、当該Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＣ２の輝度を当該一のマークＭＣ２以外の（Ｎ－１）個のマークの輝度とは異なる輝度に設定する処理と、が表示制御部１３３により行われる。
　図８の表示画像ＤＧＤの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＤが表示されている。また、図８の内視鏡画像ＥＧＤによれば、当該内視鏡画像ＥＧＤの左上部に設定された参照領域ＡＲ１（図４参照）に病変領域ＬＤが含まれている。そのため、図８の表示画像ＤＧＤによれば、内視鏡画像ＥＧＤにおいて病変領域ＬＤが検出されたことを示す４つのマークＭＤ１、ＭＤ２、ＭＤ３及びＭＤ４がマーク表示領域ＡＭ１～ＡＭ４に表示されている。また、図８の表示画像ＤＧＤによれば、内視鏡画像ＥＧＤの参照領域ＡＲ１において病変領域ＬＤが検出されたことを示すような形状を有するＭＤ１～ＭＤ４が表示されている。換言すると、図８の表示画像ＤＧＤによれば、内視鏡画像ＥＧＤにおける病変領域ＬＤが検出された領域に相当する参照領域ＡＲ１を指し示すような三角形のマークＭＤ１～ＭＤ４が表示されている。なお、図８の表示画面内の破線は、病変領域ＬＤ及びマーク表示領域ＡＭ１～ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　図８の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＤにおいて病変領域ＬＤが検出されたことを示すマークＭＤ１、ＭＤ２、ＭＤ３及びＭＤ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図８の表示例によれば、図２のステップＳ２の処理として、病変領域ＬＤの現在の位置が参照領域ＡＲ１に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図８の表示例によれば、図２のステップＳ２の処理として、内視鏡画像ＥＧＤにおける病変領域ＬＤを含む参照領域ＡＲ１が存在する方向（内視鏡画像ＥＧＤの左上側に相当する方向）を指し示すような三角形のマークＭＤ１～ＭＤ４を生成するための処理が表示制御部１３３により行われる。また、図８の表示例によれば、図２のステップＳ３の処理として、内視鏡画像ＥＧＤ及びマークＭＤ１～ＭＤ４を含む表示画像ＤＧＤを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。
　すなわち、図８の表示例によれば、Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域Ｌの現在の位置を含む一の参照領域ＡＲ１を特定する処理と、当該Ｎ個のマーク表示領域に表示されているＮ個のマークの形状を内視鏡画像ＥＧにおける当該一の参照領域ＡＲ１が存在する方向を指し示すような形状に設定する処理と、が表示制御部１３３により行われる。
　本実施形態に係る各表示例によれば、病変検出部１３１による病変領域Ｌの検出状態の概要として、内視鏡画像ＥＧにおいて病変領域Ｌが検出されたか否かを示すとともに、当該病変領域Ｌの現在の位置が当該内視鏡画像ＥＧに設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような１つ以上のマークを生成してＮ個のマーク表示領域のうちの少なくとも１つに表示させるための処理が表示制御部１３３により行われる。また、本実施形態に係る各表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づき、病変検出部１３１による病変領域Ｌの検出状態の概要を示す１つ以上かつ４つ以下のＭ個のマークを生成するための処理と、４つのマーク表示領域ＡＭ１～ＡＭ４のうちのＭ個のマーク表示領域に当該Ｍ個のマークを１つずつ表示させるための処理と、が表示制御部１３３により行われる。
　以上に述べたように、本実施形態によれば、例えば、病変領域Ｌの位置が内視鏡画像ＥＧの内部で頻繁に変化するような状況が発生した場合であっても、当該病変領域Ｌが現在検出されている箇所に応じた表示態様を有する１つ以上のマークを、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定されたマーク表示領域に表示させることができる。そのため、本実施形態によれば、例えば、ユーザが、表示装置１４の表示画面上における所定の位置に設定された１つ以上のマーク表示領域に表示されるマークを見ることにより、病変領域Ｌの検出状態を容易に把握することができる。従って、本実施形態によれば、内視鏡観察により病変部の診断等の作業を行うユーザの負担を軽減することができる。
　また、以上に述べたように、本実施形態によれば、ユーザが１つ以上のマーク表示領域に表示されるマークを見た際に得られる情報を、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要を示す情報に制限するような処理が行われる。そのため、本実施形態によれば、例えば、内視鏡画像ＥＧに含まれる病変領域Ｌの診断を行うユーザに対して無用な先入観を与えてしまうことを極力防ぐことができる。
　なお、本実施形態によれば、例えば、日本国特開２０１３－２５５６５６号公報に開示された撮像距離の推定に係る手法を応用することにより、内視鏡１１の挿入部の先端部から病変部の表面までの推定距離ＥＬを（内視鏡画像ＥＧの赤色成分等に基づいて）検出するための処理が病変検出部１３１により行われるとともに、当該推定距離ＥＬに基づいて生成したマークをマーク表示領域に表示させるための処理が表示制御部１３３により行われるようにしてもよい。そして、このような処理によれば、例えば、推定距離ＥＬが近い場合に相対的に大きなサイズを有するマークをマーク表示領域に表示させる一方で、当該推定距離ＥＬが遠い場合に相対的に小さなサイズを有するマークを当該マーク表示領域に表示させることができる。また、前述のような処理によれば、例えば、推定距離ＥＬが近い場合に相対的に高い輝度を有するマークをマーク表示領域に表示させる一方で、当該推定距離ＥＬが遠い場合に相対的に低い輝度を有するマークを当該マーク表示領域に表示させることができる。すなわち、前述のような処理によれば、内視鏡１１の挿入部の先端部と病変領域Ｌに含まれる病変部とがどれだけ離れているかを当該病変領域Ｌの検出状態の概要としてさらに示すような１つ以上のマークを推定距離ＥＬに基づいて生成するための処理が表示制御部１３３により行われる。
　また、本実施形態の表示制御部１３３は、図５～図８の表示例各々に対応するマークの表示方法に係る処理を複数組み合わせて行うように構成されていてもよい。
　また、本実施形態によれば、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定され、かつ、当該内視鏡画像表示領域ＡＧに表示される内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な位置に設定される限りにおいては、当該表示画面上のマーク表示領域を図３に示した位置とは異なる位置に設定してもよい。
　また、本実施形態によれば、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定され、かつ、当該内視鏡画像表示領域ＡＧに表示される内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要を示すマークの最大表示数に対応する個数を有する領域として設定される限りにおいては、当該表示画面に含まれるマーク表示領域の個数を任意の個数に設定してもよい。
　また、本実施形態によれば、内視鏡画像表示領域ＡＧに表示される内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な形状を有している限りにおいては、マーク表示領域に表示されるマークの形状を任意の形状に変形してもよい。
　また、本実施形態によれば、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な色を有するマークを生成するための処理が行われるとともに、当該内視鏡画像ＥＧ及び当該マークを含む表示画像を表示装置１４に表示させるための処理が行われるようにしてもよい。そして、このような構成によれば、例えば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理と、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域Ｌの現在の位置を含む一の参照領域を特定する処理と、当該Ｎ個のマーク表示領域のうちの当該一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を当該所定の色とは異なる色に変化させる処理と、が表示制御部１３３により行われる。
（第２の実施形態）
　図９から図１５は、第２の実施形態に係るものである。
　なお、本実施形態においては、第１の実施形態と同様の構成を有する内視鏡システム１を利用することができる一方で、第１の実施形態とは異なる処理が内視鏡画像処理装置１３において行われる。そのため、以降においては、図９等を参照しつつ内視鏡画像処理装置１３の各部において行われる処理の具体例を説明する一方で、第１の実施形態で既述の処理等を適用可能な部分に関する具体的な説明を適宜省略するものとする。具体的には、以降においては、図３に例示したような内視鏡画像表示領域ＡＧ及びマーク表示領域ＡＭ１～ＡＭ４が表示装置１４の表示画面上に設定されるとともに、図４に例示したような参照領域ＡＲ１～ＡＲ４が内視鏡画像ＥＧに設定された状態で処理が行われるものとして説明を行う。図９は、第２の実施形態に係る内視鏡画像処理装置において行われる処理の具体例を説明するためのフローチャートである。
　病変検出部１３１は、内視鏡画像ＥＧにおいて病変部を含むと推定される領域に相当する病変領域Ｌを検出するための処理を行うとともに、当該検出した病変領域Ｌを示す情報に相当する病変情報ＩＬを取得するための処理を行う。
　判定部１３２は、病変検出部１３１における病変情報ＩＬの取得状態に応じ、内視鏡画像ＥＧに病変領域Ｌが含まれているか否かを判定する（図９のステップＳ１１）。
　表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれていないとの判定結果が判定部１３２により得られた場合（Ｓ１１：ＮＯ）に、当該内視鏡画像ＥＧを内視鏡画像表示領域に表示させるための表示画像を生成して表示装置１４へ出力した（図９のステップＳ１６）後、一連の処理を終了させる。
　表示制御部１３３は、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合（Ｓ１１：ＹＥＳ）に、当該内視鏡画像ＥＧにおいて当該病変領域Ｌが検出されたことを示すマークを生成するための処理を行う（図９のステップＳ１２）。
　表示制御部１３３は、内視鏡画像ＥＧを内視鏡画像表示領域に表示させつつ、図９のステップＳ１２により生成したマークをマーク表示領域に表示させるための表示画像を生成して表示装置１４へ出力する（図９のステップＳ１３）。
　ここで、図９のステップＳ１２及びステップＳ１３の処理によれば、例えば、図１０に示すような表示画像ＤＧＥが表示装置１４に表示される。図１０は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図１０の表示画像ＤＧＥの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有する内視鏡画像ＥＧＥが表示されている。また、図６の内視鏡画像ＥＧＥによれば、当該内視鏡画像ＥＧＥの左下側に設定された参照領域ＡＲ２（図４参照）に病変領域ＬＥが含まれている。そのため、図１０の表示画像ＤＧＥによれば、内視鏡画像ＥＧＥにおいて病変領域ＬＥが検出されたことを示す４つのマークＭＥ１、ＭＥ２、ＭＥ３及びＭＥ４がマーク表示領域ＡＭ１～ＡＭ４に表示されている。なお、図１０の表示画面内の破線は、病変領域ＬＥ及びマーク表示領域ＡＭ１～ＡＭ４の位置関係等を説明するために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　図１０の表示例によれば、図９のステップＳ１２の処理として、内視鏡画像ＥＧＥにおいて病変領域ＬＥが検出されたことを示すマークＭＥ１、ＭＥ２、ＭＥ３及びＭＥ４をそれぞれ生成するための処理が表示制御部１３３により行われる。また、図１０の表示例によれば、図９のステップＳ１３の処理として、内視鏡画像ＥＧＥ及びマークＭＥ１～ＭＥ４を含む表示画像ＤＧＥを生成して表示装置１４に表示させるための処理が表示制御部１３３により行われる。
　判定部１３２は、図９のステップＳ１１の処理以降に病変検出部１３１により得られた病変情報ＩＬをメモリに順次格納する。また、判定部１３２は、メモリに格納された病変情報ＩＬに基づき、当該病変情報ＩＬに対応する病変領域Ｌの検出が途絶したか否かを判定するための処理を行う（図９のステップＳ１４）。
　表示制御部１３３は、病変領域Ｌの検出が途絶していないとの判定結果が判定部１３２により得られた場合（Ｓ１４：ＮＯ）に、図９のステップＳ１３に戻って処理を行う。すなわち、本実施形態によれば、病変検出部１３１による病変領域Ｌの検出が継続している期間中において、図１０に例示したような、図９のステップＳ１３により生成されたマークを含む表示画像が表示装置１４に表示され続ける。
　表示制御部１３３は、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合（Ｓ１４：ＹＥＳ）に、当該判定結果を得る直前の病変情報ＩＬから特定される当該病変領域Ｌの位置、すなわち、当該病変領域Ｌの検出が途絶する直前に当該病変領域Ｌが存在していた位置が内視鏡画像ＥＧに設定した所定の複数の参照領域のうちのどの参照領域に含まれているかに応じ、表示装置１４に現在表示されている少なくとも１つのマークの表示態様を変更するための処理を行った（図９のステップＳ１５）後、一連の処理を終了させる。なお、本実施形態においては、図９のステップＳ１５の処理によりマークの表示態様が変更された場合に、変更後の表示態様が一定期間維持されるものとする。
　ここで、例えば、図１０の内視鏡画像ＥＧＥに含まれる病変部が当該内視鏡画像ＥＧＥの外部へ変位したことに起因して病変領域ＬＥの検出が途絶した直後に図９のステップＳ１５の処理が行われた場合には、図１１～図１３のいずれかに示すような表示画像が表示装置１４に表示される。図１１～図１３は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図１１の表示画像ＤＧＦの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部がフレームアウトした画像に相当する内視鏡画像ＥＧＦが表示されている。また、図１１の表示画像ＤＧＦによれば、内視鏡画像ＥＧＦにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２にはマークが表示されていない。また、図１１の表示画像ＤＧＦによれば、図１０と同様のマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＦにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。
　図１１の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１１の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が内視鏡画像ＥＧＥの外部へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２をマーク表示領域ＡＭ２から消去するための処理が表示制御部１３３により行われる。
　すなわち、図１１の表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、図１１の表示例によれば、病変領域ＬＥの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２を消去する処理と、が表示制御部１３３により行われる。
　なお、本実施形態によれば、図９のステップＳ１５の処理として、参照領域ＡＲ２に対応するマークＭＥ２をマーク表示領域ＡＭ２から消去するための処理が行われる代わりに、例えば、参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４からマークを消去するための処理が表示制御部１３３により行われるようにしてもよい。
　図１２の表示画像ＤＧＧの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部がフレームアウトした画像に相当する内視鏡画像ＥＧＧが表示されている。また、図１２の表示画像ＤＧＧによれば、図１０のマークＭＥ２とは異なる形状を有するマークＭＧ２が、内視鏡画像ＥＧＧにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２に表示されている。また、図１２の表示画像ＤＧＧによれば、図１０と同様の形状を有するマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＧにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。
　図１２の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１２の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が内視鏡画像ＥＧＥの外部へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２の形状を変化させることにより、当該参照領域ＡＲ２を指し示すような三角形のマークＭＧ２を生成するための処理が表示制御部１３３により行われる。
　すなわち、図１２の表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、図１２の表示例によれば、病変領域ＬＥの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２の形状を当該一の参照領域ＡＲ２を指し示すような形状に設定する処理と、が表示制御部１３３により行われる。
　なお、本実施形態によれば、図９のステップＳ１５の処理として、例えば、参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマークＭＥ１、ＭＥ３及びＭＥ４の形状を変化させることにより、参照領域ＡＲ２を指し示すようなマークを生成するための処理が表示制御部１３３により行われるようにしてもよい。そして、このような処理によれば、例えば、マークＭＥ１、ＭＥ３及びＭＥ４が、マークＭＥ２と同じ形状を有する三角形として表示装置１４に表示される。
　図１３の表示画像ＤＧＨの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部がフレームアウトした画像に相当する内視鏡画像ＥＧＨが表示されている。また、図１３の表示画像ＤＧＨによれば、図１０のマークＭＥ２の輝度ＢＬＢよりも高い輝度ＢＬＨを有するマークＭＨ２が、内視鏡画像ＥＧＨにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２に表示されている。また、図１３の表示画像ＤＧＨによれば、図１０のマークＭＥ２の輝度ＢＬＢと同じ輝度を有するマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＨにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。
　図１３の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１３の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が内視鏡画像ＥＧＥの外部へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２の輝度ＢＬＢを増加させることにより、当該輝度ＢＬＢよりも高い輝度を有するマークＭＨ２を生成するための処理が表示制御部１３３により行われる。換言すると、図１３の表示例によれば、図９のステップＳ１５の処理として、マークＭＥ２の輝度をマークＭＥ１、ＭＥ３及びＭＥ４の輝度よりも高い輝度に設定するための処理が表示制御部１３３により行われる。
　すなわち、図１３の表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、図１３の表示例によれば、病変領域ＬＥの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２の輝度を当該一のマークＭＥ２以外の（Ｎ－１）個のマークの輝度とは異なる輝度に設定する処理と、が表示制御部１３３により行われる。
　なお、本実施形態によれば、図９のステップＳ１５の処理として、参照領域ＡＲ２に対応するマークＭＥ２の輝度ＢＬＢを増加させるための処理が行われる代わりに、例えば、参照領域ＡＲ１、ＡＲ３及びＡＲ４に対応するマークＭＥ１、ＭＥ３及びＭＥ４の輝度ＢＬＢを減少させるための処理が表示制御部１３３により行われるようにしてもよい。
　本実施形態に係る各表示例によれば、病変領域Ｌの検出状態の概要として、内視鏡画像ＥＧにおいて当該病変領域Ｌが検出されたか否かを示すとともに、当該病変領域Ｌの検出が途絶する直前に当該病変領域Ｌが存在していた位置が当該内視鏡画像ＥＧに設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような１つ以上のマークを生成してＮ個のマーク表示領域のうちの少なくとも１つに表示させるための処理が表示制御部１３３により行われる。また、本実施形態に係る各表示例によれば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、当該病変領域Ｌが検出されたことを示す４つのマークを生成するための処理と、４つのマーク表示領域ＡＭ１～ＡＭ４に当該４つのマークを１つずつ表示させるための処理と、が表示制御部１３３により行われる。
　以上に述べたように、本実施形態によれば、例えば、病変領域Ｌが内視鏡画像ＥＧにおいて頻繁にフレームイン及びフレームアウトを繰り返すような状況が発生した場合であっても、当該病変領域Ｌが検出されているか否かを示すマークを、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定されたマーク表示領域に表示させることができる。さらに、以上に述べたように、本実施形態によれば、例えば、病変領域Ｌが内視鏡画像ＥＧの内部から外部へ変位するような状況が発生した場合であっても、当該病変領域Ｌが最後に検出された箇所に応じた表示態様を有する１つ以上のマークを、表示装置１４の表示画面上における内視鏡画像表示領域ＡＧの外部の所定の位置に設定されたマーク表示領域に表示させることができる。そのため、本実施形態によれば、例えば、ユーザが、表示装置１４の表示画面上における所定の位置に設定された１つ以上のマーク表示領域に表示されるマークを見ることにより、病変領域Ｌの検出状態を容易に把握することができる。従って、本実施形態によれば、内視鏡観察により病変部の診断等の作業を行うユーザの負担を軽減することができる。
　また、以上に述べたように、本実施形態によれば、ユーザが１つ以上のマーク表示領域に表示されるマークを見た際に得られる情報を、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要を示す情報に制限するような処理が行われる。そのため、本実施形態によれば、例えば、内視鏡画像ＥＧに含まれる病変領域Ｌの診断を行うユーザに対して無用な先入観を与えてしまうことを極力防ぐことができる。
　なお、本実施形態において説明した各表示例は、内視鏡画像ＥＧに含まれる病変部が残渣等の遮蔽物の裏側へ変位したことに起因して病変領域Ｌの検出が途絶した場合においても略同様に適用される。そして、このような場合においては、例えば、図９のステップＳ１５の処理に応じ、図１４に示すような表示画像ＤＧＰが表示装置１４に表示される。図１４は、第２の実施形態に係る内視鏡画像処理装置の処理に応じて表示される表示画像の一例を示す図である。
　図１４の表示画像ＤＧＰの内視鏡画像表示領域ＡＧには、当該内視鏡画像表示領域ＡＧと同一の形状及びサイズを有するとともに、図１０の内視鏡画像ＥＧＥにおける病変領域ＬＥに含まれていた病変部が残渣等の遮蔽物ＳＰの裏側へ変位した画像に相当する内視鏡画像ＥＧＰが表示されている。また、図１４の表示画像ＤＧＰによれば、内視鏡画像ＥＧＰにおける参照領域ＡＲ２に対応するマーク表示領域ＡＭ２にはマークが表示されていない。また、図１４の表示画像ＤＧＰによれば、図１０と同様のマークＭＥ１、ＭＥ３及びＭＥ４が、内視鏡画像ＥＧＰにおける参照領域ＡＲ２以外の３つの参照領域に対応するマーク表示領域ＡＭ１、ＡＭ３及びＡＭ４に表示されている。なお、図１４の表示画面内の破線は、病変領域ＬＥに含まれていた病変部が遮蔽物ＳＰの裏側に位置することを表すために描画されたものであるため、表示装置１４には実際には表示されないものとする。
　図１４の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥの検出が途絶したとの判定結果を得る直前における当該病変領域ＬＥの位置が参照領域ＡＲ２に含まれていることを特定するための処理が表示制御部１３３により行われる。また、図１４の表示例によれば、図９のステップＳ１５の処理として、病変領域ＬＥに含まれる病変部が遮蔽物ＳＰの裏側へ変位する直前に存在していた参照領域ＡＲ２に対応するマークＭＥ２をマーク表示領域ＡＭ２から消去するための処理が表示制御部１３３により行われる。
　本実施形態の表示制御部１３３は、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合に、図９のステップＳ１５の処理の代わりに、例えば、図１５に示すような処理を行うように構成されていてもよい。このような変形例に係る表示制御部１３３の処理の具体例について、以下に説明する。図１５は、第２の実施形態の変形例に係る内視鏡画像処理装置において行われる処理を説明するためのフローチャートである。
　表示制御部１３３は、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合（Ｓ１４：ＹＥＳ）に、当該判定結果を得る直前の病変情報ＩＬから特定される当該病変領域Ｌの位置、すなわち、当該病変領域Ｌの検出が途絶する直前における当該病変領域Ｌの位置が内視鏡画像ＥＧの端部に相当する位置であるか否かを判定するための処理を行う（図１５のステップＳ２１）。
　表示制御部１３３は、病変領域Ｌの検出が途絶する直前における当該病変領域Ｌの位置が内視鏡画像ＥＧの端部に相当する位置であるとの判定結果を得た場合（Ｓ２１：ＹＥＳ）に、当該病変領域Ｌに含まれていた病変部が当該内視鏡画像ＥＧの外部へ変位したことを示すように、表示装置１４に現在表示されている少なくとも１つのマークの表示態様を変更するための処理を行った（図１５のステップＳ２２）後、一連の処理を終了させる。
　具体的には、表示制御部１３３は、例えば、図１０に示した病変領域ＬＥの検出が途絶する直前における当該病変領域ＬＥの位置が、参照領域ＡＲ２に含まれていることを特定し、かつ、当該参照領域ＡＲ２の端部に相当する位置であるとの判定結果を得た場合に、図１３の表示例と同様の表示態様を有するマークＭＨ２を生成してマーク表示領域ＡＭ２に表示させるための処理を行う。
　表示制御部１３３は、病変領域Ｌの検出が途絶する直前における当該病変領域Ｌの位置が内視鏡画像ＥＧの端部よりも内側に相当する位置であるとの判定結果を得た場合（Ｓ２１：ＮＯ）に、当該病変領域Ｌに含まれていた病変部が残渣等の遮蔽物の裏側へ変位したことを示すように、表示装置１４に現在表示されている少なくとも１つのマークの表示態様を変更するための処理を行った（図１５のステップＳ２３）後、一連の処理を終了させる。
　具体的には、表示制御部１３３は、例えば、図１０に示した病変領域ＬＥの検出が途絶する直前における当該病変領域ＬＥの位置が、参照領域ＡＲ２に含まれていることを特定し、かつ、当該参照領域ＡＲ２の端部よりも内側に相当する位置であるとの判定結果を得た場合に、図１２の表示例と同様の表示態様を有するマークＭＧ２を生成してマーク表示領域ＡＭ２に表示させるための処理を行う。
　すなわち、図１５に示した処理によれば、病変情報ＩＬに基づいて所定の複数の参照領域のうちの病変領域ＬＥの検出が途絶する直前に当該病変領域ＬＥが存在していた位置を含む一の参照領域ＡＲ２を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域ＡＲ２に最も近い位置に設定された一のマーク表示領域ＡＭ２に表示されている一のマークＭＥ２の表示態様を当該病変領域ＬＥの検出が途絶した要因に応じて異なる表示態様に設定する処理と、が表示制御部１３３により行われる。また、図１５に示した処理によれば、病変部が内視鏡画像ＥＧの外部へ変位したことに起因して病変領域ＬＥの検出が途絶した場合に、前述の一のマークＭＥ２の表示態様を（マークＭＨ２のような）第１の表示態様に設定する処理が表示制御部１３３により行われる。また、図１５に示した処理によれば、病変部が内視鏡画像ＥＧに含まれる遮蔽物の裏側へ変位したことに起因して病変領域Ｌの検出が途絶した場合に、前述の一のマークの表示態様を前述の第１の表示態様とは異なる（マークＭＧ２のような）第２の表示態様に設定する処理が表示制御部１３３により行われる。
　また、本実施形態の表示制御部１３３は、図１１～図１３の表示例各々に対応するマークの表示方法に係る処理を複数組み合わせて行うように構成されていてもよい。
　また、本実施形態によれば、内視鏡画像ＥＧにおける病変領域Ｌの検出状態の概要をユーザに視認させることが可能な色を有するマークを生成するための処理が行われるとともに、当該内視鏡画像ＥＧ及び当該マークを含む表示画像を表示装置１４に表示させるための処理が行われるようにしてもよい。そして、このような構成によれば、例えば、内視鏡画像ＥＧに病変領域Ｌが含まれているとの判定結果が判定部１３２により得られた場合に、Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理が表示制御部１３３により行われる。また、前述のような構成によれば、例えば、病変領域Ｌの検出が途絶したとの判定結果が判定部１３２により得られた場合に、病変情報ＩＬに基づいて所定の複数の参照領域のうちの当該病変領域Ｌの検出が途絶する直前に当該病変領域Ｌが存在していた位置を含む一の参照領域を特定する処理と、Ｎ個のマーク表示領域のうちの当該一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を当該所定の色とは異なる色に変化させる処理と、が表示制御部１３３により行われる。
　なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能である。

Claims (19)

  1. 　被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行うように構成された病変検出部と、
    　前記内視鏡画像に前記病変領域が含まれているか否かを判定するように構成された判定部と、
    　前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行うとともに、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行うように構成された表示制御部と、
    　を有することを特徴とする内視鏡画像処理装置。
  2. 　前記表示制御部は、前記病変領域の検出状態の概要として、前記内視鏡画像において前記病変領域が検出されたか否かを示すとともに、前記病変領域の現在の位置が前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理を行う
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  3. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記一の参照領域を示す一のマークを生成する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に前記一のマークを表示させる処理と、を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  4. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させる処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの形状を前記一の参照領域を指し示すような形状に設定する処理と、を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  5. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの輝度を前記一のマーク以外の（Ｎ－１）個のマークの輝度とは異なる輝度に設定する処理と、を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  6. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域に表示されているＮ個のマークの形状を前記内視鏡画像における前記一の参照領域が存在する方向を指し示すような形状に設定する処理と、を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  7. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理と、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の現在の位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を前記所定の色とは異なる色に変化させる処理と、を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  8. 　前記病変検出部は、前記内視鏡の挿入部の先端部から前記病変部の表面までの推定距離を検出するための処理をさらに行い、
    　前記表示制御部は、前記内視鏡の挿入部の先端部と前記病変領域に含まれる前記病変部とがどれだけ離れているかを前記病変領域の検出状態の概要としてさらに示すような前記１つ以上のマークを前記推定距離に基づいて生成するための処理を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  9. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上かつ４つ以下のＭ個のマークを生成するための処理と、前記内視鏡画像表示領域の中心から見て左上側、左下側、右上側及び右下側の４方向に位置するように設定された４つのマーク表示領域のうちのＭ個のマーク表示領域に前記Ｍ個のマークを１つずつ表示させるための処理と、を行う
    　ことを特徴とする請求項２に記載の内視鏡画像処理装置。
  10. 　前記判定部は、さらに、前記病変情報に対応する前記病変領域の検出が途絶したか否かを判定し、
    　前記表示制御部は、前記病変領域の検出状態の概要として、前記内視鏡画像において前記病変領域が検出されたか否かを示すとともに、前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置が前記内視鏡画像に設定された所定の複数の参照領域のうちのどの参照領域に含まれているかを示すような前記１つ以上のマークを生成して前記Ｎ個のマーク表示領域のうちの少なくとも１つに表示させるための処理を行う
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  11. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークを消去する処理と、を行う
    　ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
  12. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの形状を前記一の参照領域を指し示すような形状に設定する処理と、を行う
    　ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
  13. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの輝度を前記一のマーク以外の（Ｎ－１）個のマークの輝度とは異なる輝度に設定する処理と、を行う
    　ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
  14. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々に所定の色を有するマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの色を前記所定の色とは異なる色に変化させる処理と、を行う
    　ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
  15. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記Ｎ個のマーク表示領域各々にマークを１つずつ表示させるための処理を行い、さらに、前記病変領域の検出が途絶したとの判定結果が前記判定部により得られた場合に、前記病変情報に基づいて前記所定の複数の参照領域のうちの前記病変領域の検出が途絶する直前に前記病変領域が存在していた位置を含む一の参照領域を特定する処理と、前記Ｎ個のマーク表示領域のうちの前記一の参照領域に最も近い位置に設定された一のマーク表示領域に表示されている一のマークの表示態様を前記病変領域の検出が途絶した要因に応じて異なる表示態様に設定する処理と、を行う
    　ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
  16. 　前記表示制御部は、前記病変部が前記内視鏡画像の外部へ変位したことに起因して前記病変領域の検出が途絶した場合に、前記一のマークの表示態様を第１の表示態様に設定する処理を行うとともに、前記病変部が前記内視鏡画像に含まれる遮蔽物の裏側へ変位したことに起因して前記病変領域の検出が途絶した場合に、前記一のマークの表示態様を前記第１の表示態様とは異なる第２の表示態様に設定する処理を行う
    　ことを特徴とする請求項１５に記載の内視鏡画像処理装置。
  17. 　前記表示制御部は、前記内視鏡画像に前記病変領域が含まれているとの判定結果が前記判定部により得られた場合に、前記病変領域が検出されたことを示す４つのマークを生成するための処理と、前記内視鏡画像表示領域の中心から見て左上側、左下側、右上側及び右下側の４方向に位置するように設定された４つのマーク表示領域に前記４つのマークを１つずつ表示させるための処理と、を行う
    　ことを特徴とする請求項１０に記載の内視鏡画像処理装置。
  18. 　病変検出部が、被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理を行うとともに、前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理を行い、
    　判定部が、前記内視鏡画像に前記病変領域が含まれているか否かを判定し、
    　表示制御部が、前記病変情報と、前記判定部により得られた判定結果と、に基づき、前記病変検出部による前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理を行い、
    　前記表示制御部が、前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理を行う
    　ことを特徴とする内視鏡画像処理方法。
  19. 　コンピュータに、
    　被検体内の被写体を内視鏡で撮像して得られた内視鏡画像において病変部を含むと推定される領域に相当する病変領域を検出するための処理と、
    　前記内視鏡画像に含まれる前記病変領域の位置を示す情報を含む病変情報を取得するための処理と、
    　前記内視鏡画像に前記病変領域が含まれているか否かを判定する判定処理と、
    　前記病変情報と、前記判定処理により得られた判定結果と、に基づき、前記病変領域の検出状態の概要を示す１つ以上のマークを生成するための処理と、
    　前記内視鏡画像を表示装置の表示画面上に設定される内視鏡画像表示領域に表示させつつ、前記表示画面上における前記内視鏡画像表示領域の外部の所定の位置に設定されるとともに、前記１つ以上のマークの最大表示数に応じた個数を有する領域として設定されるＮ個のマーク表示領域のうちの少なくとも１つに前記１つ以上のマークを表示させるための表示画像を生成するための処理と、
    　を実行させるためのプログラム。
PCT/JP2018/048408 2018-12-28 2018-12-28 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム WO2020136858A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020562259A JP7123173B2 (ja) 2018-12-28 2018-12-28 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
CN201880100423.7A CN113226151A (zh) 2018-12-28 2018-12-28 内窥镜图像处理装置、内窥镜图像处理方法及程序
PCT/JP2018/048408 WO2020136858A1 (ja) 2018-12-28 2018-12-28 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US17/355,545 US20210327067A1 (en) 2018-12-28 2021-06-23 Endoscopic image processing apparatus, endoscopic image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/048408 WO2020136858A1 (ja) 2018-12-28 2018-12-28 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/355,545 Continuation US20210327067A1 (en) 2018-12-28 2021-06-23 Endoscopic image processing apparatus, endoscopic image processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020136858A1 true WO2020136858A1 (ja) 2020-07-02

Family

ID=71125996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048408 WO2020136858A1 (ja) 2018-12-28 2018-12-28 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20210327067A1 (ja)
JP (1) JP7123173B2 (ja)
CN (1) CN113226151A (ja)
WO (1) WO2020136858A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122312A (ko) * 2021-02-26 2022-09-02 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191989A (ja) * 2005-01-11 2006-07-27 Olympus Corp 蛍光観察内視鏡装置
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190917B2 (ja) * 2002-03-28 2008-12-03 富士フイルム株式会社 内視鏡装置
JP5327641B2 (ja) * 2007-05-17 2013-10-30 オリンパスメディカルシステムズ株式会社 画像情報の表示処理装置
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
KR101599129B1 (ko) * 2014-05-20 2016-03-02 박현준 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP6335412B1 (ja) * 2017-02-02 2018-05-30 オリンパス株式会社 内視鏡画像観察支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191989A (ja) * 2005-01-11 2006-07-27 Olympus Corp 蛍光観察内視鏡装置
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122312A (ko) * 2021-02-26 2022-09-02 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102536369B1 (ko) * 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법

Also Published As

Publication number Publication date
JPWO2020136858A1 (ja) 2021-11-04
JP7123173B2 (ja) 2022-08-22
US20210327067A1 (en) 2021-10-21
CN113226151A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
JP6843926B2 (ja) ビデオ内視鏡システム
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
JP6013665B1 (ja) 診断支援装置及び診断支援情報表示方法
JP2011177419A (ja) 蛍光観察装置
US20190043215A1 (en) Endoscope apparatus
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2019106712A1 (ja) 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018047369A1 (ja) 内視鏡システム
JPWO2017104192A1 (ja) 医用観察システム
WO2019123827A1 (ja) 内視鏡システム及び内視鏡プロセッサ
JP2019213036A (ja) 内視鏡プロセッサ、表示設定方法および表示設定プログラム
CN113271841A (zh) 促进使用不同荧光成像剂的医学成像系统和方法
WO2020136858A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US11363939B2 (en) Endoscope system, operation method of endoscope system and recording medium
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
CN113164054A (zh) 医学成像系统和方法
JP6205531B1 (ja) 内視鏡システム
US20220151467A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
JP4766935B2 (ja) 内視鏡装置
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JPWO2016111178A1 (ja) 内視鏡システム
WO2019146079A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP6663692B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の制御方法
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18944649

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562259

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18944649

Country of ref document: EP

Kind code of ref document: A1