WO2020008651A1 - 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム - Google Patents

内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム Download PDF

Info

Publication number
WO2020008651A1
WO2020008651A1 PCT/JP2018/025791 JP2018025791W WO2020008651A1 WO 2020008651 A1 WO2020008651 A1 WO 2020008651A1 JP 2018025791 W JP2018025791 W JP 2018025791W WO 2020008651 A1 WO2020008651 A1 WO 2020008651A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
analysis unit
endoscope
image processing
image
Prior art date
Application number
PCT/JP2018/025791
Other languages
English (en)
French (fr)
Inventor
健人 速水
大和 神田
北村　誠
明広 窪田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020528672A priority Critical patent/JP7084994B2/ja
Priority to CN201880094602.4A priority patent/CN112312822A/zh
Priority to PCT/JP2018/025791 priority patent/WO2020008651A1/ja
Publication of WO2020008651A1 publication Critical patent/WO2020008651A1/ja
Priority to US17/140,609 priority patent/US11656451B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2446—Optical details of the image relay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to an image processing apparatus for an endoscope, an image processing method for an endoscope, and an image processing program for an endoscope.
  • Endoscopes have been widely used in the medical and industrial fields.
  • an operator can find and identify a lesion by looking at an endoscopic image in a subject displayed on a display device, and perform processing using a treatment tool for the lesion.
  • an image processing device that gives a highlight by a marker such as a frame to a lesion detected from the endoscopic image and displays the lesion is , Is generally widely known.
  • Japanese Patent Application Laid-Open No. 2009-105705 which has been proposed as a method of extending display information for a general image, to an image processing apparatus for an endoscope image, extended display of a marker or the like is realized. It is possible to do.
  • extension processing is performed for a certain period of time in any situation. For this reason, for example, for an obvious lesion, there is a problem that the visibility is impaired by displaying the marker longer than necessary. In addition, for example, there is a problem in that a lesion that is difficult to notice may be overlooked because the marker disappears before the lesion is identified.
  • the present invention has been made in view of the above circumstances, and has an image processing apparatus for an endoscope capable of reducing oversight of a lesion that may occur in endoscopic observation and improving visibility.
  • An object of the present invention is to provide an endoscope image processing method and an endoscope image processing program.
  • An endoscope image processing apparatus includes an image input unit to which a plurality of observation images obtained by imaging a subject with an endoscope are sequentially input, and an observation target of the endoscope.
  • a lesion detection unit that detects a certain lesion from the observation image, and a display control output unit that adds a detection result of the lesion to the observation image and outputs the result.
  • the display control output unit includes a lesion state analysis unit that analyzes a state of a lesion, and a display extension time setting unit that sets a display extension time of a detection result of the lesion according to a state of the lesion.
  • An image processing method for an endoscope includes sequentially inputting a plurality of observation images obtained by imaging a subject with an endoscope, and setting a lesion portion to be observed by the endoscope to the lesion. Detecting from the observation image, analyzing the state of the lesion, setting a display extension time of the detection result of the lesion according to the state, adding the detection result of the lesion to the observation image and outputting the result .
  • An image processing program for an endoscope wherein the image input unit sequentially acquires a plurality of observation images obtained by imaging the subject with the endoscope; A step of detecting a lesion that is an observation target of the endoscope from the observation image; a step of analyzing a state of the lesion by the lesion state analysis unit; and a step of setting a display extension time according to the state of the lesion. Setting the display extension time of the detection result, and causing the display control output unit to add the detection result of the lesion to the observation image and output the result.
  • FIG. 1 is a diagram illustrating a configuration of a main part of an endoscope system including an image processing device according to a first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a configuration related to image processing of the image processing apparatus according to the first embodiment.
  • 4 is a flowchart illustrating an example of processing performed in the image processing apparatus according to the first embodiment.
  • 5 is a time chart illustrating an example of a process performed in the image processing apparatus according to the first embodiment.
  • 6 is a time chart for explaining another example of the processing performed in the image processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a display image displayed on a display device through processing of the image processing apparatus according to the first embodiment.
  • FIG. 5 is a view showing another example of the display image displayed on the display device through the processing of the image processing apparatus according to the first embodiment.
  • FIG. 5 is a view showing another example of the display image displayed on the display device through the processing of the image processing apparatus according to the first embodiment.
  • FIG. 9 is a block diagram for explaining an example of a configuration of a lesion state analysis unit according to the second embodiment.
  • 9 is a flowchart illustrating an example of the flow of a lesion analysis process according to the second embodiment.
  • 13 is a flowchart illustrating an example of the flow of a lesion analysis process according to a modification of the second embodiment.
  • 13 is a flowchart illustrating an example of the flow of a lesion analysis process according to the third embodiment.
  • 15 is a flowchart illustrating an example of the flow of a lesion analysis process according to a modification of the third embodiment.
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including the image processing device according to the first embodiment.
  • the endoscope system 1 includes a light source driving device 11, an endoscope 21, a video processor 31, an image processing device for an endoscope (hereinafter, referred to as an image processing device) 32, And a display device 41.
  • the light source driving device 11 includes, for example, a drive circuit. Further, the light source driving device 11 is connected to the endoscope 21 and the video processor 31. Further, the light source driving device 11 generates a light source driving signal for driving the light source unit 23 of the endoscope 21 based on the light source control signal from the video processor 31, and converts the generated light source driving signal into the endoscope 21. It is configured to output to
  • the endoscope 21 is connected to the light source driving device 11 and the video processor 31.
  • the endoscope 21 has an elongated insertion portion 22 that can be inserted into the body cavity of the subject.
  • a light source unit 23 and an imaging unit 24 are provided at a distal end of the insertion unit 22.
  • the light source unit 23 includes, for example, a light emitting element such as a white LED.
  • the light source unit 23 is configured to generate illumination light by emitting light in accordance with a light source drive signal output from the light source drive device 11 and to emit the generated illumination light to a subject such as a living tissue. I have.
  • the imaging unit 24 includes an image sensor such as a color CCD or a color CMOS, for example.
  • the imaging unit 24 is configured to perform an operation according to an imaging control signal output from the video processor 31.
  • the imaging unit 24 receives reflected light from a subject illuminated by the illumination light from the light source unit 23, captures the received reflected light to generate an imaging signal, and converts the generated imaging signal into a video processor. 31.
  • the video processor 31 is connected to the light source driving device 11 and the endoscope 21.
  • the video processor 31 is configured to generate a light source control signal for controlling the light emission state of the light source unit 23 and output the generated signal to the light source driving device 11.
  • the video processor 31 is configured to generate and output an imaging control signal for controlling the imaging operation of the imaging unit 24. Further, the video processor 31 performs a predetermined process on the imaging signal output from the endoscope 21 to generate an observation image G1 of the subject, and transmits the generated observation image G1 to the image processing device 32 for one frame. Each is sequentially output.
  • the image processing device 32 includes an electronic circuit such as an image processing circuit.
  • the image processing device 32 is configured to generate an image for display based on the observation image G1 output from the video processor 31 and perform an operation for displaying the generated image for display on the display device 41. ing. Further, as shown in FIG. 2, the image processing device 32 includes an image input unit 33, a lesion detection unit 34, and a display control unit 36.
  • FIG. 2 is a block diagram illustrating an example of a configuration related to image processing of the image processing apparatus according to the first embodiment.
  • the image input unit 33 outputs the observation image G1 input from the video processor 31 to the lesion detection unit 34.
  • the lesion detection unit 34 applies a process of applying a function capable of identifying a polyp image in advance by a learning method such as deep learning to the observation image G1 to perform a process of applying the function to the observation image G1.
  • the area Ln is detected.
  • the detection of the lesion area Ln is not limited to the learning method described above, and another method may be used. For example, a polyp candidate detection process as disclosed in JP-A-2007-244518 may be used.
  • the display control unit 36 as a display control output unit is connected to the display device 41. Further, the display control unit 36 includes an emphasis processing unit 36a, a lesion state analysis unit 36b, a display extension time setting unit 36c, and a recording unit 36d.
  • the display control unit 36 performs processing for generating a display image using the observation image G1 sequentially output from the video processor 31, and displays the generated display image on the display screen 41A of the display device 41. Is configured to perform the processing.
  • the emphasis processing unit 36a performs a highlighting process of generating a marker image G2 surrounding the lesion area Ln and adding the marker image G2 to the observation image G1, in order to emphasize the position of the lesion area Ln detected by the lesion detection unit 34.
  • the emphasis processing is started from the point in time when the lesion area Ln is detected.
  • the enhancement process ends after the display extension time set by the display extension time setting unit 36c elapses after the detection of the lesion area Ln is interrupted. Note that the case where the lesion area Ln has moved out of the screen after the detection of the lesion area Ln or the case where the detection of the lesion area Ln has failed is also included in the interruption.
  • the marker image G2 added by the enhancement processing of the enhancement processing unit 36a may have any form as long as the position of the lesion candidate Ln can be presented as visual information. Any image such as a triangle, a circle, and a star may be used.
  • the marker image G2 may be an image that does not surround the lesion area Ln as long as it can indicate the position of the lesion area Ln. For example, the position of the lesion area Ln may be indicated by making the brightness or color tone of the lesion area Ln different from that of the surrounding area.
  • a message indicating the lesion area is generated as support information, and displayed in the form of a pop-up message or the like in the vicinity of the lesion area, the periphery of the observation screen, or the like, or a flag is generated and displayed, thereby displaying the presence of the message. May be indicated.
  • the lesion state analysis unit 36b analyzes the state of the lesion area Ln detected by the lesion detection unit 34. The result of the analysis is output to the display extension time setting unit 36c.
  • the display extension time setting unit 36c sets the display extension time of the marker image G2 generated by the enhancement processing unit 36a based on the analysis result of the state of the lesion area Ln.
  • the display extension time set by the display extension time setting unit 36c is a time during which the marker image G2 added and displayed on the observation image G1 is displayed on the display image even after the detection of the lesion area Ln is interrupted. That is.
  • two or more types of display extension times are set in advance, and an appropriate display extension time is selected according to the analysis result input from the lesion state analysis unit 36b.
  • Extended display time is defined by the number of frames. For example, one frame is set as the first display extension time and 10 frames are set as the second display extension time in advance. When the number of frames per second is 30, the first display extension time is about 0.03 seconds, and the second display extension time is about 0.33 seconds.
  • the second display extension time is selected in order to prevent the operator from overlooking the lesion.
  • the first display extension time is selected in order to improve visibility.
  • the recording unit 36d is configured to record a plurality of observation images G1 sequentially output from the video processor 31 as a plurality of recording images R1 (time-sequential order).
  • the display device 41 includes a monitor or the like, and is configured to display a display image output from the image processing device 32.
  • FIG. 3 is a flowchart illustrating an example of a process performed in the image processing apparatus according to the first embodiment.
  • the endoscope 21 emits illumination light to a subject, receives reflected light from the subject, and captures the received reflected light, for example, when the light source driving device 11 and the video processor 31 are powered on. To generate an imaging signal, and output the generated imaging signal to the video processor 31.
  • the video processor 31 performs a predetermined process on the imaging signal output from the endoscope 21 to generate an observation image G1 of the subject, and sequentially transmits the generated observation image G1 to the image processing device 32 frame by frame. Output. That is, the image input unit 33 acquires an endoscopic image (observation image G1), which is an in-vivo lumen image, from the video processor 31 (S1). The image input unit 33 outputs the obtained image to the lesion detection unit 34.
  • the lesion detection unit 34 applies a process of applying a function capable of identifying a polyp image in advance by a learning method such as deep learning to the observation image G1 to perform a process of applying the function to the observation image G1.
  • the area Ln is detected (S2).
  • the detection result of the lesion area Ln is output to the display control unit 36.
  • the state of the lesion area Ln is analyzed by the lesion state analysis unit 36b.
  • the lesion state analysis unit 36b determines the importance (malignancy, etc.) and the position of the lesion area Ln by image analysis, and evaluates the possibility of oversight (S3).
  • the analysis result of the state of the lesion area Ln is input to the display extension time setting unit 36c.
  • the display extension time setting unit 36c sets the display extension time of the marker image G2 added to the display screen to emphasize the lesion area Ln based on the analysis result of the state of the lesion area Ln. It is set based on the analysis result (S4). If the lesion area Ln is difficult to see or the degree of malignancy is high (S4, YES), the process proceeds to S6, and the display extension time is set long. On the other hand, if the lesion area Ln is in an easily viewable state or the malignancy is low (S4, NO), the process proceeds to S5, and the display extension time is set short.
  • the process proceeds to S7.
  • the highlighting unit 36a performs a highlighting process of generating a marker image G2 surrounding the lesion area Ln and adding the marker image G2 to the observation image G1.
  • the emphasis processing is started from the point in time when the lesion area Ln is detected, and the display extension time elapses after the detection of the lesion area Ln is interrupted because the lesion area Ln moves out of the screen or the detection fails. It ends when it does.
  • the display control unit 36 outputs an image obtained by adding the marker image G2 to the observation image G1 as necessary to the display device 41 as a display image, and ends a series of processes.
  • FIGS. 4 and 5 are time charts for explaining an example of processing performed in the image processing apparatus according to the present embodiment.
  • FIG. 4 is a time chart when the lesion area Ln is difficult to see or the degree of malignancy is high.
  • FIG. 5 is a time chart when the lesion area Ln is easy to see or the degree of malignancy is low. It is a chart.
  • FIG. 6 is a diagram illustrating an example of a display image displayed on the display device through the processing of the image processing apparatus according to the present embodiment.
  • a display image in which the marker image G2 is added to the observation image G1 is generated regardless of the state of the lesion area Ln. Is displayed. After the timing when the detection of the lesion area L1 is interrupted, the application time of the marker image G2 changes according to the state of the lesion area Ln.
  • the marker image G2 is added to the observation image G1 for the display extension time TD1 from the timing when the detection of the lesion area L1 is interrupted.
  • a display image of the state is generated and displayed on the display screen 41A of the display device 41.
  • the marker image is displayed on the observation image G1 for the display extension time TD2 (TD2 ⁇ TD1) from the timing when the detection of the lesion area L1 is interrupted.
  • a display image with G2 added is generated and displayed on the display screen 41A of the display device 41.
  • the time (display extension time) for continuously displaying the marker image G2 after the detection of the lesion area Ln is interrupted is adjusted according to the state of the lesion area Ln. It is possible to reduce an oversight of a lesion part which may occur in the endoscope observation and improve the visibility.
  • an appropriate display extension time is selected from two types of preset times TD1 and TD2. However, three or more types of display extension times are selected according to the state of the lesion area Ln. May be configured.
  • the display image is configured to include the observation image G1 that is a moving image.
  • the display image may be configured to include the observation image G1 and the recorded image R1 that is a still image. .
  • FIG. 7 is a diagram showing another example of the display image displayed on the display device through the processing of the image processing device according to the present embodiment.
  • the display control unit 36 arranges the observation image G1 in the display area D1 of the display screen 41A at the timing when the detection of the lesion area L1 is interrupted by the lesion candidate detection unit 34b, and Then, processing for displaying a display image in which the recorded image R1 recorded by the recording unit 36d during the detection of the lesion area L1 is arranged in the display area D2 of the display screen 41A is started. Then, the process of arranging the recorded image R1 in the display area D2 of the display screen 41A ends when the display extension time elapses from the timing when the detection of the lesion area L1 is interrupted.
  • a display image in which the recorded image R1 is arranged in the display area D2 is displayed on the display screen 41A of the display device 41.
  • the display area D2 is, for example, set in advance on the display screen 41A as an area having a smaller size than the above-described display area D1.
  • the position of the lesion area Ln is indicated to the surgeon, thereby suppressing a decrease in the visibility of the observation image G1 and the lesion area. Can be further reduced.
  • FIG. 8 is a diagram illustrating another example of the display image displayed on the display device through the processing of the image processing device according to the present embodiment.
  • the time (display extension time) for continuously displaying the marker image G2 after the detection of the lesion area Ln is interrupted is adjusted according to the state of the lesion area Ln. Then, the visibility of the lesion area Ln is analyzed, and the display extension time is determined based on the result.
  • the image processing apparatus of the present embodiment has the same configuration as the image processing apparatus 32 of the first embodiment, and the same components are denoted by the same reference numerals and description thereof will be omitted.
  • FIG. 9 is a block diagram illustrating an example of a configuration of a lesion state analysis unit according to the second embodiment.
  • FIG. 9 shows not only the configuration according to the present embodiment described below, but also the configuration according to the third embodiment described after the present embodiment. The operation of each unit will be described in detail in the corresponding part of the following description.
  • FIG. 10 is a flowchart illustrating an example of the flow of a lesion analysis process according to the second embodiment.
  • the processing in FIG. 10 involves the visibility analysis unit 361 in the lesion state analysis unit 36b in FIG. 9, particularly, the lesion unit information analysis unit 361A.
  • the lesion state analysis unit 36b analyzes the visibility of the lesion area Ln.
  • an item to be analyzed for visibility is selected (S11).
  • the analysis items of visibility include, for example, (a) the distance between the endoscope 21 and the lesion area Ln, (b) the ratio of the occupied area of the lesion area Ln in the observation image G1, (c) the shape of the lesion area Ln, Items such as (d) the size of the lesion area Ln, (e) the position of the lesion area Ln in the observation image G1, (f) the color and brightness of the lesion area Ln, and (g) the organ site where the lesion area Ln is located, are listed.
  • Can be The lesion state analysis unit 36b analyzes an item selected from these. The analysis of the visibility may be performed by selecting only one item or by selecting a plurality of items.
  • the lesion distance estimation unit 361A1 estimates the imaging distance to each pixel in the image.
  • a description will be given of a photographing distance estimation on the assumption that a photographing target is a uniform diffusion surface based on an image.
  • a low absorption wavelength component for example, a red (R) wavelength
  • a red (R) wavelength for example, a red (R) wavelength
  • the red (R), green (G), and blue (B) In an image composed of three components, the red (R) component is a component having a wavelength apart from the absorption band of blood and a long wavelength, and is hardly affected by absorption and scattering in a living body.
  • the ingredients are selected.
  • the lesion distance estimation unit 361A1 estimates the imaging distance assuming a uniform diffusion surface based on the pixel values of the low absorption wavelength component. Specifically, the imaging distance is calculated by the following equation (1).
  • r indicates the imaging distance
  • I indicates the radiant intensity of the light source obtained by measuring in advance
  • K indicates the diffuse reflection coefficient of the mucosal surface which is the average value measured in advance.
  • ⁇ is an angle between the normal vector of the mucosal surface and the vector from the surface to the light source, and is a value determined by the positional relationship between the light source at the distal end of the insertion section of the endoscope 21 and the mucosal surface, and is an average value.
  • L indicates the R component value of the pixel on which the mucosal surface of the imaging distance estimation target is reflected.
  • correction of pixel value unevenness by an optical system or an illumination system which may cause a reduction in accuracy of each processing, and elimination of non-mucous regions such as specular reflection, residue, and bubbles may be performed.
  • the calculation may be based on a distance measuring sensor or the like.
  • the lesion distance estimating unit 361A1 estimates the distance between the endoscope 21 and the lesion area Ln, and outputs the result as an analysis result.
  • the lesion exclusive area calculation unit 361A2 calculates the ratio of the area occupied by the lesion area Ln in the observation image G1. Specifically, for example, a process of applying an image classifier, which previously acquires a function capable of identifying a polyp image by a learning method such as deep learning, to the observation image G1, is performed to obtain a lesion area from the observation image G1. Ln is detected. Then, the number of pixels included in the lesion area Ln is calculated. Finally, the occupation area ratio is calculated by dividing the number of pixels included in the lesion area Ln by the total number of pixels constituting the observation image G1.
  • the position information of the lesion area Ln may be obtained from the lesion detection unit 34. Further, the detection of the lesion area Ln is not limited to the learning method described above, and another method may be used. For example, a polyp candidate detection process as disclosed in JP-A-2007-244518 may be used.
  • the lesion occupation area calculation unit 361A2 calculates the ratio of the occupation area of the lesion area Ln in the observation image G1, and outputs the result as an analysis result.
  • the lesion shape analysis unit 361A3 performs differential classification based on the shape of the lesion. Specifically, the lesion shape analysis unit 361A3 creates a mask image indicating a lesion area, and calculates a shape feature amount based on the image. The shape feature quantity is classified into one of a plurality of classes generated by machine learning using a classifier such as SVM. Here, known parameters such as circularity, moment, and fractal dimension are used as the shape feature quantity.
  • a raised type (type I) and a surface type (type II), and among raised types, there is no constriction in rising (Is), Isp), pedunculated (Ip).
  • the surface type is classified into a raised type (IIa), a flat type (IIb), a concave type (IIc), and the like.
  • gastric polyps there are submucosal tumor type (bulge I), sessile type (bulge II), subpedicle type (bulge III), and pedicle type (bulge IV).
  • bulge I submucosal tumor type
  • sessile type bulge II
  • subpedicle type bulge III
  • pedicle type pedicle type
  • the lesion shape analyzer 361A3 discriminates the shape of the lesion and outputs the result as an analysis result.
  • the lesion size estimation unit 361A4 estimates the imaging distance to each pixel in the image.
  • the estimation of the imaging distance may be performed by the lesion size estimation unit 361A4 using the above-described method or the like, or the processing may be performed by the lesion distance estimation unit 361A1, and the result may be obtained.
  • the lesion size estimating unit 361A4 sets a threshold smaller and larger than the imaging distance for the imaging distance of the pixel near the lesion, and extracts a region of the imaging distance band with the lesion by the threshold processing.
  • the lesion size estimating unit 361A4 calculates the circularity of the area, and if the circularity is larger than a predetermined value, detects the area as a lumen.
  • the lesion size estimation unit 361A4 compares the lumen with the lesion, and estimates the size of the lesion.
  • the lesion size estimation unit 361A4 estimates the actual size of the lesion by calculating the ratio of the length of the lesion to the detected circumferential length of the lumen.
  • the circumference of the lumen of each organ site (position) can be set in advance based on the anatomy to improve the accuracy of the size estimation. For example, in the case of a large intestine examination, the site (position) of a lesion of the large intestine is estimated from the insertion amount of the insertion portion, and the accuracy of the size estimation is compared with a preset circumference of the lumen. You may make it improve.
  • the lesion size estimation unit 361A4 estimates the size of the lesion by comparing it with the circular size of the lumen shown in the endoscope image, and outputs the result as an analysis result.
  • the lesion position analysis unit 361A5 first performs, for example, a process of applying, to the observation image G1, an image classifier that previously acquires a function capable of identifying a polyp image by a learning method such as deep learning, to thereby obtain the observation image G1.
  • a lesion area Ln is detected from G1, and positional information is obtained.
  • the detection of the lesion area Ln is not limited to the learning method described above, and another method may be used. For example, a polyp candidate detection process as disclosed in JP-A-2007-244518 may be used. Further, the position information of the lesion area Ln may be acquired from the lesion detection unit 34 or the lesion exclusive area calculation unit 361A2.
  • the position of the lesion area Ln in the observation image G1 is analyzed.
  • An example of a specific method will be described below.
  • the observation image G1 in the observation image G1 is divided into three equal parts in the vertical direction and three equal parts in the horizontal direction, and divided into nine blocks.
  • the block in which the lesion area Ln exists is specified, and the block is output as the position of the lesion area Ln.
  • the block having the largest area in which the lesion area Ln exists is set as the block in which the lesion area Ln exists.
  • the method of specifying the block in which the lesion area Ln exists is not limited to the above-described method, and another method such as a block in which a pixel located at the center of the lesion area Ln exists may be used.
  • the position of the lesion area Ln may be calculated as a distance from the center pixel position of the observation image G1 instead of the above-described block position.
  • the lesion position analysis unit 361A5 specifies the position of the lesion area Ln in the observation image G1, and outputs the result as an analysis result.
  • S17 the process described below (S17) is performed.
  • the processing of S17 is performed by the lesion color / brightness analysis unit 361A6 in FIG.
  • the lesion color / luminance analysis unit 361A6 determines each pixel included in the lesion area Ln.
  • the values (R pixel value, G pixel value, B pixel value) are extracted.
  • an average is calculated for each of the R pixel value, the G pixel value, and the B pixel value, and is set as the color pixel value of the lesion area Ln.
  • another statistical value such as a mode value may be used instead of the average.
  • the respective luminance values are extracted and the average value is obtained, and the average value is determined as the luminance value of the lesion area Ln.
  • other statistical values such as a mode value may be used instead of the average.
  • the lesion color / luminance analysis unit 361A6 calculates the color pixel value / luminance value of the lesion area Ln in the observation image G1, and outputs the result as an analysis result.
  • the organ site analysis unit 361A7 estimates an observation site. For example, when the organ to be observed is the large intestine, the rectum, sigmoid colon, descending colon, left colon curve (splenic curve), transverse colon, right colon curve (liver curve), ascending colon and cecum are recognized and observed. Recognizes the cardia, fundus, stomach, stomach horn, vestibule, pylorus, pylorus and duodenum if the organ to be stomach is, and recognizes jejunum and ileum if it is the small intestine Recognizes cervical, thoracic, and abdominal esophagus. Specifically, by collecting image data of each captured image and performing machine learning using the image data, it is possible to estimate a part (position) using an SVM or the like.
  • the organ site analysis unit 361A7 estimates the observation site and outputs it as an analysis result.
  • the lesion state analysis unit 36b determines the visibility based on the analysis results (S19). First, visibility is determined for each analysis item.
  • the shape of the lesion area Ln output from the lesion shape analysis unit 361A3 as the analysis result corresponds to a preset high visibility shape, it is determined that the visibility is high.
  • the following shapes are set as shapes with high visibility.
  • the shape of the lesion area Ln corresponds to a preset low visibility shape, it is determined that the visibility is low.
  • the following shapes are set as shapes with low visibility.
  • pedunculated Is
  • Isp subpedunculated
  • Ip pedunculated
  • IIa surface-bulging
  • sessile type (bulge type II), subpedicle type (bulge type III), pedicle type (bulge type IV), tumor type (type 1), localized ulcer type (type 2) Ulcer infiltration type (type 3), diffuse infiltration type (type 4).
  • the size of the lesion area Ln output from the lesion size estimation unit 361A4 as the analysis result is smaller than a predetermined size (for example, 5 mm), it is determined that the visibility is low. On the other hand, if the size of the lesion area Ln is larger than the predetermined size, it is determined that the visibility is high.
  • a predetermined size for example, 5 mm
  • the visibility is determined according to the position of the lesion area Ln output from the lesion position analysis unit 361A5 as the analysis result. That is, when the position of the lesion area Ln is far from the center of the image, it is determined that the visibility is low. On the other hand, when the position of the lesion area Ln is close to the center of the image, it is determined that the visibility is high.
  • the visibility that is registered in advance for each block is used as the determination result.
  • the block position where the lesion area Ln exists is blocks 1A, 3A, 1C, and 3C, it is determined that the visibility is low. If the blocks are blocks 2A, 1B, 2B, 3B, and 2C, the visibility is low. Judge as high.
  • the color / luminance of the lesion area Ln output from the lesion color / luminance analysis unit 361A6 as the analysis result is close to the color / luminance of the normal mucous membrane, it is determined that the visibility is low.
  • the color / luminance of the lesion area Ln is different from the color / luminance of the normal mucous membrane, it is determined that the visibility is high.
  • the color (color pixel value) and luminance (luminance value) of the normal mucous membrane used as a criterion may be those registered in advance, or the values of the normal mucous membrane part in the observation image G1 where the lesion area Ln exists may be used. You may.
  • the visibility is determined to be high.
  • the following organ parts are set as parts with high visibility.
  • stomach cardia, fundus, stomach, stomach, vestibule, pylorus, pylorus and duodenum.
  • the lesion is the esophagus: cervical, thoracic, or abdominal esophagus.
  • the organ site where the lesion area Ln is located corresponds to a preset low visibility region, it is determined that the visibility is low.
  • the following organ parts are set as parts with low visibility.
  • the lesion state analysis unit 36b outputs the visibility determination result regarding the item as the visibility of the lesion area Ln, and ends the series of lesion analysis processing. I do.
  • the visibility of the lesion area Ln is determined with reference to the visibility determination result of the selected items.
  • a majority decision method can be cited. That is, in the visibility determination result of the selected item, when the number of items determined to be high in visibility is greater than the number of items determined to be low in visibility, the visibility of the lesion area Ln is Decide to be high. On the other hand, when the number of items determined to have high visibility is equal to or less than the number of items determined to have low visibility, the visibility of the lesion area Ln is determined to be low.
  • points are awarded for each of the items (a) to (g) described above according to the visibility. For example, in each item, +1 point is given when the visibility is determined to be low, and -1 point is given when the visibility is determined to be high. In particular, for an item that contributes to visibility (for example, item (c) or item (e)), +3 points when the visibility is determined to be low, and when the visibility is determined to be high. It may be set so that points weighted compared to other items, such as -3 points, are given.
  • the total is calculated by converting the visibility determination result of the selected item into points, and when the total of the points is larger than a preset threshold value (for example, 1 point), it is determined that the visibility of the lesion area Ln is low and output. I do. On the other hand, if the sum of the points is equal to or smaller than the preset threshold, it is determined that the visibility of the lesion area Ln is high, and output.
  • a preset threshold value for example, 1 point
  • the determination result is output to the display extension time setting unit 36c.
  • the display extension time setting unit 36c selects an appropriate display extension time based on the visibility determination result of the lesion state analysis unit 36b. That is, the lower the visibility, the longer the display extension time is set.
  • the display extension time setting unit 36c may calculate the display extension time based on the visibility determination result. For example, for each of the items (a) to (g) described above, an increase or decrease value of the extended display time (the number of frames) is set in advance according to the detection result. For example, regarding the size of the item (d) lesion area Ln, the size is set to -2 frames for a large size, ⁇ 0 frames for a normal size, and +2 frames for a small size.
  • the item (a) is +2 frames when the distance is more than a predetermined distance range, ⁇ 0 frames when the distance is within a predetermined range, and is greater than the predetermined distance range. If they are close to each other, set all items, such as -2 frames. Then, it is also possible to calculate the total sum of increase / decrease values of the extended display time (the number of frames) based on the visibility determination result of the selected item, and set the display extended time.
  • the visibility determination in each of the items (a) to (g) may be performed by the point method.
  • the point method For example, regarding the item (d), when the position of the lesion area Ln is within the range from the center pixel position of the observation image G1 to the first threshold, the point is -1 point, and the position of the lesion area Ln is from the first threshold to the second threshold. 0 points if present in the range, and +1 point (first threshold ⁇ second threshold ⁇ third threshold) if present in the range from the second threshold to the third threshold I do.
  • the given points may be output as the determination result of visibility, and in S19, a method of calculating the sum of the points output as the determination result of each item may be used.
  • the time during which the marker image G2 is continuously displayed after the detection of the lesion area Ln is interrupted (by adjusting the display extension time, it is possible to reduce oversight of a lesion that may occur during endoscopic observation and improve visibility.
  • the visibility is determined for each lesion, but in the present modification, the visibility is determined for each image.
  • FIG. 11 is a flowchart illustrating an example of the flow of a lesion analysis process according to the present modification.
  • the processing in FIG. 11 involves the visibility analysis unit 361 in the lesion state analysis unit 36b in FIG. 9, particularly, the image unit information analysis unit 361B.
  • the lesion state analysis unit 36b analyzes the visibility of the lesion area Ln in the observation image G1.
  • the number-of-lesions area Ln existing in the observation image G1 is extracted by the number-of-lesions analyzer 361B1 (S21).
  • the lesion state analysis unit 36b determines the visibility of the observation image G1 based on the number of the lesion areas Ln extracted by the lesion number analysis unit 361B1 (S22). That is, if the number of the number lesion areas Ln is larger than a preset threshold (for example, three), it is determined that the visibility is low. On the other hand, when the number of the number lesion areas Ln is equal to or less than a preset threshold value, it is determined that the visibility is high.
  • a preset threshold for example, three
  • the determination result is output to the display extension time setting unit 36c.
  • the display extension time setting unit 36c selects an appropriate display extension time based on the visibility determination result of the lesion state analysis unit 36b.
  • the visibility may be determined using both the analysis result for each image and the analysis result for each lesion. That is, after performing a series of procedures from S11 to S18 shown in FIG. 10 to analyze the visibility of each lesion, the procedure of S21 shown in FIG. 11 is continuously performed. The visibility may be comprehensively determined using the analysis result of each lesion and the analysis result of each image acquired by these procedures.
  • the time (display extension time) for continuously displaying the marker image G2 after the detection of the lesion area Ln is interrupted is adjusted according to the visibility of the lesion area Ln.
  • the importance of the lesion area Ln is analyzed, and the display extension time is determined based on the result.
  • the image processing apparatus of the present embodiment has the same configuration as the image processing apparatus 32 of the first embodiment, and the same components are denoted by the same reference numerals and description thereof will be omitted.
  • FIG. 12 is a flowchart illustrating an example of the flow of a lesion analysis process according to the third embodiment.
  • the processing in FIG. 12 involves the importance analysis unit 362 in the lesion state analysis unit 36b in FIG. 9, and particularly, the lesion type analysis unit 362A.
  • the lesion state analysis unit 36b analyzes the importance of the lesion area Ln. First, an item to be analyzed for importance is selected (S31).
  • the analysis items of the importance include, for example, items such as (h) malignancy of the lesion area Ln, (i) an organ site where the lesion area Ln is located, and (j) color / luminance of the lesion area Ln.
  • the lesion state analysis unit 36b analyzes an item selected from these. The analysis of the degree of malignancy may be performed by selecting only one item or by selecting a plurality of items.
  • the malignancy analysis unit 362A1 classifies the malignancy of the lesion area Ln.
  • the classification of the degree of malignancy is selected according to the observation method. For example, when narrowband observation is performed, an existing malignancy such as a NICE (NBI International ⁇ Collectal ⁇ Endoscopic) classification or a JNET (The ⁇ Japan ⁇ NBI ⁇ Expert ⁇ Team) classification.
  • NICE NICE International ⁇ Collectal ⁇ Endoscopic
  • JNET The degree of malignancy of the lesion area Ln is classified using the degree classification.
  • the NICE classification is a simple category classification of three types 1 to 3, and is classified from three viewpoints of (1) color tone (color), (2) microvascular construction (vessels), and (3) surface structure (surface @ pattern).
  • Type 1 is an indicator of non-tumor
  • Type 2 is an indicator of adenoma to intramucosal cancer
  • Type 3 is an indicator of deep SM invasive carcinoma.
  • the malignancy analysis unit 362A1 classifies the malignancy of the lesion area Ln and outputs the result as an analysis result.
  • the organ part analysis unit 362A2 estimates an observation part. For example, when the organ to be observed is the large intestine, the rectum, sigmoid colon, descending colon, left colon curve (splenic curve), transverse colon, right colon curve (liver curve), ascending colon and cecum are recognized and observed. Recognizes the cardia, fundus, stomach, stomach horn, vestibule, pylorus, pylorus and duodenum if the organ to be stomach is, and recognizes jejunum and ileum if it is the small intestine Recognizes cervical, thoracic, and abdominal esophagus. Specifically, by collecting image data of each captured image and performing machine learning using the image data, it is possible to estimate a part (position) using an SVM or the like.
  • the organ site analysis unit 362A2 estimates the observation site and outputs it as an analysis result. Note that the processing contents of the organ part analysis unit 362A2 are the same as those of the organ part analysis unit 361A7, and thus the results of the organ part analysis unit 361A7 may be used.
  • S34 the process described below (S34) is performed.
  • the processing of S34 is performed by the lesion color / brightness analysis unit 362A3 in FIG.
  • the lesion color / luminance analysis unit 362A3 determines each pixel included in the lesion area Ln.
  • the values (R pixel value, G pixel value, B pixel value) are extracted.
  • an average is calculated for each of the R pixel value, the G pixel value, and the B pixel value, and is set as the color pixel value of the lesion area Ln.
  • another statistical value such as a mode value may be used instead of the average.
  • the respective luminance values are extracted and the average value is obtained, and the average value is determined as the luminance value of the lesion area Ln.
  • other statistical values such as a mode value may be used instead of the average.
  • the lesion color / luminance analysis unit 362A3 calculates the color pixel value / luminance value of the lesion area Ln in the observation image G1, and outputs the result as an analysis result. Since the processing contents of the lesion color / luminance analysis unit 362A3 are the same as those of the lesion color / luminance analysis unit 361A6, the processing results of the lesion color / luminance analysis unit 361A6 may be used.
  • the lesion state analysis unit 36b determines the importance based on these analysis results (S35). First, the importance is determined for each analysis item.
  • the organ site where the lesion area Ln output from the organ site analysis unit 362A2 as the analysis result corresponds to a site of high importance set in advance, it is determined that the importance is high.
  • the following organ parts are set as parts having high importance.
  • the following organ parts are set as parts with high visibility.
  • the organ site where the lesion area Ln is located is other than the above site, it is determined that the importance is low. In other words, if the part has a high risk of deteriorating the medical condition if left unchecked, it is determined as a part having a high degree of importance.
  • the organ site where the lesion area Ln is located is also listed as a visibility determination item, the level of visibility and the level of importance are determined by independent evaluation indexes.
  • the color / luminance of the lesion area Ln output from the lesion color / luminance analysis unit 362A3 as the analysis result is close to the color / luminance of a previously registered lesion of high importance, it is determined that the importance is high. Note that the color / luminance of the lesion area Ln is also listed as a visibility determination item, but the level of visibility and the level of importance are determined by independent evaluation indexes.
  • the lesion state analysis unit 36b outputs the importance determination result regarding the item as the importance of the lesion area Ln, and ends a series of the lesion analysis processing. I do.
  • the importance of the lesion area Ln is determined with reference to the importance determination result of the selected items.
  • a majority decision method, a point method, or the like can be used in the same manner as the visibility determination method.
  • the determination result is output to the display extension time setting unit 36c.
  • the display extension time setting unit 36c selects an appropriate display extension time based on the importance determination result of the lesion state analysis unit 36b. That is, the higher the importance, the longer the display extension time is set.
  • the time during which the marker image G2 is continuously displayed after the detection of the lesion area Ln is interrupted (by adjusting the display extension time, it is possible to reduce oversight of a lesion that may occur during endoscopic observation and improve visibility.
  • the importance is determined based on the type of lesion, but in this modification, the importance is determined based on the shape and size of the lesion.
  • FIG. 13 is a flowchart illustrating an example of the flow of a lesion analysis process according to the present modification.
  • the processing in FIG. 13 involves the importance analysis unit 362 in the lesion state analysis unit 36b in FIG. 9, and particularly, the lesion shape / size analysis unit 362B.
  • the lesion state analysis unit 36b analyzes the importance of the lesion area Ln. First, an item to be analyzed for importance is selected (S41).
  • the analysis items of the degree of importance regarding the shape and size of the lesion include, for example, items such as (k) the shape of the lesion region Ln and (l) the size of the lesion region Ln.
  • the lesion state analysis unit 36b analyzes an item selected from these. The analysis of the degree of malignancy may be performed by selecting only one item or by selecting a plurality of items.
  • S42 the process described below (S42) is performed.
  • the process of S42 is performed by the lesion shape analysis unit 362B1 in FIG.
  • the lesion shape analysis unit 362B1 performs differential classification based on the shape of the lesion. Specifically, the lesion shape analysis unit 362B1 creates a mask image indicating a lesion region, and calculates a shape feature amount based on the image. The shape feature quantity is classified into one of a plurality of classes generated by machine learning using a classifier such as SVM. Here, known parameters such as circularity, moment, and fractal dimension are used as the shape feature quantity.
  • a raised type (type I) and a surface type (type II), and among raised types, there is no constriction in rising (Is), Isp), pedunculated (Ip).
  • the surface type is classified into a raised type (IIa), a flat type (IIb), a concave type (IIc), and the like.
  • gastric polyps there are submucosal tumor type (bulge I), sessile type (bulge II), subpedicle type (bulge III), and pedicle type (bulge IV).
  • bulge I submucosal tumor type
  • sessile type bulge II
  • subpedicle type bulge III
  • pedicle type pedicle type
  • the lesion shape analysis unit 362B1 discriminates the shape of the lesion and outputs the result as an analysis result. Since the processing content of the lesion shape analysis unit 362B1 is the same as that of the lesion shape analysis unit 361A3, the result of the lesion shape analysis unit 361A3 may be used.
  • the lesion size estimation unit 362B2 estimates the imaging distance to each pixel in the image.
  • the estimation of the imaging distance may be performed by the lesion size estimation unit 361A4 using the above-described method or the like, or the processing may be performed by the lesion distance estimation unit 361A1, and the result may be obtained.
  • the lesion size estimation unit 362B2 sets a threshold smaller and larger than the imaging distance for the imaging distance of the pixels near the lesion, and extracts a region of the imaging distance band with the lesion by the threshold processing.
  • the lesion size estimating unit 362B2 calculates the circularity of the region, and when the circularity is larger than a predetermined value, detects the region as a lumen.
  • the lesion size estimation unit 362B2 compares the lumen with the lesion, and estimates the size of the lesion.
  • the lesion size estimation unit 362B2 estimates the actual size of the lesion by calculating the ratio of the length of the lesion to the detected circumferential length of the lumen.
  • the circumference of the lumen of each organ site (position) can be set in advance based on the anatomy to improve the accuracy of the size estimation. For example, in the case of a large intestine examination, the site (position) of a lesion of the large intestine is estimated from the insertion amount of the insertion portion, and the accuracy of the size estimation is compared with a preset circumference of the lumen. You may make it improve.
  • the lesion size estimation unit 362B2 estimates the size of the lesion by comparing it with the circular size of the lumen shown in the endoscope image, and outputs the result as an analysis result. Since the processing content of the lesion size estimation unit 362B2 is the same as that of the lesion size estimation unit 361A4, the result of the lesion size estimation unit 361A4 may be used.
  • the lesion state analysis unit 36b determines the importance based on these analysis results (S44). First, the importance is determined for each analysis item.
  • the shape of the lesion area Ln output from the lesion shape analysis unit 362B1 as an analysis result corresponds to a preset high-priority shape, it is determined that the importance is high.
  • the following shapes are set as shapes having high importance.
  • the shape of the lesion area Ln is other than the above-mentioned shape, it is determined that the degree of importance is low. That is, if the shape has a high risk of deteriorating the medical condition if left unchecked, it is determined as a portion having a high degree of importance.
  • the shape of the lesion area Ln is also cited as a visibility determination item, but the level of visibility and the level of importance are determined by independent evaluation indexes.
  • the size of the lesion area Ln output from the lesion size estimation unit 362B2 as an analysis result is smaller than or equal to a predetermined size (for example, 5 mm), the importance is determined to be low. On the other hand, if the size of the lesion area Ln is larger than the predetermined size, it is determined that the importance is high.
  • the size of the lesion area Ln is also cited as a visibility determination item, but the level of visibility and the level of importance are determined by independent evaluation indexes.
  • a majority decision method, a point method, or the like can be used in the same manner as the visibility determination method.
  • the determination result is output to the display extension time setting unit 36c.
  • the display extension time setting unit 36c selects an appropriate display extension time based on the importance determination result of the lesion state analysis unit 36b. That is, the higher the importance, the longer the display extension time is set.
  • the importance may be determined using both the analysis result based on the lesion type and the analysis result based on the lesion shape and size. That is, after performing a series of procedures from S31 to S34 shown in FIG. 12 to analyze the importance according to the lesion type, the procedures from S41 to S43 shown in FIG. 13 are continuously performed. Using the analysis result based on the lesion type and the analysis result based on the lesion shape and size acquired by these procedures, the importance may be comprehensively determined.
  • the state of a lesion may be determined using both the analysis result of visibility and the analysis result of importance.
  • the time (display extension time) for continuously displaying the marker image G2 after the detection of the lesion area Ln is interrupted is adjusted according to the state of the lesion area Ln.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡用画像処理装置３２は、被写体を内視鏡２１にて撮像して得られた複数の観察画像が順次入力される画像入力部３３と、内視鏡２１の観察対象である病変部を観察画像から検出する病変検出部３４と、病変部の検出結果を観察画像に付加して出力する表示制御部３６とを備える。表示制御部３６は、病変の状態を解析する病変状態解析部３６ｂと、病変部の状態に応じて病変部の検出結果の表示延長時間を設定する表示延長時間設定部３６ｃとを備える。

Description

内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
　本発明は、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムに関する。
　従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び識別し、病変部に対する処置具を用いた処理を行うことができる。
　術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカによる強調表示を付与して表示させる画像処理装置は、一般的に広く知られている。
　ところで、内視鏡観察においては、内視鏡により撮像される体腔内の被写体と、当該体腔内に挿入される当該内視鏡の挿入部との相対位置が常時変化し得るため、一旦検出された病変部を、全フレームで正しく検出することは難しい。そこで、病変部が検出されなかったフレームに対し、病変部が検出された直近のフレームの情報を用いてマーカなどを延長表示させる方法が考えられる。
　例えば、一般画像向けに表示情報を延長表示させる方法として提案されている、日本国特開２００９－１０５７０５号公報を内視鏡画像用画像処理装置に適用することにより、マーカなどの延長表示を実現することは可能である。
　しかし、日本国特開２００９－１０５７０５号公報による延長表示手段では、どんな状況においても一定時間延長処理を行っている。このため、例えば、明らかな病変に対しては、必要以上にマーカが長く表示されることにより、視認性を損なってしまうという問題があった。また、例えば、気づきにくい病変部に対しては、病変部を識別する前にマーカが消失してしまうことにより、病変部を見落とす可能性があるという問題があった。
　本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることが可能な内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。
　本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、前記病変部の検出結果を前記観察画像に付加して出力する表示制御出力部とを備える。前記表示制御出力部は、病変の状態を解析する病変状態解析部と、前記病変部の状態に応じて前記病変部の検出結果の表示延長時間を設定する表示延長時間設定部とを備える。
　本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、前記内視鏡の観察対象である病変部を前記観察画像から検出し、前記病変部の状態を解析し、前記状態に応じて前記病変部の検出結果の表示延長時間を設定し、前記病変部の検出結果を前記観察画像に付加して出力する。
　本発明の一態様の内視鏡用画像処理プログラムは、画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、病変状態解析部が、病変部の状態を解析するステップと、表示延長時間設定部が、前記病変部の状態に応じて前記検出結果の表示延長時間を設定するステップと、表示制御出力部が、前記病変部の検出結果を前記観察画像に付加して出力するステップと、をコンピュータに実行させる。
第１の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。 第１の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図。 第１の実施形態に係る画像処理装置において行われる処理の一例を示すフローチャート。 第１の実施形態に係る画像処理装置において行われる処理の一例を説明するためのタイムチャート。 第１の実施形態に係る画像処理装置において行われる処理の、別の一例を説明するためのタイムチャート。 第１の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。 第１の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図。 第１の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図。 第２の実施形態に係る病変状態解析部の構成の一例を説明するためのブロック図。 第２の実施形態に係る病変解析処理の流れの一例を示すフローチャート。 第２の実施形態の変形例に係る病変解析処理の流れの一例を示すフローチャート。 第３の実施形態に係る病変解析処理の流れの一例を示すフローチャート。 第３の実施形態の変形例に係る病変解析処理の流れの一例を示すフローチャート。
　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
（第１の実施形態）
　図１は、第１の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム１は、図１に示すように、光源駆動装置１１と、内視鏡２１と、ビデオプロセッサ３１と、内視鏡用画像処理装置（以下、画像処理装置と示す）３２と、表示装置４１と、を有して構成されている。
　光源駆動装置１１は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置１１は、内視鏡２１及びビデオプロセッサ３１に接続されている。また、光源駆動装置１１は、ビデオプロセッサ３１からの光源制御信号に基づき、内視鏡２１の光源部２３を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡２１へ出力するように構成されている。
　内視鏡２１は、光源駆動装置１１及びビデオプロセッサ３１に接続されている。また、内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２２を有して構成されている。また、挿入部２２の先端部には、光源部２３と、撮像部２４と、が設けられている。
　光源部２３は、例えば、白色ＬＥＤのような発光素子を具備して構成されている。また、光源部２３は、光源駆動装置１１から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。
　撮像部２４は、例えば、カラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像部２４は、ビデオプロセッサ３１から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部２４は、光源部２３からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力するように構成されている。
　ビデオプロセッサ３１は、光源駆動装置１１及び内視鏡２１に接続されている。また、ビデオプロセッサ３１は、光源部２３の発光状態を制御するための光源制御信号を生成して光源駆動装置１１へ出力するように構成されている。また、ビデオプロセッサ３１は、撮像部２４の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力するように構成されている。
　画像処理装置３２は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置３２は、ビデオプロセッサ３１から出力される観察画像Ｇ１に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置４１に表示させるための動作を行うように構成されている。また、画像処理装置３２は、図２に示すように、画像入力部３３と、病変検出部３４と、表示制御部３６と、を有して構成されている。図２は、第１の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。
　画像入力部３３は、ビデオプロセッサ３１から入力される観察画像Ｇ１を、病変検出部３４へ出力する。
　病変検出部３４は、画像入力部３３から順次出力される観察画像Ｇ１に含まれる病変領域Ｌｎ（ｎ＝１、２…）を検出するように構成されている。病変検出部３４は、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出する。なお、病変領域Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７－２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。
　表示制御出力部としての表示制御部３６は、表示装置４１に接続されている。また、表示制御部３６は、強調処理部３６ａと、病変状態解析部３６ｂと、表示延長時間設定部３６ｃと、記録部３６ｄとを有して構成されている。表示制御部３６は、ビデオプロセッサ３１から順次出力される観察画像Ｇ１を用いて表示用画像を生成するための処理を行うとともに、当該生成した表示用画像を表示装置４１の表示画面４１Ａに表示させるための処理を行うように構成されている。
　強調処理部３６ａは、病変検出部３４で検出された病変領域Ｌｎの位置を強調するために、当該病変領域Ｌｎを囲むマーカ画像Ｇ２を生成して、観察画像Ｇ１に付加する強調処理を行う。強調処理は、病変領域Ｌｎが検出された時点から開始される。また、強調処理は、病変領域Ｌｎの検出が途絶してから、表示延長時間設定部３６ｃにおいて設定された表示延長時間が経過後に終了する。なお、病変領域Ｌｎが検出された後、画面外に病変領域Ｌｎが移動してしまった場合や、病変領域Ｌｎの検出に失敗してしまった場合も、途絶に含まれる。
　なお、強調処理部３６ａの強調処理により付加されるマーカ画像Ｇ２は、病変候補Ｌｎの位置を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像Ｇ２は、病変領域Ｌｎの位置を示すことができるものであれば、病変領域Ｌｎを囲まない画像であっても構わない。例えば、病変領域Ｌｎの明るさや色調を周辺領域とは異なるものとすることによって病変領域Ｌｎの位置を示してもよい。更には、支援情報として病変領域を示すメッセージを生成し、病変領域の近傍や観察画面の周辺等にポップアップメッセージなどの形式で表示したり、フラグを生成して表示したりすることによって、その存在を示してもよい。
　病変状態解析部３６ｂは、病変検出部３４で検出された病変領域Ｌｎの状態を解析する。解析の結果は、表示延長時間設定部３６ｃに出力される。
　表示延長時間設定部３６ｃは、強調処理部３６ａで生成されたマーカ画像Ｇ２の表示延長時間を、病変領域Ｌｎの状態の解析結果に基づき設定する。なお、表示延長時間設定部３６ｃで設定される表示延長時間とは、観察画像Ｇ１に付加表示されていたマーカ画像Ｇ２を、病変領域Ｌｎの検出が途絶した後においても表示用画像に表示させる時間のことである。表示延長時間設定部３６ｃには、２種類以上の表示延長時間が予め設定されており、病変状態解析部３６ｂから入力される解析結果に応じて、適切な表示延長時間が選択される。
　表示延長時間は、フレーム数によって規定される。例えば、第１の表示延長時間として１フレーム、第２の表示延長時間として１０フレームが予め設定されている。１秒間のフレーム数が３０であるとき、第１の表示延長時間は約０．０３秒、第２の表示延長時間は約０．３３秒となる。
　病変領域Ｌｎの状態を解析した結果、病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合、術者が病変部を見落とすことを防ぐために、第２の表示延長時間を選択する。一方、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合、視認性を向上させるために、第１の表示延長時間を選択する。
　記録部３６ｄは、ビデオプロセッサ３１から順次出力される複数の観察画像Ｇ１を複数の記録画像Ｒ１として順次（時系列順に）記録するように構成されている。
　表示装置４１は、モニタ等を具備し、画像処理装置３２から出力される表示用画像を表示することができるように構成されている。
　続いて、本実施形態の作用について説明する。図３は、第１の実施形態に係る画像処理装置において行われる処理の一例を示すフローチャートである。
　内視鏡２１は、例えば、光源駆動装置１１及びビデオプロセッサ３１の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ３１へ出力する。
　ビデオプロセッサ３１は、内視鏡２１から出力される撮像信号に対して所定の処理を施すことにより被写体の観察画像Ｇ１を生成し、当該生成した観察画像Ｇ１を画像処理装置３２へ１フレームずつ順次出力する。すなわち、画像入力部３３は、ビデオプロセッサ３１から生体内管腔画像である内視鏡画像（観察画像Ｇ１）を取得する（Ｓ１）。画像入力部３３は、取得した画像を病変検出部３４に出力する。
　病変検出部３４は、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出する（Ｓ２）。病変領域Ｌｎの検出結果は、表示制御部３６に出力される。
　表示制御部３６では、病変状態解析部３６ｂにおいて、病変領域Ｌｎの状態を解析する。病変状態解析部３６ｂでは、画像解析によって病変領域Ｌｎの重要性（悪性度など）や、位置などを判定し、見落としの可能性などを評価する（Ｓ３）。病変領域Ｌｎの状態の解析結果は、表示延長時間設定部３６ｃに入力される。
　続いて、表示延長時間設定部３６ｃは、病変領域Ｌｎの状態の解析結果に基づき、病変領域Ｌｎを強調するために表示画面に付加するマーカ画像Ｇ２の表示延長時間を、病変領域Ｌｎの状態の解析結果に基づき設定する（Ｓ４）。病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合（Ｓ４、ＹＥＳ）、Ｓ６に進み、表示延長時間を長く設定する。一方、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合、（Ｓ４、ＮＯ）、Ｓ５に進み、表示延長時間を短く設定する。
　Ｓ５、または、Ｓ６の処理によって、表示延長時間の設定が終了すると、Ｓ７の処理に進む。Ｓ７では、強調処理部３６ａにおいて、病変領域Ｌｎを囲むマーカ画像Ｇ２を生成して、観察画像Ｇ１に付加する強調処理を行う。強調処理は、病変領域Ｌｎが検出された時点から開始され、病変領域Ｌｎが画面外に移動したり検出に失敗したりすることにより、病変領域Ｌｎの検出が途絶してから表示延長時間が経過した時点で終了する。表示制御部３６は、観察画像Ｇ１に必要に応じてマーカ画像Ｇ２を付与した画像を、表示用画像として表示装置４１に出力し、一連の処理を終了する。
　図４と図５とは、本実施形態に係る画像処理装置において行われる処理の一例を説明するためのタイムチャートである。図４は、病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合のタイムチャートであり、図５は、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合のタイムチャートである。また、図６は、本実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。
　表示制御部３６は、病変検出部３４による病変領域Ｌ１の検出が開始されたタイミング（＝時刻Ｔａ）において、病変領域Ｌ１にマーカ画像Ｇ２を付与した観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置した表示用画像を表示させるための処理を行う。そして、このような表示制御部３６の動作によれば、例えば、図４及び図５の時刻ＴａからＴｂの期間において、図６に示すような表示用画像が表示装置４１の表示画面４１Ａに表示される。
　また、表示制御部３６は、病変検出部３４による病変領域Ｌ１の検出が途絶したタイミング（＝時刻Ｔｂ）から、表示延長時間が経過したタイミング（＝時刻Ｔｃ、Ｔｄ）までの期間、観察画像Ｇ１へのマーカ画像Ｇ２の付与を継続する。
　すなわち、病変検出部３４が病変領域Ｌ１の検出を継続している時間ＴＬの間は、病変領域Ｌｎの状態によらず、観察画像Ｇ１にマーカ画像Ｇ２が付加された状態の表示画像が生成され表示される。病変領域Ｌ１の検出が途絶したタイミング以降は、病変領域Ｌｎの状態に応じて、マーカ画像Ｇ２の付与時間が変わる。
　すなわち、病変領域Ｌｎが見づらい状態であったり、悪性度が高かったりする場合には、病変領域Ｌ１の検出が途絶したタイミングから表示延長時間ＴＤ１の間、観察画像Ｇ１にマーカ画像Ｇ２が付加された状態の表示画像が生成され、表示装置４１の表示画面４１Ａに表示される。一方、病変領域Ｌｎが見やすい状態であったり、悪性度が低かったりする場合には、病変領域Ｌ１の検出が途絶したタイミングから表示延長時間ＴＤ２（ＴＤ２＜ＴＤ１）の間、観察画像Ｇ１にマーカ画像Ｇ２が付加された状態の表示画像が生成され、表示装置４１の表示画面４１Ａに表示される。
　このように、上述の実施形態によれば、病変領域Ｌｎの状態に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる。
　なお、上述では、予め設定された２種類の時間ＴＤ１、ＴＤ２の中から適切な表示延長時間を選択しているが、病変領域Ｌｎの状態に応じ、３種類以上の表示延長時間から選択するように構成してもよい。
　また、上述では、表示用画像は、動画像である観察画像Ｇ１を有して構成されるが、表示用画像は、観察画像Ｇ１と静止画像である記録画像Ｒ１とによって構成されても構わない。
　図７は、本実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図である。表示制御部３６は、病変領域Ｌ１の検出が途絶した場合に、病変候補検出部３４ｂによる病変領域Ｌ１の検出が途絶したタイミングにおいて、観察画像Ｇ１を表示画面４１Ａの表示領域Ｄ１に配置し、かつ、病変領域Ｌ１の検出中に記録部３６ｄが記録した記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に配置した表示用画像を表示させるための処理を開始する。そして、病変領域Ｌ１の検出が途絶したタイミングから表示延長時間が経過したタイミングにおいて、記録画像Ｒ１を表示画面４１Ａの表示領域Ｄ２に配置する処理を終了する。
　このような表示制御部３６の動作によれば、例えば、病変領域Ｌ１の検出が途絶したタイミング（＝時刻Ｔｂ）以降、表示延長時間が経過するまでの間、図６の観察画像Ｇ１に相当する記録画像Ｒ１が表示領域Ｄ２に配置された表示用画像が表示装置４１の表示画面４１Ａに表示される。なお、表示領域Ｄ２は、例えば、表示画面４１Ａ上において、前述の表示領域Ｄ１よりも小さなサイズを有する領域として予め設定されているものとする。
　すなわち、上述のようにサブ画面を用いて病変領域Ｌ１の検出が途絶した後も、病変領域Ｌｎの位置を術者に示すことで、観察画像Ｇ１に対する視認性の低下を抑制しつつ、病変部の見落としを更に低減させることができる。
　また、図８に示すように、表示画面４１Ａの表示領域Ｄ２には、記録画像Ｒ１だけでなく、当該画像の病変領域Ｌ１にマーカ画像Ｇ２を付加して表示してもよい。図８は、本施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の別の一例を示す図である。記録画像Ｒ１にも強調処理を施しマーカ画像Ｇ２を付加して表示することで、病変部の位置が更に識別容易になり、見落としを更に低減させることができる。
　（第２の実施形態）
　上述の第１の実施形態では、病変領域Ｌｎの状態に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整しているが、本実施形態では、病変領域Ｌｎの視認性を解析し、その結果に基づいて表示延長時間を決定する。
　本実施形態の画像処理装置は、第１の実施形態の画像処理装置３２と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。
　図９は、第２の実施形態に係る病変状態解析部の構成の一例を説明するためのブロック図である。なお、図９は、以下に説明する本実施形態に係る構成だけでなく、本実施形態の後に説明する第３の実施形態に係る構成も含めて示している。各部の動作については、下記の説明の対応する箇所で詳述する。
　図１０は、第２の実施形態に係る病変解析処理の流れの一例を示すフローチャートである。図１０の処理には、図９における病変状態解析部３６ｂ中の視認性解析部３６１、特に、病変単位情報解析部３６１Ａが係る。
　病変状態解析部３６ｂは、病変領域Ｌｎの視認性を解析する。まず、視認性の解析を行う項目を選択する（Ｓ１１）。視認性の解析項目としては、例えば、（ａ）内視鏡２１と病変領域Ｌｎとの距離、（ｂ）観察画像Ｇ１における病変領域Ｌｎの専有面積の割合、（ｃ）病変領域Ｌｎの形状、（ｄ）病変領域Ｌｎのサイズ、（ｅ）観察画像Ｇ１における病変領域Ｌｎの位置、（ｆ）病変領域Ｌｎの色・輝度、（ｇ）病変領域Ｌｎの位置する臓器部位、などの項目があげられる。病変状態解析部３６ｂは、これらの中から選択された項目について、解析を行う。なお、視認性の解析は、１つの項目のみを選択して行ってもよいし、複数の項目を選択して行ってもよい。
　（ａ）内視鏡２１と病変領域Ｌｎとの距離
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１２）が行われる。Ｓ１２の処理には、図９における病変距離推定部３６１Ａ１が係る。
　病変距離推定部３６１Ａ１は、画像内の各画素までの撮像距離を推定する。ここでは、公知の様々な技術のうち、画像を基に撮影対象を均等拡散面と仮定した撮影距離推定について説明する。
　具体的には、まず、低吸収波長成分として、生体内での吸収あるいは散乱の度合いが最も低い低吸収波長（例えば赤色（Ｒ）の波長）成分が選択される。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像においては、赤（Ｒ）成分が血液の吸収帯域から離れる波長、かつ長波長の成分で、生体内での吸収、散乱の影響を受け難いためであり、赤（Ｒ）成分が選択される。
　そして、病変距離推定部３６１Ａ１は、低吸収波長成分の画素値を基に均等拡散面を仮定した撮像距離を推定する。具体的には、撮像距離は、次の式（１）により算出される。
Figure JPOXMLDOC01-appb-I000001
　ここで、ｒは、撮像距離を示し、Ｉは、事前に測定して得られた光源の放射強度を示し、Ｋは、事前に測定された、平均値である粘膜表面の拡散反射係数を示す。θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角を示し、内視鏡２１の挿入部先端部の光源と粘膜表面の位置関係により決まる値であり、平均的な値が事前に設定される。Ｌは、撮像距離推定対象の粘膜表面が映る画素のＲ成分値を示す。
　なお、撮像距離推定の前に、各処理の精度低下要因と成り得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行っても良い。
　また、ここでは、画像に基づく方法を示したが、その他にも測距センサ等に基づいて算出しても良い。
　以上のように、病変距離推定部３６１Ａ１は、内視鏡２１と病変領域Ｌｎとの距離とを推定し、解析結果として出力する。
　（ｂ）観察画像Ｇ１における病変領域Ｌｎの専有面積の割合
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１３）が行われる。Ｓ１３の処理には、図９における病変専有面積算出部３６１Ａ２が係る。
　病変専有面積算出部３６１Ａ２は、観察画像Ｇ１において病変領域Ｌｎが占める面積の割合を算出する。具体的には、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出する。そして、病変領域Ｌｎに含まれる画素数を算出する。最後に、病変領域Ｌｎに含まれる画素数を、観察画像Ｇ１を構成する全画素数で除することにより、専有面積率を算出する。
　なお、病変領域Ｌｎの位置情報は、病変検出部３４から取得してもよい。また、病変領域Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７－２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。
　以上のように、病変専有面積算出部３６１Ａ２は、観察画像Ｇ１における病変領域Ｌｎの専有面積の割合を算出し、解析結果として出力する。
　（ｃ）病変領域Ｌｎの形状
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１４）が行われる。Ｓ１４の処理には、図９における病変形状解析部３６１Ａ３が係る。
　病変形状解析部３６１Ａ３は、病変部の形状に基づいた鑑別分類を行う。具体的には、病変形状解析部３６１Ａ３は、病変領域を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。
　例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、隆起型の中でも、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)がある。表面型では、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)などの分類がなされる。
　例えば、胃ポリープの場合、粘膜下腫瘍型（隆起Ｉ型）、無茎型（隆起ＩＩ型）、亜有茎型（隆起ＩＩＩ型）、有茎型（隆起ＩＶ型）がある。また、例えば胃癌の場合、表在型（０型）、腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）などの分類がなされる。
　以上のように、病変形状解析部３６１Ａ３は、病変部の形状を鑑別し、解析結果として出力する。
　（ｄ）病変領域Ｌｎのサイズ
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１５）が行われる。Ｓ１５の処理には、図９における病変サイズ推定部３６１Ａ４が係る。
　病変サイズ推定部３６１Ａ４は、まず、画像内の各画素までの撮像距離を推定する。撮像距離の推定は、上述した手法などを用いて病変サイズ推定部３６１Ａ４において行ってもよいし、病変距離推定部３６１Ａ１において処理を行い、結果を取得してもよい。
　次に、病変サイズ推定部３６１Ａ４は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。病変サイズ推定部３６１Ａ４は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。
　最後に、病変サイズ推定部３６１Ａ４は、管腔と病変部を比較し、病変部のサイズを推定する。
　具体的には、病変サイズ推定部３６１Ａ４は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部の挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。
　以上のように、病変サイズ推定部３６１Ａ４は、内視鏡画像に写る管腔の円形サイズと比較して病変部のサイズを推定し、解析結果として出力する。
　（ｅ）観察画像Ｇ１における病変領域Ｌｎの位置
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１６）が行われる。Ｓ１６の処理には、図９における病変位置解析部３６１Ａ５が係る。
　病変位置解析部３６１Ａ５は、まず、例えば、ディープラーニング等の学習手法でポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変領域Ｌｎを検出し、位置情報を取得する。なお、病変領域Ｌｎの検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７－２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。また、病変領域Ｌｎの位置情報は、病変検出部３４や、病変専有面積算出部３６１Ａ２から取得してもよい。
　次に、観察画像Ｇ１における病変領域Ｌｎの位置を解析する。具体的な手法の一例を以下に説明する。まず、観察画像Ｇ１中における観察画像Ｇ１を垂直方向に３等分、水平方向に３等分し、９つのブロックに分割する。例えば、観察画像Ｇ１が１９２０×１０８０画素の場合、画像の左上を原点（０、０）とすると、（０、０）～（６４０、３６０）の領域（１Ａ）、（６４１、０）～（１２８０、３６０）の領域（１Ｂ）、（１２８１、０）～（１９２０、３６０）の領域（１Ｃ）、（０、３６１）～（６４０、７２０）の領域（２Ａ）、（６４１、３６１）～（１２８０、７２０）の領域（２Ｂ）、（１２８１、３６１）～（１９２０、７２０）の領域（２Ｃ）、（０、７２１）～（６４０、１０８０）の領域（３Ａ）、（６４１、７２１）～（１２８０、１０８０）の領域（３Ｂ）、（１２８１、７２１）～（１９２０、１０８０）の領域（３Ｃ）、に分割する。
　この１Ａ～３Ｃの９ブロックのうち、病変領域Ｌｎが存在するブロックを特定し、病変領域Ｌｎの位置として出力する。なお、病変領域Ｌｎが複数ブロックに跨って存在する場合、病変領域Ｌｎが存在する面積が最も大きいブロックを、病変領域Ｌｎが存在するブロックとする。なお、病変領域Ｌｎが存在するブロックの特定方法は、上述の方法に限定されず、例えば、病変領域Ｌｎの中心に位置する画素が存在するブロックとするなど他の方法を用いてもよい。また、観察画像Ｇ１を分割して生成するブロック数は９ブロックに限定されず、例えば、２×２＝４ブロック、４×４＝１６ブロックなどとしてもよい。
　また、病変領域Ｌｎの位置は、上述したブロック位置でなく、観察画像Ｇ１の中心画素位置からの距離として算出してもよい。
　以上のように、病変位置解析部３６１Ａ５は、観察画像Ｇ１における病変領域Ｌｎの位置を特定し、解析結果として出力する。
　（ｆ）病変領域Ｌｎの色・輝度
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１７）が行われる。Ｓ１７の処理には、図９における病変色・輝度解析部３６１Ａ６が係る。
　病変色・輝度解析部３６１Ａ６は、観察画像Ｇ１が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像である場合、病変領域Ｌｎに含まれる画素について、それぞれの画素値（Ｒ画素値、Ｇ画素値、Ｂ画素値）を抽出する。そして、Ｒ画素値、Ｇ画素値、Ｂ画素値のそれぞれについて平均を求め、病変領域Ｌｎの色画素値とする。なお、病変領域Ｌｎの画素値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。
　また、病変領域Ｌｎに含まれる画素について、それぞれの輝度値を抽出して平均値を求め、病変領域Ｌｎの輝度値とする。なお、輝度値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。
　以上のように、病変色・輝度解析部３６１Ａ６は、観察画像Ｇ１における病変領域Ｌｎの色画素値・輝度値を算出し、解析結果として出力する。
　（ｇ）病変領域Ｌｎの位置する臓器部位
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ１８）が行われる。Ｓ１８の処理には、図９における臓器部位解析部３６１Ａ７が係る。
　臓器部位解析部３６１Ａ７は、観察部位の推定を行う。例えば、観察する臓器が大腸の場合は、直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を認識し、観察する臓器が胃の場合は、噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を認識し、小腸の場合は、空腸、回腸を認識し、食道の場合は、頸部食道、胸部食道、腹部食道を認識する。具体的には、それぞれの写った画像データを収集し、その画像データを用いて機械学習させることで、ＳＶＭ等を用いて部位（位置）推定を行うことができる。
　以上のように、臓器部位解析部３６１Ａ７は、観察部位を推定し、解析結果として出力する。
　Ｓ１２からＳ１８の処理のうち、選択された１つ以上の項目の処理が終了すると、病変状態解析部３６ｂは、これらの解析結果に基づき、視認性を判定する（Ｓ１９）。まず、解析項目ごとに視認性を判定する。
　（ａ）内視鏡２１と病変領域Ｌｎとの距離
　解析結果として病変距離推定部３６１Ａ１から出力された内視鏡２１と病変領域Ｌｎとの距離が、予め設定されている所定の距離より大きい場合、視認性が低いと判定する。一方、内視鏡２１と病変領域Ｌｎとの距離が、所定の距離以下である場合、視認性が高いと判定する。
　（ｂ）観察画像Ｇ１における病変領域Ｌｎの専有面積の割合
　解析結果として病変専有面積算出部３６１Ａ２から出力された病変領域Ｌｎの専有率が、予め設定されている所定の割合（例えば５パーセント）以下である場合、視認性が低いと判定する。一方、病変領域Ｌｎの専有率が、所定の割合より大きい場合、視認性が高いと判定する。
　（ｃ）病変領域Ｌｎの形状
　解析結果として病変形状解析部３６１Ａ３から出力された病変領域Ｌｎの形状が、予め設定された視認性の高い形状に該当する場合、視認性が高いと判定する。例えば、次にあげる形状が視認性の高い形状として設定される。
　病変部が大腸である場合：表面平坦型(ＩＩｂ)、表面陥凹型(ＩＩｃ)。
　病変部が胃である場合：粘膜下腫瘍型（隆起Ｉ型）。
　また、病変領域Ｌｎの形状が、予め設定された視認性の低い形状に該当する場合、視認性が低いと判定する。例えば、次にあげる形状が視認性の低い形状として設定される。
　病変部が大腸である場合：無茎性(Ｉｓ)、亜有茎性(Ｉｓｐ) 、有茎性(Ｉｐ)、表面隆起型(ＩＩａ)。
　病変部が胃である場合：無茎型（隆起ＩＩ型）、亜有茎型（隆起ＩＩＩ型）、有茎型（隆起ＩＶ型）、腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）。
　（ｄ）病変領域Ｌｎのサイズ
　解析結果として病変サイズ推定部３６１Ａ４から出力された病変領域Ｌｎのサイズが、予め設定されている所定のサイズ（例えば５ｍｍ）以下である場合、視認性が低いと判定する。一方、病変領域Ｌｎのサイズが、所定のサイズより大きい場合、視認性が高いと判定する。
　（ｅ）観察画像Ｇ１における病変領域Ｌｎの位置
　解析結果として病変位置解析部３６１Ａ５から出力された病変領域Ｌｎの位置に応じて、視認性を判定する。すなわち、病変領域Ｌｎの位置が画像中心から離れている場合、視認性が低いと判定する。一方、病変領域Ｌｎの位置が画像中心に近い場合、視認性が高いと判定する。
　例えば、解析結果として、病変領域Ｌｎが存在するブロック位置が出力された場合、予めブロックごとに登録されている視認性を判定結果とする。具体的には、例えば、観察画像Ｇ１が３×３＝９ブロックに分割されており、画像の４隅に位置する４つのブロック（ブロック１Ａ、３Ａ、１Ｃ、３Ｃ）は視認性が低いと登録されており、その他の５つのブロック（ブロック２Ａ、１Ｂ、２Ｂ、３Ｂ、２Ｃ）は視認性が高いと登録されているとする。この場合、病変領域Ｌｎが存在するブロック位置が、ブロック１Ａ、３Ａ、１Ｃ、３Ｃであれば、視認性が低いと判定し、ブロック２Ａ、１Ｂ、２Ｂ、３Ｂ、２Ｃであれば、視認性が高いと判定する。
　解析結果として、観察画像Ｇ１の中心画素位置からの距離が出力された場合、予め設定されている所定の距離より大きい場合、視認性が低いと判定する。一方、所定の距離以下である場合、視認性が高いと判定する。
　（ｆ）病変領域Ｌｎの色・輝度
　解析結果として病変色・輝度解析部３６１Ａ６から出力された病変領域Ｌｎの色・輝度が、正常粘膜の色・輝度に近い場合、視認性が低いと判定する。一方、病変領域Ｌｎの色・輝度が、正常粘膜の色・輝度と離れている場合、視認性が高いと判定する。判定基準となる正常粘膜の色（色画素値）・輝度（輝度値）は、予め登録したものを用いてもよいし、病変領域Ｌｎが存在する観察画像Ｇ１における、正常粘膜部分の値を用いてもよい。
　（ｇ）病変領域Ｌｎの位置する臓器部位
　解析結果として臓器部位解析部３６１Ａ７から出力された病変領域Ｌｎの位置する臓器部位が、予め設定された視認性の高い部位に該当する場合、視認性が高いと判定する。例えば、次にあげる臓器部位が視認性の高い部位として設定される。
　病変部が大腸である場合：下行結腸、横行結腸、盲腸。
　病変部が胃である場合：噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸。
　病変部が小腸である場合：空腸、回腸。
　病変部が食道である場合：頸部食道、胸部食道、腹部食道。
　また、病変領域Ｌｎの位置する臓器部位が、予め設定された視認性の低い部位に該当する場合、視認性が低いと判定する。例えば、次にあげる臓器部位が視認性の低い部位として設定される。
　病変部が大腸である場合：直腸、Ｓ字結腸、左結腸曲（脾彎曲部）、右結腸曲（肝彎曲部）、上行結腸。
　すなわち、病変が多発する部位や、検査画像が見づらく病変を見落としやすい部位である場合、視認性が低い部位として判定する。
　Ｓ１１において、視認性の解析項目として１項目のみが選択された場合、病変状態解析部３６ｂは、当該項目に関する視認性判定結果を病変領域Ｌｎの視認性として出力し、一連の病変解析処理を終了する。Ｓ１１において、視認性の解析項目として２項目以上が選択された場合、選択された項目の視認性判定結果を参照し、病変領域Ｌｎの視認性を決定する。
　複数の項目が選択された場合の視認性の決定方法としては、例えば、多数決方式があげられる。すなわち、選択された項目の視認性判定結果のうち、視認性が高いと判定された項目の数が、視認性が低いと判定された項目の数よりも多い場合、病変領域Ｌｎの視認性は高いと決定する。一方、視認性が高いと判定された項目の数が、視認性が低いと判定された項目の数以下の場合、病変領域Ｌｎの視認性は低いと決定する。
　また、別の決定方法として、例えば、ポイント方式があげられる。すなわち、上述した（ａ）～（ｇ）の各項目のそれぞれについて、視認性に応じてポイントが付与される。例えば、各項目において、視認性が低いと判定された場合は＋１ポイント、視認性が高いと判定された場合は－１ポイントが付与される。なお、特に視認性に寄与する項目（例えば、項目（ｃ）や項目（ｅ））に関しては、視認性が低いと判定された場合には＋３ポイント、視認性が高いと判定された場合には－３ポイントなど、他の項目に比べて重み付けされたポイントが付与されるように設定してもよい。
　選択された項目の視認性判定結果をポイント換算して総和を算出し、予め設定された閾値（例えば１ポイント）よりもポイントの総和が大きい場合、病変領域Ｌｎの視認性が低いと判定し出力する。一方、ポイントの総和が、予め設定された閾値以下の場合、病変領域Ｌｎの視認性が高いと判定し、出力する。
　判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの視認性判定結果に基づき、適切な表示延長時間を選択する。すなわち、視認性が低いほど、表示延長時間を長く設定する。また、視認性判定結果に基づき、表示延長時間設定部３６ｃにおいて表示延長時間を算出してもよい。例えば、上述した（ａ）～（ｇ）の各項目のそれぞれについて、検出結果に応じて延長表示時間（フレーム数）の増減値を予め設定しておく。例えば、項目（ｄ）病変領域Ｌｎのサイズに関し、大きいサイズの場合は－２フレーム、普通のサイズの場合は±０フレーム、小さいサイズの場合は＋２フレームのように設定しておく。また、例えば、項目（ａ）内視鏡２１と病変領域Ｌｎとの距離に関し、所定距離範囲よりも離れている場合は＋２フレーム、所定の範囲内の場合は±０フレーム、所定距離範囲よりも近いの場合は－２フレームのように、全項目について設定しておく。そして、選択された項目の視認性判定結果に基づき延長表示時間（フレーム数）の増減値の総和を算出し、表示延長時間を設定することも可能である。
　なお、ポイント方式を用いる場合、（ａ）～（ｇ）の各項目における視認性判定もポイント方式で行ってもよい。例えば、項目（ｄ）に関し、病変領域Ｌｎの位置が観察画像Ｇ１の中心画素位置から第１の閾値までの範囲内に存在する場合は－１ポイント、第１の閾値から第２の閾値までの範囲内に存在する場合は０ポイント、第２の閾値から第３の閾値までの範囲内に存在する場合は＋１ポイント（ただし、第１の閾値＜第２の閾値＜第３の閾値）を付与する。付与されたポイントを視認性の判定結果として出力し、Ｓ１９においては、各項目の判定結果として出力されるポイントの総和を算出する方式を用いてもよい。
　以上のように、上述の実施形態によれば、病変状態解析部３６ｂにより解析される病変領域Ｌｎの視認性に基づいて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる。
（第２の実施形態の変形例）
　上述の第２の実施形態では、病変単位で視認性を判定しているが、本変形例では、画像単位で視認性を判定している。
　図１１は、本変形例に係る病変解析処理の流れの一例を示すフローチャートである。図１１の処理には、図９における病変状態解析部３６ｂ中の視認性解析部３６１、特に、画像単位情報解析部３６１Ｂが係る。
　病変状態解析部３６ｂは、観察画像Ｇ１における病変領域Ｌｎの視認性を解析する。画像単位で視認性を解析する場合、病変個数解析部３６１Ｂ１において、観察画像Ｇ１中に存在する病変領域Ｌｎの個数を抽出する（Ｓ２１）。
　次に、病変状態解析部３６ｂは、病変個数解析部３６１Ｂ１において抽出された病変領域Ｌｎの個数に基づき、観察画像Ｇ１の視認性を判定する（Ｓ２２）。すなわち、個数病変領域Ｌｎの個数が予め設定された閾値（例えば、３個）よりも多い場合、視認性が低いと判定する。一方、個数病変領域Ｌｎの個数が予め設定された閾値以下である場合、視認性が高いと判定する。
　判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの視認性判定結果に基づき、適切な表示延長時間を選択する。
　なお、画像単位の解析結果と病変単位の解析結果の両方を用いて、視認性の判定を行ってもよい。すなわち、図１０に示すＳ１１からＳ１８の一連の手順を行って病変単位の視認性の解析を行った後、引き続き図１１に示すＳ２１の手順を行う。これらの手順によって取得した、病変単位の解析結果と画像単位の解析結果とを用いて、総合的に視認性の判定を行ってもよい。
　以上のように、本変形例によれば、上述した各実施形態と同様の効果を得ることができる。
（第３の実施形態）
　上述の第２の実施形態では、病変領域Ｌｎの視認性に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整しているが、本実施形態では、病変領域Ｌｎの重要度を解析し、その結果に基づいて表示延長時間を決定する。
　本実施形態の画像処理装置は、第１の実施形態の画像処理装置３２と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。
　図１２は、第３の実施形態に係る病変解析処理の流れの一例を示すフローチャートである。図１２の処理には、図９における病変状態解析部３６ｂ中の重要度解析部３６２、特に、病変種類解析部３６２Ａが係る。
　病変状態解析部３６ｂは、病変領域Ｌｎの重要度を解析する。まず、重要度の解析を行う項目を選択する（Ｓ３１）。重要度の解析項目としては、例えば、（ｈ）病変領域Ｌｎの悪性度、（ｉ）病変領域Ｌｎの位置する臓器部位、（ｊ）病変領域Ｌｎの色・輝度、などの項目があげられる。病変状態解析部３６ｂは、これらの中から選択された項目について、解析を行う。なお、悪性度の解析は、１つの項目のみを選択して行ってもよいし、複数の項目を選択して行ってもよい。
　（ｈ）病変領域Ｌｎの悪性度
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ２１）が行われる。Ｓ２１の処理には、図９における悪性度解析部３６２Ａ１が係る。
　悪性度解析部３６２Ａ１は、病変領域Ｌｎの悪性度を分類する。悪性度の分類は、観察方法によって選択され、例えば、狭帯域観察を行っている場合には、ＮＩＣＥ（ＮＢＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒｅｃｔａｌ Ｅｎｄｏｓｃｏｐｉｃ）分類や、ＪＮＥＴ（Ｔｈｅ Ｊａｐａｎ ＮＢＩ Ｅｘｐｅｒｔ Ｔｅａｍ）分類などの、既存の悪性度分類を用いて、病変領域Ｌｎの悪性度を分類する。
　ＮＩＣＥ分類は、単純なＴｙｐｅ１～３の３つのカテゴリ分類で、（１）色調（ｃｏｌｏｒ）、（２）微細血管構築（ｖｅｓｓｅｌｓ）、（３）表面構造（ｓｕｒｆａｃｅ ｐａｔｔｅｒｎ）の３つの視点から分類を行う。Ｔｙｐｅ１は非腫瘍を、Ｔｙｐｅ２は腺腫から粘膜内癌を、Ｔｙｐｅ３はＳＭ深部浸潤癌の指標となっている。
　また、色素拡大観察の場合、ＰＩＴパターン分類などを用いて、病変領域Ｌｎの悪性度を分類する。
　以上のように、悪性度解析部３６２Ａ１は、病変領域Ｌｎの悪性度を分類し、解析結果として出力する。
　（ｉ）病変領域Ｌｎの位置する臓器部位
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ３３）が行われる。Ｓ３３の処理には、図９における臓器部位解析部３６２Ａ２が係る。
　臓器部位解析部３６２Ａ２は、観察部位の推定を行う。例えば、観察する臓器が大腸の場合は、直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を認識し、観察する臓器が胃の場合は、噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を認識し、小腸の場合は、空腸、回腸を認識し、食道の場合は、頸部食道、胸部食道、腹部食道を認識する。具体的には、それぞれの写った画像データを収集し、その画像データを用いて機械学習させることで、ＳＶＭ等を用いて部位（位置）推定を行うことができる。
　以上のように、臓器部位解析部３６２Ａ２は、観察部位を推定し、解析結果として出力する。なお、臓器部位解析部３６２Ａ２の処理内容は、臓器部位解析部３６１Ａ７と同様であるので、臓器部位解析部３６１Ａ７の結果を用いてもよい。
　（ｊ）病変領域Ｌｎの色・輝度
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ３４）が行われる。Ｓ３４の処理には、図９における病変色・輝度解析部３６２Ａ３が係る。
　病変色・輝度解析部３６２Ａ３は、観察画像Ｇ１が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの成分からなる画像である場合、病変領域Ｌｎに含まれる画素について、それぞれの画素値（Ｒ画素値、Ｇ画素値、Ｂ画素値）を抽出する。そして、Ｒ画素値、Ｇ画素値、Ｂ画素値のそれぞれについて平均を求め、病変領域Ｌｎの色画素値とする。なお、病変領域Ｌｎの画素値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。
　また、病変領域Ｌｎに含まれる画素について、それぞれの輝度値を抽出して平均値を求め、病変領域Ｌｎの輝度値とする。なお、輝度値の算出には、平均ではなく、最頻値など他の統計値を用いてもよい。
　以上のように、病変色・輝度解析部３６２Ａ３は、観察画像Ｇ１における病変領域Ｌｎの色画素値・輝度値を算出し、解析結果として出力する。なお、病変色・輝度解析部３６２Ａ３の処理内容は、病変色・輝度解析部３６１Ａ６と同様であるので、病変色・輝度解析部３６１Ａ６の処理結果を用いてもよい。
　Ｓ３２からＳ３４の処理のうち、選択された１つ以上の項目の処理が終了すると、病変状態解析部３６ｂは、これらの解析結果に基づき、重要度を決定する（Ｓ３５）。まず、解析項目ごとに重要度を判定する。
　（ｈ）病変領域Ｌｎの悪性度
　解析結果として悪性度解析部３６２Ａ１から出力された病変領域Ｌｎの悪性度が、予め設定されたカテゴリに該当する場合、重要度が高いと判定する。
　（ｉ）病変領域Ｌｎの位置する臓器部位
　解析結果として臓器部位解析部３６２Ａ２から出力された病変領域Ｌｎの位置する臓器部位が、予め設定された重要度の高い部位に該当する場合、重要度が高いと判定する。例えば、次にあげる臓器部位が重要度の高い部位として設定される。例えば、次にあげる臓器部位が視認性の高い部位として設定される。
　病変部が大腸である場合：Ｓ字結腸。
　また、病変領域Ｌｎの位置する臓器部位が、上述の部位以外の場合、重要度が低いと判定する。すなわち、放置すると病状が悪化するリスクが高い部位の場合、重要度が高い部位として判定する。なお、病変領域Ｌｎの位置する臓器部位は、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。
　（ｊ）病変領域Ｌｎの色・輝度
　解析結果として病変色・輝度解析部３６２Ａ３から出力された病変領域Ｌｎの色・輝度が、予め登録されている重要度の高い病変部の色・輝度に近い場合、重要度が高いと判定する。なお、病変領域Ｌｎの色・輝度も、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。
　Ｓ３１において、重要度の解析項目として１項目のみが選択された場合、病変状態解析部３６ｂは、当該項目に関する重要度判定結果を病変領域Ｌｎの重要度として出力し、一連の病変解析処理を終了する。Ｓ３１において、重要度の解析項目として２項目以上が選択された場合、選択された項目の重要度判定結果を参照し、病変領域Ｌｎの重要度を決定する。
　複数の項目が選択された場合の重要度の決定方法は、視認性の決定方法と同様に、多数決方式やポイント方式などを用いることができる。
　判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの重要度判定結果に基づき、適切な表示延長時間を選択する。すなわち、重要度が高いほど、表示延長時間を長く設定する。
　以上のように、上述の実施形態によれば、病変状態解析部３６ｂにより解析される病変領域Ｌｎの重要度に基づいて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる。
（第３の実施形態の変形例）
　上述の第３の実施形態では、病変の種類に基づき重要度を判定しているが、本変形例では、病変の形状やサイズにより重要度を判定している。
　図１３は、本変形例に係る病変解析処理の流れの一例を示すフローチャートである。図１３の処理には、図９における病変状態解析部３６ｂ中の重要度解析部３６２、特に、病変形状・サイズ解析部３６２Ｂが係る。
　病変状態解析部３６ｂは、病変領域Ｌｎの重要度を解析する。まず、重要度の解析を行う項目を選択する（Ｓ４１）。病変の形状やサイズに関する重要度の解析項目としては、例えば、（ｋ）病変領域Ｌｎの形状、（ｌ）病変領域Ｌｎのサイズ、などの項目があげられる。病変状態解析部３６ｂは、これらの中から選択された項目について、解析を行う。なお、悪性度の解析は、１つの項目のみを選択して行ってもよいし、複数の項目を選択して行ってもよい。
　（ｋ）病変領域Ｌｎの形状
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ４２）が行われる。Ｓ４２の処理には、図９における病変形状解析部３６２Ｂ１が係る。
　病変形状解析部３６２Ｂ１は、病変部の形状に基づいた鑑別分類を行う。具体的には、病変形状解析部３６２Ｂ１は、病変領域を示すマスク画像を作成し、その画像に基づいて形状特徴量を算出する。形状特徴量は、ＳＶＭ等の分類器を用いて、機械学習により生成された複数のクラスの１つに分類される。ここで、形状特徴量としては、円形度、モーメント、フラクタル次元などの公知のパラメータが用いられる。
　例えば、大腸ポリープの場合、隆起型(Ｉ型)と表面型(ＩＩ型)があり、隆起型の中でも、立ち上がりにくびれの無い無茎性(Ｉｓ)、立ち上がりにくびれのある亜有茎性(Ｉｓｐ) 、茎のある有茎性(Ｉｐ)がある。表面型では、隆起型(ＩＩａ)、平坦型(ＩＩｂ)、陥凹型(ＩＩｃ)などの分類がなされる。
　例えば、胃ポリープの場合、粘膜下腫瘍型（隆起Ｉ型）、無茎型（隆起ＩＩ型）、亜有茎型（隆起ＩＩＩ型）、有茎型（隆起ＩＶ型）がある。また、例えば胃癌の場合、表在型（０型）、腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）などの分類がなされる。
　以上のように、病変形状解析部３６２Ｂ１は、病変部の形状を鑑別し、解析結果として出力する。なお、病変形状解析部３６２Ｂ１の処理内容は、病変形状解析部３６１Ａ３と同様であるので、病変形状解析部３６１Ａ３の結果を用いてもよい。
　（ｌ）病変領域Ｌｎのサイズ
　本項目が解析項目として選択された場合、以下に説明する処理（Ｓ４３）が行われる。Ｓ４３の処理には、図９における病変サイズ推定部３６２Ｂ２が係る。
　病変サイズ推定部３６２Ｂ２は、まず、画像内の各画素までの撮像距離を推定する。撮像距離の推定は、上述した手法などを用いて病変サイズ推定部３６１Ａ４において行ってもよいし、病変距離推定部３６１Ａ１において処理を行い、結果を取得してもよい。
　次に、病変サイズ推定部３６２Ｂ２は、病変近辺の画素の撮像距離に対して、その撮像距離より小さい閾値および大きい閾値を設け、その閾値処理により病変のある撮像距離帯の領域を抽出する。病変サイズ推定部３６２Ｂ２は、その領域の円形度を算出し、所定値より大きかった場合、その領域を管腔として検出する。
　最後に、病変サイズ推定部３６２Ｂ２は、管腔と病変部を比較し、病変部のサイズを推定する。
　具体的には、病変サイズ推定部３６２Ｂ２は、検出した管腔の円周長に対して病変の長さが占める割合を算出することにより、病変の実際のサイズを推定する。なお、各臓器部位（位置）の管腔の周長を解剖学に基づいて事前に設定しておき、サイズ推定の精度を向上させることもできる。例えば、大腸検査の場合に、挿入部の挿入量から、大腸の病変部の部位（位置）推定を行い、事前に設定しておいた管腔の周長と比較して、サイズ推定の精度を向上させるようにしてもよい。
　以上のように、病変サイズ推定部３６２Ｂ２は、内視鏡画像に写る管腔の円形サイズと比較して病変部のサイズを推定し、解析結果として出力する。なお、病変サイズ推定部３６２Ｂ２の処理内容は、病変サイズ推定部３６１Ａ４と同様であるので、病変サイズ推定部３６１Ａ４の結果を用いてもよい。
　Ｓ４２、Ｓ４３の処理のうち、選択された１つ以上の項目の処理が終了すると、病変状態解析部３６ｂは、これらの解析結果に基づき、重要度を決定する（Ｓ４４）。まず、解析項目ごとに重要度を判定する。
　（ｋ）病変領域Ｌｎの形状
　解析結果として病変形状解析部３６２Ｂ１から出力された病変領域Ｌｎの形状が、予め設定された重要度の高い形状に該当する場合、重要度が高いと判定する。例えば、次にあげる形状が重要度の高い形状として設定される。
　病変部が大腸である場合：表面平坦型(ＩＩｂ)、表面陥凹型(ＩＩｃ)。
　病変部が胃である場合：腫瘤型（１型）、潰瘍限局型（２型）、潰瘍浸潤型（３型）、びまん性浸潤型（４型）。
　また、病変領域Ｌｎの形状が、上述の形状以外の場合、重要度が低いと判定する。すなわち、放置すると病状が悪化するリスクが高い形状の場合、重要度が高い部位として判定する。なお、病変領域Ｌｎの形状は、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。
　（ｌ）病変領域Ｌｎのサイズ
　解析結果として病変サイズ推定部３６２Ｂ２から出力された病変領域Ｌｎのサイズが、予め設定されている所定のサイズ（例えば５ｍｍ）以下である場合、重要度が低いと判定する。一方、病変領域Ｌｎのサイズが、所定のサイズより大きい場合、重要度が高いと判定する。なお、病変領域Ｌｎのサイズは、視認性の判定項目としてもあげられているが、視認性の高低と重要度の高低とは、それぞれ独立の評価指標で判定される。
　複数の項目が選択された場合の重要度の決定方法は、視認性の決定方法と同様に、多数決方式やポイント方式などを用いることができる。
　判定結果は、表示延長時間設定部３６ｃに出力される。表示延長時間設定部３６ｃは、病変状態解析部３６ｂの重要度判定結果に基づき、適切な表示延長時間を選択する。すなわち、重要度が高いほど、表示延長時間を長く設定する。
　なお、病変種類による解析結果と病変形状・サイズによる解析結果の両方を用いて、重要度の判定を行ってもよい。すなわち、図１２に示すＳ３１からＳ３４の一連の手順を行って病変種類による重要度の解析を行った後、引き続き図１３に示すＳ４１からＳ４３の手順を行う。これらの手順によって取得した、病変種類による解析結果と病変形状・サイズによる解析結果とを用いて、総合的に重要度の判定を行ってもよい。
　また、視認性の解析結果と、重要度の解析結果の両方を用いて、病変の状態を判定してもよい。
　以上のように、上述した各実施形態及び変形例によれば、病変領域Ｌｎの状態に応じて、病変領域Ｌｎの検出が途絶した後にマーカ画像Ｇ２を継続表示させる時間（表示延長時間）を調整することで、内視鏡観察において発生し得る病変部の見落としを低減させ、かつ、視認性を向上させることができる内視鏡用画像処理装置を提供することができる。
　本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (29)

  1. 　被写体を内視鏡にて撮像して得られた複数の観察画像が順次入力される画像入力部と、
    　前記内視鏡の観察対象である病変部を前記観察画像から検出する病変検出部と、
    　前記病変部の検出結果を前記観察画像に付加して出力する表示制御出力部とを備え、
    　前記表示制御出力部は、病変の状態を解析する病変状態解析部と、前記病変部の状態に応じて前記病変部の検出結果の表示延長時間を設定する表示延長時間設定部とを備えることを特徴とする内視鏡用画像処理装置。
  2. 　前記病変状態解析部は、前記病変部の視認性を解析する視認性解析部を備えることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
  3. 　前記視認性解析部は、前記病変部ごとの視認性を解析する病変単位情報解析部を備えることを特徴とする、請求項２に記載の内視鏡用画像処理装置。
  4. 　前記病変単位情報解析部は、前記病変部の前記内視鏡からの距離を推定する病変距離推定部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  5. 　前記病変単位情報解析部は、前記観察画像における前記病変部の専有面積を算出する病変専有面積算出部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  6. 　前記病変単位情報解析部は、前記病変部の形状を解析する病変形状解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  7. 　前記病変形状解析部は、前記内視鏡の観察対象臓器部位が大腸のときは無茎性、亜有茎性、有茎性、表面隆起型、表面平坦型、表面陥凹型のいずれの形状であるかを解析し、前記観察対象臓器部位が胃のときは粘膜下腫瘍型、無茎型、亜有茎型、有茎型、表在型、腫瘤型、潰瘍限局型、潰瘍浸潤型、びまん性浸潤型のいずれの形状であるかを解析することを特徴とする、請求項６に記載の内視鏡用画像処理装置。
  8. 　前記病変単位情報解析部は、前記病変部自体の大きさを推定する病変サイズ推定部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  9. 　前記病変単位情報解析部は、前記観察画像における前記病変部の位置を解析する病変位置解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  10. 　前記病変単位情報解析部は、前記病変部の色及び輝度のうち少なくとも一方を解析する病変色輝度解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  11. 　前記病変単位情報解析部は、前記内視鏡の観察対象である臓器の部位を解析する臓器部位解析部を備えることを特徴とする、請求項３に記載の内視鏡用画像処理装置。
  12. 　前記臓器部位解析部は、前記臓器が大腸のときは直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を推定し、前記臓器が胃のときは噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を推定し、前記臓器が小腸のときは、空腸、回腸を推定し、前記臓器が食道のときは、頸部食道、胸部食道、腹部食道を推定することを特徴とする、請求項１１に記載の内視鏡用画像処理装置。
  13. 　前記視認性解析部は、前記観察画像ごとに視認性を解析する画像単位情報解析部を備えることを特徴とする、請求項２に記載の内視鏡用画像処理装置。
  14. 　前記画像単位情報解析部は、前記観察画像における前記病変部の個数を解析する病変個数解析部を備えることを特徴とする、請求項１３に記載の内視鏡用画像処理装置。
  15. 　前記表示延長時間設定部は、前記視認性解析部の解析結果に基づき、視認性が高いと判定された場合は前記表示延長時間を短く設定し、視認性が低いと判定された場合は前記表示延長時間を長く設定することを特徴とする、請求項２に記載の内視鏡用画像処理装置。
  16. 　前記病変状態解析部は、前記病変部の重要度を解析する重要度解析部を備えることを特徴とする、請求項１に記載の内視鏡用画像処理装置。
  17. 　前記重要度解析部は、前記病変部の種類による重要度を解析する病変種類解析部を備えることを特徴とする、請求項１６に記載の内視鏡用画像処理装置。
  18. 　前記病変種類解析部は、前記病変部の悪性度を解析する悪性度解析部を備えることを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
  19. 　前記病変種類解析部は、前記内視鏡の観察対象である臓器の部位を解析する臓器部位解析部を備えることを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
  20. 　前記臓器部位解析部は、前記臓器が大腸のときは直腸、Ｓ状結腸、下行結腸、左結腸曲（脾彎曲部）、横行結腸、右結腸曲（肝彎曲部）、上行結腸及び盲腸を推定し、前記臓器が胃のときは噴門、胃底部、胃体部、胃角部、前庭部、幽門部、幽門及び十二指腸を推定し、前記臓器が小腸のときは、空腸、回腸を推定し、前記臓器が食道のときは、頸部食道、胸部食道、腹部食道を推定することを特徴とする、請求項１９に記載の内視鏡用画像処理装置。
  21. 　前記病変種類解析部は、前記病変部の色及び輝度を解析する病変色輝度解析部を備えることを特徴とする、請求項１７に記載の内視鏡用画像処理装置。
  22. 　前記重要度解析部は、前記病変部の形状やサイズによる重要度を解析する病変形状サイズ解析部を備えることを特徴とする、請求項１６に記載の内視鏡用画像処理装置。
  23. 　前記病変形状サイズ解析部は、前記病変部の形状を解析する病変形状解析部を備えることを特徴とする、請求項２２に記載の内視鏡用画像処理装置。
  24. 　前記病変形状解析部は、前記内視鏡の観察対象臓器部位が大腸のときは無茎性、亜有茎性、有茎性、表面隆起型、表面平坦型、表面陥凹型のいずれの形状であるかを解析し、前記観察対象臓器部位が胃のときは粘膜下腫瘍型、無茎型、亜有茎型、有茎型、表在型、腫瘤型、潰瘍限局型、潰瘍浸潤型、びまん性浸潤型のいずれの形状であるかを解析することを特徴とする、請求項２３に記載の内視鏡用画像処理装置。
  25. 　前記病変形状サイズ解析部は、前記病変部自体の大きさを推定する病変サイズ推定部を備えることを特徴とする、請求項２２に記載の内視鏡用画像処理装置。
  26. 　前記表示延長時間設定部は、前記重要度解析部の解析結果に基づき、重要度が高いと判定された場合は前記表示延長時間を長く設定し、重要度が低いと判定された場合は前記表示延長時間を短く設定することを特徴とする、請求項１６に記載の内視鏡用画像処理装置。
  27. 　前記病変状態解析部は、前記病変部の視認性を解析する視認性解析部と前記病変部の重要度を解析する重要度解析部とを備え、前記表示延長時間設定部は、前記視認性解析部の解析結果と前記重要度解析部の解析結果に応じて前記表示延長時間を設定することを特徴とする、請求項１に記載の内視鏡用画像処理装置。
  28. 　被写体を内視鏡にて撮像して得られた複数の観察画像を順次入力し、
    　前記内視鏡の観察対象である病変部を前記観察画像から検出し、
    　前記病変部の状態を解析し、前記状態に応じて前記病変部の検出結果の表示延長時間を設定し、
    　前記病変部の検出結果を前記観察画像に付加して出力することを特徴とする、内視鏡用画像処理方法。
  29. 　画像入力部が、被写体を内視鏡にて撮像して得られた複数の観察画像を順次取得するステップと、
    　病変検出部が、前記内視鏡の観察対象である病変部を前記観察画像から検出するステップと、
    　病変状態解析部が、病変部の状態を解析するステップと、
    　表示延長時間設定部が、前記病変部の状態に応じて前記検出結果の表示延長時間を設定するステップと、
    　表示制御出力部が、前記病変部の検出結果を前記観察画像に付加して出力するステップと、
    　をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
PCT/JP2018/025791 2018-07-06 2018-07-06 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム WO2020008651A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020528672A JP7084994B2 (ja) 2018-07-06 2018-07-06 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
CN201880094602.4A CN112312822A (zh) 2018-07-06 2018-07-06 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
PCT/JP2018/025791 WO2020008651A1 (ja) 2018-07-06 2018-07-06 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US17/140,609 US11656451B2 (en) 2018-07-06 2021-01-04 Image processing apparatus for endoscope, image processing method for endoscope, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025791 WO2020008651A1 (ja) 2018-07-06 2018-07-06 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/140,609 Continuation US11656451B2 (en) 2018-07-06 2021-01-04 Image processing apparatus for endoscope, image processing method for endoscope, and recording medium

Publications (1)

Publication Number Publication Date
WO2020008651A1 true WO2020008651A1 (ja) 2020-01-09

Family

ID=69060039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025791 WO2020008651A1 (ja) 2018-07-06 2018-07-06 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Country Status (4)

Country Link
US (1) US11656451B2 (ja)
JP (1) JP7084994B2 (ja)
CN (1) CN112312822A (ja)
WO (1) WO2020008651A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230607A1 (ja) * 2021-04-26 2022-11-03 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2023276017A1 (ja) * 2021-06-30 2023-01-05 オリンパスメディカルシステムズ株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2023126999A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 画像処理装置、画像処理方法、及び、記憶媒体
WO2023187886A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6957771B2 (ja) * 2018-11-28 2021-11-02 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2023250387A1 (en) * 2022-06-23 2023-12-28 Memorial Sloan-Kettering Cancer Center Systems and methods for differentiating between tissues during surgery
CN115496748B (zh) * 2022-11-08 2023-03-14 武汉楚精灵医疗科技有限公司 小肠图像的肠段识别方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244518A (ja) * 2006-03-14 2007-09-27 Olympus Medical Systems Corp 画像解析装置及び画像解析方法
WO2011096279A1 (ja) * 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
WO2015137016A1 (ja) * 2014-03-14 2015-09-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152588A1 (en) * 2003-10-28 2005-07-14 University Of Chicago Method for virtual endoscopic visualization of the colon by shape-scale signatures, centerlining, and computerized detection of masses
WO2006124648A2 (en) * 2005-05-13 2006-11-23 The University Of North Carolina At Chapel Hill Capsule imaging devices, systems and methods for in vivo imaging applications
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP5106928B2 (ja) * 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4950836B2 (ja) 2007-10-24 2012-06-13 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
US9269395B2 (en) * 2012-08-10 2016-02-23 Canon Kabushiki Kaisha Display control apparatus, display apparatus, and method for controlling the same
DE112015006562T5 (de) * 2015-06-29 2018-03-22 Olympus Corporation Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
JP6315873B2 (ja) * 2015-10-26 2018-04-25 オリンパス株式会社 内視鏡画像処理装置
JP6602969B2 (ja) * 2016-05-23 2019-11-06 オリンパス株式会社 内視鏡画像処理装置
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法
WO2019036363A1 (en) * 2017-08-14 2019-02-21 Progenity Inc. TREATMENT OF GASTROINTESTINAL TRACT DISEASE WITH GLATIRAMER OR A PHARMACEUTICALLY ACCEPTABLE SALT THEREOF
EP3701852B1 (en) * 2017-10-26 2023-05-10 FUJIFILM Corporation Medical image processing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244518A (ja) * 2006-03-14 2007-09-27 Olympus Medical Systems Corp 画像解析装置及び画像解析方法
WO2011096279A1 (ja) * 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
WO2015137016A1 (ja) * 2014-03-14 2015-09-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230607A1 (ja) * 2021-04-26 2022-11-03 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2023276017A1 (ja) * 2021-06-30 2023-01-05 オリンパスメディカルシステムズ株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2023126999A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 画像処理装置、画像処理方法、及び、記憶媒体
WO2023187886A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
CN112312822A (zh) 2021-02-02
US20210149182A1 (en) 2021-05-20
JPWO2020008651A1 (ja) 2021-03-18
JP7084994B2 (ja) 2022-06-15
US11656451B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2020008651A1 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
JP6602969B2 (ja) 内視鏡画像処理装置
CN110325100B (zh) 内窥镜系统及其操作方法
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP6640865B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
WO2012114600A1 (ja) 医用画像処理装置及び医用画像処理方法
US10521904B2 (en) Image processing apparatus, operating method, and non-transitory computer readable medium
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
US11642005B2 (en) Endoscope system, endoscope image processing method, and storage medium
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US20210000327A1 (en) Endoscopic image processing apparatus, endoscopic image processing method, and recording medium
JP2023076644A (ja) 内視鏡システム
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2022071413A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18925097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020528672

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18925097

Country of ref document: EP

Kind code of ref document: A1