WO2017183201A1 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2017183201A1
WO2017183201A1 PCT/JP2016/062836 JP2016062836W WO2017183201A1 WO 2017183201 A1 WO2017183201 A1 WO 2017183201A1 JP 2016062836 W JP2016062836 W JP 2016062836W WO 2017183201 A1 WO2017183201 A1 WO 2017183201A1
Authority
WO
WIPO (PCT)
Prior art keywords
body fluid
determination
unit
image
feature amount
Prior art date
Application number
PCT/JP2016/062836
Other languages
English (en)
French (fr)
Inventor
光隆 木村
北村　誠
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/062836 priority Critical patent/WO2017183201A1/ja
Priority to JP2018512757A priority patent/JPWO2017183201A1/ja
Publication of WO2017183201A1 publication Critical patent/WO2017183201A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Definitions

  • the present invention relates to an image processing apparatus, an operation method for an image processing apparatus, and an operation program for an image processing apparatus that determine an adhering substance adhering to a lens from a lumen image acquired by, for example, imaging a lumen of a living body.
  • a plurality of lumen images are acquired by imaging the inside of the lumen of a living body in chronological order using a medical observation device such as an endoscope or a capsule endoscope.
  • a medical observation device such as an endoscope or a capsule endoscope.
  • An operator such as a doctor makes a diagnosis based on the lumen image displayed on the monitor.
  • a technique for determining whether or not an image reflected in an image is a deposit is known.
  • a technique for determining whether or not an attached object is reflected from an image captured by an imaging device mounted on a vehicle is known (see, for example, Patent Document 1).
  • the presence or absence of mud dirt is determined by utilizing the property that the position of mud dirt attached to the lens and the windshield does not change in time series.
  • Patent Document 1 when the technique disclosed in Patent Document 1 is applied to a luminal image obtained by imaging the inside of a subject, the brightness, color, and shape of the image change when the imaging scene changes, such as the organ that passes through. There are cases in which there is a large difference, and there is a problem in that the accuracy of determining whether or not the captured image is a deposit is reduced.
  • the present invention has been made in view of the above, and an image processing apparatus and an image processing apparatus that can determine with high accuracy whether or not an image reflected in a lumen image is an attachment It is an object of the present invention to provide an operation method and an operation program for an image processing apparatus.
  • an image processing apparatus is an imaging scene determination that determines an imaging scene of a plurality of in-vivo lumen images captured by an imaging apparatus introduced into a living body.
  • a time series change feature amount calculation unit for calculating a change between the in vivo lumen images that are close to each other in time series as a time series feature amount, and a region that is set based on the pixel value in the in vivo lumen image,
  • An adhering matter determination unit that determines whether or not the adhering matter has adhered to the imaging device, wherein at least one of the time-series variation feature amount calculating unit and the adhering matter determining unit is based on the imaging scene It is characterized by performing processing.
  • the operation method of the image processing apparatus includes a plurality of in-vivo lumen images captured by an image capturing apparatus introduced into a living body by an imaging scene determination unit.
  • an adhering matter determining unit that determines whether an area set based on a pixel value in the in vivo lumen image is an adhering matter adhering to the imaging device, and At least one of the time-series change feature amount calculation step and the attached matter determination step performs processing based on the imaging scene.
  • an image processing apparatus operating program is an image processing apparatus operating program to be executed by an image processing apparatus, and is an imaging apparatus introduced into a living body.
  • Imaging scene determination procedure for determining imaging scenes of a plurality of in-vivo lumen images captured by the camera, and time-series change feature amount calculation for calculating changes between the in-vivo lumen images that are close to each other in time series as time-series feature amounts
  • a time series change feature amount including a procedure, and a deposit determination procedure for determining whether or not a region set based on a pixel value in the in-vivo lumen image is a deposit attached to the imaging device. At least one of the calculation procedure and the attached matter determination procedure performs processing based on the imaging scene.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of an imaging apparatus that captures a lumen image acquired by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram illustrating an example of a lumen image acquired by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of an imaging apparatus that captures a lumen image acquired by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart showing the deposit determination process performed by the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 11 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a flowchart illustrating the adhering matter determination process performed by the image
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • An image processing apparatus 1 shown in FIG. 1 includes a calculation unit 2 and a storage unit 3.
  • the image processing apparatus 1 has a function of acquiring an in-vivo lumen image captured by a capsule endoscope, an endoscope, or the like and performing predetermined image processing.
  • As the in-vivo lumen image a color image having pixel levels (pixel values) with respect to wavelength components of R (red), G (green), and B (blue) at each pixel position is used.
  • the calculation unit 2 is a feature amount of a change in pixel value between an imaging scene determination unit 21 that determines an imaging scene of an in-vivo lumen image continuously captured in time series and between in-vivo lumen images that are close to each other in time series.
  • a time-series variation feature amount calculation unit 22 that calculates as a color feature amount calculation unit 23 that calculates a color-related feature amount from an in vivo lumen image, and a biological tube that is close to each other in time series based on the calculated feature amount
  • An attachment determining unit 24 that determines whether an image of an area that does not change between cavity images (hereinafter also simply referred to as an area) is an attachment;
  • the in-vivo lumen images that are close to each other in time series are two in-vivo lumen images in the vicinity of time series that are close in time, and are two in-vivo lumen images included in a preset range. is there.
  • the adhering substance refers to contents such as residue and blood adhering to the lens or
  • the imaging scene determination unit 21 includes a body fluid state determination unit 211 that determines the presence of body fluid in the in-vivo lumen image.
  • the bodily fluid state determination unit 211 uses the above-described characteristics of the bodily fluid to obtain an image of the bodily fluid (hereinafter simply referred to as a bodily fluid). It is determined whether or not there exists. Specifically, the body fluid state determination unit 211 calculates a color feature amount for each pixel in the in-vivo lumen image or for each region having a preset number of pixels as a constituent unit, and the calculated feature amount; It is determined whether or not a body fluid exists based on a preset discrimination criterion.
  • the color feature amount is expressed by a value such as RGB or HSV.
  • the body fluid state determination unit 211 determines whether or not there is a body fluid in the in-vivo lumen image depending on whether the in-vivo lumen image includes body fluid by determining the color of the image and the color distribution. judge.
  • the body fluid state determination unit 211 includes a body fluid state transition determination unit 211a that determines the state transition of the region between the in-vivo lumen images that are close to each other in time series or the state of the body fluid of the pixel.
  • the body fluid state transition determination unit 211a determines the state transition of the body fluid by collecting the in-vivo lumen images to which the presence results of the body fluid determined by the body fluid state determination unit 211 are added in time series.
  • the body fluid state transition determination unit 211a determines, for example, that the body fluid has transitioned from a state where it exists to a state where it does not exist, or that it has transitioned from a state where it exists to a state where it does not exist.
  • the time-series change feature quantity calculation unit 22 includes an area setting unit 221 that sets an area for calculating a feature quantity related to a shape change, a shape change feature quantity calculation unit 222 that calculates a feature quantity related to a shape change from the set area, And a brightness / color change feature amount calculation unit 223 that calculates a feature amount related to a change in brightness and color from the in-vivo lumen image.
  • the area setting unit 221 sets an area for calculating a feature amount related to a shape change by dividing an image area.
  • the region set here includes a region composed of one pixel.
  • Various known methods can be applied as a method for dividing an image into regions. As a known method, for example, there is a method of dividing an image into a plurality of regions by integrating pixels having similar feature amounts and spatially close (reference: CG-ARTS Association, “Digital Image”). Processing ", second edition, page 196).
  • the region setting unit 221 includes a body fluid state region setting unit 221a that sets the size of the region based on the presence of body fluid, and a state transition region setting unit 221b that sets the size of the region based on the state transition of body fluid. Have.
  • the body fluid state region setting unit 221a resets the region set by the region setting unit 221 based on the determination result related to the presence or absence of the body fluid determined by the body fluid state determination unit 211.
  • the body fluid state region setting unit 221a resets the region so as not to use the boundary of the region set by the region setting unit 221 when it is determined that the body fluid exists in the in-vivo lumen image of the region setting target.
  • the body fluid state region setting unit 221a for example, resets the region such that the outer edge of the region moves inward by several pixels when it is determined that the body fluid exists in the in-vivo lumen image of the region setting target.
  • the body fluid state region setting unit 221a may reset the region set by the region setting unit 221 to the region set by the region setting unit 221 when it is determined that no body fluid exists in the in-vivo lumen image of the region setting target.
  • the resetting may not be performed.
  • the state transition region setting unit 221b sets the size of the region based on the determination result of the body fluid state transition determined by the body fluid state transition determination unit 211a. In the case of a transition from a state where a body fluid exists to a state where it does not exist, or a transition from a state where no body fluid exists to a state where it exists, the external shape of the attached foreign matter is likely to change. For this reason, the state transition region setting unit 221b resets the region so as not to use the region boundary set by the region setting unit 221.
  • the state transition region setting unit 221b for example, in a region where the outer edge of the region moves inward by several pixels is determined when it is determined that the presence state of the body fluid transitions in the in vivo lumen image of the region setting target. Perform resetting. In addition, the state transition region setting unit 221b resets the region setting unit 221 to the region set by the region setting unit 221 when it is determined that the state of the body fluid has not transitioned in the in vivo lumen image to be the region setting target. Alternatively, the resetting may not be performed.
  • the shape change feature value calculation unit 222 includes an overall shape feature value calculation unit 222a that calculates the overall shape change feature value of the region set by the region setting unit 221, and a local shape of the region set by the region setting unit 221.
  • a local shape feature amount calculation unit 222b that calculates a change feature amount.
  • the whole shape feature amount calculation unit 222a calculates the shape change feature amount of the entire region set by the region setting unit 221. Specifically, the difference between the shape feature amounts in the in-vivo lumen images that are close to each other in time series is calculated. Examples of the shape include area, perimeter, ferret diameter, circularity, and center of gravity.
  • the local shape feature amount calculation unit 222b calculates the shape change feature amount of each divided region (local) obtained by dividing the region set by the region setting unit 221.
  • the local shape feature amount calculation unit 222b finely divides the area set by the area setting unit 221 so as to spread a rectangular area of a predetermined size, and in each divided area, the in-vivo lumen that precedes in time series
  • the corresponding region of the image and the difference are calculated as the shape feature amount.
  • the feature amount calculated here is, for example, a difference in luminance between regions, a difference in centroid position, or the like.
  • the local shape feature amount calculation unit 222b extracts an arc that forms a part of the outer edge of the region by dividing the outer periphery of the region set by the region setting unit 221, and the shape of the arc in the time-series image or the like The difference may be calculated.
  • the brightness / color change feature amount calculation unit 223 calculates a feature amount related to brightness / color from each in-vivo lumen image and sets a preset region between in-vivo lumen images that are close to each other in time series. Is calculated as a brightness / color change feature value that is a feature value related to a change in brightness / color.
  • the brightness / color change feature amount calculation unit 223 calculates, for example, differences in RGB components, brightness obtained by YCbCr conversion, hue converted by HSV, and the like between luminal images that are close to each other in time series.
  • the brightness / color change feature amount calculation unit 223 calculates a difference between in-vivo lumen images that are close to each other in time series with respect to a feature amount based on brightness or color, such as a texture feature amount calculated from brightness or color. It may be calculated as a brightness / color change feature amount.
  • the overall shape feature value, the local shape feature value, and the brightness / color change feature value may be collectively referred to as a time-series feature value.
  • the color feature amount calculation unit 23 calculates a feature amount related to color from each in-vivo lumen image as a color feature amount.
  • the color feature amount is expressed by a value such as RGB or HSV, for example, and is an average value of pixel values of each color or one of three components of hue, saturation, and value. And the mode.
  • the color feature amount calculation method in the color feature amount calculation unit 23 may be performed using the color feature amount calculation method used by the body fluid state determination unit 211, or a calculation method different from this calculation method. A color feature amount may be calculated.
  • the adhering matter determination unit 24 determines whether or not the adhering matter is present in the in-vivo lumen image based on the determination parameter that is stored in the storage unit 3 and the like and is a predetermined determination criterion.
  • the adhering matter determination unit 24 includes a body fluid parameter setting unit 241 that performs parameter setting of a determination criterion that allows a change in the shape of the region of the adhering matter determination pair based on the determination result of the body fluid state determination unit 211, and a state transition region setting.
  • a state transition parameter setting unit 242 configured to set a parameter of a determination criterion that allows a change in the brightness and color of the region to be determined based on the determination result of 211a.
  • the determination criterion is a feature amount range (hereinafter also referred to as a determination range), which is a parameter for determining whether or not the object is an attached substance from a time-series feature amount or a color feature amount. .
  • the body fluid parameter setting unit 241 determines that the shape of the deposit in the body fluid is likely to change when the determination result indicates that the body fluid is present. On the other hand, the parameter setting for the determination criterion is set so as to increase the amount of change in shape.
  • the body fluid parameter setting unit 241 calculates the shape change feature amount 222a as the shape change feature amount used for determination when it is determined that the body fluid image does not exist in the in-vivo lumen image to be determined. The setting is made to use the entire shape feature amount. On the other hand, if the body fluid parameter setting unit 241 determines that there is a body fluid, a part of the attached matter may move. I want to judge as.
  • the body shape parameter calculation unit 222b does not calculate the local shape feature value calculated by the local shape feature value calculation unit 222b, but the local shape feature value calculated by the local shape feature value calculation unit 222b.
  • Set to use quantity not only the whole shape feature quantity and the local shape feature quantity are used properly depending on the presence or absence of body fluid, but the specific gravity of the shape feature quantity is higher than the case where there is no body fluid when the determination result is that there is body fluid. It can be high.
  • the local shape feature value may be given a higher weight or specific gravity than the overall shape feature value. For example, when the weight of the overall shape feature value is m (> 0) and the weight of the local shape feature value is n (> 0), if the determination result indicates that liquid exists, the value calculated as m ⁇ n Is a feature amount.
  • the state transition parameter setting unit 242 performs parameter setting for determination criteria related to brightness and color for determining that the substance is an attached substance according to the transition state of the body fluid.
  • the determination result indicates that the state transition parameter setting unit 242 has transitioned from a state in which no body fluid exists to a state in which the body fluid exists, the brightness and color of the image of the attached matter are likely to change.
  • Brightness / color change determination criterion setting section 242a for setting parameters of determination criteria relating to the brightness / color of the image.
  • the brightness / color change determination reference setting unit 242a sets a determination range that increases the amount of change in brightness / color when the determination result indicates that the body fluid has transitioned from the non-existing state to the existing state. I do.
  • the brightness / color change determination criterion setting unit 242a determines that the state of the in-vivo lumen image to be determined has transitioned from a state in which a body fluid exists to a state in which it does not exist when performing parameter setting for a feature amount for color.
  • a state in which a body fluid exists In the case of the digestive tract, for example, it is not affected by the color of the body fluid present in the digestive tract, and the in-vivo lumen image becomes a reddish color image caused by the inside of the lumen, so that a change that turns red is allowed.
  • Set parameters for the judgment criteria Specifically, the brightness / color change determination reference setting unit 242a increases the determination range related to the red change amount when the hue calculated as the color feature amount of the in-vivo lumen image is in the red range.
  • the brightness / color change determination reference setting unit 242a also considers the brightness in the same manner, and the determination range that allows a change that becomes dark when the transition of the body fluid in the in-vivo lumen image to be determined is similar, that is, The determination range is set so that the change in brightness on the dark side becomes larger than the predetermined determination range.
  • the brightness / color change determination criterion setting unit 242a determines that the body fluid is present from the state in which no body fluid is present, for example, in the case of the digestive tract, the body fluid present in the small intestine or large intestine. Since the image in the body fluid has a yellowish color due to the influence of the color, a parameter for a determination criterion that allows a change to yellow is set. Specifically, the brightness / color change determination reference setting unit 242a increases the determination range related to the yellow change amount when the hue calculated as the color feature amount of the in-vivo lumen image is in the red range. Set as follows.
  • the brightness / color change determination criterion setting unit 242a also considers the brightness in the same manner, and the brightness / color change determination reference setting unit 242a determines a determination range that allows a bright change when the transition of the body fluid in the in-vivo lumen image to be determined is the same.
  • the determination range is set so that the change in brightness on the brighter side becomes larger than the predetermined determination range.
  • the arithmetic unit 2 is realized by using a general-purpose processor such as a CPU (Central Processing Unit) having arithmetic and control functions, or a dedicated integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • a general-purpose processor such as a CPU (Central Processing Unit) having arithmetic and control functions
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the storage unit 3 stores in-vivo lumen image data to be processed and various information necessary for processing.
  • the storage unit 3 includes various IC memories such as ROM (Read Only Memory) or RAM (Random Access Memory), a hard disk connected with a built-in or data communication terminal, or an information recording device such as a CD-ROM and its reading device. Realized.
  • the storage unit 3 operates the image processing device 1 in addition to the image data of the in-vivo lumen image acquired by the image processing device 1, and causes the image processing device 1 to execute various functions.
  • the data used during the execution of is stored.
  • the storage unit 3 stores an operation program according to the first embodiment and various parameters such as a determination criterion used when performing the adhering matter determination process.
  • Various programs such as an image processing program stored in the storage unit 3 can be recorded on a computer-readable recording medium.
  • the recording of various programs in the storage unit 3 or the recording medium may be performed when the computer or the recording medium is shipped as a product, or may be performed by downloading via a communication network.
  • the communication network here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), etc., and may be wired or wireless.
  • the image processing apparatus 1 having the above configuration may be realized using a single computer or a plurality of computers. In the latter case, it is also possible to perform processing in cooperation with each other while transmitting and receiving data via a communication network.
  • the computer here can be comprised by a general purpose personal computer, a server, etc., for example.
  • FIG. 2 is a diagram illustrating an example of an imaging apparatus that captures a lumen image acquired by the image processing apparatus according to Embodiment 1 of the present invention.
  • an imaging apparatus that inputs an in-vivo lumen image to the image processing apparatus 1 there is a capsule endoscope 4 as shown in FIG.
  • the capsule endoscope 4 is a medical device having a capsule shape as a whole.
  • the capsule endoscope 4 is introduced into the subject by oral ingestion or the like, then moves inside the organ (gastrointestinal tract), and is finally discharged out of the subject. Meanwhile, the capsule endoscope 4 performs imaging while moving inside the organ by the peristaltic movement of the organ, sequentially generates image signals, and wirelessly transmits them to the image processing apparatus 1 and the relay apparatus.
  • the capsule endoscope 4 includes, for example, a capsule casing 41 that is an exterior case formed in a size that can be easily introduced into a subject, and an imaging unit 42 that captures an image of the subject and generates an image signal. And a light emitting unit 43 that generates light of a predetermined wavelength band for illuminating the inside of the subject (hereinafter referred to as illumination light).
  • the capsule casing 41 includes a cylindrical casing 411 and dome-shaped casings 412 and 413, and is formed by closing both side opening ends of the cylindrical casing 411 with the dome-shaped casings 412 and 413.
  • the cylindrical casing 411 and the dome-shaped casing 413 are colored casings that are substantially opaque to the illumination light generated by the light emitting unit 43.
  • the dome-shaped casing 412 is an illumination window made of an optical member that is transparent to illumination light.
  • the adhering matter according to the present embodiment refers to the content adhering to the surface of the dome-shaped casing 412 in the imaging field of the imaging unit 42.
  • FIG. 3 is a diagram illustrating an example of a lumen image acquired by the image processing apparatus according to the first embodiment of the present invention.
  • the in-vivo lumen image W1 acquired by the capsule endoscope 4 described above when an adhering matter adheres to the surface of the dome-shaped casing 112, the adhering matter is expressed as an image Q.
  • the calculation unit 2 determines whether this image is an object.
  • FIG. 4 is a flowchart showing the deposit determination process performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 acquires the in-vivo lumen image, writes it in the storage unit 3, and stores it (step S100).
  • a plurality of in-vivo lumen images are input in time series.
  • the storage unit 3 stores the input in-vivo lumen image in time series or in association with time series.
  • the image processing apparatus 1 may acquire a biological lumen image by communicating with a device such as a capsule endoscope that captures a biological lumen image, or from a recording medium on which the biological lumen image is recorded. You may acquire by reading the data of a lumen image in a living body.
  • the imaging scene determination unit 21 reads out a plurality of in-vivo lumen images from the storage unit 3, and determines the imaging scene based on these in-vivo lumen images. (Step S200).
  • FIG. 5 is a flowchart illustrating the adhering matter determination process performed by the image processing apparatus according to the first embodiment of the present invention, and is a flowchart illustrating the imaging scene determination process performed by the imaging scene determination unit 21.
  • the body fluid state determination unit 211 includes information attached to the in-vivo lumen image indicating whether the input in-vivo lumen image is an image of the organ, or the like. For example, if the image is an image of the small intestine or large intestine, it is determined whether or not there is a body fluid in the in-vivo lumen image by using the characteristics of the body fluid described above (step S201). ).
  • the body fluid state determination unit 211 generates a determination result as to whether or not a body fluid exists for each in-vivo lumen image, and assigns the determination result to each in-vivo lumen image.
  • the body fluid state transition determination unit 211a determines the state transition of the body fluid in these image groups by grouping the in-vivo lumen images to which the determination result by the body fluid state determination unit 211 is given in time series (step S202). ).
  • the body fluid state transition determination unit 211a is in-vivo lumen images that are close to each other in time series, and each determination result of the previous in-vivo lumen image and the in-vivo lumen image of the transition determination target Are compared to determine the transition state.
  • the body fluid state transition determination unit 211a determines that the determination result of the in-vivo lumen image in the previous time is “the presence of body fluid” and the determination result of the in-vivo lumen image of the transition determination target is “the absence of body fluid” ", A determination result of” transition from a state in which bodily fluid exists to a state in which no body fluid exists "is given to the in-vivo lumen image of the transition determination target.
  • the body fluid state transition determination unit 211a determines that the determination result of the in-vivo lumen image in the previous time is “no body fluid is present” and the determination result of the in-vivo lumen image to be transitioned is “ In the case of “the presence of bodily fluid”, the determination result “transition from a state in which no body fluid exists to a state in which the body fluid exists” is given to the in-vivo lumen image to be subjected to the transition determination.
  • the body fluid state transition determination unit 211a determines whether the transition determination target A determination result “no transition” is given to the body lumen image.
  • step S200 there are cases where only step S201 is performed and steps S201 and S202 are performed.
  • step S201 only the determination result of whether or not a body fluid exists is generated as the determination result of the imaging scene.
  • the time-series change feature amount calculation unit 22 calculates time-series feature amounts between images that are close to each other in time series (step S300). In step S300, the time-series change feature amount calculation unit 22 calculates a time-series feature amount using the same in-vivo lumen image as the in-vivo lumen image used in step S200.
  • FIG. 6 is a flowchart illustrating the adhering matter determination process performed by the image processing apparatus according to Embodiment 1 of the present invention, and is a flowchart illustrating the time-series feature amount calculation process performed by the time-series change feature amount calculation unit 22. is there.
  • the time series change feature quantity calculator 22 determines whether or not the shape feature quantity is set as a calculation target (step S301). .
  • the time-series variation feature amount calculation unit 22 confirms a preset calculation target and determines that the shape feature amount is not set as the calculation target (step S301: No), the process proceeds to step S307. To do.
  • the time-series change feature value calculation unit 22 determines that the shape feature value is set as a calculation target (step S301: Yes)
  • the process proceeds to step S302.
  • step S302 the region setting unit 221 sets a region for calculating a time-series feature amount in the in-vivo lumen image. Specifically, the region setting unit 221 sets a region to be subjected to attachment determination for each of the in-vivo lumen images subjected to the imaging scene determination processing using the above-described known method. I do. Thereafter, one of the body fluid state region setting unit 221 a and the state transition region setting unit 221 b resets the region set by the region setting unit 221 based on the determination result of the body fluid state determination unit 211. When only step S201 is executed in step S200, the body fluid state region setting unit 221a resets the region in step S302.
  • Step S200 any one of the body fluid state region setting unit 221a and the state transition region setting unit 221b is set according to a preset condition or a selection instruction input by the user. One side resets the area.
  • the shape change feature amount calculation unit 222 calculates the feature amount related to the shape change of the region.
  • the overall shape feature value calculation unit 222a calculates a feature value related to the shape change of the entire set region.
  • the overall shape feature amount calculation unit 222a has a shape in the in-vivo lumen image that is close to each other in time series with respect to a preset shape among the area, the perimeter, the ferret diameter, the circularity, the center of gravity, and the like. The difference is calculated as an overall shape feature amount.
  • the local shape feature value calculation unit 222b calculates a feature value related to the shape change of each region obtained by dividing the region set by the region setting unit 221 (step S304).
  • the local shape feature quantity calculation unit 222b divides the area in a preset division mode, and calculates the difference in the shape of each divided area as the local shape feature quantity.
  • the time-series change feature value calculation unit 22 determines whether the brightness / color feature value is set as a calculation target (step S305).
  • the time-series change feature amount calculation unit 22 determines that the brightness / color feature amount is not set as a calculation target (step S305: No)
  • the time-series feature amount calculation process ends.
  • the time-series change feature quantity calculation unit 22 determines that the brightness / color feature quantity is set as a calculation target (step S305: Yes)
  • the process proceeds to step S307.
  • step S306 the brightness / color change feature amount calculation unit 223 calculates the brightness / color change feature amount. As described above, the brightness / color change feature amount calculation unit 223 calculates the difference between feature amounts between in-vivo luminal images that are close to each other in time series as brightness / color that is a feature amount related to a change in brightness / color. Calculated as a change feature.
  • step S307 the brightness / color change feature quantity calculation unit 223 calculates the brightness / color change feature quantity.
  • the brightness / color change feature amount calculation unit 223 calculates the difference between feature amounts between in-vivo luminal images that are close to each other in time series as brightness / color that is a feature amount related to a change in brightness / color. Calculated as a change feature.
  • the calculation unit 2 returns to the flowchart of FIG. 4 when the time-series feature amount calculation processing is completed for all the in-vivo lumen images.
  • the time-series feature amount calculation processing in step S300 at least one of the shape feature amount and the change rate of the brightness / color feature amount is calculated.
  • the color feature amount calculating unit 23 calculates the color-related feature from each in-vivo lumen image. The amount is calculated as a color feature amount (step S400).
  • FIG. 7 is a flowchart illustrating the deposit determination process performed by the image processing apparatus according to the first embodiment of the present invention, and is a flowchart illustrating the deposit determination process performed by the deposit determination unit 24.
  • a parameter of a determination criterion for determining whether or not it is an adhering matter is set.
  • the body fluid parameter setting unit 241 resets the parameter of the determination criterion for the shape change related to the determination of the attached matter according to the presence or absence of the body fluid in the in-vivo lumen image (step 501).
  • the body fluid parameter setting unit 241 resets the determination range so as to increase the shape change amount as described above.
  • the body fluid parameter setting unit 241 increases the range of values determined to be attached based on a preset range with respect to the overall shape feature quantity or the local shape feature quantity.
  • the body fluid parameter setting unit 241 performs setting using the local shape feature amount calculated by the local shape feature amount calculation unit 222b when it is determined that the body fluid exists.
  • the state transition parameter setting unit 242 After setting the determination criterion for the shape change, the state transition parameter setting unit 242 resets the determination criterion parameters related to brightness and color (step S502). Specifically, when it is determined that the brightness / color change criterion setting unit 242a has transitioned from a state in which bodily fluids are present to a non-existing state, for example, in the digestive tract, as described above, Based on a preset parameter, the determination criterion parameter that allows a change in red is reset.
  • the brightness / color change determination criterion setting unit 242a when it is determined that the brightness / color change determination criterion setting unit 242a has transitioned from a state in which no body fluid exists to a state in which it exists, for example, in the digestive tract, as described above, the brightness / color change determination reference setting unit 242a The parameter of the criterion for allowing the change is reset. Similarly, the brightness / color change determination criterion setting unit 242a sets the determination criterion that allows the change to be darkened in the same case. The state transition parameter setting unit 242 resets the determination criterion parameter according to the calculated time-series feature amount.
  • step S502 may be performed first, or may be performed simultaneously, or only one may be performed according to the calculated feature amount. If the determination result of the body fluid state transition is not generated in step S202, after the state transition determination by the body fluid state transition determination unit 211a is performed, the state transition parameter setting unit 242 Reset the criteria parameters.
  • the attached matter determination unit 24 includes the feature amount related to the shape calculated in step S300 and / or the feature amount related to the brightness / color, Based on the determination criterion set in step S501 and / or S502, it is determined whether or not the image in the set area is an attachment (step S503). For example, when the body fluid state determination unit 211 determines that the body fluid exists, the attached matter determination unit 24 compares the local shape feature amount calculated by the local shape feature amount calculation unit 222b with the determination criterion related to the shape.
  • the region movement between the adjacent in-vivo lumen images is small, and therefore the region having the local shape feature amount is determined to be an attachment.
  • the attached matter determination unit 24 determines whether the local shape feature amount is within the determination criterion. If the local shape feature amount is within the determination criterion, the region movement between the adjacent in-vivo lumen images is small, and therefore the region having the local shape feature amount is determined to be an attachment.
  • the attached matter determination unit 24 has a large movement of the region between the adjacent in-vivo lumen images, so that the region having the local shape feature amount is It is determined that there is no deposit.
  • the attached matter determination unit 24 performs determination for each calculated local shape feature amount.
  • the attached matter determination unit 24 may determine that one or a plurality of regions having the local shape feature amount determined to be attached matter are attached matter, or the local shape feature amount determined to be attached matter.
  • the region before the division including the region having the local shape feature amount may be determined as an attachment. Further, when the bodily fluid state determination unit 211 determines that there is no bodily fluid, the attached matter determination unit 24 compares the overall shape feature amount calculated by the overall shape feature amount calculation unit 222b with the determination criterion related to the shape. Then, the adhering matter is determined.
  • the determination process by changing the criteria for determining the deposit according to the presence of bodily fluids or the transition state of the presence of bodily fluids, The determination process can be performed more accurately.
  • the adhering matter determination unit 24 performs the adhering matter determination according to the presence of the body fluid that is the determination result of the imaging scene determination unit 21 or the transition state of the presence of the body fluid. Since it is determined whether or not the region set in the in-vivo lumen image is an attachment by changing the determination criterion or the feature quantity to be determined, it is reflected in the in-vivo lumen image. It is possible to determine with high accuracy whether or not the image that appears is a deposit.
  • the image processing apparatus 1 may be provided with a function of an input unit that receives an input of an instruction signal so that the user can instruct a selection method via the input unit.
  • the input unit can be realized using a user interface such as a keyboard or a mouse.
  • a touch panel can be provided on the surface of the display panel and the touch panel can function as an input unit.
  • FIG. 8 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • An image processing apparatus 1A shown in FIG. 1 includes a calculation unit 2A and a storage unit 3.
  • the same components as those included in the calculation unit 2 of the image processing apparatus 1 according to Embodiment 1 will be described with the same reference numerals.
  • the calculation unit 2A includes an imaging scene determination unit 21A, a time-series change feature amount calculation unit 22, a color feature amount calculation unit 23, and an attached matter determination unit 24A.
  • the imaging scene determination unit 21A includes a body fluid state determination unit 211, a movement amount calculation unit 212 that calculates a movement amount of the imaging device that acquires the in-vivo lumen image, or a movement amount of the imaging unit of the imaging device, and a biological tube.
  • a mucous membrane distance calculation unit 213 that calculates the distance to the mucous membrane shown in the cavity image.
  • the movement amount calculation unit 212 includes, for example, an acceleration sensor or the like mounted on the imaging device, and uses the sensor output and the imaging interval time for each in-vivo lumen image, so that the in-vivo lumen images adjacent in time series are detected. The amount of movement is calculated. Note that the movement amount calculation unit 212 calculates a motion vector between adjacent luminal images in time series, and calculates a movement amount between the time series images by calculating the total or average of the absolute values of the motion vectors. May be calculated, or a new movement amount may be calculated by combining the two movement amounts calculated by the two calculation methods described above.
  • the body fluid state transition determination unit 211a may determine the state transition of the body fluid based on the motion vector calculated by the movement amount calculation unit 212.
  • the mucosa distance calculation unit 213 calculates the distance to the mucous membrane shown in the in-vivo lumen image.
  • the mucous membrane distance calculation unit 213 calculates color feature amounts (RGB, HSV, etc.) and texture feature amounts (LBP, etc.) for each pixel or region in the image, and these feature amounts are preset. Based on the discrimination criteria, it is discriminated as a mucous membrane. Since the R component having a long wavelength is considered as the distance to the mucosa, the mucosa distance calculating unit 213 calculates the distance to the mucosa using the R component.
  • the mucous membrane distance calculation unit 213 can also calculate the distance from information relating to the degree of dimming when the imaging device has a dimming function so that the in-vivo lumen image is properly exposed.
  • the mucosal distance calculation unit 213 has a mucosal distance transition determination unit 213a that determines the transition of the mucosal distance between time-series images.
  • the mucosal distance transition determining unit 213a determines the transition of the mucosal distance between in-vivo lumen images that are close to each other in time series.
  • the mucosa distance calculation unit 213 determines the state transition of the mucosa distance by collecting the calculated mucosal distance as time series information. For example, the mucosal distance calculation unit 213 determines that the mucosal distance has changed from a far state to a close state, or has changed from a close state to a far state, and assigns the determination result to the corresponding in vivo lumen image.
  • the adhering matter determination unit 24A sets a movement amount parameter setting unit 243 that sets a determination reference so as to allow a shape change based on the movement amount, and a determination reference that allows a brightness / color change based on the mucosal distance.
  • the movement amount parameter setting unit 243 determines the criterion to allow the feature amount related to the shape. Set. Further, when the movement amount calculated by the movement amount calculation unit 212 is large, a part of the attached foreign matter may move. Therefore, the movement amount parameter setting unit 243 attaches all the regions if there is a region that hardly moves. I want to judge it as a foreign object. Therefore, when the movement amount is large, the movement amount parameter setting unit 243 sets the determination target feature amount so that the local shape feature amount is used preferentially over the overall shape feature amount.
  • the mucosal distance parameter setting unit 244 performs parameter setting for a determination criterion that allows a change in the brightness of the image to be brighter when the mucosal distance changes from near to far than when the mucosal distance is short.
  • the distance of the mucous membrane changes from far to close, the inside of the lumen to be imaged becomes narrow. Therefore, when adjusting the illumination light in the imaging apparatus, the light source needs to emit light darkly.
  • the mucosal distance parameter setting unit 244 performs parameter setting for a determination criterion that allows a change in the brightness of the image to be darker when the distance of the mucosa changes from far to close than when the distance of the mucosa is long.
  • FIG. 9 is a flowchart showing the deposit determination process performed by the image processing apparatus according to the second embodiment of the present invention.
  • the image processing apparatus 1A acquires the in-vivo lumen image, writes it in the storage unit 3, and stores it (step S100).
  • the imaging scene determination unit 21A reads a plurality of in-vivo lumen images from the storage unit 3, and determines the imaging scene based on these in-vivo lumen images. (Step S600).
  • FIG. 10 is a flowchart illustrating the adhering matter determination process performed by the image processing apparatus according to the second embodiment of the present invention, and is a flowchart illustrating the imaging scene determination process performed by the imaging scene determination unit 21A.
  • the movement amount calculation unit 212 calculates the movement amount between in-vivo lumen images that are close to each other in time series (step S601).
  • the movement amount calculation unit 212 calculates the movement amount using the calculation method described above, and assigns the movement amount to the in-vivo lumen image to be processed.
  • the mucosal distance calculation unit 213 calculates the mucosal distance (step S611). As described above, the mucosa distance calculation unit 213 calculates the distance to the mucous membrane using the R component. Thereafter, the mucosal distance transition determining unit 213a determines the transition of the mucosal distance between the in-vivo lumen images that are close to each other in time series (step S612). When the distance calculation process is completed for all the in-vivo lumen images, the calculation unit 2A returns to the flowchart of FIG.
  • the time-series change feature amount calculation unit 22 calculates time-series feature amounts between images that are continuous in time series (step S300).
  • the time-series feature amount calculation process performed by the time-series change feature amount calculation unit 22 is performed according to the flowchart shown in FIG. 6, and the overall shape feature amount, the local shape feature amount, or the brightness / color change for each in-vivo lumen image. The feature amount is calculated.
  • the color feature-value calculating unit 23 calculates the color-related feature value from each in-vivo lumen image. And calculated as a color feature amount (step S400).
  • FIG. 11 is a flowchart illustrating the deposit determination process performed by the image processing apparatus according to the second embodiment of the present invention, and is a flowchart illustrating the deposit determination process performed by the deposit determination unit 24A.
  • a parameter of a determination criterion for determining whether or not it is an adhering matter is set.
  • the movement amount parameter setting unit 243 resets the determination criterion parameters so as to allow the feature amount related to the shape (step 701). If the movement amount calculated by the movement amount calculation unit 212 is larger than a predetermined value set in advance, the movement amount parameter setting unit 243 sets a determination criterion so as to allow the feature amount related to the shape as described above. Reset it. Specifically, the movement amount parameter setting unit 243 increases the determination range for determining that it is an attached substance relative to the overall shape feature amount or the local shape feature amount. Further, the movement amount parameter setting unit 243 sets the local shape feature amount to be used as the shape feature amount to be determined when the movement amount calculated by the movement amount calculation unit 212 is large.
  • the mucosal distance parameter setting unit 244 After setting the determination criterion for the shape change, the mucosal distance parameter setting unit 244 resets the determination criterion parameters related to brightness and color (step S702). As described above, the mucous membrane distance parameter setting unit 244 determines a criterion for allowing a change in brightness of the image to be brighter than when the mucosal distance is short, when it is determined that the distance of the mucosa transitions from near to far. Reset the parameters. Specifically, the mucosal distance parameter setting unit 244 increases the determination range that is a determination range that is an attached substance and is a range of luminance difference with respect to the brightness / color change feature amount.
  • the mucosal distance parameter setting unit 244 when it is determined that the distance of the mucosa transitions from far to close, allows a change in image brightness that is darker than when the mucosa distance is far, as described above. Set the parameters for the judgment criteria. Specifically, the mucosal distance parameter setting unit 244 performs setting to reduce the determination range with respect to the brightness / color change feature amount. In steps S701 and S702 described above, step S702 may be performed first, may be performed simultaneously, or only determination criteria corresponding to the calculated feature amount may be reset.
  • the attached matter determination unit 24A performs the feature amount related to the shape calculated in step S300 and / or the feature amount related to the brightness / color, Based on the determination criteria set in Steps S701 and S702, it is determined whether or not the image in the set area is a deposit (Step S703). For example, when the movement amount calculated by the movement amount calculation unit 212 is larger than a predetermined value, the attached matter determination unit 24A determines the local shape feature amount calculated by the local shape feature amount calculation unit 222b and the determination criterion related to the shape.
  • the local shape feature amount is within the determination criterion, it is determined that the movement of the region is small between the adjacent in-vivo lumen images in time series, and the set region is an attachment.
  • the attached matter determination unit 24 has a large movement of the region between the adjacent in-vivo lumen images, and thus the set region is not an attached matter. Is determined.
  • the shape change, brightness / color change can be made by changing the determination criteria for the attachment determination according to the moving distance of the imaging device, the mucosa distance, and the transition state of the mucosa distance. It is possible to more accurately perform the process for determining the adhered matter.
  • the attached matter determination unit 24 determines whether the imaging device determination unit 21A determines the moving distance of the imaging device, the mucosal distance, and the transition state of the mucosal distance. Since it is determined whether or not the region set in the in-vivo lumen image is an adhering substance by changing the determination criteria for the adhering matter determination or the feature quantity to be determined, the in-vivo lumen image It is possible to determine with high accuracy whether or not the image reflected in the image is a deposit.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • An image processing apparatus 1B shown in the figure includes a calculation unit 2B and a storage unit 3.
  • the same components as those included in the calculation unit 2 of the image processing apparatus 1 according to Embodiment 1 will be described with the same reference numerals.
  • the calculation unit 2B includes an imaging scene determination unit 21, a time-series change feature amount calculation unit 22, a color feature amount calculation unit 23, an attachment determination unit 24, and an attachment determination unit 25.
  • the adhering matter determining unit 25 expands, integrates, or divides the area determined as adhering based on the adhered foreign matter, and determines the area of the adhering substance.
  • FIG. 13 is a flowchart illustrating the adhering matter determination process performed by the image processing apparatus according to the third embodiment of the present invention.
  • the imaging scene determination unit 21 reads out a plurality of in-vivo lumen images from the storage unit 3, and determines the imaging scene based on these in-vivo lumen images. (Step S200).
  • the time-series change feature amount calculation unit 22 calculates time-series feature amounts between images that are continuous in time series (step S300).
  • the time-series feature amount calculation process performed by the time-series change feature amount calculation unit 22 is performed according to the flowchart shown in FIG. 6, and the overall shape feature amount, the local shape feature amount, or the brightness / color change for each in-vivo lumen image. The feature amount is calculated.
  • the color feature amount calculating unit 23 calculates the color-related feature from each in-vivo lumen image. The amount is calculated as a color feature amount (step S400).
  • the attached matter determination unit 24 determines whether or not the region set in step S302 is an attached matter (step S500).
  • the attached matter determination process performed by the attached matter determination unit 24 is performed according to the flowchart shown in FIG. 7 and determines whether or not the set region is an attached matter.
  • the deposit determining unit 25 determines the deposit area based on the area determined as deposit in Step S500 (Step S800).
  • the adhering matter determination unit 25 determines a foreign matter region by integrating the same foreign matter when there is a region having a pixel value within a predetermined value among a plurality of regions determined to be attached matter. Further, the attached matter determining unit 25 changes the attached region by extending the region to a pixel that is centered on the center of gravity of the region determined to be attached and separated by an arbitrary distance. Moreover, the deposit
  • the attached matter determining unit 25 expands, integrates, or divides the region that the attached matter determining unit 24 determines to be attached matter. Therefore, it is possible to determine with high accuracy whether or not the image reflected in the in-vivo lumen image is an attached substance.
  • the present invention should not be limited only by the above-described first to third embodiments.
  • the shape change determination criterion set by the body fluid parameter setting unit 241 according to Embodiment 1 and the brightness / color determination criterion set by the mucosal distance parameter setting unit 244 according to Embodiment 2 are combined.
  • the attached matter may be determined, or the attached matter may be determined using any one of the shape change feature amount and the brightness / color change feature amount, or all setting units may be It may be used to determine the deposits.
  • the present invention can include various embodiments and the like not described herein.
  • the time-series variation feature amount calculation unit 22 selects a shape feature amount used for the determination of the attached substance from the overall shape feature amount and the local shape feature amount according to the imaging scene.
  • the adhering matter determination units 24 and 24A perform parameter setting of the determination criteria used for the adhering matter determination according to the imaging scene, but the time-series change feature amount calculating unit 22 and the adhering matter determining unit 24, It is sufficient that at least one of 24A performs processing based on the imaging scene.
  • the time-series change feature amount calculation unit 22 selects a shape feature amount to be used for the determination of an attachment from the overall shape feature amount and the local shape feature amount according to the imaging scene, and the attachment determination unit 2424A
  • the adhering matter may be determined using a set determination criterion, or the time-series change feature amount calculation unit 22 calculates either the overall shape feature amount or the local shape feature amount
  • the adhering matter determination units 24 and 24A may set parameters for determination criteria used for determining adhering matter according to the imaging scene.
  • the attached matter determination units 24 and 24A have been described as using either the overall shape feature quantity or the local shape feature quantity according to the imaging scene.
  • the deposit may be determined using the feature amount and the local shape feature amount.
  • the adhering matter determination units 24 and 24A weight the overall shape feature amount and the local shape feature amount according to the imaging scene, and thereby comprehensively based on the result determined by each shape feature amount. It may be determined.
  • the image processing apparatus, the operation method of the image processing apparatus, and the operation program of the image processing apparatus according to the present invention increase whether or not the image reflected in the lumen image is an attachment. Useful for determining accuracy.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本発明にかかる画像処理装置は、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、時系列で互いに近い生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、生体内管腔画像において画素値に基づき設定した領域が、撮像装置に付着した付着物であるか否かを判定する付着物判定部と、を備え、時系列変化特徴量算出部及び付着物判定部の少なくとも一方が、撮像シーンに基づいて処理を行う。

Description

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
　本発明は、例えば生体の管腔内を撮像することにより取得された管腔画像からレンズに付着した付着物を判定する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
　被検体内の診断を行うための技術として、内視鏡やカプセル型内視鏡等の医用観察装置を用いて生体の管腔内を時系列順に撮像することにより複数の管腔画像を取得する技術が知られている。医師などの術者は、モニタに表示された管腔画像をもとに診断を行う。
　ところで、内視鏡やカプセル型内視鏡のレンズやカバーに、残渣や血液などの内容物（以下、付着物ともいう）が付着すると、管腔画像内に付着物の像が写り、管腔の像を隠してしまい、診断の妨げになるという問題があった。
　このような問題に対し、画像中に写り込んだ像が、付着物であるか否かを判定する技術が知られている。例えば、車両に搭載される撮像装置が撮像した画像から付着物が写り込んでいるか否かを判定する技術が知られている（例えば、特許文献１を参照）。この技術では、レンズやフロントガラスに付着した泥汚れは時系列で位置が変化しないという性質を利用して、泥汚れの付着の有無を判定する。
特開２０１４－１３４５５号公報
　しかしながら、特許文献１が開示する技術を、被検体内を撮像した管腔画像に対して適用すると、通過している臓器が変わる等、撮像シーンが変化すると、像の明るさや、色、形状が大きく異なる場合があり、写っている像が付着物であるか否かの判定精度が低下するという問題があった。
　本発明は、上記に鑑みてなされたものであって、管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定部と、を備え、前記時系列変化特徴量算出部及び前記付着物判定部の少なくとも一方が、前記撮像シーンに基づいて処理を行うことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、撮像シーン判定部が、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定ステップと、時系列変化特徴量算出部が、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出ステップと、付着物判定部が、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定ステップと、を含み、前記時系列変化特徴量算出ステップ及び前記付着物判定ステップの少なくとも一方が、前記撮像シーンに基づいて処理を行うことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、画像処理装置に実行させる画像処理装置の作動プログラムであって、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定手順と、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出手順と、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定手順と、を含み、前記時系列変化特徴量算出手順及び前記付着物判定手順の少なくとも一方が、前記撮像シーンに基づいて処理を行うことを特徴とする。
　本発明によれば、管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像を撮像する撮像装置の一例を説明する図である。 図３は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像の一例を説明する図である。 図４は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図５は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図６は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図７は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図９は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図１０は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図１１は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。 図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態３に係る画像処理装置が行う付着物判定処理を示すフローチャートである。
　以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを備える。画像処理装置１は、カプセル内視鏡や内視鏡等により撮像された生体内管腔画像を取得して所定の画像処理を行う機能を有する。生体内管腔画像としては、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像を用いる。
　演算部２は、時系列で連続して撮像した生体内管腔画像の撮像シーンを判定する撮像シーン判定部２１と、時系列で互いに近い生体内管腔画像間における画素値の変化を特徴量として算出する時系列変化特徴量算出部２２と、生体内管腔画像から色に関する特徴量を算出する色特徴量算出部２３と、算出した特徴量に基づいて、時系列で互いに近い生体内管腔画像間で変化しない領域の像（以下、単に領域ともいう）が付着物であるか否かを判定する付着物判定部２４とを有する。ここで、時系列で互いに近い生体内管腔画像とは、時間的に近い時系列近傍の二つの生体内管腔画像であり、予め設定された範囲に含まれる二つの生体内管腔画像である。なお、明細書において、付着物とは、内視鏡やカプセル型内視鏡のレンズやカバーに付着した、残渣や血液などの内容物のことをいう。
　撮像シーン判定部２１は、生体内管腔画像内の体液の存在を判定する体液状態判定部２１１を有する。
　体液状態判定部２１１は、生体内管腔画像が小腸や大腸を撮像した画像である場合、上述した体液の特性を利用することによって、生体内管腔画像において体液の像（以下、単に体液ともいう）が存在するか否かの判定を行う。具体的に、体液状態判定部２１１は、生体内管腔画像における画素ごと、または、予め設定された数の画素を構成単位とする領域ごとに色特徴量を算出し、算出した特徴量と、予め設定されている判別基準とに基づいて、体液が存在するか否かを判定する。色特徴量は、ＲＧＢまたはＨＳＶ等の値で表現され、ＲＧＢの場合は各色の画素値、ＨＳＶの場合は色相(Hue)、彩度(Saturation)及び明度(Value)の三つの成分の値となる。例えば、小腸や大腸に存在する体液は、ビリルビンを含むために黄色がかっている。体液状態判定部２１１は、画像の色や、色の分布を判断することによって、生体内管腔画像が体液を含むか否かによって、生体内管腔画像内に体液が存在するか否かを判定する。
　また、体液状態判定部２１１は、時系列で互いに近い生体内管腔画像間の領域、又は画素の体液の状態遷移を判定する体液状態遷移判定部２１１ａを有する。体液状態遷移判定部２１１ａは、体液状態判定部２１１が判定した体液の存在結果が付与された生体内管腔画像を時系列にまとめることによって、体液の状態遷移を判定する。体液状態遷移判定部２１１ａは、例えば、体液が存在する状態から存在しない状態へ遷移したことや存在する状態から存在しない状態へ遷移したことを判定する。
　時系列変化特徴量算出部２２は、形状変化に関する特徴量を算出するための領域を設定する領域設定部２２１と、設定した領域から形状変化に関する特徴量を算出する形状変化特徴量算出部２２２と、生体内管腔画像から明るさ・色の変化に関する特徴量を算出する明るさ・色変化特徴量算出部２２３を有している。
　領域設定部２２１は、画像の領域分割することによって、形状変化に関する特徴量を算出するための領域を設定する。なお、ここで設定される領域は、一つの画素から構成されるものも含む。画像を領域分割する方法としては、公知の種々の方法を適用することができる。公知の方法として、例えば、類似した特徴量を有し、且つ空間的に近接した画素を統合することにより、画像を複数の領域に分割する方法がある（参考：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」第二版、第１９６頁）。また、領域設定部２２１は、体液の存在に基づいて領域の大きさを設定する体液状態領域設定部２２１ａと、体液の状態遷移に基づいて領域の大きさを設定する状態遷移領域設定部２２１ｂを有している。
　体液状態領域設定部２２１ａは、体液状態判定部２１１が判定した体液の存在の有無に係る判定結果に基づいて、領域設定部２２１が設定した領域の再設定を行う。体液が存在する場合、付着物の外形は変化しやすい。このため、体液状態領域設定部２２１ａは、領域設定対象の生体内管腔画像について体液が存在すると判定されている場合、領域設定部２２１が設定した領域の境界を利用しないような領域の再設定を行う。体液状態領域設定部２２１ａは、領域設定対象の生体内管腔画像について体液が存在すると判定されている場合、例えば、領域の外縁が、数画素分だけ内側に移動するような領域の再設定を行う。また、体液状態領域設定部２２１ａは、領域設定対象の生体内管腔画像について体液が存在しないと判定されている場合、領域設定部２２１が設定した領域に再設定するようにしてもよいし、再設定を行わないようにしてもよい。
　状態遷移領域設定部２２１ｂは、体液状態遷移判定部２１１ａが判定した体液の状態遷移の判定結果に基づいて領域の大きさを設定する。体液が存在する状態から存在しない状態への遷移、または、体液が存在しない状態から存在する状態への遷移の場合、付着した異物の外形が変化しやすい。このため、状態遷移領域設定部２２１ｂは、領域設定部２２１が設定した領域の境界を利用しないような領域の再設定を行う。状態遷移領域設定部２２１ｂは、領域設定対象の生体内管腔画像について体液の存在状態が遷移すると判定されている場合、例えば、領域の外縁が、数画素分だけ内側に移動するような領域の再設定を行う。また、状態遷移領域設定部２２１ｂは、領域設定対象の生体内管腔画像について体液の状態が遷移していないと判定されている場合、領域設定部２２１が設定した領域に再設定するようにしてもよいし、再設定を行わないようにしてもよい。
　形状変化特徴量算出部２２２は、領域設定部２２１により設定された領域の全体の形状変化特徴量を算出する全体形状特徴量算出部２２２ａと、領域設定部２２１により設定された領域の局所の形状変化特徴量を算出する局所形状特徴量算出部２２２ｂとを有している。
　全体形状特徴量算出部２２２ａは、領域設定部２２１により設定された領域全体の形状変化特徴量を算出する。具体的には、時系列で互いに近い生体内管腔画像における形状の特徴量の差を算出する。形状としては、面積、周囲長、フェレ径、円形度、重心等が挙げられる。
　局所形状特徴量算出部２２２ｂは、領域設定部２２１により設定された領域を分割した各分割領域（局所）の形状変化特徴量を算出する。局所形状特徴量算出部２２２ｂは、領域設定部２２１により設定された領域内に所定のサイズの矩形領域を敷き詰めるように細かく分割し、分割した各領域において、時系列で前にある生体内管腔画像の対応する領域と差を形状の特徴量として算出する。ここで算出する特徴量は、例えば、領域間の輝度の差や、重心位置の差などである。また、局所形状特徴量算出部２２２ｂは、領域設定部２２１により設定された領域の外周を分割することにより、領域の外縁の一部をなす弧を抽出し、時系列画像での弧の形状等の差を算出するようにしてもよい。
　明るさ・色変化特徴量算出部２２３は、各生体内管腔画像から明るさ・色に関する特徴量を算出するとともに、時系列で互いに近い生体内管腔画像間の予め設定しておいた領域における特徴量の差を、明るさ・色の変化に関する特徴量である明るさ・色変化特徴量として算出する。明るさ・色変化特徴量算出部２２３は、例えば、時系列で互いに近い生体内管腔画像間でのＲＧＢ成分や、ＹＣｂＣｒ変換した明るさ、ＨＳＶ変換した色相等の差を算出する。また、明るさ・色変化特徴量算出部２２３は、明るさや色から算出するテクスチャ特徴量のように、明るさや色に基づく特徴量について、時系列で互いに近い生体内管腔画像間の差を明るさ・色変化特徴量として算出してもよい。なお、以下の説明において、全体形状特徴量、局所形状特徴量、及び明るさ・色変化特徴量をまとめて時系列特徴量ということもある。
　色特徴量算出部２３は、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する。色特徴量は、例えば、ＲＧＢまたはＨＳＶ等の値で表現され、各色の画素値、または色相(Hue)、彩度(Saturation)及び明度(Value)の三つの成分のうちのいずれかの平均値や最頻値である。なお、色特徴量算出部２３での色特徴量の算出方法は、体液状態判定部２１１が用いる色特徴量の算出方法を用いて行ってもよいし、この算出方法とは別の算出方法で色特徴量を算出するものであってもよい。
　付着物判定部２４は、記憶部３等に記憶され、予め設定されている判定基準である判定パラメータをもとに、生体内管腔画像内に付着物が存在するか否かを判定する。付着物判定部２４は、体液状態判定部２１１の判定結果に基づいて、付着物判定対の領域の形状の変化を許容する判定基準のパラメータ設定を行う体液パラメータ設定部２４１と、状態遷移領域設定２１１ａの判定結果に基づいて、付着物判定対象の領域明るさ・色の変化を許容する判定基準のパラメータ設定を行う状態遷移パラメータ設定部２４２とを有している。なお、ここでいう判定基準とは、時系列特徴量又は色特徴量から付着物であるか否かを判定するためのパラメータである特徴量の範囲（以下、判定範囲ともいう）のことである。
　体液パラメータ設定部２４１は、体液が存在するという判定結果である場合、体液中の付着物の形状が変化しやすくなるため、付着物であると判定するための形状変化の範囲である判定範囲に対し、形状の変化量を大きくするような判定基準のパラメータ設定を行う。また、体液パラメータ設定部２４１は、判定対象の生体内管腔画像において体液の像が存在しないと判定されている場合は、判定に用いる形状変化特徴量として、全体形状特徴量算出部２２２ａが算出した全体形状特徴量を利用する設定を行う。これに対し、体液パラメータ設定部２４１は、体液が存在するという判定結果である場合、付着物の一部分が動くことがあるため、ほとんど動いていない領域を検出することによって、すべての領域を付着物として判定したい。そこで、体液パラメータ設定部２４１は、体液が存在するという判定結果である場合、全体形状特徴量算出部２２２ａが算出した全体形状特徴量ではなく、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量を利用する設定を行う。なお、上記のように体液が存在有無により全体形状特徴量と局所形状特徴量を使い分けるだけでなく、体液が存在するという判定結果である場合は体液が存在しない場合よりも形状特徴量の比重を高くするものでもよい。また、体液が存在するという判定結果である場合には局所形状特徴量を全体形状特徴量よりも重みや比重を高くするのでもよい。例えば、全体形状特徴量の重みをｍ（＞０）、局所形状特徴量の重みをｎ（＞０）としたとき、液体が存在するという判定結果である場合は、ｍ＜ｎとして算出した値を特徴量とする。
　状態遷移パラメータ設定部２４２は、体液の遷移状態に応じて、付着物であると判定するための明るさ・色に係る判定基準のパラメータ設定を行う。状態遷移パラメータ設定部２４２は、体液が存在しない状態から存在する状態に遷移したという判定結果である場合、付着物の像の明るさや色が変化しやすくなるため、付着物であると判定するための明るさ・色に係る判定基準のパラメータ設定を行う明るさ・色変化判定基準設定部２４２ａを有している。例えば、明るさ・色変化判定基準設定部２４２ａは、体液が存在しない状態から存在する状態に遷移したという判定結果である場合に、明るさ・色の変化量を大きくするような判定範囲の設定を行う。
　明るさ・色変化判定基準設定部２４２ａは、色についての特徴量のパラメータ設定を行う際、判定対象の生体内管腔画像について体液が存在する状態から存在しない状態に遷移したと判定されている場合、例えば消化管であれば、消化管に存在する体液の色の影響を受けなくなり、生体内管腔画像が管腔内に起因する赤みがかった色の画像になるため、赤くなる変化を許容する判定基準のパラメータ設定を行う。具体的に、明るさ・色変化判定基準設定部２４２ａは、生体内管腔画像の色特徴量として算出された色相が赤色の範囲にある場合に、赤色の変化量に係る判定範囲が大きくなるように設定する。また、明るさに関しても同様に考え、明るさ・色変化判定基準設定部２４２ａは、判定対象の生体内管腔画像の体液の遷移について同様の場合に、暗くなる変化を許容する判定範囲、すなわち、予め設定されている判定範囲に対して、暗くなる側の明るさの変化が大きくなるように判定範囲を設定する。
　これに対し、明るさ・色変化判定基準設定部２４２ａは、体液が存在しない状態から存在する状態に遷移したという判定結果である場合、例えば消化管であれば、小腸や大腸に存在する体液の色の影響を受けて、体液中の画像が、黄色がかった色になるため、黄色くなる変化を許容する判定基準のパラメータ設定を行う。具体的に、明るさ・色変化判定基準設定部２４２ａは、生体内管腔画像の色特徴量として算出された色相が赤色の範囲にある場合に、黄色の変化量に係る判定範囲が大きくなるように設定する。また、明るさに関しても同様に考え、明るさ・色変化判定基準設定部２４２ａは、判定対象の生体内管腔画像の体液の遷移について同様の場合に、明るくなる変化を許容する判定範囲、すなわち、予め設定されている判定範囲に対して、明るくなる側の明るさの変化が大きくなるように判定範囲を設定する。
　演算部２は、演算及び制御機能を有するＣＰＵ（Central　Processing　Unit）等の汎用プロセッサ、またはＡＳＩＣ（Application　Specific　Integrated　Circuit）もしくはＦＰＧＡ（Field　Programmable　Gate　Array）等の専用の集積回路等を用いて実現される。演算部２が汎用プロセッサまたはＦＰＧＡによって実現される場合は、記憶部３が記憶する各種プログラムや各種データを記憶部３から読み出し、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。演算部２がＡＳＩＣを用いて実現される場合は、各種処理を単独で実行してもよいし、記憶部３が記憶する各種データ等を用いることによって各種処理を実行してもよい。
　記憶部３は、処理対象となる生体内管腔画像のデータ、及び処理を行う際に必要な各種情報を記憶する。記憶部３は、ＲＯＭ（Read　Only　Memory）またはＲＡＭ（Random　Access　Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ－ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した生体内管腔画像の画像データの他、画像処理装置１を動作させると共に、画像処理装置１に種々の機能を実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る作動プログラムや、付着物判定処理を行う際に用いられる判定基準等の各種パラメータを記憶する。
　記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。
　以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。
　なお、生体内管腔画像を画像処理装置１に入力するための撮像装置の構成、付着物の有無を出力する構成に関して本発明では特に限定しない。図２は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像を撮像する撮像装置の一例を説明する図である。生体内管腔画像を画像処理装置１に入力する撮像装置の一例として、図２に示すようなカプセル型内視鏡４が挙げられる。カプセル型内視鏡４は、全体としてカプセル状をなす医療装置である。カプセル型内視鏡４は、経口摂取等によって被検体内に導入された後、臓器（消化管）内部を移動し、最終的に被検体の外部に排出される。その間、カプセル型内視鏡４は、臓器内部を該臓器の蠕動運動により移動しつつ撮像を行い、画像信号を順次生成して、画像処理装置１や、中継装置に無線送信する。
　カプセル型内視鏡４は、例えば、被検体内に導入し易い大きさに形成された外装ケースであるカプセル型筐体４１と、被検体内を撮像して画像信号を生成する撮像部４２と、被検体内を照明する所定の波長帯域の光（以下、照明光という）を発生する発光部４３とを備えている。
　カプセル型筐体４１は、筒状筐体４１１とドーム状筐体４１２，４１３とから成り、この筒状筐体４１１の両側開口端をドーム状筐体４１２，４１３で塞ぐことによって形成される。筒状筐体４１１及びドーム状筐体４１３は、発光部４３が発生する照明光に対して略不透明な有色の筐体である。一方、ドーム状筐体４１２は、照明光に対して透明な光学部材からなる照明窓である。本実施の形態に係る付着物は、ドーム状筐体４１２の表面であって、撮像部４２の撮像視野内における表面に付着した内容物のことをいう。
　図３は、本発明の実施の形態１に係る画像処理装置が取得する管腔画像の一例を説明する図である。上述したカプセル型内視鏡４により取得された生体内管腔画像Ｗ１では、ドーム状筐体１１２の表面に付着物が付着すると、この付着物が像Ｑとして表現される。本実施の形態では、このような付着物判定対象の像が存在する場合に、演算部２が、この像が付着物であるか否かを判定する。
　続いて、画像処理装置１の演算部２が行う付着物判定処理について、図４～図７を参照して説明する。図４は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートである。まず、画像処理装置１は、生体内管腔画像の入力があると、生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１００）。この生体内管腔画像は、時系列に沿って複数入力される。記憶部３は、入力される生体内管腔画像を時系列に沿って、又は時系列と対応付けて記憶する。画像処理装置１は、生体内管腔画像を撮像するカプセル内視鏡等の機器との通信によって生体内管腔画像を取得してもよいし、生体内管腔画像が記録された記録媒体から生体内管腔画像のデータを読み出すことによって取得してもよい。
　生体内管腔画像が記憶部３に書き込まれると、撮像シーン判定部２１が、記憶部３から複数の生体内管腔画像を読み出して、これらの生体内管腔画像に基づいて撮像シーンの判定を行う（ステップＳ２００）。
　図５は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、撮像シーン判定部２１が行う撮像シーン判定処理を説明するフローチャートである。撮像シーン判定部２１が行う撮像シーン判定処理では、まず、体液状態判定部２１１が、入力された生体内管腔画像がその臓器を撮像したものかを生体内管腔画像に付された情報などを参照して判断し、例えば小腸や大腸を撮像した画像である場合、上述した体液の特性を利用することによって、生体内管腔画像において体液が存在するか否かの判定を行う（ステップＳ２０１）。体液状態判定部２１１は、各生体内管腔画像について、体液が存在するか否かの判定結果を生成し、各生体内管腔画像に付与する。
　その後、体液状態遷移判定部２１１ａは、体液状態判定部２１１による判定結果が付与された生体内管腔画像を時系列にまとめることによって、これらの画像群における体液の状態遷移を判定する（ステップＳ２０２）。例えば、体液状態遷移判定部２１１ａは、時系列で互いに近い生体内管腔画像であって、時間的に前の生体内管腔画像と、遷移判定対象の生体内管腔画像との各判定結果を比較することにより、遷移状態を判定する。体液状態遷移判定部２１１ａは、時間的に前の生体内管腔画像の判定結果が「体液の存在あり」であって、遷移判定対象の生体内管腔画像の判定結果が「体液の存在なし」である場合、当該遷移判定対象の生体内管腔画像について、「体液が存在する状態から存在しない状態へ遷移した」との判定結果を付与する。これに対し、体液状態遷移判定部２１１ａは、時間的に前の生体内管腔画像の判定結果が「体液の存在なし」であって、遷移判定対象の生体内管腔画像の判定結果が「体液の存在あり」である場合、当該遷移判定対象の生体内管腔画像について、「体液が存在しない状態から存在する状態へ遷移した」との判定結果を付与する。また、体液状態遷移判定部２１１ａは、時間的に前の生体内管腔画像の判定結果と、遷移判定対象の生体内管腔画像の判定結果とが同じである場合、当該遷移判定対象の生体内管腔画像について、「遷移なし」との判定結果を付与する。なお、ステップＳ２００では、ステップＳ２０１のみを行う場合と、ステップＳ２０１およびＳ２０２を行う場合がある。ステップＳ２０１のみ行う場合は、撮像シーンの判定結果として、体液が存在するか否かの判定結果のみが生成される。演算部２は、すべての生体内管腔画像について体液状態遷移判定部２１１ａによる判定処理が終了すると、図４のフローチャートに戻る。
　ステップＳ２００による撮像シーンの判定処理後、時系列変化特徴量算出部２２が、時系列で互いに近い画像間の時系列特徴量を算出する（ステップＳ３００）。本ステップＳ３００においては、時系列変化特徴量算出部２２は、ステップＳ２００において使用した生体内管腔画像と同じ生体内管腔画像を用いて時系列特徴量の算出を行う。
　図６は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、時系列変化特徴量算出部２２が行う時系列特徴量算出処理を説明するフローチャートである。時系列変化特徴量算出部２２が行う時系列特徴量算出処理では、まず、時系列変化特徴量算出部２２が、形状特徴量が算出対象に設定されているか否かを判断する（ステップＳ３０１）。ここで、時系列変化特徴量算出部２２は、予め設定されている算出対象を確認し、形状特徴量が算出対象に設定されていないと判断した場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０７に移行する。これに対し、時系列変化特徴量算出部２２は、形状特徴量が算出対象に設定されていると判断した場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行する。
　ステップＳ３０２において、領域設定部２２１が、生体内管腔画像において時系列特徴量を算出するための領域の設定を行う。具体的には、領域設定部２２１が、撮像シーンの判定処理を行った生体内管腔画像のそれぞれに対し、上述した公知の方法を用いて、付着物の判定を行う対象となる領域の設定を行う。その後、体液状態領域設定部２２１ａ及び状態遷移領域設定部２２１ｂのうちのいずれか一方が、体液状態判定部２１１の判定結果に基づいて、領域設定部２２１が設定した領域の再設定を行う。ステップＳ２００においてステップＳ２０１のみが実行された場合は、本ステップＳ３０２では体液状態領域設定部２２１ａが領域の再設定を行う。また、ステップＳ２００においてステップＳ２０１及びＳ２０２が実行された場合は、予め設定された条件や、ユーザが入力した選択指示にしたがって、体液状態領域設定部２２１ａ及び状態遷移領域設定部２２１ｂのうちのいずれか一方が領域の再設定を行う。
　上述した処理によって、特徴量の算出領域が設定されると、形状変化特徴量算出部２２２が、領域の形状変化に係る特徴量の算出を行う。まず、ステップＳ３０３では、全体形状特徴量算出部２２２ａが、設定された領域全体の形状変化に係る特徴量を算出する。具体的に、全体形状特徴量算出部２２２ａは、面積、周囲長、フェレ径、円形度、重心等のうち、予め設定されている形状について、時系列で互いに近い生体内管腔画像における形状の差を全体形状特徴量として算出する。
　その後、局所形状特徴量算出部２２２ｂが、領域設定部２２１により設定された領域を分割した各領域の形状変化に係る特徴量を算出する（ステップＳ３０４）。局所形状特徴量算出部２２２ｂは、予め設定された分割態様で領域を分割し、分割した各領域の形状の差を局所形状特徴量として算出する。
　全体形状特徴量及び局所形状特徴量を算出後、時系列変化特徴量算出部２２は、明るさ・色特徴量が算出対象に設定されているか否かを判断する（ステップＳ３０５）。ここで、時系列変化特徴量算出部２２は、明るさ・色特徴量が算出対象に設定されていないと判断した場合（ステップＳ３０５：Ｎｏ）、時系列特徴量算出処理を終了する。これに対し、時系列変化特徴量算出部２２は、明るさ・色特徴量が算出対象に設定されていると判断した場合（ステップＳ３０５：Ｙｅｓ）、ステップＳ３０７に移行する。
　ステップＳ３０６において、明るさ・色変化特徴量算出部２２３は、明るさ・色変化特徴量を算出する。明るさ・色変化特徴量算出部２２３は、上述したように、時系列で互いに近い生体内管腔画像間の特徴量の差を、明るさ・色の変化に関する特徴量である明るさ・色変化特徴量として算出する。
　また、ステップＳ３０１に続くステップＳ３０７において、明るさ・色変化特徴量算出部２２３は、明るさ・色変化特徴量を算出する。明るさ・色変化特徴量算出部２２３は、上述したように、時系列で互いに近い生体内管腔画像間の特徴量の差を、明るさ・色の変化に関する特徴量である明るさ・色変化特徴量として算出する。
　演算部２は、すべての生体内管腔画像について時系列特徴量算出処理が終了すると、図４のフローチャートに戻る。このように、ステップＳ３００における時系列特徴量算出処理では、形状特徴量及び明るさ・色特徴量の変化率のうちの少なくとも一つが算出される。
　各生体内管腔画像について全体形状特徴量、局所形状特徴量及び／又は明るさ・色変化特徴量が算出されると、色特徴量算出部２３が、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する（ステップＳ４００）。
　その後、付着物判定部２４が、ステップＳ３０２において設定された領域が、付着物であるか否かの判定を行う（ステップＳ５００）。図７は、本発明の実施の形態１に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、付着物判定部２４が行う付着物判定処理を説明するフローチャートである。付着物判定部２４が行う付着物判定処理では、まず、付着物であるか否かの判定を行うための判定基準のパラメータ設定を行う。
　具体的には、体液パラメータ設定部２４１が、生体内管腔画像における体液の存在の有無に応じて、付着物の判定に係る形状変化の判定基準のパラメータの再設定を行う（ステップ５０１）。体液パラメータ設定部２４１は、体液が存在すると判定されている場合、上述したように、形状の変化量を大きくするような判定範囲の再設定を行う。具体的には、体液パラメータ設定部２４１は、全体形状特徴量又は局所形状特徴量に対して、予め設定されている範囲に基づいて、付着物であると判定する値の範囲を大きくする。また、体液パラメータ設定部２４１は、体液が存在すると判定されている場合、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量を利用する設定を行う。
　形状変化の判定基準を設定後、状態遷移パラメータ設定部２４２が、明るさ・色に係る判定基準のパラメータの再設定を行う（ステップＳ５０２）。具体的には、明るさ・色変化判定基準設定部２４２ａが、体液が存在する状態から存在しない状態に遷移していると判定されている場合、例えば消化管であれば、上述したように、予め設定されているパラメータに基づいて、赤くなる変化を許容する判定基準のパラメータの再設定を行う。これに対し、明るさ・色変化判定基準設定部２４２ａは、体液が存在しない状態から存在する状態に遷移していると判定されている場合、例えば消化管であれば、上述したように、黄色くなる変化を許容する判定基準のパラメータの再設定を行う。また、明るさに関しても同様に考え、明るさ・色変化判定基準設定部２４２ａは、同様の場合に、暗くなる変化を許容する判定基準に設定する。状態遷移パラメータ設定部２４２は、算出された時系列特徴量に応じた判定基準のパラメータの再設定を行う。なお、上述したステップＳ５０１及びＳ５０２は、ステップＳ５０２を先に行ってもよいし、同時に行ってもよいし、算出されている特徴量に応じて片方のみを行うのでもよい。また、ステップＳ２０２によって体液の状態遷移の判定結果が生成されていない場合は、体液状態遷移判定部２１１ａによる状態遷移の判定を行った後、状態遷移パラメータ設定部２４２が、明るさ・色に係る判定基準のパラメータの再設定を行う。
　形状及び／又は明るさ・色に係る判定基準が設定されると、付着物判定部２４が、ステップＳ３００で算出された形状に係る特徴量、及び／又は明るさ・色に係る特徴量と、ステップＳ５０１及び／又はＳ５０２で設定された判定基準とに基づいて、設定された領域における像が付着物であるか否かを判定する（ステップＳ５０３）。付着物判定部２４は、例えば、体液状態判定部２１１により体液が存在すると判定されている場合、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量と、形状にかかる判定基準とを比較して、局所形状特徴量が判定基準内にあれば、時系列で近接する生体内管腔画像間で領域の動きが小さいため、当該局所形状特徴量を有する領域が付着物であると判定する。一方で、付着物判定部２４は、局所形状特徴量が判定基準外であれば、時系列で近接する生体内管腔画像間で領域の動きが大きいため、当該局所形状特徴量を有する領域は付着物ではないと判定する。付着物判定部２４は、算出された局所形状特徴量ごとに判定を行う。付着物判定部２４は、付着物であると判定した局所形状特徴量を有する一つ又は複数の領域を付着物であると判定してもよいし、付着物であると判定した局所形状特徴量が一つでもあれば、当該局所形状特徴量を有する領域を含む分割前の領域を付着物として判定してもよい。また、付着物判定部２４は、体液状態判定部２１１により体液が存在しないと判定されている場合、全体形状特徴量算出部２２２ｂが算出した全体形状特徴量と、形状にかかる判定基準とを比較して付着物の判定を行う。
　上述した付着物判定処理により、体液の存在や、体液の存在の遷移状態に応じて、付着物判定の判定基準を変更することによって、形状の変化や、明るさ・色の変化による付着物の判定処理を、一層正確に行うことができる。なお、局所形状特徴量を用いて領域の付着物判定を行う場合、判定に用いた局所形状特徴量に対応する領域を付着物として判定してもよいし、当該判定に用いた局所形状特徴量を含み、領域設定部２２１において設定された全体領域、すなわち分割前の領域を付着物として判定してもよい。
　以上説明した本発明の実施の形態１によれば、付着物判定部２４が、撮像シーン判定部２１の判定結果である体液の存在や、体液の存在の遷移状態に応じて、付着物判定の判定基準や、判定対象の特徴量を変更することによって、生体内管腔画像において設定された領域が付着物であるか否かを判定するようにしたので、生体内管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができる。
　なお、画像処理装置１に対して指示信号の入力を受け付ける入力部の機能を具備させ、ユーザが入力部を介して選択方法を指示することができるようにしてもよい。ここで、入力部は、例えばキーボードやマウス等のユーザインタフェースを用いて実現することができる。なお、画像処理装置１が表示部を有する場合には、表示パネルの表面にタッチパネルを配設し、このタッチパネルを入力部として機能させることも可能である。
（実施の形態２）
　図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ａは、演算部２Ａと、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
　演算部２Ａは、撮像シーン判定部２１Ａと、時系列変化特徴量算出部２２と、色特徴量算出部２３と、付着物判定部２４Ａとを有する。
　撮像シーン判定部２１Ａは、体液状態判定部２１１と、生体内管腔画像を取得する撮像装置の移動量、又は撮像装置の撮像部の移動量を算出する移動量算出部２１２と、生体内管腔画像内に映る粘膜までの距離を算出する粘膜距離算出部２１３とを有する。
　移動量算出部２１２は、例えば、撮像装置に加速度センサ等を搭載させ、生体内管腔画像ごとのセンサ出力と撮影間隔時間とを用いることにより、時系列で隣り合う生体内管腔画像間の移動量を算出する。なお、移動量算出部２１２は、時系列で隣り合う生体内管腔画像間から動きベクトルを算出し、動きベクトルの絶対値の合計や平均等を算出することより、時系列画像間の移動量を算出してもよいし、上述した二つの算出方法により算出された二つの移動量を組み合わせ、新たな移動量を算出してもよい。
　なお、体液状態遷移判定部２１１ａは、移動量算出部２１２が算出した動きベクトルに基づいて、体液の状態遷移を判定するようにしてもよい。
　粘膜距離算出部２１３は、生体内管腔画像内に映る粘膜までの距離を算出する。粘膜距離算出部２１３は、画像内の画素ごと、または領域ごとに色特徴量（ＲＧＢ、ＨＳＶ等）や、テクスチャ特徴量（ＬＢＰ等）を算出し、これらの特徴量と、予め設定されている判別基準とに基づいて、粘膜として判別する。長波長であるＲ成分が粘膜までの距離として考えられるため、粘膜距離算出部２１３は、Ｒ成分を用いて粘膜までの距離を算出する。なお、粘膜距離算出部２１３は、撮像装置が、生体内管腔画像が適正露出になるように調光機能を有する場合に、調光の度合いに係る情報から距離を算出することもできる。
　また、粘膜距離算出部２１３は、時系列画像間での粘膜距離の遷移を判定する粘膜距離遷移判定部２１３ａを有している。粘膜距離遷移判定部２１３ａは、時系列で互いに近い生体内管腔画像間での粘膜距離の遷移を判定する。粘膜距離算出部２１３は、算出された粘膜の距離を時系列情報としてまとめることにより、粘膜距離の状態遷移を判定する。例えば、粘膜距離算出部２１３は、粘膜距離が遠い状態から近い状態へ遷移したことや、近い状態から遠い状態へ遷移したことを判定し、判定結果を該当する生体内管腔画像に付与する。
　付着物判定部２４Ａは、移動量に基づいて形状変化を許容するように判定基準を設定する移動量パラメータ設定部２４３と、粘膜距離に基づいて明るさ・色変化を許容する判定基準を設定する粘膜距離パラメータ設定部２４４とを有する。
　移動量算出部２１２が算出した移動量が、所定値よりも大きいほど、付着した異物の外形が変化しやすいため、移動量パラメータ設定部２４３は、形状に係る特徴量を許容するように判定基準を設定する。また、移動量算出部２１２が算出した移動量が大きい場合、付着した異物の一部分が動くことがあるため、移動量パラメータ設定部２４３は、ほとんど動いていない領域があると、すべての領域を付着した異物として判定したい。このため、移動量パラメータ設定部２４３は、移動量が大きい場合、判定対象の特徴量について、全体形状特徴量よりも局所形状特徴量を優先的に利用するように設定する。
　粘膜の距離が近くから遠くへ遷移する場合、撮像する管腔内が広くなるため、撮像装置において照明光の調整を行う際には光源を明るく発光させる必要がある。粘膜距離パラメータ設定部２４４は、粘膜の距離が近くから遠くへ遷移する場合、粘膜距離が近い場合よりも画像の明るさが明るくなる変化を許容する判定基準のパラメータ設定を行う。これに対し、粘膜の距離が遠くから近くへ遷移する場合、撮像する管腔内が狭くなるため、撮像装置において照明光の調整を行う際には光源を暗く発光させる必要がある。粘膜距離パラメータ設定部２４４は、粘膜の距離が遠くから近くへ遷移する場合、粘膜距離が遠い場合よりも画像の明るさが暗くなる変化を許容する判定基準のパラメータ設定を行う。
　続いて、画像処理装置１Ａの演算部２Ａが行う付着物判定処理について、図９～図１１を参照して説明する。図９は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートである。まず、画像処理装置１Ａは、生体内管腔画像の入力があると、生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１００）。
　生体内管腔画像が記憶部３に書き込まれると、撮像シーン判定部２１Ａが、記憶部３から複数の生体内管腔画像を読み出して、これらの生体内管腔画像に基づいて撮像シーンの判定を行う（ステップＳ６００）。
　図１０は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、撮像シーン判定部２１Ａが行う撮像シーン判定処理を説明するフローチャートである。撮像シーン判定部２１Ａが行う撮像シーン判定処理では、移動量算出部２１２が、時系列で互いに近い生体内管腔画像間の移動量を算出する（ステップＳ６０１）。移動量算出部２１２は、上述した算出方法を用いて移動量を算出し、処理対象の生体内管腔画像に付与する。
　また、上述した形状についての移動量の算出処理と並行して、粘膜距離算出部２１３が、粘膜距離を算出する（ステップＳ６１１）。粘膜距離算出部２１３は、上述したように、Ｒ成分を用いて粘膜までの距離を算出する。その後、粘膜距離遷移判定部２１３ａが、時系列で互いに近い生体内管腔画像間での粘膜距離の遷移を判定する（ステップＳ６１２）。演算部２Ａは、すべての生体内管腔画像について距離算出処理が終了すると、図９のフローチャートに戻る。
　ステップＳ６００による撮像シーンの判定処理後、時系列変化特徴量算出部２２が、時系列で連続した画像間の時系列特徴量を算出する（ステップＳ３００）。時系列変化特徴量算出部２２が行う時系列特徴量算出処理は、図６に示すフローチャートにしたがって行われ、各生体内管腔画像について全体形状特徴量、局所形状特徴量又は明るさ・色変化特徴量を算出する。
　各生体内管腔画像について全体形状特徴量、局所形状特徴量及び明るさ・色変化特徴量が算出されると、色特徴量算出部２３が、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する（ステップＳ４００）。
　その後、付着物判定部２４Ａが、ステップＳ３０２において設定された領域が、付着物であるか否かの判定を行う（ステップＳ７００）。図１１は、本発明の実施の形態２に係る画像処理装置が行う付着物判定処理を示すフローチャートであって、付着物判定部２４Ａが行う付着物判定処理を説明するフローチャートである。付着物判定部２４Ａが行う付着物判定処理では、まず、付着物であるか否かの判定を行うための判定基準のパラメータ設定を行う。
　具体的には、移動量パラメータ設定部２４３が、形状に係る特徴量を許容するように判定基準のパラメータの再設定を行う（ステップ７０１）。移動量パラメータ設定部２４３は、移動量算出部２１２が算出した移動量が、予め設定されている所定値よりも大きければ、上述したように、形状に係る特徴量を許容するように判定基準を再設定する。具体的には、移動量パラメータ設定部２４３は、全体形状特徴量又は局所形状特徴量に対して、付着物であると判定する判定範囲を大きくする。また、移動量パラメータ設定部２４３は、移動量算出部２１２が算出した移動量が大きい場合、判定を行う形状特徴量として局所形状特徴量を利用するように設定する。
　形状変化の判定基準を設定後、粘膜距離パラメータ設定部２４４が、明るさ・色に係る判定基準のパラメータの再設定を行う（ステップＳ７０２）。粘膜距離パラメータ設定部２４４は、上述したように、粘膜の距離が近くから遠くへ遷移すると判定されている場合、粘膜距離が近い場合よりも画像の明るさが明るくなる変化を許容する判定基準のパラメータの再設定を行う。具体的に、粘膜距離パラメータ設定部２４４は、明るさ・色変化特徴量に対して、付着物であると判定する判定範囲であって、輝度の差の範囲である判定範囲を大きくする。これに対し、粘膜距離パラメータ設定部２４４は、粘膜の距離が遠くから近くへ遷移すると判定されている場合、上述したように、粘膜距離が遠い場合よりも画像の明るさが暗くなる変化を許容する判定基準のパラメータ設定を行う。具体的に、粘膜距離パラメータ設定部２４４は、明るさ・色変化特徴量に対して、判定範囲を小さくする設定を行う。なお、上述したステップＳ７０１及びＳ７０２は、ステップＳ７０２を先に行ってもよいし、同時に行ってもよいし、算出された特徴量に対応する判定基準の再設定のみを行うのでもよい。
　形状及び／又は明るさ・色に係る判定基準が設定されると、付着物判定部２４Ａが、ステップＳ３００で算出された形状に係る特徴量、及び／又は明るさ・色に係る特徴量と、ステップＳ７０１及びＳ７０２で設定された判定基準とに基づいて、設定された領域における像が付着物であるか否かを判定する（ステップＳ７０３）。付着物判定部２４Ａは、例えば、移動量算出部２１２が算出した移動量が所定値よりも大きい場合、局所形状特徴量算出部２２２ｂが算出した局所形状特徴量と、形状にかかる判定基準とを比較して、局所形状特徴量が判定基準内であれば、時系列で隣接する生体内管腔画像間で領域の動きが小さく、設定された領域が付着物であると判定する。一方で、付着物判定部２４は、局所形状特徴量が判定基準よりも大きければ、時系列で隣接する生体内管腔画像間で領域の動きが大きいため、設定された領域は付着物ではないと判定する。
　上述した付着物判定処理により、撮像装置の移動距離や、粘膜距離、粘膜距離の遷移状態に応じて、付着物判定の判定基準を変更することによって、形状の変化や、明るさ・色の変化による付着物の判定処理を、一層正確に行うことができる。
　以上説明した本発明の実施の形態２によれば、付着物判定部２４が、撮像シーン判定部２１Ａの判定結果である撮像装置の移動距離や、粘膜距離、粘膜距離の遷移状態に応じて、付着物判定の判定基準や、判定対象の特徴量を変更することによって、生体内管腔画像において設定された領域が付着物であるか否かを判定するようにしたので、生体内管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定することができる。
（実施の形態３）
　図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１Ｂは、演算部２Ｂと、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
　演算部２Ｂは、撮像シーン判定部２１と、時系列変化特徴量算出部２２と、色特徴量算出部２３と、付着物判定部２４と、付着物決定部２５とを有する。
　付着物決定部２５は、付着した異物に基づいて、付着物として判定された領域を拡張、統合又は分割し、付着物の領域の決定を行う。
　続いて、画像処理装置１Ｂの演算部２Ｂが行う付着物判定処理について、図１３を参照して説明する。図１３は、本発明の実施の形態３に係る画像処理装置が行う付着物判定処理を示すフローチャートである。まず、画像処理装置１は、生体内管腔画像の入力があると、生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１００）。
　生体内管腔画像が記憶部３に書き込まれると、撮像シーン判定部２１が、記憶部３から複数の生体内管腔画像を読み出して、これらの生体内管腔画像に基づいて撮像シーンの判定を行う（ステップＳ２００）。
　ステップＳ２００による撮像シーンの判定処理後、時系列変化特徴量算出部２２が、時系列で連続した画像間の時系列特徴量を算出する（ステップＳ３００）。時系列変化特徴量算出部２２が行う時系列特徴量算出処理は、図６に示すフローチャートにしたがって行われ、各生体内管腔画像について全体形状特徴量、局所形状特徴量又は明るさ・色変化特徴量を算出する。
　各生体内管腔画像について全体形状特徴量、局所形状特徴量及び／又は明るさ・色変化特徴量が算出されると、色特徴量算出部２３が、各生体内管腔画像から色に関する特徴量を、色特徴量として算出する（ステップＳ４００）。
　その後、付着物判定部２４が、ステップＳ３０２において設定された領域が、付着物であるか否かの判定を行う（ステップＳ５００）。付着物判定部２４が行う付着物判定処理は、図７に示すフローチャートにしたがって行われ、設定された領域が付着物であるか否かの判定を行う。
　その後、付着物決定部２５が、ステップＳ５００において付着物と判定された領域をもとに、付着物の領域の決定を行う（ステップＳ８００）。付着物決定部２５は、付着物と判定された複数の領域のうち、所定値以内の画素値を有する領域が存在する場合、同一の異物として統合することにより、異物領域を決定する。また、付着物決定部２５は、付着物と判定された領域の重心を中心とし、任意距離だけ離れた画素まで領域を拡張することにより付着物の領域を変更する。また、付着物決定部２５は、付着物として判定された領域の外縁から任意距離だけ離れた画素まで拡張することにより、付着物の領域を変更する。また、付着物決定部２５は、類似した特徴量を有し、且つ空間的に近接した画素を統合することにより、付着物の領域を決定する。
　以上説明した本発明の実施の形態３によれば、付着物決定部２５が、付着物判定部２４が付着物であると判定した領域に対して、拡張、統合又は分割することにより、付着物としての領域を決定するようにしたので、生体内管腔画像中に写り込んでいる像が、付着物であるか否かを一段と高精度に判定することができる。
（その他の実施の形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～３によってのみ限定されるべきものではない。例えば、実施の形態１に係る体液パラメータ設定部２４１により設定された形状変化の判定基準と、実施の形態２に係る粘膜距離パラメータ設定部２４４が設定した明るさ・色に係る判定基準とを組み合わせて付着物の判定を行ってもよいし、形状変化特徴量及び明るさ・色変化特徴量のうちのいずれか一つを用いて付着物の判定を行ってもよいし、すべての設定部を用いて付着物の判定を行ってもよい。このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。
　また、上述した実施の形態１～３では、時系列変化特徴量算出部２２が、撮像シーンに応じて、付着物の判定に用いる形状特徴量を、全体形状特徴量及び局所形状特徴量から選択し、付着物判定部２４，２４Ａが、撮像シーンに応じて付着物の判定に用いる判定基準のパラメータ設定を行うものとして説明したが、時系列変化特徴量算出部２２及び付着物判定部２４，２４Ａの少なくとも一方が、撮像シーンに基づいて処理を行うものであればよい。例えば、時系列変化特徴量算出部２２が、撮像シーンに応じて、付着物の判定に用いる形状特徴量を、全体形状特徴量及び局所形状特徴量から選択し、付着物判定部２４２４Ａが、予め設定されている判定基準を用いて付着物の判定を行うものであってもよいし、時系列変化特徴量算出部２２が、全体形状特徴量及び局所形状特徴量のいずれかを算出して、付着物判定部２４，２４Ａが、撮像シーンに応じて付着物の判定に用いる判定基準のパラメータ設定を行うものであってもよい。
　また、上述した実施の形態１～３では、付着物判定部２４，２４Ａが、撮像シーンに応じて全体形状特徴量及び局所形状特徴量のいずれか一方を利用するものとして説明したが、全体形状特徴量及び局所形状特徴量を利用して、付着物の判定を行うものであってもよい。例えば、付着物判定部２４，２４Ａが、撮像シーンに応じて全体形状特徴量及び局所形状特徴量に対して重み付けを行うことにより、各形状特徴量によって判定された結果をもとに総合的に判定するものであってもよい。
　以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムは、管腔画像中に写り込んでいる像が、付着物であるか否かを高精度に判定するのに有用である。
　１，１Ａ，１Ｂ　画像処理装置
　２，２Ａ，２Ｂ　演算部
　３　記憶部
　２１，２１Ａ　撮像シーン判定部
　２２　時系列変化特徴量算出部
　２３　色特徴量算出部
　２４，２４Ａ　付着物判定部
　２５　付着物決定部
　２１１　体液状態判定部
　２１１ａ　体液状態遷移判定部
　２１２　移動量算出部
　２１３　粘膜距離算出部
　２１３ａ　粘膜距離遷移判定部
　２２１　領域設定部
　２２１ａ　体液状態領域設定部
　２２１ｂ　状態遷移領域設定部
　２２２　形状変化特徴量算出部
　２２２ａ　全体形状特徴量算出部
　２２２ｂ　局所形状特徴量算出部
　２２３　明るさ・色変化特徴量算出部
　２４１　体液パラメータ設定部
　２４２　状態遷移パラメータ設定部
　２４２ａ　明るさ・色変化判定基準設定部
　２４３　移動量パラメータ設定部
　２４４　粘膜距離パラメータ設定部

Claims (23)

  1. 　生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定部と、
    　時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出部と、
    　前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定部と、
    　を備え、
    　前記時系列変化特徴量算出部及び前記付着物判定部の少なくとも一方が、前記撮像シーンに基づいて処理を行う
    　ことを特徴とする画像処理装置。
  2. 　前記生体内管腔画像の色に関する特徴量である色特徴量を算出する色特徴量算出部
    　をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記領域は複数の画素を含み、
    　前記時系列変化特徴量算出部は、
    　前記領域の設定を行う領域設定部と、
    　前記領域設定部が設定した前記領域であって、時系列で互いに近い生体内管腔画像間における前記領域の変化に関する形状変化特徴量を算出する形状変化特徴量算出部と、
    　を有することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記撮像シーン判定部は、
    　前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部、
    　を有し、
    　前記領域設定部は、
    　前記体液状態判定部の判定結果に基づいて、前記領域の設定を行う体液状態領域設定部
    　を有することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記体液状態領域設定部は、前記体液状態判定部が前記体液の像を含んでいると判定した場合に、前記領域設定部が設定した領域の内部において領域を再設定する
    　ことを特徴とする請求項４に記載の画像処理装置。
  6. 　前記撮像シーン判定部は、
    　前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部と、
    　時系列で互いに近い前記生体内管腔画像間の前記体液状態判定部の判定結果に基づいて、体液の像の遷移を判定する体液状態遷移判定部と、
    　前記体液状態遷移判定部が判定した体液の像の遷移状態に基づいて、前記領域設定部が設定した領域を再設定する状態遷移領域設定部と、
    　を有することを特徴とする請求項３に記載の画像処理装置。
  7. 　前記状態遷移領域設定部は、前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合、又は、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記領域設定部が設定した領域の内部において領域を再設定する
    　ことを特徴とする請求項６に記載の画像処理装置。
  8. 　前記撮像シーン判定部は、
    　前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部、
    　を有し、
    　前記付着物判定部は、
    　前記体液状態判定部の判定結果に基づいて、前記形状変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する体液状態パラメータ設定部、
    　を有することを特徴とする請求項３に記載の画像処理装置。
  9. 　前記体液状態パラメータ設定部は、前記体液状態判定部が、体液の像を含むと判定した場合に、前記形状変化特徴量に関する前記判定パラメータの範囲を大きくする設定を行う
    　ことを特徴とする請求項８に記載の画像処理装置。
  10. 　前記形状変化特徴量算出部は、
    　時系列で互いに近い前記生体内管腔画像における前記領域の全体の形状変化特徴量を算出する全体形状特徴量算出部と、
    　時系列で互いに近い前記生体内管腔画像における前記領域の一部における形状変化特徴量を算出する局所形状特徴量算出部と、
    　を有し、
    　前記体液状態判定部が、体液の像を含むと判定した場合に、前記体液状態パラメータ設定部は、前記局所形状特徴量に関する判定パラメータの範囲を大きくする設定を行い、前記付着物判定部は、前記局所形状特徴量を用いて前記付着物の判定を行う
    　ことを特徴とする請求項８に記載の画像処理装置。
  11. 　前記撮像シーン判定部は、
    　前記生体内管腔画像が体液の像を含んでいるか否かを判定する体液状態判定部と、
    　時系列で互いに近い前記生体内管腔画像間の前記体液状態判定部の判定結果に基づいて、体液の像の遷移を判定する体液状態遷移判定部と、
    　を有し、
    　前記時系列変化特徴量算出部は、
    　時系列で互いに近い前記生体内管腔画像の間の明るさ又は色の変化を明るさ・色変化特徴量として算出する明るさ・色変化特徴量算出部、
    　を有し、
    　前記付着物判定部は、
    　前記体液状態遷移判定部の判定結果に基づいて、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する状態遷移パラメータ設定部、
    　を有することを特徴とする請求項１に記載の画像処理装置。
  12. 　前記状態遷移パラメータ設定部は、
    　前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合、又は、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する明るさ・色変化判定基準設定部、
    　を有することを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記明るさ・色変化判定基準設定部は、前記体液状態遷移判定部が、体液の像を含む状態から前記体液の像を含まない状態に遷移したと判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、暗くなる側の前記明るさの変化の範囲を大きくする、又は、色変化に係る前記判定パラメータの範囲において、赤色における色変化の範囲を大きくする設定を行う
    　ことを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記明るさ・色変化判定基準設定部は、前記体液状態遷移判定部が、体液の像を含まない状態から前記体液の像を含む状態に遷移したと判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、明るくなる側の前記明るさの変化の範囲を大きくする、又は、色変化に係る前記判定パラメータの範囲において、黄色における色変化の範囲を大きくする設定を行う
    　ことを特徴とする請求項１２に記載の画像処理装置。
  15. 　前記撮像シーン判定部は、
    　前記撮像装置の移動量を算出する移動量算出部、
    　を有し、
    　前記付着物判定部は、前記移動量算出部が算出した移動量に基づいて、前記形状変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する移動量パラメータ設定部、
    　を有することを特徴とする請求項３に記載の画像処理装置。
  16. 　前記移動量パラメータ設定部は、前記移動量算出部が算出した移動量が、所定の移動量よりも大きい場合に、前記形状変化特徴量に関する前記判定パラメータの範囲を大きくする設定を行う
    　ことを特徴とする請求項１５に記載の画像処理装置。
  17. 　前記形状変化特徴量算出部は、
    　時系列で互いに近い前記生体内管腔画像における前記領域の全体の形状変化特徴量を算出する全体形状特徴量算出部と、
    　時系列で互いに近い前記生体内管腔画像における前記領域の一部における形状変化特徴量を算出する局所形状特徴量算出部と、
    　を有し、
    　前記体液状態判定部が、体液の像を含むと判定した場合に、前記移動量パラメータ設定部が、前記局所形状特徴量に関する判定パラメータの範囲を大きくする設定を行い、前記付着物判定部が、前記局所形状特徴量を用いて前記付着物の判定を行う
    　ことを特徴とする請求項１５に記載の画像処理装置。
  18. 　前記撮像シーン判定部は、
    　前記生体内管腔画像をもとに、粘膜から前記撮像装置までの距離を算出する粘膜距離算出部、
    　を有し、
    　前記時系列変化特徴量算出部は、
    　時系列で互いに近い前記生体内管腔画像の間の明るさ又は色の変化を明るさ・色変化特徴量として算出する明るさ・色変化特徴量算出部、
    　を有し、
    　前記付着物判定部は、
    　前記粘膜距離算出部が算出した距離に基づいて、前記明るさ・色変化特徴量に関する判定パラメータであって、当該付着物判定部が前記付着物であると判定する判定パラメータの範囲を設定する粘膜距離パラメータ設定部、
    　を有することを特徴とする請求項１に記載の画像処理装置。
  19. 　前記粘膜距離算出部は、時系列で互いに近い前記生体内管腔画像の間の粘膜距離の遷移を判定する粘膜距離遷移判定部、
    　を有し、
    　前記粘膜距離パラメータ設定部は、前記粘膜距離遷移判定部が、前記距離が大きくなる遷移であると判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、暗くなる側の前記明るさの変化の範囲を大きくする設定を行う
    　ことを特徴とする請求項１８に記載の画像処理装置。
  20. 　前記粘膜距離算出部は、時系列で互いに近い前記生体内管腔画像の間の粘膜距離の遷移を判定する粘膜距離遷移判定部、
    　を有し、
    　前記粘膜距離パラメータ設定部は、前記粘膜距離遷移判定部の判定結果が、前記距離が小さくなる遷移であると判定した場合に、前記判定パラメータの範囲のうち、明るさの変化に係る前記判定パラメータの範囲において、明るくなる側の前記明るさの変化の範囲を大きくする設定を行う
    　ことを特徴とする請求項１８に記載の画像処理装置。
  21. 　前記付着物判定部により前記付着物と判定された一つ又は複数の領域に対し、拡張、統合及び分割のいずれかの処理を施すことにより、前記付着物の領域を決定する付着物領域決定部、
    　をさらに有することを特徴とする請求項１に記載の画像処理装置。
  22. 　撮像シーン判定部が、生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定ステップと、
    　時系列変化特徴量算出部が、時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出ステップと、
    　付着物判定部が、前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定ステップと、
    　を含み、
    　前記時系列変化特徴量算出ステップ及び前記付着物判定ステップの少なくとも一方が、前記撮像シーンに基づいて処理を行う
    　ことを特徴とする画像処理装置の作動方法。
  23. 　画像処理装置に実行させる画像処理装置の作動プログラムであって、
    　生体内に導入される撮像装置が撮像した複数の生体内管腔画像の撮像シーンを判定する撮像シーン判定手順と、
    　時系列で互いに近い前記生体内管腔画像間の変化を時系列特徴量として算出する時系列変化特徴量算出手順と、
    　前記生体内管腔画像において画素値に基づき設定した領域が、前記撮像装置に付着した付着物であるか否かを判定する付着物判定手順と、
    　を含み、
    　前記時系列変化特徴量算出手順及び前記付着物判定手順の少なくとも一方が、前記撮像シーンに基づいて処理を行う
    　ことを特徴とする画像処理装置の作動プログラム。
PCT/JP2016/062836 2016-04-22 2016-04-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム WO2017183201A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/062836 WO2017183201A1 (ja) 2016-04-22 2016-04-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2018512757A JPWO2017183201A1 (ja) 2016-04-22 2016-04-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062836 WO2017183201A1 (ja) 2016-04-22 2016-04-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Publications (1)

Publication Number Publication Date
WO2017183201A1 true WO2017183201A1 (ja) 2017-10-26

Family

ID=60115842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062836 WO2017183201A1 (ja) 2016-04-22 2016-04-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Country Status (2)

Country Link
JP (1) JPWO2017183201A1 (ja)
WO (1) WO2017183201A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969042A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 固体撮像素子を内蔵した内視鏡装置
JPH0698854A (ja) * 1992-09-22 1994-04-12 Olympus Optical Co Ltd 内視鏡装置
JP2006280425A (ja) * 2005-03-31 2006-10-19 Fujinon Corp 内視鏡装置
JP2008220709A (ja) * 2007-03-14 2008-09-25 Fujinon Corp 内視鏡装置
JP2011036582A (ja) * 2009-08-18 2011-02-24 Hoya Corp 汚れ検知方法、及び医療用観察システム
JP2013183313A (ja) * 2012-03-02 2013-09-12 Panasonic Corp レンズ汚れを検知する方法と、この方法を用いた手術用カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969042A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 固体撮像素子を内蔵した内視鏡装置
JPH0698854A (ja) * 1992-09-22 1994-04-12 Olympus Optical Co Ltd 内視鏡装置
JP2006280425A (ja) * 2005-03-31 2006-10-19 Fujinon Corp 内視鏡装置
JP2008220709A (ja) * 2007-03-14 2008-09-25 Fujinon Corp 内視鏡装置
JP2011036582A (ja) * 2009-08-18 2011-02-24 Hoya Corp 汚れ検知方法、及び医療用観察システム
JP2013183313A (ja) * 2012-03-02 2013-09-12 Panasonic Corp レンズ汚れを検知する方法と、この方法を用いた手術用カメラ

Also Published As

Publication number Publication date
JPWO2017183201A1 (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
US11589777B2 (en) Electronic endoscope processor and electronic endoscopic system
CN110325100B (zh) 内窥镜系统及其操作方法
WO2018105063A1 (ja) 画像処理装置
JP4629143B2 (ja) インビボで内容物を検出するシステム
WO2016136700A1 (ja) 画像処理装置
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
WO2002073507A2 (en) Method and system for detecting colorimetric abnormalities
JPWO2012114600A1 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
JP6774552B2 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
US11503982B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame
JP6150554B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
US9323978B2 (en) Image processing device, endoscope apparatus, and image processing method
JP2014232470A (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
WO2017183201A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
WO2015049936A1 (ja) 器官画像撮影装置
JP2019136241A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2015068494A1 (ja) 器官画像撮影装置
JP2015226599A (ja) 生体色度計測装置
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
WO2015156039A1 (ja) 器官画像撮影装置
WO2024009631A1 (ja) 画像処理装置及び画像処理装置の作動方法
JP7076535B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018512757

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899473

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16899473

Country of ref document: EP

Kind code of ref document: A1