WO2017221353A1 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2017221353A1
WO2017221353A1 PCT/JP2016/068540 JP2016068540W WO2017221353A1 WO 2017221353 A1 WO2017221353 A1 WO 2017221353A1 JP 2016068540 W JP2016068540 W JP 2016068540W WO 2017221353 A1 WO2017221353 A1 WO 2017221353A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
enhancement
images
processing apparatus
Prior art date
Application number
PCT/JP2016/068540
Other languages
English (en)
French (fr)
Inventor
昌士 弘田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/068540 priority Critical patent/WO2017221353A1/ja
Priority to JP2018523214A priority patent/JP6894894B2/ja
Publication of WO2017221353A1 publication Critical patent/WO2017221353A1/ja
Priority to US16/218,831 priority patent/US10891743B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to, for example, an image processing apparatus that performs image processing on an image captured by an endoscope, an operation method of the image processing apparatus, and an operation program of the image processing apparatus.
  • White light or narrow-band light is used as illumination light that illuminates the living body with an endoscope. Since narrow-band light has different absorption and scattering characteristics depending on the wavelength band, the characteristics of the subject corresponding to the wavelength band can be extracted by appropriately selecting the narrow-band light to be used. Conventionally, a process for enhancing specific information based on a plurality of images using such a difference in absorption / scattering characteristics has been proposed.
  • Patent Document 1 discloses a technique that uses two images having different light absorption characteristics of hemoglobin and emphasizes a change in absorbance in one image.
  • Patent Document 1 calculates from images captured before and after the image to be enhanced. Each of the images to be emphasized is emphasized using the amount of enhancement to be performed. At this time, the enhancement amount by the image captured before the enhancement target image and the enhancement amount by the image captured after the enhancement target image differ depending on the change in the image, and the same enhancement target image is obtained. In some cases, an emphasized image emphasized with a different enhancement amount may be obtained. As a result, the enhanced image enhanced with different enhancement amounts for the same image is displayed as a moving image, and blurring has occurred in the continuously displayed enhanced images. Thus, in patent document 1, the emphasis process according to the acquired image was not performed and there existed a possibility of inhibiting observation.
  • the present invention has been made in view of the above, and is an image processing device capable of generating an appropriate enhanced image according to an acquired image, an operation method of the image processing device, and an operation program of the image processing device.
  • the purpose is to provide.
  • an image processing apparatus uses a plurality of images that are different from each other and at least one imaged at a time different from the others, to specify a specific image.
  • an image acquisition unit that acquires the plurality of images
  • a state information calculation unit that calculates information indicating the state of at least one image used for enhancement among the plurality of images
  • an enhanced image creating unit that creates an enhanced image by performing enhancement processing on the image to be enhanced based on the information indicating the state and the plurality of images.
  • the operation method of the image processing apparatus uses a plurality of images that are different from each other and at least one is captured at a time different from the others.
  • An operation method of an image processing apparatus that performs enhancement processing on a specific image, wherein an image acquisition unit acquires an image of the plurality of images, and a state information calculation unit performs enhancement of the plurality of images.
  • a state information calculating step for calculating information indicating a state of at least one image to be used; and an emphasized image creating unit performing an enhancement process on the image to be emphasized based on the information indicating the state and the plurality of images.
  • an enhanced image creating step of creating an enhanced image by applying is a plurality of images that are different from each other and at least one is captured at a time different from the others.
  • the operation program of the image processing apparatus uses a plurality of images that are of different types and at least one imaged at a time different from the others.
  • An operation program for an image processing apparatus that performs enhancement processing on a specific image, wherein an image acquisition unit acquires the plurality of images, and a state information calculation unit performs enhancement among the plurality of images.
  • a state information calculation procedure for calculating information indicating a state of at least one image to be used, and an emphasized image creation unit performs an enhancement process on an image to be emphasized based on the information indicating the state and the plurality of images. It is characterized by causing a computer to execute an enhanced image creation procedure for creating an enhanced image by applying.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing a process for creating an emphasized image according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an image acquired in the image processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram illustrating an image acquired in the image processing performed by the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of the image processing apparatus according to the second modification of the first embodiment of the present invention.
  • FIG. 7 is a flowchart showing a creation process of an emphasized image in the second modification of the first embodiment of the present invention.
  • FIG. 8 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart illustrating image processing performed by the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a flowchart showing a state information calculation process according to Embodiment 2 of the present invention.
  • FIG. 11 is a flowchart showing a process for creating an emphasized image according to the second embodiment of the present invention.
  • FIG. 12 is a flowchart showing a state information calculation process in the first modification of the second embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a functional configuration of an image processing apparatus according to Modification 2 of Embodiment 2 of the present invention.
  • FIG. 14 is a flowchart showing a state information calculation process in the second modification of the second embodiment of the present invention.
  • FIG. 15 is a block diagram showing a functional configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 16 is a flowchart illustrating image processing performed by the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 17 is a flowchart showing a state information calculation process according to Embodiment 3 of the present invention.
  • FIG. 18 is a block diagram showing a functional configuration of an image processing apparatus according to a modification of the third embodiment of the present invention.
  • FIG. 19 is a flowchart showing a state information calculation process in the modification of the third embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to the first embodiment extracts an absorption change that is difficult to appear in a white image based on a plurality of images acquired by an endoscope, and the extracted absorption change is one or more images.
  • an endoscopic image including a narrow band image and a white image acquired by imaging the inside of a living body lumen with a general endoscope called a video scope or a capsule endoscope is processed. set to target.
  • the image processing apparatus 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, an image acquisition unit 20 that acquires image data of an endoscopic image, and an external operation.
  • An input unit 30 that generates an input signal, a display unit 40 that performs various displays, a storage unit 50 that stores image data and various programs acquired by the image acquisition unit 20, and predetermined image processing for the image data
  • an arithmetic unit 100 that executes
  • the control unit 10 includes a general-purpose processor such as a CPU (Central Processing Unit) and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • a general-purpose processor such as a CPU (Central Processing Unit) and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the various operations stored in the storage unit 50 are read to give instructions to each unit constituting the image processing apparatus 1 and data transfer, thereby supervising the overall operation of the image processing apparatus 1. And control.
  • the control unit 10 is a dedicated processor, the processor may execute various processes independently, or the processor and the storage unit 50 cooperate with each other by using various data stored in the storage unit 50 or the like. Various processes may be executed by combining them.
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the endoscope.
  • the image acquisition unit 20 when the video scope is connected to the image processing apparatus 1 of a general endoscope system that is inserted into the body, the image acquisition unit 20 is configured by an interface that captures image data generated in the endoscope system.
  • the image acquisition unit 20 when installing a server that stores image data generated in the endoscope system, the image acquisition unit 20 includes a communication device connected to the server, and performs image communication with the server to perform image communication. Get the data.
  • image data may be exchanged with the capsule endoscope using a portable storage medium.
  • the image acquisition unit 20 is configured by a reader device that detachably mounts a portable storage medium and reads out image data of the stored image.
  • the input unit 30 includes input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs input signals generated in response to external operations on these input devices to the control unit 10.
  • input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs input signals generated in response to external operations on these input devices to the control unit 10.
  • the display unit 40 is configured by a display device such as an LCD (Liquid Crystal Display) or an EL (ElectroLuminescence) display, and displays various screens including an endoscopic image under the control of the control unit 10.
  • a display device such as an LCD (Liquid Crystal Display) or an EL (ElectroLuminescence) display, and displays various screens including an endoscopic image under the control of the control unit 10.
  • the storage unit 50 includes various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, an information storage device such as a built-in hard disk or a CD-ROM connected via a data communication terminal, and information writing to the information storage device It is constituted by a reading device or the like.
  • the storage unit 50 operates the image processing device 1 and causes the image processing device 1 to execute various functions. Stores data used during execution.
  • the storage unit 50 creates an enhanced image by emphasizing one or a plurality of narrowband images based on a plurality of narrowband images acquired by an endoscope and having different wavelength component distributions.
  • a program storage unit 51 that stores an operation program of the image processing apparatus 2 that causes the image processing apparatus 1 to execute processing.
  • the calculation unit 100 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • image processing is executed by reading an image processing program stored in the program storage unit 51.
  • the processor may execute various processes independently, or the processor and the storage unit 50 cooperate with each other by using various data stored in the storage unit 50 or the like. Image processing may be executed by combining them.
  • the calculation unit 100 emphasizes a narrowband image based on the state information calculation unit 110 that calculates image state information from a plurality of narrowband images acquired by the image acquisition unit 20.
  • An enhanced image creation unit 120 for creating an enhanced image.
  • processing when a plurality of narrowband images having different center wavelengths are acquired will be described.
  • the first embodiment will be described on the assumption that a narrowband image is acquired by sequentially irradiating four narrowband lights having center wavelengths of 415 nm, 460 nm, 540 nm, and 630 nm.
  • a description will be given assuming that a plurality of narrowband images obtained by narrowband light having different center wavelengths and having different types of narrowband light are acquired.
  • narrow-band image lambda X image captured by the narrowband light centered wavelength X nm.
  • all four narrowband image is utilized for emphasis, lambda 415 image, synthesized by lambda 540 image information extracted on the basis of the lambda 460 images and lambda 630 images in lambda 540 image Emphasize.
  • Narrow band light in the vicinity of 415 nm is easily absorbed by hemoglobin and is easily scattered by the mucous membrane in the lumen.
  • narrowband light near 630 nm is not easily absorbed by hemoglobin and is not easily scattered by the mucous membrane, and thus has a characteristic that it can easily reach the interior of the lumen.
  • image information such as microvessels in the submucosal surface layer and regional absorbance changes caused by vascular augmentation can be extracted from the narrowband image as absorbance information.
  • the state information calculation unit 110 performs processing for calculating state information representing the state of a narrowband image used for enhancement. Specifically, it is determined whether or not the ⁇ 540 image that is the narrowband image to be emphasized is a narrowband image in the latest frame, and the determination result is used as state information.
  • the newly acquired narrowband image is stored in the storage unit 50, for example. At this time, if a past narrowband image is stored for the same narrowband image, the narrowband image acquired this time is updated as the latest narrowband image.
  • the state of the narrowband image here refers to an updated state as to whether or not a preset narrowband image is updated with the latest narrowband image.
  • the state information calculation unit 110 includes a time series information calculation unit 111 that calculates information representing a time series state of the narrowband image.
  • the time-series information calculation unit 111 includes an update determination unit 111a that determines an update state of a narrowband image used for enhancement.
  • the time series state means whether or not the narrowband image acquired in time series is updated, and means a state that changes in time series.
  • the update determination unit 111a determines whether or not the ⁇ 540 image that is the narrowband image to be emphasized is a narrowband image in the latest frame. In the following description, the update determination unit 111a is described as determining whether or not the target narrowband image is newly acquired and updated as the latest narrowband image.
  • the emphasized image creation unit 120 Based on the state information calculated by the state information calculation unit 110, the emphasized image creation unit 120 synthesizes information extracted based on the ⁇ 415 image, the ⁇ 460 image, and the ⁇ 630 image into a ⁇ 540 image. Emphasize processing is performed on 540 images.
  • the enhancement amount is, for example, the difference between the ⁇ 460 image and the ⁇ 415 image, the average value of the difference between the ⁇ 630 image and the ⁇ 415 image, or the larger or smaller value of the two differences. is there.
  • the emphasis method is not limited to this processing, and other methods may be used as long as a specific image is emphasized based on a plurality of images. In addition to this, processing that emphasizes an object to be emphasized, such as reducing contrast other than the emphasized portion, may be performed. Further, when it is determined that the ⁇ 540 image has not been updated, the enhanced image creation unit 120 acquires the ⁇ 540 image that is the previously created enhanced image, and uses this ⁇ 540 image as the enhanced image in the latest frame. To do.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus 1.
  • the image acquisition unit 20 acquires a plurality of images having different center wavelengths. Specifically, the image acquisition unit 20 has four narrow-band images captured by four narrow-band lights having center wavelengths of 415 nm, 460 nm, 540 nm, and 630 nm, respectively, ⁇ 415 images, ⁇ 460 images, and ⁇ 540. Images and ⁇ 630 images are acquired sequentially.
  • a method for acquiring a narrow band image by an endoscope there is a method using an LED that emits light having a plurality of narrow band wavelength peaks.
  • LEDs Light Emitting Diodes
  • four LEDs that emit four narrow-band lights each having a center wavelength of 415 nm, 460 nm, 540 nm, and 630 nm are provided, and these LEDs are sequentially emitted to irradiate the inside of the living body.
  • the reflected light from the light is acquired for each narrow-band light by a color image sensor.
  • the actual center wavelength of the narrowband light when acquiring these narrowband images may be a value in the vicinity of the above-described values of 415 nm, 460 nm, 540 nm, and 630 nm.
  • the state information calculation unit 110 calculates state information regarding the ⁇ 540 image. Specifically, the update determination unit 111a determines whether the ⁇ 540 image is a narrowband image in the latest frame. The time series information calculation unit 111 calculates time series information of ⁇ 540 images based on the determination result by the update determination unit 111a. The state information calculation unit 110 outputs the time series information of the ⁇ 540 image calculated by the time series information calculation unit 111 to the emphasized image creation unit 120 as state information.
  • FIG. 3 is a flowchart showing a process for creating an emphasized image according to the first embodiment of the present invention.
  • step S121 the emphasized image creation unit 120 determines whether the ⁇ 540 image that is the narrowband image to be emphasized is a frame that has been updated with the latest frame based on the state information calculated by the state information calculation unit 110. Judging.
  • the enhanced image creating unit 120 performs enhancement processing on the ⁇ 540 image (step S122). As described above, the enhanced image creating unit 120 combines the enhanced amount based on the differences between the ⁇ 415 image and the ⁇ 415 image with respect to the ⁇ 460 image and the ⁇ 630 image into the ⁇ 540 image. The enhanced image creation unit 120 sets the combined ⁇ 540 image as the enhanced image. Thereafter, the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • the emphasized image creation unit 120 acquires the ⁇ 540 image that is the previously created enhanced image.
  • the acquired ⁇ 540 image is set as an enhanced image in the latest frame (step S123).
  • FIG. 4 is a diagram illustrating an image acquired in the image processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • the image acquisition unit 20 sequentially acquires four narrowband images respectively captured by the four narrowband lights having the center wavelengths of 415 nm, 460 nm, 540 nm, and 630 nm. As shown in FIG.
  • narrowband light is emitted in the order of 540 nm, 415 nm, 460 nm, and 630 nm, and ⁇ 540 image, ⁇ 415 image, ⁇ 460 image, and ⁇ 630 image corresponding to the narrow band light are sequentially acquired.
  • the frame F 540 _1 acquisition is lambda 540 image at time t 1
  • the acquired frame F 415 _1 is lambda 415 image at time t 2
  • the frame F 460 is a lambda 460 image at time t 3 _ 1 is acquired
  • a frame F 630 _ 1 that is a ⁇ 630 image is acquired at time t 4 .
  • the frame F 540 _ 2 of the ⁇ 540 image is acquired again at time t 5 , and the acquisition of each frame of the ⁇ 540 image, the ⁇ 415 image, the ⁇ 460 image, and the ⁇ 630 image is repeated in the order described above.
  • the update determination unit 111a determines that the ⁇ 540 image that is the narrowband image to be emphasized is the narrowband image in the latest frame at times t 1 and t 5 .
  • the enhanced image creation unit 120 executes enhancement processing on the ⁇ 540 image at times t 1 and t 5 .
  • the update determination unit 111a determines that the ⁇ 540 image, which is the narrowband image to be emphasized, is not the narrowband image in the latest frame from time t 2 to t 4 .
  • the emphasized image creation unit 120 sets the ⁇ 540 image that has been subjected to the previous enhancement process as the emphasized image during the time t 2 to t 4 .
  • the emphasized image creation unit 120 sets the ⁇ 540 image subjected to the enhancement processing at time t 1 as the emphasized image from time t 2 to t 4 .
  • the enhanced image creating unit 120 performs the enhancement process on the ⁇ 540 image according to the update status of the ⁇ 540 image that is the narrowband image to be enhanced.
  • An appropriate enhanced image can be generated according to the acquired image.
  • the enhanced image creating unit 120 performs enhancement processing on the ⁇ 540 image according to the update status of the ⁇ 540 image that is the narrowband image to be enhanced, or the previous enhancement. Since any one of the processed ⁇ 540 images is used as the current emphasized image, blurring of the emphasized image when the enhancement process is performed on the image displayed along the time series is suppressed. be able to.
  • the wavelength band, irradiation order, and imaging means of the light to be irradiated are not limited to the above-described first embodiment, and an image that is not used for enhancement may be captured.
  • simultaneous emission of each narrowband light centered at 415 nm, 540 nm, and 630 nm and simultaneous emission of each narrowband light centered at 460 nm, 540 nm, and 600 nm are alternately repeated with a Bayer sensor, a three-plate sensor, or the like.
  • a captured narrowband image may be acquired.
  • the light source used is not limited, and an LED, a xenon light source, a laser light source, or the like can be used.
  • a narrowband filter is disposed in front of a white light source such as a xenon lamp, and the living body is sequentially irradiated with light narrowed by the narrowband filter
  • a white light source such as a xenon lamp
  • Another example is a method of sequentially driving a plurality of laser diodes that respectively emit narrowband light having different center wavelengths.
  • the narrow band image may be acquired by irradiating the inside of the living body with white light and causing the reflected light from the living body to enter the imaging element through the narrow band filter.
  • FIG. 5 is a diagram illustrating an image acquired in the image processing performed by the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • four narrowband lights centered at 415 nm, 460 nm, 540 nm, and 630 nm are sequentially emitted to obtain a ⁇ 415 image, a ⁇ 460 image, a ⁇ 540 image, and a ⁇ 630 image.
  • four narrowband lights centered at 415 nm, 460 nm, 540 nm, and 630 nm are sequentially emitted to obtain a ⁇ 415 image, a ⁇ 460 image, a ⁇ 540 image, and a ⁇ 630 image.
  • each narrowband light having a center wavelength of 415 nm, 540 nm, and 600 nm and the simultaneous emission of each narrowband light having a center wavelength of 460 nm and 630 nm are alternately emitted. Acquire a narrowband image.
  • the observation light including a plurality of narrowband lights having respective center wavelengths is dispersed using a spectral member such as a prism, and a narrowband image corresponding to each narrowband light is acquired.
  • the frame F 540 _1 is lambda 540 image at time t 11
  • the frame F 600 _1 is the frame F 415 _1 and lambda 600 images a lambda 415 image is acquired
  • the time t 12
  • the time frame F 540 _2 is again lambda 540 image at t 13
  • F 600 _2 is an image which is is obtained
  • An image is acquired.
  • the acquisition of the ⁇ 415 image, the ⁇ 460 image, the ⁇ 540 image, the ⁇ 600 image, and the ⁇ 630 image can be repeatedly performed in the acquisition time of the narrow-band image of 2 frames.
  • the ⁇ 415 image, the ⁇ 460 image, the ⁇ 540 image, and the ⁇ 630 image become narrowband images used for enhancement
  • lambda 600 image becomes narrowband image not used for emphasis.
  • the update determination unit 111a determines at time t 11 and t 13, the lambda 540 images a narrowband image enhancement target is the narrow-band image in the latest frame.
  • the enhanced image creation unit 120 executes enhancement processing on the ⁇ 540 image at times t 11 and t 13 .
  • the update determination unit 111a at time t 12 and t 14 determines that the lambda 540 images a narrowband image enhancement target is not the narrowband image in the latest frame.
  • the emphasized image creation unit 120 sets the ⁇ 540 image that has been subjected to the previous enhancement process as the enhanced image at times t 12 and t 14 .
  • enhanced image creation section 120, at time t 12 is the lambda 540 image subjected to enhancement processing at time t 11 and enhanced image, at time t 14, lambda was subjected to enhancement processing at time t 13 540 images are set as emphasized images.
  • the enhancement processing alms was lambda 540 images in this determination frame, and the lambda 540 image subjected to previous enhancement processing, will be selected as the alternate enhanced images.
  • narrowband images obtained by a plurality of different narrowband lights are obtained by simultaneous light emission including a plurality of narrowband lights having respective center wavelengths, so that they are displayed in time series. Blurring of the emphasized image when the image to be displayed is emphasized and displayed, and the frequency of performing the enhancement process on the ⁇ 540 image can be increased.
  • FIG. 6 is a block diagram showing a functional configuration of the image processing apparatus according to the second modification of the first embodiment of the present invention.
  • An image processing apparatus 1A according to the second modification includes a calculation unit 100A instead of the calculation unit 100 illustrated in FIG.
  • the calculation unit 100A includes an enhanced image creation unit 120A instead of the enhanced image creation unit 120 shown in FIG.
  • the configuration and operation of each unit of the calculation unit other than the emphasized image creation unit 120A and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as those in the first embodiment.
  • the emphasized image creation unit 120A Based on the state information calculated by the state information calculation unit 110, the emphasized image creation unit 120A combines the information extracted based on the ⁇ 415 image, the ⁇ 460 image, and the ⁇ 630 image into the ⁇ 540 image, thereby obtaining the ⁇ Emphasize processing is performed on 540 images.
  • the emphasized image creation unit 120A includes an alignment unit 120a and an enhancement amount acquisition unit 120b.
  • the alignment unit 120a performs alignment between the latest ⁇ 540 image and the ⁇ 540 image (hereinafter also referred to as a past ⁇ 540 image) in a frame before the latest ⁇ 540 image.
  • the alignment unit 120a performs alignment by a known method, for example, pattern matching using one image as a template.
  • the past ⁇ 540 image may be the previous frame, or may be a frame that goes back the set number of times.
  • the enhancement amount acquisition unit 120b acquires the enhancement amount set in the past ⁇ 540 image in accordance with the position of the latest ⁇ 540 image based on the alignment result by the alignment unit 120a.
  • the update determination unit 111a determines whether or not the ⁇ 540 image that is the narrowband image to be emphasized is a narrowband image in the latest frame, and the information to be emphasized has high contrast. It is determined whether or not the ⁇ 415 image represented by is a narrow-band image in the latest frame.
  • the ⁇ 415 image is a narrowband image in which the amount of information to be enhanced, for example, contrast information of the blood vessel component to be enhanced is relatively large compared to other narrowband images.
  • the image processing apparatus 1A performs processing in the same flow as steps S10 to S12 shown in FIG. First, the image acquisition unit 20 sequentially acquires a ⁇ 415 image, a ⁇ 460 image, a ⁇ 540 image, and a ⁇ 630 image.
  • the state information calculation unit 110 calculates state information regarding the ⁇ 540 image and the ⁇ 415 image.
  • FIG. 7 is a flowchart showing a creation process of an emphasized image in the second modification of the first embodiment of the present invention.
  • step S131 the emphasized image creation unit 120A determines whether the ⁇ 415 image is a narrowband image in the latest frame based on the state information calculated by the state information calculation unit 110.
  • the emphasized image creation unit 120A performs enhancement processing on the ⁇ 540 image (step S132).
  • Enhanced image creation unit 120A as described above, to synthesize the enhancement amount based on each difference of the lambda 415 image for lambda 460 images and lambda 630 images in lambda 540 images.
  • the enhanced image creation unit 120A sets the combined ⁇ 540 image as the enhanced image.
  • the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • step S131: No when it is determined that the ⁇ 415 image is not a narrowband image in the latest frame (step S131: No), the emphasized image creation unit 120A proceeds to step S133.
  • step S133 the emphasized image creating unit 120A determines whether the ⁇ 540 image that is the narrowband image to be emphasized is a narrowband image in the latest frame, based on the state information calculated by the state information calculating unit 110. to decide.
  • step S133 If it is determined that the ⁇ 540 image is a narrowband image in the latest frame (step S133: Yes), the emphasized image creation unit 120A proceeds to step S134.
  • step S134 the alignment unit 120a performs alignment between the latest ⁇ 540 image and the past ⁇ 540 image.
  • step S135 subsequent to step S134 the emphasized image creation unit 120A executes enhancement processing on the ⁇ 540 image of the latest frame based on the alignment result by the alignment unit 120a.
  • the enhancement amount acquisition unit 120b acquires the enhancement amount set in the past ⁇ 540 image in accordance with the position of the latest ⁇ 540 image based on the alignment result by the alignment unit 120a.
  • the emphasized image creation unit 120A executes enhancement processing on the ⁇ 540 image of the latest frame based on the enhancement amount acquired by the enhancement amount acquisition unit 120b.
  • the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • the enhanced image creation unit 120A acquires the previously created enhanced image ⁇ 540 image, The acquired ⁇ 540 image is set as an enhanced image in the latest frame (step S136). Thereafter, the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • an enhanced image corresponding to the update status of the ⁇ 540 image and the ⁇ 415 image is created by the above-described steps S132, S135, and S136.
  • the emphasized image creation unit 120A responds to the update status of the ⁇ 540 image that is the narrowband image to be emphasized and the ⁇ 415 image that has a large amount of information to be emphasized.
  • the ⁇ 540 image is either subjected to enhancement processing or the information related to the previously enhanced ⁇ 540 image is reflected in the current enhancement image.
  • An appropriate emphasized image can be generated, and blurring of the emphasized image when the enhancement process is performed on an image displayed in time series can be suppressed.
  • the narrowband image in which the information to be emphasized appears with high contrast is set in advance, for example, a ⁇ 415 image.
  • the narrowband image to be set need not be limited to one.
  • two narrowband images such as a ⁇ 415 image and a ⁇ 460 image may be set.
  • the method of enhancing the latest ⁇ 540 image using the past enhancement amount is exemplified.
  • the previous creation is performed.
  • the enhanced image may be used as the enhanced image in the latest frame.
  • FIG. 8 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • the image processing apparatus 1B according to the second embodiment includes a calculation unit 100B instead of the calculation unit 100A shown in FIG.
  • the calculation unit 100B includes a state information calculation unit 110A instead of the state information calculation unit 110 illustrated in FIG.
  • the configuration and operation of each unit of the calculation unit other than the state information calculation unit 110A and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as in the second modification of the first embodiment.
  • the state information calculation unit 110A includes a time series information calculation unit 111A that calculates time series information of a narrowband image.
  • the time-series information calculation unit 111A includes an update determination unit 111b that determines an update state of a narrowband image used for enhancement.
  • the update determination unit 111b determines whether the narrowband image in the latest frame is the above-described ⁇ 415 image, ⁇ 460 image, ⁇ 540 image, or ⁇ 630 image.
  • the update determination unit 111b includes a weight setting unit 1111 that sets a weight to be used for enhancement processing.
  • the weight set by the weight setting unit 1111 is a value set for each narrowband image based on the amount of information to be emphasized. For example, the weight is set so as to increase as the narrow band image has a higher contrast of the information to be emphasized. Specifically, when a blood vessel that appears strongly in the ⁇ 415 image is extracted as information to be emphasized, the weight in the ⁇ 415 image having a high blood vessel contrast is the largest.
  • the weight setting unit 1111 acquires a value set in advance. The weight according to the second embodiment functions as a determination value for determining whether to perform enhancement processing.
  • the state information calculation unit 110A determines whether the narrowband image in the latest frame is a ⁇ 415 image, a ⁇ 460 image, a ⁇ 540 image, or a ⁇ 630 image from the determination result of the update determination unit 111b. Thereafter, the weight setting unit 1111 sets the weight of the narrowband image updated in the latest frame, and the state information calculation unit 110A calculates the set weight as state information. When a plurality of narrowband images are acquired simultaneously by the above-described simultaneous light, the weights set for each narrowband image are summed, and this sum is used as state information.
  • FIG. 9 is a flowchart illustrating image processing performed by the image processing apparatus 1B.
  • the image acquisition unit 20 has four narrowband images respectively captured by four narrowband lights having central wavelengths of 415 nm, 460 nm, 540 nm, and 630 nm, ⁇ 415 images, ⁇ 460 images, ⁇ 540 images and ⁇ 630 images are acquired sequentially.
  • FIG. 10 is a flowchart showing a state information calculation process according to Embodiment 2 of the present invention.
  • the update determination unit 111b determines the type of the narrowband image in the latest frame. Specifically, the update determination unit 111b determines whether the narrowband image in the latest frame is a ⁇ 415 image, a ⁇ 460 image, a ⁇ 540 image, or a ⁇ 630 image.
  • step S212 the weight setting unit 1111 acquires the weight corresponding to the updated narrowband image based on the determination result of the update determination unit 111b.
  • the state information calculation unit 110A acquires the weight of the narrowband image updated with the latest frame, and sets the acquired weight as the state information.
  • FIG. 11 is a flowchart showing a process for creating an emphasized image according to the second embodiment of the present invention.
  • the emphasized image creation unit 120A determines whether or not the state information calculated by the state information calculation unit 110A is equal to or greater than a threshold value. Specifically, the emphasized image creation unit 120A determines whether or not the weight set as the state information is greater than or equal to a preset threshold value. As the threshold, for example, a value corresponding to the largest weight is set.
  • the enhanced image creating unit 120A performs enhancement processing on the ⁇ 540 image (step S222).
  • Enhanced image creation unit 120A as described above, to synthesize the enhancement amount based on each difference of the lambda 415 image for lambda 460 images and lambda 630 images in lambda 540 images.
  • the enhanced image creation unit 120A sets the combined ⁇ 540 image as the enhanced image.
  • the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • step S221 when it is determined that the weight is smaller than the threshold (No in step S221), the emphasized image creation unit 120 proceeds to step S223.
  • step S223 the emphasized image creation unit 120A determines whether the ⁇ 540 image that is the narrowband image to be emphasized is a narrowband image in the latest frame, based on the state information calculated by the state information calculation unit 110A. to decide.
  • step S223 If it is determined that the ⁇ 540 image is a narrowband image in the latest frame (step S223: Yes), the emphasized image creation unit 120A proceeds to step S224.
  • step S224 the alignment unit 120a performs alignment between the ⁇ 540 image of the latest frame and the past ⁇ 540 image.
  • step S225 following step S224 the emphasized image creation unit 120A executes enhancement processing on the latest ⁇ 540 image based on the alignment result by the alignment unit 120a.
  • the enhancement amount acquisition unit 120b acquires the enhancement amount set in the past ⁇ 540 image in accordance with the position of the latest ⁇ 540 image based on the alignment result by the alignment unit 120a.
  • the emphasized image creation unit 120A executes enhancement processing on the ⁇ 540 image of the latest frame based on the enhancement amount acquired by the enhancement amount acquisition unit 120b.
  • the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • the emphasized image creation unit 120A acquires the ⁇ 540 image that is the previously created enhanced image, and The ⁇ 540 image is set as an enhanced image in the latest frame (step S226). Thereafter, the control unit 10 returns to the main routine and ends the image processing. Further, the control unit 10 performs control to display on the display unit 40 the ⁇ 540 image that has been subjected to the enhancement processing.
  • an emphasized image corresponding to the update status of the narrowband image is created through steps S222, S225, and S226 described above.
  • the emphasized image creation unit 120A performs the enhancement process on the ⁇ 540 image or the previous enhancement process according to the update state of the weighted narrowband image.
  • the information about the ⁇ 540 image is either reflected in the current emphasized image, so that an appropriate enhanced image is generated according to the acquired image, and the image to be displayed in time series is displayed.
  • the weight is set based on the contrast of the information to be emphasized, but the image to be emphasized may be set to have a greater weight than the other images.
  • Modification 1 of Embodiment 2 Next, Modification 1 of Embodiment 2 of the present invention will be described.
  • the weights are adaptively set according to the observation mode and the input conditions.
  • FIG. 12 is a flowchart showing a state information calculation process in the first modification of the second embodiment of the present invention.
  • the weight setting unit 1111 sets the weight corresponding to the updated narrowband image based on the determination result of the update determination unit 111b.
  • the weight setting unit 1111 sets a weight for each narrowband image in accordance with the observation mode and the setting input conditions. For example, the weight setting is performed so that the weight of the narrow band image with high contrast of the information of the blood vessel to be observed becomes large, such as the mode for observing the blood vessel on the surface layer and the mode for observing the blood vessel in the deep part.
  • step S211 following step S213, the update determination unit 111b determines whether it is a narrow but a band image lambda 415 image, lambda 460 image, lambda 540 images and lambda 630 image in the latest frame.
  • step S212 the weight setting unit 1111 acquires the weight corresponding to the narrowband image in the latest frame based on the determination result of the update determination unit 111b.
  • the state information calculation unit 110A acquires the weight of the narrowband image in the latest frame, and sets the acquired weight as the state information.
  • the weighting may be adaptively set according to the observation target, and the setting of the enhancement processing may be changed according to the mode appropriately set during the observation.
  • FIG. 13 is a block diagram illustrating a functional configuration of an image processing apparatus according to Modification 2 of Embodiment 2 of the present invention.
  • An image processing apparatus 1C according to the second modification includes a calculation unit 100C instead of the calculation unit 100B illustrated in FIG.
  • the calculation unit 100C includes a state information calculation unit 110B instead of the state information calculation unit 110A illustrated in FIG.
  • the configuration and operation of each unit of the calculation unit other than the state information calculation unit 110B and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as those in the second embodiment.
  • the state information calculation unit 110B includes a time series information calculation unit 111B that calculates time series information of a narrowband image.
  • the time-series information calculation unit 111B includes an update determination unit 111c that determines, for each type, the update status of the latest narrowband image in the image used for enhancement and the past narrowband image from the latest narrowband image. Prepare.
  • the update determination unit 111c calculates a time-series distance between the weight setting unit 1111 that sets weights used for enhancement processing, the latest narrowband image in time series, and the latest narrowband image of each type.
  • the time-series distance calculated by the time-series distance calculation unit 1112 is a distance when viewed on the time axis. Specifically, each image has the most recently updated frame and the latest in time series. The number of frames between frames.
  • Time series distance calculating unit 1112 for example, when when the sequence is the latest frame lambda 540 images, and the lambda 540 images, each type of latest lambda 415 images stored in the storage unit 50, lambda 460 images , ⁇ 540 images and ⁇ 630 images are calculated.
  • the update status here refers to the distance between each type of narrowband image that changes over time with respect to the latest narrowband image. Note that other methods may be used as long as the time-series distance is calculated, for example, the time when the latest narrowband image of each type is captured and the time when the latest narrowband image is captured in time series. You may calculate the elapsed time which is a difference.
  • the state information calculation unit 110B multiplies the time series distance calculated by the time series distance calculation unit 1112 and the weight set for each narrowband image, respectively, and then sums each multiplication result. This total value is used as state information.
  • the weight according to the second modification of the second embodiment functions as a weighting coefficient for calculating a determination value for determining whether to perform enhancement processing.
  • FIG. 14 is a flowchart showing a state information calculation process in the second modification of the second embodiment of the present invention.
  • the time-series distance calculation unit 1112 includes the narrowband image in the latest frame and the latest ⁇ 415 image, ⁇ 460 image, ⁇ 540 image, and ⁇ 630 image of each type stored in the storage unit 50. The time series distance between them is calculated.
  • step S215 the state information calculation unit 110B is set by the time-series distance calculated by the time-series distance calculation unit 1112 and the weight setting unit 1111 and is set for each narrowband image. After multiplying each weight, the total value that is the result of each multiplication is calculated.
  • the emphasized image creating unit 120 proceeds to step S222 in FIG. 11 if the determination result indicates that the total value is equal to or less than the threshold value, and the step in FIG. 11 if the determination result indicates that the total value is greater than the threshold value. The process proceeds to S223.
  • FIG. 15 is a block diagram showing a functional configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • the image processing apparatus 1D according to the third embodiment includes a calculation unit 100D instead of the calculation unit 100A shown in FIG.
  • the calculation unit 100D includes a state information calculation unit 110C instead of the state information calculation unit 110 illustrated in FIG.
  • the configuration and operation of each unit of the calculation unit other than the state information calculation unit 110C and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as in the second modification of the first embodiment.
  • the state information calculation unit 110 ⁇ / b> C includes an inter-image information calculation unit 112 that calculates information regarding a subject difference between a narrowband image to be emphasized and an image of another narrowband image.
  • the inter-image information calculation unit 112 includes a motion estimation unit 112a that estimates the motion of the subject of another narrowband image with respect to the narrowband image to be emphasized. For example, the motion estimation unit 112a calculates a motion amount using a block matching method for each local region in the image, and sets the average value as the motion amount.
  • the motion estimation unit 112a calculates a motion amount between the ⁇ 540 image to be emphasized and the ⁇ 415 image, the ⁇ 460 image, and the ⁇ 630 image that are other narrowband images.
  • the state information calculation unit 110C calculates the total value of the motion amounts of the other narrowband images respectively calculated by the motion estimation unit 112a.
  • FIG. 16 is a flowchart illustrating image processing performed by the image processing apparatus 1D.
  • the image acquisition unit 20 has four narrowband images respectively captured by four narrowband lights having central wavelengths of 415 nm, 460 nm, 540 nm, and 630 nm, ⁇ 415 images, ⁇ 460 images, ⁇ 540 images and ⁇ 630 images are acquired sequentially.
  • FIG. 17 is a flowchart showing a state information calculation process according to Embodiment 3 of the present invention.
  • step S ⁇ b> 311 the motion estimation unit 112 a calculates motion amounts between the ⁇ 540 image to be emphasized and the ⁇ 415 image, ⁇ 460 image, and ⁇ 630 image that are other narrowband images.
  • step S312 following step S311, the state information calculation unit 110C calculates the total value of the motion amounts of the other narrowband images calculated by the motion estimation unit 112a.
  • step S32 the emphasized image creation unit 120A creates an enhanced image of ⁇ 540 images.
  • step S32 an enhanced image of ⁇ 540 image is created according to the flowchart shown in FIG.
  • the emphasized image creation unit 120A proceeds to step S222 in FIG. 11 if the determination result is that the total value is equal to or less than the threshold value, and the step in FIG. 11 if the determination result indicates that the total value is greater than the threshold value.
  • the process proceeds to S223.
  • the emphasized image creation unit 120A performs enhancement processing on the ⁇ 540 image according to the movement between the images of other narrow band images with respect to the narrow band image to be emphasized.
  • the information on the ⁇ 540 image that has been subjected to the previous enhancement processing is reflected in the current enhancement image, so that an appropriate enhancement image is generated according to the acquired image and time series It is possible to suppress blurring of the emphasized image when the enhancement process is performed on the image displayed along the line.
  • FIG. 18 is a block diagram showing a functional configuration of an image processing apparatus according to a modification of the third embodiment of the present invention.
  • An image processing apparatus 1E according to this modification includes a calculation unit 100E instead of the calculation unit 100D shown in FIG.
  • the calculation unit 100E includes a state information calculation unit 110D instead of the state information calculation unit 110C illustrated in FIG.
  • the configuration and operation of each unit of the calculation unit other than the state information calculation unit 110D and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as those in the third embodiment.
  • the state information calculation unit 110D includes an inter-image information calculation unit 112A that calculates information between images of other narrowband images with respect to the narrowband image to be emphasized.
  • the inter-image information calculation unit 112A includes a registration unit 112b that performs registration between an image used for emphasis and another image, and a registration evaluation unit 112c that calculates an evaluation value representing the accuracy of the registration result. .
  • the alignment unit 112b estimates the amount of motion for each local region by the block matching method, for example, as in the third embodiment described above.
  • the alignment unit 112b calculates the amount of motion between the ⁇ 540 image to be emphasized and the ⁇ 415 image, the ⁇ 460 image, and the ⁇ 630 image that are other narrowband images. Thereafter, the alignment unit 112b translates the region according to the amount of movement.
  • the alignment evaluation unit 112c calculates, for example, each normalized cross-correlation between images after alignment.
  • the alignment evaluation unit 112c calculates an evaluation value based on the calculated normalized cross-correlation such that the evaluation value is higher as the alignment result is better.
  • the state information calculation unit 110D uses the evaluation value calculated by the alignment evaluation unit 112c as state information.
  • FIG. 19 is a flowchart showing a state information calculation process in the modification of the third embodiment of the present invention.
  • step S314 the alignment unit 112b performs alignment between an image used for enhancement and another image.
  • the alignment unit 112b outputs the alignment result to the alignment evaluation unit 112c.
  • step S315 the alignment evaluation unit 112c calculates an evaluation value representing the likelihood of the alignment result.
  • the alignment evaluation unit 112c calculates an evaluation value that is higher as the alignment result is better.
  • the time-series distance between the narrowband image in the latest frame and the previously updated ⁇ 415 image, ⁇ 460 image, ⁇ 540 image, and ⁇ 630 image is calculated.
  • the setting of the enhancement process may be changed based on state information based on the distance and weight.
  • first to third embodiments The embodiments for carrying out the present invention have been described so far, but the present invention should not be limited only by the above-described first to third embodiments.
  • narrowband images acquired by four narrowband lights whose center wavelengths are 415 nm, 460 nm, 540 nm, and 630 nm are used, but they are acquired by different types of light. Any image can be applied. Specifically, it may be an image acquired by light having different wavelength component distributions, for example, center wavelengths.
  • the ⁇ 540 image is emphasized and displayed. However, the present invention is not limited to this.
  • an image in another wavelength band may be emphasized, or a display image may be created by combining the emphasized ⁇ 540 image and an image in another wavelength band and displayed on the display unit 40. Also good.
  • the present invention may include various embodiments not described herein.
  • the image processing apparatus, the operation method of the image processing apparatus, and the operation program of the image processing apparatus according to the present invention are useful for generating an appropriate enhanced image according to the acquired image.

Abstract

本発明にかかる画像処理装置は、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置において、複数の画像を取得する画像取得部と、複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出部と、状態を示す情報と、複数の画像とを基に強調対象の画像に対して強調処理を施すことによって強調画像を作成する強調画像作成部と、を備える。

Description

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
　本発明は、例えば、内視鏡により撮像された画像に対する画像処理を行う画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
　内視鏡により生体内を照射する照明光としては、白色光や狭帯域光が用いられる。狭帯域光は波長帯域によって吸収散乱特性が異なるため、使用する狭帯域光を適宜選択することにより、波長帯域に応じた被写体の特徴を抽出することができる。従来、このような吸収散乱特性の違いを利用して、複数の画像を基に特定の情報を強調する処理が提案されている。
　例えば、特許文献１には、ヘモグロビンの吸光特性が異なる二枚の画像を利用し、一方の画像における吸光変化を強調する技術が開示されている。
特許第５３６２１４９号公報
　強調対象の画像と、強調量を算出するための画像とが時系列に沿って交互に撮像される場合、特許文献１が開示する技術では、強調対象の画像の前後に撮像された画像から算出される強調量を用いて、強調対象の画像をそれぞれ強調することになる。この際、強調対象の画像よりも前に撮像された画像による強調量と、強調対象の画像より後に撮像された画像による強調量とが、画像の変化により異なり、同一の強調対象の画像に対して異なる強調量で強調された強調画像が得られる場合がある。その結果、同一の画像に対して異なる強調量により強調された強調画像が動画表示されることになり、連続して表示される強調画像にぶれが生じていた。このように、特許文献１では、取得された画像に応じた強調処理が施されておらず、観察を阻害するおそれがあった。
　本発明は、上記に鑑みて為されたものであって、取得した画像に応じて適切な強調画像を生成することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの提供を目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置において、前記複数の画像を取得する画像取得部と、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出部と、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に対して強調処理を施すことによって強調画像を作成する強調画像作成部と、を備えることを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動方法であって、画像取得部が、前記複数の画像を取得する画像取得ステップと、状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出ステップと、強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成ステップと、を含むことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動プログラムであって、画像取得部が、前記複数の画像を取得する画像取得手順と、状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出手順と、強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成手順と、をコンピュータに実行させることを特徴とする。
　本発明によれば、取得した画像に応じて適切な強調画像を生成することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図３は、本発明の実施の形態１における強調画像の作成処理を示すフローチャートである。 図４は、本発明の実施の形態１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。 図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。 図６は、本発明の実施の形態１の変形例２に係る画像処理装置の機能構成を示すブロック図である。 図７は、本発明の実施の形態１の変形例２における強調画像の作成処理を示すフローチャートである。 図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１０は、本発明の実施の形態２における状態情報の算出処理を示すフローチャートである。 図１１は、本発明の実施の形態２における強調画像の作成処理を示すフローチャートである。 図１２は、本発明の実施の形態２の変形例１における状態情報の算出処理を示すフローチャートである。 図１３は、本発明の実施の形態２の変形例２に係る画像処理装置の機能構成を示すブロック図である。 図１４は、本発明の実施の形態２の変形例２における状態情報の算出処理を示すフローチャートである。 図１５は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１６は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１７は、本発明の実施の形態３における状態情報の算出処理を示すフローチャートである。 図１８は、本発明の実施の形態３の変形例に係る画像処理装置の機能構成を示すブロック図である。 図１９は、本発明の実施の形態３の変形例における状態情報の算出処理を示すフローチャートである。
　以下、本発明の実施の形態に係る画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、内視鏡により取得された複数の画像を基に、白色画像には表れ難い吸光変化を抽出し、抽出した吸光変化を１つ又は複数の画像と合成して表示用の画像を作成する装置である。
　以下の説明においては、ビデオスコープと呼ばれる一般的な内視鏡又はカプセル型内視鏡によって生体の管腔内を撮像することにより取得された狭帯域画像及び白色画像を含む内視鏡画像を処理対象とする。
　図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡画像の画像データを取得する画像取得部２０と、外部からの操作により入力信号を発生させる入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記憶部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
　制御部１０は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサやＡＳＩＣ（Application　Specific　Integrated　Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１０が汎用プロセッサである場合、記憶部５０が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、制御部１０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して種々の処理を実行してもよい。
　画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムの画像処理装置１に接続する場合、画像取得部２０は、内視鏡システムにおいて生成された画像データを取り込むインタフェースによって構成される。また、内視鏡システムにおいて生成された画像データを保存するサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って画像データを取得する。或いは、生体内を移動しながら撮像を行うカプセル型内視鏡を用いる場合には、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データを受け渡ししてもよく、この場合、画像取得部２０は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像の画像データを読み出すリーダ装置によって構成される。
　入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。
　表示部４０は、ＬＣＤ（Liquid　Crystal　Display）やＥＬ（ElectroLuminescence）ディスプレイ等の表示装置によって構成され、制御部１０の制御の下で、内視鏡画像を含む各種画面を表示する。
　記憶部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク又はＣＤ－ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部５０は、画像取得部２０によって取得された内視鏡画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的に、記憶部５０は、内視鏡によって取得された、波長成分の分布が互いに異なる複数の狭帯域画像に基づき、１つ又は複数の狭帯域画像を強調して強調画像を作成する画像処理を当該画像処理装置１に実行させる画像処理装置２の作動プログラムを記憶するプログラム記憶部５１を有する。
　演算部１００は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１００が汎用プロセッサである場合、プログラム記憶部５１が記憶する画像処理プログラムを読み込むことにより画像処理を実行する。また、演算部１００が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して画像処理を実行してもよい。
　次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、画像取得部２０が取得した複数の狭帯域画像から画像の状態情報を算出する状態情報算出部１１０と、状態情報に基づいて狭帯域画像を強調した強調画像を作成する強調画像作成部１２０とを備える。以下においては、一例として、中心波長が互いに異なる複数の狭帯域画像を取得した場合の処理を説明する。
　ここで、本実施の形態１では、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光を順次照射して狭帯域画像が取得されるものとして説明する。本明細書では、異なる中心波長の狭帯域光により得られた、狭帯域光の種類が異なる複数の狭帯域画像が取得されるものとして説明する。以下、Ｘｎｍを中心波長とする狭帯域光により撮像された狭帯域画像をλX画像と記載する。本実施の形態１では、これら４つの狭帯域画像全てが強調に利用され、λ415画像、λ460画像及びλ630画像を基に抽出された情報をλ540画像に合成してλ540画像を強調する。４１５ｎｍ近傍の狭帯域光は、ヘモグロビンに吸収され易く、かつ管腔内の粘膜に散乱され易いという特性がある。また、６３０ｎｍ近傍の狭帯域光は、ヘモグロビンに吸収され難く、粘膜にも散乱され難いため、管腔内の奥まで到達し易いという特性がある。このように、狭帯域光の特性の違いに基づき、粘膜下表層の微細血管や、血管増生によって生じる領域的な吸光変化等の画像情報を、吸光情報として狭帯域画像から抽出することができる。
　状態情報算出部１１０は、強調に利用する狭帯域画像の状態を表す状態情報を算出する処理を行う。具体的には、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判定し、判定結果を状態情報とする。新たに取得された狭帯域画像は、例えば記憶部５０に記憶される。この際、同一狭帯域の狭帯域画像について過去の狭帯域画像が記憶されている場合は、今回取得された狭帯域画像が、最新の狭帯域画像として更新される。ここでいう狭帯域画像の状態とは、最新の狭帯域画像によって予め設定された狭帯域画像が更新されたか否かの更新状態のことをいう。
　状態情報算出部１１０は、狭帯域画像の時系列的な状態を表す情報を算出する時系列情報算出部１１１を備える。時系列情報算出部１１１は、強調に利用する狭帯域画像の更新状態を判定する更新判定部１１１ａを備える。時系列的な状態とは、時系列で取得される狭帯域画像の更新の有無のことをいい、時系列的に変化する状態のことをいう。更新判定部１１１ａは、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判定する。以下の説明では、更新判定部１１１ａが、対象の狭帯域画像が最新の狭帯域画像として新たに取得されて更新されたか否かを判定するものとして説明する。
　強調画像作成部１２０は、状態情報算出部１１０が算出した状態情報に基づいて、λ415画像、λ460画像及びλ630画像を基に抽出された情報をλ540画像に合成することにより、λ540画像に対して強調処理を施す。具体的に、強調画像作成部１２０は、λ460画像及びλ630画像に対するλ415画像の各差分を算出することで、λ415画像で強く表れる情報を強調する情報として抽出し、得られた情報を強調量と看做してλ540画像に合成する。強調量は、例えば、λ460画像とλ415画像との差分と、λ630画像とλ415画像との差分の平均値、又は、二つの差分のうちの大きい方の値若しくは小さい方の値である。なお、強調方法はこの処理に限定されるものではなく、複数の画像を基に特定の画像を強調する処理であれば他の方法を用いてもよい。このほか、強調部分以外のコントラストを低減するなど、強調対象が強調されるような処理であってもよい。また、強調画像作成部１２０は、λ540画像が更新されていないと判定されている場合、前回作成した強調画像であるλ540画像を取得し、このλ540画像を最新のフレームにおける強調画像とする。
　次に、画像処理装置１の動作について説明する。図２は、画像処理装置１が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像取得部２０は、中心波長が互いに異なる複数の画像を取得する。具体的には、画像取得部２０は、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像であるλ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
　ここで、内視鏡による狭帯域画像の取得方法の一例として、複数の狭帯域の波長ピークを有する光を発光するＬＥＤを用いる方法が挙げられる。例えば、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光をそれぞれ出射する四つのＬＥＤ（Light　Emitting　Diode）を設け、これらのＬＥＤを順次発光させて生体内を照射し、生体内からの反射光をカラーの撮像素子により、狭帯域光ごとに取得する。それにより、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍをそれぞれ中心波長とする四つの狭帯域画像を得ることができる。なお、これらの狭帯域画像を取得する際の狭帯域光の実際の中心波長は、上述した４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍの各値の近傍の値であってもよい。
　続くステップＳ１１において、状態情報算出部１１０は、λ540画像に関する状態情報を算出する。具体的に、更新判定部１１１ａが、λ540画像が最新のフレームにおける狭帯域画像であるか否かを判定する。時系列情報算出部１１１は、更新判定部１１１ａによる判定結果に基づくλ540画像の時系列情報を算出する。状態情報算出部１１０は、時系列情報算出部１１１が算出したλ540画像の時系列情報を、状態情報として強調画像作成部１２０に出力する。
　続くステップＳ１２において、強調画像作成部１２０が、λ540画像の強調画像を作成する。図３は、本発明の実施の形態１における強調画像の作成処理を示すフローチャートである。
　ステップＳ１２１において、強調画像作成部１２０は、状態情報算出部１１０が算出した状態情報を基に、強調対象の狭帯域画像であるλ540画像が最新のフレームで更新されたフレームであるか否かを判断する。
　強調画像作成部１２０は、λ540画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ１２１：Ｙｅｓ）、このλ540画像に対して強調処理を施す（ステップＳ１２２）。強調画像作成部１２０は、上述したように、λ460画像及びλ630画像に対するλ415画像の各差分に基づく強調量をλ540画像に合成する。強調画像作成部１２０は、合成後のλ540画像を強調画像とする。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　これに対し、強調画像作成部１２０は、λ540画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ１２１：Ｎｏ）、前回作成した強調画像であるλ540画像を取得し、この取得したλ540画像を最新のフレームにおける強調画像とする（ステップＳ１２３）。
　上述したステップＳ１２２，Ｓ１２３により、λ540画像の更新状況に応じた強調画像が作成される。図４は、本発明の実施の形態１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。画像取得部２０は、上述したように、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像を順次取得する。図４に示すように、５４０ｎｍ、４１５ｎｍ、４６０ｎｍ、６３０ｎｍの順で狭帯域光が出射され、狭帯域光に応じたλ540画像、λ415画像、λ460画像及びλ630画像が順に取得される場合、例えば、時間ｔ1においてλ540画像であるフレームＦ540_１が取得され、時間ｔ2においてλ415画像であるフレームＦ415_１が取得され、時間ｔ3においてλ460画像であるフレームＦ460_１が取得され、時間ｔ4においてλ630画像であるフレームＦ630_１が取得される。その後、時間ｔ5において再びλ540画像のフレームＦ540_２が取得され、上述した順でλ540画像、λ415画像、λ460画像及びλ630画像の各フレームの取得が繰り返される。
　図４に示す場合、更新判定部１１１ａは、時間ｔ1及びｔ5において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であると判定する。強調画像作成部１２０は、この時間ｔ1及びｔ5において、λ540画像に対する強調処理を実行する。
　これに対し、更新判定部１１１ａは、時間ｔ2～ｔ4において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像ではないと判定する。この場合、強調画像作成部１２０は、この時間ｔ2～ｔ4において、前回強調処理を施したλ540画像を強調画像とする。具体的に、強調画像作成部１２０は、時間ｔ2～ｔ4において、時間ｔ1で強調処理を施したλ540画像を強調画像とする。
　以上説明した本実施の形態１によれば、強調画像作成部１２０が、強調対象の狭帯域画像であるλ540画像の更新状況に応じてλ540画像に対して強調処理を施すようにしたので、取得した画像に応じて適切な強調画像を生成することができる。
　また、本実施の形態１によれば、強調画像作成部１２０が、強調対象の狭帯域画像であるλ540画像の更新状況に応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像を今回の強調画像とするかのいずれかを実行するようにしたので、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
　なお、照射する光の波長帯域や照射順序、撮像手段は、上述した実施の形態１に限定されるものではなく、強調に利用されない画像を撮像しても構わない。例えば、４１５ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする各狭帯域光の同時発光と、４６０ｎｍ、５４０ｎｍ、６００ｎｍを中心波長とする各狭帯域光の同時発光とを交互に繰り返し、ベイヤセンサや三板センサ等で撮像された狭帯域画像を取得してもよい。また、使用される光源も限定されるものでなく、ＬＥＤやキセノン光源、レーザ光源などを用いることができる。
　また、狭帯域画像の取得方法の別の例として、キセノンランプ等の白色光源の前方に狭帯域フィルタを配置し、該狭帯域フィルタにより狭帯域化された光で生体内を順次照射する方法や、中心波長が互いに異なる狭帯域光をそれぞれ発光する複数のレーザーダイオードを順次駆動する方法も挙げられる。さらには、生体内を白色光により照射し、生体からの反射光を、狭帯域フィルタを介して撮像素子に入射させることにより、狭帯域画像を取得してもよい。
（実施の形態１の変形例１）
　次に、本発明の実施の形態１の変形例１について説明する。図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理において取得される画像を説明する図である。上述した実施の形態１では、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光が順次出射されて、λ415画像、λ460画像、λ540画像及びλ630画像を取得するものとして説明した。本変形例１では、４１５ｎｍ、５４０ｎｍ、６００ｎｍを中心波長とする各狭帯域光の同時発光と、４６０ｎｍ、６３０ｎｍを中心波長とする各狭帯域光の同時発光とを交互に繰り返して出射して、狭帯域画像を取得する。
　本変形例１では、プリズムなどの分光部材を用いて、各中心波長を有する複数の狭帯域光を含む観察光を分光して、各狭帯域光に応じた狭帯域画像を取得する。この場合、図５に示すように、時間ｔ11においてλ540画像であるフレームＦ540_１、λ415画像であるフレームＦ415_１及びλ600画像であるフレームＦ600_１が取得され、時間ｔ12においてλ460画像及びλ630画像であるフレームＦ630_１が取得される。その後、時間ｔ13において再びλ540画像であるフレームＦ540_２、λ415画像であるフレームＦ415_２及びλ600画像であるフレームＦ600_２が取得され、時間ｔ14においてλ460画像及びλ630画像が取得される。このように、本変形例１では、２フレームの狭帯域画像の取得時間で、λ415画像、λ460画像、λ540画像、λ600画像及びλ630画像の取得を繰り返し行うことができる。なお、本変形例１では、上述した実施の形態１のフローチャートに沿って処理を行う場合、λ415画像、λ460画像、λ540画像及びλ630画像が強調に利用される狭帯域画像となり、λ600画像が強調には利用されない狭帯域画像となる。
　本変形例１では、更新判定部１１１ａは、時間ｔ11及びｔ13において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であると判定する。強調画像作成部１２０は、この時間ｔ1１及びｔ13において、λ540画像に対する強調処理を実行する。
　これに対し、更新判定部１１１ａは、時間ｔ12及びｔ14において、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像ではないと判定する。この場合、強調画像作成部１２０は、この時間ｔ12及びｔ14において、前回強調処理を施したλ540画像を強調画像とする。具体的に、強調画像作成部１２０は、時間ｔ12においては、時間ｔ11で強調処理を施したλ540画像を強調画像とし、時間ｔ14においては、時間ｔ13で強調処理を施したλ540画像を強調画像とする。このように、本変形例１では、今回判定したフレームにおいて強調処理を施したλ540画像と、前回強調処理を施したλ540画像とが、交互に強調画像として選択されることになる。
　以上説明した本変形例１によれば、各中心波長を有する複数の狭帯域光を含む同時発光により、互いに異なる複数の狭帯域光による狭帯域画像を取得するため、時系列に沿って表示される画像を強調して表示する際の強調画像のぶれを抑制するとともに、λ540画像に対して強調処理を施す頻度を大きくすることができる。
（実施の形態１の変形例２）
　次に、本発明の実施の形態１の変形例２について説明する。図６は、本発明の実施の形態１の変形例２に係る画像処理装置の機能構成を示すブロック図である。本変形例２に係る画像処理装置１Ａは、図１に示す演算部１００に代えて、演算部１００Ａを備える。演算部１００Ａは、図１に示す強調画像作成部１２０に代えて、強調画像作成部１２０Ａを備える。なお、強調画像作成部１２０Ａ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。
　強調画像作成部１２０Ａは、状態情報算出部１１０が算出した状態情報に基づいて、λ415画像、λ460画像及びλ630画像を基に抽出された情報をλ540画像に合成することにより、λ540画像に対して強調処理を施す。強調画像作成部１２０Ａは、位置合わせ部１２０ａと、強調量取得部１２０ｂとを備える。
　位置合わせ部１２０ａは、最新のλ540画像と、この最新のλ540画像より前のフレームにおけるλ540画像（以下、過去のλ540画像ともいう）との位置合わせを行う。位置合わせ部１２０ａは、公知の方法、例えば一方の画像をテンプレートとしたパターンマッチングにより位置合わせを行う。過去のλ540画像は、一つ前のフレームであってもよいし、設定された回数を遡ったフレームであってもよい。
　強調量取得部１２０ｂは、位置合わせ部１２０ａによる位置合わせ結果を基に、過去のλ540画像に設定された強調量を最新のλ540画像の位置に合わせて取得する。
　また、本変形例２において、更新判定部１１１ａは、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判定するとともに、強調対象の情報が高いコントラストで表れるλ415画像が最新のフレームにおける狭帯域画像であるか否かを判定する。換言すれば、λ415画像は、強調する情報の情報量、例えば強調したい血管の成分のコントラスト情報が他の狭帯域画像と比して相対的に多い狭帯域画像である。
　次に、画像処理装置１Ａの動作について説明する。画像処理装置１Ａは、図２に示すステップＳ１０～Ｓ１２と同様の流れで処理を行う。まず、画像取得部２０が、λ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
　その後、画像処理装置１Ａは、状態情報算出部１１０が、λ540画像及びλ415画像に関する状態情報を算出する。
　続いて、強調画像作成部１２０Ａが、λ540画像の強調画像を作成する。図７は、本発明の実施の形態１の変形例２における強調画像の作成処理を示すフローチャートである。
　ステップＳ１３１において、強調画像作成部１２０Ａは、状態情報算出部１１０が算出した状態情報を基に、λ415画像が最新のフレームにおける狭帯域画像であるか否かを判断する。
　強調画像作成部１２０Ａは、λ415画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ１３１：Ｙｅｓ）、このλ540画像に対して強調処理を施す（ステップＳ１３２）。強調画像作成部１２０Ａは、上述したように、λ460画像及びλ630画像に対するλ415画像の各差分に基づく強調量をλ540画像に合成する。強調画像作成部１２０Ａは、合成後のλ540画像を強調画像とする。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　これに対し、強調画像作成部１２０Ａは、λ415画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ１３１：Ｎｏ）、ステップＳ１３３に移行する。
　ステップＳ１３３において、強調画像作成部１２０Ａは、状態情報算出部１１０が算出した状態情報を基に、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判断する。
　強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ１３３：Ｙｅｓ）、ステップＳ１３４に移行する。
　ステップＳ１３４において、位置合わせ部１２０ａは、最新のフレームのλ540画像と、過去のλ540画像との位置合わせを行う。
　ステップＳ１３４に続くステップＳ１３５において、強調画像作成部１２０Ａは、位置合わせ部１２０ａによる位置合わせ結果を基に、最新のフレームのλ540画像に対する強調処理を実行する。具体的に、強調量取得部１２０ｂが、位置合わせ部１２０ａによる位置合わせ結果を基に、過去のλ540画像に設定された強調量を最新のλ540画像の位置に合わせて取得する。強調画像作成部１２０Ａは、強調量取得部１２０ｂが取得した強調量に基づいて、最新のフレームのλ540画像に対する強調処理を実行する。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　一方、強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ１３３：Ｎｏ）、前回作成した強調画像であるλ540画像を取得し、この取得したλ540画像を最新のフレームにおける強調画像とする（ステップＳ１３６）。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　本変形例２では、上述したステップＳ１３２，Ｓ１３５，Ｓ１３６により、λ540画像及びλ415画像の更新状況に応じた強調画像が作成される。
　以上説明した本変形例２によれば、強調画像作成部１２０Ａが、強調対象の狭帯域画像であるλ540画像と、強調すべき情報の情報量が多いλ415画像との更新状況に応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像に関する情報を今回の強調画像に反映するかのいずれかを実行するようにしたので、取得した画像に応じて適切な強調画像を生成するとともに、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
　なお、本変形例２において、強調対象の情報が高いコントラストで表れる狭帯域画像は、事前に設定されており、例えば、λ415画像として設定されている。設定する狭帯域画像は、一つに限定する必要は無く、例えば、λ415画像とλ460画像のように二つの狭帯域画像を設定してもよい。
　本変形例２では、λ540画像が更新された場合に、過去の強調量を利用して最新のλ540画像を強調する方法を例示したが、λ540画像が更新された場合に、前回作成した強調画像を最新のフレームにおける強調画像としてもよい。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。図８に示すように、本実施の形態２に係る画像処理装置１Ｂは、図６に示す演算部１００Ａに代えて、演算部１００Ｂを備える。演算部１００Ｂは、図６に示す状態情報算出部１１０に代えて、状態情報算出部１１０Ａを備える。なお、状態情報算出部１１０Ａ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１の変形例２と同様である。
　状態情報算出部１１０Ａは、狭帯域画像の時系列情報を算出する時系列情報算出部１１１Ａを備える。時系列情報算出部１１１Ａは、強調に利用する狭帯域画像の更新状態を判定する更新判定部１１１ｂを備える。
　更新判定部１１１ｂは、最新のフレームにおける狭帯域画像が、上述したλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるかを判定する。
　更新判定部１１１ｂは、強調処理に利用する重みの設定を行う重み設定部１１１１を備える。重み設定部１１１１が設定する重みは、強調する情報の情報量に基づいて各狭帯域画像に対して設定される値である。重みは、例えば、強調する情報のコントラストが高い狭帯域画像ほど大きくなるよう設定されている。具体的には、λ415画像で強く表れる血管を強調する情報として抽出する場合、この血管のコントラストが高いλ415画像での重みが最も大きくなる。本実施の形態２では、重み設定部１１１１は、事前に設定されている値を取得する。本実施の形態２に係る重みは、強調処理を行うか否かの判定を行うための判定値として機能する。
　状態情報算出部１１０Ａは、更新判定部１１１ｂの判定結果から、最新のフレームにおける狭帯域画像がλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるか判定する。その後、重み設定部１１１１が最新のフレームで更新された狭帯域画像の重みを設定し、状態情報算出部１１０Ａが、この設定された重みを状態情報として算出する。なお、上述した同時光によって複数の狭帯域画像が同時に取得された場合は、各狭帯域画像に設定されている重みを合計し、この合計値を状態情報とする。
　次に、画像処理装置１の動作について説明する。図９は、画像処理装置１Ｂが行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像取得部２０は、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像であるλ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
　続くステップＳ２１において、状態情報算出部１１０Ａは、狭帯域画像に関する状態情報を算出する。図１０は、本発明の実施の形態２における状態情報の算出処理を示すフローチャートである。
　ステップＳ２１１において、更新判定部１１１ｂは、最新のフレームにおける狭帯域画像の種類を判定する。具体的には、更新判定部１１１ｂは、最新のフレームにおける狭帯域画像がλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるかを判定する。
　ステップＳ２１１に続くステップＳ２１２において、重み設定部１１１１は、更新判定部１１１ｂの判定結果に基づいて、更新された狭帯域画像に対応する重みを取得する。状態情報算出部１１０Ａは、最新のフレームで更新された狭帯域画像の重みを取得し、この取得した重みを状態情報として設定する。
　続くステップＳ２２において、強調画像作成部１２０Ａが、λ540画像の強調画像を作成する。図１１は、本発明の実施の形態２における強調画像の作成処理を示すフローチャートである。
　ステップＳ２２１において、強調画像作成部１２０Ａは、状態情報算出部１１０Ａが算出した状態情報が閾値以上であるか否かを判断する。具体的に、強調画像作成部１２０Ａは、状態情報として設定された重みが、予め設定されている閾値以上であるか否かを判断する。閾値としては、例えば最も大きい重みに応じた値が設定されている。
　強調画像作成部１２０Ａは、重みが閾値以上であると判定されている場合（ステップＳ２２１：Ｙｅｓ）、このλ540画像に対して強調処理を施す（ステップＳ２２２）。強調画像作成部１２０Ａは、上述したように、λ460画像及びλ630画像に対するλ415画像の各差分に基づく強調量をλ540画像に合成する。強調画像作成部１２０Ａは、合成後のλ540画像を強調画像とする。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　これに対し、強調画像作成部１２０は、重みが閾値より小さいと判定されている場合（ステップＳ２２１：Ｎｏ）、ステップＳ２２３に移行する。
　ステップＳ２２３において、強調画像作成部１２０Ａは、状態情報算出部１１０Ａが算出した状態情報を基に、強調対象の狭帯域画像であるλ540画像が最新のフレームにおける狭帯域画像であるか否かを判断する。
　強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像であると判定されている場合（ステップＳ２２３：Ｙｅｓ）、ステップＳ２２４に移行する。
　ステップＳ２２４において、位置合わせ部１２０ａは、最新のフレームのλ540画像と、過去のλ540画像との位置合わせを行う。
　ステップＳ２２４に続くステップＳ２２５において、強調画像作成部１２０Ａは、位置合わせ部１２０ａによる位置合わせ結果を基に、最新のλ540画像に対する強調処理を実行する。具体的に、強調量取得部１２０ｂが、位置合わせ部１２０ａによる位置合わせ結果を基に、過去のλ540画像に設定された強調量を最新のλ540画像の位置に合わせて取得する。強調画像作成部１２０Ａは、強調量取得部１２０ｂが取得した強調量に基づいて、最新のフレームのλ540画像に対する強調処理を実行する。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　一方、強調画像作成部１２０Ａは、λ540画像が最新のフレームにおける狭帯域画像ではないと判定されている場合（ステップＳ２２３：Ｎｏ）、前回作成した強調画像であるλ540画像を取得し、このλ540画像を最新のフレームにおける強調画像とする（ステップＳ２２６）。その後、制御部１０は、メインルーチンに戻り、画像処理を終了する。また、制御部１０は、強調処理が施されたλ540画像を表示部４０に表示させる制御を行う。
　本実施の形態２では、上述したステップＳ２２２，Ｓ２２５，Ｓ２２６により、狭帯域画像の更新状況に応じた強調画像が作成される。
　以上説明した本実施の形態２によれば、強調画像作成部１２０Ａが、重み付けがなされた狭帯域画像の更新状況に応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像に関する情報を今回の強調画像に反映するかのいずれかを実行するようにしたので、取得した画像に応じて適切な強調画像を生成するとともに、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
　なお、上述した実施の形態２では、強調対象の情報のコントラストに基づいて重みを設定したが、強調対象の画像が他の画像より重みが大きくなるよう設定してもよい。
（実施の形態２の変形例１）
　次に、本発明の実施の形態２の変形例１について説明する。上述した実施の形態２では、予め設定された重みを用いるものとして説明した。本変形例１では、観察モードや設定入力されている条件に応じて適応的に重みの設定を行う。
　図１２は、本発明の実施の形態２の変形例１における状態情報の算出処理を示すフローチャートである。ステップＳ２１３において、重み設定部１１１１は、更新判定部１１１ｂの判定結果に基づいて、更新された狭帯域画像に対応する重みの設定を行う。重み設定部１１１１は、観察モードや設定入力されている条件に応じて各狭帯域画像に対して重みの設定を行う。例えば、表層の血管を観察するモードや、深部の血管を観察するモード等、観察対象の血管の情報のコントラストが高い狭帯域画像の重みが大きくなるような重みの設定を行う。
　ステップＳ２１３に続くステップＳ２１１において、更新判定部１１１ｂは、最新のフレームにおける狭帯域画像であるがλ415画像、λ460画像、λ540画像及びλ630画像のいずれであるかを判定する。
　ステップＳ２１１に続くステップＳ２１２において、重み設定部１１１１は、更新判定部１１１ｂの判定結果に基づいて、最新のフレームにおける狭帯域画像に対応する重みを取得する。状態情報算出部１１０Ａは、最新のフレームにおける狭帯域画像の重みを取得し、この取得した重みを状態情報として設定する。
　このように、観察対象に応じて適応的に重みを設定するようにして、観察中に適宜設定されるモードに応じて、強調処理の設定を変更するようにしてもよい。
（実施の形態２の変形例２）
　次に、本発明の実施の形態２の変形例２について説明する。図１３は、本発明の実施の形態２の変形例２に係る画像処理装置の機能構成を示すブロック図である。本変形例２に係る画像処理装置１Ｃは、図８に示す演算部１００Ｂに代えて、演算部１００Ｃを備える。演算部１００Ｃは、図８に示す状態情報算出部１１０Ａに代えて、状態情報算出部１１０Ｂを備える。なお、状態情報算出部１１０Ｂ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態２と同様である。
　状態情報算出部１１０Ｂは、狭帯域画像の時系列情報を算出する時系列情報算出部１１１Ｂを備える。時系列情報算出部１１１Ｂは、強調に利用される画像における最新の狭帯域画像と、この最新の狭帯域画像よりも過去の狭帯域画像との更新状況を種類ごとに判定する更新判定部１１１ｃを備える。
　更新判定部１１１ｃは、強調処理に利用する重みの設定を行う重み設定部１１１１と、時系列で最新の狭帯域画像と、各種類の最新の狭帯域画像との時系列的な距離を算出する時系列距離算出部１１１２とを備える。時系列距離算出部１１１２が算出する時系列的な距離とは、時間軸でみたときの距離であり、具体的には各画像がこれまでに最も新しく更新されたフレームと、時系列で最新のフレームとの間のフレーム数である。時系列距離算出部１１１２は、例えば、時系列で最新のフレームがλ540画像である場合、このλ540画像と、記憶部５０に記憶されている各種類の最新のλ415画像、λ460画像、λ540画像及びλ630画像との間のフレーム数をそれぞれ算出する。ここでいう更新状況とは、最新の狭帯域画像に対して経時的に変化する各種類の狭帯域画像の距離のことをいう。なお、時系列的な距離が算出されるのであれば他の方法でもよく、例えば、各種類の最新の狭帯域画像を撮像した時刻と、時系列で最新の狭帯域画像を撮像した時刻との差分である経過時間を算出してもよい。
　状態情報算出部１１０Ｂは、時系列距離算出部１１１２により算出された時系列的な距離と、各狭帯域画像に対して設定されている重みとをそれぞれ乗算した後、各乗算結果を合計し、この合計値を状態情報とする。本実施の形態２の変形例２に係る重みは、強調処理を行うか否かの判定を行うための判定値を算出するための重み付け係数として機能する。
　次に、本発明の実施の形態２の変形例２における状態情報の算出処理について説明する。図１４は、本発明の実施の形態２の変形例２における状態情報の算出処理を示すフローチャートである。
　ステップＳ２１４において、時系列距離算出部１１１２は、最新のフレームにおける狭帯域画像と、記憶部５０に記憶されている各種類の最新のλ415画像、λ460画像、λ540画像及びλ630画像の間の時系列的な距離をそれぞれ算出する。
　ステップＳ２１４に続くステップＳ２１５において、状態情報算出部１１０Ｂは、時系列距離算出部１１１２により算出された時系列的な距離と、重み設定部１１１１により設定され、各狭帯域画像に対して設定されている重みとをそれぞれ乗算した後、各乗算結果である合計値を算出する。
　このように、最新のフレームで更新された狭帯域画像と、前回更新されたλ415画像、λ460画像、λ540画像及びλ630画像の間の時系列的な距離を算出するようにして、時系列的な距離と重みとに基づく状態情報により、強調処理の設定を変更するようにしてもよい。この際、強調画像作成部１２０は、合計値が閾値以下であるとの判定結果であれば図１１のステップＳ２２２に移行し、合計値が閾値より大きいとの判定結果であれば図１１のステップＳ２２３に移行する。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図１５は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。図１５に示すように、本実施の形態３に係る画像処理装置１Ｄは、図６に示す演算部１００Ａに代えて、演算部１００Ｄを備える。演算部１００Ｄは、図６に示す状態情報算出部１１０に代えて、状態情報算出部１１０Ｃを備える。なお、状態情報算出部１１０Ｃ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１の変形例２と同様である。
　状態情報算出部１１０Ｃは、強調対象の狭帯域画像と、他の狭帯域画像の画像との間の被写体の差異に関する情報を算出する画像間情報算出部１１２を備える。画像間情報算出部１１２は、強調対象の狭帯域画像に対する他の狭帯域画像の被写体の動きを推定する動き推定部１１２ａを備える。動き推定部１１２ａは、例えば、画像中の局所領域毎にブロックマッチング法を利用して動き量を算出し、その平均値を動き量とする。動き推定部１１２ａは、強調対象であるλ540画像と、他の狭帯域画像であるλ415画像、λ460画像及びλ630画像との間の動き量をそれぞれ算出する。
　状態情報算出部１１０Ｃは、動き推定部１１２ａによりそれぞれ算出された他の狭帯域画像の動き量の合計値を算出する。
　次に、画像処理装置１Ｄの動作について説明する。図１６は、画像処理装置１Ｄが行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像取得部２０は、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光によりそれぞれ撮像された四つの狭帯域画像であるλ415画像、λ460画像、λ540画像及びλ630画像を順次取得する。
　続くステップＳ３１において、状態情報算出部１１０Ｃは、狭帯域画像に関する状態情報を算出する。図１７は、本発明の実施の形態３における状態情報の算出処理を示すフローチャートである。
　ステップＳ３１１において、動き推定部１１２ａは、強調対象であるλ540画像と、他の狭帯域画像であるλ415画像、λ460画像及びλ630画像との間の動き量をそれぞれ算出する。
　ステップＳ３１１に続くステップＳ３１２において、状態情報算出部１１０Ｃは、動き推定部１１２ａによりそれぞれ算出された他の狭帯域画像の動き量の合計値を算出する。
　続くステップＳ３２において、強調画像作成部１２０Ａが、λ540画像の強調画像を作成する。ステップＳ３２では、図１１に示すフローチャートに沿ってλ540画像の強調画像を作成する。この際、強調画像作成部１２０Ａは、合計値が閾値以下であるとの判定結果であれば図１１のステップＳ２２２に移行し、合計値が閾値より大きいとの判定結果であれば図１１のステップＳ２２３に移行する。
　以上説明した本実施の形態３によれば、強調画像作成部１２０Ａが、強調対象の狭帯域画像に対する他の狭帯域画像の画像間の動きに応じて、λ540画像に対して強調処理を施すか、前回強調処理を施したλ540画像に関する情報を今回の強調画像に反映するかのいずれかを実行するようにしたので、取得した画像に応じて適切な強調画像を生成するとともに、時系列に沿って表示する画像に対して強調処理を施す際の強調画像のぶれを抑制することができる。
（実施の形態３の変形例）
　次に、本発明の実施の形態３の変形例について説明する。図１８は、本発明の実施の形態３の変形例に係る画像処理装置の機能構成を示すブロック図である。本変形例に係る画像処理装置１Ｅは、図１５に示す演算部１００Ｄに代えて、演算部１００Ｅを備える。演算部１００Ｅは、図１５に示す状態情報算出部１１０Ｃに代えて、状態情報算出部１１０Ｄを備える。なお、状態情報算出部１１０Ｄ以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態３と同様である。
　状態情報算出部１１０Ｄは、強調対象の狭帯域画像に対する他の狭帯域画像の画像間の情報を算出する画像間情報算出部１１２Ａを備える。画像間情報算出部１１２Ａは、強調に利用する画像と他の画像との位置合わせを行う位置合わせ部１１２ｂと、位置合わせ結果の確からしさを表す評価値を算出する位置合わせ評価部１１２ｃとを備える。
　位置合わせ部１１２ｂは、例えば、上述した実施の形態３と同様にブロックマッチング法で局所領域毎に動き量を推定する。位置合わせ部１１２ｂは、強調対象であるλ540画像と、他の狭帯域画像であるλ415画像、λ460画像及びλ630画像との間の動き量をそれぞれ算出する。その後、位置合わせ部１１２ｂは、動き量に合わせて領域を平行移動させる。
　位置合わせ評価部１１２ｃは、例えば、位置合わせ後の画像間における正規化相互相関をそれぞれ算出する。位置合わせ評価部１１２ｃは、算出した正規化相互相関に基づいて、位置合わせ結果が良好なほど高い値となるような評価値を算出する。状態情報算出部１１０Ｄは、位置合わせ評価部１１２ｃが算出した評価値を状態情報とする。
　次に、本発明の実施の形態３の変形例における状態情報の算出処理について説明する。図１９は、本発明の実施の形態３の変形例における状態情報の算出処理を示すフローチャートである。
　ステップＳ３１４において、位置合わせ部１１２ｂは、強調に利用する画像と他の画像との位置合わせを行う。位置合わせ部１１２ｂは、位置合わせ結果を位置合わせ評価部１１２ｃに出力する。
　ステップＳ３１４に続くステップＳ３１５において、位置合わせ評価部１１２ｃは、位置合わせ結果の確からしさを表す評価値を算出する。位置合わせ評価部１１２ｃは、位置合わせ結果が良好なほど高い値となるような評価値を算出する。
　その後は、この評価値と、閾値とを比較することにより、図１１に示すフローチャートに沿ってλ540画像の強調画像を作成する。
　このように、最新のフレームにおける狭帯域画像と、前回更新されたλ415画像、λ460画像、λ540画像及びλ630画像の間の時系列的な距離を算出するようにして、時系列的な距離と重みとに基づく状態情報により、強調処理の設定を変更するようにしてもよい。
（その他の実施の形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～３によってのみ限定されるべきものではない。例えば、実施の形態１～３では、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心波長とする四つの狭帯域光により取得される狭帯域画像を用いるものとして説明したが、種類が互いに異なる光により取得される画像であれば適用可能である。具体的には、波長成分の分布、例えば中心波長が互いに異なる光により取得される画像であればよい。また、上述した実施の形態１～３では、λ540画像を強調して表示するものとして説明したが、これに限定されない。例えば、他の波長帯域の画像を強調するようにしてもよいし、強調されたλ540画像と他の波長帯域の画像とを組み合わせて表示画像を作成して表示部４０に表示するようにしてもよい。本発明はここでは記載していない様々な実施の形態等を含み得るものである。
　以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、取得した画像に応じて適切な強調画像を生成するのに有用である。
　１，１Ａ～１Ｅ　画像処理装置
　１０　制御部
　２０　画像取得部
　３０　入力部
　４０　表示部
　５０　記憶部
　５１　プログラム記憶部
　１００，１００Ａ～１００Ｅ　演算部
　１１０，１１０Ａ～１１０Ｄ　状態情報算出部
　１１１，１１１Ａ，１１１Ｂ　時系列情報算出部
　１１１ａ，１１１ｂ，１１１ｃ　更新判定部
　１１２，１１２Ａ　画像間情報算出部
　１１２ａ　動き推定部
　１１２ｂ，１２０ａ　位置合わせ部
　１１２ｃ　位置合わせ評価部
　１２０，１２０Ａ　強調画像作成部
　１２０ｂ　強調量取得部
　１１１１　重み設定部
　１１１２　時系列距離算出部

Claims (22)

  1. 　互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置において、
    　前記複数の画像を取得する画像取得部と、
    　前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出部と、
    　前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に対して強調処理を施すことによって強調画像を作成する強調画像作成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記状態情報算出部は、
    　前記強調に利用される少なくとも一つの画像の時系列的な状態を表す情報を算出する時系列情報算出部、
    　を備えることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記時系列情報算出部は、
    　新たに取得された画像が、前記強調に利用される画像のうちの予め設定されている種類の画像であるか否かを判定する更新判定部、
    　を備え、
    　前記更新判定部による判定結果に基づいて前記予め設定されている画像の時系列的な状態を表す情報を算出する
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記更新判定部は、前記強調対象の画像が新たに取得されたか否かを判定する
    　ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記更新判定部は、前記強調に利用される画像において前記強調する情報を相対的に多く含む画像が新たに取得されたか否かを判定する
    　ことを特徴とする請求項３に記載の画像処理装置。
  6. 　前記更新判定部は、
    　前記強調に利用される画像に対して重みを設定する重み設定部、
    　を備え、
    　前記更新判定部は、前記画像取得部が取得した画像の前記重みに基づいて、最新の画像が、前記強調に利用される画像のうちの予め設定されている種類の画像であるか否かを判定する
    　ことを特徴とする請求項３に記載の画像処理装置。
  7. 　前記重みは、前記強調に利用される前記画像における前記強調する情報の情報量に基づいて設定されている
    　ことを特徴とする請求項６に記載の画像処理装置。
  8. 　前記重み設定部は、前記強調対象の画像の重みを他の画像の重みより大きく設定する
    　ことを特徴とする請求項６に記載の画像処理装置。
  9. 　前記時系列情報算出部は、
    　最新の画像と、該最新の画像よりも過去の画像とにおける前記強調に利用される画像の更新状況を判定する更新判定部、
    　を備え、
    　前記更新判定部による判定結果に基づいて前記予め設定されている画像の時系列的な状態を表す情報を算出する
    　ことを特徴とする請求項２に記載の画像処理装置。
  10. 　前記更新判定部は、
    　前記強調に利用される画像の最新の画像と、時系列で最新の画像との間の時系列的な距離を前記種類ごとに算出する時系列距離算出部、
    　を有することを特徴とする請求項９に記載の画像処理装置。
  11. 　前記更新判定部は、
    　前記強調に利用される画像に対して重みを設定する重み設定部、
    　をさらに備え、
    　前記更新判定部は、前記時系列的な距離と前記重みとに基づいて更新を判定する
    　ことを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記重みは、前記強調に利用される前記画像における前記強調する情報の情報量に基づいて設定されている
    　ことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記重み設定部は、前記強調対象の画像の重みを他の画像の重みより大きく設定する
    　ことを特徴とする請求項１１に記載の画像処理装置。
  14. 　前記状態情報算出部は、
    　前記種類が異なる複数の画像の間における被写体の差異を基に情報を算出する画像間情報算出部、
    　を備えることを特徴とする請求項１に記載の画像処理装置。
  15. 　前記画像間情報算出部は、
    　前記強調に利用される複数の画像の間における前記被写体の動きを推定する動き推定部、
    　を備え、
    　前記画像間情報算出部は、前記動き推定部が推定した前記動きを基に、前記情報を算出する
    　ことを特徴とする請求項１４に記載の画像処理装置。
  16. 　前記画像間情報算出部は、
    　前記強調に利用される複数の画像の間で前記被写体の位置合わせを行う位置合わせ部と、
    　前記位置合わせの結果の確からしさを評価する位置合わせ評価部と、
    　を備え、
    　前記画像間情報算出部は、前記位置合わせ評価部による評価結果を基に、前記情報を算出する
    　ことを特徴とする請求項１４に記載の画像処理装置。
  17. 　前記強調画像作成部は、前回作成した強調画像を最新のフレームにおける強調画像として設定する
    　ことを特徴とする請求項１に記載の画像処理装置。
  18. 　前記強調画像作成部は、
    　最新の強調対象の画像と、該最新の強調対象の画像よりも時系列で前の強調対象の画像との間の位置合わせを行う位置合わせ部と、
    　前記位置合わせ結果を基に前記時系列で前の強調対象の画像に設定された強調量を取得する強調量取得部と、
    　を備え、前記状態情報算出部が算出した情報を基に、前記強調量取得部が取得した前記強調量に基づいて前記最新の強調対象の画像に対して強調処理を施す
    　ことを特徴とする請求項１に記載の画像処理装置。
  19. 　前記画像取得部は、中心波長が互いに異なる狭帯域光により撮像された狭帯域画像を取得する
    　ことを特徴とする請求項１に記載の画像処理装置。
  20. 　前記強調画像作成部は、前記強調に利用される画像から選択された複数の画像間の変化量に基づいて前記強調対象の画像に対して強調処理を施す
    　ことを特徴とする請求項１に記載の画像処理装置。
  21. 　互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動方法であって、
    　画像取得部が、前記複数の画像を取得する画像取得ステップと、
    　状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出ステップと、
    　強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成ステップと、
    　を含むことを特徴とする画像処理装置の作動方法。
  22. 　互いに種類が異なり、かつ少なくとも一つが他と異なる時間に撮像されている複数の画像を用いて特定の画像に強調処理を施す画像処理装置の作動プログラムであって、
    　画像取得部が、前記複数の画像を取得する画像取得手順と、
    　状態情報算出部が、前記複数の画像のうちの強調に利用される少なくとも一つの画像の状態を示す情報を算出する状態情報算出手順と、
    　強調画像作成部が、前記状態を示す情報と、前記複数の画像とを基に強調対象の画像に強調処理を施すことによって強調画像を作成する強調画像作成手順と、
    　をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。
PCT/JP2016/068540 2016-06-22 2016-06-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム WO2017221353A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/068540 WO2017221353A1 (ja) 2016-06-22 2016-06-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2018523214A JP6894894B2 (ja) 2016-06-22 2016-06-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US16/218,831 US10891743B2 (en) 2016-06-22 2018-12-13 Image processing device, operation method performed by image processing device and computer readable recording medium for performing different enhancement processings based on context of update determined from latest image acquired

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068540 WO2017221353A1 (ja) 2016-06-22 2016-06-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/218,831 Continuation US10891743B2 (en) 2016-06-22 2018-12-13 Image processing device, operation method performed by image processing device and computer readable recording medium for performing different enhancement processings based on context of update determined from latest image acquired

Publications (1)

Publication Number Publication Date
WO2017221353A1 true WO2017221353A1 (ja) 2017-12-28

Family

ID=60783839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068540 WO2017221353A1 (ja) 2016-06-22 2016-06-22 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Country Status (3)

Country Link
US (1) US10891743B2 (ja)
JP (1) JP6894894B2 (ja)
WO (1) WO2017221353A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019244248A1 (ja) * 2018-06-19 2021-05-13 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
EP3858222A4 (en) * 2018-09-28 2021-11-03 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD, PROGRAM, DIAGNOSTIC SUPPORT DEVICE AND ENDOSCOPE SYSTEM

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018155560A1 (ja) * 2017-02-24 2018-08-30 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131620A1 (ja) * 2009-05-14 2010-11-18 オリンパスメディカルシステムズ株式会社 撮像装置
JP5362149B1 (ja) * 2012-03-30 2013-12-11 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2014161639A (ja) * 2013-02-27 2014-09-08 Fujifilm Corp 光源装置、及びこれを用いた内視鏡システム
JP2015047402A (ja) * 2013-09-03 2015-03-16 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2015070946A (ja) * 2013-10-03 2015-04-16 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807487B2 (ja) * 1988-11-02 1998-10-08 オリンパス光学工業株式会社 内視鏡装置
WO2003003301A2 (en) * 2001-06-29 2003-01-09 Nanoptics, Inc. Method and apparatus for image processing and display
US20070140538A1 (en) * 2005-12-20 2007-06-21 James Doran Method for processing unenhanced medical images
GB2456487A (en) * 2007-01-09 2009-07-22 Sony Uk Ltd Image processing using RGB local mean and mapping of candidate colour components onto a possible dynamic range
TWI407575B (zh) * 2009-05-12 2013-09-01 Univ Tsukuba A semiconductor device, a method for manufacturing the same, and a solar battery
JP5501210B2 (ja) 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
JP5159904B2 (ja) * 2011-01-11 2013-03-13 富士フイルム株式会社 内視鏡診断装置
JP5435746B2 (ja) * 2011-01-24 2014-03-05 富士フイルム株式会社 内視鏡装置
JP5335017B2 (ja) * 2011-02-24 2013-11-06 富士フイルム株式会社 内視鏡装置
CN103796566B (zh) * 2011-09-05 2017-06-06 富士胶片株式会社 内窥镜系统和图像显示方法
JP5951211B2 (ja) * 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置
JP6128888B2 (ja) * 2013-02-27 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
TWI482147B (zh) * 2013-04-02 2015-04-21 Qisda Corp 影像處理方法及影像顯示裝置
US10039439B2 (en) * 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
JP2019512188A (ja) * 2016-02-22 2019-05-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被写体の向上された被写界深度の合成２ｄ画像を生成する装置
JP6525918B2 (ja) * 2016-04-20 2019-06-05 富士フイルム株式会社 内視鏡システム、画像処理装置、及び画像処理装置の作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131620A1 (ja) * 2009-05-14 2010-11-18 オリンパスメディカルシステムズ株式会社 撮像装置
JP5362149B1 (ja) * 2012-03-30 2013-12-11 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2014161639A (ja) * 2013-02-27 2014-09-08 Fujifilm Corp 光源装置、及びこれを用いた内視鏡システム
JP2015047402A (ja) * 2013-09-03 2015-03-16 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2015070946A (ja) * 2013-10-03 2015-04-16 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019244248A1 (ja) * 2018-06-19 2021-05-13 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP7163386B2 (ja) 2018-06-19 2022-10-31 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
EP3858222A4 (en) * 2018-09-28 2021-11-03 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD, PROGRAM, DIAGNOSTIC SUPPORT DEVICE AND ENDOSCOPE SYSTEM
EP4285809A3 (en) * 2018-09-28 2024-02-21 FUJIFILM Corporation Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system
US11910994B2 (en) 2018-09-28 2024-02-27 Fujifilm Corporation Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system

Also Published As

Publication number Publication date
US10891743B2 (en) 2021-01-12
JP6894894B2 (ja) 2021-06-30
US20190114792A1 (en) 2019-04-18
JPWO2017221353A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
EP2962623A1 (en) Image processing device, image processing method, and image processing program
WO2017221353A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Gross et al. Segmentation of blood vessel structures in retinal fundus images with Logarithmic Gabor filters
JP7229996B2 (ja) 流れを視覚化するための機械学習を使用したスペックルコントラスト分析
CN104880412B (zh) 新鲜度信息输出方法和新鲜度信息输出装置
EP3829416B1 (en) Method and system for augmented imaging in open treatment using multispectral information
US11721086B2 (en) Image processing system and image processing method
US20090062641A1 (en) Method and system for catheter detection and tracking in a fluoroscopic image sequence
de Iorio et al. Automatic detection of intestinal juices in wireless capsule video endoscopy
JP2014161672A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112770660B (zh) 增强彩色图像中的血管可见性
US8086006B2 (en) Method and system for evaluating image segmentation based on visibility
US11206991B2 (en) Systems and methods for processing laser speckle signals
US20170311774A1 (en) Image processing apparatus, image processing method, and image processing program
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US20190150848A1 (en) Image processing apparatus, operation method performed by image processing apparatus and recording medium
WO2016185733A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021163603A1 (en) Systems and methods for processing laser speckle signals
US8774521B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
WO2018198251A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
KR101413853B1 (ko) 적외선 영상을 이용한 생체 신호 측정 방법 및 장치
KR101827827B1 (ko) Oct영상 후처리 방법
JP7478245B2 (ja) 医療画像装置及びその作動方法
den Brinkera et al. Model-based camera-PPG
WO2023195148A1 (ja) 脈波推定装置、状態推定装置、及び、脈波推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16906270

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018523214

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16906270

Country of ref document: EP

Kind code of ref document: A1