WO2013051593A1 - 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2013051593A1
WO2013051593A1 PCT/JP2012/075611 JP2012075611W WO2013051593A1 WO 2013051593 A1 WO2013051593 A1 WO 2013051593A1 JP 2012075611 W JP2012075611 W JP 2012075611W WO 2013051593 A1 WO2013051593 A1 WO 2013051593A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
noise reduction
unit
stationary state
Prior art date
Application number
PCT/JP2012/075611
Other languages
English (en)
French (fr)
Inventor
順平 高橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP12838593.7A priority Critical patent/EP2764819B1/en
Priority to CN201280048859.9A priority patent/CN103889305B/zh
Publication of WO2013051593A1 publication Critical patent/WO2013051593A1/ja
Priority to US14/226,597 priority patent/US9613402B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an image processing apparatus, an endoscope apparatus, an image processing method, an image processing program, and the like.
  • NR processing The noise reduction processing (hereinafter referred to as NR processing) can be roughly classified into two types: spatial direction NR processing in which NR processing is performed in a processing frame, and time direction NR processing in which NR processing is performed using processing frames and past frames. There is one.
  • Patent Document 1 discloses a method of determining a stationary state and an operating state of an image, and switching between time direction NR processing and space direction NR processing according to the determination result. For the determination of the stationary state and the operating state, the difference value calculated between the frames is used, and when the difference value is smaller than the threshold, the stationary state is determined, and when larger, the operating state is determined.
  • the difference value calculated between the frames is characterized by changing depending on the amount of noise contained in the image.
  • the threshold value is a fixed value, and the difference value depending on the noise amount is determined with a fixed value, so it is difficult to accurately determine the stationary state and the operating state.
  • Patent Document 1 does not describe an appropriate threshold for a difference value depending on the noise amount.
  • an image processing apparatus an endoscope apparatus, an image processing method, an image processing program, and the like that can determine with high accuracy whether or not an image is in a stationary state.
  • an evaluation value calculator configured to calculate an evaluation value for determining whether or not a subject on a captured image is in a stationary state between frames, and estimation to obtain an estimated noise amount of the captured image. If it is determined that the stationary state is determined based on the noise amount acquisition unit, the determination unit that determines whether or not the stationary state is based on the evaluation value and the estimated noise amount, time direction
  • the first noise reduction process which is a noise reduction process, is performed on the captured image, and when it is determined that the image is not in the stationary state, the second noise reduction process including the noise reduction process at least in the spatial direction is performed
  • an image processing apparatus including a noise reduction processing unit to perform on an image.
  • the estimated noise amount of the captured image is acquired, and it is determined whether the subject on the captured image is in a stationary state between frames based on the evaluation value and the estimated noise amount. .
  • the first noise reduction processing or the second noise reduction processing is performed on the captured image. This makes it possible to determine with high accuracy whether the image is stationary.
  • Another aspect of the present invention is an imaging unit configured to capture a captured image, and an evaluation value calculating unit configured to calculate an evaluation value for determining whether a subject on the captured image is in a stationary state between frames.
  • a determination unit that determines whether or not the camera is in the stationary state based on the estimated noise amount acquisition unit that acquires the estimated noise amount of the captured image, the evaluation value and the estimated noise amount, and the stationary state If it is determined that the first noise reduction processing, which is a noise reduction processing in the time direction, is performed on the captured image, and if it is determined that the stationary state is not present, the noise reduction processing at least in the space direction is performed.
  • a noise reduction processing unit that performs a second noise reduction process on the captured image.
  • an evaluation value for determining whether or not a subject on a captured image is in a stationary state between frames is calculated, the estimated noise amount of the captured image is acquired, and the evaluation value is obtained. It is determined based on the estimated noise amount whether or not the camera is in the stationary state, and if it is determined that the stationary state is selected, the first noise reduction processing, which is noise reduction processing in the time direction, is performed.
  • the present invention relates to an image processing method for performing the second noise reduction processing including at least the noise reduction processing in the spatial direction on the captured image when it is determined that the captured image is not in the stationary state.
  • a method of calculating an evaluation value for determining whether or not a subject on a captured image is in a stationary state between frames, and obtaining an estimated noise amount of the captured image A noise reduction process in a time direction performed when it is determined that the stationary state is determined based on the evaluation value and the estimated noise amount; Performing the first noise reduction process on the captured image, and performing the second noise reduction process on the captured image including the noise reduction process at least in the spatial direction when it is determined that the stationary state is not present
  • an image processing program that causes a computer to execute
  • FIG. 1 is a structural example of the endoscope system in 1st Embodiment.
  • FIG. 2 shows an example of the arrangement configuration of color filters of an imaging device.
  • FIG. 3 shows an example of transmittance characteristics of a color filter of an imaging device.
  • FIG. 4 is a detailed configuration example of the noise reduction unit in the first embodiment.
  • FIG. 5 is a flowchart of noise reduction processing in the first embodiment.
  • FIG. 6A shows an example of a structural component included in an image signal.
  • FIG. 6B shows an example of noise components included in the image signal.
  • FIGS. 7A to 7C are explanatory diagrams of inter-frame difference value mSAD.
  • FIGS. 8A to 8C are explanatory diagrams of inter-frame difference value mSAD.
  • FIG. 9 is a characteristic example of the noise amount in the image.
  • FIG. 10 is a second flowchart of the noise reduction process in the first embodiment.
  • FIG. 11 is a configuration example of an endoscope system according to a second embodiment.
  • FIG. 12 is an explanatory view of a front visual field area and a side visual field area.
  • FIG. 13 is an explanatory diagram of area determination processing.
  • FIG. 14 is a detailed configuration example of the noise reduction unit in the second embodiment.
  • FIG. 15 is a flowchart of noise reduction processing according to the second embodiment.
  • FIG. 16 is a configuration example of an endoscope system according to a third embodiment.
  • FIG. 17 is an example of transmittance characteristics of a narrow band filter.
  • FIG. 18 is a detailed configuration example of the noise reduction unit in the third embodiment.
  • FIG. 19 is a flowchart of noise reduction processing in the third embodiment.
  • FIG. 20 is a structural example of the endoscope system in 4th Embodiment.
  • the stationary state refers to a state in which the relative positional relationship between the imaging unit and the subject does not change temporally.
  • the operating state represents a state in which the relative positional relationship between the imaging unit and the subject temporally changes.
  • NR processing includes spatial direction NR processing and time direction NR processing.
  • the spatial direction NR processing noise is reduced by weighted averaging processing using a pixel to be subjected to the NR processing (a processing target pixel) and pixels in the periphery thereof.
  • weighted averaging with peripheral pixels is performed, so that there is a side effect that high frequency components of the original image are attenuated.
  • adaptive NR processing can be selected to realize high-performance NR processing. Specifically, by selecting the time direction NR process in the stationary state and the spatial direction NR process in the operating state, the NR process capable of reducing only the noise component while maintaining the high frequency component in the stationary state is realized. It is possible.
  • the estimated noise amount N corresponding to the pixel value is acquired, and the interframe difference value mSAD of the image is equal to or less than the estimated noise amount N (including that value).
  • a first NR process which is an NR process in the time direction, is performed. This makes it possible to determine with high accuracy whether or not the subject is stationary in the image, and it is possible to obtain a high definition image when in the stationary state.
  • an afterimage can be suppressed by performing the second NR process including at least the NR process in the spatial direction.
  • FIG. 1 shows a configuration example of an endoscope system in the first embodiment.
  • the endoscope system (endoscope apparatus) includes a light source unit 100, an imaging unit 200, a control device 300, a display unit 400, and an external I / F unit 500.
  • Control device 300 includes an interpolation processing unit 310, a noise reduction unit 320, a frame memory 330, a display image generation unit 340, and a control unit 390.
  • the light source unit 100 includes a white light source 110 generating white light, and a lens 120 for focusing the white light on the light guide fiber 210.
  • the imaging unit 200 is formed, for example, to be elongated and bendable in order to enable insertion into a body cavity. Further, since different imaging units are used depending on the region to be observed, the imaging unit 200 is configured to be detachable from the control device 300. In the following description, the imaging unit 200 will be referred to as a scope as appropriate.
  • the imaging unit 200 includes a light guide fiber 210 for guiding the light collected by the light source unit 100, and an illumination lens 220 for diffusing the light guided by the light guide fiber 210 and irradiating the light to the subject.
  • the imaging unit 200 also includes a condenser lens 230 for condensing reflected light from a subject, an imaging element 240 for detecting reflected light condensed by the condenser lens 230, a memory 250, and a condenser lens 230.
  • a lens driving unit 260 for driving the zoom lens.
  • the memory 250 is connected to the control unit 390.
  • the lens drive unit 260 is bi-directionally connected to the control unit 390.
  • the imaging device 240 is an imaging device having a Bayer-arranged color filter as shown in FIG.
  • the r filter transmits light of 580 to 700 nm
  • the g filter transmits light of 480 to 600 nm
  • the b filter transmits light of 390 to 500 nm.
  • the memory 250 holds a scope-specific identification number.
  • the control unit 390 can identify the type of the connected scope by referring to the identification number stored in the memory 250.
  • the condenser lens 230 can set the angle of view ⁇ in the range of ⁇ MIN to ⁇ MAX [deg].
  • the angle of view ⁇ is set by the user setting an arbitrary value from the external I / F unit 500. That is, when the angle of view ⁇ is set by the user, the set angle of view ⁇ is input to the control unit 390, and the control unit 390 (in a narrow sense, the angle of view control unit) transmits the angle of view ⁇ to the lens driving unit 260 Do.
  • the lens driving unit 260 drives the zoom lens in the condensing lens 230, whereby the angle of view of the imaging unit 200 is set to a desired angle of view ⁇ . Further, control unit 390 outputs the set angle of view ⁇ to noise reduction unit 320.
  • the external I / F unit 500 is an interface for performing input from the user to the endoscope apparatus.
  • the external I / F unit 500 is configured to include a power switch for turning on / off the power, a mode switching button for switching the photographing mode and other various modes, and the like.
  • the external I / F unit 500 outputs the input information to the control unit 390.
  • the control device 300 controls each part of the endoscope apparatus, performs image processing on a captured image, and the like.
  • the interpolation processing unit 310 is connected to the noise reduction unit 320.
  • the noise reduction unit 320 is connected to the display image generation unit 340.
  • the noise reduction unit 320 is bidirectionally connected to the frame memory 330.
  • the display image generation unit 340 is connected to the display unit 400.
  • the control unit 390 is connected to the interpolation processing unit 310, the noise reduction unit 320, the frame memory 330, and the display image generation unit 340, and controls them.
  • the interpolation processing unit 310 performs interpolation processing on the image acquired by the imaging device 240. As described above, since the imaging device 240 has a Bayer array, each pixel of the image acquired by the imaging device 240 has a signal value of one of R, G and B signals, and the other two The color signal value is missing. The interpolation processing unit 310 performs interpolation processing on each pixel of this image to interpolate missing signal values, and generates an image having all signal values of R, G, and B signals in each pixel. Do. As the interpolation processing, for example, a known bicubic interpolation processing may be used. In the following, an image after interpolation processing is called an RGB image. The interpolation processing unit 310 outputs the generated RGB image to the noise reduction unit 320.
  • the noise reduction unit 320 performs NR processing on the RGB image output from the interpolation processing unit 310. Specifically, the noise reduction unit 320 determines the still state and the operation state in each pixel of the RGB image, and adaptively switches the NR process according to the determination result. That is, the noise reduction unit 320 selects the time direction NR process capable of holding high frequency components when it is determined to be in the stationary state, and selects the space direction NR process when it is determined to be the operating state. As a result, only the noise can be reduced while holding the high frequency component in the stationary state, and high performance NR processing can be realized.
  • the noise reduction unit 320 will be described in detail later. In the following, an image after NR processing is referred to as an NR image (noise reduced image).
  • the display image generation unit 340 performs, for example, existing white balance, color conversion processing, gradation conversion processing, and the like on the NR image output from the noise reduction unit 320 to generate a display image.
  • the display image generation unit 340 outputs the generated display image to the display unit 400.
  • the display unit 400 is configured of, for example, a display device such as a liquid crystal display device.
  • FIG. 4 shows a detailed configuration example of the noise reduction unit 320 in the first embodiment.
  • the noise reduction unit 320 includes an evaluation value calculation unit 321, an estimated noise amount acquisition unit 322, a lookup table 323, a determination unit 324, a noise reduction processing unit 325, and an angle of view information acquisition unit 326.
  • FIG. 5 shows a flowchart of noise reduction processing in the first embodiment.
  • the evaluation value calculation unit 321 uses the RGB image output from the interpolation processing unit 310 and the past image held in the frame memory 330 to make a difference. Calculate the average value mSAD.
  • the past image is an NR image output from the noise reduction unit 320 one frame before the RGB image.
  • the difference average value mSAD interframe difference value
  • the evaluation value calculation unit 321 outputs, to the noise reduction processing unit 325, the value of (m, n) at which SAD (m, n) in the following equation (1) is minimized.
  • min () represents a process of acquiring the minimum value of the values in parentheses.
  • F G — cur (x, y) is a G signal value at the coordinates (x, y) of the RGB image
  • FG — pre (x, y) is a G signal value at the coordinates (x, y) of the past image.
  • k is a natural number
  • (2k + 1) corresponds to the kernel size when calculating the difference average value mSAD.
  • a constant value may be set in advance for k, or the user may set an arbitrary value from the external I / F unit 500.
  • ⁇ A ⁇ represents a process of obtaining the absolute value of the real number A.
  • the image is treated as a one-dimensional signal. Further, the components of the image signal are composed of the structural component shown in FIG. 6A and the noise component shown in FIG. 6B.
  • the image shown in FIG. 7A is acquired at a certain time t
  • the image shown in FIG. 7B is acquired at the time t-1 immediately before that.
  • the position of the structural component has not changed at time t and time t-1 (corresponding to a stationary state). Therefore, when the difference value (absolute value of difference value) between the image at time t and the image at time t-1 is determined, only the noise component is included in the difference value as shown in FIG. 7C. become.
  • the amount of noise generally changes depending on the image signal value. That is, the amount of noise increases as the image signal value increases. Therefore, the differential average value mSAD in the stationary state shown in FIG. 7C also changes depending on the image signal value.
  • the threshold value for determining the stationary state and the operating state is a fixed value, the noise dependency of the mSAD makes it difficult to accurately determine the stationary state and the operating state.
  • the characteristics of the noise amount shown in FIG. 9 are held as a table (noise amount table), and the noise amount N corresponding to the signal value of each pixel is acquired by referring to the table. Then, based on the noise amount N, the stationary state and the operating state are determined. In this way, highly accurate determination is possible.
  • (m, n) described in the above equation (1) corresponds to a motion vector between frames, and the search range of this motion vector is ⁇ 1 pixel.
  • the smallest SAD in the search range is selected as mSAD. Therefore, even if the RGB image and the past image are not strictly stationary between the frames and move about ⁇ 1 pixel, the time direction NR process is selected as described later in step S3.
  • the space direction NR process is selected as described in step S3.
  • the estimated noise amount acquisition unit 322 acquires the noise amount N. That is, the characteristics of the noise amount N described in FIG. 9 are stored in the look-up table 323 as a noise amount table.
  • the estimated noise amount acquisition unit 322 acquires the noise amount N corresponding to the signal value of the target pixel (pixel to be processed) of the RGB image by referring to the lookup table 323.
  • the noise amount table differs depending on the scope to be connected. As described above, since the memory 250 of the imaging unit 200 holds an identification number unique to each scope, the connected scope can be identified. Specifically, control unit 390 acquires the identification number stored in memory 250, identifies the connected scope, and outputs the identification result to noise reduction unit 320. Then, the estimated noise amount acquisition unit 322 acquires the noise amount N with reference to the noise amount table corresponding to the scope.
  • the determination unit 324 determines whether the state is the stationary state or the operating state using the difference average value mSAD output in step S1 and the noise amount N output in step S2. Perform discrimination processing. Specifically, the determination unit 324 performs the determination process by the following equation (2).
  • step S4 the noise reduction processing unit 325 executes NR processing in the time direction (first noise reduction processing in a broad sense) when it is determined in step S3 that it is in a stationary state.
  • step S5 the noise reduction processing unit 325 executes NR processing in the spatial direction (second noise reduction processing in a broad sense) when it is determined in step S3 that it is in the operating state.
  • the details of the time direction NR process and the space direction NR process will be described later.
  • step S6 it is checked whether the NR processing has been performed for all the pixels of the RGB image.
  • the noise reduction unit 320 outputs the NR image to the frame memory 330 and the display image generation unit 340, and the process ends.
  • the frame memory 330 holds the NR image output from the noise reduction unit 320 as a past image. If the NR process has not been performed for all pixels, steps S1 to S6 are performed.
  • FIG. 10 shows a second flowchart of the noise reduction processing in the first embodiment.
  • the steps other than the steps S22 and S24 are the same as the steps S1 to S7 of FIG.
  • the angle-of-view information acquisition unit 326 acquires information on the angle of view ⁇ of the imaging unit 200 from the control unit 390. Then, the determination unit 324 determines whether the angle of view ⁇ is smaller than ⁇ MAX .
  • the coefficient Ca is a real number greater than one.
  • the coefficient Ca may be set to a predetermined value in advance, or may be configured to allow the user to set an arbitrary value from the external I / F unit 500.
  • NR processing in the time direction is performed as shown in step S25.
  • NR processing in the space direction is performed as shown in step S26.
  • endoscopic diagnosis there are two diagnoses, that is, screening for mainly searching for a site suspected to be a lesion and examination for diagnosing whether a site found by the screening is a lesion.
  • time direction NR processing does not function effectively.
  • the doctor operates the scope (inserts and withdraws) to make a diagnosis, so that the subject moves largely on the image (operating state). Therefore, time direction NR processing does not function effectively.
  • the doctor in order to search a region having a reddish tone or a dark color tone, it is characterized in that a relatively low frequency component is important information for diagnosis. Therefore, at the time of screening, noise reduction processing has little influence on the diagnosis even if the high frequency component is somewhat attenuated. From the above, it is desirable to reduce noise by spatial direction NR processing at the time of screening processing.
  • the stationary state corresponding to the close examination and the operating state corresponding to the screening are determined with high accuracy. Then, at the time of close examination, it is possible to reduce only the noise in a state in which the minute blood vessels and the mucous membrane structure important for diagnosis are held by selecting the time direction NR process. Further, as described in FIG. 10 and the like, by changing the threshold value of the determination process according to the angle of view ⁇ , the time direction NR process is more likely to be selected at the time of magnified observation used for close examination (dominated) Has the advantage of
  • noise of an endoscopic image can be adaptively reduced, and an image more suitable for diagnosis can be provided.
  • the time direction NR process is easily selected, so that only the noise can be reduced while maintaining the high frequency component that is important at the close examination. it can.
  • F G_NR (x , y) is a G signal value at the coordinates of NR image (x, y).
  • we_cur and we_pre are weighting coefficients at the time of weighted average processing. By increasing we_pre (compared to we_cur), the amount of noise reduction is increased.
  • We_cur and we_pre may be set in advance as fixed values, or the user may set arbitrary values from the external I / F unit 500.
  • the spatial direction NR process is a weighted average process using a pixel (target pixel) to be subjected to the NR process and surrounding pixels. Specifically, the noise is reduced using the following equation (5).
  • we_diff_cur (x + i, y + j) and we_diff_pre (x + i, y + j) correspond to weighting coefficients at the time of weighted average processing. This coefficient is given by a Gaussian distribution as shown in the following equation (6). Also, I is a natural number. Also, m and n are m and n of SAD (m, n) selected as mSAD in the above equation (1).
  • the weighting factor is set adaptively according to the magnitude of the difference between the signal value of the pixel of interest and the signal values of the peripheral pixels. Be done. Specifically, when the difference is large, the weight at the time of weighted average processing is small. Therefore, the pixels in the region where the signal value suddenly changes, such as an edge portion, do not contribute to the weighted average processing, and there is an advantage that only the noise component can be reduced by holding the edge portion.
  • the weighting factor is controlled according to the difference between the signal value of the pixel of interest and the surrounding pixels, so the degree of noise reduction (smoothing strength) depends on the amount of noise included in the image. It is characterized by Specifically, since the difference is larger as the noise is larger, the weighting factor is smaller, and the contribution of the weighted average of the equation (5) is smaller. Therefore, the greater the noise, the weaker the degree of noise reduction, and the noise can not be reduced.
  • the standard deviation ⁇ of the Gaussian distribution of the above equation (6) is calculated based on the noise amount N output in step S2 of FIG. 5 (or step S21 of FIG. 10). Specifically, the standard deviation ⁇ is calculated using the following equation (7).
  • the coefficient Cb is a positive real number.
  • the coefficient Cb may be set to a predetermined value in advance, or may be configured to allow the user to set an arbitrary value from the external I / F unit 500.
  • the standard deviation ⁇ of the Gaussian distribution based on the noise amount N, it is possible to realize noise reduction processing adaptive to the noise amount. That is, the larger the noise amount N, the larger the standard deviation ⁇ . Therefore, even if the difference (for example, F G_cur (x + i, y + j)-F G_cur (x, y)) in the above equation (6) is increased due to noise. Compared to the case where the standard deviation ⁇ does not depend on the noise amount N, the weighting factor can be increased. Therefore, even when the noise is large, the smoothing strength can be maintained.
  • the difference for example, F G_cur (x + i, y + j)-F G_cur (x, y)
  • NR processing is performed on the RGB image output from the interpolation processing unit 310
  • an NR process may be performed on an image output from the imaging element 240.
  • the imaging device 240 since the imaging device 240 has a Bayer array, the image output from the imaging device 240 is a Bayer image in which each pixel has only one of R, G, and B signal values. Therefore, NR processing is performed using only pixels having signal values of the same color. For example, if the pixel of interest is a G pixel, NR processing is performed using the pixel of interest and surrounding G pixels.
  • the signal value of the target pixel of the RGB image is used as the signal value of the RGB image when acquiring the noise amount N, but this embodiment is not limited to this.
  • the noise amount N corresponding to the signal value may be acquired from the noise amount table, using the average value of the pixel of interest of the RGB image and its peripheral pixels as the signal value.
  • the estimated noise amount acquisition unit 322 may estimate (calculate) the noise amount N based on the RGB image from the interpolation processing unit 310.
  • the image processing apparatus includes an evaluation value calculation unit 321, an estimated noise amount acquisition unit 322, a determination unit 324, and a noise reduction processing unit 325.
  • the evaluation value calculation unit 321 calculates an evaluation value for determining whether the subject on the captured image is in a stationary state between frames.
  • the estimated noise amount acquisition unit 322 acquires the estimated noise amount N of the captured image.
  • the determination unit 324 determines whether or not it is in the stationary state based on the evaluation value and the estimated noise amount N.
  • the noise reduction processing unit 325 performs the first noise reduction processing, which is noise reduction processing in the time direction, on the captured image when it is determined that the image processing apparatus is in the stationary state.
  • the second noise reduction processing including the noise reduction processing at least in the spatial direction is performed on the captured image.
  • the determination unit 324 determines that the image is in the stationary state when the estimated noise amount N is a threshold and the inter-frame difference value mSAD is equal to or less than the threshold.
  • the inter-frame difference value mSAD changes depending on the noise amount.
  • the image processing apparatus corresponds to the interpolation processing unit 310, the noise reduction unit 320, and the frame memory 330.
  • the captured image corresponds to the RGB image from the interpolation processing unit 310.
  • the evaluation value corresponds to the inter-frame difference value mSAD. Note that the present embodiment is not limited to this, and the evaluation value is calculated using images of a plurality of frames, and the values are different between the state in which the subject is stationary and the state in which the subject is not stationary on the image. Good.
  • the noise reduction processing in the time direction is processing to reduce noise in the time direction of the captured image.
  • the processing target pixel in the first frame image and the processing target pixel in the second frame image after the first frame are set as time series pixels, and smoothing is performed on the time series pixels. It is a process.
  • the processing target pixel in the first frame image is F G — pre (x + m, y + n)
  • the processing target pixel in the second frame image is F G — cur (x, y).
  • the noise reduction processing in the space direction is processing to reduce noise in the space direction of the captured image.
  • the processing target pixel is smoothed using the processing target pixel and pixels in the vicinity of the processing target pixel.
  • the image of one frame is F G — cur
  • the processing target pixel is (x, y)
  • the second noise reduction process including the noise reduction process at least in the spatial direction may include at least the noise reduction process in the spatial direction with respect to the image of only one frame.
  • noise reduction processing may be performed using images of a plurality of frames.
  • an area of a predetermined size ((2k + 1) 2 pixels) centered on the processing target pixel (x, y) in the first frame FG_cur of the captured image An area of a predetermined size ((2k + 1) 2 pixels) centered on the processing target pixel (x, y) in the second frame FG_pre of the captured image is set as a first area.
  • the evaluation value calculation unit 321 outputs the minimum value min (SAD (m, n)) of the plurality of calculated difference values SAD (m, n) as the inter-frame difference value mSAD. If the minimum value is equal to or less than the threshold N (including that value), the determination unit 324 determines that the mobile phone is in the stationary state.
  • the time direction NR processing can be selected to perform noise reduction processing without losing structural information.
  • the image processing apparatus includes an angle-of-view information acquisition unit 326 that acquires angle-of-view information of the imaging unit 200 that captures a captured image.
  • the determination unit 324 sets a determination condition as to whether or not the camera is in a stationary state in accordance with the angle of view ⁇ represented by the angle of view information.
  • the evaluation value calculation unit 321 calculates an inter-frame difference value mSAD of the captured image as an evaluation value.
  • the determination unit 324 determines that the inter-frame difference value mSAD is less than or equal to the estimated noise amount N (including the value) when the angle of view ⁇ is equal to or more than the threshold value ⁇ MAX (including the value). In this case, it is determined to be in a stationary state.
  • the determination unit 324 when the angle of view ⁇ is smaller than the threshold value ⁇ MAX , the determination unit 324 does not exceed the value obtained by multiplying the estimated noise amount N by the coefficient Ca larger than 1 by the interframe difference value mSAD. When it is, it determines with it being in the state of rest.
  • the threshold value for determining the angle of view is the upper limit ⁇ MAX of the angle of view adjustment range ⁇ MIN to ⁇ MAX , but the embodiment is not limited to this.
  • a predetermined angle of view within the angle of view adjustment range ⁇ MIN to ⁇ MAX may be used as a threshold.
  • Second embodiment 3.1. Endoscope System A second embodiment will be described in which the stationary state and the operating state are determined using different threshold values for the front view and the side view of the imaging unit 200.
  • the structural example of the endoscope system in 2nd Embodiment is shown in FIG.
  • the endoscope system includes a light source unit 100, an imaging unit 200, a control device 300, a display unit 400, and an external I / F unit 500.
  • the same components as the components of the endoscope system in the first embodiment will be assigned the same reference numerals and descriptions thereof will be omitted as appropriate.
  • the components other than the imaging unit 200 and the control device 300 are the same as those of the first embodiment, and thus the description thereof is omitted.
  • the imaging unit 200 includes a light guide fiber 210, an illumination lens 220, a condenser lens 270, an imaging element 240, and a memory 250.
  • the light guide fiber 210, the illumination lens 220, the imaging device 240, and the memory 250 are the same as those of the first embodiment, and thus the description thereof is omitted.
  • the condenser lens 270 protrudes from the tip of the imaging unit 200, and can observe the front view and the side view.
  • the condenser lens 270 is formed of, for example, an objective lens having a viewing angle of 230 °.
  • the interpolation processing unit 310 outputs an RGB image including a front view area in which a subject in a front view is imaged and a side view area in which a subject in a side view is imaged.
  • the central portion of the RGB image corresponds to the front view
  • the peripheral portion of the RGB image corresponds to the side view.
  • (xo, yo) be the central coordinates of this RGB image. With the central coordinates (xo, yo) as a reference, a region within the range of radius R is taken as a forward vision region, and a region outside the range of radius R is taken as a side vision region.
  • Control device 300 includes an interpolation processing unit 310, a noise reduction unit 320, a frame memory 330, a display image generation unit 340, and a control unit 390.
  • the processes other than the noise reduction unit 320 are the same as in the first embodiment, and thus the description thereof is omitted.
  • FIG. 14 shows a detailed configuration example of the noise reduction unit 320 in the second embodiment.
  • the noise reduction unit 320 includes an evaluation value calculation unit 321, an estimated noise amount acquisition unit 322, a lookup table 323, a determination unit 324, a noise reduction processing unit 325, and a region determination unit 327.
  • FIG. 15 shows a flowchart of noise reduction processing in the second embodiment.
  • the steps other than step S42 are the same as the steps described in FIG. 5 and FIG.
  • the area determination unit 327 performs a process of determining the area to which the target pixel belongs. That is, the area determination unit 327 determines whether the pixel of interest belongs to the front view area or the side view area according to the following expression (8).
  • R in the following equation (8) can be obtained by the following equation (9).
  • (x, y) is the coordinates of the target pixel.
  • the determination unit 324 determines the difference average value mSAD output in step S40, the noise amount N output in step S41, and the information of the region to which the pixel of interest belongs in step S42. And the discrimination process is performed. Specifically, when it is determined that the pixel of interest belongs to the side view area, it is determined whether or not the image is in the still state by using the above equation (2) as shown in step S44. When it is determined that the pixel of interest belongs to the forward visual field, as shown in step S43, it is determined whether or not the image is in the stationary state using the above equation (3).
  • the side view area of the image acquired in the present embodiment is suitable for screening, it is not suitable for close inspection as compared with the front view area with less distortion.
  • the determination process is performed by making the threshold in the front view area larger than the threshold in the side view area.
  • the spatial direction NR can be dominant for the side area
  • the temporal direction NR can be dominant for the front area
  • adaptive NR processing can be realized. That is, for the front area considered to be used for close examination, only the noise is reduced while holding the high frequency component by making it easy to select the time direction NR with CaN (Ca> 1) as the threshold value.
  • the threshold value is set to N, and the spatial direction NR is easily selected, thereby suppressing an afterimage. In this way, it is possible to present an image more suitable for diagnosis to the doctor.
  • the determination unit 324 sets the determination condition as to whether or not the image capturing apparatus is in the stationary state according to the area to which the target area of the noise reduction process belongs in the captured image.
  • the image processing apparatus includes an area determination unit 327.
  • the imaging unit 200 can capture the front view and the side view of the imaging unit 200.
  • the area determination unit 327 determines that the target area is a front view area that is an area corresponding to a front view in the captured image and a side that is an area that corresponds to the side view in the captured image. It is determined which of the viewing regions it belongs to.
  • the determination unit 324 sets different determination conditions in the case where it is determined to belong to the forward visual field and the case where it is determined to belong to the side visual field.
  • the inter-frame difference value mSAD is equal to or less than the estimated noise amount N (the If the value is included, it is determined to be stationary.
  • the estimated noise amount N is multiplied by the coefficient Ca by which the inter-frame difference value mSAD is larger than 1 If it is less than or equal to the value, it is determined that it is in the stationary state.
  • the area determination unit 327 determines the area to which the target area belongs based on the position (x, y) of the target area in the captured image.
  • the target region of the noise reduction processing may be configured by one pixel or may be configured by a plurality of pixels.
  • the pixel (x, y) is the target area.
  • the forward visual field is a visual field range including the optical axis direction of the imaging unit 200, and is, for example, a range of 0 degree to 70 degrees with respect to the optical axis.
  • the side view is a view range including a direction orthogonal to the optical axis. For example, when the field of view of the imaging unit 200 is 0 degrees to 115 degrees with respect to the optical axis, the side vision is in the range of 70 degrees to 115 degrees with respect to the optical axis.
  • the structural example of the endoscope system in 3rd Embodiment is shown in FIG.
  • the endoscope system includes a light source unit 100, an imaging unit 200, a control device 300, a display unit 400, and an external I / F unit 500.
  • the same components as the components of the endoscope system in the first embodiment will be assigned the same reference numerals and descriptions thereof will be omitted as appropriate.
  • the components other than the imaging unit 200 and the control device 300 are the same as those of the first embodiment, and thus the description thereof is omitted.
  • the imaging unit 200 includes a light guide fiber 210, an illumination lens 220, a focusing lens 231, an imaging device 240, a memory 250, a narrow band filter 290, and a filter driving unit 280.
  • the light guide fiber 210, the illumination lens 220, the imaging device 240, and the memory 250 are the same as in the first embodiment, and thus the description thereof is omitted.
  • the filter driving unit 280 is connected to the narrow band filter 290 and is further connected to the control unit 390 bi-directionally.
  • the narrow band filter 290 transmits light of 380 to 450 nm and 530 to 550 nm.
  • the narrow band filter 290 can be inserted into the optical path between the condenser lens 231 and the imaging device 240. Insertion / non-insertion of the narrow band filter 290 is controlled by the user from the external I / F unit 500, for example. In this case, the user's instruction is sent from the external I / F unit 500 to the filter drive unit 280 via the control unit 390, and the filter drive unit 280 drives the narrow band filter 290.
  • the control unit 390 outputs a trigger signal to the interpolation processing unit 310 and the noise reduction unit 320.
  • Control device 300 includes an interpolation processing unit 310, a noise reduction unit 320, a frame memory 330, a display image generation unit 340, and a control unit 390.
  • the interpolation processing unit 310 performs interpolation processing on the image captured by the imaging element 240.
  • the interpolation processing unit 310 generates an RGB image according to the same method as that of the first embodiment, when the above-mentioned trigger signal is not output from the control unit 390 (in the case where the narrow band filter 290 is not inserted).
  • the RGB image acquired when the narrow band filter 290 is not inserted is referred to as a white light image (in a broad sense, a normal light image).
  • interpolation processing unit 310 performs interpolation processing only on the G signal and B signal.
  • the interpolation process is, for example, a known bicubic interpolation process.
  • the interpolation processing unit 310 generates the G image having the G signal in all the pixels and the B image having the B signal in all the pixels by interpolation processing.
  • the G image is input to the R signal of the RGB image
  • the B image is input to the G signal and the B signal of the RGB image to generate the RGB image.
  • the RGB image acquired when the narrow band filter 290 is inserted is referred to as a narrow band light image (special light image in a broad sense).
  • FIG. 18 shows a detailed configuration example of the noise reduction unit 320 in the third embodiment.
  • the noise reduction unit 320 includes an evaluation value calculation unit 321, an estimated noise amount acquisition unit 322, a look-up table 323, a determination unit 324, and a noise reduction processing unit 325.
  • FIG. 19 shows a flowchart of noise reduction processing in the third embodiment.
  • the steps other than steps S62 and S64 are the same as the steps described in FIG. 5 and FIG.
  • the determination unit 324 is based on the difference average value mSAD output in step S60, the noise amount N output in step S61, and the trigger signal output from the control unit 390. And perform the discrimination process. Specifically, when the trigger signal is output from the control unit 390, the determination unit 324 performs the determination process using the following equation (10). In the following equation (10), the coefficient Cc is a positive real number smaller than one. When the trigger signal is not output from the control unit 390, the determination unit 324 performs the determination process using the above equation (2).
  • narrow-band light images are characterized by an increase in noise (S / N deterioration) compared to white-light images because the amount of light is insufficient. Therefore, the structural component described with reference to FIG. 6A is buried in the noise component described with reference to FIG. 6B, and the accuracy of the process of determining the stationary state and the operation state is degraded. That is, in the process of determining whether or not the camera is in the stationary state, the stationary state is determined regardless of the operating state, and the time direction NR process is selected. In this case, there is a problem that an afterimage that is a side effect of the time direction NR process is generated.
  • the above equation (10) is used to determine whether or not the camera is in the stationary state. Since Cc ⁇ 1, the threshold is smaller than in the case of a white light image, and spatial direction NR processing can be dominant. As a result, the possibility of being determined to be stationary regardless of the operating state can be reduced, and the problem of causing an afterimage can be improved. In this way, adaptive NR processing can be realized by controlling the threshold at the time of motion discrimination processing according to the observation mode of the endoscope (white light image observation or narrow band light image observation). .
  • the determination unit 324 sets the determination condition as to whether or not the camera is in the still state, according to the type of the captured image.
  • the first noise reduction processing or the second noise reduction processing can be easily selected in accordance with the characteristics of the type of the captured image. For example, visibility of the fine structure can be improved, or erroneous determination of the stationary state can be suppressed.
  • the type of the captured image is determined by, for example, the number of pixels of the captured image, the resolution, the exposure time, the frame rate, the type of the mounted imaging unit 200, the characteristics of the illumination light, and the characteristics of the optical filter used for imaging. .
  • the captured image is a white light image having information in a white wavelength band or a special light image having information in a specific wavelength band (in a narrow sense, a narrow band Light image).
  • the determination unit 324 sets different determination conditions depending on whether the captured image is a white light image or a special light image.
  • the determination unit 324 determines that the inter-frame difference value mSAD is equal to or less than the estimated noise amount N (including that value). In this case, it is determined to be in a stationary state. As shown in S62 and S64, when the captured image is a special light image, the determination unit 324 determines that the interframe difference value mSAD is equal to or less than a value obtained by multiplying the estimated noise amount N by a coefficient Cc smaller than 1 In this case, it is determined that it is in a stationary state.
  • the second noise reduction processing including at least the noise reduction processing in the spatial direction is set to white by setting the threshold to CcN smaller than the estimated noise amount N. It can be selected more easily than in the case of light imaging. As a result, in the special light image in which the S / N is lower than that of the white light image, it is possible to suppress the erroneous determination of the stationary state.
  • the light source unit 100 may capture a special light image by emitting special light (narrow band light in a narrow sense).
  • the imaging unit 200 may further include an imaging element having a color filter that transmits special light, and the imaging element may capture a special light image.
  • the special light image may be generated from the white light image by image processing.
  • the specific wavelength band is a band narrower than the white wavelength band (for example, 380 nm to 650 nm) (NBI: Narrow Band Imaging).
  • the normal light image and the special light image are in-vivo images obtained by copying the inside of a living body
  • a specific wavelength band included in the in-vivo image is a wavelength band of a wavelength absorbed by hemoglobin in blood.
  • the wavelength absorbed by this hemoglobin is 390 nm to 445 nm (first narrow band light, B2 component of narrow band light), or 530 nm to 550 nm (second narrow band light, G2 component of narrow band light) is there.
  • the term “390 nm to 445 nm” or “530 nm to 550 nm” refers to numbers obtained from the characteristics of being absorbed by hemoglobin and the characteristics of reaching the surface layer or the deep region of the living body, respectively.
  • the wavelength band in this case is not limited to this, and for example, the lower limit of the wavelength band is reduced by about 0 to 10% due to fluctuation factors such as absorption by hemoglobin and experimental results on reaching the surface or deep part of the living body.
  • the upper limit may be increased by about 0 to 10%.
  • the structural example of the endoscope system in 4th Embodiment is shown in FIG.
  • the endoscope system includes a light source unit 100, an imaging unit 200, a control device 300, a display unit 400, and an external I / F unit 500.
  • the same components as the components of the endoscope system in the first embodiment will be assigned the same reference numerals and descriptions thereof will be omitted as appropriate.
  • the components other than the control device 300 are the same as those of the first embodiment, and thus the description thereof is omitted.
  • Control device 300 includes an interpolation processing unit 310, a noise reduction unit 320, a frame memory 330, a display image generation unit 340, a motion vector detection unit 350, and a control unit 390.
  • the configuration of the control device 300 is the same as that of the first embodiment except that a motion vector detection unit 350 is added.
  • the motion vector detection unit 350 detects a motion vector (Vec_x, Vec_y) based on the RGB image output from the interpolation processing unit 310 and the past image stored in the frame memory 330. For example, a known block matching process may be used to detect a motion vector. A motion vector is determined for each pixel, for example.
  • FIG. 21 shows a detailed configuration example of the noise reduction unit 320 in the fourth embodiment.
  • the noise reduction unit 320 includes an evaluation value calculation unit 321, an estimated noise amount acquisition unit 322, a look-up table 323, a determination unit 324, and a noise reduction processing unit 325.
  • the flowchart of the noise reduction process in the fourth embodiment is the same as that of the first embodiment described in FIG.
  • the processes other than steps S20, S25, and S26 in FIG. 10 are the same as those in the first embodiment, and thus the description will be appropriately omitted.
  • step S20 the evaluation value calculation unit 321 calculates the difference average value mSAD using the following equation (11). Specifically, the motion vector detection unit 350 detects the motion vector (Vec_x, Vec_y), and the evaluation value calculation unit 321 calculates the difference average value mSAD in consideration of the motion vector (Vec_x, Vec_y).
  • step S25 as shown in the following equation (12), the noise reduction processing unit 325 performs time direction NR processing in consideration of the motion vector (Vec_x, Vec_y).
  • step S26 as shown in the following equation (13), the noise reduction processing unit 325 performs space direction NR processing in consideration of the motion vector (Vec_x, Vec_y).
  • the time direction NR processing can function even when the amount of motion is large as in screening. That is, since the pixel position of the past image F_pre is motion-compensated in the above equation (11), when the motion vector detection processing can follow the motion of the subject, it is determined to be stationary and the time direction NR processing is selected. Be done. As a result, even when the subject has a motion, it is possible to attenuate only the noise while holding the high frequency component.
  • the image processing apparatus detects a motion vector (Vec_x, Vec_y) of the subject between the first frame and the second frame of the captured image. including.
  • a motion vector Vec_x, Vec_y
  • the evaluation value (inter-frame difference value mSAD) for determining
  • the noise reduction processing unit 325 sets the first frame based on the first frame and the second frame that is motion compensated by the motion vector (Vec_x, Vec_y). Noise reduction processing and second noise reduction processing are performed.
  • to be motion-compensated by the motion vector means that the pixel position of the second frame is compensated by the motion vector in the determination processing and the noise reduction processing.
  • the pixel position of the second frame FG_pre deviates from the pixel position of the first frame FG_cur by the amount of the motion vector (Vec_x, Vec_y). is there.
  • the image processing apparatus and the like described in the first to fourth embodiments may realize part or all of the processing by a program.
  • the processor such as the CPU executes the program, whereby the image processing apparatus and the like of the present embodiment are realized.
  • a program stored in the information storage medium is read, and a processor such as a CPU executes the read program.
  • the information storage medium (a medium readable by a computer) stores programs, data, etc., and its function is an optical disc (DVD, CD, etc.), an HDD (hard disk drive), or a memory (card type). It can be realized by memory, ROM, etc.
  • processors, such as CPU perform various processings of this embodiment based on a program (data) stored in an information storage medium.
  • a program for causing a computer (a device including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing a computer to execute processing of each unit) Is stored.
  • this invention is not limited to each embodiment and its modification as it is, In the execution phase, it is the range which does not deviate from the summary of invention Can be transformed and embodied.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments and modifications. For example, some components may be deleted from all the components described in each embodiment or modification. Furthermore, the components described in different embodiments and modifications may be combined as appropriate. Thus, various modifications and applications are possible without departing from the spirit of the invention.
  • this embodiment is not limited to an endoscope system, It is applicable to various imaging systems, such as a digital video camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

画像処理装置は、評価値算出部３２１、推定ノイズ量取得部３２２、判定部３２４、ノイズ低減処理部３２５を含む。評価値算出部３２１は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する。推定ノイズ量取得部３２２は、撮像画像の推定ノイズ量を取得する。判定部３２４は、評価値と推定ノイズ量に基づいて、静止状態であるか否かの判定を行う。ノイズ低減処理部３２５は、静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を撮像画像に対して行い、静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を撮像画像に対して行う。

Description

画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等に関する。
　ノイズ低減処理（以下ではＮＲ処理と呼ぶ）には、大別すると、処理フレーム内でＮＲ処理を行う空間方向ＮＲ処理と、処理フレームと過去フレームを用いてＮＲ処理を行う時間方向ＮＲ処理の２つが存在する。
特開平６－４７０３６号公報
　空間方向ＮＲ処理では、画像の高周波成分が減衰する傾向にあり、時間方向ＮＲ処理では、被写体が動体である場合に残像が残りやすい。そのため、画像が静止状態である場合に適応的に空間方向ＮＲ処理を選択することにより、高性能なＮＲ処理を実現したいという要求がある。
　しかしながら、画像が静止状態であるか否かの判定を高精度に行う必要があるという課題がある。
　例えば特許文献１には、画像の静止状態と動作状態を判別し、その判別結果に応じて時間方向ＮＲ処理と空間方向ＮＲ処理を切り替える手法が開示されている。静止状態と動作状態の判別には、フレーム間で算出した差分値を用い、その差分値が閾値より小さい場合には静止状態と判別し、大きい場合には動作状態と判別する。
　しかしながら、フレーム間で算出した差分値は、画像に含まれるノイズ量に依存して変化する特徴がある。特許文献１では、閾値は固定値であり、ノイズ量に依存する差分値に対して固定値で判別を行うため、静止状態と動作状態を高精度に判別することは困難である。また、特許文献１には、ノイズ量に依存する差分値に対して適切な閾値について記載されていない。
　本発明の幾つかの態様によれば、画像が静止状態であるか否を高精度に判定可能な画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供できる。
　本発明の一態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、を含む画像処理装置に関係する。
　本発明の一態様によれば、撮像画像の推定ノイズ量が取得され、評価値と推定ノイズ量に基づいて、撮像画像上の被写体がフレーム間において静止状態であるか否かの判定が行われる。判定結果に応じて、第１のノイズ低減処理又は第２のノイズ低減処理が撮像画像に対して行われる。これにより、画像が静止状態であるか否を高精度に判定することが可能になる。
　本発明の他の態様は、撮像画像を撮像する撮像部と、前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、を含む内視鏡装置に関係する。
　本発明の更に他の態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、前記撮像画像の推定ノイズ量を取得し、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行い、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行う画像処理方法に関係する。
　本発明の更に他の態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出するステップと、前記撮像画像の推定ノイズ量を取得するステップと、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行うステップと、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うステップと、をコンピューターに実行させる画像処理プログラムに関係する。
図１は、第１の実施形態における内視鏡システムの構成例。 図２は、撮像素子の色フィルタの配列構成例。 図３は、撮像素子の色フィルタの透過率特性例。 図４は、第１の実施形態におけるノイズ低減部の詳細な構成例。 図５は、第１の実施形態におけるノイズ低減処理のフローチャート。 図６（Ａ）は、画像信号に含まれる構造成分の例。図６（Ｂ）は、画像信号に含まれるノイズ成分の例。 図７（Ａ）～図７（Ｃ）は、フレーム間差分値ｍＳＡＤについての説明図。 図８（Ａ）～図８（Ｃ）は、フレーム間差分値ｍＳＡＤについての説明図。 図９は、画像におけるノイズ量の特性例。 図１０は、第１の実施形態におけるノイズ低減処理の第２のフローチャート。 図１１は、第２の実施形態における内視鏡システムの構成例。 図１２は、前方視野領域、側方視野領域についての説明図。 図１３は、領域判定処理についての説明図。 図１４は、第２の実施形態におけるノイズ低減部の詳細な構成例。 図１５は、第２の実施形態におけるノイズ低減処理のフローチャート。 図１６は、第３の実施形態における内視鏡システムの構成例。 図１７は、狭帯域フィルタの透過率特性例。 図１８は、第３の実施形態におけるノイズ低減部の詳細な構成例。 図１９は、第３の実施形態におけるノイズ低減処理のフローチャート。 図２０は、第４の実施形態における内視鏡システムの構成例。 図２１は、第４の実施形態におけるノイズ低減部の詳細な構成例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の概要
　まず、本実施形態が行うＮＲ処理（ノイズ低減処理）の概要について説明する。なお以下では、静止状態とは、撮像部と被写体の相対的な位置関係が時間的に変化しない状態を表す。また、動作状態とは、撮像部と被写体の相対的な位置関係が時間的に変化する状態を表す。
　上述のように、ＮＲ処理には、空間方向ＮＲ処理と時間方向ＮＲ処理がある。空間方向ＮＲ処理では、ＮＲ処理の対象となる画素（処理対象画素）と、その周辺の画素を用いた加重平均処理によりノイズを低減する。空間方向ＮＲ処理では、周辺画素との加重平均処理を行うため、元画像の高周波成分が減衰するという副作用がある。
　時間方向ＮＲ処理では、ＮＲ処理の対象となるフレーム（処理フレーム）と、その処理フレームとは異なる時間に取得されたフレーム（過去フレーム）を用いた加重平均処理によりノイズを低減する。加重平均処理には、処理フレームの処理対象画素、及び過去フレームにおいて処理対象画素と同一座標の画素のみが用いられる。そのため、静止状態においては、元画像の高周波成分を保持可能であるという利点がある。一方、画像において被写体が動いている動作状態では、残像を生じるという副作用がある。
　以上の特性から、適応的にＮＲ処理を選択することで、高性能なＮＲ処理を実現可能である。具体的には、静止状態においては時間方向ＮＲ処理、動作状態においては空間方向ＮＲ処理を選択することで、静止状態においては高周波成分を保持した状態でノイズ成分のみを低減可能なＮＲ処理を実現可能である。
　しかしながら、上述のように、画像のノイズの影響があるため、静止状態と動作状態の判別を高精度に行うことが困難という課題がある。
　そこで本実施形態では、図５等で後述するように、画素値に応じた推定ノイズ量Ｎを取得し、画像のフレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下（その値を含む）である場合には静止状態であると判定し、時間方向のＮＲ処理である第１のＮＲ処理を行う。これにより、画像において被写体が静止しているか否かを高精度に判定でき、静止状態である場合には高精細な画像を得ることが可能である。静止状態でない場合には、少なくとも空間方向のＮＲ処理を含む第２のＮＲ処理を行うことにより、残像を抑制できる。
　２．第１の実施形態
　２．１．内視鏡システム
　次に、本実施形態の詳細について説明する。図１に、第１の実施形態における内視鏡システムの構成例を示す。内視鏡システム（内視鏡装置）は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、制御部３９０を含む。
　光源部１００は、白色光を発生する白色光源１１０と、その白色光をライトガイドファイバ２１０に集光するためのレンズ１２０と、を含む。
　撮像部２００は、体腔への挿入を可能にするため、例えば細長く且つ湾曲可能に形成されている。また、観察する部位により異なる撮像部が用いられるため、撮像部２００は制御装置３００に対して着脱可能な構造をしている。なお以下の説明では適宜、撮像部２００をスコープと呼ぶ。
　撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、を含む。また撮像部２００は、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０と、メモリ２５０と、集光レンズ２３０のズームレンズを駆動するレンズ駆動部２６０と、を含む。
　メモリ２５０は制御部３９０に接続されている。レンズ駆動部２６０は制御部３９０と双方向に接続されている。
　撮像素子２４０は、図２に示すようにベイヤ配列の色フィルタを有する撮像素子である。色フィルタは、ｒフィルタ、ｇフィルタ、ｂフィルタの３種類である。図３に示すように、ｒフィルタは５８０～７００ｎｍの光を透過させ、ｇフィルタは４８０～６００ｎｍの光を透過させ、ｂフィルタは３９０～５００ｎｍの光を透過させる特徴を有する。
　メモリ２５０には、スコープ固有の識別番号が保持されている。制御部３９０は、メモリ２５０に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。
　集光レンズ２３０は、画角θをθＭＩＮ～θＭＡＸ［ｄｅｇ］の範囲で設定できるようになっている。本実施形態では、画角θ＝θＭＡＸの状態を通常観察状態とし、画角θがθＭＡＸよりも小さい状態を拡大観察状態とする。この画角θは、外部Ｉ／Ｆ部５００よりユーザーが任意の値を設定することにより、設定される。即ち、ユーザーから画角θが設定された場合、設定された画角θが制御部３９０に入力され、制御部３９０（狭義には画角制御部）が画角θをレンズ駆動部２６０に送信する。そして、レンズ駆動部２６０が、集光レンズ２３０の中のズームレンズを駆動することにより、撮像部２００の画角が所望の画角θに設定される。また、制御部３９０は、設定された画角θをノイズ低減部３２０へ出力する。
　外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部Ｉ／Ｆ部５００は、入力された情報を制御部３９０へ出力する。
　制御装置３００は、内視鏡装置の各部の制御や、撮像画像に対する画像処理等を行う。補間処理部３１０は、ノイズ低減部３２０に接続されている。ノイズ低減部３２０は表示画像生成部３４０に接続されている。また、ノイズ低減部３２０は、フレームメモリ３３０と双方向に接続されている。表示画像生成部３４０は表示部４００に接続されている。制御部３９０は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０に接続されており、これらの制御を行う。
　補間処理部３１０は、撮像素子２４０により取得される画像に対して補間処理を行う。上述のように撮像素子２４０はベイヤ配列を有するため、撮像素子２４０により取得される画像の各画素は、Ｒ、Ｇ、Ｂ信号のうちの何れか１色の信号値を有し、他の２色の信号値が欠落した状態である。補間処理部３１０は、この画像の各画素に対して補間処理を行うとで、欠落している信号値を補間し、各画素においてＲ、Ｇ、Ｂ信号の全ての信号値を有する画像を生成する。補間処理として、例えば公知のバイキュービック補間処理を用いればよい。なお以下では、補間処理後の画像をＲＧＢ画像と呼ぶ。補間処理部３１０は、生成したＲＧＢ画像をノイズ低減部３２０へ出力する。
　ノイズ低減部３２０は、補間処理部３１０より出力されるＲＧＢ画像に対して、ＮＲ処理を行う。具体的には、ノイズ低減部３２０は、ＲＧＢ画像の各画素において静止状態と動作状態を判別し、その判別結果に応じて適応的にＮＲ処理を切り替える。即ち、ノイズ低減部３２０は、静止状態と判別された場合には、高周波成分を保持可能な時間方向ＮＲ処理を選択し、動作状態と判別された場合には、空間方向ＮＲ処理を選択する。これにより、静止状態には高周波成分を保持した状態でノイズのみを低減することが可能となり、高性能なＮＲ処理を実現できる。ノイズ低減部３２０については、詳細に後述する。なお以下では、ＮＲ処理後の画像をＮＲ画像（ノイズ低減画像）と呼ぶ。
　表示画像生成部３４０は、ノイズ低減部３２０より出力されるＮＲ画像に対し、例えば既存のホワイトバランスや色変換処理、階調変換処理等を施し、表示画像を生成する。表示画像生成部３４０は、生成した表示画像を表示部４００に出力する。表示部４００は、例えば液晶表示装置等の表示装置により構成される。
　２．２．ノイズ低減処理
　次に、ノイズ低減部３２０について詳細に説明する。図４に、第１の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５、画角情報取得部３２６を含む。
　図５に、第１の実施形態におけるノイズ低減処理のフローチャートを示す。この処理が開始されると、ステップＳ１に示すように、評価値算出部３２１は、補間処理部３１０から出力されるＲＧＢ画像と、フレームメモリ３３０に保持されている過去画像とを用いて、差分平均値ｍＳＡＤを算出する。過去画像とは、ＲＧＢ画像よりも１フレーム前の時点において、ノイズ低減部３２０から出力されたＮＲ画像である。
　ＮＲ処理の対象となる画素である注目画素の座標を（ｘ，ｙ）とすると、差分平均値ｍＳＡＤ（フレーム間差分値）は、下式（１）を用いて算出される。評価値算出部３２１は、下式（１）のＳＡＤ（ｍ，ｎ）が最小となる（ｍ，ｎ）の値を、ノイズ低減処理部３２５へ出力する。なお、以下ではＧ信号についての処理を説明するが、Ｒ信号、Ｂ信号についても同一の処理が施される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、上式（１）において、ｍｉｎ（）は、括弧内の値の最小値を取得する処理を表す。また、ｍ＝－１、０、１、ｎ＝－１、０、１である。また、ＦＧ＿ｃｕｒ（ｘ，ｙ）はＲＧＢ画像の座標（ｘ，ｙ）におけるＧ信号値であり、ＦＧ＿ｐｒｅ（ｘ，ｙ）は過去画像の座標（ｘ，ｙ）におけるＧ信号値である。また、ｋは自然数であり、（２ｋ＋１）は差分平均値ｍＳＡＤを算出する際のカーネルサイズに相当する。ｋは、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００より、ユーザーが任意の値を設定する構成としてもよい。また、∥Ａ∥は、実数Ａの絶対値を取得する処理を表す。
　静止状態と動作状態のそれぞれにおける、上記差分平均値ｍＳＡＤの特徴について説明する。以下では説明を簡単にするために、画像を１次元の信号として扱う。また、画像信号の成分は、図６（Ａ）に示す構造成分と、図６（Ｂ）に示すノイズ成分で構成されているものとする。
　ある時刻ｔにおいて図７（Ａ）に示す画像が取得され、その直前の時刻ｔ－１において図７（Ｂ）に示す画像が取得された場合を考える。この場合、時刻ｔと時刻ｔ－１において、構造成分の位置は変化していない（静止状態に相当）。そのため、時刻ｔにおける画像と、時刻ｔ－１における画像との差分値（差分値の絶対値）を求めると、図７（Ｃ）に示すように、差分値にはノイズ成分のみが含まれることになる。
　一方、ある時刻ｔにおいて図８（Ａ）に示す画像が取得され、その直前の時刻ｔ－１において図８（Ｂ）に示す画像が取得された場合を考える。図８（Ｂ）に示すｄは、フレーム間における被写体の動き量に相当する（動作状態に相当）。この場合、時刻ｔにおける画像と、時刻ｔ－１における画像の差分値を求めると、図８（Ｃ）に示すように、差分値にはノイズ成分と構造成分の両方が含まれることになる。
　従って、動作状態における差分平均値ｍＳＡＤは、静止状態における差分平均値ｍＳＡＤよりも大きくなる特徴がある。そのため、静止状態における差分平均値ｍＳＡＤ（＝ノイズ量）を閾値とすることで、静止状態と動作状態の判別が可能となる。
　しかしながら、図９に示すように、一般にノイズ量は画像信号値に依存して変化する。即ち、画像信号値が大きいほどノイズ量が増加する。そのため、図７（Ｃ）に示す静止状態における差分平均値ｍＳＡＤも画像信号値に依存して変化する。静止状態と動作状態を判別するための閾値を固定値とした場合、このｍＳＡＤのノイズ依存性により、静止状態と動作状態を精度よく判別することが困難となる。
　そこで、本実施形態では、図９に示すノイズ量の特性をテーブル（ノイズ量テーブル）として保持しておき、各画素の信号値に対応するノイズ量Ｎを、テーブルを参照することにより取得する。そして、そのノイズ量Ｎに基づいて、静止状態と動作状態を判別する。このようにして、高精度な判別が可能となる。
　ここで、上式（１）で説明した（ｍ，ｎ）は、フレーム間の動きベクトルに相当し、この動きベクトルの探索範囲は±１画素である。上式（１）では、探索範囲の中で最も小さいＳＡＤをｍＳＡＤとして選択する。そのため、ＲＧＢ画像と過去画像がフレーム間において厳密に静止しておらず、±１画素程度動く場合であっても、ステップＳ３で後述するように時間方向ＮＲ処理が選択される。一方、動き量ｍ、ｎが１画素より大きい場合には、正しい動きベクトル（ｍ，ｎ）を算出できないため、この場合にはステップＳ３で説明するように、空間方向ＮＲ処理が選択される。
　画像において被写体が静止していても微小な動きは存在しているため、厳密に静止状態を判定すると、事実上の静止状態であっても空間方向のＮＲ処理が選択され、画像の構造成分が減少してしまう。この点、上式（１）を用いることで、±１画素の動きであれば静止状態と判定できるため、時間方向ＮＲ処理により高解像の画像を得ることができる。
　次に、図５のステップＳ２に示すように、推定ノイズ量取得部３２２がノイズ量Ｎを取得する。即ち、ルックアップテーブル３２３には、図９で説明したノイズ量Ｎの特性をノイズ量テーブルとして記憶されている。推定ノイズ量取得部３２２は、ＲＧＢ画像の注目画素（処理対象の画素）の信号値に対応するノイズ量Ｎを、ルックアップテーブル３２３を参照することにより取得する。
　なお、ノイズ量テーブルは、接続されるスコープにより異なる。上述のように、撮像部２００のメモリ２５０には、各スコープ固有の識別番号が保持されているため、接続されているスコープを識別可能である。具体的には、制御部３９０がメモリ２５０に保持されている識別番号を取得し、接続されているスコープを識別し、その識別結果をノイズ低減部３２０に出力する。そして、推定ノイズ量取得部３２２は、スコープに対応するノイズ量テーブルを参照してノイズ量Ｎを取得する。
　次に、図５のステップＳ３に示すように、判定部３２４は、ステップＳ１で出力された差分平均値ｍＳＡＤ、及びステップＳ２で出力されたノイズ量Ｎを用いて、静止状態か動作状態かの判別処理を行う。具体的には、判定部３２４は、下式（２）により判別処理を行う。
Figure JPOXMLDOC01-appb-M000002
 　次に、ステップＳ４に示すように、ノイズ低減処理部３２５は、ステップＳ３において静止状態と判別された場合には時間方向のＮＲ処理（広義には第１のノイズ低減処理）を実行する。一方、ステップＳ５に示すように、ノイズ低減処理部３２５は、ステップＳ３において動作状態と判別された場合には空間方向のＮＲ処理（広義には第２のノイズ低減処理）を実行する。なお、時間方向ＮＲ処理と空間方向ＮＲ処理の詳細は後述する。
　次に、ステップＳ６に示すように、ＲＧＢ画像の全画素についてＮＲ処理が実行されたか否かをチェックする。全画素についてＮＲ処理が実行された場合には、ステップＳ７に示すように、ノイズ低減部３２０はＮＲ画像をフレームメモリ３３０及び表示画像生成部３４０に出力し、処理を終了する。フレームメモリ３３０は、ノイズ低減部３２０より出力されたＮＲ画像を過去画像として保持する。全画素についてＮＲ処理が実行されていない場合には、ステップＳ１～ステップＳ６を実行する。
　２．３．観察状態に応じたノイズ低減処理
　次に、拡大観察状態か否かに応じて、静止状態と動作状態を判別するための閾値を変更する手法について説明する。
　図１０に、第１の実施形態におけるノイズ低減処理の第２のフローチャートを示す。なお、ステップＳ２２、Ｓ２４以外は図５のステップＳ１～Ｓ７と同様であるため、適宜説明を省略する。ステップＳ２２に示すように、画角情報取得部３２６は、撮像部２００の画角θの情報を制御部３９０から取得する。そして、判定部３２４は、画角θがθＭＡＸより小さいか否かを判定する。
　画角θ＝θＭＡＸ、即ち通常観察状態である場合には、ステップＳ２３に示すように、上式（２）を用いて静止状態と動作状態の判別処理が行われる。一方、画角θ＜θＭＡＸ（θ≠θＭＡＸ）、即ち拡大観察状態である場合には、ステップＳ２４に示すように、下式（３）を用いて静止状態と動作状態の判別処理が行われる。
Figure JPOXMLDOC01-appb-M000003
 　ここで、上式（３）において、係数Ｃａは１よりも大きい実数とする。係数Ｃａは、予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００よりユーザーが任意の値を設定する構成としてもよい。
　ステップＳ２３、Ｓ２４において静止状態と判別された場合には、ステップＳ２５に示すように、時間方向のＮＲ処理が実行される。一方、動作状態と判別された場合には、ステップＳ２６に示すように、空間方向のＮＲ処理が実行される。
　本実施形態と観察状態の関係について詳細に説明する。内視鏡診断においては、大別すると病変と疑われる箇所を探索するスクリーニングと、スクリーニングにより発見された箇所が病変であるか否かを診断する精査の、２つの診断が存在する。
　スクリーニング時には、ドクターがスコープを操作（挿入・抜去）しながら診断を行うため、画像上において被写体が大きく動く（動作状態）という特徴がある。そのため、時間方向ＮＲ処理が有効に機能しない。また、スクリーニング時には、発赤調や褪色調を有する領域を探索するため、比較的低周波成分が診断に重要な情報となるという特徴がある。そのため、スクリーニング時にはノイズ低減処理により、高周波成分が多少減衰しても診断に与える影響は少ない。以上より、スクリーニング処理時には、空間方向ＮＲ処理によりノイズを低減することが望ましい。
　一方、精査時には、ドクターがスコープを停止させた状態で診断を行うため、画像上における被写体の動き量は小さい（静止状態）という特徴がある。また、精査時には、微細血管や粘膜構造など、比較的高周波成分が診断に重要な情報となる。従って、動き量の小さい精査時には、高周波成分を保持可能な時間方向ＮＲ処理を機能させることが望ましい。このような精査は、拡大観察の状態で行われることが多い。
　本実施形態では、図５等で説明したように、精査に対応する静止状態とスクリーニングに対応する動作状態を高精度に判別する。そして、精査時においては、時間方向ＮＲ処理を選択することで診断に重要となる微細血管や粘膜構造を保持した状態でノイズのみを低減することが可能である。また、図１０等で説明したように、画角θに応じて判別処理の閾値を変更することにより、精査に用いる拡大観察時においては、時間方向ＮＲ処理がより選択されやすく（支配的に）なるという利点がある。
　以上の実施形態によれば、内視鏡画像のノイズを適応的に低減することが可能であり、診断により適した画像を提供することが可能となる。具体的には、精査時のように動き量が小さい場合においては、時間方向ＮＲ処理が選択されやすくなるため、精査の際に重要となる高周波成分を保持しつつ、ノイズのみを低減することができる。
　一方、スクリーニング時においては、空間方向ＮＲ処理が選択される。この場合、高コントラストのエッジ部の高周波成分は保持可能であるが、低コントラストのエッジ部の高周波成分は減衰してしまう。しかし、スクリーニング時においては、発赤調や褪色調領域などの比較的低周波な情報が重要になるため、診断に与える影響は少ない。
　２．４．時間方向ＮＲ処理、空間方向ＮＲ処理
　次に、時間方向ＮＲ処理の詳細について説明する。時間方向ＮＲ処理には、下式（４）が用いられる。
Figure JPOXMLDOC01-appb-M000004
 　ここで、上式（４）において、ＦＧ＿ＮＲ（ｘ，ｙ）はＮＲ画像の座標（ｘ，ｙ）におけるＧ信号値である。また、ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは加重平均処理時の重み係数である。ｗｅ＿ｐｒｅを（ｗｅ＿ｃｕｒと比較して）大きくすることにより、ノイズ低減量が大きくなる。ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００より、ユーザーが任意の値を設定する構成としてもよい。
　次に、空間方向ＮＲ処理の詳細について説明する。本実施形態において、空間方向ＮＲ処理は、ＮＲ処理の対象となる画素（注目画素）とその周辺の画素を用いた加重平均処理である。具体的には、下式（５）を用いてノイズを低減する。
Figure JPOXMLDOC01-appb-M000005
 　ここで、上式（５）において、ｗｅ＿ｄｉｆｆ＿ｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）、ｗｅ＿ｄｉｆｆ＿ｐｒｅ（ｘ＋ｉ，ｙ＋ｊ）は加重平均処理時の重み係数に相当する。この係数は、下式（６）に示すように、ガウス分布で与えられる。また、Ｉは自然数である。また、ｍ、ｎは、上式（１）においてｍＳＡＤとして選択されたＳＡＤ（ｍ，ｎ）のｍ、ｎである。
Figure JPOXMLDOC01-appb-M000006
 　上式（６）に示すように、本実施形態で用いられる空間方向ＮＲ処理では、注目画素の信号値と周辺画素の信号値との差分の大きさに応じて、適応的に重み係数が設定される。具体的には、差分が大きい場合には、加重平均処理時の重みが小さくなる。従って、エッジ部など信号値が急に変化する領域の画素は加重平均処理に寄与しなくなるため、エッジ部を保持してノイズ成分のみを低減できる利点がある。
　しかしながら、この空間方向ＮＲ処理では、注目画素と周辺画素の信号値の差分に応じて重み係数が制御されるため、ノイズ低減の程度（平滑化の強度）が、画像に含まれるノイズ量に依存するという特徴がある。具体的には、ノイズが大きいほど差分が大きくなるため、重み係数が小さくなり、上式（５）の加重平均における寄与が小さくなる。そのため、ノイズが大きいほどノイズ低減の程度は弱くなり、ノイズが低減されなくなってしまう。
　そこで、本実施形態では、上式（６）のガウス分布の標準偏差σを、図５のステップＳ２（又は図１０のステップＳ２１）で出力されるノイズ量Ｎに基づいて算出する。具体的には、下式（７）を用いて標準偏差σを算出する。
Figure JPOXMLDOC01-appb-M000007
 　ここで、上式（７）において、係数Ｃｂは正の実数である。係数Ｃｂは、予め一定の値を設定してもよいし、外部Ｉ／Ｆ部５００よりユーザーが任意の値を設定する構成としてもよい。
　このように、ノイズ量Ｎに基づいてガウス分布の標準偏差σを算出することにより、ノイズ量に対して適応的なノイズ低減処理を実現することが可能である。即ち、ノイズ量Ｎが大きいほど標準偏差σが大きくなるため、上式（６）において差分（例えばＦＧ＿ｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）－ＦＧ＿ｃｕｒ（ｘ，ｙ））がノイズにより大きくなった場合でも、標準偏差σがノイズ量Ｎに依存しない場合に比べて、重み係数を大きくできる。そのため、ノイズが大きい場合でも平滑化の強度を維持できる。
　なお、以上の実施形態では、補間処理部３１０より出力されるＲＧＢ画像に対してＮＲ処理を施す場合を例に説明したが、本実施形態はこれに限定されない。例えば、撮像素子２４０より出力される画像に対してＮＲ処理を施してもよい。この場合、撮像素子２４０はベイヤ配列を有するため、撮像素子２４０が出力する画像は、各画素がＲ、Ｇ、Ｂのうち何れか１種類の信号値のみを有するベイヤ画像となる。そのため、同色の信号値を有する画素のみを用いて、ＮＲ処理が施される。例えば注目画素がＧ画素の場合には、注目画素と周辺のＧ画素を用いてＮＲ処理が施される。
　また、以上の実施形態では、ノイズ量Ｎを取得する際のＲＧＢ画像の信号値として、ＲＧＢ画像の注目画素の信号値を用いたが、本実施形態はこれに限定されない。例えば、ＲＧＢ画像の注目画素及びその周辺画素の平均値を信号値として、その信号値に対応するノイズ量Ｎをノイズ量テーブルから取得してもよい。
　また、以上の実施形態では、推定ノイズ量取得部３２２がルックアップテーブル３２３からノイズ量Ｎを取得する場合を例に説明したが、本実施形態はこれに限定されない。例えば、推定ノイズ量取得部３２２が、補間処理部３１０からのＲＧＢ画像に基づいてノイズ量Ｎを推定（算出）してもよい。
　以上の実施形態によれば、図４に示すように、画像処理装置は、評価値算出部３２１と推定ノイズ量取得部３２２と判定部３２４とノイズ低減処理部３２５を含む。図５のＳ１で説明したように、評価値算出部３２１は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する。Ｓ２で説明したように、推定ノイズ量取得部３２２は、撮像画像の推定ノイズ量Ｎを取得する。Ｓ３で説明したように、判定部３２４は、評価値と推定ノイズ量Ｎに基づいて、静止状態であるか否かの判定を行う。Ｓ４で説明したように、ノイズ低減処理部３２５は、静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を撮像画像に対して行う。Ｓ５で説明したように、静止状態でない（動作状態）と判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を撮像画像に対して行う。
　具体的には、判定部３２４は、推定ノイズ量Ｎを閾値とし、フレーム間差分値ｍＳＡＤが閾値以下である場合に静止状態であると判定する。
　このようにすれば、画像が静止状態であるか否を高精度に判定することが可能になる。即ち、図７（Ａ）～図８（Ｃ）で説明したように、フレーム間差分値ｍＳＡＤはノイズ量に依存して変化する。本実施形態では、推定ノイズ量Ｎを用いて、フレーム間差分値ｍＳＡＤが静止状態に該当するか否かの判定を行うため、ノイズ量に影響されず高精度に判定できる。
　例えば本実施形態では、画像処理装置は、補間処理部３１０、ノイズ低減部３２０、フレームメモリ３３０に対応する。また撮像画像は、補間処理部３１０からのＲＧＢ画像に対応する。また評価値は、フレーム間差分値ｍＳＡＤに対応する。なお、本実施形態はこれに限定されず、評価値とは、複数フレームの画像を用いて算出され、画像上において被写体が静止した状態と静止していない状態とで値が異なるものであればよい。
　ここで、時間方向のノイズ低減処理とは、撮像画像の時間方向におけるノイズを低減する処理である。具体的には、第１フレームの画像における処理対象画素と、第１フレームよりも後の第２フレームの画像における処理対象画素を時系列の画素とし、その時系列の画素に対して平滑化を行う処理である。例えば上式（４）において、第１フレームの画像における処理対象画素はＦＧ＿ｐｒｅ（ｘ＋ｍ，ｙ＋ｎ）であり、第２フレームの画像における処理対象画素はＦＧ＿ｃｕｒ（ｘ，ｙ）である。
　また、空間方向のノイズ低減処理とは、撮像画像の空間方向におけるノイズを低減する処理である。具体的には、１つのフレームの画像において、処理対象画素と処理対象画素の近傍の画素とを用いて、処理対象画素に対して平滑化を行う処理である。例えば上式（５）において、１つのフレームの画像はＦＧ＿ｃｕｒであり、処理対象画素は（ｘ，ｙ）であり、処理対象画素の近傍の画素は、－Ｉ≦ｉ≦Ｉ、－Ｉ≦ｊ≦Ｉにおける（ｘ＋ｉ，ｙ＋ｊ）である。
　なお、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理は、１つのフレームの画像のみに対する空間方向のノイズ低減処理を、少なくとも含んでいればよい。例えば、上式（５）に示すように、複数フレームの画像を用いたノイズ低減処理であってもよい。
　また本実施形態では、上式（１）で説明したように、撮像画像の第１フレームＦＧ＿ｃｕｒにおいて処理対象画素（ｘ，ｙ）を中心とする所定サイズ（（２ｋ＋１）２画素）の領域を第１領域とし、撮像画像の第２フレームＦＧ＿ｐｒｅにおいて処理対象画素（ｘ，ｙ）を中心とする所定サイズ（（２ｋ＋１）２画素）の領域を第２領域とする。この場合に、評価値算出部３２１は、第１領域の画素値と第２領域の画素値との差分値ＳＡＤ（ｍ，ｎ）を、第１領域に対して第２領域を水平（ｘ軸に沿った方向）及び垂直（ｙ軸に沿った方向）に１画素ずつ順次シフト（ｍ，ｎ＝－１，０，１）しながら複数求める。評価値算出部３２１は、求めた複数の差分値ＳＡＤ（ｍ，ｎ）のうちの最小値ｍｉｎ（ＳＡＤ（ｍ，ｎ））をフレーム間差分値ｍＳＡＤとして出力する。判定部３２４は、その最小値が閾値Ｎ以下（その値を含む）である場合に静止状態であると判定する。
　このようにすれば、フレーム間において１画素程度、被写体が動く場合であっても、時間方向ＮＲ処理を選択できる。即ち、静止状態とはいえ画像上において被写体が全く動かないわけではないため、静止状態と見なせる範囲の動きであれば時間方向ＮＲ処理を選択し、構造情報を失わずにノイズ低減処理できる。
　また本実施形態では、図４に示すように、画像処理装置は、撮像画像を撮像する撮像部２００の画角情報を取得する画角情報取得部３２６を含む。判定部３２４は、画角情報が表す画角θに応じて、静止状態であるか否かの判定条件を設定する。
　より具体的には、図１０のＳ２０に示すように、評価値算出部３２１は、撮像画像のフレーム間差分値ｍＳＡＤを評価値として算出する。Ｓ２２、Ｓ２３に示すように、判定部３２４は、画角θが閾値θＭＡＸ以上（その値を含む）である場合、フレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下（その値を含む）である場合に静止状態であると判定する。Ｓ２２、Ｓ２４に示すように、判定部３２４は、画角θが閾値θＭＡＸよりも小さい場合、フレーム間差分値ｍＳＡＤが、１よりも大きい係数Ｃａを推定ノイズ量Ｎに対して乗じた値以下である場合に、静止状態であると判定する。
　なお、上記の実施形態では画角判定の閾値を、画角調整範囲θＭＩＮ～θＭＡＸの上限θＭＡＸとしたが、本実施形態はこれに限定されない。例えば、画角調整範囲θＭＩＮ～θＭＡＸ内の所定画角を閾値としてもよい。
　このようにすれば、撮像部２００の画角θが閾値より小さい場合に拡大観察状態であると判定できる。拡大観察状態であると判定された場合、閾値を推定ノイズ量Ｎより大きいＣａＮに設定することで、通常観察状態の場合よりも時間方向ＮＲ処理を選択されやすくできる。これにより、拡大観察状態において病変部等の微細な構造の視認性を向上できる。
　３．第２の実施形態
　３．１．内視鏡システム
　撮像部２００の前方視野と側方視野とで異なる閾値により、静止状態と動作状態の判別処理を行う第２の実施形態について説明する。
　図１１に、第２の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。撮像部２００と制御装置３００以外は、第１の実施形態と同一であるため、説明を省略する。
　撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２７０と、撮像素子２４０と、メモリ２５０を含む。ライトガイドファイバ２１０と、照明レンズ２２０と、撮像素子２４０と、メモリ２５０については、第１の実施形態と同一であるため、説明を省略する。集光レンズ２７０は、撮像部２００の先端から突出しており、前方視野及び側方視野を観察可能である。集光レンズ２７０は、例えば視野角が２３０°の対物レンズにより構成される。
　図１２に示すように、補間処理部３１０は、前方視野の被写体が撮像された前方視野領域と、側方視野の被写体が撮像された側方視野領域とを含むＲＧＢ画像を出力する。ＲＧＢ画像の中央部は前方視野に対応し、ＲＧＢ画像の周辺部は側方視野に対応する。図１３に示すように、このＲＧＢ画像の中心座標を（ｘｏ，ｙｏ）とする。中心座標（ｘｏ，ｙｏ）を基準として、半径Ｒの範囲内にある領域を前方視野領域とし、半径Ｒの範囲外にある領域を側方視野領域とする。
　制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、制御部３９０を含む。ノイズ低減部３２０以外の処理は、第１の実施形態と同一であるため、説明を省略する。
　３．２．ノイズ低減処理
　図１４に、第２の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５、領域判定部３２７を含む。
　図１５に、第２の実施形態におけるノイズ低減処理のフローチャートを示す。なお、ステップＳ４２以外は図５や図１０で説明したステップと同様であるため、適宜説明を省略する。
　ステップＳ４２に示すように、領域判定部３２７は、注目画素が属する領域の判別処理を行う。即ち、領域判定部３２７は、注目画素が前方視野領域に属するか、側方視野領域に属するかを、下式（８）により判定する。下式（８）のｒは、下式（９）により求められる。下式（９）において（ｘ，ｙ）は注目画素の座標である。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 　ステップＳ４３、Ｓ４４に示すように、判定部３２４は、ステップＳ４０で出力される差分平均値ｍＳＡＤと、ステップＳ４１で出力されるノイズ量Ｎと、ステップＳ４２より出力される注目画素の属する領域の情報と、に基づいて判別処理を行う。具体的には、注目画素が側方視野領域に属すると判定された場合には、ステップＳ４４に示すように上式（２）を用いて静止状態か否かの判定を行う。注目画素が前方視野領域に属すると判定された場合には、ステップＳ４３に示すように上式（３）を用いて静止状態か否かの判定を行う。
　一般に、視野角の広いレンズを用いて取得された画像では、周辺部において画像が大きく歪むため、周辺部の高周波成分が失われる特徴がある。そのため、本実施形態において取得される画像の側方視野領域は、スクリーニングには適しているが、歪みの少ない前方視野領域に比べると精査には適さない。
　本実施形態では、側方視野領域における閾値よりも前方視野領域における閾値を大きくして判別処理を行う。これにより、側方領域については空間方向ＮＲを支配的にし、前方領域については時間方向ＮＲを支配的にでき、適応的なＮＲ処理を実現することが可能である。即ち、精査に用いられると考えられる前方領域については、閾値をＣａＮ（Ｃａ＞１）として時間方向ＮＲが選択されやすくすることで、高周波成分を保持した状態でノイズのみを低減する。一方、スクリーニングに用いられると考えられる側方領域については、閾値をＮとし、空間方向ＮＲが選択されやすくすることで、残像を抑制する。このようにして、より診断に適した画像をドクターに提示することが可能となる。
　上記の実施形態によれば、判定部３２４は、撮像画像においてノイズ低減処理の対象領域が属する領域に応じて、静止状態であるか否かの判定条件を設定する。
　このようにすれば、微細構造の観察に用いる領域において、時間方向ＮＲ処理を選択されやすくすることが可能になる。これにより、その領域において病変部等の微細な構造の視認性を向上できる。
　具体的には、図１４に示すように、画像処理装置は領域判定部３２７を含む。図１１、図１２で説明したように、撮像部２００は、撮像部２００の前方視野及び側方視野を撮像可能である。図１３で説明したように、領域判定部３２７は、対象領域が、撮像画像において前方視野に対応する領域である前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である側方視野領域のいずれに属するかの判定を行う。判定部３２４は、前方視野領域に属すると判定された場合と、側方視野領域に属すると判定された場合とで、異なる判定条件を設定する。
　より具体的には、図１５のＳ４２、Ｓ４３に示すように、判定部３２４は、対象領域が側方視野領域に属すると判定された場合、フレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下（その値を含む）である場合に静止状態であると判定する。Ｓ４２、Ｓ４４に示すように、判定部３２４は、対象領域が前方視野領域に属すると判定された場合、フレーム間差分値ｍＳＡＤが、１よりも大きい係数Ｃａを推定ノイズ量Ｎに対して乗じた値以下である場合に静止状態であると判定する。
　例えば、図１３で説明したように、領域判定部３２７は、撮像画像における対象領域の位置（ｘ，ｙ）に基づいて、対象領域が属する領域を判定する。
　このようにすれば、前方視野領域であると判定された場合、閾値を推定ノイズ量Ｎより大きいＣａＮに設定することで、側方視野領域よりも時間方向ＮＲ処理を選択されやすくできる。
　ここで、ノイズ低減処理の対象領域とは、１画素により構成されてもよいし、複数画素により構成されてもよい。例えば、上式（４）に示す第１のノイズ低減処理や、上式（５）に示す第２のノイズ低減処理では、画素（ｘ，ｙ）が対象領域である。
　また、前方視野とは、撮像部２００の光軸方向を含む視野範囲であり、例えば光軸に対して０度～７０度の範囲である。側方視野とは、光軸に直交する方向を含む視野範囲である。例えば、撮像部２００の視野範囲が、光軸に対して０度～１１５度である場合、側方視野は、光軸に対して７０度～１１５度の範囲である。
　４．第３の実施形態
　４．１．内視鏡システム
　白色光画像と特殊光画像とで異なる閾値により、静止状態と動作状態の判別処理を行う第３の実施形態について説明する。
　図１６に、第３の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。撮像部２００と制御装置３００以外は、第１の実施形態と同一であるため、説明を省略する。
　撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２３１と、撮像素子２４０と、メモリ２５０と、狭帯域フィルタ２９０と、フィルタ駆動部２８０を含む。ライトガイドファイバ２１０と、照明レンズ２２０と、撮像素子２４０と、メモリ２５０は第１の実施形態と同一であるため、説明を省略する。フィルタ駆動部２８０は狭帯域フィルタ２９０に接続されており、さらに制御部３９０と双方向に接続されている。
　図１７に示すように、狭帯域フィルタ２９０は、３８０～４５０ｎｍ、及び５３０～５５０ｎｍの光を透過する。また、狭帯域フィルタ２９０は、集光レンズ２３１及び撮像素子２４０の間の光路に挿入できるようになっている。狭帯域フィルタ２９０の挿入・非挿入は、例えば外部Ｉ／Ｆ部５００よりユーザーが制御する。この場合、ユーザーの指示が、外部Ｉ／Ｆ部５００より制御部３９０を介してフィルタ駆動部２８０に送られ、フィルタ駆動部２８０が狭帯域フィルタ２９０を駆動する。狭帯域フィルタ２９０が光路中に挿入されている場合、制御部３９０は、補間処理部３１０及びノイズ低減部３２０へトリガ信号を出力する。
　制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、制御部３９０を含む。
　補間処理部３１０は、撮像素子２４０により撮像される画像に対して補間処理を行う。補間処理部３１０は、上述のトリガ信号が制御部３９０から出力されていない場合（狭帯域フィルタ２９０が挿入されていない場合）には、第１の実施形態と同一の手法によりＲＧＢ画像を生成する。以下では、狭帯域フィルタ２９０が挿入されていない場合に取得されるＲＧＢ画像を、白色光画像（広義には通常光画像）と呼ぶ。
　一方、上述のトリガ信号が制御部３９０から出力されている場合（狭帯域フィルタ２９０が挿入されている場合）には、補間処理部３１０は、Ｇ信号及びＢ信号に対してのみ補間処理を行う。補間処理は、例えば公知のバイキュービック補間処理である。この場合、補間処理部３１０は、全画素においてＧ信号を有するＧ画像と、全画素においてＢ信号を有するＢ画像とを、補間処理により生成する。そして、ＲＧＢ画像のＲ信号にＧ画像を入力し、ＲＧＢ画像のＧ信号とＢ信号にＢ画像を入力することで、ＲＧＢ画像を生成する。以下では、狭帯域フィルタ２９０が挿入されている場合に取得されるＲＧＢ画像を、狭帯域光画像（広義には特殊光画像）と呼ぶ。
　４．２．ノイズ低減処理
　図１８に、第３の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５を含む。
　図１９に、第３の実施形態におけるノイズ低減処理のフローチャートを示す。なお、ステップＳ６２、Ｓ６４以外は図５や図１０で説明したステップと同様であるため、適宜説明を省略する。
　ステップＳ６２～Ｓ６４に示すように、判定部３２４は、ステップＳ６０で出力される差分平均値ｍＳＡＤと、ステップＳ６１で出力されるノイズ量Ｎと、制御部３９０から出力されるトリガ信号と、に基づいて判別処理を行う。具体的には、制御部３９０からトリガ信号が出力されている場合には、判定部３２４は、下式（１０）を用いて判別処理を行う。下式（１０）において、係数Ｃｃは１より小さい正の実数である。制御部３９０からトリガ信号が出力されていない場合には、判定部３２４は、上式（２）を用いて判別処理を行う。
Figure JPOXMLDOC01-appb-M000010
 　一般に、狭帯域光画像では光量が不足するため、白色光画像に比べてノイズが増加（Ｓ／Ｎが悪化）する特徴がある。そのため、図６（Ａ）で説明した構造成分が、図６（Ｂ）で説明したノイズ成分に埋もれてしまい、静止状態と動作状態の判別処理の精度が劣化する。即ち、静止状態か否かの判別処理において、動作状態にも関わらず静止状態と判別され、時間方向ＮＲ処理が選択されてしまう。この場合、時間方向ＮＲ処理の副作用である残像を生じるという課題がある。
　この点、本実施形態によれば、狭帯域光画像が取得されている場合には、上式（１０）を用いて静止状態か否かの判別処理を行う。Ｃｃ＜１であるため、白色光画像の場合よりも閾値が小さくなり、空間方向ＮＲ処理を支配的にできる。これにより、動作状態にも関わらず静止状態と判別される可能性を低くでき、残像を生じる問題を改善可能である。このようにして、内視鏡の観察モード（白色光画像観察または狭帯域光画像観察）に応じて、動き判別処理時の閾値を制御することで、適応的なＮＲ処理を実現することができる。
　上記の実施形態によれば、判定部３２４は、撮像画像の種類に応じて、静止状態であるか否かの判定条件を設定する。
　このようにすれば、撮像画像の種類がもつ特性に合わせて、第１のノイズ低減処理又は第２のノイズ低減処理を選択されやすくすることができる。例えば、微細構造の視認性向上が可能になり、又は、静止状態の誤判定を抑制することが可能になる。
　ここで、撮像画像の種類とは、例えば撮像画像の画素数や解像度、露出時間、フレームレート、装着された撮像部２００の種類、照明光の特性、撮像に使用する光学フィルタの特性等によって決まる。
　また本実施形態では、図１６で説明したように、撮像画像は、白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像（狭義には狭帯域光画像）である。判定部３２４は、撮像画像が白色光画像である場合と、撮像画像が特殊光画像である場合とで、異なる判定条件を設定する。
　具体的には、図１９のＳ６２、Ｓ６３に示すように、判定部３２４は、撮像画像が白色光画像である場合、フレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下（その値を含む）である場合に静止状態であると判定する。Ｓ６２、Ｓ６４に示すように、判定部３２４は、撮像画像が特殊光画像である場合、フレーム間差分値ｍＳＡＤが、１よりも小さい係数Ｃｃを推定ノイズ量Ｎに対して乗じた値以下である場合に、静止状態であると判定する。
　このようにすれば、特殊光画像であると判定された場合、閾値を推定ノイズ量Ｎより小さいＣｃＮに設定することで、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を、白色光画像の場合よりも選択されやすくできる。これにより、白色光画像よりもＳ／Ｎが低い特殊光画像において、静止状態の誤判定を抑制できる。
　なお、上記の実施形態では、狭帯域フィルタ２９０を光路に挿入することにより特殊光画像を撮像する場合を例に説明したが、本実施形態はこれに限定されない。例えば、光源部１００が、特殊光（狭義には狭帯域光）を出射することにより特殊光画像を撮像してもよい。あるいは、撮像部２００が、特殊光を透過する色フィルタを有する撮像素子を更に含み、その撮像素子により特殊光画像を撮像してもよい。あるいは、画像処理により白色光画像から特殊光画像を生成してもよい。
　また本実施形態では、特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ～６５０ｎｍ）よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ～４４５ｎｍ（第１の狭帯域光、狭帯域光のＢ２成分）、または５３０ｎｍ～５５０ｎｍ（第２の狭帯域光、狭帯域光のＧ２成分）である。
　これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ～４４５ｎｍまたは５３０ｎｍ～５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０～１０％程度減少し、上限値が０～１０％程度上昇することも考えられる。
　５．第４の実施形態
　５．１．内視鏡システム
　フレーム間における被写体の動きベクトルを検出し、その動きベクトルの分だけ位置をずらしたフレーム間において静止状態と動作状態の判別処理を行う第４の実施形態について説明する。
　図２０に、第４の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。制御装置３００以外は、第１の実施形態と同一であるため、説明を省略する。
　制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、動きベクトル検出部３５０と、制御部３９０を含む。制御装置３００の構成は、動きベクトル検出部３５０が追加された以外は、第１の実施形態と同一である。
　動きベクトル検出部３５０は、補間処理部３１０から出力されるＲＧＢ画像、及びフレームメモリ３３０に保持されている過去画像に基づいて、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を検出する。動きベクトルの検出には、例えば公知のブロックマッチング処理を用いればよい。動きベクトルは、例えば各画素について求める。
　５．２．ノイズ低減処理
　図２１に、第４の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５を含む。
　第４の実施形態におけるノイズ低減処理のフローチャートは、図１０で説明した第１の実施形態と同様である。図１０のステップＳ２０、Ｓ２５、Ｓ２６以外の処理は、第１の実施形態と同様であるため、適宜説明を省略する。
　ステップＳ２０では、評価値算出部３２１が、下式（１１）を用いて差分平均値ｍＳＡＤを算出する。具体的には、動きベクトル検出部３５０が動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を検出し、評価値算出部３２１が動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を考慮して差分平均値ｍＳＡＤを算出する。
Figure JPOXMLDOC01-appb-M000011
 　ステップＳ２５では、下式（１２）に示すように、ノイズ低減処理部３２５は、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を考慮した時間方向ＮＲ処理を行う。
Figure JPOXMLDOC01-appb-M000012
 　ステップＳ２６では、下式（１３）に示すように、ノイズ低減処理部３２５は、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を考慮した空間方向ＮＲ処理を行う。
Figure JPOXMLDOC01-appb-M000013
 　上式（１３）において、重み係数ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは下式（１４）で表される。
Figure JPOXMLDOC01-appb-M000014
 　本実施形態によれば、動きベクトルを考慮することで、スクリーニング時のように動き量が大きい場合にも、時間方向ＮＲ処理が機能するようになる。即ち、上式（１１）において過去画像ＦＧ＿ｐｒｅの画素位置が動き補償されているため、動きベクトルの検出処理が被写体の動きに追従できる場合には静止状態と判別され、時間方向ＮＲ処理が選択される。これにより、被写体に動きがある場合であっても、高周波成分を保持した状態でノイズのみを減衰することが可能になる。
　上記の実施形態によれば、図２０に示すように、画像処理装置は、撮像画像の第１フレームと第２フレームの間における被写体の動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を検出する動きベクトル検出部３５０を含む。上式（１１）で説明したように、評価値算出部３２１は、第１フレームと、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）により動き補償される第２フレームとの間において、静止状態であるか否かを判定するための評価値（フレーム間差分値ｍＳＡＤ）を算出する。上式（１２）～（１４）で説明したように、ノイズ低減処理部３２５は、第１フレームと、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）により動き補償される第２フレームとに基づいて、第１のノイズ低減処理と第２のノイズ低減処理を行う。
　ここで、動きベクトルにより動き補償されるとは、判定処理やノイズ低減処理において、第２フレームの画素位置が動きベクトルにより補償されていることである。例えば、上式（１１）において、ＳＡＤを求める際に第２フレームＦＧ＿ｐｒｅの画素位置は、第１フレームＦＧ＿ｃｕｒの画素位置に対して、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）の分だけずれた位置である。
　なお、以上の第１～第４実施形態で説明した画像処理装置等は、その処理の一部または全部をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。なお、本実施形態は内視鏡システムに限定されず、デジタルビデオカメラ等の種々の撮像システムに適用可能である。
　また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１００　光源部、１１０　白色光源、１２０　レンズ、２００　撮像部、
２１０　ライトガイドファイバ、２２０　照明レンズ、２３０　集光レンズ、
２３１　集光レンズ、２４０　撮像素子、２５０　メモリ、２６０　レンズ駆動部、
２７０　集光レンズ、２８０　フィルタ駆動部、２９０　狭帯域フィルタ、
３００　制御装置、３１０　補間処理部、３２０　ノイズ低減部、
３２１　評価値算出部、３２２　推定ノイズ量取得部、３２２　ノイズ低減処理部、
３２３　ルックアップテーブル、３２４　判定部、３２５　ノイズ低減処理部、
３２６　画角情報取得部、３２７　領域判定部、３３０　フレームメモリ、
３４０　表示画像生成部、３５０　動きベクトル検出部、３９０　制御部、
４００　表示部、５００　外部Ｉ／Ｆ部、
Ｃａ，Ｃｃ　係数、ｍＳＡＤ　フレーム間差分値、Ｎ　推定ノイズ量、
Ｒ　半径、ｘ，ｙ　画素位置、ｘｏ，ｙｏ　中心位置、θ　画角

Claims (19)

  1. 　撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    　前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    　前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、
    　前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    　を含むことを特徴とする画像処理装置。
  2. 　請求項１において、
    　前記撮像画像を撮像する撮像部の画角情報を取得する画角情報取得部を含み、
    　前記判定部は、
    　前記画角情報が表す画角に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
  3. 　請求項２において、
    　前記評価値算出部は、
    　前記撮像画像のフレーム間差分値を前記評価値として算出し、
    　前記判定部は、
    　前記画角が閾値以上である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
    　前記画角が前記閾値よりも小さい場合、前記フレーム間差分値が、１よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  4. 　請求項１において、
    　前記判定部は、
    　前記撮像画像においてノイズ低減処理の対象領域が属する領域に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
  5. 　請求項４において、
    　領域判定部を含み、
    　前記撮像画像を撮像する撮像部は、前記撮像部の前方視野及び側方視野を撮像可能であり、
    　前記領域判定部は、
    　前記対象領域が、前記撮像画像において前記前方視野に対応する領域である前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である側方視野領域のいずれに属するかの判定を行い、
    　前記判定部は、
    　前記前方視野領域に属すると判定された場合と、前記側方視野領域に属すると判定された場合とで、異なる前記判定条件を設定することを特徴とする画像処理装置。
  6. 　請求項５において、
    　前記評価値算出部は、
    　前記撮像画像のフレーム間差分値を前記評価値として算出し、
    　前記判定部は、
    　前記対象領域が前記側方視野領域に属すると判定された場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
    　前記対象領域が前記前方視野領域に属すると判定された場合、前記フレーム間差分値が、１よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  7. 　請求項５において、
    　前記領域判定部は、
    　前記撮像画像における前記対象領域の位置に基づいて、前記対象領域が属する領域を判定することを特徴とする画像処理装置。
  8. 　請求項１において、
    　前記判定部は、
    　前記撮像画像の種類に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
  9. 　請求項８において、
    　前記撮像画像は、
    　白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像であり、
    　前記判定部は、
    　前記撮像画像が前記白色光画像である場合と、前記撮像画像が前記特殊光画像である場合とで、異なる前記判定条件を設定することを特徴とする画像処理装置。
  10. 　請求項９において、
    　前記評価値算出部は、
    　前記撮像画像のフレーム間差分値を前記評価値として算出し、
    　前記判定部は、
    　前記撮像画像が前記白色光画像である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
    　前記撮像画像が前記特殊光画像である場合、前記フレーム間差分値が、前記推定ノイズ量に対して１よりも小さい係数を乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  11. 　請求項９において、
    　前記特定の波長帯域は、
    　前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
  12. 　請求項１１において、
    　前記白色光画像および前記特殊光画像は生体内を写した生体内画像であり、
    　前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
  13. 　請求項１２において、
    　前記特定の波長帯域は、３９０ｎｍ～４４５ｎｍ、または５３０ｎｍ～５５０ｎｍであることを特徴とする画像処理装置。
  14. 　請求項１において、
    　前記撮像画像の第１フレームと第２フレームの間における被写体の動きベクトルを検出する動きベクトル検出部を含み、
    　前記評価値算出部は、
    　前記第１フレームと、前記動きベクトルにより動き補償される前記第２フレームとの間において、前記静止状態であるか否かを判定するための前記評価値を算出し、
    　前記ノイズ低減処理部は、
    　前記第１フレームと、前記動きベクトルにより動き補償される前記第２フレームとに基づいて、前記第１のノイズ低減処理と前記第２のノイズ低減処理を行うことを特徴とする画像処理装置。
  15. 　請求項１において、
    　前記評価値算出部は、
    　前記撮像画像のフレーム間差分値を、前記評価値として算出し、
    　前記判定部は、
    　前記推定ノイズ量を閾値とし、前記フレーム間差分値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  16. 　請求項１５において、
    　前記撮像画像の第１フレームにおいて処理対象画素を中心とする所定サイズの領域を第１領域とし、前記撮像画像の第２フレームにおいて処理対象画素を中心とする所定サイズの領域を第２領域とする場合に、
    　前記評価値算出部は、
    　前記第１領域の画素値と前記第２領域の画素値との差分値を、前記第１領域に対して前記第２領域を水平及び垂直に１画素ずつ順次シフトしながら複数求め、求めた前記複数の差分値のうちの最小値を前記フレーム間差分値として出力し、
    　前記判定部は、
    　前記最小値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  17. 　撮像画像を撮像する撮像部と、
    　前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    　前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    　前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、
    　前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    　を含むことを特徴とする内視鏡装置。
  18. 　撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、
    　前記撮像画像の推定ノイズ量を取得し、
    　前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行い、
    　前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うことを特徴とする画像処理方法。
  19. 　撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出するステップと、
    　前記撮像画像の推定ノイズ量を取得するステップと、
    　前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行うステップと、
    　前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うステップと、
    　をコンピューターに実行させることを特徴とする画像処理プログラム。
PCT/JP2012/075611 2011-10-04 2012-10-03 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム WO2013051593A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12838593.7A EP2764819B1 (en) 2011-10-04 2012-10-03 Image processing device, endoscopic device, image processing method and image processing program
CN201280048859.9A CN103889305B (zh) 2011-10-04 2012-10-03 图像处理装置、内窥镜装置及图像处理方法
US14/226,597 US9613402B2 (en) 2011-10-04 2014-03-26 Image processing device, endoscope system, image processing method, and computer-readable storage device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011219817A JP5816511B2 (ja) 2011-10-04 2011-10-04 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2011-219817 2011-10-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/226,597 Continuation US9613402B2 (en) 2011-10-04 2014-03-26 Image processing device, endoscope system, image processing method, and computer-readable storage device

Publications (1)

Publication Number Publication Date
WO2013051593A1 true WO2013051593A1 (ja) 2013-04-11

Family

ID=48043748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/075611 WO2013051593A1 (ja) 2011-10-04 2012-10-03 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9613402B2 (ja)
EP (1) EP2764819B1 (ja)
JP (1) JP5816511B2 (ja)
CN (1) CN103889305B (ja)
WO (1) WO2013051593A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558421B2 (en) 2013-10-04 2017-01-31 Reald Inc. Image mastering systems and methods
JP6242230B2 (ja) * 2014-02-12 2017-12-06 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6318739B2 (ja) * 2014-03-17 2018-05-09 コニカミノルタ株式会社 画像処理装置、およびプログラム
JP6020950B1 (ja) * 2014-11-25 2016-11-02 ソニー株式会社 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
WO2016110984A1 (ja) * 2015-01-08 2016-07-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6585623B2 (ja) * 2015-12-17 2019-10-02 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
JP6630895B2 (ja) * 2016-02-18 2020-01-15 キヤノン株式会社 信号処理装置及び画像ノイズ低減方法
JP6556076B2 (ja) * 2016-03-10 2019-08-07 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム
US9946956B2 (en) * 2016-06-15 2018-04-17 Qualcomm Incorporated Differential image processing
JP7111444B2 (ja) * 2016-07-11 2022-08-02 株式会社リコー 判断部及び工程判断装置及び工程判断方法
JP6653386B2 (ja) * 2016-07-19 2020-02-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
EP3698702B1 (en) 2017-10-17 2023-06-07 FUJIFILM Corporation Medical image processing device and endoscope device
DE112018007258T5 (de) * 2018-04-12 2020-12-10 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
WO2020045619A1 (ja) * 2018-08-31 2020-03-05 Hoya株式会社 内視鏡システム、および内視鏡システムを動作させる方法
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
JP7289211B2 (ja) * 2019-03-26 2023-06-09 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
CN111863209B (zh) * 2019-04-25 2023-08-18 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
US11360028B2 (en) * 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
CN113676670B (zh) * 2021-08-26 2022-09-27 荣耀终端有限公司 拍照方法、电子设备、芯片系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213069A (ja) * 1988-06-30 1990-01-17 Canon Inc 雑音除去装置
JPH0647036A (ja) 1992-07-31 1994-02-22 Shimadzu Corp 画像処理装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JP2009130537A (ja) * 2007-11-21 2009-06-11 Olympus Corp 画像処理装置、画像処理方法
JP2009533898A (ja) * 2006-04-07 2009-09-17 マーベル ワールド トレード リミテッド リコンフィギュラブルでセルフキャリブレーションを行うビデオノイズリデューサー
JP2010171808A (ja) * 2009-01-23 2010-08-05 Olympus Corp 動画像ノイズ低減処理装置及び画像処理プログラム
JP2011124694A (ja) * 2009-12-09 2011-06-23 Sony Corp 画像処理装置と画像処理方式および撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1230791A1 (en) * 1999-11-11 2002-08-14 STMicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
FR2916339A1 (fr) * 2007-05-25 2008-11-28 Commissariat Energie Atomique Sonde optique per-operatoire bi-spectrale.
CN100559836C (zh) * 2007-09-20 2009-11-11 宝利微电子系统控股公司 一种数字图像降噪方法
US8199813B2 (en) * 2007-12-18 2012-06-12 GE Inspection Technologies Method for embedding frames of high quality image data in a streaming video
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5143038B2 (ja) * 2009-02-02 2013-02-13 オリンパス株式会社 画像処理装置及び画像処理方法
JP5663283B2 (ja) 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213069A (ja) * 1988-06-30 1990-01-17 Canon Inc 雑音除去装置
JPH0647036A (ja) 1992-07-31 1994-02-22 Shimadzu Corp 画像処理装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JP2009533898A (ja) * 2006-04-07 2009-09-17 マーベル ワールド トレード リミテッド リコンフィギュラブルでセルフキャリブレーションを行うビデオノイズリデューサー
JP2009130537A (ja) * 2007-11-21 2009-06-11 Olympus Corp 画像処理装置、画像処理方法
JP2010171808A (ja) * 2009-01-23 2010-08-05 Olympus Corp 動画像ノイズ低減処理装置及び画像処理プログラム
JP2011124694A (ja) * 2009-12-09 2011-06-23 Sony Corp 画像処理装置と画像処理方式および撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2764819A4

Also Published As

Publication number Publication date
JP5816511B2 (ja) 2015-11-18
CN103889305B (zh) 2016-08-31
JP2013078460A (ja) 2013-05-02
EP2764819A1 (en) 2014-08-13
CN103889305A (zh) 2014-06-25
US9613402B2 (en) 2017-04-04
EP2764819B1 (en) 2019-01-02
EP2764819A4 (en) 2015-05-20
US20140210973A1 (en) 2014-07-31

Similar Documents

Publication Publication Date Title
WO2013051593A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US10574874B2 (en) Endoscope apparatus, method for controlling endoscope apparatus, and information storage device
US20120120305A1 (en) Imaging apparatus, program, and focus control method
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5562808B2 (ja) 内視鏡装置及びプログラム
US10213093B2 (en) Focus control device, endoscope apparatus, and method for controlling focus control device
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
US20110305388A1 (en) Image processing method, and image processing device
US20130165753A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
US10771676B2 (en) Focus control device, endoscope apparatus, and method for operating focus control device
JP6670853B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
JP2012217579A (ja) 内視鏡装置及びブレ補正処理方法
US9826884B2 (en) Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method
US20170265726A1 (en) Focus control device, endoscope apparatus, and method for controlling focus control device
US20170319051A1 (en) Endoscope device and focus control method for endoscope device
JP2012239644A (ja) 画像処理装置、内視鏡装置、画像処理方法
JP6242230B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
US20190142253A1 (en) Image processing device, endoscope system, information storage device, and image processing method
JP2010171808A (ja) 動画像ノイズ低減処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12838593

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012838593

Country of ref document: EP