WO2020152756A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020152756A1
WO2020152756A1 PCT/JP2019/001701 JP2019001701W WO2020152756A1 WO 2020152756 A1 WO2020152756 A1 WO 2020152756A1 JP 2019001701 W JP2019001701 W JP 2019001701W WO 2020152756 A1 WO2020152756 A1 WO 2020152756A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
moving body
determination unit
target pixel
Prior art date
Application number
PCT/JP2019/001701
Other languages
English (en)
French (fr)
Inventor
実由 武藤
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to JP2020567684A priority Critical patent/JP7147878B2/ja
Priority to PCT/JP2019/001701 priority patent/WO2020152756A1/ja
Publication of WO2020152756A1 publication Critical patent/WO2020152756A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing apparatus, and more particularly, to an image processing apparatus that sets a target block area in a first image and acquires a destination block area most similar to the target block area in a second image.
  • the above Patent Document 1 discloses an image processing device including a target setting unit, a search unit, and an image generation unit.
  • the target setting unit includes a pixel of interest among pixels forming the original image (first image) in which the subject image is reflected, and peripheral pixels surrounding the pixel of interest.
  • Target block target block area
  • the search unit searches for a destination block (destination block area) most similar to the target block from the reference image (second image) in which the subject imaged at a time different from the original image appears.
  • the image generation unit sequentially combines the pixel of interest and the pixel at the same position as the image of interest of the movement destination block to display in the original image.
  • a noise-reduced image with reduced noise is generated.
  • the image generation unit is configured to combine the pixels by performing the weighted addition and averaging process.
  • the image processing device of Patent Document 1 includes a vector editing unit that edits the output of the search unit.
  • the vector editing unit sets the same position block at the same position as the target block position in the original image in the reference image, and the similarity degree between the same position block and the target block is changed.
  • the degree of similarity between the destination block and the target block is approximately the same, the destination block found by the search unit is changed to the same position block and then output. That is, in the image processing device of Patent Document 1, when the target pixel on the original image is considered to be a portion (moving body portion) where the subject image has moved, the target pixel and the destination pixel are combined. Is configured.
  • the target pixel on the original image is considered to be a part where the subject image is stationary without moving or a part where the subject image is not reflected (a part which is not a moving body part)
  • the target pixel And a pixel at the same position in the reference image are combined.
  • noise is appropriately reduced in the moving body portion and the portion that is not the moving body portion on the image.
  • a value based on the pixel value of the pixel in the target block and the pixel value of the pixel in the same position block, the pixel value of the pixel in the target block, and the pixel value in the destination block By comparing the value based on the pixel value of the pixel, the similarity between the same-position block and the target block and the similarity between the destination block and the target block are compared.
  • the contrast of the image is relatively small (the structure portion is different from the luminance change (difference in pixel value) between pixels due to noise).
  • the brightness change (difference in pixel value) between the non-structural portion and the non-structure portion is relatively small.
  • a value based on the pixel value of the pixel in the target block (target block area) and the pixel value of the pixel in the movement destination block (movement block area), and the block at the same position as the pixel value of the pixel in the target block The difference between the pixel value of the pixel inside and the value based on the pixel value becomes relatively small.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a pixel of interest as a moving object portion or not as a moving object portion even when the contrast of an image is relatively small.
  • An object of the present invention is to provide an image processing device capable of improving the accuracy of determining whether a part is a part.
  • an image processing device is an image processing device that performs image processing on a plurality of images generated by being continuously photographed.
  • a target block area setting unit that sets a target block area composed of a target pixel and peripheral pixels around the target pixel from pixels in the image, and a second image captured at a time different from that of the first image
  • a destination block area acquisition unit that acquires a destination block area most similar to the target block area
  • a movement vector acquisition unit that acquires a movement vector from the target pixel to the destination pixel corresponding to the target pixel in the destination block area
  • a movement vector in the vector block area composed of a plurality of movement vectors acquired by the movement vector acquisition unit, the target pixel in the first image corresponding to the target movement vector in the vector block area is a structure.
  • a structure determining unit that determines whether the structure is a non-structure part that is a part or a background part.
  • the first image corresponding to the movement vector of interest in the vector block area is based on the movement vector in the vector block area formed of a plurality of movement vectors. It is configured to determine whether the pixel of interest inside is a structure part or a non-structure part.
  • the structure portion moves between the first image and the second image, it is considered that the region composed of a plurality of pixels moves to some extent, so that the attention target in the first image corresponding to the attention movement vector
  • the pixel is a structure part, the directions and magnitudes of the motion vectors in the vector block area are likely to be similar (related) to each other.
  • noise occurs as a random position and size in both the first image and the second image, so that the pixel of interest in the first image corresponding to the movement vector of interest has a background portion (non-). If it is a structure portion), the movement vectors in the vector block area are likely to have random directions and sizes (not related to each other). Whether or not the movement vectors in the vector block area are related to each other is determined by comparing the degree of similarity between the same-position block and the target block and the degree of similarity between the destination block and the target block with a large pixel value. Unlike the case of using the value based on the height, it is considered that the influence of the size of the image contrast is small.
  • the structure determination unit based on both the movement vector of interest in the movement vector forming the vector block area and the peripheral movement vector around the movement vector of interest, It is configured to determine whether the target pixel in the first image corresponding to the target movement vector is a structure part or a non-structure part.
  • the structure determination unit determines that the target pixel in the first image corresponding to the target movement vector is the structure based on the ratio of similar movement vectors in the vector block area. It is configured to determine if it is a portion or a non-structural portion. According to this structure, the relevance of the movement vectors in the vector block area (whether the directions and the magnitudes of the movement vectors are similar to each other) can be facilitated based on the ratio of the similar movement vectors in the vector block area. Therefore, it is possible to easily improve the accuracy of determining whether the target pixel is the moving body portion or the portion that is not the moving body portion.
  • the structure determination unit determines that the pixel of interest is the structure portion when the ratio is equal to or more than the first threshold value, and when the ratio is less than the first threshold value, the pixel of interest is determined.
  • the pixel of interest is a structure moving body part in which a structure part moves between the first image and the second image, or the first image and the second image.
  • the structure moving part by the moving body judging part.
  • the first noise reduction process based on the target pixel and the destination pixel that is the pixel in the second image of the destination of the target pixel is performed, and the moving body determination unit determines the structure.
  • Second noise reduction processing is performed on the target pixel determined to be the non-moving object part or the non-structure part based on the target pixel and the same-position pixel that is a pixel in the second image at the same position as the target pixel.
  • a noise reduction processing unit is further provided, and the moving object determination unit performs the determination after the size of the second threshold value is changed for the pixel of interest determined to be the structure portion by the structure determination unit. It is configured.
  • the pixel of interest determined to be the structure portion by the structure determination unit is unlikely to be the non-structure portion that is the background portion.
  • the noise reduction processing section can appropriately perform the noise reduction processing on the target pixel based on the determination by the moving body determination section whose accuracy is improved.
  • the first difference index value based on the difference value between the pixel value of the target pixel and the pixel value of the same-position pixel is acquired, and the pixel value of the target pixel and the pixel value of the destination pixel are
  • the moving object determination unit further includes a difference index value acquisition unit that acquires a second difference index value based on the difference value, and the moving body determination unit determines the pixel of interest when the ratio between the first difference index value and the second difference index value is less than or equal to the second threshold value.
  • the target pixel is a structure non-moving body part or a non-structure part.
  • the moving object determination unit is configured to make a determination after changing the second threshold so as to increase the second threshold for the pixel of interest determined to be a structure portion by the determination unit.
  • the first difference index value and the second difference index value are the denominator and the numerator, respectively, and the ratio between the first difference index value and the second difference index value is used
  • the above ratio is from 0 to 1. It becomes the value of the range.
  • the distribution of the target pixel is any of the structure moving part, the structure non-moving part and the non-structure part, It is distributed so as to have a peak at a certain ratio.
  • the second threshold is the above ratio for separating the structure moving body portion and the structure non-moving body portion from the normal ratio for separating the structure moving body portion and the non-structure portion. It can be changed to be larger.
  • the pixel of interest Can be easily determined to be a moving part of the structure. Therefore, it is possible to easily and surely improve the accuracy of determining whether the target pixel is the structure moving body portion or the background portion (non-structure portion) before the determination by the moving body determination unit.
  • the moving object determination unit makes the determination after the second threshold value is changed so as to increase the second threshold value for the pixel of interest determined to be the structure portion.
  • the second threshold value is changed so as to increase the second threshold value for the target pixel determined to be the portion, and the second threshold value is changed for the target pixel determined to be the non-structure portion by the structure determination unit.
  • the moving body determination unit makes the determination.
  • the second threshold value is made smaller than the normal ratio for separating the structure moving body portion and the non-structure portion from the above-mentioned ratio so that the distribution of the background portion (non-structure portion) is relatively large.
  • the target pixel is determined to be a non-structure part. It can be easily determined that it is an object part. Therefore, it is possible to easily and more reliably improve the accuracy of determining whether the pixel of interest is the structure moving body portion or the background portion (non-structure portion) before the determination by the moving body determination unit.
  • the structure is emphasized based on the target pixel and the peripheral pixels in the first image with respect to the target pixel determined to be the structure portion by the structure determination unit.
  • the image quality is improved with respect to at least one of the target pixel determined to be the structure portion and the target pixel determined to be the non-structure portion by the structure determination unit. Appropriate image processing can be easily performed.
  • the present invention as described above, even when the contrast of an image is relatively small, it is possible to improve the accuracy of determining whether the target pixel is a moving body portion or a portion that is not a moving body portion.
  • FIG. 1 is a diagram showing an overall configuration of an image processing device according to an embodiment of the present invention.
  • FIG. 9 is a diagram showing a plurality of images generated by being continuously photographed by the photographing device and subjected to image processing in the image processing device according to the embodiment of the present invention. It is the figure which showed the image of the Kth frame. It is a figure showing an image of the (K-1)th frame. It is a figure for demonstrating the difference of the image of the Kth frame and the image of the (K-1)th frame. It is a figure for demonstrating an attention block area. It is a figure for demonstrating acquisition of the movement vector based on an attention block area and a movement-destination block area.
  • FIG. 6 is a diagram for explaining a ratio between a matching error and a position error and a moving body determination when the image contrast is relatively large. It is a figure for demonstrating the correction process of the image based on the result of a moving body determination. It is a figure for demonstrating the ratio of the matching error and the same position error when the contrast of an image is comparatively small. It is a figure for demonstrating the structure moving body part in structure determination. It is a figure for demonstrating the structure non-moving body part in structure determination. It is a figure for demonstrating the non-structure part in structure determination.
  • FIG. 4 is a flow of image processing for improving image quality in the image processing apparatus according to the embodiment of the present invention.
  • the image processing apparatus 100 improves the image quality of a moving image composed of a plurality of images (frames) 30 (see FIG. 2) that are generated by continuously capturing images by the image capturing apparatus 200. It is a device that performs image processing for improving.
  • the imaging apparatus 200 is, for example, a radiation imaging apparatus that images a moving part such as a blood vessel.
  • the image processing apparatus 100 includes an image acquisition unit 11, a target block area setting unit 12, a destination block area acquisition unit 13, a movement vector acquisition unit 14, a difference index value acquisition unit 15, and a moving body determination unit 16.
  • the image correction unit 17 and the image output unit 18 are provided.
  • the image correction unit 17 is an example of the “noise reduction processing unit” in the claims.
  • the image acquisition unit 11 is configured to acquire a plurality of images (frames) 30 (see FIG. 2) generated by the imaging device 200. That is, as shown in FIG. 2, the image acquisition unit 11 (see FIG. 1) acquires a plurality of images (frames) 30 captured at different times.
  • the structure portion 41 such as the subject is reflected in the image 30. Then, as shown in FIGS. 3 and 4, the position of the structure portion 41 may change (move) between the respective images (frames) 30.
  • the position of the quadrangular structure portion 41 changes (moves) ( 5), the position of the triangular structure portion 41 has not changed (not moved).
  • the K-th frame image 31 and the (K-1)-th frame image 32 are examples of the “first image” and the “second image” in the claims, respectively.
  • the attention block area setting unit 12 (see FIG. 1) is configured to set the attention block area 51 from the pixels in the image 31 of the Kth frame.
  • the target block area 51 is an area including a target pixel 51a and peripheral pixels 51b around the target pixel 51a.
  • FIG. 6 shows an example in which the target block area 51 is configured as an area of 5 rows and 5 columns including one target pixel 51a and 24 peripheral pixels 51b around the target pixel 51a, which is a total of 25 pixels. There is.
  • the destination block area acquisition unit 13 determines the target block area in the (K ⁇ 1)th frame image 32 captured at a different time from the Kth frame image 31.
  • the destination block area 52 most similar to 51 is acquired.
  • the movement-destination block area acquisition unit 13 sequentially changes the positions of the block areas in the image 32 of the (K-1)th frame, while changing the position of the block area of interest 51 and the (K-1)th frame.
  • a value of a residual sum of squares (a residual sum of squares of pixel values (pixel brightness)) with respect to a block region in the image 32 is calculated.
  • the destination block area acquisition unit 13 moves the block area having the smallest residual sum of squares with respect to the target block area 51 from each block area in the (K ⁇ 1)th frame image 32. It is acquired as the destination block area 52.
  • the destination block area 52 is an area having the same size (number of pixels) as the target block area 51.
  • the movement vector acquisition unit 14 (see FIG. 1) is configured to acquire the movement vector V from the target pixel 51a to the movement destination pixel 52a corresponding to the attention pixel 51a in the movement destination block area 52.
  • the movement vector acquisition unit 14 includes the target pixel 51a in the target block area 51 set by the target block area setting unit 12 (see FIG. 1) and the destination block area acquisition unit 13 (see FIG. 1).
  • the movement amount and the movement direction with respect to the movement destination pixel 52a in the movement destination block area 52 acquired by are acquired as the movement vector V.
  • the destination pixel 52a is a pixel in a position (center position of the destination block region 52) corresponding to the position of the target pixel 51a in the target block region 51 in the destination block region 52.
  • the image processing apparatus 100 is configured to acquire the movement vector V of all the pixels in the image 31 of the Kth frame.
  • the attention block area setting unit 12 sets the attention block area 51
  • the movement destination block area acquisition unit 13 acquires the movement destination block area 52
  • the movement vector acquisition unit 14 (FIG. 1).
  • the acquisition of the movement vector V by the reference) is performed for all the pixels in the image 31 of the Kth frame.
  • the movement vector map VM including the movement vectors V of all the pixels in the image 31 of the Kth frame is acquired.
  • the movement vector V in the Xth row and the Yth column is indicated by V(X, Y).
  • the difference index value acquisition unit 15 (see FIG. 1) is configured to acquire the same position error D1 and matching error D2.
  • the same position error D1 is a value based on the difference value between the pixel value of the target pixel 51a and the pixel value of the same position pixel 53a.
  • the matching error D2 is an index value based on the difference value between the pixel value of the target pixel 51a and the pixel value of the movement destination pixel 52a.
  • the same position error D1 is obtained by calculating the value of the residual sum of squares (the residual sum of squares of pixel values) in the target block area 51 in the image 31 of the Kth frame and the image of the (K-1)th frame This is a difference value (error) from the value of the residual sum of squares in the same-position block area 53 at the same position as the target block area 51 in 32.
  • the matching error D2 is the value of the residual sum of squares in the target block area 51 in the K-th frame image 31 and the residual sum of squares in the destination block area 52 in the (K-1)th frame image 32. It is a difference value (error) from the value of.
  • the position error D1 and the matching error D2 are examples of the “first difference index value” and the “second difference index value” in the claims, respectively.
  • the target pixel 51a is the structure moving body portion 41a (see FIG. 5), the structure non-moving body portion 41b (see FIG. 5), or the background. It is configured to determine whether the portion is the non-structural portion 42 (see FIG. 5) that is a portion based on the threshold value T2 (see FIG. 10). Specifically, the moving body determination unit 16 is configured to determine that the target pixel 51a is the structure moving body portion 41a when the ratio (D2/D1) of the same position error D1 and the matching error D2 is equal to or less than the threshold value T2. Has been done.
  • the target pixel 51a is the structure non-moving body portion 41b or the non-structure portion 42. It is configured to determine that.
  • the threshold T2 is an example of the "second threshold" in the claims.
  • the structure pixel portion 41a has the structure portion 41 between the image 31 of the Kth frame and the image 32 of the (K-1)th frame. It is the moved part.
  • the structure non-moving body portion 41b is a portion where the structure portion 41 does not move between the image 31 of the Kth frame and the image 32 of the (K-1)th frame.
  • the non-structural portion 42 is a background portion that is not the structural portion 41 in the K-th frame image 31 and the (K ⁇ 1)-th frame image 32.
  • the ratio (D2/D1) between the same position error D1 and matching error D2 is a value in the range of 0 to 1.
  • the target pixel 51a is the structure moving body portion 41a and the structure non-moving body portion. Both the distribution of 41b and the non-structure portion 42 are distributed so as to have a peak at a certain ratio (D2/D1).
  • the peak of the structure moving body portion 41a, the peak of the non-structure body portion 42, and the peak of the structure non-moving body portion 41b are from the smaller ratio (D2/D1) to the larger one. They are distributed in this order. Note that FIG. 10 shows a case where the contrast of the image 30 is relatively large.
  • the moving body determination unit 16 sets the threshold value T2 between the peak of the structure moving body portion 41a and the peak of the structure non-moving body portion 41b, so that the structure moving body portion 41a and the structure It is possible to generally separate the non-moving object part 41b or the non-structural part 42. Accordingly, the moving body determination unit 16 (see FIG. 1) determines whether the target pixel 51a is the structure moving body portion 41a, the structure non-moving body portion 41b, or the non-structure portion 42 based on the threshold value T2. It is possible to perform (determine the moving body). In the example of FIG. 10, it is preferable to set the threshold value T2 to a ratio (D2/D1) of the same position error D1 and the matching error D2 to about 0.3.
  • the image correction unit 17 performs the first noise reduction process on the pixel of interest 51a determined by the moving body determination unit 16 to be the structure moving body portion 41a, and
  • the moving object determination unit 16 is configured to perform the second noise reduction process on the target pixel 51a that is determined to be the structure non-moving body portion 41b or the non-structure portion 42.
  • the first noise reduction process is a noise reduction process based on the pixel of interest 51a and the destination pixel 52a.
  • the second noise reduction process is a noise reduction process based on the target pixel 51a and the same-position pixel 53a.
  • the first noise reduction processing is performed by adding the pixel value of the target pixel 51a in the image 31 of the Kth frame and the pixel value of the destination pixel 52a in the image 32 of the (K-1)th frame. Average processing. That is, the pixel value of the target pixel 51a and the pixel value of the destination pixel 52a are averaged by the first noise reduction processing, so that the target pixel 51a that is the structure moving body portion 41a in the image 31 of the Kth frame. Is the target pixel 51ax with reduced noise (random noise).
  • the second noise reduction process is an addition and averaging process of the pixel value of the target pixel 51a in the K-th frame image 31 and the pixel value of the same-position pixel 53a in the (K-1)th frame image 32. is there. That is, the pixel value of the pixel of interest 51a and the pixel value of the pixel 53a at the same position are averaged by the second noise reduction processing, so that the structure non-moving object portion 41b and the non-structure object in the image 31 of the Kth frame are averaged.
  • the target pixel 51a that is the portion 42 becomes the target pixel 51ay in which noise (random noise) is reduced.
  • the image 31 of the Kth frame becomes an image 31x in which noise (random noise) is reduced.
  • the arithmetic mean of the pixel value and the pixel value may be a simple arithmetic mean, or may be a weighted average in which one of the pixel values is weighted.
  • the image output unit 18 (see FIG. 1) is configured to output the K-frame image 31x corrected (noise is reduced) by the image correction unit 17 (see FIG. 1) to a display unit (not shown). Has been done.
  • the image correction unit 17 sequentially corrects the plurality of images 30 generated by the continuous shooting by the shooting apparatus 200. Then, the image output unit 18 outputs a moving image with reduced noise (improved image quality).
  • the contrast of the plurality of images (frames) 30 (see FIG. 2) acquired by the image acquisition unit 11 from the image capturing apparatus 200 may be relatively small.
  • the structure portion 41 is distributed and spread in the horizontal axis direction. Therefore, the peak of the structure moving body portion 41 a relatively approaches the peak of the non-structure portion 42, so that the distribution of the structure moving body portion 41 a and the distribution of the non-structure portion 42 become relatively large.
  • the moving body determination unit 16 when the contrast of the image (frame) 30 is relatively small, the moving body determination unit 16 (see FIG. 1) appropriately sets the threshold T2 for separating the structure moving body portion 41a and the non-structure portion 42. It becomes difficult to do so (it becomes difficult to accurately perform the moving body determination by the moving body determination unit 16).
  • the image processing apparatus 100 includes a structure determining unit 19 and a threshold changing unit 20 in order to accurately perform the moving body determination by the moving body determining unit 16. There is.
  • the structure determination unit 19 determines the K frame corresponding to the target movement vector Va in the vector block area VR based on the movement vector V in the vector block area VR. It is configured to determine whether the target pixel 51a in the eye image 31 is the structure portion 41 or the non-structure portion 42 that is the background portion.
  • the vector block region VR is a region composed of a plurality of movement vectors V acquired by the movement vector acquisition unit 14.
  • the vector block region VR is a region composed of the noticed movement vector Va and the peripheral movement vector Vb around the noticed movement vector Va.
  • the vector block region VR is a region of 7 rows and 7 columns, which is composed of one target movement vector Va and a total of 49 movement vectors V of 48 peripheral movement vectors Vb around the attention movement vector Va. Is shown as an example.
  • the structure determination unit 19 determines that the ratio Ra of the similar movement vector V in the vector block area VR ((all similar movements in the vector block area VR). Based on the vector V)/(all movement vectors V in the vector block region VR)), the target pixel 51a in the image 31 of the Kth frame corresponding to the target movement vector Va is the structure portion 41 or the non-structure. It is configured to determine whether it is the object portion 42.
  • the “similar movement vector V” also includes the case where the magnitude and direction of the movement vector V do not completely match. The condition of whether or not the movement vectors V are similar can be set by the user of the image processing apparatus 100 or the like.
  • the vector block region VR1 is acquired in the structure moving body part 41a in which the structure part 41 has moved between the K-th frame image 31 and the (K-1)-th frame image 32.
  • the direction and size of the movement vector V in the vector block area VR1 are similar to each other.
  • FIG. 13 shows an example in which 37 of the 49 movement vectors V are similar to each other (movement vector V of the portion surrounded by the broken line in FIG. 13).
  • the direction and size of the movement vector V in the vector block region VR2 are also similar to each other. Since the magnitude of the movement vector V in the structure non-moving body portion 41b is smaller (closer to zero) than that in the structure moving body portion 41a, the movement vector V is not shown in FIG.
  • noise random noise
  • the target pixel 51a in the K-th frame image 31 corresponding to the target movement vector Va is the background portion (non-structure portion 42) including noise
  • the movement vectors V in the vector block region VR are mutually random. More likely to be direction and size (not relevant).
  • the vector block region VR3 when the vector block region VR3 is acquired in the non-structural portion 42 of the K-th frame image 31 ((K-1)-th frame image 32), the movement within the vector block region VR3 is performed.
  • the direction and magnitude of the vector V are directions and magnitudes that are random with respect to each other.
  • the structure determining unit 19 determines that the pixel of interest 51a is the structure portion 41 when the ratio Ra is equal to or greater than the threshold T1, and the ratio Ra is greater than the threshold T1. Is also small, it is configured to determine that the pixel of interest 51a is the non-structure portion 42.
  • FIG. 17 shows an example in which the ratio Ra is set to about 0.5 as the magnitude of the threshold T1.
  • the threshold T1 is an example of the "first threshold" in the claims.
  • the threshold value changing unit 20 sets the threshold value for the pixel of interest 51a determined to be the structure portion 41 by the structure determination unit 19. After changing the size of T2, the moving body determination unit 16 makes the determination.
  • the threshold value changing unit 20 changes the threshold value T2 so as to increase the threshold value T2 for the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19, and also determines the structure object.
  • the moving body determination unit 16 performs the determination after changing the threshold T2 so as to reduce the threshold T2.
  • the threshold changing unit 20 determines that the contrast of the image 30 is From the threshold value T2 which is relatively large (about 0.3) (see FIG. 10), the threshold value T2 is changed to be larger than about 0.3.
  • FIG. 17 shows an example in which the threshold value T2 is changed to approximately 0.63.
  • the moving body determination unit 16 determines whether the target pixel 51a is the structure moving body portion 41a (see FIG. 5) based on the threshold value T2. It is determined whether the structure is the non-moving object part 41b (see FIG.
  • the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19 is Since it is unlikely that it is the non-structure part 42, it is possible to make it easier to determine that it is the structure moving part 41a in the determination by the moving body determination part 16.
  • the threshold changing unit 20 when the structure determining unit 19 determines that the target pixel 51 a is the non-structure portion 42, the threshold changing unit 20 (see FIG. 1) has a relatively high contrast in the image 30.
  • the threshold value T2 is changed from approximately 0.3 (see FIG. 10), which is a large threshold value, to be smaller than approximately 0.3.
  • FIG. 18 shows an example in which the threshold T2 is changed to approximately 0.2.
  • whether the target pixel 51a is the structure moving body portion 41a is determined by the moving body determination unit 16 based on the threshold value T2. It is determined whether the structure is the non-moving object part 41b (see FIG.
  • the moving body determination unit 16 is configured to make the determination.
  • step 101 the image acquisition unit 11 acquires an image 31 of the Kth frame and an image 32 of the (K-1)th frame taken at a different time from the image 31 of the Kth frame.
  • the target block area setting unit 12 sets the target block area 51 including the target pixel 51a and the peripheral pixels 51b around the target pixel 51a from the pixels in the image 31 of the Kth frame. Set.
  • step 103 the destination block area acquisition unit 13 acquires the destination block area 52 that is the most similar to the target block area 51 in the (K-1)th frame image 32.
  • step 104 the movement vector acquisition unit 14 acquires the movement vector V from the target pixel 51a to the movement destination pixel 52a corresponding to the attention pixel 51a in the movement destination block area 52.
  • step 105 the difference index value acquisition unit 15 determines the same position error D1 based on the difference value between the pixel value of the target pixel 51a and the pixel value of the same position pixel 53a, and the pixel value of the target pixel 51a.
  • the matching error D2 based on the difference value from the pixel value of the destination pixel 52a is acquired.
  • the structure determination unit 19 determines the K frame corresponding to the target movement vector Va based on the ratio Ra of the similar movement vectors V in the vector block region VR formed by the plurality of movement vectors V. It is determined whether the pixel of interest 51a in the eye image 31 is the structure portion 41 or the non-structure portion 42 (structure determination is performed).
  • the threshold value changing unit 20 performs (for the determination by the moving body determination unit 16 in step 108) on the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19.
  • the threshold value T2 is changed to increase the threshold value T2, and the threshold value T2 is changed to decrease the threshold value T2 for the target pixel 51a which is determined by the structure determination unit 19 to be the non-structure portion 42. ..
  • the moving body determination unit 16 determines whether the pixel of interest 51a is the structure moving body portion 41a, the structure non-moving body portion 41b, or the non-structure portion 42, and the threshold value T2 (step 105). In, the determination is performed based on the same position error D1 and the matching error D2 (acquired by the difference index value acquisition unit 15) (moving object determination is performed).
  • step 109 the image correction unit 17 performs the first noise reduction processing on the target pixel 51a determined to be the structure moving body portion 41a by the moving body determination unit 16 and the moving body determination unit 16 performs it.
  • the second noise reduction process is performed on the target pixel 51a that is determined to be the structure non-moving body part 41b or the non-structure part 42.
  • step 110 the image output unit 18 outputs the image 31x of the Kth frame corrected (noise is reduced) by the image correction unit 17 to the display unit.
  • the structure determination unit 19 sets the target movement vector Va in the vector block area VR based on the movement vector V in the vector block area VR composed of the plurality of movement vectors V. It is configured to determine whether the pixel of interest 51a in the corresponding K-th frame image 31 is the structure portion 41 or the non-structure portion 42. Thereby, even when the contrast of the image 30 is relatively small, the target pixel 51a in the image 31 of the Kth frame corresponding to the target movement vector Va is the structure portion 41 or the background portion (non-structure portion 42). Can be determined.
  • a method of determining whether the pixel of interest 51a is a moving body portion (structure moving body portion 41a) or a portion that is not a moving body portion (structure non-moving body portion 41b or non-structure portion 42) (moving body determining unit 16) And the method of determining the attention pixel 51a from a different viewpoint from the determination by the moving body determination unit 16 (method of determining whether the attention pixel is the structure portion 41 or the non-structure portion 42).
  • the target pixel 51a is a moving body portion (structure moving body portion 41a) or a non-moving body portion (structure non-moving body portion 41b or non-structure portion 42). The accuracy of determining whether or not it can be improved.
  • the structure determination unit 19 sets the target movement vector Va in the movement vector V forming the vector block region VR and the peripheral movement vector Vb around the attention movement vector Va. Based on both of them, it is configured to determine whether the target pixel 51a in the K-th frame image 31 corresponding to the target movement vector Va is the structure portion 41 or the non-structure portion 42. This ensures the relevance of the movement vector V in the vector block region VR (whether the direction and the magnitude of the movement vector V are similar to each other) based on both the movement vector of interest Va and the peripheral movement vector Vb.
  • the accuracy of determining whether the target pixel 51a is a moving body portion (structure moving body portion 41a) or a portion that is not a moving body portion (structure non-moving body portion 41b or non-structure portion 42) can be determined. It can surely be improved.
  • the structure determining unit 19 causes the image 31 of the K-th frame corresponding to the movement vector of interest Va based on the ratio Ra of the similar movement vectors V in the vector block region VR. It is configured to determine whether the target pixel 51a in the inside is the structure portion 41 or the non-structure portion 42. Thereby, the relevance of the movement vector V in the vector block area VR (whether the direction and the magnitude of the movement vector V are similar to each other) based on the ratio Ra of the similar movement vectors V in the vector block area VR.
  • the pixel of interest 51a is a moving body portion (structure moving body portion 41a) or a portion that is not a moving body portion (structure non-moving body portion 41b or non-structure portion 42).
  • the accuracy can be easily improved.
  • the structure determination unit 19 determines that the target pixel 51a is the structure portion 41, and the ratio Ra is greater than the threshold value T1. If the target pixel 51a is small, the target pixel 51a is determined to be the non-structural portion 42. Accordingly, by using the threshold value T1, the ratio Ra of similar movement vectors V in the vector block region VR can be easily checked, and thus the relevance of the movement vector in the vector block region VR (direction of the movement vector V And whether they are similar in size to each other).
  • the image processing apparatus 100 includes the moving body determination unit 16 and the image correction unit 17.
  • the moving body determination unit 16 determines whether the pixel of interest 51a is the structure moving body portion 41a in which the structure portion 41 has moved between the image 31 of the Kth frame and the image 32 of the (K-1)th frame, or the Kth frame. Whether the structure portion 41 is the structure non-moving body portion 41b that is not moving or the background non-structure portion 42 between the eye image 31 and the (K-1)th frame image 32 is a threshold T2. It judges based on.
  • the image correction unit 17 performs the first noise reduction processing on the target pixel 51a determined to be the structure moving body portion 41a by the moving body determination unit 16, and at the same time, the moving body determination unit 16 performs the structure non-moving body portion 41b or
  • the second noise reduction process is performed on the pixel of interest 51a determined to be the structure portion 42.
  • the first noise reduction process is a noise reduction process based on the pixel of interest 51a and the destination pixel 52a that is a pixel in the (K-1)th frame image 32 of the destination of the pixel of interest 51a.
  • the second noise reduction process is a noise reduction process based on the target pixel 51a and the same-position pixel 53a that is a pixel in the (K-1)th frame image 32 at the same position as the target pixel 51a. Then, the image processing apparatus 100 performs the determination by the moving body determination unit 16 after changing the size of the threshold T2 for the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19. To configure. As a result, even if it is difficult to determine whether the target pixel 51a is the structure moving body portion 41a or the non-structured body portion 42 in the determination by the moving body determination unit 16, the target pixel 51a is the structure moving body portion 41a.
  • the noise reduction process for the pixel of interest 51a by the image correction unit 17 can be appropriately performed based on the determination by the moving body determination unit 16 with improved accuracy.
  • the image processing apparatus 100 includes the difference index value acquisition unit 15 that acquires the same position error D1 and the matching error D2.
  • the same position error D1 is a difference index value based on a difference value between the pixel value of the target pixel 51a and the pixel value of the same position pixel 53a.
  • the matching error D2 is a difference index value based on a difference value between the pixel value of the target pixel 51a and the pixel value of the movement destination pixel 52a.
  • the moving body determination unit 16 determines that the pixel of interest 51a is the structure moving body portion 41a, and the ratio (D2 /D1) is larger than the threshold value T2, the target pixel 51a is determined to be the structure non-moving body part 41b or the non-structure part 42. Further, in the image processing apparatus 100, after the threshold value T2 is changed so as to increase the threshold value T2 for the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19, the determination by the moving body determination unit 16 is performed. To perform.
  • the threshold value T2 is set to the normal ratio (D2/D1) for separating the structure moving body portion 41a and the non-structure portion 42 from the ratio (D2/D1) for separating the structure moving body portion 41a and the structure non-moving body portion 41b ( D2/D1) can be increased.
  • D2/D1 normal ratio
  • the target pixel 51a which is determined to be the structure portion 41 by the structure determination unit 19
  • the structure moving body portion 41a or the non-structure portion 42 Even in this case, it is possible to easily determine that the target pixel 51a is the structure moving body portion 41a. Therefore, it is possible to easily and surely improve the accuracy of determining whether the target pixel 51a is the structure moving body portion 41a or the background portion (non-structure portion 42) before the determination by the moving body determination unit 16. it can.
  • the image processing apparatus 100 sets the threshold value T2 so that the threshold value T2 is increased with respect to the target pixel 51a that is determined to be the structure portion 41 by the structure determination unit 19.
  • the structure determination unit 19 is configured to perform the determination by the moving body determination unit 16 after changing the threshold value T2 to be smaller for the target pixel 51a determined to be the non-structure portion 42. ..
  • the threshold value T2 is set to include a relatively large distribution of the background portion (non-structure portion 42) from the normal ratio (D2/D1) for separating the structure moving body portion 41a and the non-structure portion 42. Can be changed to make it smaller.
  • the structure determination unit 19 determines whether the target moving object portion 41a or the non-structure portion 42. It is possible to easily determine that the target pixel 51a is the non-structure portion 42. Therefore, before performing the determination by the moving body determination unit 16, it is possible to easily and more reliably improve the accuracy of determining whether the target pixel 51a is the structure moving body portion 41a or the background portion (non-structure portion 42). You can
  • the image processing apparatus 100 changes the threshold value T2 so as to increase the threshold value T2 for the target pixel 51a that is determined to be the structure portion 41 by the structure determination unit 19, and the structure is changed.
  • the example in which the threshold value T2 is changed to be small for the target pixel 51a determined to be the non-structure portion 42 by the object determination unit 19 has been shown, but the present invention is not limited to this.
  • the image processing apparatus changes the threshold value T2 so as to increase the threshold value T2 for the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19, and the structure determination unit 19
  • the threshold value T2 may not be changed with respect to the target pixel 51a determined to be the non-structure portion 42 by.
  • the moving body determination unit 16 determines whether the target pixel 51a is the structure moving body portion 41a, the structure non-moving body portion 41b, or the non-structure portion 42 based on the threshold value T2.
  • the present invention may be configured to determine whether the pixel of interest 51a is the structure moving body portion 41a, the structure non-moving body portion 41b, or the non-structure portion 42 based on a value other than the threshold value T2.
  • the structure determination unit 19 determines whether the target pixel 51a is the structure portion 41 or the non-structure portion 42 based on the movement vector V, and also considers the magnitude of the movement vector V. By doing so, the structure portion 41 may be configured to determine whether it is the structure moving body portion 41a or the structure non-moving body portion 41b.
  • the moving object determination unit 16 performs the second noise reduction processing on the target pixel 51a that is determined to be the structure non-moving object portion 41b or the non-structure object portion 42 .
  • the present invention is not limited to this. In the present invention, only one of the first noise reduction processing and the second noise reduction processing may be performed. Further, the first noise reduction process and the second noise reduction process may be omitted. In this case, the determination by the moving body determination unit 16 can be omitted.
  • the present invention is not limited to this.
  • other image processing may be performed without changing the threshold value T2 based on the determination by the structure determination unit 19, or the threshold value T2 is changed and other image processing is performed. It may be configured as follows. For example, with respect to the target pixel 51a determined to be the structure portion 41 by the structure determining unit 19, image processing for emphasizing the structure based on the target pixel 51a and the peripheral pixels 51b in the image 31 of the Kth frame. May be configured to perform.
  • the image processing for enhancing the structure is, for example, edge enhancement processing.
  • the image of which noise is reduced based on the target pixel 51a and the peripheral pixel 51b in the image 31 of the Kth frame You may comprise so that a smoothing process may be performed.
  • a smoothing process may be performed.
  • an appropriate image for improving the image quality is obtained for the target pixel 51a determined to be the structure portion 41 by the structure determination unit 19 and the target pixel 51a determined to be the non-structure portion 42. Processing can be performed easily.
  • the image smoothing process is an example of the "third noise reduction process" in the claims.
  • the image processing apparatus 100 is provided separately from the image capturing apparatus 200 has been shown, but the present invention is not limited to this.
  • the image processing device may be included in the processing unit of the image capturing device.
  • the image processing of the image processing apparatus 100 has been described by using the flow drive type flow that sequentially performs processing, but the present invention is not limited to this.
  • the image processing of the image processing apparatus may be performed by an event driven type (event driven type) processing that executes processing on an event-by-event basis.
  • the event driving may be completely performed, or the event driving and the flow driving may be combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

この画像処理装置（１００）は、複数の移動ベクトル（Ｖ）から構成されるベクトルブロック領域（ＶＲ）内の移動ベクトルに基づいて、ベクトルブロック領域内の注目移動ベクトル（Ｖａ）に対応する第１画像（３１）内の注目画素（５１ａ）が構造物部分（４１）であるか非構造物部分（４２）であるかを判定する構造物判定部（１９）を備える。

Description

画像処理装置
　本発明は、画像処理装置に関し、特に、第１画像内に注目ブロック領域を設定するとともに、第２画像内において注目ブロック領域に最も類似した移動先ブロック領域を取得する画像処理装置に関する。
　従来、第１画像内に注目ブロック領域を設定するとともに、第２画像内において注目ブロック領域に最も類似した移動先ブロック領域を取得する画像処理装置が知られている（たとえば、特許文献１参照）。
　上記特許文献１には、ターゲット設定部と、探索部と、画像生成部と、を備えた画像処理装置が開示されている。上記特許文献１の画像処理装置では、ターゲット設定部は、被検体像が写り込んでいる元画像（第１画像）を構成する画素の中から注目画素と注目画素を囲む周辺画素とから構成されるターゲットブロック（注目ブロック領域）を設定する。探索部は、元画像とは異なる時刻に撮影された被検体が映り込む参照画像（第２画像）の中からターゲットブロックに最も類似した移動先ブロック（移動先ブロック領域）を探し出す。画像生成部は、注目画素の位置を変えながら、ターゲットブロックが順次設定されるのに伴い、注目画素と移動先ブロックの注目画像と同じ位置の画素とを順次合成することにより、元画像に映り込むノイズ（ランダムノイズ）が低減されたノイズ低減画像を生成する。なお、上記特許文献１の画像処理装置では、画像生成部は、重み付き加算平均処理を行うことにより、画素同士を合成するように構成されている。
　また、上記特許文献１の画像処理装置は、探索部の出力を編集するベクトル編集部を備える。上記特許文献１の画像処理装置では、ベクトル編集部は、参照画像において元画像におけるターゲットブロック位置と同じ位置にある同位置ブロックを設定して、同位置ブロックとターゲットブロックとの類似度合いが、移動先ブロックとターゲットブロックとの類似度合いと略同程度の場合、探索部が探し出した移動先ブロックを同位置ブロックに変更してから出力する。すなわち、上記特許文献１の画像処理装置では、元画像上の注目画素が、被検体像が移動した部分（動体部分）であると考えられる場合に、注目画素と移動先画素とを合成するように構成されている。また、元画像上の注目画素が、被検体像が移動せずに静止している部分または被検体像が写り込んでいない部分（動体部分ではない部分）であると考えられる場合に、注目画素と参照画像の同位置の画素とを合成するように構成されている。これにより、画像上における、動体部分と動体部分ではない部分とにおいて適切にノイズが低減されている。なお、上記特許文献１の画像処理装置では、ターゲットブロック内の画素の画素値と同位置ブロック内の画素の画素値とに基づく値と、ターゲットブロック内の画素の画素値と移動先ブロック内の画素の画素値とに基づく値とを比較することにより、同位置ブロックとターゲットブロックとの類似度合いと、移動先ブロックとターゲットブロックとの類似度合いとを比較するように構成されている。
国際公開２０１５／１７８３５０号
　しかしながら、上記特許文献１に記載のような従来の画像処理装置では、画像のコントラストが比較的小さい（ノイズに起因する各画素の間の輝度変化（画素値の差）に対して構造物部分と非構造物部分との間の輝度変化（画素値の差）が比較的小さい）場合がある。この場合、ターゲットブロック（注目ブロック領域）内の画素の画素値と移動先ブロック（移動先ブロック領域）内の画素の画素値とに基づく値と、ターゲットブロック内の画素の画素値と同位置ブロック内の画素の画素値とに基づく値との差異が比較的小さくなる。すなわち、同位置ブロックとターゲットブロックとの類似度合いと、移動先ブロックとターゲットブロックとの類似度合いとを比較するのが難しくなる。このため、上記特許文献１に記載のような従来の画像処理装置では、画像のコントラストが比較的小さい場合に、注目画素が、動体部分であるか動体部分ではない部分であるかを判定する精度が低下してしまうという問題点がある
　この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、画像のコントラストが比較的小さい場合でも、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を向上させることが可能な画像処理装置を提供することである。
　上記目的を達成するために、この発明の一の局面における画像処理装置は、連続的に撮影されることにより生成される複数の画像に対して画像処理を行う画像処理装置であって、第１画像内の画素の中から注目画素と注目画素の周辺の周辺画素とから構成される注目ブロック領域を設定する注目ブロック領域設定部と、第１画像とは異なる時刻に撮影された第２画像内において注目ブロック領域に最も類似した移動先ブロック領域を取得する移動先ブロック領域取得部と、注目画素から移動先ブロック領域における注目画素に対応する移動先画素への移動ベクトルを取得する移動ベクトル取得部と、移動ベクトル取得部により取得された複数の移動ベクトルから構成されるベクトルブロック領域内の移動ベクトルに基づいて、ベクトルブロック領域内の注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか背景部分である非構造物部分であるかを判定する構造物判定部と、を備える。
　この発明の一の局面による画像処理装置では、上記のように、複数の移動ベクトルから構成されるベクトルブロック領域内の移動ベクトルに基づいて、ベクトルブロック領域内の注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか非構造物部分であるかを判定するように構成されている。ここで、第１画像と第２画像との間において構造物部分が移動した場合、複数の画素からなる領域がある程度まとまって移動すると考えられるので、注目移動ベクトルに対応する第１画像内の注目画素が構造物部分である場合、ベクトルブロック領域内の移動ベクトルの方向および大きさは互いに類似する（関連性を有する）可能性が高い。一方、ノイズ（ランダムノイズ）は、第１画像と第２画像とのいずれにおいても、ランダムな位置および大きさとして生じるので、注目移動ベクトルに対応する第１画像内の注目画素が背景部分（非構造物部分）である場合、ベクトルブロック領域内の移動ベクトルは互いにランダムな方向および大きさになる（関連性を有さない）可能性が大きい。なお、ベクトルブロック領域内の移動ベクトルの関連性の有無は、同位置ブロックとターゲットブロックとの類似度合いと、移動先ブロックとターゲットブロックとの類似度合いとを比較する場合のように画素値の大きさに基づいた値を用いる場合と異なり、画像のコントラストの大きさの影響が少ないと考えられる。これにより、画像のコントラストが比較的小さい場合でも、注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか背景部分（非構造物部分）であるかを判定することができる。その結果、動体とはなり得ない背景部分（非構造物部分）を動体と判定することを抑制することができるので、画像のコントラストが比較的小さい場合でも、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を向上させることができる。
　上記一の局面による画像処理装置において、好ましくは、構造物判定部は、ベクトルブロック領域を構成する移動ベクトルの中の注目移動ベクトルと注目移動ベクトルの周辺の周辺移動ベクトルとの両方に基づいて、注目移動ベクトルに対応する第１画像内の注目画素が、構造物部分であるか非構造物部分であるかを判定するように構成されている。このように構成すれば、注目移動ベクトルと周辺移動ベクトルとの両方に基づいて、ベクトルブロック領域内の移動ベクトルの関連性（移動ベクトルの方向および大きさが互いに類似するか否か）を確実に調べることができるので、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を確実に向上させることができる。
　上記一の局面による画像処理装置において、好ましくは、構造物判定部は、ベクトルブロック領域内の類似する移動ベクトルの割合に基づいて、注目移動ベクトルに対応する第１画像内の注目画素が構造物部分であるか非構造物部分であるかを判定するように構成されている。このように構成すれば、ベクトルブロック領域内の類似する移動ベクトルの割合に基づいて、ベクトルブロック領域内の移動ベクトルの関連性（移動ベクトルの方向および大きさが互いに類似するか否か）を容易に調べることができるので、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を容易に向上させることができる。
　この場合、好ましくは、構造物判定部は、上記割合が第１閾値以上の場合に、注目画素が構造物部分であると判定するとともに、上記割合が第１閾値よりも小さい場合に、注目画素が非構造物部分であると判定するように構成されている。このように構成すれば、第１閾値を用いることにより、ベクトルブロック領域内の類似する移動ベクトルの割合を容易に調べることができるので、ベクトルブロック領域内の移動ベクトルの関連性（移動ベクトルの方向および大きさが互いに類似するか否か）をより容易に調べることができる。
　上記一の局面による画像処理装置において、好ましくは、注目画素が、第１画像と第２画像との間において構造物部分が移動した構造物動体部分であるか、第１画像と第２画像との間において構造物部分が移動していない構造物非動体部分または背景部分である非構造物部分であるかを第２閾値に基づいて判定する動体判定部と、動体判定部により構造物動体部分であると判定された注目画素に対して、注目画素と、注目画素の移動先の第２画像における画素である移動先画素とに基づく第１ノイズ低減処理を行うとともに、動体判定部により構造物非動体部分または非構造物部分であると判定された注目画素に対して、注目画素と、注目画素と同位置の第２画像における画素である同位置画素とに基づく第２ノイズ低減処理を行うノイズ低減処理部と、をさらに備え、構造物判定部により構造物部分であると判定された注目画素に対して、第２閾値の大きさを変更した後に、動体判定部による判定を行うように構成されている。ここで、構造物判定部により構造物部分であると判定された注目画素は、背景部分である非構造物部分である可能性が低い。したがって、上記のように構成すれば、動体判定部による判定において、注目画素が構造物動体部分であるか非構造物部分であるかを判定することが難しい場合でも、注目画素を構造物動体部分であると判定させるように第２閾値の大きさを変更することにより、注目画素が構造物動体部分であるか背景部分（非構造物部分）であるかを判定する精度を確実に向上させることができる。その結果、精度を向上させた動体判定部による判定に基づいて、ノイズ低減処理部による注目画素に対するノイズ低減処理を適切に行うことができる。
　この場合、好ましくは、注目画素の画素値と、同位置画素の画素値との差分値に基づく第１差分指標値を取得するとともに、注目画素の画素値と、移動先画素の画素値との差分値に基づく第２差分指標値を取得する差分指標値取得部をさらに備え、動体判定部は、第１差分指標値と第２差分指標値との比率が第２閾値以下の場合に注目画素が構造物動体部分であると判定するとともに、上記比率が第２閾値よりも大きい場合に注目画素が構造物非動体部分または非構造物部分であると判定するように構成されており、構造物判定部により構造物部分であると判定された注目画素に対して第２閾値を大きくするように第２閾値を変更した後に、動体判定部による判定を行うように構成されている。ここで、第１差分指標値および第２差分指標値を、それぞれ、分母および分子として、第１差分指標値と第２差分指標値との比率とした場合、上記比率は、０から１までの範囲の値となる。そして、横軸を上記比率、縦軸を度数（その比率が出現した回数）で表したヒストグラムにおいて、注目画素が構造物動体部分、構造物非動体部分および非構造物部分のいずれの分布も、ある上記比率にピークを有するように分布する。また、ヒストグラムは、構造物動体部分のピークと、非構造物部分のピークと、構造物非動体部分のピークとが、上記比率の小さい方から大きい方に向かって、この順に並ぶように分布する。したがって、上記のように構成すれば、第２閾値を、構造物動体部分と非構造物部分とを分離する通常の上記比率から、構造物動体部分と構造物非動体部分とを分離する上記比率に大きくするように変更することができる。その結果、構造物判定部により構造物部分であると判定された注目画素において、構造物動体部分であるか非構造物部分であるかを判定する（分離する）ことが難しい場合でも、注目画素を構造物動体部分であると容易に判定させることができる。したがって、動体判定部による判定を行う前に、注目画素が構造物動体部分であるか背景部分（非構造物部分）であるかを判定する精度を容易かつ確実に向上させることができる。
　上記構造物部分であると判定された注目画素に対して第２閾値を大きくするように第２閾値を変更した後に動体判定部による判定を行う構成において、好ましくは、構造物判定部により構造物部分であると判定された注目画素に対して第２閾値を大きくするように第２閾値を変更するとともに、構造物判定部により非構造物部分であると判定された注目画素に対して第２閾値を小さくするように第２閾値を変更した後に、動体判定部による判定を行うように構成されている。このように構成すれば、第２閾値を、構造物動体部分と非構造物部分とを分離する通常の上記比率から、背景部分（非構造物部分）の分布を比較的多く含むように小さくするように変更するができる。その結果、構造物判定部により非構造物部分であると判定された注目画素において、構造物動体部分であるか非構造物部分であるかを判定することが難しい場合に、注目画素を非構造物部分であると容易に判定させることができる。したがって、動体判定部による判定を行う前に、注目画素が構造物動体部分であるか背景部分（非構造物部分）であるかを判定する精度を容易かつより確実に向上させることができる。
　上記一の局面による画像処理装置において、好ましくは、構造物判定部により構造物部分であると判定された注目画素に対して、第１画像における注目画素と周辺画素とに基づいて構造物を強調する画像処理、および、構造物判定部により非構造物部分であると判定された注目画素に対して、第１画像における注目画素と周辺画素とに基づいてノイズを低減する第３ノイズ低減処理の少なくとも一方の処理を行うように構成されている。このように構成すれば、構造物判定部により構造物部分であると判定された注目画素および非構造物部分であると判定された注目画素の少なくともいずれか一方に対して、画質を向上させるための適切な画像処理を容易に行うことができる。
　本発明によれば、上記のように、画像のコントラストが比較的小さい場合でも、注目画素が動体部分であるか動体部分ではない部分であるかを判定する精度を向上させることができる。
本発明の一実施形態による画像処理装置の全体構成を示した図である。 撮影装置により連続的に撮影されることにより生成され、本発明の一実施形態による画像処理装置において画像処理される複数の画像を示した図である。 Ｋフレーム目の画像を示した図である。 （Ｋ－１）フレーム目の画像を示した図である。 Ｋフレーム目の画像と（Ｋ－１）フレーム目の画像との差を説明するための図である。 注目ブロック領域を説明するための図である。 注目ブロック領域および移動先ブロック領域に基づく移動ベクトルの取得を説明するための図である。 移動ベクトルから構成される移動ベクトルマップを説明するための図である。 マッチング誤差および同位置誤差の取得を説明するための図である。 画像のコントラストが比較的大きい場合のマッチング誤差と同位置誤差との比率および動体判定を説明するための図である。 動体判定の結果に基づく画像の補正処理を説明するための図である。 画像のコントラストが比較的小さい場合のマッチング誤差と同位置誤差との比率を説明するための図である。 構造物判定における構造物動体部分を説明するための図である。 構造物判定における構造物非動体部分を説明するための図である。 構造物判定における非構造物部分を説明するための図である。 構造物判定における閾値を説明するための図である。 構造物判定部により構造物部分であると判定された注目画素に対する動体判定を説明するための図である。 構造物判定部により非構造物部分であると判定された注目画素に対する動体判定を説明するための図である。 本発明の一実施形態による画像処理装置における画質を向上させるための画像処理のフローである。
　以下、本発明を具体化した実施形態を図面に基づいて説明する。
　図１～図１８を参照して、本発明の一実施形態による画像処理装置１００の構成について説明する。
　図１に示すように、画像処理装置１００は、撮影装置２００において連続的に撮影されることにより生成される複数の画像（フレーム）３０（図２参照）から構成される動画に対して画質を向上させるための画像処理を行う装置である。撮影装置２００は、たとえば、血管等のように動きのある部位を撮影する放射線撮影装置である。
　画像処理装置１００は、画像取得部１１と、注目ブロック領域設定部１２と、移動先ブロック領域取得部１３と、移動ベクトル取得部１４と、差分指標値取得部１５と、動体判定部１６と、画像補正部１７と、画像出力部１８と、を備えている。なお、画像補正部１７は、特許請求の範囲の「ノイズ低減処理部」の一例である。
　画像取得部１１は、撮影装置２００により生成された複数の画像（フレーム）３０（図２参照）を取得するように構成されている。すなわち、図２に示すように、画像取得部１１（図１参照）は、互いに異なる時刻に撮影された複数の画像（フレーム）３０を取得する。画像３０には、被検体等の構造物部分４１が写り込んでいる。そして、図３および図４に示すように、構造物部分４１は、各々の画像（フレーム）３０間で位置が変化する（移動する）場合がある。図３および図４では、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において、四角形状の構造物部分４１の位置が変化している（移動している）（図５参照）とともに、三角形状の構造物部分４１の位置は変化していない（移動していない）例を示している。なお、Ｋフレーム目の画像３１および（Ｋ－１）フレーム目の画像３２は、それぞれ、特許請求の範囲の「第１画像」および「第２画像」の一例である。
　図６に示すように、注目ブロック領域設定部１２（図１参照）は、Ｋフレーム目の画像３１内の画素の中から注目ブロック領域５１を設定するように構成されている。注目ブロック領域５１は、注目画素５１ａと注目画素５１ａの周辺の周辺画素５１ｂとから構成される領域である。図６では、注目ブロック領域５１が、１つの注目画素５１ａおよび注目画素５１ａの周辺の２４個の周辺画素５１ｂの合計２５個の画素からなる５行５列の領域として構成された例を示している。
　図７に示すように、移動先ブロック領域取得部１３（図１参照）は、Ｋフレーム目の画像３１とは異なる時刻に撮影された（Ｋ－１）フレーム目の画像３２内において注目ブロック領域５１に最も類似した移動先ブロック領域５２を取得するように構成されている。具体的には、移動先ブロック領域取得部１３は、（Ｋ－１）フレーム目の画像３２内のブロック領域の位置を次々と変更しながら、注目ブロック領域５１と（Ｋ－１）フレーム目の画像３２内のブロック領域との間の残差平方和（画素値（画素の輝度）の残差平方和）の値を算出する。そして、移動先ブロック領域取得部１３は、（Ｋ－１）フレーム目の画像３２内の各々のブロック領域の中から、注目ブロック領域５１との残差平方和の値が最も小さいブロック領域を移動先ブロック領域５２として取得する。なお、移動先ブロック領域５２は、注目ブロック領域５１と等しい大きさ（画素数）の領域である。
　移動ベクトル取得部１４（図１参照）は、注目画素５１ａから移動先ブロック領域５２における注目画素５１ａに対応する移動先画素５２ａへの移動ベクトルＶを取得するように構成されている。具体的には、移動ベクトル取得部１４は、注目ブロック領域設定部１２（図１参照）により設定された注目ブロック領域５１内の注目画素５１ａと、移動先ブロック領域取得部１３（図１参照）により取得された移動先ブロック領域５２内の移動先画素５２ａとの間の移動量および移動方向を移動ベクトルＶとして取得する。なお、移動先画素５２ａは、移動先ブロック領域５２内において、注目ブロック領域５１内の注目画素５１ａの位置と対応する位置（移動先ブロック領域５２の中心の位置）の画素である。
　画像処理装置１００は、Ｋフレーム目の画像３１内の全ての画素の移動ベクトルＶを取得するように構成されている。具体的には、注目ブロック領域設定部１２（図１参照）による注目ブロック領域５１の設定と、移動先ブロック領域取得部１３による移動先ブロック領域５２の取得と、移動ベクトル取得部１４（図１参照）による移動ベクトルＶの取得とが、Ｋフレーム目の画像３１内の全ての画素に対して行われる。これにより、図８に示すように、Ｋフレーム目の画像３１内の全ての画素の移動ベクトルＶから構成される移動ベクトルマップＶＭが取得される。図８では、Ｘ行目Ｙ列目の移動ベクトルＶを、Ｖ（Ｘ、Ｙ）で示している。
　図９に示すように、差分指標値取得部１５（図１参照）は、同位置誤差Ｄ１およびマッチング誤差Ｄ２を取得するように構成されている。同位置誤差Ｄ１は、注目画素５１ａの画素値と、同位置画素５３ａの画素値との差分値に基づく値である。また、マッチング誤差Ｄ２は、注目画素５１ａの画素値と、移動先画素５２ａの画素値との差分値に基づく指標値である。具体的には、同位置誤差Ｄ１は、Ｋフレーム目の画像３１内の注目ブロック領域５１における残差平方和（画素値の残差平方和）の値と、（Ｋ－１）フレーム目の画像３２内の注目ブロック領域５１と同位置の同位置ブロック領域５３における残差平方和の値との差分値（誤差）である。また、マッチング誤差Ｄ２は、Ｋフレーム目の画像３１内の注目ブロック領域５１における残差平方和の値と、（Ｋ－１）フレーム目の画像３２内の移動先ブロック領域５２における残差平方和の値との差分値（誤差）である。なお、同位置誤差Ｄ１およびマッチング誤差Ｄ２は、それぞれ、特許請求の範囲の「第１差分指標値」および「第２差分指標値」の一例である。
　図１０に示すように、動体判定部１６（図１参照）は、注目画素５１ａが、構造物動体部分４１ａ（図５参照）であるか、構造物非動体部分４１ｂ（図５参照）または背景部分である非構造物部分４２（図５参照）であるかを閾値Ｔ２（図１０参照）に基づいて判定するように構成されている。詳細には、動体判定部１６は、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が閾値Ｔ２以下の場合に注目画素５１ａが構造物動体部分４１ａであると判定するように構成されている。また、動体判定部１６は、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が閾値Ｔ２よりも大きい場合に注目画素５１ａが構造物非動体部分４１ｂまたは非構造物部分４２であると判定するように構成されている。なお、閾値Ｔ２は、特許請求の範囲の「第２閾値」の一例である。
　具体的には、図５に示すように、構造物動体部分４１ａは、注目画素５１ａが、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動した部分である。構造物非動体部分４１ｂは、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動していない部分である。非構造物部分４２は、Ｋフレーム目の画像３１および（Ｋ－１）フレーム目の画像３２において、構造物部分４１ではない背景部分である。
　図１０に示すように、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）は、０から１までの範囲の値となる。そして、横軸を比率（Ｄ２／Ｄ１）、縦軸を度数（その比率（Ｄ２／Ｄ１）が出現した回数）で表したヒストグラムにおいて、注目画素５１ａが構造物動体部分４１ａ、構造物非動体部分４１ｂおよび非構造物部分４２のいずれの分布も、ある比率（Ｄ２／Ｄ１）にピークを有するように分布する。また、ヒストグラムでは、構造物動体部分４１ａのピークと、非構造物部分４２のピークと、構造物非動体部分４１ｂのピークとが、比率（Ｄ２／Ｄ１）の小さい方から大きい方に向かって、この順に並ぶように分布する。なお、図１０では、画像３０のコントラストが比較的大きい場合を示している。
　図１０のヒストグラムでは、構造物動体部分４１ａ、構造物非動体部分４１ｂおよび非構造物部分４２の分布の重複が比較的小さい。したがって、動体判定部１６（図１参照）は、閾値Ｔ２を、構造物動体部分４１ａのピークと構造物非動体部分４１ｂのピークとの間に設定することにより、構造物動体部分４１ａと、構造物非動体部分４１ｂまたは非構造物部分４２とを概ね分離することが可能である。これにより、動体判定部１６（図１参照）は、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２に基づいて判定する（動体判定を行う）ことが可能である。なお、図１０の例では、閾値Ｔ２を、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が略０．３に設定するのが好ましい。
　図１１に示すように、画像補正部１７（図１参照）は、動体判定部１６により構造物動体部分４１ａであると判定された注目画素５１ａに対して、第１ノイズ低減処理を行うとともに、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して、第２ノイズ低減処理を行うように構成されている。第１ノイズ低減処理は、注目画素５１ａと移動先画素５２ａとに基づくノイズ低減処理である。第２ノイズ低減処理は、注目画素５１ａと同位置画素５３ａとに基づくノイズ低減処理である。
　具体的には、第１ノイズ低減処理は、Ｋフレーム目の画像３１内の注目画素５１ａの画素値と、（Ｋ－１）フレーム目の画像３２内の移動先画素５２ａの画素値との加算平均処理である。すなわち、第１ノイズ低減処理により、注目画素５１ａの画素値と移動先画素５２ａの画素値とが平均化されることにより、Ｋフレーム目の画像３１内の構造物動体部分４１ａである注目画素５１ａは、ノイズ（ランダムノイズ）が低減された注目画素５１ａｘとなる。また、第２ノイズ低減処理は、Ｋフレーム目の画像３１内の注目画素５１ａの画素値と、（Ｋ－１）フレーム目の画像３２内の同位置画素５３ａの画素値との加算平均処理である。すなわち、第２ノイズ低減処理により、注目画素５１ａの画素値と同位置画素５３ａの画素値とが平均化されることにより、Ｋフレーム目の画像３１内の構造物非動体部分４１ｂおよび非構造物部分４２である注目画素５１ａは、ノイズ（ランダムノイズ）が低減された注目画素５１ａｙとなる。これにより、Ｋフレーム目の画像３１は、ノイズ（ランダムノイズ）が低減された画像３１ｘとなる。なお、画素値と画素値との加算平均処理は、単純に加算平均してもよいし、いずれかの一方の画素値に重み付けをした重み付け平均をしてもよい。
　画像出力部１８（図１参照）は、画像補正部１７（図１参照）により補正された（ノイズが低減された）Ｋフレーム目の画像３１ｘを表示部（図示しない）に出力するように構成されている。
　以上の構成により、画像処理装置１００では、撮影装置２００において連続的に撮影されることにより生成される複数の画像３０が、画像補正部１７により順次補正される。そして、画像出力部１８によりノイズが低減された（画質が向上された）動画が出力される。
　ここで、画像取得部１１が撮影装置２００から取得した複数の画像（フレーム）３０（図２参照）のコントラストが比較的小さい場合がある。この場合、図１２に示すように、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）の分布を示したヒストグラムにおいて、画像（フレーム）３０のコントラストが比較的大きい場合（図１０の場合）と比較して、構造物部分４１が横軸方向に広がって分布する。したがって、構造物動体部分４１ａのピークが、非構造物部分４２のピークに比較的近付くことにより、構造物動体部分４１ａの分布と非構造物部分４２との分布の重複が比較的大きくなる。このため、画像（フレーム）３０のコントラストが比較的小さい場合、動体判定部１６（図１参照）は、構造物動体部分４１ａと非構造物部分４２とを分離するための閾値Ｔ２を適切に設定することが困難となる（動体判定部１６による動体判定を精度よく行うことが困難となる）。
　そこで、本実施形態では、図１に示すように、画像処理装置１００は、動体判定部１６による動体判定を精度よく行うために、構造物判定部１９と、閾値変更部２０と、を備えている。
　図１３～図１５に示すように、構造物判定部１９（図１参照）は、ベクトルブロック領域ＶＲ内の移動ベクトルＶに基づいて、ベクトルブロック領域ＶＲ内の注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか背景部分である非構造物部分４２であるかを判定するように構成されている。ベクトルブロック領域ＶＲは、移動ベクトル取得部１４により取得された複数の移動ベクトルＶから構成される領域である。また、ベクトルブロック領域ＶＲは、注目移動ベクトルＶａと注目移動ベクトルＶａの周辺の周辺移動ベクトルＶｂとから構成される領域である。図１３～図１５では、ベクトルブロック領域ＶＲが、１つの注目移動ベクトルＶａおよび注目移動ベクトルＶａの周辺の４８個の周辺移動ベクトルＶｂの合計４９個の移動ベクトルＶからなる７行７列の領域として構成された例を示している。
　詳細には、図１７に示すように、構造物判定部１９（図１参照）は、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａ（（ベクトルブロック領域ＶＲ内の類似する全ての移動ベクトルＶ）／（ベクトルブロック領域ＶＲ内の全ての移動ベクトルＶ））に基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定するように構成されている。なお、「類似する移動ベクトルＶ」とは、移動ベクトルＶの大きさおよび方向が完全に一致しない場合も含む。また、移動ベクトルＶが類似するか否かの条件は、画像処理装置１００の使用者等によって設定することが可能である。
　具体的には、図５に示すように、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動した場合、複数の画素からなる領域がある程度まとまって移動すると考えられる。したがって、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１である場合、ベクトルブロック領域ＶＲ内の移動ベクトルＶの方向および大きさは互いに類似する（関連性を有する）可能性が高い。
　すなわち、図１３に示すように、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間で構造物部分４１が移動した構造物動体部分４１ａにおいてベクトルブロック領域ＶＲ１を取得した場合、ベクトルブロック領域ＶＲ１内の移動ベクトルＶの方向および大きさは、互いに類似する。図１３では、４９個の移動ベクトルＶの内の３７個の移動ベクトルＶ（図１３の破線で囲まれた部分の移動ベクトルＶ）が互いに類似した例を示している。
　また、図１４に示すように、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間で構造物部分４１が移動していない構造物非動体部分４１ｂにおいてベクトルブロック領域ＶＲ２を取得した場合、ベクトルブロック領域ＶＲ２内の移動ベクトルＶの方向および大きさも、互いに類似する。なお、構造物非動体部分４１ｂにおける移動ベクトルＶの大きさは、構造物動体部分４１ａと比較して小さい（ゼロに近い）ので、図１４では、移動ベクトルＶの図示を省略している。
　一方、ノイズ（ランダムノイズ）は、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２とのいずれにおいても、ランダムな位置および大きさとして生じる。したがって、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａがノイズを含む背景部分（非構造物部分４２）である場合、ベクトルブロック領域ＶＲ内の移動ベクトルＶは互いにランダムな方向および大きさになる（関連性を有さない）可能性が大きい。
　すなわち、図１５に示すように、Ｋフレーム目の画像３１（（Ｋ－１）フレーム目の画像３２）の非構造物部分４２においてベクトルブロック領域ＶＲ３を取得した場合、ベクトルブロック領域ＶＲ３内の移動ベクトルＶの方向および大きさは、互いにランダムな方向および大きさとなる。
　図１６に示すように、構造物判定部１９（図１参照）は、割合Ｒａが閾値Ｔ１以上の場合に、注目画素５１ａが構造物部分４１であると判定するとともに、割合Ｒａが閾値Ｔ１よりも小さい場合に、注目画素５１ａが非構造物部分４２であると判定するように構成されている。図１７では、閾値Ｔ１の大きさを、割合Ｒａが略０．５に設定した例を示している。なお、閾値Ｔ１は、特許請求の範囲の「第１閾値」の一例である。
　図１７および図１８に示すように、本実施形態では、閾値変更部２０（図１参照）は、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、閾値Ｔ２の大きさを変更した後に、動体判定部１６による判定を行うように構成されている。詳細には、閾値変更部２０は、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して、閾値Ｔ２を小さくするように閾値Ｔ２を変更した後に動体判定部１６による判定を行うように構成されている。
　具体的には、図１７に示すように、閾値変更部２０（図１参照）は、構造物判定部１９により注目画素５１ａが構造物部分４１であると判定された場合、画像３０のコントラストが比較的大きい場合の閾値Ｔ２である略０．３（図１０参照）から、閾値Ｔ２を略０．３よりも大きくなるように変更する。図１７では、閾値Ｔ２を略０．６３に変更した例を示している。そして、閾値Ｔ２を略０．３よりも大きくなるように変更した状態で、閾値Ｔ２に基づいて、動体判定部１６により、注目画素５１ａが構造物動体部分４１ａ（図５参照）であるか、構造物非動体部分４１ｂ（図５参照）または背景部分である非構造物部分４２（図５参照）であるかの判定が行われる。これにより、ヒストグラムの分布において、構造物動体部分４１ａと非構造物部分４２とが重複する部分が大きい場合に、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａは、非構造物部分４２である可能性が低いので、動体判定部１６による判定において、構造物動体部分４１ａであると判定され易くすることが可能である。
　また、図１８に示すように、閾値変更部２０（図１参照）は、構造物判定部１９により注目画素５１ａが非構造物部分４２であると判定された場合、画像３０のコントラストが比較的大きい場合の閾値Ｔ２である略０．３（図１０参照）から、閾値Ｔ２を略０．３よりも小さくなるように変更する。図１８では、閾値Ｔ２を略０．２に変更した例を示している。そして、閾値Ｔ２を略０．３よりも小さくなるように変更した状態で、閾値Ｔ２に基づいて、動体判定部１６により、注目画素５１ａが構造物動体部分４１ａ（図５参照）であるか、構造物非動体部分４１ｂ（図５参照）または背景部分である非構造物部分４２（図５参照）であるかの判定が行われる。これにより、ヒストグラムの分布において、構造物動体部分４１ａと非構造物部分４２とが重複する部分が大きい場合に、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａは、構造物動体部分４１ａである可能性が低いので、動体判定部１６による判定において、非構造物部分４２であると判定され易くすることが可能である。なお、画像処理装置１００では、構造物判定部１９による判定により、注目画素５１ａが非構造物部分４２であると判定された場合でも、構造物判定部１９による判定に誤りが含まれる可能性を考慮して、動体判定部１６による判定を行うように構成されている。
　（画像処理のフロー）
　次に、図１９を参照して、複数の画像（フレーム）３０から構成される動画に対して画質を向上させるための画像処理のフローを説明する。
　まず、ステップ１０１において、画像取得部１１は、Ｋフレーム目の画像３１と、Ｋフレーム目の画像３１とは異なる時刻に撮影された（Ｋ－１）フレーム目の画像３２と、を取得する。
　次に、ステップ１０２において、注目ブロック領域設定部１２は、Ｋフレーム目の画像３１内の画素の中から注目画素５１ａと注目画素５１ａの周辺の周辺画素５１ｂとから構成される注目ブロック領域５１を設定する。
　次に、ステップ１０３において、移動先ブロック領域取得部１３は、（Ｋ－１）フレーム目の画像３２内において注目ブロック領域５１に最も類似した移動先ブロック領域５２を取得する。
　次に、ステップ１０４において、移動ベクトル取得部１４は、注目画素５１ａから移動先ブロック領域５２における注目画素５１ａに対応する移動先画素５２ａへの移動ベクトルＶを取得する。
　次に、ステップ１０５において、差分指標値取得部１５は、注目画素５１ａの画素値と、同位置画素５３ａの画素値との差分値に基づく同位置誤差Ｄ１、および、注目画素５１ａの画素値と、移動先画素５２ａの画素値との差分値に基づくマッチング誤差Ｄ２を取得する。
　次に、ステップ１０６において、構造物判定部１９は、複数の移動ベクトルＶから構成されるベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａに基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定する（構造物判定を行う）。
　次に、ステップ１０７において、閾値変更部２０は、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、（ステップ１０８の動体判定部１６による判定に用いられる）閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して、閾値Ｔ２を小さくするように閾値Ｔ２を変更する。
　次に、ステップ１０８において、動体判定部１６は、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２と、（ステップ１０５において、差分指標値取得部１５が取得した）同位置誤差Ｄ１およびマッチング誤差Ｄ２と、に基づいて判定する（動体判定を行う）。
　次に、ステップ１０９において、画像補正部１７は、動体判定部１６により構造物動体部分４１ａであると判定された注目画素５１ａに対して、第１ノイズ低減処理を行うとともに、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して、第２ノイズ低減処理を行う。
　そして、ステップ１１０において、画像出力部１８は、画像補正部１７により補正された（ノイズが低減された）Ｋフレーム目の画像３１ｘを表示部に出力する。
　（実施形態の効果）
　本実施形態では、以下のような効果を得ることができる。
　本実施形態では、上記のように、構造物判定部１９を、複数の移動ベクトルＶから構成されるベクトルブロック領域ＶＲ内の移動ベクトルＶに基づいて、ベクトルブロック領域ＶＲ内の注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定するように構成する。これにより、画像３０のコントラストが比較的小さい場合でも、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか背景部分（非構造物部分４２）であるかを判定することができる。その結果、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する方法（動体判定部１６による判定）と、動体判定部１６による判定とは異なる観点から注目画素５１ａを判定する方法（注目画素が構造物部分４１であるか非構造物部分４２であるかを判定する方法）を組み合わせることにより、画像３０のコントラストが比較的小さい場合でも、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する精度を向上させることができる。
　また、本実施形態では、上記のように、構造物判定部１９を、ベクトルブロック領域ＶＲを構成する移動ベクトルＶの中の注目移動ベクトルＶａと注目移動ベクトルＶａの周辺の周辺移動ベクトルＶｂとの両方に基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが、構造物部分４１であるか非構造物部分４２であるかを判定するように構成する。これにより、注目移動ベクトルＶａと周辺移動ベクトルＶｂとの両方に基づいて、ベクトルブロック領域ＶＲ内の移動ベクトルＶの関連性（移動ベクトルＶの方向および大きさが互いに類似するか否か）を確実に調べることができるので、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する精度を確実に向上させることができる。
　また、本実施形態では、上記のように、構造物判定部１９を、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａに基づいて、注目移動ベクトルＶａに対応するＫフレーム目の画像３１内の注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを判定するように構成する。これにより、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａに基づいて、ベクトルブロック領域ＶＲ内の移動ベクトルＶの関連性（移動ベクトルＶの方向および大きさが互いに類似するか否か）を容易に調べることができるので、注目画素５１ａが動体部分（構造物動体部分４１ａ）であるか動体部分ではない部分（構造物非動体部分４１ｂまたは非構造物部分４２）であるかを判定する精度を容易に向上させることができる。
　また、本実施形態では、上記のように、構造物判定部１９を、割合Ｒａが閾値Ｔ１以上の場合に、注目画素５１ａが構造物部分４１であると判定するとともに、割合Ｒａが閾値Ｔ１よりも小さい場合に、注目画素５１ａが非構造物部分４２であると判定するように構成する。これにより、閾値Ｔ１を用いることにより、ベクトルブロック領域ＶＲ内の類似する移動ベクトルＶの割合Ｒａを容易に調べることができるので、ベクトルブロック領域ＶＲ内の移動ベクトルの関連性（移動ベクトルＶの方向および大きさが互いに類似するか否か）をより容易に調べることができる。
　また、本実施形態では、上記のように、画像処理装置１００は、動体判定部１６と、画像補正部１７と、を備える。動体判定部１６は、注目画素５１ａが、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動した構造物動体部分４１ａであるか、Ｋフレーム目の画像３１と（Ｋ－１）フレーム目の画像３２との間において構造物部分４１が移動していない構造物非動体部分４１ｂまたは背景部分である非構造物部分４２であるかを閾値Ｔ２に基づいて判定する。画像補正部１７は、動体判定部１６により構造物動体部分４１ａであると判定された注目画素５１ａに対して第１ノイズ低減処理を行うとともに、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して第２ノイズ低減処理を行う。第１ノイズ低減処理は、注目画素５１ａと、注目画素５１ａの移動先の（Ｋ－１）フレーム目の画像３２における画素である移動先画素５２ａとに基づくノイズ低減処理である。第２ノイズ低減処理は、注目画素５１ａと、注目画素５１ａと同位置の（Ｋ－１）フレーム目の画像３２における画素である同位置画素５３ａとに基づくノイズ低減処理である。そして、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、閾値Ｔ２の大きさを変更した後に、動体判定部１６による判定を行うように構成する。これにより、動体判定部１６による判定において、注目画素５１ａが構造物動体部分４１ａであるか非構造物部分４２であるかを判定することが難しい場合でも、注目画素５１ａを構造物動体部分４１ａであると判定させるように閾値Ｔ２の大きさを変更することにより、注目画素５１ａが構造物動体部分４１ａであるか背景部分（非構造物部分４２）であるかを判定する精度を確実に向上させることができる。その結果、精度を向上させた動体判定部１６による判定に基づいて、画像補正部１７による注目画素５１ａに対するノイズ低減処理を適切に行うことができる。
　また、本実施形態では、上記のように、画像処理装置１００は、同位置誤差Ｄ１を取得するとともにマッチング誤差Ｄ２を取得する差分指標値取得部１５を備える。同位置誤差Ｄ１は、注目画素５１ａの画素値と、同位置画素５３ａの画素値との差分値に基づく差分指標値である。マッチング誤差Ｄ２は、注目画素５１ａの画素値と、移動先画素５２ａの画素値との差分値に基づく差分指標値である。そして、動体判定部１６を、同位置誤差Ｄ１とマッチング誤差Ｄ２との比率（Ｄ２／Ｄ１）が閾値Ｔ２以下の場合に注目画素５１ａが構造物動体部分４１ａであると判定するとともに、比率（Ｄ２／Ｄ１）が閾値Ｔ２よりも大きい場合に注目画素５１ａが構造物非動体部分４１ｂまたは非構造物部分４２であると判定するように構成する。また、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更した後に、動体判定部１６による判定を行うように構成する。これにより、閾値Ｔ２を、構造物動体部分４１ａと非構造物部分４２とを分離する通常の比率（Ｄ２／Ｄ１）から、構造物動体部分４１ａと構造物非動体部分４１ｂとを分離する比率（Ｄ２／Ｄ１）に大きくするように変更することができる。その結果、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａにおいて、構造物動体部分４１ａであるか非構造物部分４２であるかを判定する（分離する）ことが難しい場合でも、注目画素５１ａを構造物動体部分４１ａであると容易に判定させることができる。したがって、動体判定部１６による判定を行う前に、注目画素５１ａが構造物動体部分４１ａであるか背景部分（非構造物部分４２）であるかを判定する精度を容易かつ確実に向上させることができる。
　また、本実施形態では、上記のように、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して閾値Ｔ２を小さくするように変更した後に、動体判定部１６による判定を行うように構成する。これにより、閾値Ｔ２を、構造物動体部分４１ａと非構造物部分４２とを分離する通常の比率（Ｄ２／Ｄ１）から、背景部分（非構造物部分４２）の分布を比較的多く含むように小さくするように変更するができる。その結果、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａにおいて、構造物動体部分４１ａであるか非構造物部分４２であるかを判定することが難しい場合に、注目画素５１ａを非構造物部分４２であると容易に判定させることができる。したがって、動体判定部１６による判定を行う前に、注目画素５１ａが構造物動体部分４１ａであるか背景部分（非構造物部分４２）であるかを判定する精度を容易かつより確実に向上させることができる。
　［変形例］
　なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
　たとえば、上記実施形態では、画像処理装置１００を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して閾値Ｔ２を小さくするように変更した例を示したが、本発明はこれに限られない。本発明では、画像処理装置を、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して閾値Ｔ２を大きくするように閾値Ｔ２を変更するとともに、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して閾値Ｔ２を変更しないように構成してもよい。
　また、上記実施形態では、動体判定部１６により、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２に基づいて判定するように構成した例を示したが、本発明はこれに限られない。本発明では、注目画素５１ａが、構造物動体部分４１ａであるか、構造物非動体部分４１ｂまたは非構造物部分４２であるかを閾値Ｔ２以外に基づいて判定するように構成してもよい。たとえば、構造物判定部１９により、注目画素５１ａが構造物部分４１であるか非構造物部分４２であるかを移動ベクトルＶに基づいて判定することに加えて、移動ベクトルＶの大きさを考慮することにより、構造物部分４１を、構造物動体部分４１ａであるか構造物非動体部分４１ｂであるかを判定するように構成してもよい。
　また、上記実施形態では、動体判定部１６により構造物非動体部分４１ｂまたは非構造物部分４２であると判定された注目画素５１ａに対して第２ノイズ低減処理を行うように構成した例を示したが、本発明はこれに限られない。本発明では、第１ノイズ低減処理および第２ノイズ低減処理のいずれか一方のみを行うように構成してもよい。また、第１ノイズ低減処理および第２ノイズ低減処理を行わないように構成してもよい。この場合、動体判定部１６による判定を省略することができる。
　また、上記実施形態では、構造物判定部１９による判定に基づいて閾値Ｔ２を変更する例を示したが、本発明はこれに限られない。本発明では、構造物判定部１９による判定に基づいて閾値Ｔ２を変更せずに、他の画像処理を行うように構成してもよいし、閾値Ｔ２を変更するとともに、他の画像処理を行うように構成してもよい。たとえば、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａに対して、Ｋフレーム目の画像３１における注目画素５１ａと周辺画素５１ｂとに基づいて構造物を強調する画像処理を行うように構成してもよい。構造物を強調する画像処理は、たとえば、エッジ強調処理である。また、構造物判定部１９により非構造物部分４２であると判定された注目画素５１ａに対して、Ｋフレーム目の画像３１における注目画素５１ａと周辺画素５１ｂとに基づいてノイズを低減する画像の平滑化処理を行うように構成してもよい。これにより、構造物判定部１９により構造物部分４１であると判定された注目画素５１ａおよび非構造物部分４２であると判定された注目画素５１ａに対して、画質を向上させるための適切な画像処理を容易に行うことができる。なお、画像の平滑化処理は、特許請求の範囲の「第３ノイズ低減処理」の一例である。
　また、上記実施形態では、画像処理装置１００が撮影装置２００とは別個に設けられた例を示したが、本発明はこれに限られない。本発明では、画像処理装置を撮影装置の処理ユニットに含めるように構成してもよい。
　また、上記実施形態では、説明の便宜上、画像処理装置１００の画像処理を処理フローに沿って順番に処理を行うフロー駆動型のフローを用いて説明したが、本発明はこれに限られない。本発明では、画像処理装置の画像処理を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
　１２　注目ブロック領域設定部
　１３　移動先ブロック領域取得部
　１４　移動ベクトル取得部
　１５　差分指標値取得部
　１６　動体判定部
　１７　画像補正部（ノイズ低減処理部）
　１９　構造物判定部
　３０　画像
　３１　Ｋフレーム目の画像（第１画像）
　３２　（Ｋ－１）フレーム目の画像（第２画像）
　４１　構造物部分
　４１ａ　構造物動体部分
　４１ｂ　構造物非動体部分
　４２　非構造物部分
　５１　注目ブロック領域
　５１ａ　注目画素
　５１ｂ　周辺画素
　５２　移動先ブロック領域
　５２ａ　移動先画素
　５３ａ　同位置画素
　１００　画像処理装置
　Ｄ１　同位置誤差（第１差分指標値）
　Ｄ２　マッチング誤差（第２差分指標値）
　（Ｄ２／Ｄ１）　（第１差分指標値と第２差分指標値との）比率
　Ｒａ　（ベクトルブロック領域内の類似する移動ベクトルの）割合
　ＶＲ（ＶＲ１、ＶＲ２、ＶＲ３）　ベクトルブロック領域
　Ｖ　移動ベクトル
　Ｖａ　注目移動ベクトル
　Ｖｂ　周辺移動ベクトル

Claims (8)

  1. 　連続的に撮影されることにより生成される複数の画像に対して画像処理を行う画像処理装置であって、
    　第１画像内の画素の中から注目画素と前記注目画素の周辺の周辺画素とから構成される注目ブロック領域を設定する注目ブロック領域設定部と、
    　前記第１画像とは異なる時刻に撮影された第２画像内において前記注目ブロック領域に最も類似した移動先ブロック領域を取得する移動先ブロック領域取得部と、
    　前記注目画素から前記移動先ブロック領域における前記注目画素に対応する移動先画素への移動ベクトルを取得する移動ベクトル取得部と、
    　前記移動ベクトル取得部により取得された複数の前記移動ベクトルから構成されるベクトルブロック領域内の前記移動ベクトルに基づいて、前記ベクトルブロック領域内の注目移動ベクトルに対応する前記第１画像内の前記注目画素が構造物部分であるか背景部分である非構造物部分であるかを判定する構造物判定部と、を備える画像処理装置。
  2. 　前記構造物判定部は、前記ベクトルブロック領域を構成する前記移動ベクトルの中の前記注目移動ベクトルと前記注目移動ベクトルの周辺の周辺移動ベクトルとの両方に基づいて、前記注目移動ベクトルに対応する前記第１画像内の前記注目画素が、前記構造物部分であるか前記非構造物部分であるかを判定するように構成されている、請求項１に記載の画像処理装置。
  3. 　前記構造物判定部は、前記ベクトルブロック領域内の類似する前記移動ベクトルの割合に基づいて、前記注目移動ベクトルに対応する前記第１画像内の前記注目画素が前記構造物部分であるか前記非構造物部分であるかを判定するように構成されている、請求項１または２に記載の画像処理装置。
  4. 　前記構造物判定部は、前記割合が第１閾値以上の場合に、前記注目画素が前記構造物部分であると判定するとともに、前記割合が前記第１閾値よりも小さい場合に、前記注目画素が前記非構造物部分であると判定するように構成されている、請求項３に記載の画像処理装置。
  5. 　前記注目画素が、前記第１画像と前記第２画像との間において前記構造物部分が移動した構造物動体部分であるか、前記第１画像と前記第２画像との間において前記構造物部分が移動していない構造物非動体部分または前記背景部分である前記非構造物部分であるかを第２閾値に基づいて判定する動体判定部と、
    　前記動体判定部により前記構造物動体部分であると判定された前記注目画素に対して、前記注目画素と、前記注目画素の移動先の前記第２画像における画素である前記移動先画素とに基づく第１ノイズ低減処理を行うとともに、前記動体判定部により前記構造物非動体部分または前記非構造物部分であると判定された前記注目画素に対して、前記注目画素と、前記注目画素と同位置の前記第２画像における画素である同位置画素とに基づく第２ノイズ低減処理を行うノイズ低減処理部と、
    をさらに備え、
    　前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して、前記第２閾値の大きさを変更した後に、前記動体判定部による判定を行うように構成されている、請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記注目画素の画素値と、前記同位置画素の画素値との差分値に基づく第１差分指標値を取得するとともに、前記注目画素の画素値と、前記移動先画素の画素値との差分値に基づく第２差分指標値を取得する差分指標値取得部をさらに備え、
    　前記動体判定部は、前記第１差分指標値と前記第２差分指標値との比率が前記第２閾値以下の場合に前記注目画素が前記構造物動体部分であると判定するとともに、前記比率が前記第２閾値よりも大きい場合に前記注目画素が前記構造物非動体部分または前記非構造物部分であると判定するように構成されており、
    　前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して前記第２閾値を大きくするように前記第２閾値を変更した後に、前記動体判定部による判定を行うように構成されている、請求項５に記載の画像処理装置。
  7. 　前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して前記第２閾値を大きくするように前記第２閾値を変更するとともに、前記構造物判定部により前記非構造物部分であると判定された前記注目画素に対して前記第２閾値を小さくするように前記第２閾値を変更した後に、前記動体判定部による判定を行うように構成されている、請求項６に記載の画像処理装置。
  8. 　前記構造物判定部により前記構造物部分であると判定された前記注目画素に対して、前記第１画像における前記注目画素と前記周辺画素とに基づいて構造物を強調する画像処理、および、前記構造物判定部により前記非構造物部分であると判定された前記注目画素に対して、前記第１画像における前記注目画素と前記周辺画素とに基づいてノイズを低減する第３ノイズ低減処理の少なくとも一方の処理を行うように構成されている、請求項１～４のいずれか１項に記載の画像処理装置。
PCT/JP2019/001701 2019-01-21 2019-01-21 画像処理装置 WO2020152756A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020567684A JP7147878B2 (ja) 2019-01-21 2019-01-21 画像処理装置
PCT/JP2019/001701 WO2020152756A1 (ja) 2019-01-21 2019-01-21 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/001701 WO2020152756A1 (ja) 2019-01-21 2019-01-21 画像処理装置

Publications (1)

Publication Number Publication Date
WO2020152756A1 true WO2020152756A1 (ja) 2020-07-30

Family

ID=71736642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001701 WO2020152756A1 (ja) 2019-01-21 2019-01-21 画像処理装置

Country Status (2)

Country Link
JP (1) JP7147878B2 (ja)
WO (1) WO2020152756A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190534A (ja) * 1996-01-11 1997-07-22 Canon Inc 画像処理装置
JP2007268155A (ja) * 2006-03-31 2007-10-18 Toshiba Corp 超音波診断装置及び超音波診断装置制御方法
JP2011000470A (ja) * 2010-10-01 2011-01-06 Toshiba Corp 超音波診断装置
JP2011120815A (ja) * 2009-12-14 2011-06-23 Hitachi Medical Corp 医用画像表示装置及び医用画像表示方法
JP2012105750A (ja) * 2010-11-16 2012-06-07 Hitachi Aloka Medical Ltd 超音波画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2604187A4 (en) * 2010-07-14 2016-09-07 Univ Tohoku SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM HAVING SIGNAL PROCESSING PROGRAM RECORDED THEREON
JP2012027696A (ja) * 2010-07-23 2012-02-09 Canon Inc 画像処理装置及び画像処理方法
EP2727533A1 (en) * 2010-09-08 2014-05-07 Fujifilm Corporation Body motion detection device, as well as radiographic imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190534A (ja) * 1996-01-11 1997-07-22 Canon Inc 画像処理装置
JP2007268155A (ja) * 2006-03-31 2007-10-18 Toshiba Corp 超音波診断装置及び超音波診断装置制御方法
JP2011120815A (ja) * 2009-12-14 2011-06-23 Hitachi Medical Corp 医用画像表示装置及び医用画像表示方法
JP2011000470A (ja) * 2010-10-01 2011-01-06 Toshiba Corp 超音波診断装置
JP2012105750A (ja) * 2010-11-16 2012-06-07 Hitachi Aloka Medical Ltd 超音波画像処理装置

Also Published As

Publication number Publication date
JPWO2020152756A1 (ja) 2021-12-02
JP7147878B2 (ja) 2022-10-05

Similar Documents

Publication Publication Date Title
US8289405B2 (en) Image processing apparatus and method thereof
EP2693738B1 (en) Image processing device, image processing method, image processing program, and recording medium
US9253388B2 (en) Image processing device and method, and program
KR101811718B1 (ko) 영상 처리 방법 및 장치
US10484601B2 (en) Image processing apparatus, image processing method, and storage medium
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US8300985B2 (en) Image-registration method, medium, and apparatus
WO2007032082A1 (ja) 画像処理方法及び画像処理装置
JP2019012426A5 (ja)
US8917938B2 (en) Method for estimating blur degree of image and method for evaluating image quality
JP5975598B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
US10142541B2 (en) Image processing apparatus, imaging apparatus, and control method of image processing apparatus
JP2010117593A (ja) 距離情報取得装置、撮像装置、及びプログラム
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20100208140A1 (en) Image processing apparatus, image processing method and storage medium storing image processing program
JP5218429B2 (ja) ３次元形状測定装置および方法、並びに、プログラム
JP2017220885A (ja) 画像処理装置、その制御方法、および制御プログラム
JP6473769B2 (ja) 補正量演算装置、補正装置及び補正量演算方法
WO2020152756A1 (ja) 画像処理装置
JP2011071925A (ja) 移動体追尾装置および方法
JP5928465B2 (ja) 劣化復元システム、劣化復元方法およびプログラム
JP2009088884A (ja) 撮像データにおける動きベクトル検出方法と装置
US20130163862A1 (en) Image processing method and device for redeye correction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912006

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567684

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19912006

Country of ref document: EP

Kind code of ref document: A1