WO2014050117A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2014050117A1
WO2014050117A1 PCT/JP2013/005723 JP2013005723W WO2014050117A1 WO 2014050117 A1 WO2014050117 A1 WO 2014050117A1 JP 2013005723 W JP2013005723 W JP 2013005723W WO 2014050117 A1 WO2014050117 A1 WO 2014050117A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel value
pixel
unit
median
Prior art date
Application number
PCT/JP2013/005723
Other languages
English (en)
French (fr)
Inventor
松山　好幸
田部井　憲治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014538194A priority Critical patent/JP6206732B2/ja
Priority to EP13840385.2A priority patent/EP2903263A4/en
Priority to US14/423,818 priority patent/US9672605B2/en
Publication of WO2014050117A1 publication Critical patent/WO2014050117A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for performing median processing in a time direction for a plurality of captured images that are continuous in time.
  • snowfall noise When shooting with snow using a surveillance camera that captures an outdoor subject, a large number of snow particles obstruct the captured subject, and the captured image can be obtained with such snow particles.
  • the appearing noise hereinafter referred to as snowfall noise
  • the appearing noise hinders monitoring, and is therefore desirably removed from the captured image.
  • Patent Document 1 a technique for removing snow noise by performing median processing in the time direction for a plurality of captured images that are continuous in time.
  • This technology focuses on the low probability that pixels at the same coordinate are pixels that represent snow particles in a plurality of temporally continuous captured images, and is extracted from a plurality of temporally continuous captured images. Since the pixel values representing the snow particles are eliminated by the median processing in the time direction in which the pixel values are rearranged in order of size and the median value is obtained, snowfall noise can be removed.
  • the present invention has been devised to solve such problems of the prior art, and its main purpose is to increase the processing speed when performing median processing in the time direction on a color image.
  • Another object of the present invention is to provide an image processing apparatus and an image processing method configured to be able to perform the above processing.
  • An image processing apparatus is an image processing apparatus that performs median processing in a time direction on a plurality of temporally continuous input images, and extracts a pixel value of a pixel of interest from the plurality of input images
  • An extraction unit, a pixel value selection unit that rearranges a plurality of pixel values of a certain channel extracted for the target pixel by the pixel value extraction unit, and selects a pixel value corresponding to a predetermined position after the rearrangement;
  • a pixel value acquisition unit that acquires pixel values of other channels in the input image corresponding to the pixel value selected by the pixel value selection unit; and pixel values obtained from the pixel value selection unit and the pixel value acquisition unit.
  • an output pixel value determining unit that determines an output pixel value of the target pixel based on the output pixel value.
  • the image processing method of the present invention is an image processing method for performing median processing in a time direction on a plurality of temporally continuous input images, and extracts a pixel value of a target pixel from the plurality of input images. Rearranging a plurality of pixel values of a certain channel extracted for the target pixel by extracting the pixel value, and selecting a pixel value corresponding to a predetermined position after the rearrangement; and A pixel value obtained from a step of acquiring a pixel value of another channel in the input image corresponding to the pixel value selected in the step of selecting a value, a step of selecting the pixel value, and a step of acquiring the pixel value And determining an output pixel value of the target pixel based on the above.
  • the present invention it is only necessary to rearrange pixel values only for pixel values of one of a plurality of channels, so that the median processing can be speeded up.
  • the obtained combination of pixel values of each channel actually exists in one of the original captured images, an appropriate median image can be acquired.
  • FIG. 1 is an overall configuration diagram showing an imaging system according to a first embodiment.
  • 1 is a block diagram showing a schematic configuration of an image processing apparatus 2 according to a first embodiment.
  • Explanatory drawing explaining the outline of median processing by the conventional method Explanatory drawing explaining the outline
  • FIG. 3 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the first embodiment.
  • the block diagram which shows schematic structure of the image processing apparatus 2 which concerns on 2nd Embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the second embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the third embodiment.
  • summary of the median process by 4th Embodiment The flowchart which shows the process sequence of the image processing apparatus 2 which concerns on 4th Embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the fifth embodiment. Explanatory drawing explaining the outline
  • the block diagram which shows schematic structure of the image processing apparatus 2 which concerns on 7th Embodiment.
  • a first invention made to solve the above-described problem is an image processing apparatus that performs median processing in a time direction on a plurality of temporally continuous input images.
  • a pixel value extraction unit that extracts pixel values, and a plurality of pixel values of a certain channel extracted for the target pixel by the pixel value extraction unit are rearranged, and a pixel value corresponding to a predetermined position after the rearrangement is selected.
  • a pixel value selection unit a pixel value acquisition unit that acquires pixel values of other channels in the input image corresponding to the pixel value selected by the pixel value selection unit, the pixel value selection unit, and the pixel value acquisition
  • An output pixel value determining unit that determines an output pixel value of the target pixel based on a pixel value obtained from the unit.
  • the median processing can be speeded up.
  • an appropriate median image can be acquired.
  • 2nd invention is provided with the identifier provision part which provides the identifier corresponding to the said several input image to the pixel value extracted by the said pixel value extraction part,
  • the said pixel value selection part is the said selected pixel
  • An identifier assigned to a value is acquired, and the pixel value acquisition unit acquires pixel values of other channels based on the acquired identifier.
  • the median process can be further speeded up.
  • the third invention is configured to include an output image generation unit that generates an output image based on the output pixel value obtained for each pixel. According to this, an output image, that is, a median image can be acquired.
  • the fourth invention is configured to include a display device for displaying the output image. According to this, an output image, that is, a median image can be visually confirmed.
  • the fifth invention is configured such that the image value selection unit selects the value of the center position after the rearrangement as the predetermined position.
  • the pixel value to be acquired is not limited to the median value, and may be any value near the center.
  • the sixth invention is configured such that the input image is an image captured by an imaging device.
  • the pixel value extraction unit acquires pixel values of R, G, and B channels from the input image, and the pixel value selection unit rearranges the G channel pixel values.
  • the pixel values of the G channel that have characteristics closer to the brightness that are effective in determining whether or not the pixel value is a picture of snow particles are sorted, the pixel values of the snow grains are accurately excluded. Thus, it is possible to obtain a median image from which snowfall noise has been appropriately removed.
  • the pixel value extraction unit acquires pixel values of the Y, U, and V channels from the input image, and the pixel value selection unit rearranges the Y channel pixel values.
  • the pixel value in order to discriminate whether or not the pixel value is a picture of a snow particle, it is sorted by the luminance (Y channel pixel value) itself that is effective, so the pixel value of the snow grain is accurately excluded. In addition, it is possible to acquire a median image from which snowfall noise is appropriately removed.
  • the ninth invention is configured such that the image value selection unit rearranges the plurality of pixel values in descending order.
  • the input image is taken during snowfall, and snowfall noise appearing in the input image is removed by median processing in the time direction.
  • snowfall correction processing can be performed at high speed.
  • An eleventh aspect of the invention is an image processing method for performing median processing in a time direction on a plurality of temporally continuous input images, the step of extracting a pixel value of a target pixel from the plurality of input images; Rearranging a plurality of pixel values of a certain channel extracted for the target pixel by the step of extracting the pixel value, and selecting a pixel value corresponding to a predetermined position after the rearrangement; and Based on the pixel value obtained from the step of acquiring the pixel value of the other channel in the input image corresponding to the pixel value selected in the selecting step, the step of selecting the pixel value, and the step of acquiring the pixel value And determining an output pixel value of the target pixel.
  • the twelfth aspect of the invention is a motion determination unit that determines whether or not the target pixel is a pixel having motion, and whether the pixel of interest shows a predetermined noise when the motion determination unit determines that the pixel has motion,
  • a subject determination unit that determines whether the noise is something other than a predetermined noise; and if the subject determination unit determines that the noise is a predetermined noise, the pixel value determined by the output pixel value determination unit is used to determine the predetermined noise.
  • a corrected image generation unit that uses the pixel value of the input image is provided.
  • the pixel of interest displays noise such as snowfall noise (for example, due to a small object moving in the atmosphere)
  • the pixel value determined by the output pixel value determination unit that is, the median image Therefore, noise such as snowfall noise can be removed.
  • the pixel value of the input image that is, the pixel value of the captured image that has not undergone median processing, is used, so there is a pixel that moves other than noise. It is possible to reduce the afterimage generated when the image is generated.
  • FIG. 1 is an overall configuration diagram illustrating an imaging system according to the first embodiment.
  • This imaging system includes an imaging device 1 that images a subject, an image processing device 2 that performs image processing on a frame image (captured image) obtained by the imaging device 1, and a processed image obtained by the image processing device 2. And a display device 3 for displaying.
  • the imaging device 1, the image processing device 2, and the display device 3 may be configured integrally or connected via a communication network.
  • the imaging device 1 is used as a surveillance camera that images an outdoor subject.
  • snowfall correction processing is performed to remove snowfall noise generated in the frame image captured during snowfall by the imaging device 1.
  • it is effective for monitoring road conditions (such as traffic volume and road surface conditions), train conditions (track conditions, railroad crossings, station premises), river flooding conditions, etc. during snowfall.
  • the image data obtained by the imaging device 1 is stored in an appropriate storage medium, and the image data is read from the storage medium.
  • a configuration in which the image processing apparatus 2 performs image processing is also possible.
  • the processed image obtained by the image processing apparatus 2 can be output as a moving image in addition to being output as a still image.
  • the image data obtained by the image processing device 2 is stored in an appropriate storage medium, and the image data is read from the storage medium.
  • a configuration in which display processing is performed by the display device 3 is also possible.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing apparatus 2 according to the first embodiment.
  • the image processing apparatus 2 includes an image input unit 11, an input image storage unit 12, a median processing unit 13, and a pixel value storage unit 14.
  • the input image storage unit 12 stores a plurality of frame images input to the image input unit 11.
  • the median processing unit 13 performs snowfall correction processing that removes snowfall noise in the frame image by median processing.
  • the pixel value storage unit 14 stores the pixel value acquired by the median processing unit 13.
  • the median processing unit 13 performs median processing in a time direction for a predetermined number of frame images, and includes a pixel value extracting unit 21, a number assigning unit (identifier assigning unit) 22, and a sort processing unit (pixel value).
  • a selection unit) 23 a median value acquisition unit (pixel value acquisition unit) 24, and a median image generation unit (output pixel value determination unit) 25.
  • the median processing unit 13 is realized by executing a predetermined program by the CPU.
  • the pixel value extracting unit 21 performs a process of extracting the pixel value of each channel from a plurality of temporally continuous frame images with the target pixel as a target.
  • a frame image in RGB format is input to the image processing apparatus 2, and the pixel value extraction unit 21 extracts R, G, and B values (pixel values of R, G, and B channels from the frame image). ) To get.
  • the number assigning unit (identifier assigning unit) 22 assigns an index number (identifier) corresponding to the frame image as the extraction source to the pixel value of each channel acquired by the pixel value extracting unit 21, that is, the pixel value of each channel. Is associated with the index number.
  • index values corresponding to the order of the frame images are assigned to the R, G, and B values.
  • the sort processing unit 23 performs a sort process on a set of pixel values of one channel, that is, performs a process of rearranging the pixel values of one channel together with an index number in order of size, and obtains the median ( Get the index number assigned to (center position).
  • the G values are rearranged in order of size, and the index number assigned to the median value is acquired.
  • the pixel value to be acquired is not limited to the median value, and may be any value near the center.
  • the median value acquisition unit 24 performs processing for selecting a pixel value assigned with the same index number as that assigned to the median value acquired by the sort processing unit 23 as the median value of each channel.
  • R, G, and B median values are selected based on the index numbers acquired by the sort processing unit 23.
  • a process for generating a median image based on the median of is performed.
  • a median image is generated based on the median values of R, G, and B.
  • the pixel value acquired by the pixel value extraction unit 21 and the index number assigned by the number assigning unit 22 are stored in the pixel value storage unit 14, and the sort processing unit 23, the median value acquisition unit 24, and the median image generation unit In each unit 25, the pixel value and the index number are extracted from the pixel value storage unit 14 and necessary processing is performed, and the pixel value acquired by the processing of each unit is stored in the pixel value storage unit 14.
  • FIG. 3 is an explanatory diagram for explaining the outline of the median processing according to the conventional method.
  • FIG. 4 is an explanatory diagram for explaining the outline of the median processing according to the first embodiment.
  • each value of R, G and B (pixel value of each channel of R, G and B) takes a value of 0 to 255.
  • the median processing is performed on a total of seven frame images of the target frame image (t) and the three frame images before and after the frame image (t ⁇ 3 to t ⁇ 1, t + 1 to t + 3).
  • the number of frame images to be subjected to median processing is not limited to seven.
  • the R, G, and B values of the pixel of interest are acquired from each frame image, and the sorting process is performed for each of the R, G, and B values.
  • the median values of R, G and B are obtained.
  • the R, G, and B values of the target pixel acquired from each frame image are index numbers corresponding to the order of the frame images ( 1 to 7) are assigned, and then the sorting process is performed only on the G value.
  • the index numbers are also rearranged in association with the G value.
  • an index number (here, “6”) assigned to the G value (G median) of the middle rank is acquired, and then each of R, G, and B to which the same index number is assigned.
  • the value is chosen as the median value of R, G and B.
  • the channel to be sorted is not limited to the G channel, but may be the R or B channel. However, the G channel is most effective for RGB images.
  • the sort process is performed only on the G value, so that the median process can be speeded up.
  • the sorting process is performed with G values having characteristics closer to the luminance effective in determining whether or not the pixel value represents a snow particle, it is possible to accurately eliminate the pixel value representing the snow particle and reduce snowfall noise. It is possible to obtain a clear median image from which is appropriately removed.
  • the obtained combination of R, G, and B median values actually exists in any of the original frame images, an appropriate median image can be acquired.
  • FIG. 5 is a flowchart showing the processing procedure of the median processing unit 13.
  • a plurality of temporally continuous frame images are input to the image input unit 11 and stored in the input image storage unit 12 (ST101).
  • a process for each pixel (ST104 to ST107) is performed through a determination as to whether all frame images have been completed (ST102) and a determination as to whether all pixels have been completed (ST103).
  • the pixel value extraction unit 21 performs a process of acquiring the R, G, and B values of the target pixel from the seven frame images (ST104), and then the numbering unit 22 Then, a process of assigning an index number to each value of R, G, and B is performed (ST105), and then the G value is rearranged in order of magnitude by the sort processing unit 23 and assigned to the median value.
  • the process of acquiring the index number is performed (ST106), and then the median value acquisition unit 24 performs the process of selecting the R, G, and B median values based on the index numbers acquired by the sort processing unit 23. (ST107).
  • the process for one pixel is completed, and this process is repeated until all the pixels in one frame image are completed.
  • the median image generation unit At 25 a median image is generated based on the median values of R, G, and B for each pixel (ST108). The above processing is repeated until all frame images are completed.
  • FIG. 6 is a block diagram illustrating a schematic configuration of the image processing apparatus 2 according to the second embodiment.
  • FIG. 7 is an explanatory diagram for explaining the outline of the median processing according to the second embodiment.
  • FIG. 8 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the second embodiment. Note that points not particularly mentioned here are the same as in the above embodiment.
  • the median processing unit 13 includes a pixel value extraction unit 21, a numbering unit 22, a sort processing unit 23, a central processing unit, as in the first embodiment.
  • the value acquisition unit 24 and the median image generation unit 25 are provided.
  • a pixel value conversion unit 26 is further provided.
  • the pixel value conversion unit 26 includes a pixel value extraction unit. A process of calculating another pixel value from the pixel value of each channel acquired in 21 is performed.
  • a frame image in the RGB format is input to the image processing apparatus 2 and, as shown in FIG. 7, the Y value is calculated from the R, G, and B values.
  • a process for calculating (luminance) (ST206 in FIG. 8) is performed by the pixel value conversion unit.
  • a process (ST207 in FIG. 8) of rearranging the Y values acquired by the pixel value conversion unit 26 in order of size and acquiring the index number assigned to the median value is performed by the sort processing unit 23,
  • the median value acquisition unit 24 performs processing for selecting R, G, and B median values based on the index numbers acquired by the sort processing unit 23 (ST208 in FIG. 8).
  • the sort process need only be performed on the Y value (luminance), so that the median process can be speeded up. Further, since a pixel value conversion process for calculating the Y value is required, the amount of calculation is increased as compared with the first embodiment, but the luminance itself is effective in determining whether or not the pixel value represents a snow particle. Since the sorting process is performed in step S1, it is possible to obtain a clear median image from which snowfall noise is appropriately removed by accurately excluding the pixel values obtained by capturing snow particles.
  • FIG. 9 is a block diagram illustrating a schematic configuration of the image processing apparatus 2 according to the third embodiment.
  • FIG. 10 is an explanatory diagram for explaining the outline of the median processing according to the third embodiment.
  • FIG. 11 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the third embodiment. The points not particularly mentioned are the same as in the above embodiment.
  • the median processing unit 13 includes a pixel value extraction unit 21, a numbering unit 22, a sort processing unit 23, A value acquisition unit 24 and a median image generation unit 25 are provided.
  • a frame image in YUV format is input to the image processing apparatus 2, and the pixel value extraction unit 21 receives a frame image.
  • U and V values pixel values of Y, U and V channels).
  • the sort processing unit 23 performs processing (ST306 in FIG. 11) for rearranging the Y values in order of size and obtaining the index number assigned to the median, and then sorting Based on the index number acquired by the processing unit 23, processing for selecting the median values of Y, U, and V (ST307 in FIG. 11) is performed by the median value acquisition unit 24.
  • the median process can be speeded up.
  • the sorting process is performed with the brightness itself that is effective in determining whether or not the pixel value represents a snow particle, the pixel value representing the snow particle is accurately excluded, and snowfall noise is appropriately removed. A clear median image can be acquired.
  • FIG. 12 is a block diagram illustrating a schematic configuration of the image processing apparatus 2 according to the fourth embodiment.
  • FIG. 13 is an explanatory diagram for explaining the outline of the median processing according to the fourth embodiment.
  • FIG. 14 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the fourth embodiment. The points not particularly mentioned are the same as in the above embodiment.
  • the median processing unit 13 includes a pixel value extracting unit 21, a number assigning unit 22, a pixel value converting unit 26, as in the second embodiment.
  • a sort processing unit 23, a median value acquisition unit 24, and a median image generation unit 25 are provided.
  • a RAW format frame image based on a Bayer array is input to the image processing device 2.
  • the pixel value extraction unit 21 performs a process of acquiring R, G1, G2, and B values (pixel values of R, G1, G2, and B channels) from the frame image.
  • a process of calculating a G value that is an average value of the G1 value and the G2 value (ST406 in FIG. 14) is performed by the pixel value conversion unit 26, and then acquired by the pixel value conversion unit 26.
  • the sort processing unit 23 performs processing (ST407 in FIG. 14) for rearranging the G values in order of magnitude and obtaining the index number assigned to the median value, and then the index number obtained by the sort processing unit 23
  • the median value acquisition unit 24 performs processing for selecting median values of R, G1, G2 and B based on the above (ST408 in FIG. 14).
  • the calculation burden of the sort process can be reduced, and a pixel value conversion process for calculating the G value is necessary.
  • the amount of calculation of the entire median processing is reduced, so that the median processing can be speeded up.
  • the sorting process is performed with G values having characteristics closer to the luminance effective in determining whether or not the pixel value is a photograph of snow particles, the pixel values that represent snow particles are accurately excluded, and snowfall noise It is possible to obtain a clear median image from which is appropriately removed.
  • FIG. 15 is a block diagram illustrating a schematic configuration of the image processing apparatus 2 according to the fifth embodiment.
  • FIG. 16 is an explanatory diagram for explaining the outline of the median processing according to the fifth embodiment.
  • FIG. 17 is a flowchart showing a processing procedure of the image processing apparatus 2 according to the fifth embodiment. Note that points not particularly mentioned here are the same as in the above embodiment.
  • the median processing unit 13 has a pixel value extraction unit 21, a sort processing unit 23, a median value acquisition unit 24, The median image generation unit 25 is provided.
  • the number assigning unit 22 in the first embodiment is not provided, and as shown in FIG. An index number (identifier) corresponding to the frame image that is the extraction source is not assigned to the acquired R, G, and B values.
  • a sort process is performed on the set of G values acquired by the pixel value extraction unit 21 to obtain the median value (ST505 in FIG. 17), and then the sort process unit 23 performs the pixel value. From the pixel value combinations for each frame image acquired by the extraction unit 21, a combination of pixel values including a G value that matches the G median value acquired by the sort processing unit 23 is searched, and the combination of the found pixel values is determined.
  • the median value acquisition unit 24 performs processing for setting the median values of R, G, and B (ST506 in FIG. 17).
  • the sort processing unit 23 there may be a plurality of combinations of pixel values having a G value that matches the G median value acquired by the sort processing unit 23.
  • a combination of pixel values including a G value that matches the G median value When the search process for searching for is performed in order from the beginning, the first combination of pixel values found may be selected as the median value. Further, one of the combinations of corresponding pixel values may be selected at random.
  • the R, G, and B values acquired by the pixel value extraction unit 21 are stored in the pixel value storage unit 14, and the G values acquired by the sort processing unit 23 are targeted for this.
  • the search process for searching for a combination of pixel values including the G value that matches the median value is performed, the search process may be performed on the frame image itself. In this case, by extracting the G value from each frame image and collating whether or not the G value matches the G median value acquired by the sort processing unit 23, the G center acquired by the sort processing unit 23 is obtained. A frame image having a G value that matches the value is specified, and each value of R and B is extracted from this frame image, and this is set as the median value of R and B.
  • the median values of R, G, and B can be obtained based on
  • FIG. 18 is an explanatory diagram for explaining the outline of the median processing according to the sixth embodiment. Note that points not particularly mentioned here are the same as in the above embodiment.
  • the schematic configuration of the image processing apparatus 2 in the sixth embodiment is the same as that of the fifth embodiment in FIG. 15, but in particular, here, only the G value that is the target of the sorting process is selected by the pixel value extraction unit 21. I try to extract.
  • the median value acquisition unit 24 searches for a frame image having a G value that matches the G median value acquired by the sort processing unit 23, extracts R and B values from the found frame image, and extracts these values as R and B.
  • the sixth embodiment there may be a plurality of frame images having a G value that matches the G median acquired by the sort processing unit 23.
  • G value that matches the G median acquired by the sort processing unit 23.
  • What is necessary is just to select as a median the pixel value of the frame image found first when the search process which searches for the frame image which has matching G value is performed in order from the beginning. Further, one of the corresponding frame images may be selected at random.
  • the pixel value extraction unit 21 only needs to extract the G value that is the target of the sorting process, and it is not necessary to extract the pixel values of all the channels from all the target frame images. Therefore, the processing amount of the pixel value extraction process can be reduced.
  • the process of assigning the index number (identifier) to the pixel value is not performed, and the G value is associated with the frame image from which the extraction is performed. Therefore, in order to specify a frame image having a G value that matches the G median value acquired by the sorting process, a process for extracting the G value from the frame image again is necessary. If an index number (identifier) corresponding to the frame image that is the extraction source is assigned to the G value acquired by the pixel value extraction unit 21, it matches the G median value acquired by the sorting process based on the index number. Since the frame image having the G value can be easily specified, the process of acquiring the median values of R and B is facilitated.
  • an index number represented by a number (1 to 7) is used as an identifier given to a pixel value.
  • the present invention is not limited to this, It is also possible to use characters.
  • the pixel value conversion unit 26 calculates the Y value (luminance) and the G value (the average value of the G1 value and the G2 value).
  • the present invention is not limited to this, and the pixel value may be converted into an appropriate kind of pixel value so that an appropriate median value can be obtained according to the use of the median processing.
  • the configuration corresponding to the first embodiment that is, the configuration in which the median values of R, G, and B are obtained by performing the sort process on the G value.
  • the pixel value acquired by the pixel value extraction unit 21 is not assigned an index number (identifier) corresponding to the frame image from which the pixel value is extracted, or in the sorting process.
  • the configuration for extracting only the pixel values of necessary channels can be applied to the configuration for performing the sorting process with the pixel values that can be directly acquired from the frame image, as shown in the third embodiment.
  • pixel value conversion processing for calculating different pixel values from pixel values of a plurality of channels.
  • FIG. 19 is a block diagram illustrating a schematic configuration of the image processing apparatus 2 according to the seventh embodiment.
  • FIG. 20 is an explanatory diagram for explaining an overview of the processing of each image performed by the image processing apparatus 2. Note that t, t ⁇ 1, and t + 1 attached to each image in FIG. 20 indicate the imaging time. The imaging time t is attached to the image at the time of interest, and the imaging time t is added to the images before and after that. -1, t + 1 are shown.
  • the image processing apparatus 2 includes an image input unit 11, an input image storage unit 12, a median processing unit 13, a median image storage unit 31, a background image generation unit 32, and a background image storage unit. 33, a subject determination unit 34, and a snowfall correction image generation unit 35.
  • the input image storage unit 12 stores a plurality of frame images (input images) input to the image input unit 11.
  • the median processing unit 13 performs median processing in a time direction on a predetermined number (for example, seven) of input images stored in the input image storage unit 12 to generate a median image. Processing is performed.
  • the median process is performed on a total of seven input images including the input image at the time of interest and the three input images before and after the input image.
  • the number of input images to be subjected to median processing is not limited to seven.
  • the median processing may be performed using only the input image at the point of interest and the previous input image or only the subsequent input image.
  • the median image generated by the median processing unit 13 is stored.
  • the median image of the previous time generated by the previous process and the attention generated by the current process are noted.
  • the median image at the time is accumulated.
  • the background image generation unit 32 includes a primary image generation unit 41 and a secondary image generation unit 42.
  • the primary image generation unit 41 the input image at the point of interest stored in the input image storage unit 12, the median image at the point of interest stored in the median image storage unit 31, and the median image at the previous point in time are stored. Based on the difference between the frames, a process for generating a primary image reflecting a change appearing on the subject is performed.
  • the secondary image generation unit 42 performs a process of generating a background image (secondary image) based on the primary image at the point of interest acquired by the primary image generation unit 41 and the background image at the previous point in time. Is called.
  • the background image storage unit 33 stores the background image of the previous time point generated by the previous process and the background image of the point of interest generated by the current process.
  • the background image storage unit 33 stores the background image.
  • the secondary image generation unit 42 Based on the background image at the previous time point, the secondary image generation unit 42 performs processing to generate a background image at the point of interest, and the background image at the point of interest generated by the background image generation unit 32 is generated. It is stored in the background image storage unit 33.
  • the subject determination unit 34 is based on the input image at the point of interest stored in the input image storage unit 12, the input image at the next point in time, and the background image at the point of interest stored in the background image storage unit 33. Then, subject determination processing is performed to determine whether each pixel is a photograph of a subject that moves other than snow particles.
  • the moving subject refers to a subject that moves relative to the imaging device 1, that is, a subject whose position changes in a plurality of temporally continuous input images, and the subject itself moves.
  • the stationary subject moves as a whole with respect to the imaging device 1 as the imaging device 1 moves, as in the case where the imaging device 1 performs panning and tilting operations.
  • the snowfall correction image generation unit 35 generates a snowfall correction image based on the input image stored in the input image storage unit 12, the median image stored in the median image storage unit 31, and the determination result of the subject determination unit 34. Processing is performed.
  • FIG. 21 is a flowchart showing a procedure of processing performed in the image processing apparatus 2.
  • a process of initializing the median image of the median image storage unit 31 (ST601) and a process of initializing the background image of the background image storage unit 33 (ST602) are performed.
  • the images required for the following processing that is, the median image and the background image at the previous time do not exist in the median image storage unit 31 and the background image storage unit 33.
  • the current input image is stored as a median image and a background image at the previous time.
  • median processing is performed by the median processing unit 13 (ST604)
  • background update processing is performed by the background image generation unit 32 (ST605)
  • subject determination unit 34 and snowfall are performed.
  • the correction image generation unit 35 performs subject determination processing and snowfall correction image generation processing (ST606).
  • processing for updating the median image in the median image storage unit 31 (ST607) and processing for updating the background image in the background image storage unit 33 (ST608) are performed.
  • a process of replacing the median image and background image at the point of interest stored in the median image storage unit 31 and the background image storage unit 33 with the median image and background image at the previous point in time is performed.
  • the snowfall correction image at the point of interest generated by the snowfall correction image generation unit 35 is output (ST609).
  • FIG. 22 is a flowchart showing the procedure of the background update process performed by the background image generation unit 32.
  • the primary image generation unit 41 performs a process of generating a primary image reflecting a change appearing in the subject from the difference between frames.
  • this primary image generation process first, it is determined whether or not all the pixels are finished (ST701), and the process of acquiring the pixel value of the primary image until all the pixels are finished (ST702 to ST704). ) Is repeated for each pixel.
  • processing for determining the pixel value Vb1 t of the primary image at the point of interest is performed (ST703, ST704) according to the result of the determination of whether or not a noticeable change has occurred in the subject (ST702).
  • the pixel value of the input image the vi t is determined to be the pixel values Vb1 t of the primary image (ST 703).
  • the luminance change amount (Ym t ⁇ 1 ⁇ Yi t ) is equal to or smaller than the threshold Th (No in ST702), it is determined that the luminance change is caused by noise, and the pixel value Vm t of the median image is set to 1. The pixel value Vb1 t of the next image is determined (ST704).
  • the threshold value Th may be set based on a change in luminance when it should be removed as noise, and may be set to 15 at 256 gradations, for example.
  • luminance variation (Ym t-1 -Yi t) is a negative value
  • the threshold Th is positive Since the value is (0 to 255), the luminance change amount (Ym t ⁇ 1 ⁇ Yi t ) is smaller than the threshold value Th, that is, since Equation 1 is not satisfied, the median pixel value is adopted, thereby causing snowfall noise. Can be removed.
  • the median image at the previous time point is used, but the input image at the previous time point can also be used. It is. However, since the snow noise is removed from the median image, if the median image is used, the luminance change amount appears greatly, so that the determination accuracy can be improved.
  • the pixel value Vb1 t of the primary image at the point of interest acquired by the primary image generation unit 41 and the pixel value Vb of the background image at the previous point in time are obtained. From t ⁇ 1 , the pixel value Vb t of the background image at the point of interest is obtained.
  • Vb t (1 ⁇ c) ⁇ Vb t ⁇ 1 + c ⁇ Vb1 t (Formula 2)
  • the background update rate c is a ratio indicating how much the primary image acquired by the primary image generation unit 41 is reflected in the background image.
  • This background update rate c is given by the reciprocal (1 / N) of the update frame number N.
  • the update frame number N indicates how many frame images (input images) the background image is updated, and is set by the user. According to Equation 2, the change in the subject appearing in the primary image does not immediately appear in the background image, and the state of the changed subject continues to appear as it is, and gradually appears in the background image. By increasing / decreasing, it is possible to adjust the time until a change that occurs in the background subject clearly appears in the background image.
  • the number of update frames N is small, the influence of the primary image becomes large and the background image may not be stable. Conversely, if the number of update frames N is large, it is difficult for changes in the subject to be reflected in the background image. Therefore, by appropriately setting the number of updated frames N according to the imaging situation or the like, it is possible to generate a stable background image that appropriately reflects changes in the subject. For example, when the subject changes greatly as in the case where the imaging apparatus 1 performs panning or tilting operation, the change in the subject can be quickly reflected in the background image by reducing the number of update frames N. .
  • the background update rate c can be changed during the operation by performing the process of setting the background update rate c in the middle of the flow (ST706). In other words, during the operation, an input operation of the update frame number N by the user is accepted, and the next processing is performed at the background update rate c calculated from the update frame number N input here.
  • FIG. 23 is a flowchart showing a procedure of subject determination processing and snowfall correction image generation processing performed by the subject determination unit 34 and the snowfall correction image generation unit 35.
  • FIG. 24 is an explanatory diagram for explaining an overview of processing performed by the subject determination unit 34.
  • a process for determining whether or not each pixel is a photograph of a subject other than a snow particle is performed.
  • this subject determination processing when a state in which the pixel value of the input image deviates from the threshold value continuously occurs in a predetermined number of input images that are continuous in time, the pixel has a motion other than a snow particle.
  • the pixel is It is determined that the subject is not a photograph of a moving subject other than a grain, that is, a photograph of a snow grain or a background (substantially stationary subject).
  • two input images that are temporally continuous that is, an input image at a point of interest and an input image at a point after that are set as determination targets.
  • the threshold value to be compared with the pixel value of the input image is set with reference to the pixel value of the background image, and the luminance is adopted as the pixel value.
  • an upper threshold (Yb t + WthH) and a lower threshold (Yb t ⁇ WthL) are set based on the threshold widths WthL and WthH based on the luminance Yb t of the background image. It is compared with the luminance Yi t of the input image.
  • the judgment formula at this time is the following formulas 3 and 4. Yi t ⁇ Yb t ⁇ WthL (Formula 3) Yi t ⁇ Yb t + WthH (Formula 4)
  • Equation 3 the luminance Yi t of the input image is a determination formula is smaller than the luminance Yb t of the background image
  • Equation 4 the luminance Yi t of the input image is a luminance Yb t is greater than the determination formula of the background image
  • negative threshold width WthL the positive threshold width WthH are set separately based on the pixel value Yb t of the background image.
  • the threshold widths WthL and WthH are fluctuation ranges for determining whether or not the subject is a moving subject, but WthL is based on the luminance of the subject other than the snow particles.
  • WthL is based on the luminance of the subject other than the snow particles.
  • WthH is based on the luminance of the subject other than the snow particles.
  • WthL it is possible to reduce an afterimage of a subject (for example, a black car body) having a lower brightness than the background.
  • WthH it is possible to reduce afterimages of a subject (for example, the body of a white car or the headlight part of a lit car) having a higher brightness than the background by removing snow particles.
  • the threshold widths WthL and WthH may be set by the user while confirming on the screen the effects of removing snow particles and reducing the afterimage.
  • any of the input image point after the one and the input image at the time of interest, smaller than the luminance Yi t is lower threshold (Yb t -WthL) That is, Formula 3 is not established continuously with two input images.
  • the target pixel is a copy of a snow particle
  • the snow particle moves away from the target pixel while changing to the input image at the next time point. It will not be a reflection of snow particles. Therefore, as shown in FIG. 24 (C), the luminance Yi t in the input image at the time of interest is larger than the upper threshold (Yb t + WthH), the luminance in the input image point after one yi t is returned to the vicinity of the luminance Yb t background, lower than the upper threshold, i.e. formula 4 is not satisfied successively with two input images.
  • the input image at the point of interest and the input image at the next point in time are either, the luminance Yi t of the input image is larger than the upper threshold (Yb t + WthH), i.e. formula 4 in succession with two input images is established.
  • the pixel of interest is a photograph of a moving subject other than a snow particle, based on whether or not Expression 3 or Expression 4 is successively established with two input images. That is, when Expression 3 or Expression 4 is established continuously for two input images, it is determined that the pixel of interest is a moving subject other than snow particles, and the expression is continuously applied for two input images. When neither of 3 nor Expression 4 holds, it is determined that the target pixel is a photograph of a snow particle or a background (substantially stationary subject).
  • the process of determining a pixel value Vc t of snowfall correction image according to the result of the subject determined by the object determination unit 34 is performed (ST 803 , ST804).
  • Equation 3 or Equation 4 is established, that is, when the target pixel is a photograph of a moving subject other than a snow particle (Yes in ST802), the pixel values Vi t determine the pixel value Vc t snowfall corrected image (ST 803).
  • the target pixel is a photograph of a subject that moves other than the snow particles
  • the pixel value of the input image that has not been subjected to median processing is adopted, and thus the subject of the subject that moves other than the snow particles is adopted. It is possible to avoid the image remaining as it is and the afterimage from appearing.
  • the pixel of interest is a copy of snow particles
  • the pixel value of the median image is adopted, thereby removing snowfall noise.
  • the target pixel is a copy of the background, the pixel value of the median image is adopted.
  • the luminance may exceed the upper threshold value continuously in two input images.
  • the pixel is a photograph of a moving subject other than the snow particle. Since the pixel value of the input image is adopted, snowfall noise is not removed, but the frequency of such a case is low, and a practically sufficient effect can be obtained.
  • FIG. 25 is a block diagram illustrating a schematic configuration of the image processing apparatus 2 according to the eighth embodiment. Note that points not particularly mentioned here are the same as in the above embodiment.
  • the image processing apparatus 2 includes an image input unit 11, an input image storage unit 12, a median processing unit 13, a median image storage unit 31, and a background image generation. Unit 32, background image storage unit 33, subject determination unit 34, and snowfall correction image generation unit 35.
  • the image processing apparatus 2 includes a stabilization processing unit 51. And a stabilized image storage unit 52.
  • the stabilization processing unit 51 performs a stabilization process that suppresses the state in which the image of the subject in the input image is shaken as a whole when the imaging apparatus 1 is shaken due to camera shake or the like. By this stabilization processing, it is possible to avoid a deterioration in image quality such as an afterimage due to the movement of the subject image.
  • the stabilized image storage unit 52 the stabilized image generated by the stabilization processing unit 51 is stored.
  • the stabilized image accumulated in the stabilized image accumulation unit 52 is used for each processing of the median processing unit 13, the background image generation unit 32, the subject determination unit 34, and the snowfall correction image generation unit 35.
  • the input image is used for each process of the median processing unit 13, the background image generation unit 32, the subject determination unit 34, and the snowfall correction image generation unit 35.
  • the input image instead, a stabilized image is used.
  • the seventh embodiment in subject determination, at a general frame rate (for example, 30 fps), snow particles move and change from the target pixel while changing to the input image at the next time point. Focusing on the fact that two input images that are temporally continuous are targeted for determination, it is possible to determine three or more input images as the determination target. For example, when the frame rate increases, the determination target It may be better to increase the number of input images.
  • a general frame rate for example, 30 fps
  • the snowfall correction process for removing snowfall noise has been described.
  • the present invention is not limited to such a snowfall correction process, and is used for removing general noise other than snowfall noise.
  • it is suitable for the purpose of removing noise caused by noise objects (small objects that fall or float in the atmosphere) that cause noise other than snow particles.
  • noise objects small objects that fall or float in the atmosphere
  • the image processing apparatus and the image processing method according to the present invention have an effect that the processing speed can be increased when performing median processing in the time direction on a color image, and a plurality of captured images that are temporally continuous. It is useful as an image processing apparatus and an image processing method for performing median processing in the time direction for the above.

Abstract

【課題】カラー画像に対して時間方向のメディアン処理を行う場合に処理の高速化を図ることができるようにする。 【解決手段】時間的に連続する複数のフレーム画像から各チャンネルの画素値（Ｒ、ＧおよびＢの各値）を抽出し、ついで、画素値にその抽出元となるフレーム画像に対応した識別子（インデックス番号）を付与し、ついで、１つのチャンネルの画素値（Ｇ値）の集合を対象にソート処理を行って、その中央値に付与された識別子を取得し、ついで、中央値に付与された識別子と同じ識別子が付与された画素値を各チャンネルの中央値として選び出し、ついで、画素ごとの各チャンネルの中央値に基づいてメディアン画像を生成するものとする。

Description

画像処理装置および画像処理方法
　本発明は、時間的に連続する複数の撮像画像を対象にして時間方向のメディアン処理を行う画像処理装置および画像処理方法に関するものである。
　屋外の被写体を撮像する監視カメラで降雪時に撮像を行うと、多量の雪粒に遮られて、監視対象としている被写体が判然としない撮像画像が得られるが、このような雪粒により撮像画像に現れるノイズ（以下、降雪ノイズと呼称する）は、監視の妨げとなるため、撮像画像から除去することが望まれる。
　このような要望に対して、時間的に連続する複数の撮像画像を対象にして時間方向のメディアン処理を行うことで降雪ノイズを除去する技術が知られている（特許文献１および非特許文献１参照）。この技術は、時間的に連続する複数の撮像画像において同一座標の画素が雪粒を写した画素である確率が低いことに着目したものであり、時間的に連続する複数の撮像画像から抽出された画素値を大きさの順に並び替えてその中央値を取得する時間方向のメディアン処理により、雪粒を写した画素値が排除されるため、降雪ノイズを除去することができる。
特開２０００－１１５７６３号公報
三宅他著，「時間メディアンフィルタによる降雪ノイズ除去」，画像電子学会誌，第３０巻，第３号，２００１年，ｐ２５１－２５９
　しかしながら、前記従来の技術では、カラー画像に対してメディアン処理を行う場合、複数のチャンネルごとの画素値を個別にソートして、チャンネルごとの中央値を取得するようにしていたため、画像サイズが大きくなるのに応じてメディアン処理の演算量が膨大になり、処理の高速化を図ることができないという問題があった。
　本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、カラー画像に対して時間方向のメディアン処理を行う場合に処理の高速化を図ることができるように構成された画像処理装置および画像処理方法を提供することにある。
　本発明の画像処理装置は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理装置であって、前記複数の入力画像から注目画素の画素値を抽出する画素値抽出部と、前記画素値抽出部により前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択する画素値選択部と、前記画素値選択部で選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得する画素値取得部と、前記画素値選択部及び前記画素値取得部より得られる画素値に基づいて前記注目画素の出力画素値を決定する出力画素値決定部と、を備えた構成とする。
　また、本発明の画像処理方法は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理方法であって、前記複数の入力画像から注目画素の画素値を抽出するステップと、前記画素値を抽出するステップにより前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択するステップと、前記画素値を選択するステップで選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得するステップと、前記画素値を選択するステップ及び前記画素値を取得するステップより得られる画素値に基づいて前記注目画素の出力画素値を決定するステップと、を有する構成とする。
　本発明によれば、複数のチャンネルのうちの１つのチャンネルの画素値のみを対象にして画素値の並び替えを行えばよいため、メディアン処理の高速化を図ることができる。また、得られた各チャンネルの画素値の組合せは、元の撮像画像のいずれかに実際に存在するものとなるため、適切なメディアン画像を取得することができる。
第１実施形態に係る撮像システムを示す全体構成図 第１実施形態に係る画像処理装置２の概略構成を示すブロック図 従来方式によるメディアン処理の概要を説明する説明図 第１実施形態によるメディアン処理の概要を説明する説明図 第１実施形態に係る画像処理装置２の処理手順を示すフロー図 第２実施形態に係る画像処理装置２の概略構成を示すブロック図 第２実施形態によるメディアン処理の概要を説明する説明図 第２実施形態に係る画像処理装置２の処理手順を示すフロー図 第３実施形態に係る画像処理装置２の概略構成を示すブロック図 第３実施形態によるメディアン処理の概要を説明する説明図 第３実施形態に係る画像処理装置２の処理手順を示すフロー図 第４実施形態に係る画像処理装置２の概略構成を示すブロック 第４実施形態によるメディアン処理の概要を説明する説明図 第４実施形態に係る画像処理装置２の処理手順を示すフロー図 第５実施形態に係る画像処理装置２の概略構成を示すブロック 第５実施形態によるメディアン処理の概要を説明する説明図 第５実施形態に係る画像処理装置２の処理手順を示すフロー図 第６実施形態によるメディアン処理の概要を説明する説明図 第７実施形態に係る画像処理装置２の概略構成を示すブロック図 画像処理装置２で行われる各画像の処理の概要を説明する説明図 画像処理装置２で行われる処理の手順を示すフロー図 背景画像生成部３２で行われる背景更新処理の手順を示すフロー図 被写体判定部３４および降雪補正画像生成部３５で行われる被写体判定処理および降雪補正画像生成処理の手順を示すフロー図 被写体判定部３４で行われる処理の概要を説明する説明図 第８実施形態に係る画像処理装置２の概略構成を示すブロック図
　前記課題を解決するためになされた第１の発明は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理装置であって、前記複数の入力画像から注目画素の画素値を抽出する画素値抽出部と、前記画素値抽出部により前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択する画素値選択部と、前記画素値選択部で選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得する画素値取得部と、前記画素値選択部及び前記画素値取得部より得られる画素値に基づいて前記注目画素の出力画素値を決定する出力画素値決定部と、を備えた構成とする。
　これによると、複数のチャンネルのうちの１つのチャンネルの画素値のみを対象にして画素値の並び替えを行えばよいため、メディアン処理の高速化を図ることができる。また、得られた各チャンネルの画素値の組合せは、元の撮像画像のいずれかに実際に存在するものとなるため、適切なメディアン画像を取得することができる。
　また、第２の発明は、前記画素値抽出部により抽出される画素値に、前記複数の入力画像に対応した識別子を付与する識別子付与部を備え、前記画素値選択部は、前記選択した画素値に付与された識別子を取得し、前記画素値取得部は、前記取得した識別子に基づいて他のチャンネルの画素値を取得する構成とする。
　これによると、画素値の並び替えで取得した１つのチャンネルの画素値に基づいて他のチャンネルの画素値を選び出す処理が簡単になるため、メディアン処理をより一層高速化することができる。
　また、第３の発明は、画素毎に得られた前記出力画素値に基づいて出力画像を生成する出力画像生成部を備えた構成とする。これによると、出力画像、すなわちメディアン画像を取得することができる。
　また、第４の発明は、前記出力画像を表示する表示装置を備えた構成とする。これによると、出力画像、すなわちメディアン画像を目視で確認することができる。
　また、第５の発明は、前記画像値選択部は、前記所定の位置として並び替え後の中央位置の値を選択する構成とする。なお、取得する画素値は中央値に限定されるものではなく、中央付近であれば良い。
　また、第６の発明は、前記入力画像は撮像装置により撮像された画像である構成とする。
　また、第７の発明は、前記画素値抽出部は、前記入力画像からＲ、ＧおよびＢの各チャンネルの画素値を取得し、前記画素値選択部は、Ｇチャンネルの画素値を並び替える構成とする。
　これによると、雪粒を写した画素値か否かを判別する上で有効な輝度により近い特徴を持つＧチャンネルの画素値で並び替えを行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去されたメディアン画像を取得することができる。
　また、第８の発明は、前記画素値抽出部は、前記入力画像からＹ、ＵおよびＶの各チャンネルの画素値を取得し、前記画素値選択部は、Ｙチャンネルの画素値を並び替える構成とする。
　これによると、雪粒を写した画素値か否かを判別する上で有効な輝度（Ｙチャンネルの画素値）そのもので並び替えを行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去されたメディアン画像を取得することができる。
　また、第９の発明は、前記画像値選択部は、前記複数の画素値を大きい順に並び替える構成とする。
　また、第１０の発明は、前記入力画像は降雪時に撮像されたものであり、時間方向のメディアン処理によって前記入力画像に現れる降雪ノイズを除去する構成とする。
　これによると、降雪補正処理を高速に行うことができる。
　また、第１１の発明は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理方法であって、前記複数の入力画像から注目画素の画素値を抽出するステップと、前記画素値を抽出するステップにより前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択するステップと、前記画素値を選択するステップで選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得するステップと、前記画素値を選択するステップ及び前記画素値を取得するステップより得られる画素値に基づいて前記注目画素の出力画素値を決定するステップと、を有する構成とする。
　これによると、前記の第１の発明と同様に、メディアン処理の高速化を図るとともに適切なメディアン画像を取得することができる。
　また、第１２の発明は、前記注目画素が動きのある画素か否かを判定する動き判定部と、前記動き判定部により動きがある画素と判定された場合、所定のノイズを示すものか、所定のノイズ以外を示すものかを判定する被写体判定部と、前記被写体判定部により所定のノイズと判定された場合は、前記出力画素値決定部により決定された画素値を使用し、所定のノイズ以外と判定された場合は、前記入力画像の画素値を使用する補正画像生成部と、を備えた構成とする。
　これによると、注目画素が降雪ノイズなどのノイズ（例えば、大気中を移動する小さな物体によるもの）を表示したものである場合には、出力画素値決定部により決定された画素値、すなわちメディアン画像の画素値が採用されるため、降雪ノイズなどのノイズを除去することができる。また、注目画素がノイズ以外を示すものである場合には、入力画像の画素値、すなわちメディアン処理が行われていない撮像画像の画素値が採用されるため、ノイズ以外の動きのある画素が存在する場合に発生する残像を低減することができる。
　以下、本発明の実施の形態を、図面を参照しながら説明する。なお、各実施の形態は矛盾しない範囲で相互に利用可能である。
（第１実施形態）
　図１は、第１実施形態に係る撮像システムを示す全体構成図である。この撮像システムは、被写体を撮像する撮像装置１と、撮像装置１で得られたフレーム画像（撮像画像）に対して画像処理を行う画像処理装置２と、画像処理装置２で得られた処理画像を表示する表示装置３と、を備えている。なお、撮像装置１、画像処理装置２及び表示装置３は一体的に構成されても良いし、通信ネットワークを介して接続されて構成されても良い。
　撮像装置１は、屋外の被写体を撮像する監視カメラとして用いられる。画像処理装置２では、撮像装置１で降雪時に撮像されたフレーム画像に発生した降雪ノイズを除去する降雪補正処理が行われる。例えば、降雪時の道路状況（交通量や路面状態など）、電車状況（線路状態、踏み切り、駅構内）、河川氾濫状況等の監視に効果的である。
　なお、撮像装置１から画像処理装置２に画像データがリアルタイムに入力される構成の他、撮像装置１で得られた画像データを適宜な記憶媒体に記憶させ、この記憶媒体から画像データを読み出して画像処理装置２で画像処理を行う構成も可能である。また、画像処理装置２で得られた処理済みの画像は、静止画として出力する他、動画として出力することも可能である。また、画像処理装置２から表示装置３に画像データがリアルタイムに入力される構成の他、画像処理装置２で得られた画像データを適宜な記憶媒体に記憶させ、この記憶媒体から画像データを読み出して表示装置３で表示処理を行う構成も可能である。
　図２は、第１実施形態に係る画像処理装置２の概略構成を示すブロック図である。画像処理装置２は、画像入力部１１と、入力画像蓄積部１２と、メディアン処理部１３と、画素値格納部１４と、を備えている。
　画像入力部１１では、時間的に連続する複数のフレーム画像が入力される。入力画像蓄積部１２では、画像入力部１１に入力された複数のフレーム画像が蓄積される。メディアン処理部１３では、メディアン処理によりフレーム画像の降雪ノイズを除去する降雪補正処理が行われる。画素値格納部１４では、メディアン処理部１３で取得した画素値が格納される。
　メディアン処理部１３は、所定数のフレーム画像を対象にして時間方向のメディアン処理を行うものであり、画素値抽出部２１と、番号付与部（識別子付与部）２２と、ソート処理部（画素値選択部）２３と、中央値取得部（画素値取得部）２４と、メディアン画像生成部（出力画素値決定部）２５と、を備えている。このメディアン処理部１３は、所定のプログラムをＣＰＵで実行することで実現される。
　画素値抽出部２１では、時間的に連続する複数のフレーム画像から、注目画素を対象にして、各チャンネルの画素値を抽出する処理が行われる。特に本実施形態では、画像処理装置２にＲＧＢフォーマットのフレーム画像が入力され、画素値抽出部２１では、フレーム画像からＲ、ＧおよびＢの各値（Ｒ、ＧおよびＢの各チャンネルの画素値）を取得する。
　番号付与部（識別子付与部）２２では、画素値抽出部２１で取得した各チャンネルの画素値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）を付与する、すなわち各チャンネルの画素値をインデックス番号に対応づける処理が行われる。特に本実施形態では、Ｒ、ＧおよびＢの各値にフレーム画像の順番に対応したインデックス番号が付与される。
　ソート処理部２３では、１つのチャンネルの画素値の集合を対象にソート処理を行う、すなわち１つのチャンネルの画素値を大きさの順にインデックス番号とともに並び替える処理を行って、その中央値（並びの中央位置）に付与されたインデックス番号を取得する。特に本実施形態では、Ｇ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する。なお、取得する画素値は中央値に限定されるものではなく、中央付近であれば良い。
　中央値取得部２４では、ソート処理部２３で取得した中央値に付与されたインデックス番号と同じインデックス番号が付与された画素値を各チャンネルの中央値として選び出す処理が行われる。特に本実施形態では、ソート処理部２３で取得したインデックス番号に基づいてＲ、ＧおよびＢの各中央値が選び出される。
　メディアン画像生成部２５では、画素値抽出部２１、番号付与部２２、ソート処理部２３および中央値取得部２４で行われる注目画素の処理を全ての画素について繰り返すことで取得した画素ごとの各チャンネルの中央値に基づいてメディアン画像を生成する処理が行われる。特に本実施形態では、Ｒ、ＧおよびＢの各中央値に基づいてメディアン画像が生成される。
　なお、画素値抽出部２１で取得した画素値、および番号付与部２２で付与されたインデックス番号は、画素値格納部１４に格納され、ソート処理部２３、中央値取得部２４およびメディアン画像生成部２５の各部では、画素値格納部１４から画素値およびインデックス番号を取り出して所要の処理が行われ、また、各部の処理で取得した画素値が画素値格納部１４に格納される。
　ここで、この第１実施形態によるメディアン処理を従来方式と比較しながら説明する。図３は、従来方式によるメディアン処理の概要を説明する説明図である。図４は、第１実施形態によるメディアン処理の概要を説明する説明図である。
　ここで、Ｒ、ＧおよびＢの各値（Ｒ、ＧおよびＢの各チャンネルの画素値）は０～２５５の値をとる。また、注目フレーム画像（ｔ）とその前後の３つのフレーム画像（ｔ－３～ｔ－１，ｔ＋１～ｔ＋３）の合計７つのフレーム画像を対象にしてメディアン処理が行われる。なお、メディアン処理の対象となるフレーム画像の数は７に限定されるものではない。
　図３に示すように、従来方式によるメディアン処理では、各フレーム画像から注目画素のＲ、ＧおよびＢの各値を取得して、そのＲ、ＧおよびＢの各値ごとにソート処理を行うことで、Ｒ、ＧおよびＢの各中央値を取得する。
　この従来方式では、Ｒ、ＧおよびＢの各値ごとにソート処理を行うため、ソート処理に時間を要するという問題がある。また、得られたＲ、ＧおよびＢの各中央値の組み合わせは、元のフレーム画像に実際に存在するＲ、ＧおよびＢの各値の組み合わせと一致しない場合がある。
　これに対して、図４に示すように、第１実施形態によるメディアン処理では、各フレーム画像から取得した注目画素のＲ、ＧおよびＢの各値に、フレーム画像の順番に対応したインデックス番号（１～７）を付与し、ついで、Ｇ値のみを対象にしたソート処理を行い、このとき、インデックス番号もＧ値に付随して並び替えられる。そして、中央の順位のＧ値（Ｇ中央値）に付与されたインデックス番号（ここでは「６」）を取得し、ついで、そのインデックス番号と同じインデックス番号が付与されたＲ、ＧおよびＢの各値をＲ、ＧおよびＢの各中央値として選び出す。なお、ソートの対象となるチャンネルはＧチャンネルに限定されるものではなくＲもしくはＢチャンネルであっても良い。ただし、ＲＧＢ画像の場合はＧチャンネルが一番効果的である。
　このように第１実施形態では、Ｇ値のみを対象にしてソート処理を行えばよいため、メディアン処理の高速化を図ることができる。特に、雪粒を写した画素値か否かを判別する上で有効な輝度により近い特徴を持つＧ値でソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。また、得られたＲ、ＧおよびＢの各中央値の組合せは、元のフレーム画像のいずれかに実際に存在するものとなるため、適切なメディアン画像を取得することができる。
　図５は、メディアン処理部１３の処理手順を示すフロー図である。ここでは、まず、時間的に連続する複数のフレーム画像が画像入力部１１に入力されて入力画像蓄積部１２に蓄積される（ＳＴ１０１）。そして、全てのフレーム画像が終了したか否かの判定（ＳＴ１０２）、および全ての画素が終了したか否かの判定（ＳＴ１０３）を経て、画素ごとの処理（ＳＴ１０４～ＳＴ１０７）が行われる。
　この画素ごとの処理では、まず、画素値抽出部２１にて、７つのフレーム画像から注目画素のＲ、ＧおよびＢの各値を取得する処理が行われ（ＳＴ１０４）、ついで、番号付与部２２にて、Ｒ、ＧおよびＢの各値にインデックス番号を付与する処理が行われ（ＳＴ１０５）、ついで、ソート処理部２３にて、Ｇ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理が行われ（ＳＴ１０６）、ついで、中央値取得部２４にて、ソート処理部２３で取得したインデックス番号に基づいてＲ、ＧおよびＢの各中央値を選び出す処理が行われる（ＳＴ１０７）。
　このようにして１画素の処理が終了し、この処理が１つのフレーム画像内の全ての画素が終了するまで繰り返され、１つのフレーム画像内の全ての画素の処理が終了すると、メディアン画像生成部２５にて、画素ごとのＲ、ＧおよびＢの各中央値に基づいてメディアン画像を生成する処理が行われる（ＳＴ１０８）。そして、以上の処理が全てのフレーム画像が終了するまで繰り返される。
（第２実施形態）
　図６は、第２実施形態に係る画像処理装置２の概略構成を示すブロック図である。図７は、第２実施形態によるメディアン処理の概要を説明する説明図である。図８は、第２実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
　この第２実施形態では、図６に示すように、メディアン処理部１３が、前記の第１実施形態と同様に、画素値抽出部２１と、番号付与部２２と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第２実施形態では、さらに画素値変換部２６を備えており、この画素値変換部２６では、画素値抽出部２１で取得した各チャンネルの画素値から別の画素値を算出する処理が行われる。
　特にこの第２実施形態では、前記の第１実施形態と同様に、画像処理装置２にＲＧＢフォーマットのフレーム画像が入力され、図７に示すように、Ｒ、ＧおよびＢの各値からＹ値（輝度）を算出する処理（図８のＳＴ２０６）が画素値変換部２６で行われる。Ｙ値は次の算出式で求められる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
　そして、画素値変換部２６で取得したＹ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理（図８のＳＴ２０７）がソート処理部２３で行われ、ついで、ソート処理部２３で取得したインデックス番号に基づいてＲ、ＧおよびＢの各中央値を選び出す処理（図８のＳＴ２０８）が中央値取得部２４で行われる。
　このように第２実施形態では、Ｙ値（輝度）のみを対象にしてソート処理を行えばよいため、メディアン処理の高速化を図ることができる。また、Ｙ値を算出する画素値変換処理が必要となるため、第１実施形態と比較して演算量が増えるが、雪粒を写した画素値か否かを判別する上で有効な輝度そのものでソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。
（第３実施形態）
　図９は、第３実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１０は、第３実施形態によるメディアン処理の概要を説明する説明図である。図１１は、第３実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、特に言及しない点は前記の実施形態と同様である。
　この第３実施形態では、図９に示すように、メディアン処理部１３が、前記の第１実施形態と同様に、画素値抽出部２１と、番号付与部２２と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第３実施形態では、画像処理装置２にＹＵＶフォーマットのフレーム画像が入力され、画素値抽出部２１では、フレーム画像からＹ、ＵおよびＶの各値（Ｙ、ＵおよびＶの各チャンネルの画素値）を取得する処理が行われる。
　そして、図１０に示すように、Ｙ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理（図１１のＳＴ３０６）がソート処理部２３で行われ、ついで、ソート処理部２３で取得したインデックス番号に基づいてＹ、ＵおよびＶの各中央値を選び出す処理（図１１のＳＴ３０７）が中央値取得部２４で行われる。
　このように第３実施形態では、Ｙ値（輝度）のみを対象にしてソート処理を行えばよいため、メディアン処理の高速化を図ることができる。特に、雪粒を写した画素値か否かを判別する上で有効な輝度そのものでソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。
（第４実施形態）
　図１２は、第４実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１３は、第４実施形態によるメディアン処理の概要を説明する説明図である。図１４は、第４実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、特に言及しない点は前記の実施形態と同様である。
　この第４実施形態では、図１２に示すように、メディアン処理部１３が、前記の第２実施形態と同様に、画素値抽出部２１と、番号付与部２２と、画素値変換部２６と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第４実施形態では、画像処理装置２に、ベイヤー配列によるＲＡＷフォーマットのフレーム画像が入力され、画素値抽出部２１では、フレーム画像からＲ、Ｇ１、Ｇ２およびＢの各値（Ｒ、Ｇ１、Ｇ２およびＢの各チャンネルの画素値）を取得する処理が行われる。
　そして、図１３に示すように、Ｇ１値およびＧ２値の平均値であるＧ値を算出する処理（図１４のＳＴ４０６）が画素値変換部２６で行われ、ついで、画素値変換部２６で取得したＧ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理（図１４のＳＴ４０７）がソート処理部２３で行われ、ついで、ソート処理部２３で取得したインデックス番号に基づいてＲ、Ｇ１、Ｇ２およびＢの各中央値を選び出す処理（図１４のＳＴ４０８）が中央値取得部２４で行われる。
　このように第４実施形態では、Ｇ値のみを対象にしてソート処理を行えばよいため、ソート処理の演算負担を軽減することができ、また、Ｇ値を算出する画素値変換処理が必要となるが、Ｒ、Ｇ１、Ｇ２およびＢの各値をそれぞれ個別に並び替えるソート処理を行う方式と比較すると、メディアン処理全体の演算量は削減されるため、メディアン処理の高速化を図ることができる。さらに、雪粒を写した画素値か否かを判別する上で有効な輝度により近い特徴を持つＧ値でソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。
（第５実施形態）
　図１５は、第５実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１６は、第５実施形態によるメディアン処理の概要を説明する説明図である。図１７は、第５実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
　この第５実施形態では、図１５に示すように、メディアン処理部１３が、前記の第１実施形態と同様に、画素値抽出部２１と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第５実施形態では、第１実施形態にある番号付与部２２を備えておらず、図１６に示すように、画素値抽出部２１で取得したＲ、ＧおよびＢの各値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）が付与されない。
　この場合、画素値抽出部２１で取得したＧ値の集合を対象にソート処理を行って、その中央値を取得する処理（図１７のＳＴ５０５）がソート処理部２３で行われ、ついで、画素値抽出部２１で取得したフレーム画像ごとの画素値の組み合わせの中から、ソート処理部２３で取得したＧ中央値と一致するＧ値を含む画素値の組み合わせを探し出して、見つかった画素値の組み合わせをＲ、ＧおよびＢの各中央値とする処理（図１７のＳＴ５０６）が中央値取得部２４で行われる。
　ここで、ソート処理部２３で取得したＧ中央値と一致するＧ値を有する画素値の組み合わせが複数存在する場合があるが、この場合、Ｇ中央値と一致するＧ値を含む画素値の組み合わせを探し出す検索処理を最初から順に行った際に最初に見つかった画素値の組み合わせを中央値に選択するようにすればよい。また、該当する画素値の組み合わせの中から１つをランダムに選択するようにしてもよい。
　ちなみに、この第５実施形態では、画素値抽出部２１で取得したＲ、ＧおよびＢの各値を画素値格納部１４に格納して、これを対象にして、ソート処理部２３で取得したＧ中央値と一致するＧ値を含む画素値の組み合わせを探し出す検索処理を行うようにしたが、フレーム画像自体を対象にして検索処理を行うようにしてもよい。この場合、各フレーム画像からＧ値を抽出して、そのＧ値がソート処理部２３で取得したＧ中央値に一致するか否かの照合を行うことで、ソート処理部２３で取得したＧ中央値と一致するＧ値を有するフレーム画像を特定し、このフレーム画像からＲおよびＢの各値を抽出してこれをＲおよびＢの各中央値とする。
　このように第５実施形態では、画素値抽出部２１で取得した画素値にインデックス番号（識別子）を付与しなくても、１つのチャンネルの画素値を対象にソート処理を行って取得した中央値に基づいてＲ、ＧおよびＢの各中央値を取得することができる。
（第６実施形態）
　図１８は、第６実施形態によるメディアン処理の概要を説明する説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
　この第６実施形態における画像処理装置２の概略構成は、図１５の第５実施形態と同様であるが、特にここでは、画素値抽出部２１にて、ソート処理の対象となるＧ値のみを抽出するようにしている。中央値取得部２４では、ソート処理部２３で取得したＧ中央値と一致するＧ値を有するフレーム画像を探し出して、見つかったフレーム画像からＲおよびＢの各値を抽出し、これをＲおよびＢの各中央値とする。
　この第６実施形態では、第５実施形態と同様に、ソート処理部２３で取得したＧ中央値と一致するＧ値を有するフレーム画像が複数存在する場合があるが、この場合、Ｇ中央値と一致するＧ値を有するフレーム画像を探し出す検索処理を最初から順に行った際に最初に見つかったフレーム画像の画素値を中央値に選択するようにすればよい。また、該当するフレーム画像の中から１つをランダムに選択するようにしてもよい。
　このように第６実施形態では、画素値抽出部２１でソート処理の対象となるＧ値のみを抽出すればよく、対象となる全てのフレーム画像から全てのチャンネルの画素値を抽出しなくて済むため、画素値抽出処理の処理量を削減することができる。
　ちなみに、この第６実施形態では、第５実施形態と同様に、画素値にインデックス番号（識別子）を付与する処理が行われておらず、Ｇ値が抽出元となるフレーム画像と対応づけられていないため、ソート処理で取得したＧ中央値と一致するＧ値を有するフレーム画像を特定するために、再度、フレーム画像からＧ値を抽出する処理が必要となるが、番号付与を行う、すなわち、画素値抽出部２１で取得したＧ値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）を付与するようにすると、インデックス番号に基づいて、ソート処理で取得したＧ中央値と一致するＧ値を有するフレーム画像を簡単に特定することができるため、ＲおよびＢの各中央値を取得する処理が容易になる。
　なお、前記の各実施形態では、メディアン処理を降雪ノイズを除去する降雪補正に用いた例について説明したが、本発明はこれに限定されるものではなく、この他の画像のノイズを除去する用途などに広く適用することができる。
　また、前記の各実施形態では、画素値に付与される識別子に、数字（１～７）で表されるインデックス番号を用いたが、本発明はこれに限定されるものではなく、数字以外の文字などを用いることも可能である。
　また、前記の各実施形態では、ＲＧＢ、ＹＵＶおよびＲＡＷの各フォーマットの画像の例について説明したが、本発明はこれに限定されるものではなく、この他のフォーマットの画像にも広く適用することができる。
　また、前記の第２および第４の各実施形態では、画素値変換部２６でＹ値（輝度）やＧ値（Ｇ１値とＧ２値の平均値）を算出するものとしたが、本発明はこれに限定されるものではなく、メディアン処理の用途に応じて適切な中央値を得ることができるように、適宜な種類の画素値に変換するようにすればよい。
　また、前記の第５，第６の実施形態では、第１実施形態に対応する構成、すなわちＧ値を対象にソート処理を行って、Ｒ、ＧおよびＢの中央値を取得する構成としたが、この第５，第６の実施形態で示された、画素値抽出部２１で取得した画素値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）を付与しない構成や、ソート処理に必要なチャンネルの画素値のみを抽出する構成は、第３の実施形態にも示したように、フレーム画像から直接取得することができる画素値でソート処理を行う構成に適用することができる。
　ちなみに、この第５，第６の実施形態で示された構成は、第２，第４の実施形態に示したように、複数のチャンネルの画素値から別の画素値を算出する画素値変換処理を行う構成に適用することも不可能ではないが、ソート処理部２３で取得した中央値と一致する画素値を含むフレーム画像を探し出す検索処理で画素値変換処理を再度行う必要があるため、処理の高速化の観点から望ましくない。
（第７実施形態）
　図１９は、第７実施形態に係る画像処理装置２の概略構成を示すブロック図である。図２０は、画像処理装置２で行われる各画像の処理の概要を説明する説明図である。なお、図２０で各画像に付されたｔ，ｔ－１，ｔ＋１は撮像時刻を示すものであり、注目する時点の画像に撮像時刻ｔを付し、その前後の時点の画像に撮像時刻ｔ－１，ｔ＋１を付して示している。
　図１９に示すように、画像処理装置２は、画像入力部１１と、入力画像蓄積部１２と、メディアン処理部１３と、メディアン画像蓄積部３１と、背景画像生成部３２と、背景画像蓄積部３３と、被写体判定部３４と、降雪補正画像生成部３５と、を備えている。
　画像入力部１１では、時間的に連続する複数のフレーム画像が入力される。入力画像蓄積部１２では、画像入力部１１に入力された複数のフレーム画像（入力画像）が蓄積される。
　図２０に示すように、メディアン処理部１３では、入力画像蓄積部１２に蓄積された所定数（例えば７つ）の入力画像を対象にして時間方向のメディアン処理を行って、メディアン画像を生成する処理が行われる。ここでは、注目する時点の入力画像とその前後の３つの入力画像の合計７つの入力画像を対象にしてメディアン処理が行われる。なお、メディアン処理の対象となる入力画像の数は７に限定されるものではない。また、注目する時点の入力画像とその前の入力画像のみまたはその後の入力画像のみでメディアン処理を行ってもよい。
　メディアン画像蓄積部３１では、メディアン処理部１３で生成したメディアン画像が蓄積されるが、特にここでは、前回の処理で生成した１つ前の時点のメディアン画像と、今回の処理で生成した注目する時点のメディアン画像とが蓄積される。
　背景画像生成部３２は、１次画像生成部４１と、２次画像生成部４２と、を備えている。１次画像生成部４１では、入力画像蓄積部１２に蓄積された注目する時点の入力画像と、メディアン画像蓄積部３１に蓄積された注目する時点のメディアン画像および１つ前の時点のメディアン画像に基づいて、フレーム間の差分から被写体に現れた変化を反映させた１次画像を生成する処理が行われる。
　２次画像生成部４２では、１次画像生成部４１で取得した注目する時点の１次画像および１つ前の時点の背景画像に基づいて、背景画像（２次画像）を生成する処理が行われる。背景画像蓄積部３３では、前回の処理で生成した１つ前の時点の背景画像と、今回の処理で生成した注目する時点の背景画像とが蓄積されており、この背景画像蓄積部３３に蓄積された１つ前の時点の背景画像に基づいて、２次画像生成部４２で注目する時点の背景画像を生成する処理が行われ、背景画像生成部３２で生成した注目する時点の背景画像が背景画像蓄積部３３に格納される。
　被写体判定部３４では、入力画像蓄積部１２に蓄積された注目する時点の入力画像および１つ後の時点の入力画像と、背景画像蓄積部３３に蓄積された注目する時点の背景画像に基づいて、各画素が雪粒以外の動きのある被写体を写したものであるか否かを判定する被写体判定処理が行われる。
　なお、ここで、動きのある被写体とは、撮像装置１に対して相対的に動く被写体、すなわち時間的に連続する複数の入力画像で位置が変化する被写体をさし、被写体自体が動く場合の他に、撮像装置１がパンやチルトの動作を行う場合のように、撮像装置１自体が動くことで、静止した被写体が撮像装置１に対して全体的に動く場合も含む。
　降雪補正画像生成部３５では、入力画像蓄積部１２に蓄積された入力画像およびメディアン画像蓄積部３１に蓄積されたメディアン画像と、被写体判定部３４の判定結果に基づいて、降雪補正画像を生成する処理が行われる。
　図２１は、画像処理装置２で行われる処理の手順を示すフロー図である。
　ここでは、まず、メディアン画像蓄積部３１のメディアン画像を初期化する処理（ＳＴ６０１）と、背景画像蓄積部３３の背景画像を初期化する処理（ＳＴ６０２）が行われる。１番目の画像の場合には、以下の処理で必要となる画像、すなわち１つ前の時点のメディアン画像および背景画像がメディアン画像蓄積部３１および背景画像蓄積部３３に存在しないため、これらの画像を便宜的に入力画像で流用されるように、初期化処理では、現時点の入力画像が１つ前の時点のメディアン画像および背景画像として蓄積される。
　次に、全ての入力画像が終了したか否かの判定が行われ（ＳＴ６０３）、全ての入力画像が終了するまで、以下に説明する画像ごとの処理（ＳＴ６０４～ＳＴ６０９）が行われる。
　画像ごとの処理では、まず、メディアン処理部１３にてメディアン処理が行われ（ＳＴ６０４）、ついで、背景画像生成部３２にて背景更新処理が行われ（ＳＴ６０５）、ついで、被写体判定部３４および降雪補正画像生成部３５にて被写体判定処理および降雪補正画像生成処理が行われる（ＳＴ６０６）。
　次に、メディアン画像蓄積部３１のメディアン画像を更新する処理（ＳＴ６０７）と、背景画像蓄積部３３の背景画像を更新する処理（ＳＴ６０８）が行われる。ここでは、メディアン画像蓄積部３１および背景画像蓄積部３３に蓄積された注目する時点のメディアン画像および背景画像を１つ前の時点のメディアン画像および背景画像に置き換える処理が行われる。そして、降雪補正画像生成部３５にて生成した注目する時点の降雪補正画像が出力される（ＳＴ６０９）。
　次に、図２０に示した背景画像生成部３２で行われる背景更新処理（図２１のＳＴ６０５）について詳しく説明する。
　図２２は、背景画像生成部３２で行われる背景更新処理の手順を示すフロー図である。ここでは、まず、フレーム間の差分から被写体に現れた変化を反映させた１次画像を生成する処理が１次画像生成部４１で行われる。この１次画像生成処理では、まず、全ての画素が終了したか否かの判定が行われ（ＳＴ７０１）、全ての画素が終了するまで、１次画像の画素値を取得する処理（ＳＴ７０２～ＳＴ７０４）が画素ごとに繰り返される。
　この画素ごとの処理では、まず、１つ前の時点の画像に対する注目する時点の画像の画素値の変化状況に基づいて被写体に顕著な変化が現れたか否かの判定が行われる（ＳＴ７０２）。特に本実施形態では、次の式１のように、１つ前の時点のメディアン画像の輝度Ｙｍｔ－１と、注目する時点の入力画像の輝度Ｙｉｔとの差を算出して、その輝度変化量（Ｙｍｔ－１－Ｙｉｔ）を所定のしきい値Ｔｈと比較して、輝度変化量（Ｙｍｔ－１－Ｙｉｔ）がしきい値Ｔｈより大きい場合には被写体に顕著な変化が現れたものと判断する。
Ｙｍｔ－１－Ｙｉｔ＞Ｔｈ　　　（式１）
　次に、被写体に顕著な変化が現れたか否かの判定（ＳＴ７０２）の結果に応じて、注目する時点の１次画像の画素値Ｖｂ１ｔを決定する処理が行われる（ＳＴ７０３，ＳＴ７０４）。ここでは、輝度変化量（Ｙｍｔ－１－Ｙｉｔ）がしきい値Ｔｈより大きく、被写体に顕著な変化が現れたものと判断される場合には（ＳＴ７０２でＹｅｓ）、入力画像の画素値Ｖｉｔを１次画像の画素値Ｖｂ１ｔに決定する（ＳＴ７０３）。一方、輝度変化量（Ｙｍｔ－１－Ｙｉｔ）がしきい値Ｔｈ以下の場合には（ＳＴ７０２でＮｏ）、輝度変化をノイズによるものと判断して、メディアン画像の画素値Ｖｍｔを１次画像の画素値Ｖｂ１ｔに決定する（ＳＴ７０４）。
　これにより、被写体に生じた小さな変化をノイズとして除去するとともに、被写体に生じた大きな変化を１次画像に反映させることができる。なお、しきい値Ｔｈは、ノイズとして除去すべき場合の輝度の変化状況などに基づいて設定すればよく、例えば２５６階調で１５とするとよい。
　ここで、注目画素が雪粒を写す画素の場合には輝度Ｙｉｔが上昇するため、輝度変化量（Ｙｍｔ－１－Ｙｉｔ）は負の値となるが、しきい値Ｔｈは正の値（０～２５５）であるため、輝度変化量（Ｙｍｔ－１－Ｙｉｔ）がしきい値Ｔｈより小さくなる、すなわち式１が成立しないため、メディアン画素値が採用され、これにより降雪ノイズを除去することができる。
　また、背景となる被写体に顕著な変化が現れたか否かの判定（ＳＴ７０２）では、１つ前の時点のメディアン画像を用いるようにしたが、１つ前の時点の入力画像を用いることも可能である。ただし、メディアン画像は降雪ノイズが除去されているため、メディアン画像を用いると、輝度変化量が大きく現れることから判定精度を高めることができる。
　このようにして１次画像の画素値Ｖｂ１ｔが決定されると、次に、背景更新率ｃ（１／Ｎ）を設定する処理（ＳＴ７０６）が行われ、ついで、背景画像（２次画像）を生成する処理が２次画像生成部４２で行われる（ＳＴ７０６，ＳＴ７０７）。この２次画像生成処理では、まず、全ての画素が終了したか否かの判定が行われ（ＳＴ７０６）、全ての画素が終了するまで、背景画像（２次画像）の画素値を取得する処理（ＳＴ７０７）が画素ごとに繰り返される。
　この画素ごとの処理では、次の式２を用いて、１次画像生成部４１で取得した注目する時点の１次画像の画素値Ｖｂ１ｔと、１つ前の時点の背景画像の画素値Ｖｂｔ－１とから、注目する時点の背景画像の画素値Ｖｂｔを求める。
Ｖｂｔ＝（１－ｃ）×Ｖｂｔ－１＋ｃ×Ｖｂ１ｔ　　　（式２）
ここで、背景更新率ｃは、１次画像生成部４１で取得した１次画像をどの程度背景画像に反映させるかを示す割合である。
　この背景更新率ｃは、更新フレーム数Ｎの逆数（１／Ｎ）で与えられる。更新フレーム数Ｎは、どのくらいの数のフレーム画像（入力画像）で背景画像が更新されるかを示すものであり、ユーザにより設定される。式２によると、１次画像に現れた被写体の変化が背景画像にはすぐに現れず、変化した被写体の状態がそのまま継続することで徐々に背景画像に現れるようになり、更新フレーム数Ｎを増減することで、背景となる被写体に生じた変化が背景画像に明瞭に現れるまでの時間を調整することができる。
　ここで、更新フレーム数Ｎが小さいと、１次画像の影響が大きくなり、背景画像が安定しない場合がある。逆に更新フレーム数Ｎが大きいと、被写体の変化が背景画像に反映されにくくなる。したがって、撮像状況などに応じて更新フレーム数Ｎを適切に設定することで、被写体の変化が適切に反映され且つ安定した背景画像を生成することができる。例えば、撮像装置１がパンやチルトの動作を行う場合のように、被写体が大きく変化する場合には、更新フレーム数Ｎを小さくすることで、被写体の変化を背景画像に素早く反映させることができる。
　また、フローの途中で背景更新率ｃを設定する処理（ＳＴ７０６）を行うことで、動作中に背景更新率ｃを変更することができる。すなわち、動作中にユーザによる更新フレーム数Ｎの入力操作を受け付け、ここで入力された更新フレーム数Ｎから算出される背景更新率ｃで次回からの処理が行われる。
　次に、図２０に示した被写体判定部３４および降雪補正画像生成部３５で行われる被写体判定処理および降雪補正画像生成処理（図２１のＳＴ６０６）について詳しく説明する。
　図２３は、被写体判定部３４および降雪補正画像生成部３５で行われる被写体判定処理および降雪補正画像生成処理の手順を示すフロー図である。図２４は、被写体判定部３４で行われる処理の概要を説明する説明図である。
　図２３に示すように、ここでは、まず、全ての画素が終了したか否かの判定が行われ（ＳＴ８０１）、全ての画素が終了するまで、被写体判定部３４で行われる被写体判定（ＳＴ８０２）、および降雪補正画像生成部３５で行われる降雪補正画像生成処理（ＳＴ８０３，ＳＴ８０４）が、画素ごとに繰り返される。
　被写体判定処理（ＳＴ８０２）では、前記のように、各画素が雪粒以外の動きのある被写体を写したものであるか否かを判定する処理が行われる。この被写体判定処理では、入力画像の画素値がしきい値から外れた状態が、時間的に連続する所定数の入力画像で連続して発生した場合に、当該画素が雪粒以外の動きのある被写体を写したものであると判定し、入力画像の画素値がしきい値から外れた状態が、時間的に連続する所定数の入力画像で連続して発生しない場合には、当該画素が雪粒以外の動きのある被写体を写したものでない、すなわち雪粒または背景（略静止した被写体）を写したものであると判定する。
　特に本実施形態では、時間的に連続する２つの入力画像、すなわち注目する時点の入力画像とその１つ後の時点の入力画像を判定対象とする。また、入力画像の画素値と比較されるしきい値は、背景画像の画素値を基準にして設定され、画素値には輝度が採用される。具体的には、背景画像の輝度Ｙｂｔを基準としてしきい値幅ＷｔｈＬ，ＷｔｈＨに基づいて上限のしきい値（Ｙｂｔ＋ＷｔｈＨ）および下限のしきい値（Ｙｂｔ－ＷｔｈＬ）が設定され、これが入力画像の輝度Ｙｉｔと比較される。このときの判定式は次の式３，４となる。
Ｙｉｔ≦Ｙｂｔ－ＷｔｈＬ　　　（式３）
Ｙｉｔ≧Ｙｂｔ＋ＷｔｈＨ　　　（式４）
　式３は、入力画像の輝度Ｙｉｔが背景画像の輝度Ｙｂｔより小さい場合の判定式であり、式４は、入力画像の輝度Ｙｉｔが背景画像の輝度Ｙｂｔより大きい判定式であり、背景画像の画素値Ｙｂｔを基準として負方向のしきい値幅ＷｔｈＬと正方向のしきい値幅ＷｔｈＨとが別々に設定される。
　このしきい値幅ＷｔｈＬ，ＷｔｈＨは、共に動きのある被写体を写したものであるか否かを判定するための変動幅であるが、ＷｔｈＬについては雪粒以外の動きのある被写体の輝度を元に調整することで被写体の残像を低減することができる。また、ＷｔｈＨについては雪粒の輝度を元に調整することで雪粒除去の効果を高めることができる。ＷｔｈＬを設定することにより、背景よりも輝度の低い動きのある被写体（例えば黒色の車のボディなど）の残像を低減できる。また、ＷｔｈＨを設定することにより、雪粒を除去して背景よりも輝度の高い動きのある被写体（例えば白色の車のボディや点灯した車のヘッドライト部分など）の残像を低減できる。このしきい値幅ＷｔｈＬ，ＷｔｈＨの設定は、ユーザが雪粒の除去と残像の低減効果を画面上で確認しながら調整して設定できるようにしてもよい。
　ここで、注目画素が背景を写したものである場合には、入力画像の輝度Ｙｉｔが背景画像の輝度Ｙｂｔに近く、１つ後の入力画像が変わっても輝度に大きな変化がない。このため、図２４（Ａ）に示すように、注目する時点の入力画像とその１つ後の時点の入力画像のいずれでも、輝度Ｙｉｔが下限のしきい値（Ｙｂｔ－ＷｔｈＬ）より小さくならない、すなわち２つの入力画像で連続して式３が成立しない。
　また、注目画素が雪粒を写したものである場合には、次の時点の入力画像に変わる間に雪粒が移動して注目画素から外れるため、２つの入力画像で連続して注目画素が雪粒を写したものとなることはない。このため、図２４（Ｃ）に示すように、注目する時点の入力画像で輝度Ｙｉｔが上限のしきい値（Ｙｂｔ＋ＷｔｈＨ）より大きくなっても、１つ後の時点の入力画像では輝度Ｙｉｔが背景の輝度Ｙｂｔの近傍に戻り、上限のしきい値より低くなる、すなわち２つの入力画像で連続して式４が成立しない。
　一方、注目画素が雪粒以外の動きのある被写体を写したものである場合には、入力画像の輝度Ｙｉｔが背景画像の輝度Ｙｂｔと大きく異なり、この状態が次の時点の入力画像に変わっても継続する。このため、図２４（Ｂ）に示すように、注目する時点の入力画像とその１つ後の時点の入力画像のいずれでも、入力画像の輝度Ｙｉｔが下限のしきい値（Ｙｂｔ－ＷｔｈＬ）より小さくなる、すなわち２つの入力画像で連続して式３が成立するか、あるいは、図２４（Ｄ）に示すように、注目する時点の入力画像とその１つ後の時点の入力画像のいずれでも、入力画像の輝度Ｙｉｔが上限のしきい値（Ｙｂｔ＋ＷｔｈＨ）より大きくなる、すなわち２つの入力画像で連続して式４が成立する。
　したがって、２つの入力画像で連続して式３または式４が成立するか否かにより、注目画素が雪粒以外の動きのある被写体を写したものであるか否かを判定することができる。すなわち、２つの入力画像で連続して式３または式４が成立する場合には、注目画素が雪粒以外の動きのある被写体を写したものと判定し、２つの入力画像で連続して式３および式４のいずれも成立しない場合には、注目画素が雪粒または背景（略静止した被写体）を写したものと判定する。
　次に、図２３に示したように、降雪補正画像生成部３５にて、被写体判定部３４での被写体判定の結果に応じて降雪補正画像の画素値Ｖｃｔを決定する処理が行われる（ＳＴ８０３，ＳＴ８０４）。ここでは、２つの入力画像で連続して式３または式４が成立する、すなわち注目画素が雪粒以外の動きのある被写体を写したものである場合には（ＳＴ８０２でＹｅｓ）、入力画像の画素値Ｖｉｔを降雪補正画像の画素値Ｖｃｔに決定する（ＳＴ８０３）。一方、２つの入画像で連続して式３および式４のいずれも成立しない、すなわち注目画素が雪粒または背景を写したものである場合には（ＳＴ８０２でＮｏ）、メディアン画像の画素値Ｖｍｔを降雪補正画像の画素値Ｖｃｔに決定する（ＳＴ８０４）。
　このように、注目画素が雪粒以外の動きのある被写体を写したものである場合には、メディアン処理されていない入力画像の画素値が採用され、これにより雪粒以外の動きのある被写体の像がそのまま残り、残像が現れることを避けることができる。一方、注目画素が雪粒を写したものである場合には、メディアン画像の画素値が採用され、これにより降雪ノイズが除去される。また、注目画素が背景を写したものである場合には、メディアン画像の画素値が採用される。
　なお、大きな雪粒の場合、２つの入力画像で連続して輝度が上限のしきい値を超える場合があり、この場合、当該画素が雪粒以外の動きのある被写体を写したものと判定されて、入力画像の画素値が採用されることから、降雪ノイズが除去されないが、このようなケースが発生する頻度は低く、実用上十分な効果を得ることができる。
（第８実施形態）
　図２５は、第８実施形態に係る画像処理装置２の概略構成を示すブロック図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
　この第８実施形態では、第７実施形態と同様に、画像処理装置２が、画像入力部１１と、入力画像蓄積部１２と、メディアン処理部１３と、メディアン画像蓄積部３１と、背景画像生成部３２と、背景画像蓄積部３３と、被写体判定部３４と、降雪補正画像生成部３５と、を備えているが、特にこの第２実施形態では、画像処理装置２が、安定化処理部５１と、安定化画像蓄積部５２と、をさらに備えている。
　安定化処理部５１では、手振れなどにより撮像装置１が揺れ動くことで、入力画像に写った被写体の像が全体的に揺れ動く状態を抑える安定化処理が行われる。この安定化処理により、被写体の像の動きによる残像が画像に発生するなどの画質の低下を避けることができる。安定化画像蓄積部５２では、安定化処理部５１で生成した安定化画像が蓄積される。
　安定化画像蓄積部５２に蓄積された安定化画像は、メディアン処理部１３、背景画像生成部３２、被写体判定部３４、および降雪補正画像生成部３５の各処理に用いられる。第１実施形態では、メディアン処理部１３、背景画像生成部３２、被写体判定部３４、および降雪補正画像生成部３５の各処理に入力画像が用いられたが、この第２実施形態では入力画像の代わりに安定化画像が用いられる。
　なお、第７実施形態では、図２５に示したように、被写体判定において、一般的なフレームレート（例えば３０ｆｐｓ）では、次の時点の入力画像に変わる間に雪粒が移動して注目画素から外れることに着目して、時間的に連続する２つの入力画像を判定対象としたが、３つ以上の入力画像を判定対象とすることも可能であり、例えば、フレームレートが大きくなると、判定対象とする入力画像の数を多くした方がよい場合がある。
　また、本実施形態では、降雪ノイズを除去する降雪補正処理について説明したが、本発明は、このような降雪補正処理に限定されるものではなく、降雪ノイズ以外の一般的なノイズを除去する用途にも広く適用することができ、特に雪粒以外でノイズの原因となるノイズ物体（大気中を降下・浮遊する小さな物体）によるノイズを除去する用途に好適である。このようなノイズ物体としては、雪粒の他に、例えば降雨時の雨滴や、大気中を舞うちりや花びらなどがある。
　本発明にかかる画像処理装置および画像処理方法は、カラー画像に対して時間方向のメディアン処理を行う場合に処理の高速化を図ることができる効果を有し、時間的に連続する複数の撮像画像を対象にして時間方向のメディアン処理を行う画像処理装置および画像処理方法などとして有用である。
１　撮像装置
２　画像処理装置
１１　画像入力部
１２　入力画像蓄積部
１３　メディアン処理部
１４　画素値格納部
２１　画素値抽出部
２２　番号付与部（識別子付与部）
２３　ソート処理部（画素値選択部）
２４　中央値取得部（画素値取得部）
２５　メディアン画像生成部（出力画素値決定部）
２６　画素値変換部
３２　背景画像生成部
３４　被写体判定部
３５　降雪補正画像生成部（補正画像生成部）

Claims (12)

  1. 　時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理装置であって、
    　前記複数の入力画像から注目画素の画素値を抽出する画素値抽出部と、
    　前記画素値抽出部により前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択する画素値選択部と、
    　前記画素値選択部で選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得する画素値取得部と、
    　前記画素値選択部及び前記画素値取得部より得られる画素値に基づいて前記注目画素の出力画素値を決定する出力画素値決定部と、を備えた画像処理装置。
  2. 　前記画素値抽出部により抽出される画素値に、前記複数の入力画像に対応した識別子を付与する識別子付与部を備え、
    　前記画素値選択部は、前記選択した画素値に付与された識別子を取得し、
    　前記画素値取得部は、前記取得した識別子に基づいて他のチャンネルの画素値を取得する請求項１に記載の画像処理装置。
  3. 　画素毎に得られた前記出力画素値に基づいて出力画像を生成する出力画像生成部を備えた請求項１に記載の画像処理装置。
  4. 　前記出力画像を表示する表示装置を備えた請求項３に記載の画像処理装置。
  5. 　前記画像値選択部は、前記所定の位置として並び替え後の中央位置の値を選択する請求項１に記載の画像処理装置。
  6. 　前記入力画像は撮像装置により撮像された画像である請求項１に記載の画像処理装置。
  7. 　前記画素値抽出部は、前記入力画像からＲ、ＧおよびＢの各チャンネルの画素値を取得し、
    　前記画素値選択部は、Ｇチャンネルの画素値を並び替える請求項１に記載の画像処理装置。
  8. 　前記画素値抽出部は、前記入力画像からＹ、ＵおよびＶの各チャンネルの画素値を取得し、
    　前記画素値選択部は、Ｙチャンネルの画素値を並び替える請求項１に記載の画像処理装置。
  9. 　前記画像値選択部は、前記複数の画素値を大きい順に並び替える請求項１に記載の画像処理装置。
  10. 　前記入力画像は降雪時に撮像されたものであり、時間方向のメディアン処理によって前記入力画像に現れる降雪ノイズを除去する請求項１に記載の画像処理装置。
  11. 　時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理方法であって、
    　前記複数の入力画像から注目画素の画素値を抽出するステップと、
    　前記画素値を抽出するステップにより前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択するステップと、
    　前記画素値を選択するステップで選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得するステップと、
    　前記画素値を選択するステップ及び前記画素値を取得するステップより得られる画素値に基づいて前記注目画素の出力画素値を決定するステップと、を有する画像処理方法。
  12. 　前記注目画素が動きのある画素か否かを判定する動き判定部と、
    　前記動き判定部により動きがある画素と判定された場合、所定のノイズを示すものか、所定のノイズ以外を示すものかを判定する被写体判定部と、
    　前記被写体判定部により所定のノイズと判定された場合は、前記出力画素値決定部により決定された画素値を使用し、所定のノイズ以外と判定された場合は、前記入力画像の画素値を使用する補正画像生成部と、を備えた請求項１に記載の画像処理装置。
PCT/JP2013/005723 2012-09-27 2013-09-26 画像処理装置および画像処理方法 WO2014050117A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014538194A JP6206732B2 (ja) 2012-09-27 2013-09-26 画像処理装置および画像処理方法
EP13840385.2A EP2903263A4 (en) 2012-09-27 2013-09-26 IMAGE PROCESSING DEVICE AND METHOD
US14/423,818 US9672605B2 (en) 2012-09-27 2013-09-26 Image processing device and image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-213909 2012-09-27
JP2012213909 2012-09-27
JP2012239849 2012-10-31
JP2012-239849 2012-10-31

Publications (1)

Publication Number Publication Date
WO2014050117A1 true WO2014050117A1 (ja) 2014-04-03

Family

ID=50387550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005723 WO2014050117A1 (ja) 2012-09-27 2013-09-26 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US9672605B2 (ja)
EP (1) EP2903263A4 (ja)
JP (1) JP6206732B2 (ja)
WO (1) WO2014050117A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160257252A1 (en) * 2015-03-05 2016-09-08 Lenovo (Singapore) Pte. Ltd. Projection of images on side window of vehicle
JP6645294B2 (ja) * 2016-03-22 2020-02-14 富士ゼロックス株式会社 画像読取装置
US11170486B2 (en) * 2017-03-29 2021-11-09 Nec Corporation Image analysis device, image analysis method and image analysis program
US10977924B2 (en) * 2018-12-06 2021-04-13 Electronics And Telecommunications Research Institute Intelligent river inundation alarming system and method of controlling the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973541A (ja) * 1995-09-07 1997-03-18 Hitachi Denshi Ltd 物体検出装置及び物体検出方法
JP2000115763A (ja) 1998-10-09 2000-04-21 Tateyama System Kenkyusho:Kk 画像処理方法及び画像処理装置
JP2008131609A (ja) * 2006-11-26 2008-06-05 Plusmic:Kk 電荷増倍素子を用いた高感度・高速度の競技用電子判定装置
WO2008111549A1 (ja) * 2007-03-15 2008-09-18 Kansai University 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5384865A (en) 1992-06-01 1995-01-24 Eastman Kodak Company Adaptive, hybrid median filter for temporal noise suppression
US6088468A (en) 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
JP4528529B2 (ja) * 2004-01-20 2010-08-18 株式会社東芝 超音波診断装置及び超音波画像データ処理方法
US8160149B2 (en) * 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
US8340406B1 (en) * 2008-08-25 2012-12-25 Adobe Systems Incorporated Location-weighted color masking
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP5924091B2 (ja) * 2012-04-13 2016-05-25 株式会社リコー 画像処理装置、画像処理システム、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973541A (ja) * 1995-09-07 1997-03-18 Hitachi Denshi Ltd 物体検出装置及び物体検出方法
JP2000115763A (ja) 1998-10-09 2000-04-21 Tateyama System Kenkyusho:Kk 画像処理方法及び画像処理装置
JP2008131609A (ja) * 2006-11-26 2008-06-05 Plusmic:Kk 電荷増倍素子を用いた高感度・高速度の競技用電子判定装置
WO2008111549A1 (ja) * 2007-03-15 2008-09-18 Kansai University 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIYAKE ET AL.: "Snowfall Noise Elimination Using a Time Median Filter", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 30, no. 3, 2001, pages 251 - 259
See also references of EP2903263A4

Also Published As

Publication number Publication date
US20150221073A1 (en) 2015-08-06
JPWO2014050117A1 (ja) 2016-08-22
EP2903263A1 (en) 2015-08-05
JP6206732B2 (ja) 2017-10-04
EP2903263A4 (en) 2015-11-04
US9672605B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
JP3898606B2 (ja) 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
EP2535864B1 (en) Image processing device and method
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
TWI399703B (zh) 往返縮放之影像放大方法
JP6104680B2 (ja) 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
KR102314703B1 (ko) 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP6206732B2 (ja) 画像処理装置および画像処理方法
CN114586337B (zh) 视频防抖优化处理方法和装置、电子设备
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
WO2016005242A1 (en) Method and apparatus for up-scaling an image
JP2011055278A (ja) 動き情報取得装置及び画像処理装置
JP5811879B2 (ja) 画像処理装置および画像処理方法
Huebner Software-based turbulence mitigation of short exposure image data with motion detection and background segmentation
JP2008113292A (ja) 動き推定方法，装置，そのプログラムおよびその記録媒体
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
JP5202749B1 (ja) 画像処理方法
KR101544156B1 (ko) 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치
JP2014099048A (ja) 画像復元装置および画像復元方法
WO2022262599A1 (zh) 图像处理方法、装置、计算机设备和存储介质
Bosco et al. Video stabilization through dynamic analysis of frames signatures
KR20060123237A (ko) 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품
JP2016213526A (ja) 画像符号化装置及びその制御方法
CN117541508A (zh) 图像复原模型训练方法、复原方法、装置、设备和介质
CN113689350A (zh) 一种光纤图像恢复方法及其系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840385

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013840385

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013840385

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14423818

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014538194

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE