WO2019181096A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019181096A1
WO2019181096A1 PCT/JP2018/045093 JP2018045093W WO2019181096A1 WO 2019181096 A1 WO2019181096 A1 WO 2019181096A1 JP 2018045093 W JP2018045093 W JP 2018045093W WO 2019181096 A1 WO2019181096 A1 WO 2019181096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter coefficient
image processing
disturbance
detection result
Prior art date
Application number
PCT/JP2018/045093
Other languages
English (en)
French (fr)
Inventor
友希 鴇崎
諭志 河田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880091137.9A priority Critical patent/CN111868778B/zh
Priority to JP2020507346A priority patent/JP7160085B2/ja
Priority to US16/979,797 priority patent/US11436706B2/en
Publication of WO2019181096A1 publication Critical patent/WO2019181096A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program.
  • Patent Document 1 a technique that improves the image quality (high visibility) by removing raindrops or the road surface undulation is determined from depth information, and the visibility is poor depending on the determination result.
  • Patent Document 2 a technique that allows a road surface area to be displayed as an image even underneath.
  • This disclosure is intended to provide an image processing apparatus, an image processing method, and a program that can obtain an image from which disturbances such as raindrops are removed while maintaining the characteristics of the image as much as possible.
  • An image processing apparatus having an image processing unit that performs a filter process using a filter coefficient set based on at least a detail detection result based on the first image and a disturbance detection result performed on the second image It is.
  • the present disclosure for example, An image processing method in which the image processing unit performs a filter process using a filter coefficient set based on at least a detail detection result based on the first image and a disturbance detection result performed on the second image It is.
  • An image processing method in which the image processing unit performs a filter process using a filter coefficient set based on at least a detail detection result based on the first image and a disturbance detection result performed on the second image Is a program that causes a computer to execute.
  • the present disclosure it is possible to obtain an image from which disturbances such as raindrops are removed while maintaining the characteristics of the image as much as possible.
  • the effect described here is not necessarily limited, and any effect described in the present disclosure may be used. Further, the contents of the present disclosure are not construed as being limited by the exemplified effects.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to the first embodiment.
  • FIG. 2A is a diagram illustrating an example of an input image according to the first embodiment.
  • FIG. 2B is a diagram illustrating an example of a depth image according to the first embodiment.
  • FIG. 2C is a diagram referred to when describing processing for calculating the first filter coefficient, the second filter coefficient, and the third filter coefficient according to the first embodiment.
  • FIG. 3A is a diagram illustrating an example of an input image according to the first embodiment.
  • FIG. 3B is a diagram illustrating an example of a depth image according to the first embodiment.
  • FIG. 3C is an enlarged view of a predetermined block of the image shown in FIG. 3A.
  • FIG. 4A is a diagram illustrating an example of the first filter coefficient.
  • FIG. 4B is a diagram illustrating an example of the second filter coefficient.
  • FIG. 4C is a diagram illustrating an example of the third filter coefficient.
  • FIG. 4D is a diagram illustrating an example of filter coefficients based on the first, second, and third filter coefficients.
  • FIG. 5 is a flowchart showing a flow of processing performed by the image processing apparatus according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of the effect obtained in the first embodiment.
  • FIG. 7 is a block diagram illustrating a configuration example of an image processing apparatus according to the second embodiment.
  • FIG. 8A is a diagram illustrating an example of an input image according to the second embodiment.
  • FIG. 8B is a diagram illustrating an example of a depth image according to the second embodiment.
  • FIG. 8C is a diagram referred to when describing processing for calculating the first filter coefficient, the second filter coefficient, and the third filter coefficient according to the second embodiment.
  • FIG. 9 is a flowchart illustrating a flow of processing performed by the image processing apparatus according to the second embodiment.
  • FIG. 10 is a block diagram illustrating an example of a schematic configuration of the vehicle control system.
  • FIG. 11 is an explanatory diagram illustrating an example of the installation positions of the outside-vehicle information detection unit and the imaging unit.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus (image processing apparatus 1) according to the first embodiment.
  • the image processing apparatus 1 includes, for example, an image input unit 101, an alignment unit 102, an edge detection unit 103, a first filter coefficient calculation unit 104, a detail detection unit 105, and a second filter coefficient calculation unit 106.
  • the disturbance detection unit 107, the third filter coefficient calculation unit 108, a filter processing unit 109, which is an example of an image processing unit, and an output unit 110 are provided.
  • the image input unit 101 is configured to input an image.
  • the image input unit 101 may be an interface of the image processing apparatus 1, or may be a communication unit when an image is input through communication or the like.
  • a depth image D and an input image I obtained in synchronization with the same viewpoint are input to the image input unit 101. Note that there may be a slight shift in viewpoint or synchronization between the depth image D and the input image I.
  • the depth image D is an image obtained from a depth sensor such as a millimeter wave radar, a laser radar, an ultrasonic sensor, or a stereo camera, and is an image in which a depth value is given to each pixel.
  • the input image I is, for example, a visible image (visible light image) captured by an imaging device. Note that the imaging device may be integrated with the image processing device 1 or may be a separate device.
  • the alignment unit 102 performs alignment between the depth image D input to the image input unit 101 and the input image I.
  • the depth image D that has been processed by the alignment unit 102 is output to the edge detection unit 103.
  • the input image I processed by the alignment unit 102 is branched and output to each of the detail detection unit 105, the disturbance detection unit 107, and the filter processing unit 109.
  • the edge detection unit 103 detects an edge based on the depth image D by a known method.
  • the edge detection unit 103 according to the present embodiment detects how much foreground (or background) components are included in each pixel based on pixel values (for example, luminance).
  • the edge detection unit 103 outputs the edge detection result to the first filter coefficient calculation unit 104.
  • the first filter coefficient calculation unit 104 calculates the first filter coefficient a j so that the edge detected by the edge detection unit 103 remains. A specific example of the first filter coefficient a j will be described later.
  • the first filter coefficient calculation unit 104 outputs the calculated first filter coefficient a j to the filter processing unit 109.
  • the detail detection unit 105 detects details included in the input image I based on the input image I supplied from the alignment unit 102 by a known method.
  • the detail detection unit 105 according to the present embodiment detects, for example, how much detail components of an object located on the near side are included in each pixel based on pixel values (for example, luminance).
  • the detail detection unit 105 outputs the detail detection result to the second filter coefficient calculation unit 106.
  • the second filter coefficient calculation unit 106 calculates the second filter coefficient b j so that the detail detected by the detail detection unit 105 remains. A specific example of the second filter coefficient b j will be described later.
  • the second filter coefficient calculation unit 106 outputs the calculated second filter coefficient b j to the filter processing unit 109.
  • the disturbance detection unit 107 detects a disturbance included in the input image I supplied from the alignment unit 102.
  • the disturbance according to the embodiment is a granular (dotted) minute object flying in the atmosphere.
  • the disturbance includes at least one of raindrops, snow, fog, sleet, hail, yellow sand, dust, flies, and mosquitoes.
  • the disturbance detection unit 107 detects a disturbance included in the input image I by a known method suitable for the target disturbance.
  • the disturbance detection unit 107 may detect raindrops and snow by isolated point detection using information in the time direction.
  • the disturbance detection unit 107 estimates the density of fog such as fog and dust using the minimum values of R, G, and B in the local region called the dark channel, and calculates the transmittance from the estimated density of the fog. You may detect fog etc. by.
  • the present applicant has proposed Japanese Patent Application No. 2017-186019 as a method for accurately detecting the transmittance of these fumes.
  • the disturbance detection unit 107 may detect fog or the like by applying the matters disclosed in such an application.
  • the disturbance detection unit 107 may be able to detect how much disturbance components are included in each pixel based on pixel values (for example, luminance).
  • the third filter coefficient calculation unit 108 calculates the third filter coefficient c j so as to cancel the disturbance detected by the disturbance detection unit 107. A specific example of the third filter coefficient c j will be described later.
  • the third filter coefficient calculation unit 108 outputs the calculated third filter coefficient c j to the filter processing unit 109.
  • the filter processing unit 109 performs filter processing (filtering) using a filter coefficient on the input image I that has been aligned by the alignment unit 102.
  • the filter coefficient used in the filtering process is a coefficient set based on at least the detail detection result and the disturbance detection result.
  • the filter coefficient is further set based on the edge detection result. It is a coefficient. More specifically, the filter coefficient is information based on the first filter coefficient a j , the second filter coefficient b j and the third filter coefficient c j , for example, the first filter coefficient a j , the second filter coefficient b j and This is a coefficient set by normalizing the product of the third filter coefficient c j .
  • the filter processing unit 109 outputs an output image I ′ that is an image obtained by performing the filter processing to the output unit 110.
  • the output unit 110 is, for example, a display that displays an output image I ′.
  • the output image I ′ may be displayed on a display included in an external device different from the image processing device 1.
  • the output unit 110 may be a communication unit (regardless of wired or wireless communication) for transmitting the output image I ′ to the external device.
  • the output image I ′ may be projected onto an object existing in space, and in this case, the output unit 110 may be configured to realize so-called projection mapping.
  • the depth image D is an image obtained from the depth sensor.
  • the depth sensor can be classified into a sensor that transmits a disturbance and a sensor that does not transmit the disturbance according to detection performance.
  • An example of the classification is shown in Table 1 below.
  • a millimeter wave radar having a frequency of 77 GHz (gigahertz), a millimeter wave radar having a frequency of 24 GHz, a laser radar, an ultrasonic sensor, and a camera are shown.
  • the millimeter wave radar is a sensor that transmits a disturbance.
  • a laser radar, an ultrasonic sensor, and a camera are sensors that do not transmit disturbances.
  • the depth image D according to the first embodiment is an image obtained based on a depth sensor that transmits a disturbance. That is, no disturbance appears in the depth image D according to the first embodiment. Therefore, in the first embodiment, a disturbance is detected from the input image I.
  • FIG. 2A shows an example of the input image I.
  • the input image I includes an object AA, a background BB, and a disturbance object CC located on the near side.
  • the disturbance CC in this example is raindrops, for example.
  • the input image I includes the edge EG of the object AA and the detail DT of the object AA.
  • the detail DT of the object AA is indicated by hatching (a plurality of oblique lines).
  • hatching a plurality of oblique lines.
  • FIG. 2B shows an example of the depth image D corresponding to the input image I shown in FIG. 2A.
  • the depth image D includes an object AA located on the near side, a background BB, and an edge EG that is a boundary between the object AA and the background BB.
  • the object AA and the background BB are hatched. Since the depth image D is an image based on the depth sensor, the boundary between the objects having different distances, that is, the detail of the object AA including the edge EG is not included.
  • the depth sensor according to the present embodiment is a sensor that transmits the disturbance object CC, and therefore the disturbance object CC does not appear in the depth image D.
  • the first filter coefficient a j is calculated (generated) based on the detection result of the edge EG included in the depth image D.
  • the second filter coefficient b j is calculated based on the detection result of the detail DT included in the input image I.
  • the third filter coefficient c j is calculated based on the detection result of the disturbance object CC included in the input image I.
  • the filter processing unit 109 sets filter coefficients used for the filter processing based on the first filter coefficient a j , the second filter coefficient b j, and the third filter coefficient c j .
  • FIG. 3A is a diagram showing the input image I shown in FIG. 2A
  • FIG. 3B is a diagram showing the depth image D shown in FIG. 2B.
  • the filter coefficient is set in units of blocks, for example. In this embodiment, a block of 5 pixels ⁇ 5 pixels is described as an example, but the size of the block can be changed as appropriate.
  • blocks BL corresponding to the same position in the image are schematically shown by dotted rectangles.
  • the block BL is a block including the object AA, the background BB, the disturbance CC, the edge EG, and the detail DT.
  • FIG. 3C is an enlarged view of a predetermined block BL in the input image I. Pixels hatched in the block BL shown in FIG. 3C are pixels including the disturbance CC (raindrops in this example).
  • the first filter coefficient calculation unit 104 calculates the first filter coefficient a j based on the detection result of the edge (structure line) of the depth image D. For example, the first filter coefficient a j is set such that the greater the component of the object AA is, the larger (heavier) the weight is. The coefficient may be set such that the more the background BB component included in the pixel is, the smaller the weight becomes (lighter).
  • FIG. 4A shows an example of the first filter coefficient a j .
  • “1” is set as a coefficient for a pixel including only the object AA.
  • “0” is set as a coefficient for pixels corresponding only to the background BB.
  • a coefficient is set according to the degree of the component of the object AA included in the pixel.
  • the center pixel of the block BL over which the edge EG straddles (hereinafter referred to as the center pixel as appropriate) contains a relatively large amount of the component of the object AA.
  • “0.8” is set as a coefficient so that the weight is increased.
  • the edge EG that is one of the image characteristics can be held.
  • the second filter coefficient calculation unit 106 calculates a second filter coefficient b j based on the detail detection result included in the input image I.
  • the second filter coefficient b j is a coefficient whose weight is set to be larger (heavy) as more details of the object AA are included.
  • FIG. 4B shows an example of the second filter coefficient b j .
  • “1”, for example, is set as the coefficient for the center pixel of the block BL that includes a lot of detail.
  • “0” is set as the coefficient.
  • the pixel adjacent to the right side of the center pixel contains a little detail, so “0.3” is set as the coefficient, for example, and the pixel below the pixel contains a little detail.
  • “0.1” is set as the coefficient.
  • the detail which is one of the image characteristics can be held.
  • the third filter coefficient calculation unit 108 calculates a third filter coefficient c j based on the disturbance detection result by the disturbance detection unit 107.
  • the third filter coefficient c j is a coefficient set so as to remove the disturbance object CC, for example.
  • FIG. 4C shows an example of the third filter coefficient c j .
  • “0” is set as a coefficient for pixels including the disturbance CC
  • “1” is set as a coefficient for pixels not including the disturbance CC.
  • the disturbance detection unit 107 may detect the degree of disturbance included in the pixel, and the coefficient weight may be set finely according to the degree. That is, the coefficient set for the pixel including the disturbance is preferably “0” but may be a value close to “0” in removing the disturbance.
  • the filter processing unit 109 that has received the first filter coefficient a j , the second filter coefficient b j, and the third filter coefficient c j generates a filter coefficient obtained by multiplying the filter coefficients.
  • An example of such a filter coefficient is shown in FIG. 4D.
  • the filter processing unit 109 generates normalized filter coefficients so that the sum of the filter coefficients shown in FIG. The above processing is similarly performed on the other blocks BL, and a coefficient for each pixel is obtained.
  • the filter processing unit 109 performs a filter process on the input image I after alignment using a filter having the generated filter coefficient, and generates an output image I ′.
  • step ST101 an image input process is performed, and the depth image D and the input image I are input to the image input unit 101. Then, the process proceeds to step ST102.
  • step ST102 image alignment processing is performed.
  • the alignment unit 102 aligns the depth image D and the input image I.
  • the aligned depth image D is supplied to the edge detection unit 103.
  • the input image I that has been aligned is supplied to each of the detail detection unit 105, the disturbance detection unit 107, and the filter processing unit 109.
  • the input image I after alignment corresponds to the first and second images.
  • steps ST103 to ST106 detail detection processing is performed in which the detail detection unit 105 detects details included in the input image I that has been aligned (step ST104). Then, based on the detail detection result, a second filter coefficient calculation process is performed in which the second filter coefficient calculation unit 106 calculates the second filter coefficient (step ST105). The second filter coefficient calculation process is repeated corresponding to the number of filter taps (steps ST103 and ST106). The second filter coefficient b j is calculated by the processing from step ST103 to step ST106, and the calculated second filter coefficient b j is supplied to the filter processing unit 109.
  • steps ST107 to ST110 disturbance detection processing is performed in which the disturbance detection unit 107 detects a disturbance included in the input image I that has been aligned (step ST108). Then, based on the detection result of the disturbance, a third filter coefficient calculation process is performed in which the third filter coefficient calculation unit 108 calculates the third filter coefficient (step ST109). The third filter coefficient calculation process is repeated in correspondence with the number of filter taps (steps ST107 and ST110). The third filter coefficient c j is calculated by the processing from step ST107 to step ST110, and the calculated third filter coefficient c j is supplied to the filter processing unit 109.
  • an edge detection process is performed in which the edge detection unit 103 detects an edge based on the depth image D that has been aligned (step ST112). Then, based on the edge detection result, a first filter coefficient calculation process is performed in which the first filter coefficient calculation unit 104 calculates the first filter coefficient (step ST113). The first filter coefficient calculation process is repeated corresponding to the number of filter taps (steps ST111 and ST114). The first filter coefficient a j is calculated by the processing from step ST111 to step ST114, and the calculated first filter coefficient a j is supplied to the filter processing unit 109.
  • the filter processing unit 109 In step ST115, the filter processing unit 109 generates a filter coefficient obtained by multiplying the first filter coefficient a j , the second filter coefficient b j, and the third filter coefficient c j .
  • the filter processing unit 109 generates a normalized filter coefficient so that the sum of the filter coefficients becomes 1 in order to prevent a change in the luminance level of the entire image.
  • the filter processing unit 109 performs a filter process on the input image I after the alignment using a filter having a normalized filter coefficient, and generates an output image I ′.
  • the filter processing performed by the filter processing unit 109 can be expressed by the following mathematical formula 1.
  • Equation 1 i is the current pixel, j is a peripheral pixel of the current pixel, D is a depth image, I is an input image, S is a disturbance detection result, 1 / Z is a normalization process, and I ′ is an output image. Yes.
  • the filter processing unit 109 may perform the filter process every time a coefficient is obtained in units of blocks BL, or may perform the filter process after the coefficients corresponding to all the pixels are calculated. .
  • the output image I ′ generated by the filter processing by the filter processing unit 109 is supplied to the output unit 110. Then, the output image I ′ is displayed by the output unit 110, or the output image I ′ is output to the external device, and the output image I ′ corresponding to the application is used.
  • FIG. 6 is a diagram for explaining an example of the effect obtained by the first embodiment.
  • 6A shows an example of the input image I
  • FIG. 6B shows an example of the output image I ′.
  • filter weights are set according to the image features (flatness, edges, etc.) of the depth image D and the image features (flatness, edges, details, etc.) of the input image I, and the disturbance object A filter coefficient corresponding to the detection result is set. More specifically, the filter coefficient is set so as to retain the edges and details, and the filter coefficient is set so as to remove the detected disturbance.
  • the output image I ′ obtained by the filtering process is an image from which the disturbance object CC is removed while retaining the edge EG and the detail DT, as schematically shown in FIG. 6B. Therefore, even when a disturbance is included in the image, it is possible to improve the image quality and the visibility of the image.
  • Second Embodiment> Next, a second embodiment will be described.
  • the same reference numerals are given to the same or the same configuration as the configuration described in the first embodiment, and a duplicate description will be appropriately omitted. Further, unless otherwise specified, the matters described in the first embodiment can be applied to the second embodiment.
  • the depth image D according to the second embodiment is an image obtained based on a depth sensor that does not transmit disturbance. . Therefore, since the disturbance image is included in the depth image D, the disturbance object is detected based on the depth image D in the second embodiment.
  • FIG. 7 is a block diagram illustrating a configuration example of an image processing apparatus (image processing apparatus 2) according to the second embodiment. Below, it demonstrates focusing on the point from which the image processing apparatus 2 and the image processing apparatus 1 which concern on 1st Embodiment differ.
  • the depth image D and the input image I are input to the image input unit 101 included in the image processing apparatus 2. Then, the alignment unit 102 aligns the depth image D and the input image I.
  • the depth image D after alignment is supplied to the disturbance detection unit 107.
  • the input image I after alignment corresponds to the first image
  • the depth image D after alignment corresponds to the second image.
  • the depth image D according to the second embodiment is an image obtained based on a depth sensor that does not transmit a disturbance.
  • the disturbance CC included in the input image I shown in FIG. 8A is also included (appears) in the depth image D as shown in FIG. 8B.
  • the disturbance detection unit 107 detects a disturbance included in the depth image D based on the depth image D after alignment, and outputs the detection result to the third filter coefficient calculation unit 108.
  • the third filter coefficient calculation unit 108 calculates the third filter coefficient c j based on the detection result of the disturbance. Since the operation of the other configuration is the same as that of the first embodiment, a duplicate description is omitted.
  • step ST201 an image input process is performed, and the depth image D and the input image I are input to the image input unit 101. Then, the process proceeds to step ST202.
  • step ST202 an image alignment process is performed.
  • the alignment unit 102 aligns the depth image D and the input image I.
  • the aligned depth image D is supplied to each of the edge detection unit 103 and the disturbance detection unit 107.
  • the input image I that has been aligned is supplied to each of the detail detection unit 105 and the filter processing unit 109.
  • steps ST203 to ST206 detail detection processing is performed in which the detail detection unit 105 detects details included in the input image I that has been aligned (step ST204). Then, based on the detail detection result, a second filter coefficient calculation process is performed in which the second filter coefficient calculation unit 106 calculates the second filter coefficient (step ST205). The second filter coefficient calculation process is repeated corresponding to the number of filter taps (steps ST203 and ST206). The second filter coefficient b j is calculated by the processing from step ST203 to step ST206, and the calculated second filter coefficient b j is supplied to the filter processing unit 109.
  • an edge detection process is performed in which the edge detection unit 103 detects an edge based on the depth image D that has been aligned (step ST208). Then, based on the edge detection result, a first filter coefficient calculation process is performed in which the first filter coefficient calculation unit 104 calculates the first filter coefficient (step ST209). The first filter coefficient calculation process is repeated corresponding to the number of filter taps (steps ST207 and ST210). The first filter coefficient a j is calculated by the processing from step ST207 to step ST210, and the calculated first filter coefficient a j is supplied to the filter processing unit 109.
  • steps ST211 to ST214 disturbance detection processing is performed in which the disturbance detection unit 107 detects a disturbance included in the aligned depth image D (step ST212). And based on the detection result of a disturbance, the 3rd filter coefficient calculation part 108 performs the 3rd filter coefficient calculation process which calculates a 3rd filter coefficient (step ST213).
  • the third filter coefficient calculation process is repeated corresponding to the number of filter taps (steps ST211 and ST214).
  • the third filter coefficient c j is calculated by the processing from step ST211 to step ST214, and the calculated third filter coefficient c j is supplied to the filter processing unit 109.
  • the filter processing unit 109 In step ST215, the filter processing unit 109 generates a filter coefficient obtained by multiplying the first filter coefficient a j , the second filter coefficient b j, and the third filter coefficient c j .
  • the filter processing unit 109 generates a normalized filter coefficient so that the sum of the filter coefficients becomes 1 in order to prevent a change in the luminance level of the entire image. Then, the filter processing unit 109 performs a filter process on the input image I after the alignment using a filter having a normalized filter coefficient, and generates an output image I ′.
  • the output image I ′ generated by the filter processing by the filter processing unit 109 is supplied to the output unit 110. Then, the output image I ′ is displayed by the output unit 110, or the output image I ′ is output to the external device, and the output image I ′ corresponding to the application is used.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 10 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 11 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 11 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • another wireless communication protocol such as a wireless LAN (also referred to as Wi-Fi (registered trademark)), Bluetooth (registered trademark), or the like may be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High) via a connection terminal (and a cable if necessary). -definition Link) etc.
  • the in-vehicle device 7760 includes, for example, at least one of a mobile device or a wearable device possessed by the passenger, or an information device carried into or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination, and the in-vehicle device I / F 7660 transmits a control signal to and from these in-vehicle devices 7760. Or, exchange data signals.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the image processing apparatuses 1 and 2 according to the present embodiment described with reference to FIGS. 1 and 7 can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the image processing apparatuses 1 and 2 according to the present embodiment described with reference to FIGS. 1 and 7 can be applied to the outside information detection unit 7400 of the application example illustrated in FIG. it can. Further, the output unit 110 according to the above-described embodiment can be applied to the audio image output unit 7670.
  • the components of the image processing apparatuses 1 and 2 according to the present embodiment described with reference to FIGS. 1 and 7 are modules for the integrated control unit 7600 illustrated in FIG. Integrated circuit module comprised of dies).
  • the image processing apparatuses 1 and 2 according to the present embodiment described with reference to FIGS. 1 and 7 may be realized by a plurality of control units of the vehicle control system 7000 illustrated in FIG. 10.
  • the edge detection unit 103 detects an edge based on the depth image D, but the present invention is not limited to this. Since the input image I includes an edge, the edge detection unit 103 may detect the edge based on the input image I. For example, even when the depth image D cannot be obtained due to a defect in the depth sensor or the like, the first filter coefficient calculation unit 104 can calculate the first filter coefficient based on the edge detection result. Note that an image for detecting an edge may be dynamically changed according to the distance to the object (subject).
  • the edge detection unit 103 may detect an edge based on the depth image D and the input image I. Edge detection accuracy can be improved by using two images.
  • the disturbance detection unit 107 detects a disturbance based on the depth image D.
  • the present invention is not limited to this. Since disturbances are also included in the input image I, the disturbance detection unit 107 may further detect disturbances based on the input image I. Edge detection accuracy can be improved by using two images. In this case, the disturbance detection unit 107 may detect the disturbance included in the depth image D and the input image I by a different method for each image. Thereby, it is possible to prevent detection omission due to the type of disturbance.
  • the present invention is not limited to this, and the input image I may be an image outside visible light (non-visible light image) such as an infrared image. Moreover, the image which synthesize
  • edge and detail are given as the image characteristics, but the present technology can be applied to other characteristics (for example, gradation (gradation)).
  • a configuration in which a function for setting a filter coefficient used for filter processing and a function for performing a filter process based on the filter coefficient are different (for example, an IC (Integrated Circuit)) Etc.).
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, and the like.
  • a program that performs the function described in the above-described embodiment can be downloaded, and an apparatus that does not have the function described in the embodiment downloads and installs the program, so that the apparatus is described in the embodiment. Control can be performed.
  • the present disclosure can also be realized by a server that distributes such a program.
  • the items described in each embodiment and modification can be combined as appropriate.
  • This indication can also take the following composition.
  • An image processing apparatus having an image processing unit that performs a filter process using a filter coefficient set based on at least a detail detection result based on the first image and a disturbance detection result performed on the second image .
  • the image processing apparatus according to (1) wherein the first image and the second image are the same input image aligned with a predetermined depth image.
  • the image processing apparatus according to (1) wherein the first image is an input image different from a depth image corresponding to the second image.
  • the filter coefficient may further include an edge detection result based on the depth image aligned with the input image, an edge detection result based on the input image, or an edge detection result based on the depth image and the input image.
  • the image processing apparatus wherein the coefficient is set based on any of the above.
  • the image processing apparatus wherein the depth image is an image obtained based on a sensor that transmits the disturbance.
  • the image processing apparatus according to (3), wherein the depth image is an image obtained based on a sensor that does not transmit the disturbance.
  • the filter coefficient may further include an edge detection result based on the depth image aligned with the input image, an edge detection result based on the input image, or an edge detection result based on the depth image and the input image.
  • the image processing device according to (6), wherein the coefficient is set based on any of the above.
  • the image processing apparatus (8) The image processing apparatus according to (6), wherein the disturbance is detected based on the depth image or the input image and the depth image.
  • the filter coefficient is set based on a first filter coefficient set based on the edge detection result, a second filter coefficient set based on the detail detection result, and the disturbance detection result.
  • the image processing apparatus according to (4), wherein the coefficient is obtained by normalizing information based on the third filter coefficient.
  • the first filter coefficient is a coefficient set to leave the edge
  • the second filter coefficient is a coefficient set to leave the detail
  • the third filter coefficient removes the disturbance.
  • the image processing device wherein the coefficient is set as follows. (11) The image processing apparatus according to (10), wherein 0 is set as the third filter coefficient for a pixel including the disturbance.
  • the image processing apparatus according to any one of (2) to (11), wherein the input image is a visible light image, an image outside visible light, or an image obtained by combining a visible light image and an image outside visible light.
  • the disturbance is a granular minute object flying in the atmosphere.
  • the disturbance includes at least one of raindrops, snow, fog, sleet, hail, yellow sand, dust, flies, and mosquitoes.
  • the image processing unit performs the filtering process on the input image after the alignment.
  • the image processing apparatus according to any one of (1) to (15), further including an output unit that outputs an image that has been subjected to filter processing by the image processing unit.
  • An image processing method in which the image processing unit performs a filter process using a filter coefficient set based on at least a detail detection result based on the first image and a disturbance detection result performed on the second image A program that causes a computer to execute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。

Description

画像処理装置、画像処理方法及びプログラム
　本開示は、画像処理装置、画像処理方法及びプログラムに関する。
　屋外での撮像により得られる画像は、悪天候等の要因により視認性の劣化が生じ得る。このため、雨粒を除去して画像の高画質化（高視認化）を図る技術（例えば、特許文献１）や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術（例えば、特許文献２）が提案されている。
特開２０１６－１３８８１８号公報 特開２０１１－０３９７２７号公報
　このような分野では、雨粒等の外乱物を除去して高画質化を図る場合でも画像の特性を極力、保持することが望まれている。
　本開示は、画像の特性を極力保持しつつ、雨粒等の外乱物を除去した画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置である。
　本開示は、例えば、
　画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法である。
　本開示は、例えば、
　画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラムである。
　本開示の少なくとも一つの実施の形態によれば、画像の特性を極力保持しつつ、雨粒等の外乱物を除去した画像を得ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図１は、第１の実施の形態に係る画像処理装置の構成例を示すブロック図である。 図２Ａは、第１の実施の形態に係る入力画像の一例を示す図である。図２Ｂは、第１の実施の形態に係るデプス画像の一例を示す図である。図２Ｃは、第１の実施の形態に係る第１フィルタ係数、第２フィルタ係数及び第３フィルタ係数を算出する処理を説明する際に参照される図である。 図３Ａは、第１の実施の形態に係る入力画像の一例を示す図である。図３Ｂは、第１の実施の形態に係るデプス画像の一例を示す図である。図３Ｃは、図３Ａに示す画像の所定のブロックを拡大して示した図である。 図４Ａは、第１フィルタ係数の一例を示す図である。図４Ｂは、第２フィルタ係数の一例を示す図である。図４Ｃは、第３フィルタ係数の一例を示す図である。図４Ｄは、第１、第２及び第３フィルタ係数に基づくフィルタ係数の一例を示す図である。 図５は、第１の実施の形態に係る画像処理装置で行われる処理の流れを示すフローチャートである。 図６は、第１の実施の形態で得られる効果の一例を説明するための図である。 図７は、第２の実施の形態に係る画像処理装置の構成例を示すブロック図である。 図８Ａは、第２の実施の形態に係る入力画像の一例を示す図である。図８Ｂは、第２の実施の形態に係るデプス画像の一例を示す図である。図８Ｃは、第２の実施の形態に係る第１フィルタ係数、第２フィルタ係数及び第３フィルタ係数を算出する処理を説明する際に参照される図である。 図９は、第２の実施の形態に係る画像処理装置で行われる処理の流れを示すフローチャートである。 図１０は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１１は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜一般的な技術について＞
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．応用例＞
＜４．変形例＞
＜一般的な技術について＞
　始めに、本開示の理解を容易とするために、一般的な技術について説明する。上述したように、雨粒を除去して画像の高画質化を図る技術や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術が提案されている。
　しかしながら、前者の技術では雨粒を除去する処理においてメディアンフィルタを使用したメディアン処理を行っているため、得られる画像のエッジやディテールがぼやけてしまうという問題がある。また、後者の技術では、デプス画像で得られるエッジは保持されるものの、デプス画像では得られないディテールはぼやけてしまうという問題がある。また、フィルタリングによりランダムなノイズは低減できるものの、雨粒、雪等の外乱物は除去できないという問題がある。これらの問題を踏まえつつ、本開示の実施の形態について詳細に説明する。
＜１．第１の実施の形態＞
［画像処理装置の構成例］
（画像処理装置の各部について）
　図１は、第１の実施の形態に係る画像処理装置（画像処理装置１）の構成例を示すブロック図である。画像処理装置１は、例えば、画像入力部１０１と、位置合わせ部１０２と、エッジ検出部１０３と、第１フィルタ係数算出部１０４と、ディテール検出部１０５と、第２フィルタ係数算出部１０６と、外乱物検出部１０７と、第３フィルタ係数算出部１０８と、画像処理部の一例であるフィルタ処理部１０９と、出力部１１０とを有している。
　画像入力部１０１は、画像が入力される構成である。画像入力部１０１は、画像処理装置１のインタフェースであっても良いし、通信等により画像が入力される場合は、通信部であっても良い。第１の実施の形態では、画像入力部１０１に対して、例えば同一の視点で同期して得られるデプス画像Ｄ及び入力画像Ｉが入力される。なお、デプス画像Ｄ及び入力画像Ｉとの間で、視点や同期の多少のずれがあっても構わない。
　デプス画像Ｄは、ミリ波レーダ、レーザーレーダ、超音波センサ、ステレオカメラ等のデプスセンサから得られる画像であり、各画素に深度値が付与された画像である。入力画像Ｉは、例えば、撮像装置により撮像された可視画像（可視光画像）である。なお、撮像装置は、画像処理装置１と一体のものでも良いし、別体のものであっても良い。
　位置合わせ部１０２は、画像入力部１０１に入力されたデプス画像Ｄと入力画像Ｉとの位置合わせを行う。位置合わせ部１０２による処理が行われたデプス画像Ｄは、エッジ検出部１０３に出力される。また、位置合わせ部１０２による処理が行われた入力画像Ｉは分岐され、ディテール検出部１０５、外乱物検出部１０７及びフィルタ処理部１０９のそれぞれに対して出力される。
　エッジ検出部１０３は、デプス画像Ｄに基づいて公知の方法によりエッジを検出する。本実施の形態に係るエッジ検出部１０３は、各画素に前景（背景でも良い）の成分がどれだけ含まれているかを、画素値（例えば、輝度）に基づいて検出する。エッジ検出部１０３は、エッジの検出結果を第１フィルタ係数算出部１０４に出力する。
　第１フィルタ係数算出部１０４は、エッジ検出部１０３により検出されたエッジを残すように、第１フィルタ係数ａjを算出する。なお、第１フィルタ係数ａjの具体例については後述する。第１フィルタ係数算出部１０４は、算出した第１フィルタ係数ａjをフィルタ処理部１０９に出力する。
　ディテール検出部１０５は、位置合わせ部１０２から供給される入力画像Ｉに基づいて、入力画像Ｉに含まれるディテールを公知の方法により検出する。本実施の形態に係るディテール検出部１０５は、各画素に例えば手前側に位置する物体のディテール成分がどれだけ含まれているかを、画素値（例えば、輝度）に基づいて検出する。ディテール検出部１０５は、ディテールの検出結果を第２フィルタ係数算出部１０６に出力する。
　第２フィルタ係数算出部１０６は、ディテール検出部１０５により検出されたディテールを残すように、第２フィルタ係数ｂjを算出する。なお、第２フィルタ係数ｂjの具体例については後述する。第２フィルタ係数算出部１０６は、算出した第２フィルタ係数ｂjをフィルタ処理部１０９に出力する。
　外乱物検出部１０７は、位置合わせ部１０２から供給される入力画像Ｉに含まれる外乱物を検出する。実施の形態に係る外乱物は、大気中を飛来する粒状（点状）の微少物である。外乱物は、具体的には、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む。
　外乱物検出部１０７は、対象となる外乱物に適した公知の方法で、入力画像Ｉに含まれる外乱物を検出する。例えば、外乱物検出部１０７は、時間方向の情報を用いた孤立点検出により雨粒や雪を検出しても良い。また、外乱物検出部１０７は、ダークチャンネルという局所領域におけるＲ，Ｇ，Ｂの最小値を用いて霧や塵埃等の煙霧の密度を推定し、推定した煙霧の密度から透過率を算出することにより霧等を検出しても良い。また、これらの煙霧の透過率を精度良く検出する手法として、本出願人は、特願２０１７－１８６０１９を提案している。係る出願で開示された事項を適用して、外乱物検出部１０７が霧等を検出するようにしても良い。
　なお、外乱物検出部１０７は、各画素に外乱物の成分がどれだけ含まれているかを、画素値（例えば、輝度）に基づいて検出できるようにしても良い。
　第３フィルタ係数算出部１０８は、外乱物検出部１０７により検出された外乱物を打ち消すように、第３フィルタ係数ｃjを算出する。なお、第３フィルタ係数ｃjの具体例については後述する。第３フィルタ係数算出部１０８は、算出した第３フィルタ係数ｃjをフィルタ処理部１０９に出力する。
　フィルタ処理部１０９は、例えば、位置合わせ部１０２による位置合わせがなされた入力画像Ｉに対して、フィルタ係数を使用したフィルタ処理（フィルタリング）を行う。係るフィルタ処理で使用されるフィルタ係数は、少なくとも、ディテールの検出結果及び外乱物の検出結果に基づいて設定される係数であり、実施の形態では、更に、エッジの検出結果に基づいて設定される係数である。より具体的には、フィルタ係数は、第１フィルタ係数ａj、第２フィルタ係数ｂj及び第３フィルタ係数ｃjに基づく情報、例えば、第１フィルタ係数ａj、第２フィルタ係数ｂj及び第３フィルタ係数ｃjを掛け合わせたものを正規化することにより設定される係数である。フィルタ処理部１０９は、フィルタ処理を行うことにより得られた画像である出力画像Ｉ'を出力部１１０に出力する。
　出力部１１０は、例えば、出力画像Ｉ'を表示するディスプレイである。なお、出力画像Ｉ'が、画像処理装置１と異なる外部装置が有するディスプレイに表示されても良い。この場合、出力部１１０は、外部装置に出力画像Ｉ'を伝送するための通信部（有線又は無線による通信かは問わない）であっても良い。また、出力画像Ｉ'は、空間に存在する物体に投射されても良く、この場合、出力部１１０は、所謂、プロジェクションマッピングを実現するための構成であっても良い。
（デプスセンサについて）
　上述したように、デプス画像Ｄは、デプスセンサから得られる画像である。デプスセンサは、検出性能に応じて、外乱物を透過するセンサと、外乱物を透過しないセンサとに区分することができる。区分の一例を下記の表１に示す。
Figure JPOXMLDOC01-appb-T000001
　表１では、デプスセンサの種類の一例として、周波数が７７ＧＨｚ（ギガヘルツ）のミリ波レーダ、周波数が２４ＧＨｚのミリ波レーダ、レーザーレーダ、超音波センサ及びカメラが示されている。例示されたデプスセンサのうち、ミリ波レーダが外乱物を透過するセンサである。また、例示されたデプスセンサのうち、レーザーレーダ、超音波センサ及びカメラは、外乱物を透過しないセンサである。
　第１の実施の形態に係るデプス画像Ｄは、外乱物を透過するデプスセンサに基づいて得られる画像である。即ち、第１の実施の形態に係るデプス画像Ｄには外乱物は表れない。そこで、第１の実施の形態では入力画像Ｉから外乱物を検出するようにしている。
［フィルタ係数の例］
　次に、画像処理装置１のフィルタ処理部１０９で用いられるフィルタ係数の具体例について説明する。図２Ａは、入力画像Ｉの一例を示している。入力画像Ｉには、手前側に位置する物体ＡＡ、背景ＢＢ及び外乱物ＣＣが含まれる。本例における外乱物ＣＣは、例えば、雨粒である。また、入力画像Ｉには、物体ＡＡのエッジＥＧと、物体ＡＡのディテールＤＴが含まれる。図２Ａでは、物体ＡＡのディテールＤＴがハッチング（複数の斜線）で示されている。なお、図示が煩雑となることを防止するために、外乱物やディテールの一部のみに参照符号を付している。他の図についても同様である。
　図２Ｂは、図２Ａに示した入力画像Ｉに対応するデプス画像Ｄの一例を示している。デプス画像Ｄは、手前側に位置する物体ＡＡと、背景ＢＢと、物体ＡＡと背景ＢＢとの境界であるエッジＥＧを含む。物体ＡＡ及び背景ＢＢにはハッチングを付している。なお、デプス画像Ｄは、デプスセンサに基づく画像であるので、距離が異なる物体間の境界、即ち、エッジＥＧを含むものの物体ＡＡのディテールは含まれない。また、上述したように、本実施の形態に係るデプスセンサは、外乱物ＣＣを透過するセンサであることから、デプス画像Ｄには外乱物ＣＣは表れない。
　図２Ｃに示すように、第１の実施の形態では、デプス画像Ｄに含まれるエッジＥＧの検出結果に基づいて、第１フィルタ係数ａjが算出（生成）される。また、入力画像Ｉに含まれるディテールＤＴの検出結果に基づいて、第２フィルタ係数ｂjが算出される。また、入力画像Ｉに含まれる外乱物ＣＣの検出結果に基づいて、第３フィルタ係数ｃjが算出される。フィルタ処理部１０９は、第１フィルタ係数ａj、第２フィルタ係数ｂj及び第３フィルタ係数ｃjに基づいて、フィルタ処理に用いるフィルタ係数を設定する。
　フィルタ係数について、更に詳細に説明する。図３Ａは図２Ａに示した入力画像Ｉを示す図であり、図３Ｂは図２Ｂに示したデプス画像Ｄを示す図である。フィルタ係数は、例えば、ブロック単位で設定される。本実施の形態では、５画素×５画素のブロックを例にして説明するが、ブロックの大きさは適宜、変更することができる。図３Ａ及び図３Ｂでは、画像中の同一位置に対応するブロックＢＬが点線の矩形により模式的に示されている。係るブロックＢＬは、物体ＡＡ、背景ＢＢ、外乱物ＣＣ、エッジＥＧ及びディテールＤＴを含むブロックである。
　図３Ｃは、入力画像Ｉにおける所定のブロックＢＬを拡大して示した図である。図３Ｃに示すブロックＢＬにおいてハッチングが付された画素は、外乱物ＣＣ（本例では雨粒を）含む画素である。
　第１フィルタ係数算出部１０４は、デプス画像Ｄのエッジ（構造線）の検出結果に基づいて第１フィルタ係数ａjを算出する。第１フィルタ係数ａjは、例えば、物体ＡＡの成分が多く含まれているほど重みが大きく（重く）なるように係数が設定される。画素に含まれる背景ＢＢの成分が多く含まれているほど重みが小さく（軽く）なるように、係数が設定されても良い。
　図４Ａは、第１フィルタ係数ａjの一例を示している。図４Ａに示すように、物体ＡＡのみが含まれる画素には、係数として「１」が設定される。一方、背景ＢＢのみに対応する画素には、係数として「０」が設定される。エッジＥＧが跨ぐ画素には、例えば、画素に含まれる物体ＡＡの成分の度合いに応じて係数が設定される。例えば、エッジＥＧが跨ぐブロックＢＬの中央の画素（以下、中心画素と適宜称する）は、比較的、物体ＡＡの成分を多く含まれる。このような画素に対しては、重みが大きくなるように、係数として例えば「０．８」が設定される。なお、エッジＥＧを跨ぐ画素に対して係数として「０」が設定されることがないので、画像特性の一つであるエッジＥＧを保持することができる。
　第２フィルタ係数算出部１０６は、入力画像Ｉに含まれるディテールの検出結果に基づいて第２フィルタ係数ｂjを算出する。第２フィルタ係数ｂjは、例えば、物体ＡＡのディテールが多く含まれているほど重みが大きく（重く）設定される係数である。
　図４Ｂは、第２フィルタ係数ｂjの一例を示している。例えば、ディテールを多く含むブロックＢＬの中心画素には、係数として例えば「１」が設定される。また、例えば、中心画素の左側に隣接する画素にはディテールは含まれないので、係数として例えば「０」が設定される。また、例えば、中心画素の右側に隣接する画素にはディテールが少し含まれるので、係数として例えば「０．３」が設定され、当該画素の下側の画素には、ディテールが僅かに含まれるので、係数として例えば「０．１」が設定される。以上のように、ディテールが含まれる画素には、重みが付加される（係数として「０」が設定されない）ので、画像特性の一つであるディテールを保持することができる。
　第３フィルタ係数算出部１０８は、外乱物検出部１０７による外乱物の検出結果に基づいて第３フィルタ係数ｃjを算出する。第３フィルタ係数ｃjは、例えば、外乱物ＣＣを除去するように設定される係数である。
　図４Ｃは、第３フィルタ係数ｃjの一例を示している。例えば、外乱物ＣＣを含む画素には、係数として例えば「０」が設定され、外乱物ＣＣを含まない画素には、係数として例えば「１」が設定される。このように、外乱物検出部１０７による外乱物ＣＣの検出結果を用いることにより、ある画素が外乱物ＣＣに対応する画素であってもインペイント処理により効果的に外乱物を除去することが可能となる。
　なお、エッジやディテールと同様に、画素に含まれる外乱物の度合いを外乱物検出部１０７が検出するようにし、当該度合いに応じて係数の重みが細かく設定されるようにしても良い。即ち、外乱物を含む画素に対して設定される係数は、外乱物を除去する上で好ましくは「０」であるものの「０」に近い値であっても良い。
　第１フィルタ係数ａj、第２フィルタ係数ｂj及び第３フィルタ係数ｃjを受け取ったフィルタ処理部１０９は、それらのフィルタ係数を掛け合わせたフィルタ係数を生成する。係るフィルタ係数の一例が図４Ｄに示されている。フィルタ処理部１０９は、画像全体の輝度レベルの変動を防止するために、図４Ｄに示したフィルタ係数の総和が１となるように正規化したフィルタ係数を生成する。以上の処理が他のブロックＢＬにも同様に行われ、画素毎の係数が得られる。フィルタ処理部１０９は、生成したフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Ｉに対するフィルタ処理を行い、出力画像Ｉ'を生成する。
［処理の流れ］
　図５のフローチャートを参照して、第１の実施の形態に係る画像処理装置１で行われる処理の流れについて説明する。
　ステップＳＴ１０１では、画像入力処理が行われ、画像入力部１０１にデプス画像Ｄ及び入力画像Ｉが入力される。そして、処理がステップＳＴ１０２に進む。
　ステップＳＴ１０２では、画像位置合わせ処理が行われる。係る処理では、位置合わせ部１０２がデプス画像Ｄと入力画像Ｉとの位置合わせを行う。位置合わせがなされたデプス画像Ｄがエッジ検出部１０３に供給される。また、位置合わせがなされた入力画像Ｉがディテール検出部１０５、外乱物検出部１０７及びフィルタ処理部１０９のそれぞれに対して供給される。なお、第１の実施の形態では、位置合わせ後の入力画像Ｉが第１及び第２の画像に対応する。
　ステップＳＴ１０３～ステップＳＴ１０６では、位置合わせがなされた入力画像Ｉに含まれるディテールをディテール検出部１０５が検出するディテール検出処理が行われる（ステップＳＴ１０４）。そして、ディテールの検出結果に基づいて、第２フィルタ係数算出部１０６が第２フィルタ係数を算出する第２フィルタ係数算出処理が行われる（ステップＳＴ１０５）。第２フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ１０３，ＳＴ１０６）。ステップＳＴ１０３～ステップＳＴ１０６までの処理により第２フィルタ係数ｂjが算出され、算出された第２フィルタ係数ｂjがフィルタ処理部１０９に供給される。
　ステップＳＴ１０７～ステップＳＴ１１０では、位置合わせがなされた入力画像Ｉに含まれる外乱物を外乱物検出部１０７が検出する外乱物検出処理が行われる（ステップＳＴ１０８）。そして、外乱物の検出結果に基づいて、第３フィルタ係数算出部１０８が第３フィルタ係数を算出する第３フィルタ係数算出処理が行われる（ステップＳＴ１０９）。第３フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ１０７，ＳＴ１１０）。ステップＳＴ１０７～ステップＳＴ１１０までの処理により第３フィルタ係数ｃjが算出され、算出された第３フィルタ係数ｃjがフィルタ処理部１０９に供給される。
　ステップＳＴ１１１～ステップＳＴ１１４では、位置合わせがなされたデプス画像Ｄに基づいてエッジ検出部１０３がエッジを検出するエッジ検出処理が行われる（ステップＳＴ１１２）。そして、エッジの検出結果に基づいて、第１フィルタ係数算出部１０４が第１フィルタ係数を算出する第１フィルタ係数算出処理が行われる（ステップＳＴ１１３）。第１フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ１１１，ＳＴ１１４）。ステップＳＴ１１１～ステップＳＴ１１４までの処理により第１フィルタ係数ａjが算出され、算出された第１フィルタ係数ａjがフィルタ処理部１０９に供給される。
　ステップＳＴ１１５では、フィルタ処理部１０９が、第１フィルタ係数ａj、第２フィルタ係数ｂj及び第３フィルタ係数ｃjを掛け合わせたフィルタ係数を生成する。フィルタ処理部１０９は、画像全体の輝度レベルの変動を防止するために、フィルタ係数の総和が１となるように正規化したフィルタ係数を生成する。そして、フィルタ処理部１０９は、正規化後のフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Ｉに対するフィルタ処理を行い、出力画像Ｉ'を生成する。フィルタ処理部１０９により行われるフィルタ処理は、下記の数式１により表すことができる。
Figure JPOXMLDOC01-appb-M000002
　数式１におけるｉは現在画素、ｊは現在画素の周辺画素、Ｄはデプス画像、Ｉは入力画像、Ｓは外乱物検出結果、１／Ｚは正規化処理、Ｉ'は出力画像をそれぞれ示している。
　なお、フィルタ処理部１０９は、ブロックＢＬ単位で係数が得られる毎にフィルタ処理を行うようにしても良いし、全ての画素に対応する係数が算出された後にフィルタ処理を行うようにしても良い。
　なお、図示はしていないが、フィルタ処理部１０９によるフィルタ処理により生成された出力画像Ｉ'が出力部１１０に供給される。そして、出力部１１０により出力画像Ｉ'が表示されたり、出力画像Ｉ'が外部装置に対して出力され、アプリケーションに応じた出力画像Ｉ'の使用がなされる。
［効果の一例］
　図６は、第１の実施の形態により得られる効果の一例を説明するための図である。図６Ａは入力画像Ｉの一例を示し、図６Ｂは出力画像Ｉ'の一例を示す。第１の実施の形態では、デプス画像Ｄの画像特徴（平坦、エッジ等）及び入力画像Ｉの画像特徴（平坦、エッジ、ディテール等）に応じてフィルタの重みを設定し、且つ、外乱物の検出結果に応じたフィルタ係数を設定している。より、具体的には、エッジ及びディテールを保持するようにフィルタ係数を設定すると共に、検出された外乱物を除去するようにフィルタ係数を設定する。従って、フィルタ処理により得られる出力画像Ｉ'は、図６Ｂに模式的に示すように、エッジＥＧ及びディテールＤＴを保持しながら外乱物ＣＣが除去された画像となる。従って、画像に外乱物が含まれる場合でも画像の高画質化、高視認化を図ることができる。
＜２．第２の実施の形態＞
　次に、第２の実施の形態について説明する。なお、第１の実施の形態で説明した構成と同一、同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。また、特に断らない限り、第１の実施の形態で説明した事項は、第２の実施の形態に適用することができる。
　第２の実施の形態が第１の実施の形態と異なる点の一つは、第２の実施の形態に係るデプス画像Ｄが外乱物を透過しないデプスセンサに基づいて得られる画像である点である。従って、デプス画像Ｄには外乱物が含まれるので、第２の実施の形態では、デプス画像Ｄに基づいて外乱物を検出するようにしている。
［画像処理装置の構成例］
　図７は、第２の実施の形態に係る画像処理装置（画像処理装置２）の構成例を示すブロック図である。以下では、画像処理装置２と第１の実施の形態に係る画像処理装置１とが相違する点を中心に説明する。
　画像処理装置２が有する画像入力部１０１にデプス画像Ｄ及び入力画像Ｉが入力される。そして、位置合わせ部１０２により、デプス画像Ｄ及び入力画像Ｉの位置合わせが行われる。第２の実施の形態では、位置合わせ後のデプス画像Ｄが外乱物検出部１０７に供給される。なお、第２の実施の形態では、位置合わせ後の入力画像Ｉが第１の画像に対応し、位置合わせ後のデプス画像Ｄが第２の画像に対応する。
　ここで、上述したように、第２の実施の形態に係るデプス画像Ｄは、外乱物を透過しないデプスセンサに基づいて得られる画像である。このため、図８Ａに示す入力画像Ｉに含まれる外乱物ＣＣは、図８Ｂに示すように、デプス画像Ｄにも含まれる（表れる）。外乱物検出部１０７は、位置合わせ後のデプス画像Ｄに基づいて、当該デプス画像Ｄに含まれる外乱物を検出し、検出結果を第３フィルタ係数算出部１０８に出力する。図８Ｃに示すように、第３フィルタ係数算出部１０８は、外乱物の検出結果に基づいて、第３フィルタ係数ｃjを算出する。その他の構成の動作は、第１の実施の形態と同様であるので、重複した説明を省略する。
［処理の流れ］
　図９のフローチャートを参照して、第２の実施の形態に係る画像処理装置２で行われる処理の流れについて説明する。
　ステップＳＴ２０１では、画像入力処理が行われ、画像入力部１０１にデプス画像Ｄ及び入力画像Ｉが入力される。そして、処理がステップＳＴ２０２に進む。
　ステップＳＴ２０２では、画像位置合わせ処理が行われる。係る処理では、位置合わせ部１０２がデプス画像Ｄと入力画像Ｉとの位置合わせを行う。位置合わせがなされたデプス画像Ｄがエッジ検出部１０３及び外乱物検出部１０７のそれぞれに対して供給される。また、位置合わせがなされた入力画像Ｉがディテール検出部１０５及びフィルタ処理部１０９のそれぞれに対して供給される。
　ステップＳＴ２０３～ステップＳＴ２０６では、位置合わせがなされた入力画像Ｉに含まれるディテールをディテール検出部１０５が検出するディテール検出処理が行われる（ステップＳＴ２０４）。そして、ディテールの検出結果に基づいて、第２フィルタ係数算出部１０６が第２フィルタ係数を算出する第２フィルタ係数算出処理が行われる（ステップＳＴ２０５）。第２フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ２０３，ＳＴ２０６）。ステップＳＴ２０３～ステップＳＴ２０６までの処理により第２フィルタ係数ｂjが算出され、算出された第２フィルタ係数ｂjがフィルタ処理部１０９に供給される。
　ステップＳＴ２０７～ステップＳＴ２１０では、位置合わせがなされたデプス画像Ｄに基づいてエッジ検出部１０３がエッジを検出するエッジ検出処理が行われる（ステップＳＴ２０８）。そして、エッジの検出結果に基づいて、第１フィルタ係数算出部１０４が第１フィルタ係数を算出する第１フィルタ係数算出処理が行われる（ステップＳＴ２０９）。第１フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ２０７，ＳＴ２１０）。ステップＳＴ２０７～ステップＳＴ２１０までの処理により第１フィルタ係数ａjが算出され、算出された第１フィルタ係数ａjがフィルタ処理部１０９に供給される。
　ステップＳＴ２１１～ステップＳＴ２１４では、位置合わせがなされたデプス画像Ｄに含まれる外乱物を外乱物検出部１０７が検出する外乱物検出処理が行われる（ステップＳＴ２１２）。そして、外乱物の検出結果に基づいて、第３フィルタ係数算出部１０８が第３フィルタ係数を算出する第３フィルタ係数算出処理が行われる（ステップＳＴ２１３）。第３フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ２１１，ＳＴ２１４）。ステップＳＴ２１１～ステップＳＴ２１４までの処理により第３フィルタ係数ｃjが算出され、算出された第３フィルタ係数ｃjがフィルタ処理部１０９に供給される。
　ステップＳＴ２１５では、フィルタ処理部１０９が、第１フィルタ係数ａj、第２フィルタ係数ｂj及び第３フィルタ係数ｃjを掛け合わせたフィルタ係数を生成する。フィルタ処理部１０９は、画像全体の輝度レベルの変動を防止するために、フィルタ係数の総和が１となるように正規化したフィルタ係数を生成する。そして、フィルタ処理部１０９は、正規化後のフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Ｉに対するフィルタ処理を行い、出力画像Ｉ'を生成する。
　なお、図示はしていないが、フィルタ処理部１０９によるフィルタ処理により生成された出力画像Ｉ'が出力部１１０に供給される。そして、出力部１１０により出力画像Ｉ'が表示されたり、出力画像Ｉ'が外部装置に対して出力され、アプリケーションに応じた出力画像Ｉ'の使用がなされる。
　以上説明した第２の実施の形態においても、第１の実施の形態と同様の効果が得られる。
＜３．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２は、図１０に示した応用例の車外情報検出ユニット７４００に適用することができる。また上述した実施の形態に係る出力部１１０は、音声画像出力部７６７０に適用することができる。
　また、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２の少なくとも一部の構成要素は、図１０に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２が、図１０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
＜４．変形例＞
　以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
　第１の実施の形態では、エッジ検出部１０３がデプス画像Ｄに基づいてエッジを検出するようにしたが、これに限定されるものではない。入力画像Ｉにもエッジが含まれることから、エッジ検出部１０３が入力画像Ｉに基づいてエッジを検出するようにしても良い。例えば、デプスセンサの不具合等によりデプス画像Ｄを得ることができない場合でも、第１フィルタ係数算出部１０４が、エッジの検出結果に基づく第１フィルタ係数を算出することができる。なお、対象物（被写体）までの距離等に応じて、エッジを検出するための画像を動的に変化させても良い。
　また、エッジ検出部１０３がデプス画像Ｄ及び入力画像Ｉに基づいてエッジを検出するようにしても良い。２枚の画像を使用することによりエッジの検出精度を向上させることができる。
　また、第２の実施の形態では、外乱物検出部１０７がデプス画像Ｄに基づいて外乱物を検出するようにしたが、これに限定されるものではない。入力画像Ｉにも外乱物が含まれることから、更に、外乱物検出部１０７が入力画像Ｉに基づいて外乱物を検出するようにしても良い。２枚の画像を使用することによりエッジの検出精度を向上させることができる。この場合に、外乱物検出部１０７が、デプス画像Ｄ及び入力画像Ｉに含まれる外乱物を画像毎に異なる方法で検出するようにしても良い。これにより、外乱物の種類等による検出漏れを防止することができる。
　上述した入力画像Ｉとして可視画像を例にして説明したが、これに限定されるものではなく、入力画像Ｉは赤外線画像等の可視光外画像（非可視光画像）であっても良い。また、可視画像と可視光外画像とを合成した画像であっても良い。係る画像は対象物の視認性が向上し得る場合があるので、エッジ、ディテール及び外乱物の検出を容易とすることができる。
　上述した実施の形態では、画像の特性としてエッジ、ディテールを挙げたが、他の特性（例えば、グラデーション（階調））に関しても本技術を適用することができる。
　上述した実施の形態に係るフィルタ処理部の機能のうち、フィルタ処理に用いるフィルタ係数を設定する機能と、当該フィルタ係数に基づくフィルタ処理を行う機能とが、異なる構成（例えば、ＩＣ（Integrated Circuit）等）により実行されるようにしても良い。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
　本開示は、以下の構成も採ることができる。
（１）
　少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
（２）
　前記第１画像及び前記第２画像は、所定のデプス画像と位置合わせされた同一の入力画像である
　（１）に記載の画像処理装置。
（３）
　前記第１画像は、前記第２画像に対応するデプス画像とは異なる入力画像である
　（１）に記載の画像処理装置。
（４）
　前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
　（２）に記載の画像処理装置。
（５）
　前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
　（２）に記載の画像処理装置。
（６）
　前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
　（３）に記載の画像処理装置。
（７）
　前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
　（６）に記載の画像処理装置。
（８）
　前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
　（６）に記載の画像処理装置。
（９）
　前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第１フィルタ係数と、前記ディテールの検出結果に基づいて設定される第２フィルタ係数と、前記外乱物の検出結果に基づいて設定される第３フィルタ係数とに基づく情報を正規化した係数である
　（４）に記載の画像処理装置。
（１０）
　前記第１フィルタ係数は前記エッジを残すように設定される係数であり、前記第２フィルタ係数は前記ディテールを残すように設定される係数であり、前記第３フィルタ係数は前記外乱物を除去するように設定される係数である
　（９）に記載の画像処理装置。
（１１）
　前記外乱物を含む画素に対して前記第３フィルタ係数として０が設定される
　（１０）に記載の画像処理装置。
（１２）
　前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
　（２）から（１１）までの何れかに記載の画像処理装置。
（１３）
　前記外乱物は、大気中を飛来する粒状の微少物である
　（１）から（１２）までの何れかに記載の画像処理装置。
（１４）
　前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
　（１３）に記載の画像処理装置。
（１５）
　前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
　（２）から（１４）までの何れかに記載の画像処理装置。
（１６）
　前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
　（１）から（１５）までの何れかに記載の画像処理装置。
（１７）
　画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
（１８）
　画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。
１，２・・・画像処理装置、１０２・・・位置合わせ部、１０３・・・エッジ検出部、１０４・・・・第１フィルタ係数算出部、１０５・・・ディテール検出部、１０６・・・第２フィルタ係数算出部、１０７・・・外乱物検出部、１０８・・・第３フィルタ係数算出、１０９・・・フィルタ処理部、１１０・・・出力部

Claims (18)

  1. 　少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
  2. 　前記第１画像及び前記第２画像は、所定のデプス画像と位置合わせされた同一の入力画像である
    　請求項１に記載の画像処理装置。
  3. 　前記第１画像は、前記第２画像に対応するデプス画像とは異なる入力画像である
    　請求項１に記載の画像処理装置。
  4. 　前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
    　請求項２に記載の画像処理装置。
  5. 　前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
    　請求項２に記載の画像処理装置。
  6. 　前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
    　請求項３に記載の画像処理装置。
  7. 　前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
    　請求項６に記載の画像処理装置。
  8. 　前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
    　請求項６に記載の画像処理装置。
  9. 　前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第１フィルタ係数と、前記ディテールの検出結果に基づいて設定される第２フィルタ係数と、前記外乱物の検出結果に基づいて設定される第３フィルタ係数とに基づく情報を正規化した係数である
    　請求項４に記載の画像処理装置。
  10. 　前記第１フィルタ係数は前記エッジを残すように設定される係数であり、前記第２フィルタ係数は前記ディテールを残すように設定される係数であり、前記第３フィルタ係数は前記外乱物を除去するように設定される係数である
    　請求項９に記載の画像処理装置。
  11. 　前記外乱物を含む画素に対して前記第３フィルタ係数として０が設定される
    　請求項１０に記載の画像処理装置。
  12. 　前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
    　請求項２に記載の画像処理装置。
  13. 　前記外乱物は、大気中を飛来する粒状の微少物である
    　請求項１に記載の画像処理装置。
  14. 　前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
    　請求項１３に記載の画像処理装置。
  15. 　前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
    　請求項２に記載の画像処理装置。
  16. 　前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
    　請求項１に記載の画像処理装置。
  17. 　画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
  18. 　画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。
PCT/JP2018/045093 2018-03-19 2018-12-07 画像処理装置、画像処理方法及びプログラム WO2019181096A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880091137.9A CN111868778B (zh) 2018-03-19 2018-12-07 图像处理装置、图像处理方法以及存储介质
JP2020507346A JP7160085B2 (ja) 2018-03-19 2018-12-07 画像処理装置、画像処理方法及びプログラム
US16/979,797 US11436706B2 (en) 2018-03-19 2018-12-07 Image processing apparatus and image processing method for improving quality of images by removing weather elements

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-050911 2018-03-19
JP2018050911 2018-03-19

Publications (1)

Publication Number Publication Date
WO2019181096A1 true WO2019181096A1 (ja) 2019-09-26

Family

ID=67986091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045093 WO2019181096A1 (ja) 2018-03-19 2018-12-07 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11436706B2 (ja)
JP (1) JP7160085B2 (ja)
CN (1) CN111868778B (ja)
WO (1) WO2019181096A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591727A (zh) * 2021-08-03 2021-11-02 彭刚 一种配送机器人交通信号识别装置
US20240212097A1 (en) * 2022-12-22 2024-06-27 Faurecia Irystec Inc. Image enhancement targeted at addressing degradations caused by environmental conditions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289786A (ja) * 2003-03-05 2004-10-14 Toyota Motor Corp 撮像装置
WO2017104291A1 (ja) * 2015-12-18 2017-06-22 三菱電機株式会社 画像処理装置及び画像処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
JP4920268B2 (ja) * 2006-02-23 2012-04-18 株式会社日立ハイテクノロジーズ 半導体プロセスモニタ方法およびそのシステム
JP4776587B2 (ja) * 2007-06-13 2011-09-21 国立大学法人北海道大学 画像処理装置，運転支援装置
AU2009201637B2 (en) * 2009-04-24 2011-08-11 Canon Kabushiki Kaisha Processing multi-view digital images
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
JP5442353B2 (ja) 2009-08-10 2014-03-12 株式会社Ｉｈｉ 車両操縦用画像表示装置および方法
CN102737370B (zh) * 2011-04-02 2015-07-01 株式会社理光 检测图像前景的方法及设备
WO2013079602A1 (en) * 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatio-temporal disparity-map smoothing by joint multilateral filtering
JP2014143512A (ja) * 2013-01-23 2014-08-07 Sharp Corp 画像処理装置及び画像処理方法
RU2013104894A (ru) * 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью сохраняющего контуры подавления шума
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
CN103439756B (zh) * 2013-07-31 2016-02-10 中国人民解放军理工大学 一种基于粒子成像测速的自然降水粒子微物理特征测量方法
CN104599256B (zh) * 2014-12-31 2017-12-08 中国科学院深圳先进技术研究院 基于单幅图像的去除图像雨线的方法和系统
JP6418961B2 (ja) 2015-01-28 2018-11-07 シャープ株式会社 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム
US9508126B2 (en) * 2015-02-17 2016-11-29 Adobe Systems Incorporated Image haze removal using fast constrained transmission estimation
TWI608447B (zh) * 2015-09-25 2017-12-11 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
JP6578237B2 (ja) 2016-03-31 2019-09-18 株式会社吉野工業所 吐出容器
CN107240075A (zh) * 2017-05-27 2017-10-10 上海斐讯数据通信技术有限公司 一种雾霾图像增强处理方法及系统
CN107240084B (zh) * 2017-06-14 2021-04-02 湘潭大学 一种单幅图像去雨方法及装置
EP3462408A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing A method for filtering spurious pixels in a depth-map
US11367175B2 (en) * 2018-03-22 2022-06-21 Hitachi Astemo, Ltd. In-vehicle stereo camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289786A (ja) * 2003-03-05 2004-10-14 Toyota Motor Corp 撮像装置
WO2017104291A1 (ja) * 2015-12-18 2017-06-22 三菱電機株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US11436706B2 (en) 2022-09-06
JPWO2019181096A1 (ja) 2021-03-11
CN111868778B (zh) 2024-05-21
CN111868778A (zh) 2020-10-30
US20210042886A1 (en) 2021-02-11
JP7160085B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
WO2017212928A1 (ja) 画像処理装置、画像処理方法、および車両
JPWO2018092379A1 (ja) 画像処理装置と画像処理方法
JPWO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7024737B2 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
WO2019155719A1 (ja) キャリブレーション装置とキャリブレーション方法およびプログラム
JP2018029280A (ja) 撮像装置と撮像方法
JPWO2018070266A1 (ja) 画像処理装置および画像処理方法
US11585898B2 (en) Signal processing device, signal processing method, and program
CN111587572A (zh) 图像处理装置、图像处理方法和程序
JP7160085B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3669358B1 (en) Server, method, non-transitory computer-readable medium, and system
CN113614732A (zh) 信息处理设备及信息处理方法
WO2021125076A1 (ja) 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910828

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020507346

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18910828

Country of ref document: EP

Kind code of ref document: A1