WO2021124921A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2021124921A1
WO2021124921A1 PCT/JP2020/045174 JP2020045174W WO2021124921A1 WO 2021124921 A1 WO2021124921 A1 WO 2021124921A1 JP 2020045174 W JP2020045174 W JP 2020045174W WO 2021124921 A1 WO2021124921 A1 WO 2021124921A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
unit
line
current line
count value
Prior art date
Application number
PCT/JP2020/045174
Other languages
English (en)
French (fr)
Inventor
宏介 長野
真 吉村
惇朗 小林
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/757,239 priority Critical patent/US20230007146A1/en
Publication of WO2021124921A1 publication Critical patent/WO2021124921A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and more particularly to an image processing device, an image processing method, and a program capable of reducing noise more effectively.
  • Patent Document 1 describes a technique for removing noise by performing smoothing processing on image data while preserving steep edges using an ⁇ filter.
  • Patent Document 2 describes a technique related to 3DNR (3-Dimensional Noise Reduction) that reduces noise by mixing two continuous two-dimensional frames on the time axis using a small number of frame buffers. There is.
  • Patent Document 2 requires a large-capacity buffer such as a frame buffer.
  • This technology was made in consideration of such a situation, and makes it possible to reduce noise more effectively with a small amount of hardware resources.
  • the image processing device of one aspect of the present technology is a processing target of a blending process that blends the input current line pixels and the already output past line pixels among a plurality of lines constituting the image.
  • a feedback rate setting unit that sets a feedback rate for the pixels of the current line based on a count value set for the pixels of the past line, and the pixels of the current line and the pixels according to the feedback rate.
  • a blending unit that blends the pixels of the past line and a calculation unit that calculates the count value set for the pixels of the current line, which represents the cumulative number of pixels blended with the pixels of the current line by the blending process. It is an image processing apparatus including.
  • the image processing apparatus blends the input current line pixels and the already output past line pixels among the plurality of lines constituting the image.
  • a feedback rate is set for the target pixel of the current line based on the count value set for the pixel of the past line, and the pixel of the current line and the pixel of the current line are set according to the feedback rate.
  • This is an image processing method that blends with the pixels of the past line and calculates the count value set for the pixels of the current line, which represents the cumulative number of pixels blended with the pixels of the current line by the blending process. ..
  • the current line which is the processing target of the blending process for blending the input current line pixel and the already output past line pixel among the plurality of lines constituting the image.
  • a feedback rate is set for the pixels of the past line based on the count value set for the pixels of the past line, and the pixels of the current line and the pixels of the past line are blended according to the feedback rate.
  • a count value set for the pixels of the current line which represents the cumulative number of pixels blended with the pixels of the current line by the blending process, is calculated.
  • FIG. 1 is a block diagram showing a configuration example of an in-vehicle camera system 1 according to an embodiment of the present technology.
  • the in-vehicle camera system 1 shown in FIG. 1 is used, for example, in an in-vehicle camera used for automatic driving and advanced driving system applications.
  • the in-vehicle camera system 1 is a system that takes an image of the surroundings of an automobile and performs noise reduction (NR) processing on the moving image obtained by taking the image.
  • NR noise reduction
  • the in-vehicle camera system 1 includes a lens L, a camera control unit 11, an image sensor 12, an analog front end 13, an A / D conversion unit 14, an image processing unit 15, a recognizer 16, and AD / ADAS control. It is composed of a unit 17, a storage 18, a D / A conversion unit 19, and a display unit 20.
  • the lens L guides the incident light from the subject to the image sensor 12, and forms an image of the subject on the light receiving surface of the image sensor 12.
  • the camera control unit 11 controls the operations of the image sensor 12, the analog front end 13, the A / D conversion unit 14, and the image processing unit 15. For example, the camera control unit 11 uses the result of NR processing by the image processing unit 15 to control the operation of each configuration so that better imaging can be performed.
  • the image sensor 12 is composed of a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the like. Electrons are accumulated in each pixel of the image sensor 12 for a certain period of time according to the image of the subject imaged on the light receiving surface via the lens L. A signal corresponding to the electrons stored in each pixel of the image sensor 12 is supplied to the analog front end 13.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the analog front end 13 performs analog processing such as amplification processing on the signal supplied from the image sensor 12.
  • the analog-processed signal is supplied to the A / D conversion unit 14.
  • the A / D conversion unit 14 converts the signal supplied from the analog front end 13 into digital image data.
  • the digital image data is supplied to the image processing unit 15.
  • the image processing unit 15 performs a cyclic 2DNR (2-Dimensional Noise Reduction) processing having a high-speed convergence function, which will be described later, on the digital image data supplied from the A / D conversion unit 14.
  • the digital image data subjected to the cyclic 2DNR processing is supplied to the camera control unit 11, the recognizer 16, the storage 18, and the D / A conversion unit 19.
  • the digital image data subjected to the patrol type 2DNR processing is supplied to the recognizer 16. Further, in the drive recorder application, the digital image data subjected to the cyclic 2DNR processing is supplied to the storage 18. For smart monitors and back monitors, the digital image data subjected to the cyclic 2DNR processing is supplied to the D / A conversion unit 19.
  • the recognizer 16 is configured by, for example, a DMS (Drive Monitoring System).
  • the recognizer 16 recognizes a vehicle, a person, a sign, a traffic signal, a white line, and the like around the vehicle on which the vehicle-mounted camera system 1 is mounted, based on the digital image data supplied from the image processing unit 15.
  • the recognizer 16 supplies the recognition result to the AD / ADAS control unit 17.
  • the AD / ADAS control unit 17 is configured to realize automatic driving (AD: Autonomous Driving) or advanced driving system (ADAS: Advanced Driver-Assistance Systems) of a vehicle equipped with the in-vehicle camera system 1.
  • the AD / ADAS control unit 17 controls the traveling of the vehicle based on the recognition result supplied from the recognizer 16.
  • the storage 18 is composed of an auxiliary storage device including internal or external storage such as a semiconductor memory or an HDD (Hard Disk Drive).
  • the storage 18 stores the digital image data supplied from the image processing unit 15.
  • the D / A conversion unit 19 converts the digital image data supplied from the image processing unit 15 into an analog signal.
  • the analog signal is supplied to the display unit 20.
  • the display unit 20 is composed of a monitor, a so-called smart room mirror, and the like.
  • the display unit 20 displays a moving image based on the analog signal supplied from the D / A conversion unit 19.
  • the camera control unit 11, the image sensor 12, the analog front end 13, the A / D conversion unit 14, and the image processing unit 15 shown by being surrounded by a broken line in FIG. 1 are combined into one sensor chip.
  • a built-in configuration can be adopted.
  • the recognizer 16 may also be incorporated in the same sensor chip.
  • the camera control unit 11, the image sensor 12, the analog front end 13, and the A / D conversion unit 14 are composed of one sensor chip, and the image processing unit 15 is incorporated in an independent chip. Can be adopted.
  • FIG. 2 is a block diagram showing a functional configuration example of the image processing unit 15.
  • the image processing unit 15 sets the noise amplitude calculation unit 41, the V-direction plane detection unit 42, the count value calculation unit 43, the line buffer unit 44, and the SNR (Signal-to-Noise Ratio) optimum feedback ratio. It is composed of a unit 45, a multiplication unit 46, an alpha blend processing unit 47, and a line buffer unit 48.
  • the image processing unit 15 is a vertical cyclic 2DNR circuit adapted to a RAW image in which pixels of the same color exist every two lines like a Bayer pixel array.
  • digital image data for each line constituting the image acquired by the image sensor 12 is supplied from the A / D conversion unit 14.
  • the image processing unit 15 sequentially performs a cyclic 2DNR process having a high-speed convergence function on the digital image data in line units according to the order supplied from the A / D conversion unit 14.
  • the line supplied from the A / D conversion unit 14 to the image processing unit 15 is used as the current line to be processed, and the pixel value X of one pixel among the plurality of pixels constituting the current line is used.
  • a pixel value obtained as a result of performing NR processing on a pixel that constitutes a line two lines before the current line and is perpendicular to a pixel having a pixel value X t 0.
  • iir Infinite Impulse Response
  • the SNR optimum feedback rate setting unit 45 supplies information representing the iir feedback rate set for each of a plurality of pixels constituting the current line to the multiplication unit 46.
  • the alpha blend processing by the alpha blend processing unit 47 is represented by the following equation (3).
  • Z t 0 ⁇ iir feedback rate
  • Z t 0 ⁇ iir feedback rate
  • the image processing unit 15 can converge the influence of the SNR on the pixel in which the edge is detected so as to be in a steady state at high speed. Therefore, a function in which the count value calculation unit 43 and the SNR optimum feedback rate setting unit 45 set the iir feedback rate capable of performing the optimum SNR NR processing is referred to as a high-speed convergence function.
  • the image processing unit 15 can perform NR processing using the line buffer unit 44 and the line buffer unit 48 having a small capacity as compared with a buffer having a large capacity such as a frame buffer, which is more effective with less hardware resources. It is possible to reduce noise.
  • the noise reduction process of FIG. 3 is started when the current line is supplied from the A / D conversion unit 14 to the image processing unit 15.
  • step S3 the image processing unit 15 performs output processing.
  • the output process will be described later with reference to the flowchart of FIG.
  • step S4 the image processing unit 15 determines whether or not the current line is the final line constituting the image acquired by imaging, and if it is determined that the current line is not the final line, the processing after step S1 is repeated. ..
  • step S4 if it is determined in step S4 that the current line is the final line, the process ends.
  • step S12 if a determination is made according to the detection result of step S2 of FIG. 3 and an edge is detected for the pixel to be determined, the process proceeds to step S13.
  • step S12 if no edge is detected for the pixel to be determined, the process proceeds to step S17.
  • the cyclic 2DNR process that mixes the pixel values of the pixels is called the cyclic 2DNR process that does not have a high-speed convergence function. In cyclic 2DNR processing without a high-speed convergence function, an appropriate iir feedback rate may not be set for each pixel.
  • Std c in Eq. (4) represents the standard deviation of the difference value for each pixel between the current line to be processed containing noise and the ideal current line not containing noise.
  • Std p in the equation (4) represents the standard deviation of the difference value for each pixel between the processed past line and the ideal past line containing no noise.
  • the horizontal axis represents t and the vertical axis represents the improvement effect of SNR. The same applies to FIGS. 6 and 7 described later.
  • FIG. 7 is a diagram comparing the improvement effect of SNR by the cyclic 2DNR processing having the high-speed convergence function and the cyclic 2DNR processing without the high-speed convergence function.
  • the theoretical maximum improvement effect of SNR of the cyclic 2DNR processing that can synthesize up to 32 lines in a pseudo manner is about 15.05 [dB].
  • the improvement effect of SNR has not converged.
  • FIG. 8 is a diagram showing an example of the improvement effect of SNR that can obtain the cyclic 2DNR processing having the high-speed convergence function as opposed to the cyclic 2DNR processing without the high-speed convergence function.
  • the horizontal axis represents t and the vertical axis represents the improvement effect of SNR.
  • the cyclic 2DNR processing having the high-speed convergence function can obtain a higher SNR improvement effect as opposed to the cyclic 2DNR processing without the high-speed convergence function.
  • the horizontal axis represents t and the vertical axis represents the pixel value.
  • FIG. 9 is a diagram showing response characteristics when the intensity of NR processing is low.
  • a in FIG. 9 shows an input value which is a pixel value of the input image.
  • the input image is an image including vertical edges in the vicinity of 65 lines.
  • B in FIG. 9 shows the response characteristics of the cyclic 2DNR processing without the high-speed convergence function.
  • a tailing phenomenon which is a phenomenon of dragging the pixels of the upper line, occurs.
  • C in FIG. 9 shows the response characteristics of the cyclic 2DNR processing having the high-speed convergence function of the present technology.
  • the tailing phenomenon hardly occurs as compared with the cyclic 2DNR processing (B in FIG. 9) having no high-speed convergence function.
  • FIG. 10 is a diagram showing response characteristics when the intensity of NR processing is high.
  • a in FIG. 10 shows an input value which is a pixel value of the input image.
  • the input image is an image including edges in the vertical direction in the vicinity of 65 lines.
  • FIG. 10 shows the response characteristics of the cyclic 2DNR processing without the high-speed convergence function.
  • the tailing becomes larger as the NR intensity is increased.
  • FIG. 10 shows the response characteristics of the cyclic 2DNR processing having the high-speed convergence function of the present technology.
  • the tailing is performed as compared with the cyclic 2DNR processing (B in FIG. 10) having no high-speed convergence function. Almost no phenomenon has occurred.
  • the cyclic 2DNR processing having a high-speed convergence function allows the SNR to be generated regardless of whether the NR intensity is weak or strong as compared with the cyclic 2DNR processing without the high-speed convergence function. It is possible to suppress the number of lines in which the transient characteristics until the effect reaches a steady state appear as a processing result.
  • the in-vehicle camera system 1 performs the cyclic 2DNR processing having a high-speed convergence function, and thus trails in the vertical direction in the image of the noise reduction result while maintaining the noise reduction effect of the NR processing.
  • the phenomenon can be improved.
  • the in-vehicle camera system 1 can reduce white noise with an optimum SNR in particular.
  • the in-vehicle camera system 1 can realize SNR improvement performance equivalent to 2DNR processing when a line buffer having a large capacity is used by using a small amount of hardware resources. Therefore, the vehicle-mounted camera system 1 can capture a high-quality moving image.
  • the in-vehicle camera system 1 can realize SNR improvement performance equivalent to 3DNR processing when a large-capacity frame buffer is used by using a small amount of hardware resources. Therefore, the vehicle-mounted camera system 1 can capture a high-quality moving image.
  • the in-vehicle camera system 1 uses a line buffer having a smaller capacity and performs 3DNR processing as compared with 3DNR processing which requires a large frame buffer. It is possible to realize the same improvement performance of SNR as.
  • the NR intensity can be increased and the NR processing can be performed.
  • the camera moves as the vehicle moves, so the 3D NR processing, which is a powerful NR processing, is not suitable for the NR processing of the image acquired by the in-vehicle camera. Therefore, 2DNR processing is used as the NR processing of the image acquired by the in-vehicle camera.
  • 2DNR processing is used as the NR processing of the image acquired by the in-vehicle camera.
  • artifacts such as tailing that may cause a recognition error in the recognizer 16 may occur.
  • the in-vehicle camera system 1 is applied to the in-vehicle camera. It becomes possible.
  • NR processing is performed in automatic driving or advanced driving systems, real-time performance is important, so a circuit scale that can be stacked on an image sensor and simple processing are required. Since a line buffer or a frame buffer having a large capacity is not required, the in-vehicle camera system 1 can be applied to an automatic driving system or an advanced driving system. In addition, since the SNR is improved as compared with the cyclic type 2DNR processing which does not have the high-speed convergence function, the detection result of the recognizer 16 and the DMS is positively affected.
  • the in-vehicle camera system 1 can be applied to a surveillance camera.
  • the in-vehicle camera system 1 can be applied to an action cam because it is suitable for applications in which the camera moves significantly.
  • the maximum value of the count value may be limited in order to prevent the NR process from being applied strongly by mistake.
  • FIG. 11 is a diagram showing a functional configuration example of the image processing unit 15a.
  • the configuration of the image processing unit 15a shown in FIG. 11 is different from the configuration of the image processing unit 15 described with reference to FIG. 2 in that the count value monitoring unit 101 is provided after the count value calculation unit 43.
  • the SNR optimum feedback rate setting unit 45a is controlled by limiting the maximum value of the count value used for.
  • the iir feedback rate is set, and information representing the iir feedback rate is supplied to the multiplication unit 46.
  • the image processing unit 15a counts one pixel having the current line when the count values of the plurality of processed pixels in the direction perpendicular to the one pixel are repeatedly equal to or less than a certain value to some extent.
  • the maximum value of the count value is limited by the value monitoring unit 101. For example, when the count value repeats below a certain value to some extent, that is, when NR processing is performed on an image in which edges are periodically and repeatedly present, the edges are periodically present. Nevertheless, if the count value is mistakenly set to a value larger than that cycle, it is assumed that NR processing will be erroneously performed strongly.
  • the maximum value of the count value is limited by the count value monitoring unit 101, and the SNR optimum feedback rate setting unit 45a uses the count value equal to or less than the limited maximum value to set the iir feedback rate. It can be set to prevent accidental strong NR processing.
  • the processing flow executed by the image processing unit 15a is basically the same as the processing flow shown in the flowcharts of FIGS. 3 and 4.
  • the image processing unit 15a limits the value of the iir feedback rate by the count value monitoring unit 101, it is possible to suppress the occurrence of artifacts and reduce noise.
  • a part of the configuration of the vehicle-mounted camera system 1 including the image processing unit 15 may be provided in a television receiver, a broadcast wave transmitter, a recorder, or the like.
  • FIG. 12 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the CPU 201 performs the above-mentioned series of processes by, for example, loading the programs stored in the ROM 202 and the EEPROM 204 into the RAM 203 via the bus 205 and executing the programs. Further, the program executed by the computer (CPU201) can be written in the ROM 202 in advance, and can be installed or updated in the EEPROM 204 from the outside via the input / output interface 206.
  • the technology related to this disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 13 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 14 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are included.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 14 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image pickup unit 12031, the vehicle exterior information detection unit 12030, the microcomputer 12051, the audio image output unit 12052, and the display unit 12062 among the configurations described above.
  • the camera control unit 11, the image sensor 12, the analog front end 13, the A / D conversion unit 14, and the image processing unit 15 in FIG. 1 can be applied to the image pickup unit 12031.
  • the recognizer 16 of FIG. 1 can be applied to the vehicle exterior information detection unit 12030.
  • the AD / ADAS control unit 17 of FIG. 1 can be applied to the microcomputer 12051.
  • the audio image output unit 12052 corresponds to the D / A conversion unit 19 in FIG.
  • the display unit 12062 corresponds to the display unit 20 in FIG.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • the past of the pixels of the current line which is the processing target of the blending process for blending the pixels of the input current line and the pixels of the past line that has already been output.
  • a feedback rate setting unit that sets the feedback rate based on the count value set for the pixels of the line
  • a blending unit that blends the pixels of the current line and the pixels of the past line according to the feedback rate.
  • An image processing apparatus including a calculation unit that calculates a count value set for the pixels of the current line, which represents the cumulative number of pixels blended with the pixels of the current line by the blending process.
  • an edge detection unit for detecting an edge for a pixel of the current line is provided.
  • the image processing apparatus wherein the calculation unit calculates a count value set for the pixels of the current line based on the detection result of an edge for the pixels of the current line.
  • the edge detection unit detects an edge for the pixel of the current line, the detection result is set to 0, and when the edge is not detected for the pixel of the current line, the edge detection unit sets 1 for the detection result.
  • the calculation unit multiplies the count value set for the pixel of the past line by the detection result and adds 1 to the multiplication result to obtain the count value set for the pixel of the current line.
  • a multiplication unit for calculating the ratio at which the pixels of the past line are blended by multiplying the feedback rate and the detection result is further provided.
  • the image processing apparatus wherein the blending unit blends the pixels of the current line and the pixels of the past line based on the ratio.
  • the feedback rate setting unit divides the count value set for the pixels of the past line by the addition result of adding 1 to the count value set for the pixels of the past line, and the division result is the division result.
  • the image processing apparatus according to any one of (1) to (4) above, which is set as a feedback rate.
  • (6) Further provided with a monitoring unit that monitors the count value set for each pixel and limits the count value set for the pixel of the past line based on the monitoring result.
  • the image processing apparatus according to any one of (1) to (5) above, wherein the feedback rate setting unit sets the feedback rate based on a count value limited by the monitoring unit.
  • the monitoring unit limits the maximum value of the count value set for the pixels of the past line, which is used for setting the feedback rate, when the count value below the threshold value is repeated.
  • Image processing equipment An image sensor that acquires a signal representing the image, An analog front end that performs analog processing on the signal, and A conversion unit that converts the analog-processed signal into digital image data, An image processing unit provided with the feedback rate setting unit, the blending unit, and the calculation unit, The image processing apparatus according to (1), further comprising a sensor chip provided with the image sensor, the analog front end, the conversion unit, and a control unit for controlling the image processing unit.
  • the image processing device Of the plurality of lines constituting the image, the past of the pixels of the current line, which is the processing target of the blending process for blending the pixels of the input current line and the pixels of the past line that has already been output.
  • Set the feedback rate based on the count value set for the pixels of the line The pixels of the current line and the pixels of the past line are blended according to the feedback rate.
  • An image processing method for calculating a count value set for the pixels of the current line which represents the cumulative number of pixels blended with the pixels of the current line by the blending process.
  • 1 in-vehicle camera system 11 camera control unit, 12 image sensor, 13 analog front end, 14 A / D conversion unit, 15 image processing unit, 16 recognizer, 17 AD / ADAS control unit, 18 storage, 19 D / A conversion Unit, 20 display unit, 41 noise amplitude calculation unit, 42 V direction plane detection unit, 43 count value calculation unit, 44 line buffer unit, 45 SNR optimum feedback rate setting unit, 46 multiplication unit, 47 alpha blend processing unit, 48 lines. Buffer unit, 101 count value monitoring unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本技術は、より効果的にノイズを低減することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。 本技術の画像処理装置は、画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている現在ラインの画素に対して、過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定する帰還率設定部と、帰還率に応じて、現在ラインの画素と過去ラインの画素とをブレンドするブレンド部と、ブレンド処理によって現在ラインの画素にブレンドされた画素の累積数を表す、現在ラインの画素に対して設定されるカウント値を計算する計算部とを備える画像処理装置である。本技術は、車載カメラに適用することができる。

Description

画像処理装置、画像処理方法、およびプログラム
　本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、より効果的にノイズを低減することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
　従来、画像に対するノイズリダクションに関する技術が各種提案されている。
　例えば、特許文献１には、εフィルタを用いて、急峻なエッジを保存したまま画像データに対して平滑化処理を施すことによってノイズを除去する技術が記載されている。
　また、特許文献２には、少ないフレームバッファを用いて、時間軸上で連続する２枚の２次元フレームを混合することによってノイズを低減する3DNR(3-Dimensional Noise Reduction)に関する技術が記載されている。
特開２００４－１７２７２６号公報 国際公開第２０１４／１８８７９９号
　ところで、特許文献１に記載の技術では、低周波のノイズを除去する場合、多くの画素を参照するため、容量の大きいラインバッファが必要となる。
　同様に、特許文献２に記載の技術では、フレームバッファなどの容量の大きいバッファが必要となる。
　本技術はこのような状況に鑑みてなされたものであり、少ないハードウェアリソースで、より効果的にノイズを低減することができるようにするものである。
　本技術の一側面の画像処理装置は、画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定する帰還率設定部と、前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドするブレンド部と、前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する計算部とを備える画像処理装置である。
　本技術の一側面の画像処理方法は、画像処理装置が、画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定し、前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドし、前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する画像処理方法である。
　本技術の一側面においては、画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率が設定され、前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とがブレンドされ、前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値が計算される。
本技術の一実施形態に係る車載カメラシステムの構成例を示すブロック図である。 画像処理部の機能構成例を示すブロック図である。 画像処理部のノイズリダクション処理について説明するフローチャートである。 図３のステップＳ３において行われる出力処理について説明するフローチャートである。 高速収束機能がない巡回型2DNR処理によるSNRの改善効果を示す図である。 高速収束機能を有する巡回型2DNR処理によるSNRの改善効果を示す図である。 高速収束機能を有する巡回型2DNR処理と高速収束機能がない巡回型2DNR処理によるSNRの改善効果を比較する図である。 高速収束機能がない巡回型2DNR処理に対して、高速収束機能を有する巡回型2DNR処理が得られるSNRの改善効果の例を示す図である。 NR処理の強度が低いときの応答特性を示す図である。 NR処理の強度が高いときの応答特性を示す図である。 画像処理部の機能構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．車載カメラシステムの構成例
　２．画像処理部の動作
　３．高速収束機能を有する巡回型2DNR処理の効果
　４．画像処理部の変形例
　５．その他の変形例
＜１．車載カメラシステムの構成例＞
　図１は、本技術の一実施形態に係る車載カメラシステム１の構成例を示すブロック図である。
　図１に示す車載カメラシステム１は、例えば、自動運転や先進運転システム用途で利用される車載カメラに用いられる。車載カメラシステム１は、自動車の周囲を撮像し、撮像して得られた動画像に対してノイズリダクション（NR）処理を行うシステムである。
　図１に示すように、車載カメラシステム１は、レンズＬ、カメラ制御部１１、撮像素子１２、アナログフロントエンド１３、A/D変換部１４、画像処理部１５、認識器１６、AD/ADAS制御部１７、ストレージ１８、D/A変換部１９、および表示部２０により構成される。
　レンズＬは、被写体からの入射光を撮像素子１２に導き、撮像素子１２の受光面に被写体の像を結像させる。
　カメラ制御部１１は、撮像素子１２、アナログフロントエンド１３、A/D変換部１４、および画像処理部１５の動作を制御する。例えば、カメラ制御部１１は、画像処理部１５によるNR処理の結果を用いて、より良好な撮像が行えるように各構成の動作を制御する。
　撮像素子１２は、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより構成される。撮像素子１２の各画素には、レンズＬを介して受光面に結像される被写体の像に応じて、電子が一定期間蓄積される。撮像素子１２の各画素に蓄積された電子に応じた信号がアナログフロントエンド１３に供給される。
　アナログフロントエンド１３は、撮像素子１２から供給された信号に対する増幅処理などのアナログ処理を行う。アナログ処理が施された信号は、A/D変換部１４に供給される。
　A/D変換部１４は、アナログフロントエンド１３から供給された信号をデジタル画像データに変換する。デジタル画像データは、画像処理部１５に供給される。
　画像処理部１５は、A/D変換部１４から供給されたデジタル画像データに対して、後述する高速収束機能を有する巡回型2DNR(2-Dimensional Noise Reduction)処理を行う。巡回型2DNR処理が施されたデジタル画像データは、カメラ制御部１１、認識器１６、ストレージ１８、およびD/A変換部１９に供給される。
　自動運転や先進運転システム用途では、巡回型2DNR処理が施されたデジタル画像データは、認識器１６に供給される。また、ドライブレコーダ用途では、巡回型2DNR処理が施されたデジタル画像データは、ストレージ１８に供給される。スマートモニタやバックモニタ用途では、巡回型2DNR処理が施されたデジタル画像データは、D/A変換部１９に供給される。
　認識器１６は、例えば、DMS(Drive Monitoring System)により構成される。認識器１６は、画像処理部１５から供給されたデジタル画像データに基づいて、車載カメラシステム１が搭載された自動車の周囲にある自動車、人、標識、交通信号機、白線などを認識する。認識器１６は、認識結果をAD/ADAS制御部１７に供給する。
　AD/ADAS制御部１７は、車載カメラシステム１が搭載された自動車の自動運転（AD：Autonomous Driving）または先進運転システム（ADAS：Advanced Driver-Assistance Systems）を実現するための構成である。AD/ADAS制御部１７は、認識器１６から供給された認識結果に基づいて、自動車の走行を制御する。
　ストレージ１８は、半導体メモリやHDD(Hard Disk Drive)などの内部または外部のストレージを含む補助記憶装置により構成される。ストレージ１８は、画像処理部１５から供給されたデジタル画像データを格納する。
　D/A変換部１９は、画像処理部１５から供給されたデジタル画像データをアナログ信号に変換する。アナログ信号は、表示部２０に供給される。
　表示部２０は、モニタやいわゆるスマートルームミラーなどにより構成される。表示部２０は、D/A変換部１９から供給されたアナログ信号に基づいて動画像を表示する。
　例えば、車載カメラシステム１では、図１において破線で囲んで示す、カメラ制御部１１、撮像素子１２、アナログフロントエンド１３、A/D変換部１４、および画像処理部１５が、１つのセンサチップに組み込まれた構成を採用することができる。さらに、これらの破線で囲んで示す構成に加えて、認識器１６も同一のセンサチップに組み込む構成としてもよい。
　その他、車載カメラシステム１では、カメラ制御部１１、撮像素子１２、アナログフロントエンド１３、およびA/D変換部１４が、１つのセンサチップによって構成され、画像処理部１５が独立したチップに組み込まれた構成を採用することができる。
　図２は、画像処理部１５の機能構成例を示すブロック図である。
　図２に示すように、画像処理部１５は、ノイズ振幅算出部４１、Ｖ方向平面検波部４２、カウント値計算部４３、ラインバッファ部４４、SNR(Signal-to-Noise Ratio)最適帰還率設定部４５、乗算部４６、アルファブレンド処理部４７、およびラインバッファ部４８により構成される。
　画像処理部１５は、Bayer画素配列のように同色画素が２ラインごとに存在するRAW画像に適応する垂直方向の巡回型2DNR回路である。
　画像処理部１５に対しては、撮像素子１２によって取得された画像を構成するラインごとのデジタル画像データがA/D変換部１４から供給される。画像処理部１５は、A/D変換部１４から供給された順番に従って、ライン単位のデジタル画像データに対して高速収束機能を有する巡回型2DNR処理を順次施す。図２乃至図４においては、A/D変換部１４から画像処理部１５に供給されたラインを処理対象のカレントラインとして、カレントラインを構成する複数の画素のうち、ある１画素の画素値Xt=0に対して施される巡回型2DNR処理について説明する。画像処理部１５においては、１ライン分の各画素に対して、この１画素の画素値Xt=0と同様の巡回型2DNR処理が施される。
　図２に示すように、ノイズ振幅算出部４１とアルファブレンド処理部４７には、カレントラインの画素の画素値Xt=0が入力される。また、ノイズ振幅算出部４１とアルファブレンド処理部４７には、３ライン分の画素値を保持することができるラインバッファ部４８からNR画素値Yt=-2が入力される。ここで、NR画素値Yt=0は、カレントラインの画素の画素値Xt=0に対してNR処理が施された結果得られる画素値であり、NR画素値Yt=-2は、NR画素値Yt=0に対応する２ライン前の画素の画素値である。すなわち、カレントラインに対して２ライン前のラインを構成する画素であって、画素値Xt=0の画素に対して垂直方向にある画素に対してNR処理が施された結果得られる画素値が、NR画素値Yt=-2となる。なお、画素値Xt=0、NR画素値Yt=0に含まれる添え字は、カレントラインを基準としたライン数を表す。
　ノイズ振幅算出部４１は、画素値Xt=0とNR画素値Yt=-2とに基づいて、カレントラインを構成する複数の画素ごとに、光電変換のショットノイズのノイズ振幅を算出する。ノイズ振幅算出部４１は、カレントラインを構成する複数の画素ごとのノイズ振幅を表す情報を、画素値Xt=0およびNR画素値Yt=-2とともに、Ｖ方向平面検波部４２に供給する。
　Ｖ方向平面検波部４２は、ノイズ振幅算出部４１から供給された画素値Xt=0とNR画素値Yt=-2とに基づいて検波を行い、カレントラインを構成する複数の画素ごとに、カレントラインに対して垂直方向に現れるエッジを検出する。具体的には、Ｖ方向平面検波部４２は、ある画素の画素値Xt=0とNR画素値Yt=-2の差が、ノイズ振幅算出部４１により算出されたノイズ振幅よりも大きい場合、その画素についてエッジを検出する。一方、Ｖ方向平面検波部４２は、この差がノイズ振幅よりも小さい場合、その画素についてエッジを検出せず、この場合、カレントラインに対して垂直方向には平坦となっている。
　Ｖ方向平面検波部４２は、カレントラインを構成する複数の画素ごとのエッジ判定結果Zt=0を、カレントラインを構成する全ての画素に対して設定する。例えば、Ｖ方向平面検波部４２は、エッジを検出した画素に対しては、エッジ判定結果Zt=0に0を設定し、エッジを検出しなかった画素に対しては、エッジ判定結果Zt=0に1を設定する。そして、カレントラインの画素ごとに0または1の値が設定されたエッジ判定結果Zt=0は、カウント値計算部４３と乗算部４６に供給される。
　カウント値計算部４３は、Ｖ方向平面検波部４２から供給されたカレントラインを構成する複数の画素ごとのエッジ判定結果Zt=0と、ラインバッファ部４４から取得した２ライン前の画素ごとのカウント値Nt=-2とに基づいて、カレントラインを構成する複数の画素ごとのカウント値Nt=0を計算する。
　具体的には、カウント値計算部４３は、カレントラインを構成する複数の画素ごとのエッジ判定結果Zt=0と２ライン前の画素ごとのカウント値Nt=-2とを乗算し、その結果に1を加算した値を、カレントラインを構成する複数の画素ごとのカウント値Nt=0として計算する。すなわち、ある１画素のカウント値Nt=0は、次式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　巡回型2DNR処理においては、カレントラインの画素の画素値Xt=0と２ライン前の画素のNR画素値Yt=-2とが混ぜ合わされる（ブレンドされる）。これにより、広範囲の画素に亘って画素値を混ぜ合わせる場合と比べて遜色なく、ノイズを低減させることが可能となる。すなわち、巡回型フィルタでは、カレントラインまでに処理された広範囲のノイズリダクション結果が、カレントラインを構成する複数の画素それぞれの画素値に縮退されているとみなすことができる。したがって、カウント値Nt=0は、カレントラインを構成する複数の画素ごとの、それぞれの画素の画素値に混ぜ合わされている画素（カレントラインまでに処理された範囲の画素）の累積数を表す値である。
　カウント値計算部４３は、カレントラインを構成する複数の画素ごとのカウント値Nt=0をラインバッファ部４４に供給する。
　ラインバッファ部４４は、３ライン分のラインバッファにより構成される。ラインバッファ部４４を構成するそれぞれのラインバッファには、１ライン分の画素について求められたカウント値が格納される。すなわち、ラインバッファ部４４には、カレントラインよりも２ライン前の画素ごとのカウント値Nt=-2、カレントラインよりも１ライン前の画素ごとのカウント値Nt=-1、およびカレントラインの画素ごとのカウント値Nt=0が、それぞれラインごとに格納される。
　SNR最適帰還率設定部４５は、カレントラインを構成する複数の画素ごとに、それぞれの画素に対応する２ライン前のカウント値Nt=-2をラインバッファ部４４から取得する。そして、SNR最適帰還率設定部４５は、それらの２ライン前のカウント値Nt=-2に基づいて、カレントラインを構成する複数の画素ごとに、iir(Infinite Impulse Response)帰還率を設定する。具体的には、SNR最適帰還率設定部４５は、次式（２）により表されるように、２ライン前のカウント値Nt=-2を、２ライン前のカウント値Nt=-2に1を加算した結果で除算し、その除算結果をiir帰還率として設定する。
Figure JPOXMLDOC01-appb-M000002
　SNR最適帰還率設定部４５は、カレントラインを構成する複数の画素ごとに設定したiir帰還率を表す情報を乗算部４６に供給する。
　乗算部４６は、Ｖ方向平面検波部４２から供給されたカレントラインを構成する複数の画素ごとのエッジ判定結果Zt=0と、SNR最適帰還率設定部４５から供給された画素ごとのiir帰還率とを乗算する。これにより、乗算部４６は、カレントラインを構成する複数の画素ごとに混合比率αを算出し、アルファブレンド処理部４７に供給する。
　アルファブレンド処理部４７は、乗算部４６から供給された画素ごとの混合比率αで、カレントラインを構成する複数の画素ごとに、画素値Xt=0とNR画素値Yt=-2とを混ぜ合わせるアルファブレンド処理を行う。
　具体的には、アルファブレンド処理部４７は、画素値Xt=0に(1-α)を乗算した結果と、NR画素値Yt=-2にαを乗算した結果とを加算し、その加算結果をNR画素値Yt=0として後段に出力する。アルファブレンド処理部４７によるアルファブレンド処理は、次式（３）により表される。
Figure JPOXMLDOC01-appb-M000003
　上述したように、エッジが検出された画素については、Ｖ方向平面検波部４２はエッジ判定結果Zt=0に0を設定しており、乗算部４６は混合比率αとして0（＝エッジ判定結果Zt=0×iir帰還率）を算出することになる。したがって、アルファブレンド処理部４７は、エッジが検出された画素について、画素値Xt=0に1（＝1-α）を乗算した結果と、NR画素値Yt=-2に0（＝α）を乗算した結果とを加算する。
　一方、エッジが検出されなかった画素については、Ｖ方向平面検波部４２はエッジ判定結果Zt=0に1を設定しており、乗算部４６は混合比率αとしてiir帰還率（＝エッジ判定結果Zt=0×iir帰還率）を算出することになる。したがって、アルファブレンド処理部４７は、エッジが検出されなかった画素について、画素値Xt=0に1/(Nt=-2+1)（＝1-α）を乗算した結果と、NR画素値Yt=-2にNt=-2/(Nt=-2+1)（＝α）を乗算した結果とを加算する。
　アルファブレンド処理部４７から出力されたNR画素値Yt=0は、画像処理部１５の外部に供給されるとともに、ラインバッファ部４８にも供給される。このとき、カレントラインについて水平方向の平滑化処理が施されたNR画素値Yt=0が画像処理部１５の外部に供給されるようにすることができる。
　ラインバッファ部４８は、３ライン分のラインバッファにより構成される。ラインバッファ部４８を構成するそれぞれのラインバッファには、１ライン分の画素について求められたNR画素値が格納される。すなわち、ラインバッファ部４８には、カレントラインよりも２ライン前の画素ごとのNR画素値Yt=-2、カレントラインよりも１ライン前の画素ごとのNR画素値Yt=-1、およびカレントラインの画素ごとのNR画素値Yt=0が、それぞれラインごとに格納される。
　以上のように、画像処理部１５では、エッジ判定結果に従って、エッジが検出された画素については、カウント値Nt=0が1にリセットされ、エッジが検出されなかった画素についてはカウント値Nt=0がインクリメントされる。そして画像処理部１５では、カウント値Nt=-2に基づいてiir帰還率が求められるので、エッジが検出された画素に対しては、カレントラインまでに処理された広範囲のノイズリダクション結果の影響を受けないようなiir帰還率を求めることができる。したがって、画像処理部１５は、エッジの検出の有無に応じて、最適なSNRのNR処理を施すことが可能なiir帰還率を画素ごとに設定することができる。
　これにより、画像処理部１５は、エッジが検出された画素に対するSNRの影響が高速に定常状態となるように収束させることができる。そこで、カウント値計算部４３とSNR最適帰還率設定部４５が、最適なSNRのNR処理を施すことが可能なiir帰還率を設定する機能を、高速収束機能と称する。
　また、画像処理部１５は、フレームバッファなどの容量の大きいバッファと比べて、容量の小さいラインバッファ部４４とラインバッファ部４８を用いてNR処理を行うことができ、少ないハードウェアリソースでより効果的にノイズを低減することが可能となる。
＜２．画像処理部の動作＞
　ここで、図３のフローチャートを参照して、以上のような構成を有する画像処理部１５のノイズリダクション処理について説明する。
　図３のノイズリダクション処理は、画像処理部１５に対して、カレントラインがA/D変換部１４から供給されたときに開始される。
　ステップＳ１において、ノイズ振幅算出部４１は、カレントラインを構成する複数の画素の画素値Xt=0とそれぞれの画素に対応するNR画素値Yt=-2とに基づいて、画素ごとにノイズ振幅を算出する。
　ステップＳ２において、Ｖ方向平面検波部４２は、画素値Xt=0、NR画素値Yt=-2、およびノイズ振幅に基づいて、カレントラインを構成する複数の画素ごとに、カレントラインに対して垂直方向に現れるエッジを検出する。例えば、画素値Xt=0とNR画素値Yt=-2との差が、ステップＳ１において算出されたノイズ振幅以上である場合、その画素についてエッジが検出される。
　ステップＳ３において、画像処理部１５は出力処理を行う。出力処理により、カレントラインを構成する複数の画素の画素値Xt=0に対してNR処理が施されたNR画素値Yt=0が出力される。出力処理については、図４のフローチャートを参照して後述する。
　ステップＳ４において、画像処理部１５は、カレントラインが撮像によって取得された画像を構成する最終ラインであるか否かを判定し、最終ラインではないと判定した場合、ステップＳ１以降の処理を繰り返し行う。
　一方、カレントラインが最終ラインであるとステップＳ４において判定された場合、処理は終了となる。
　次に、図４のフローチャートを参照して、図３のステップＳ３において行われる出力処理について説明する。
　ステップＳ１１において、SNR最適帰還率設定部４５は、ラインバッファ部４４から取得した２ライン前の画素ごとのカウント値Nt=-2に基づいて、カレントラインを構成する複数の画素ごとに、iir帰還率を設定する。
　ステップＳ１２において、図３のステップＳ２の検出結果に従った判定が行われ、その判定対象の画素についてエッジが検出されている場合、処理はステップＳ１３に進む。この場合、その判定対象の画素に対しては、Ｖ方向平面検波部４２により、エッジ判定結果Zt=0に0が設定される。
　ステップＳ１３において、乗算部４６は、カレントラインを構成する複数の画素ごとのエッジ判定結果Zt=0と、画素ごとのiir帰還率とを乗算することによって、混合比率αを算出する。ステップＳ１３で処理の対象となっている画素に対しては、ステップＳ１２の判定結果に従ってエッジ判定結果Zt=0に0が設定されているため、混合比率αは0となる。したがって、この場合、画素値Xt=0を混合する比率(1-α)は1となる。乗算部４６は、混合比率αをアルファブレンド処理部４７に供給し、アルファブレンド処理部４７は、カレントラインの画素の画素値Xt=0を混合する比率(1-α)を1にセットする。
　ステップＳ１４において、アルファブレンド処理部４７は、ステップＳ１３で乗算部４６により算出された混合比率αで、カレントラインの画素の画素値Xt=0と２ライン前の画素のNR画素値Yt=-2とを混合することによって、NR画素値Yt=0を生成する。
　ステップＳ１５において、アルファブレンド処理部４７は、ステップＳ１４で生成したノイズリダクション結果としてのNR画素値Yt=0を後段に出力するとともに、ラインバッファ部４８に格納させる。
　ステップＳ１６において、カウント値計算部４３は、エッジ判定結果Zt=0に基づいて、処理を行っている画素のカウント値Nt=0に１を設定し、カウント値用のラインバッファ部４４に格納させる。
　一方、ステップＳ１２において、その判定対象の画素についてエッジが検出されていない場合、処理はステップＳ１７に進む。この場合、その判定対象の画素に対しては、Ｖ方向平面検波部４２により、エッジ判定結果Zt=0に1が設定される。
　ステップＳ１７において、乗算部４６は、カレントラインを構成する複数の画素ごとのエッジ判定結果Zt=0と、画素ごとのiir帰還率とを乗算することによって、混合比率αを算出する。ステップＳ１７で処理の対象となっている画素に対しては、ステップＳ１２の判定結果に従ってエッジ判定結果Zt=0に1が設定されているため、混合比率αはNt=-2/(Nt=-2+1)となる。したがって、この場合、画素値Xt=0を混合する比率(1-α)は1/(Nt=-2+1)となる。乗算部４６は、混合比率αをアルファブレンド処理部４７に供給し、アルファブレンド処理部４７は、カレントラインの画素の画素値Xt=0を混合する比率(1-α)を1/(Nt=-2+1)にセットする。
　ステップＳ１８において、アルファブレンド処理部４７は、ステップＳ１７で乗算部４６により算出された混合比率αで、カレントラインの画素の画素値Xt=0と２ライン前の画素のNR画素値Yt=-2とを混合することによって、NR画素値Yt=0を生成する。
　ステップＳ１９において、アルファブレンド処理部４７は、ステップＳ１８で生成したノイズリダクション結果としてのNR画素値Yt=0を後段に出力するとともに、ラインバッファ部４８に格納させる。
　ステップＳ２０において、カウント値計算部４３は、エッジ判定結果Zt=0に基づいて、処理を行っている画素のカウント値Nt=0に(Nt=-2+1)を設定し、カウント値用のラインバッファ部４４に格納させる。なお、１ライン分の各画素に対して、画素値Xt=0と同様にステップＳ１２と、ステップＳ１３乃至Ｓ１６またはステップＳ１７乃至Ｓ２０との処理が行われる。１ライン分の各画素に対して一連の処理が行われた後、図３のステップＳ３に戻り、それ以降の処理が行われる。
＜３．高速収束機能を有する巡回型2DNR処理の効果＞
　図５乃至図１０を参照して、高速収束機能を有する巡回型2DNR処理により得られる効果について説明する。ここでは、画像を垂直方向に見た場合、エッジの下に平坦が続いているような画像が巡回型2DNR処理の対象とされているものとする。
　２ライン前の画素ごとのカウント値に基づいてカレントラインの画素ごとに設定されたiir帰還率と、カレントラインの画素ごとのエッジの判定結果とを乗算して算出された混合比率αに基づいて、画素値Xt=0（現在ラインの画素の画素値）とNR画素値Yt=-2（過去ラインの画素の画素値）を混ぜ合わせる上述したような巡回型2DNR処理を、高速収束機能を有する巡回型2DNR処理という。高速収束機能を有する巡回型2DNR処理においては、適切なiir帰還率が画素ごとに設定されることになる。
　また、エッジの判定結果の確からしさを用いて設定されたiir帰還率に基づいて、画素値Xt=0（現在ラインの画素の画素値）とNR画素値Yt=-2（過去ラインの画素の画素値）を混ぜ合わせる巡回型2DNR処理を、高速収束機能がない巡回型2DNR処理という。高速収束機能がない巡回型2DNR処理においては、適切なiir帰還率が画素ごとに設定されないことがある。
　まず、高速収束機能がない巡回型2DNR処理を処理対象の画像に施す場合について説明する。
　高速収束機能がない巡回型2DNR処理による処理対象の現在ラインのSNRの改善効果は、例えば、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　式（４）のStdcは、ノイズを含む処理対象の現在ラインと、ノイズを含まない理想的な現在ラインとの画素ごとの差分値の標準偏差を表す。また、式（４）のStdpは、処理済みの過去ラインと、ノイズを含まない理想的な過去ラインとの画素ごとの差分値の標準偏差を表す。
　高速収束機能がない巡回型2DNR処理が行われる場合、t=0のときの現在ラインを構成する複数の画素がそのままバッファに格納されるため、標準偏差Stdp(t=1)は、次式（５）で表されるようにStdc(t=0)に等しい。
Figure JPOXMLDOC01-appb-M000005
　さらに、t=xにおける現在ラインの画素ごとの標準偏差Stdc(t=x)は、常に一定であり、次式（６）が成り立つと仮定することができる。
Figure JPOXMLDOC01-appb-M000006
　式（５）、式（６）を用いて式（４）を変形すると、次式（７）が求められる。
Figure JPOXMLDOC01-appb-M000007
　式（７）に示すように、t=1のときの、高速収束機能がない巡回型2DNR処理によるSNRの改善効果の期待値は、約0.27[dB]である。
　一方、高速収束機能を有する巡回型2DNR処理によるSNRの改善効果は、次式（８）で表される。
Figure JPOXMLDOC01-appb-M000008
　式（８）に示すように、t=1のときの、高速収束機能を有する巡回型2DNR処理によるSNRの改善効果は、約3.01[dB]である。つまり、t=1の場合、高速収束機能がない巡回型2DNR処理と比較して、高速収束機能を有する巡回型2DNR処理は、約2.74[dB]の改善効果がある。
　続いて、t=2以降の改善効果について説明する。巡回型2DNRにおいて、2DNR処理が施されて下のラインに送られるラインと、ラインバッファに格納され、過去のラインとして次のラインで用いられるラインは同じラインである。このため、高速収束機能がない巡回型2DNR処理における、t=x+1のときの過去ラインの画素ごとの標準偏差Stdp(t=x+1)は、次式（９）で表される。
Figure JPOXMLDOC01-appb-M000009
　t=2のときにラインバッファに格納される現在ラインの画素ごとのNR画素値が、t=3のときに過去ラインの画素ごとのNR画素値として読み出されるため、t=2のときのNR画素値の標準偏差は、Stdp(t=3)と等しい。このため、t=3のときの過去ラインの画素ごとの標準偏差Stdp(t=3)は、式（９）を用いて、次式（１０）で表される。
Figure JPOXMLDOC01-appb-M000010
　t=2のときの、高速収束機能がない巡回型2DNR処理によるSNRの改善効果は、式（１０）を用いて、次式（１１）で表される。
Figure JPOXMLDOC01-appb-M000011
　同様に、t=3のときの、高速収束機能がない巡回型2DNR処理によるSNRの改善効果は、次式（１２）で表される。
Figure JPOXMLDOC01-appb-M000012
　以上のようにして、t=0乃至t=31における、高速収束機能がない巡回型2DNR処理によるSNRの改善効果は、図５に示すように求められる。図５においては、横軸がtを表し、縦軸がSNRの改善効果を表す。後述する図６、図７においても同様である。
　一方、高速収束機能を有する巡回型2DNR処理における、t=x+1のときの過去ラインの画素ごとの標準偏差Stdp(t=x+1)は、次式（１３）で表される。
Figure JPOXMLDOC01-appb-M000013
　t=2のときのNR画素値の標準偏差と等しい、t=3のときの過去ラインの画素ごとの標準偏差Stdp(t=3)は、式（１３）を用いて、次式（１４）で表される。
Figure JPOXMLDOC01-appb-M000014
　t=2のときの、高速収束機能を有する巡回型2DNR処理によるSNRの改善効果は、式（１４）を用いて、次式（１５）で表される。
Figure JPOXMLDOC01-appb-M000015
　同様に、t=3のときの、高速収束機能を有する巡回型2DNR処理によるSNRの改善効果は、次式（１６）で表される。
Figure JPOXMLDOC01-appb-M000016
　以上のようにして、t=0乃至t=31における、高速収束機能を有する巡回型2DNR処理によるSNRの改善効果は、図６に示すように求められる。
　図７は、高速収束機能を有する巡回型2DNR処理と高速収束機能がない巡回型2DNR処理によるSNRの改善効果を比較する図である。
　疑似的に３２ラインまで合成が可能な巡回型2DNR処理の理論上のSNRの最大改善効果は、約15.05[dB]である。図７に示すように、高速収束機能を有する巡回型2DNR処理においては、SNRの改善効果がt=31で収束している。一方、高速収束機能がない巡回型2DNR処理においては、SNRの改善効果が収束していない。
　図８は、高速収束機能がない巡回型2DNR処理に対して、高速収束機能を有する巡回型2DNR処理が得られるSNRの改善効果の例を示す図である。
　図８においては、横軸がtを表し、縦軸がSNRの改善効果を表す。
　図８に示すように、高速収束機能によって、t=15のときに、最大で約18[dB]程度のSNRの改善効果が得られる。さらに、高速収束機能によって、t=1のときに、約2.74[dB]のSNRの改善効果が既に得られる。また、高速収束機能によって、t=4以降のときには定常的に、6[dB]以上のSNRの改善効果が得られる。
　このように、高速収束機能がない巡回型2DNR処理に対して、高速収束機能を有する巡回型2DNR処理は、より高いSNRの改善効果を得ることができる。
　次に、図９および図１０を参照して、高速収束機能がない巡回型2DNR処理と高速収束機能を有する巡回型2DNR処理の応答特性について説明する。図９および図１０においては、横軸がtを表し、縦軸が画素値を表す。
　図９は、NR処理の強度が低いときの応答特性を示す図である。
　図９のＡには、入力画像の画素値である入力値が示されている。入力画像は、65ライン近傍において、垂直方向のエッジを含む画像である。
　図９のＢには、高速収束機能がない巡回型2DNR処理の応答特性が示されている。図９のＢの白抜き矢印の先に示すように、高速収束機能がない巡回型2DNR処理においては、上のラインの画素を引きずってしまう現象である尾引き現象が発生している。
　図９のＣには、本技術の高速収束機能を有する巡回型2DNR処理の応答特性が示されている。図９のＣに示すように、高速収束機能を有する巡回型2DNR処理においては、高速収束機能がない巡回型2DNR処理（図９のＢ）に比べて、尾引き現象がほとんど発生していない。
　図１０は、NR処理の強度が高いときの応答特性を示す図である。
　図１０のＡには、入力画像の画素値である入力値が示されている。入力画像は、65ライン近傍において、垂直方向にエッジを含む画像である。
　図１０のＢには、高速収束機能がない巡回型2DNR処理の応答特性が示されている。高速収束機能がない巡回型2DNR処理においては、図１０のＢの白抜き矢印の先に示すように、NR強度を強めるに従って、尾引きが大きくなっている。
　図１０のＣには、本技術の高速収束機能を有する巡回型2DNR処理の応答特性が示されている。図１０のＣに示すように、高速収束機能を有する巡回型2DNR処理においては、NR強度が強い場合にも、高速収束機能がない巡回型2DNR処理（図１０のＢ）に比べて、尾引き現象がほとんど発生していない。
　以上のように、高速収束機能を有する巡回型2DNR処理によって、高速収束機能がない巡回型2DNR処理と比較して、NR強度が弱い場合またはNR強度が強い場合のいずれの場合においても、SNRの影響が定常状態に至るまでの過渡特性が処理結果として現れるライン数を抑えることができる。
　具体的には、建物が写っている画像に高速収束機能がない巡回型2DNR処理を施した場合、尾引き現象によって建物の窓が消えかけた（窓のエッジが下方に引き伸ばされた）ような画像がノイズリダクション結果として出力されることがある。一方、建物が写っている画像に高速収束機能を有する巡回型2DNR処理を施した場合、尾引き現象が抑えられた（窓のエッジが残ったままの）画像がノイズリダクション結果として出力される。
　また、例えば、空の手前に被写体が写っている画像に高速収束機能がない巡回型2DNR処理を施した場合、尾引き現象によって、空が手前の被写体にはみ出した（被写体のエッジが下方に引き伸ばされた）ような画像がノイズリダクション結果として出力されることがある。一方、空の手前に被写体が写っている画像に高速収束機能を有する巡回型2DNR処理を施した場合、尾引き現象が抑えられた（被写体のエッジが残ったままの）画像がノイズリダクション結果として出力される。
　以上のように、車載カメラシステム１は、高速収束機能を有する巡回型2DNR処理を行うことによって、NR処理のノイズの低減効果を維持したままで、ノイズリダクション結果の画像において垂直方向に尾を引く現象を改善することができる。
　これにより、車載カメラシステム１は、より効果的にノイズを低減することが可能となる。車載カメラシステム１は、特に、白色ノイズを最適なSNRで低減することができる。
　車載カメラシステム１は、少ないハードウェアリソースを用いて、容量の大きなラインバッファを用いた場合の2DNR処理と同等のSNRの改善性能を実現することができる。このため、車載カメラシステム１は、高画質な動画像を撮像することができる。
　また、車載カメラシステム１は、少ないハードウェアリソースを用いて、容量の大きなフレームバッファを用いた場合の3DNR処理と同等のSNRの改善性能を実現することができる。このため、車載カメラシステム１は、高画質な動画像を撮像することができる。
　帰還率の最大値が3DNR処理における帰還率と同等である場合、車載カメラシステム１は、容量の大きなフレームバッファを必要とする3DNR処理と比較して、少ない容量のラインバッファを用いて、3DNR処理と同等のSNRの改善性能を実現することができる。
　高速収束機能がない巡回型2DNR処理においては、NR強度を高くしすぎた場合、尾引きなどのアーティファクトが発生する可能性があるため、強度を高くしてNR処理を行うことができない。本技術の高速収束機能を有する巡回型2DNR処理においては、NR強度を高くしてNR処理を行うことができる。
　車載カメラにおいては、自動車が移動することに伴ってカメラが移動することになるため、強力なNR処理である3DNR処理は、車載カメラによって取得された画像のNR処理には適さない。このため、車載カメラによって取得された画像のNR処理として2DNR処理が用いられることになる。しかし、2DNR処理の収束が遅いため、認識器１６において認識の間違いを起こさせる可能性がある尾引きなどのアーティファクトが発生することがある。
　本技術の高速収束機能を有する巡回型2DNR処理においては、アーティファクトの発生を抑えることができることから、車載カメラによって取得された画像のSNRの改善のために、車載カメラシステム１を車載カメラに適用することが可能となる。
　自動運転や先進運転システムにおいてNR処理が行われる場合、リアルタイム性が重要であるため、イメージセンサに積層できる程度の回路規模と簡便な処理が求められる。容量の大きなラインバッファやフレームバッファを必要としないため、車載カメラシステム１は、自動運転や先進運転システムに適用することができる。また、高速収束機能がない巡回型2DNR処理と比較してSNRが改善されるため、認識器１６やDMSの検知結果に好影響がある。
　なお、少ないハードウェアリソースで強力なNR効果が得られるため、車載カメラシステム１は、監視カメラに適用することが可能である。また、カメラが大きく動くような用途に適しているため、車載カメラシステム１は、アクションカムに適用することが可能である。
＜４．画像処理部の変形例＞
　画像の特徴として、同じパターンが繰り返し出てくる場合がある。この場合、エッジが周期的に繰り返し存在することになるため、画像を構成する複数の画素のうち、ある１画素から垂直方向に注目すると、ラインバッファ部４４に格納されるカウント値がある程度一定の値を繰り返すことになる。
　そこで、繰り返しのパターンが画像上に存在するような場合に、NR処理が誤って強く施されるのを防ぐため、カウント値の最大値が制限されるようにしてもよい。
　図１１は、画像処理部１５ａの機能構成例を示す図である。
　図１１に示す画像処理部１５ａの構成は、カウント値計算部４３の後段にカウント値監視部１０１が設けられる点で、図２を参照して説明した画像処理部１５の構成と異なる。カウント値監視部１０１に対しては、カレントラインを構成する複数の画素ごとのカウント値Nt=0がカウント値計算部４３から供給される。
　カウント値監視部１０１は、カレントラインを構成する複数の画素ごとに、ラインバッファ部４４から供給されたカウント値Nt=0を監視する。カウント値監視部１０１は、カレントラインを構成する複数の画素ごとのカウント値Nt=0が閾値となる一定の値以下の値を繰り返している場合、カレントラインの画素それぞれに対するiir帰還率の設定に用いるカウント値の最大値を制限することによって、SNR最適帰還率設定部４５ａを制御する。
　SNR最適帰還率設定部４５ａは、カウント値監視部１０１による制御に従って、ラインバッファ部４４から取得した２ライン前のカウント値Nt=-2に基づいてカレントラインを構成する複数の画素ごとに、iir帰還率を設定し、iir帰還率を表す情報を乗算部４６に供給する。
　このように、画像処理部１５ａでは、カレントラインのある１画素について、その１画素に対して垂直方向にある処理済みの複数の画素のカウント値がある程度一定の値以下を繰り返している場合、カウント値監視部１０１によりカウント値の最大値が制限される。例えば、カウント値がある程度一定の値以下を繰り返している場合、すなわち、エッジが周期的に繰り返し存在するような画像に対するNR処理が行われている場合、エッジが周期的に存在しているにも関わらずカウント値が間違ってその周期以上の大きな値となってしまうと、NR処理が誤って強く施されてしまうことが想定される。
　そこで、画像処理部１５ａでは、カウント値監視部１０１によりカウント値の最大値を制限することで、SNR最適帰還率設定部４５ａは、制限された最大値以下のカウント値を用いてiir帰還率を設定することができ、NR処理が誤って強く施されることを回避することができる。
　なお、画像処理部１５ａにより実行される処理の流れは、基本的に、図３と図４のフローチャートに示した処理の流れと同様である。
　以上のように、画像処理部１５ａは、カウント値監視部１０１でiir帰還率の値を制限するので、アーティファクトの発生を抑えてノイズを低減することが可能となる。
＜５．その他の変形例＞
・適用例
　画像処理部１５を含む車載カメラシステム１の一部の構成が、テレビジョン受信機、放送波の発信装置、レコーダなどに設けられるようにしてもよい。
・コンピュータの構成例
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。
　・移動体への応用例
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１４は、撮像部１２０３１の設置位置の例を示す図である。
　図１４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１、車外情報検出ユニット１２０３０、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および表示部１２０６２に適用され得る。具体的には、図１のカメラ制御部１１、撮像素子１２、アナログフロントエンド１３、A/D変換部１４、および画像処理部１５は、撮像部１２０３１に適用することができる。また、図１の認識器１６は、車外情報検出ユニット１２０３０に適用することができる。図１のAD/ADAS制御部１７は、マイクロコンピュータ１２０５１に適用することができる。音声画像出力部１２０５２は、図１のD/A変換部１９に相当する。表示部１２０６２は、図１の表示部２０に相当する。自動車に本開示に係る技術を適用することにより、アーティファクトの発生を抑えてノイズが低減された画像を得ることができるため、ＡＤＡＳ用途に用いられる車外の情報をより正確に検出することが可能になる。
・その他
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定する帰還率設定部と、
　前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドするブレンド部と、
　前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する計算部と
　を備える画像処理装置。
（２）
　前記現在ラインの画素についてエッジを検出するエッジ検出部をさらに備え、
　前記計算部は、前記現在ラインの画素に対するエッジの検出結果に基づいて、前記現在ラインの画素に対して設定されるカウント値を計算する
　前記（１）に記載の画像処理装置。
（３）
　前記エッジ検出部は、前記現在ラインの画素についてエッジを検出した場合、前記検出結果に0を設定し、前記現在ラインの画素についてエッジを検出しなかった場合、前記検出結果に1を設定し、
　前記計算部は、前記過去ラインの画素に対して設定されたカウント値と、前記検出結果とを乗算し、乗算結果に1を加算することによって、前記現在ラインの画素に設定されるカウント値を計算する
　前記（２）に記載の画像処理装置。
（４）
　前記帰還率と前記検出結果とを乗算することによって、前記過去ラインの画素がブレンドされる比率を計算する乗算部をさらに備え、
　前記ブレンド部は、前記比率に基づいて、前記現在ラインの画素と前記過去ラインの画素とをブレンドする
　前記（３）に記載の画像処理装置。
（５）
　前記帰還率設定部は、前記過去ラインの画素に対して設定されたカウント値を、前記過去ラインの画素に対して設定されたカウント値に1を加算した加算結果で除算し、除算結果を前記帰還率として設定する
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　画素ごとに設定されたカウント値を監視し、監視結果に基づいて前記過去ラインの画素に対して設定されたカウント値を制限する監視部をさらに備え、
　前記帰還率設定部は、前記監視部により制限されたカウント値に基づいて、前記帰還率を設定する
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記監視部は、閾値以下のカウント値が繰り返された場合、前記帰還率の設定に用いられる、前記過去ラインの画素に対して設定されたカウント値の最大値を制限する
　前記（６）に記載の画像処理装置。
（８）
　　前記画像を表す信号を取得する撮像素子と、
　　前記信号に対してアナログ処理を施すアナログフロントエンドと、
　　前記アナログ処理が施された前記信号をデジタル画像データに変換する変換部と、
　　前記帰還率設定部、前記ブレンド部、および前記計算部が設けられた画像処理部と、
　　前記撮像素子、前記アナログフロントエンド、前記変換部、および前記画像処理部を制御する制御部と
　が設けられたセンサチップを備える
　前記（１）に記載の画像処理装置。
（９）
　画像処理装置が、
　画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定し、
　前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドし、
　前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する
　画像処理方法。
（１０）
　コンピュータに、
　画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定し、
　前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドし、
　前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する
　処理を実行させるためのプログラム。
　１　車載カメラシステム，　１１　カメラ制御部，　１２　撮像素子，　１３　アナログフロントエンド，　１４　A/D変換部，　１５　画像処理部，　１６　認識器，　１７　AD/ADAS制御部，　１８　ストレージ，　１９　D/A変換部，　２０　表示部，　４１　ノイズ振幅算出部，　４２　Ｖ方向平面検波部，　４３　カウント値計算部，　４４　ラインバッファ部，　４５　SNR最適帰還率設定部，　４６　乗算部，　４７　アルファブレンド処理部，　４８　ラインバッファ部，　１０１　カウント値監視部

Claims (10)

  1. 　画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定する帰還率設定部と、
    　前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドするブレンド部と、
    　前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する計算部と
    　を備える画像処理装置。
  2. 　前記現在ラインの画素についてエッジを検出するエッジ検出部をさらに備え、
    　前記計算部は、前記現在ラインの画素に対するエッジの検出結果に基づいて、前記現在ラインの画素に対して設定されるカウント値を計算する
    　請求項１に記載の画像処理装置。
  3. 　前記エッジ検出部は、前記現在ラインの画素についてエッジを検出した場合、前記検出結果に0を設定し、前記現在ラインの画素についてエッジを検出しなかった場合、前記検出結果に1を設定し、
    　前記計算部は、前記過去ラインの画素に対して設定されたカウント値と、前記検出結果とを乗算し、乗算結果に1を加算することによって、前記現在ラインの画素に設定されるカウント値を計算する
    　請求項２に記載の画像処理装置。
  4. 　前記帰還率と前記検出結果とを乗算することによって、前記過去ラインの画素がブレンドされる比率を計算する乗算部をさらに備え、
    　前記ブレンド部は、前記比率に基づいて、前記現在ラインの画素と前記過去ラインの画素とをブレンドする
    　請求項３に記載の画像処理装置。
  5. 　前記帰還率設定部は、前記過去ラインの画素に対して設定されたカウント値を、前記過去ラインの画素に対して設定されたカウント値に1を加算した加算結果で除算し、除算結果を前記帰還率として設定する
    　請求項１に記載の画像処理装置。
  6. 　画素ごとに設定されたカウント値を監視し、監視結果に基づいて前記過去ラインの画素に対して設定されたカウント値を制限する監視部をさらに備え、
    　前記帰還率設定部は、前記監視部により制限されたカウント値に基づいて、前記帰還率を設定する
    　請求項１に記載の画像処理装置。
  7. 　前記監視部は、閾値以下のカウント値が繰り返された場合、前記帰還率の設定に用いられる、前記過去ラインの画素に対して設定されたカウント値の最大値を制限する
    　請求項６に記載の画像処理装置。
  8. 　　前記画像を表す信号を取得する撮像素子と、
    　　前記信号に対してアナログ処理を施すアナログフロントエンドと、
    　　前記アナログ処理が施された前記信号をデジタル画像データに変換する変換部と、
    　　前記帰還率設定部、前記ブレンド部、および前記計算部が設けられた画像処理部と、
    　　前記撮像素子、前記アナログフロントエンド、前記変換部、および前記画像処理部を制御する制御部と
    　が設けられたセンサチップを備える
    　請求項１に記載の画像処理装置。
  9. 　画像処理装置が、
    　画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定し、
    　前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドし、
    　前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する
    　画像処理方法。
  10. 　コンピュータに、
    　画像を構成する複数のラインのうち、入力された現在ラインの画素と既に出力された過去ラインの画素とをブレンドするブレンド処理の処理対象となっている前記現在ラインの画素に対して、前記過去ラインの画素に対して設定されたカウント値に基づいて帰還率を設定し、
    　前記帰還率に応じて、前記現在ラインの画素と前記過去ラインの画素とをブレンドし、
    　前記ブレンド処理によって前記現在ラインの画素にブレンドされた画素の累積数を表す、前記現在ラインの画素に対して設定されるカウント値を計算する
    　処理を実行させるためのプログラム。
PCT/JP2020/045174 2019-12-19 2020-12-04 画像処理装置、画像処理方法、およびプログラム WO2021124921A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/757,239 US20230007146A1 (en) 2019-12-19 2020-12-04 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019229442 2019-12-19
JP2019-229442 2019-12-19

Publications (1)

Publication Number Publication Date
WO2021124921A1 true WO2021124921A1 (ja) 2021-06-24

Family

ID=76477314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045174 WO2021124921A1 (ja) 2019-12-19 2020-12-04 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20230007146A1 (ja)
WO (1) WO2021124921A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184786A (ja) * 2003-11-28 2005-07-07 Victor Co Of Japan Ltd ノイズ抑圧回路
JP2006166368A (ja) * 2004-12-10 2006-06-22 Matsushita Electric Ind Co Ltd スミア補正装置
JP2010157791A (ja) * 2008-12-26 2010-07-15 Ricoh Co Ltd 画像処理装置及び車載カメラ装置
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184786A (ja) * 2003-11-28 2005-07-07 Victor Co Of Japan Ltd ノイズ抑圧回路
JP2006166368A (ja) * 2004-12-10 2006-06-22 Matsushita Electric Ind Co Ltd スミア補正装置
JP2010157791A (ja) * 2008-12-26 2010-07-15 Ricoh Co Ltd 画像処理装置及び車載カメラ装置
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ

Also Published As

Publication number Publication date
US20230007146A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
EP3572834A1 (en) Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program
EP3737084B1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
US11325520B2 (en) Information processing apparatus and information processing method, and control apparatus and image processing apparatus
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11076148B2 (en) Solid-state image sensor, imaging apparatus, and method for controlling solid-state image sensor
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2021060118A1 (ja) 撮像装置
WO2021059682A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US11368620B2 (en) Image processing apparatus, image processing method, and electronic device
WO2021124921A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US20200402206A1 (en) Image processing device, image processing method, and program
US20230016407A1 (en) Solid state imaging element and imaging device
TWI742636B (zh) 攝像裝置及攝像方法
CN113170067B (zh) 摄像装置、摄像系统和故障检测方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
EP3905656A1 (en) Image processing device
US11201997B2 (en) Solid-state imaging device, driving method, and electronic apparatus
US11722804B2 (en) Imaging device and imaging system having a stacked structure for pixel portion and signal processing circuit portion
WO2022254813A1 (ja) 撮像装置、電子機器、および光検出方法
WO2021131684A1 (ja) 測距装置およびその制御方法、並びに、電子機器
CN113752968A (zh) 用于车辆辅助驾驶的控制方法、装置、系统、介质和车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20902023

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20902023

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP