WO2020049806A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020049806A1
WO2020049806A1 PCT/JP2019/020496 JP2019020496W WO2020049806A1 WO 2020049806 A1 WO2020049806 A1 WO 2020049806A1 JP 2019020496 W JP2019020496 W JP 2019020496W WO 2020049806 A1 WO2020049806 A1 WO 2020049806A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
abnormality
unit
image data
Prior art date
Application number
PCT/JP2019/020496
Other languages
English (en)
French (fr)
Inventor
横田　誠
真吾 長滝
田中　寛之
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/250,705 priority Critical patent/US20210217146A1/en
Publication of WO2020049806A1 publication Critical patent/WO2020049806A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Definitions

  • the image processing apparatus it is checked for each image frame whether or not the module that has performed the image processing has failed. After confirming that the module has not failed, the subsequent processing is performed. For example, a method is known in which a failure detection pattern covering an assumed failure pattern is input to a circuit and it is determined whether or not an output value of the circuit matches an expected value (for example, see Patent Document 1). ).
  • a failure is detected by providing a tag number in order to recognize a resource portion of a pipeline divided into a plurality of stages.
  • it is determined whether or not the calculation result data and the expected value data match using the failure detection data, and the data amount increases in order to output the failure detection data.
  • a first aspect of the present technology includes an abnormality detection unit that detects an abnormality in an image signal in a predetermined pixel, and an abnormality detection unit that detects the abnormality in the predetermined pixel.
  • An output unit that outputs a pixel value within a predetermined range when not detected, and outputs a pixel value outside the predetermined range when the abnormality is detected at the predetermined pixel.
  • an image processing method This has the effect of outputting a pixel value outside the predetermined range for the pixel for which an abnormality has been detected.
  • the image processing apparatus further includes an image supply unit that supplies a plurality of image data, and a combining unit that combines the plurality of image data to generate one image data. Comparing the plurality of image data and detecting the abnormality with respect to the pixel in which the position shift of the object has occurred, and the output unit determines the predetermined pixel in which the abnormality has been detected in the synthesized image data. Pixel values outside the above-mentioned predetermined range may be output. This brings about an effect of outputting a pixel value outside a predetermined range for a pixel in which an abnormality is detected in a plurality of images before combination.
  • an abnormality detecting unit that detects an abnormality in an image signal at a predetermined pixel, and outputs a pixel value within a predetermined range when the abnormality is not detected at the predetermined pixel.
  • a first circuit including an output unit that outputs a pixel value outside the predetermined range when the abnormality is detected in the predetermined pixel; and when the pixel value is outside the predetermined range,
  • An image processing apparatus and an image processing method including a second circuit including a correction processing unit that corrects the pixel value. This has the effect of outputting a pixel value outside the predetermined range from the first circuit to the second circuit for a pixel in which an abnormality has been detected.
  • the correction processing unit may correct the pixel values by interpolation processing in a spatial direction or a time direction. This brings about the effect that the correction is performed in the second circuit based on the information from the first circuit.
  • the second circuit further includes a detection processing unit that detects a specific pixel value in a pixel output from the first circuit, and the correction processing unit The pixel value may be corrected to another pixel value. This brings about an effect that the correction is performed based on the information detected in the second circuit.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging circuit 100 which is an example of an image processing device according to a first embodiment of the present technology.
  • FIG. 5 is a diagram illustrating an example of detection of a motion artifact in the moving object detection unit 140 according to the first embodiment of the present technology.
  • FIG. 5 is a diagram illustrating an example of OB clamp processing in an OB clamp processing unit 130 according to the first embodiment of the present technology.
  • FIG. 3 is a diagram illustrating a format example of frame data 700 output from the imaging circuit 100 to the signal processing circuit 200 according to the first embodiment of the present technology.
  • FIG. 5 is a diagram illustrating a specific example of image data 730 according to the first embodiment of the present technology.
  • FIG. 5 is a flowchart illustrating an example of a processing procedure of the imaging circuit 100 according to the first embodiment of the present technology.
  • FIG. 11 is a diagram illustrating a configuration example of an imaging circuit 100 that is an example of an image processing device according to a second embodiment of the present technology.
  • FIG. 14 is a diagram illustrating a configuration example of a navigation system that is an example of an image processing device according to a third embodiment of the present technology.
  • 1 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a moving object control system to which the technology according to the present disclosure can be applied.
  • FIG. 13 is a diagram illustrating an example of an installation position of an imaging unit 12031.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging circuit 100 that is an example of an image processing device according to a first embodiment of the present technology.
  • the moving object detection unit 140 detects the movement of the object by comparing the high sensitivity signal and the low sensitivity signal generated by the image sensor 110. Since the moving body detecting unit 140 refers to the image before the combining by the combining unit 120, the moving body detecting unit 140 can detect a false image (Motion Artifact) due to a displacement due to a movement. Even if a seemingly blurred image appears in the synthesized image, it is difficult to determine whether the image is due to motion artifacts or is originally such an image. The moving object detection unit 140 detects an area where a motion artifact has occurred by referring to the image before combination. Note that the moving object detection unit 140 is an example of the abnormality detection unit described in the claims.
  • the moving body detection information superimposing section 160 superimposes information on the motion artifact occurrence area detected by the moving body detecting section 140 on the image data from the OB clamp processing section 130.
  • the moving object detection information superimposing section 160 does not rewrite the pixel value of the signal in the area where no motion artifact has occurred in the image data from the OB clamp processing section 130.
  • the pixel value of the signal in the area where the motion artifact has occurred is rewritten to a value that cannot be originally obtained after the OB clamping process.
  • the rewritten image data is output to the subsequent signal processing circuit 200 via the signal line 199.
  • the moving object detection information superimposing section 160 is an example of an output section described in the claims.
  • the signal processing circuit 200 at the subsequent stage specifies, on a pixel-by-pixel basis, a region where a motion artifact has occurred by extracting a value that cannot be originally obtained after the OB clamp process in the image data output via the signal line 199. be able to.
  • This allows the subsequent signal processing circuit 200 to perform a correction process as needed.
  • the correction processing conventionally required to be performed by the preceding imaging circuit can be performed by the subsequent signal processing circuit 200.
  • the signal processing circuit 200 is an example of a second circuit described in the claims.
  • FIG. 2 is a diagram illustrating an example of detecting a motion artifact in the moving object detection unit 140 according to the first embodiment of the present technology.
  • the image sensor 110 generates a low-sensitivity signal image 610 and a high-sensitivity signal image 620.
  • the moving object detection unit 140 compares the low-sensitivity signal image 610 and the high-sensitivity signal image 620 generated by the image sensor 110 to detect a motion artifact generation area.
  • motion artifacts are detected in an area 622 where a butterfly floats and an area 621 where a cat chasing the butterfly jumps. Therefore, a motion artifact also occurs in the HDR image 630 subjected to the combining process by the combining unit 120.
  • the moving object detection unit 140 can detect a motion artifact occurrence area in pixel units. Therefore, if the presence or absence of the motion artifact is expressed in pixel units, binary information corresponding to the number of pixels for one frame is required. When it is assumed that such information is separately transmitted from the imaging circuit 100 to the subsequent signal processing circuit 200, the amount of information to be additionally transmitted for each frame increases, which is not practical.
  • the moving object detection information superimposing section 160 superimposes information on the motion artifact occurrence area on the image after the synthesis. For that purpose, attention is paid to the point that the OB clamp value is added for the black level adjustment in the OB clamp processing unit 130 in the preceding stage of the moving object detection information superimposing unit 160.
  • FIG. 3 is a diagram illustrating an example of OB clamp processing in the OB clamp processing unit 130 according to the first embodiment of the present technology.
  • a is image data that has been subjected to the combining process by the combining unit 120.
  • B in FIG. 7 is image data after the OB clamp processing is performed by the OB clamp processing unit 130.
  • the OB clamp value is uniformly added to the pixel values of all the pixels constituting one frame of image data in order to adjust the black level. Therefore, all the pixel values of the image data after the OB clamp processing indicate values equal to or more than the OB clamp value. In other words, a value smaller than the OB clamp value is a value that cannot be originally taken as a pixel value.
  • the moving object detection information superimposing unit 160 rewrites the pixel value of the motion artifact occurrence area to a value that cannot be originally taken as a pixel value.
  • the signal processing circuit 200 at the subsequent stage can specify a region where the motion artifact has occurred by extracting a value that cannot be originally obtained after the OB clamping process.
  • the output data amount does not change.
  • FIG. 4 is a diagram illustrating a format example of the frame data 700 output from the imaging circuit 100 to the signal processing circuit 200 according to the first embodiment of the present technology.
  • This frame data 700 has a format in which an OB area 710, embedding information 720, image data 730, and embedding information 740 are arranged in time series.
  • the OB area 710 is a pixel area for performing black level adjustment.
  • the pixel corresponding to the OB region 710 has the same structure as a normal pixel, but is shielded from light by a metal film and does not receive light from a subject.
  • the OB clamp value is determined using the signal in the OB area 710.
  • the embedded information 720 is attribute information arranged before the image data 730.
  • the OB clamp value determined using the signal of the OB area 710 is stored as the OB clamp value 721 in the embedded information 720.
  • ⁇ Circle around (a) ⁇ in the figure is an example of image data after the combining process is performed by the combining unit 120 and the OB clamp process is performed by the OB clamp processing unit 130.
  • a motion artifact has been detected in region 725 by moving object detecting section 140.
  • the moving object detection information superimposing section 160 rewrites the pixel value of the area 726 corresponding to the motion artifact occurrence area to, for example, “0” as shown in b in FIG.
  • This “0” is an example of a value that cannot be originally taken as a pixel value, and may be another value as long as the value is smaller than the OB clamp value.
  • the signal processing circuit 200 at the subsequent stage can know the OB clamp value added by the OB clamp processing in the OB clamp processing unit 130 from the OB clamp value 721 of the embedded information 720. Therefore, the region 726 in which the pixel value indicates a value less than the OB clamp value can be recognized as a motion artifact occurrence region. Thereby, the signal processing circuit 200 can correct the pixel value by performing the interpolation processing on the motion artifact occurrence area of the image data output from the imaging circuit 100.
  • the interpolation process in the signal processing circuit 200 may be an interpolation process referring to a spatial direction in nearby coordinates in a frame, or may be an interpolation process referring to corresponding coordinates of preceding and succeeding frames in a time direction. Further, by combining these, the interpolation processing may be performed by referring to the corresponding coordinates of the preceding and succeeding frames in the time direction and the spatial direction in the nearby coordinates.
  • FIG. 6 is a flowchart illustrating an example of a processing procedure of the imaging circuit 100 according to the first embodiment of the present technology.
  • the image sensor 110 captures an image of a subject and acquires a high sensitivity signal and a low sensitivity signal (Steps S911 and S912).
  • the order of acquiring the high-sensitivity signal and the low-sensitivity signal may be any order.
  • the moving object detection unit 140 detects the motion of the object by comparing the generated high-sensitivity signal and the low-sensitivity signal, and detects a motion artifact occurrence region (step S913).
  • the combining unit 120 combines the generated high-sensitivity signal and low-sensitivity signal to generate HDR image data (step S914). Further, the OB clamp processing unit 130 acquires the OB clamp value 721 using the OB area 710 for the combined image data, and adjusts the black level by the OB clamp process (step S915).
  • the moving object detection information superimposing section 160 superimposes information on the motion artifact occurrence area on the image data subjected to the OB clamp processing. That is, if the pixel is in the motion artifact occurrence area (step S916: Yes), the pixel value is rewritten to a value that cannot be originally obtained (step S917). On the other hand, if the pixel is not a pixel in the motion artifact occurrence area (step S916: No), such rewriting is not performed.
  • the pixel data thus obtained is output from the imaging circuit 100 to the subsequent signal processing circuit 200 (step S918).
  • a motion artifact occurrence area is detected from image data before synthesis, and the pixel value of the corresponding area is rewritten to a value less than the OB clamp value. As a result, it is possible to recognize the motion artifact occurrence area at a later stage.
  • the motion artifact occurrence region is detected using the information before the combination, the motion artifact occurrence region can be detected with higher accuracy than when using the information after the combination in which the information amount is lost.
  • the output of the information regarding the motion artifact occurrence region is performed using the lower limit range of the pixel value on the assumption that the value smaller than the OB clamp value is a value that cannot be originally taken as the pixel value. went.
  • the range of the upper limit portion of the pixel value may be used.
  • the maximum value of the pixel value is limited, and information on the motion artifact occurrence region is output by a value exceeding the maximum value.
  • FIG. 7 is a diagram illustrating a configuration example of an imaging circuit 100 which is an example of an image processing device according to the second embodiment of the present technology.
  • bit width of the pixel value is, for example, 10 bits
  • a value in a range from “0” to “1023” can be expressed.
  • the limit processing unit 150 by performing the process of limiting the maximum value to “1020” by the limit processing unit 150, “1021”, “1022”, and “1023” can be treated as values that cannot be originally taken as pixel values.
  • the moving object detection information superimposing unit 160 rewrites the pixel value of the pixel corresponding to the motion artifact occurrence area detected by the moving object detecting unit 140 to, for example, “1021”. Accordingly, the signal processing circuit 200 at the subsequent stage can perform correction on the pixel whose pixel value indicates “1021”.
  • a motion artifact occurrence area is detected based on image data before synthesis, and the pixel value of the corresponding area exceeds the maximum value limited by the limit processing unit 150. Rewrite with a value. As a result, it is possible to recognize the motion artifact occurrence area at a later stage.
  • FIG. 8 is a diagram illustrating a configuration example of a navigation system that is an example of an image processing device according to the third embodiment of the present technology.
  • the imaging circuit 100 according to the above-described first or second embodiment is assumed as a preceding circuit.
  • a signal processing circuit 200, a navigation device 300, and a display device 400 are shown as subsequent circuits.
  • the detection processing unit 210 detects a pixel area to be corrected.
  • the detection processing unit 210 detects, for each pixel of the image data 730 of the frame data 700 output from the imaging circuit 100, a pixel having a value that cannot be originally taken as a motion artifact occurrence area. For example, as described in the first embodiment, a pixel indicating a value smaller than the OB clamp value is detected. Further, as described in the second embodiment, a pixel having a value exceeding the limited maximum value is detected.
  • the detection processing unit 210 may detect a pixel region to be corrected based on the pixel value of the image data 730. For example, in image data captured by a vehicle-mounted camera, as an example of a motion artifact, an unnatural color may be generated at the edge of a white line indicating a lane on a road. Therefore, separately from the detection of the motion artifact in the imaging circuit 100, the detection processing unit 210 may perform image processing on the image data to detect the motion artifact occurrence region. As the image processing in this case, for example, processing such as detecting an edge and detecting an unnatural color as a road surface color around the edge can be considered.
  • the ⁇ correction processing unit 220 performs correction processing of pixel data on the motion artifact occurrence area detected by the detection processing unit 210.
  • the correction processing unit 220 may perform the interpolation processing with reference to the spatial direction in the neighboring coordinates in the frame, or may perform the interpolation processing with reference to the corresponding coordinates of the previous and next frames in the time direction. Is also good. Further, by combining these, the interpolation process may be performed by referring to the corresponding coordinates of the preceding and following frames in the time direction and the spatial direction in the nearby coordinates.
  • the navigation device 300 performs processing for displaying image data output from the signal processing circuit 200 on a navigation screen.
  • the navigation device 300 includes a drawing processing unit 310 for drawing image data.
  • the display device 400 is a display device that displays a navigation screen.
  • the focus has been on superimposing information on the motion artifact occurrence region on the pixel data.
  • the information to be superimposed on the pixel data is not limited to the information on the motion artifact occurrence area.
  • the coordinates of the defective pixel may be superimposed on the pixel data for the correction processing of the defective pixel in the camera signal processing unit 230 described above.
  • the coordinates of the defective pixel detected by the inspection before shipment from the factory can be set in a register of the signal processing circuit 200 in advance. Need to be notified separately. In such a case, if the information is superimposed on the pixel data, the information can be notified to the subsequent stage without increasing the data amount.
  • FIG. 9 is a block diagram illustrating a schematic configuration example of a vehicle control system which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • the in-vehicle information detection unit 12040 detects information in the vehicle.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver status detection unit 12041 that detects the status of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. The calculation may be performed, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes functions of an ADAS (Advanced Driver Assistance System) including a vehicle collision avoidance or a shock mitigation, a following operation based on an inter-vehicle distance, a vehicle speed maintaining operation, a vehicle collision warning, or a vehicle lane departure warning. Cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the information about the surroundings of the vehicle obtained by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver 120 It is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp in accordance with the position of the preceding vehicle or the oncoming vehicle detected by the outside-of-vehicle information detection unit 12030, and performs cooperative control for the purpose of preventing glare such as switching a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits at least one of a sound signal and an image signal to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like.
  • the microcomputer 12051 calculates a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change of the distance (relative speed with respect to the vehicle 12100). , It is possible to extract, as a preceding vehicle, a three-dimensional object that travels at a predetermined speed (for example, 0 km / h or more) in a direction substantially the same as that of the vehicle 12100, which is the closest three-dimensional object on the traveling path of the vehicle 12100. it can.
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a motorcycle, a normal vehicle, a large vehicle, a pedestrian, a telephone pole, and the like based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating a risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver through forced driving and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • driving assistance for collision avoidance can be performed.
  • a first circuit comprising: an output unit that outputs a pixel value outside the predetermined range when is detected;
  • An image processing apparatus comprising: a second circuit including a correction processing unit that corrects the pixel value when the pixel value is outside the predetermined range.
  • the image processing device according to (9), wherein the correction processing unit corrects the pixel values by interpolation processing in a spatial direction or a time direction.
  • the second circuit further includes a detection processing unit that detects a specific pixel value in a pixel output from the first circuit, The image processing device according to (9) or (10), wherein the correction processing unit corrects the specific pixel value to another pixel value.
  • an abnormality detection unit detects an abnormality in an image signal in a predetermined pixel;
  • the output unit outputs a pixel value within a predetermined range when the abnormality is not detected at the predetermined pixel, and outputs a pixel value outside the predetermined range when the abnormality is detected at the predetermined pixel. And outputting the image.
  • Imaging circuit 110 image sensor 120 synthesizing unit 130 OB clamp processing unit 140 moving object detection unit 150 limit processing unit 160 moving object detection information superimposing unit 200 signal processing circuit 210 detection processing unit 220 correction processing unit 230 camera signal processing unit 300 navigation device 310 drawing Processing unit 400 Display device 12031 Imaging unit

Abstract

画像処理装置において、データ量を増加させることなく後段の回路に異常検出結果を通知する。　画像処理装置は、異常検出部および出力部を備える。異常検出部は、所定の画素において画像信号の異常を検出する。出力部は、その所定の画素において異常が検出されない場合には、所定の範囲内の画素値を出力する。一方、出力部は、所定の画素において異常が検出された場合には、所定の範囲外の画素値を出力する。これにより、後段の回路では、その画素値が所定の範囲内か否かによって、異常が検出された画素を特定する。

Description

画像処理装置および画像処理方法
　本技術は、画像処理装置に関する。詳しくは、画像信号の異常を検出して処理を行う画像処理装置、および、その処理方法に関する。
　画像処理装置では、画像処理を行ったモジュールが故障しているか否かを画像フレーム毎に確認して、モジュールが故障していないことを確認した後に、後段の処理が進められる。例えば、想定した故障パターンを網羅する故障検出パターンを回路に入力して、回路の出力値が期待値と一致しているか否かを判定する手法が知られている（例えば、特許文献１参照。）。
特開２０１７－０９２７５７号公報
　上述の従来技術では、複数のステージに分割されたパイプラインのリソース部分を認識するためにタグ番号を設けて故障検出を行っている。しかしながら、この従来技術では、故障検知用データを用いて、演算結果データと期待値データとが一致するか否かを判断しており、故障検知用データを出力するためにデータ量が増加してしまうという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、画像処理装置において、データ量を増加させることなく後段の回路に異常検出結果を通知することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の画素において画像信号の異常を検出する異常検出部と、上記所定の画素において上記異常が検出されない場合には所定の範囲内の画素値を出力し、上記所定の画素において上記異常が検出された場合には上記所定の範囲外の画素値を出力する出力部とを具備する画像処理装置および画像処理方法である。これにより、異常が検出された画素について、所定の範囲外の画素値を出力するという作用をもたらす。
　また、この第１の側面において、画像データを構成する全ての画素について画素値に一律の値を加算する加算部をさらに具備し、上記出力部は、上記異常が検出された場合の上記所定の範囲外の値として、上記加算した値より小さい画素値を出力するようにしてもよい。これにより、画素値に一律の値が加算されていることを前提として、加算した値より小さい画素値を出力するという作用をもたらす。
　また、この第１の側面において、上記加算部は、上記画像データにおけるオプティカルブラッククランプ値を上記一律の値として加算するようにしてもよい。これにより、オプティカルブラッククランプを前提として、オプティカルブラッククランプ値より小さい画素値を出力するという作用をもたらす。
　また、この第１の側面において、画像データを構成する全ての画素に対して画素値の上限値を設定する上限設定部をさらに具備し、上記出力部は、上記異常が検出された場合の上記所定の範囲外の値として、上記上限値より大きい画素値を出力するようにしてもよい。これにより、画素値の上限値を前提として、上限値より大きい画素値を出力するという作用をもたらす。
　また、この第１の側面において、複数の画像データを供給する画像供給部と、上記複数の画像データを合成して１つの画像データを生成する合成部とをさらに具備し、上記異常検出部は、上記複数の画像データを比較して物体の位置ずれが生じている画素について上記異常を検出し、上記出力部は、上記異常が検出された上記所定の画素については上記合成された画像データにおいて上記所定の範囲外の画素値を出力するようにしてもよい。これにより、合成前の複数の画像において異常が検出された画素について、所定の範囲外の画素値を出力するという作用をもたらす。
　また、この第１の側面において、上記画像供給部は、被写体を撮像して互いに感度の異なる画像データを上記複数の画像データとして生成する撮像素子を備えるようにしてもよい。その際、上記撮像素子は、同一被写体の異なる露光時間の画像データを上記感度の異なる画像データとして生成するようにしてもよい。
　また、この第１の側面において、被写体を撮像して画像データを生成する撮像素子をさらに具備し、上記異常検出部は、上記画像データについて上記撮像素子の欠陥に起因する異常を検出するようにしてもよい。これにより、欠陥画素に関する情報を、所定の範囲外の画素値として出力するという作用をもたらす。
　また、本技術の第２の側面は、所定の画素において画像信号の異常を検出する異常検出部と、上記所定の画素において上記異常が検出されない場合には所定の範囲内の画素値を出力し、上記所定の画素において上記異常が検出された場合には上記所定の範囲外の画素値を出力する出力部とを備える第１の回路と、上記画素値が上記所定の範囲外の場合にはその画素値について補正を行う補正処理部を備える第２の回路とを具備する画像処理装置および画像処理方法である。これにより、異常が検出された画素について、所定の範囲外の画素値を第１の回路から第２の回路に出力するという作用をもたらす。
　また、この第２の側面において、上記補正処理部は、空間方向または時間方向の補間処理により上記画素値の補正を行うようにしてもよい。これにより、第１の回路からの情報に基づいて第２の回路において補正を行うという作用をもたらす。
　また、この第２の側面において、上記第２の回路は、上記第１の回路から出力された画素において特定の画素値を検出する検出処理部をさらに備え、上記補正処理部は、上記特定の画素値を他の画素値に補正するようにしてもよい。これにより、第２の回路において検出した情報に基づいて補正を行うという作用をもたらす。
本技術の第１の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。 本技術の第１の実施の形態の動体検出部１４０におけるモーションアーチファクトの検出例を示す図である。 本技術の第１の実施の形態のＯＢクランプ処理部１３０におけるＯＢクランプの処理例を示す図である。 本技術の第１の実施の形態における撮像回路１００から信号処理回路２００に出力されるフレームデータ７００の形式例を示す図である。 本技術の第１の実施の形態における画像データ７３０の具体例を示す図である。 本技術の第１の実施の形態における撮像回路１００の処理手順例を示す流れ図である。 本技術の第２の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。 本技術の第３の実施の形態における画像処理装置の一例であるナビゲーションシステムの構成例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部１２０３１の設置位置の例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ＯＢクランプ値未満の値を利用して情報を重畳する例）
　２．第２の実施の形態（画素値の最大値を制限して情報を重畳する例）
　３．第３の実施の形態（ナビゲーションシステム）
　４．第４の実施の形態（欠陥画素の補正処理）
　５．適用例
　＜１．第１の実施の形態＞
　［撮像回路］
　図１は、本技術の第１の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。
　この第１の実施の形態における撮像回路１００は、イメージセンサ１１０と、合成部１２０と、ＯＢクランプ処理部１３０と、動体検出部１４０と、動体検出情報重畳部１６０とを備える。なお、撮像回路１００は、特許請求の範囲に記載の第１の回路の一例である。
　イメージセンサ１１０は、被写体を撮像して、光電変換およびＡ／Ｄ（Analog-to-Digital）変換を行い、デジタル信号の画像データを生成する撮像素子である。ここでは、イメージセンサ１１０は、１フレームの画像データとして、感度の異なる高感度信号および低感度信号の２種類を出力することを想定する。これら高感度信号および低感度信号を生成するためには、同一の被写体に対して露光時間が異なる２回の露光を行って画像データを生成することが考えられる。また、１回の露光中に異なるタイミングで２回サンプリングを行うことにより、露光時間が異なる画像データを生成するようにしてもよい。なお、イメージセンサ１１０は、特許請求の範囲に記載の画像供給部または撮像素子の一例である。
　合成部１２０は、イメージセンサ１１０によって生成された高感度信号および低感度信号を合成して、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）の１フレームの画像データを生成するものである。すなわち、これにより、明暗差の広い画像データを生成することができる。
　ＯＢクランプ処理部１３０は、合成部１２０によって合成された１フレームの画像データについて、オプティカルブラック（ＯＢ：Optical Black）領域を用いて、クランプによる黒レベル合わせを行うものである。ＯＢ領域は、後述するように、有効画素の周囲に配置された画素領域であり、フォトダイオード上がアルミニウム等の金属膜によって遮光されていて、外部から光が入光しないようになっている。このＯＢ領域を用いて黒レベル合わせを行うことにより、温度上昇などにより発生する暗電流の増加分を相殺することができる。ＯＢクランプ処理部１３０は、１フレームの画像データを構成する全ての画素について、画素値に一律のオフセット値（ＯＢクランプ値）を加算することにより、黒レベル合わせを行う。なお、ＯＢクランプ処理部１３０は、特許請求の範囲に記載の加算部の一例である。
　動体検出部１４０は、イメージセンサ１１０によって生成された高感度信号および低感度信号を比較することにより、物体の動きを検出するものである。この動体検出部１４０は、合成部１２０による合成前の画像を参照するため、動きに伴う位置ずれによる偽像（モーションアーチファクト（Motion Artifact））を検出することができる。合成後の画像では、一見ぼやけているような像が写っていても、それがモーションアーチファクトによるものか、それとも元来そのような画像なのかを判断することは困難である。この動体検出部１４０は、合成前の画像を参照することにより、モーションアーチファクトが発生している領域を検出する。なお、動体検出部１４０は、特許請求の範囲に記載の異常検出部の一例である。
　動体検出情報重畳部１６０は、動体検出部１４０によって検出されたモーションアーチファクト発生領域に関する情報を、ＯＢクランプ処理部１３０からの画像データに重畳するものである。この動体検出情報重畳部１６０は、ＯＢクランプ処理部１３０からの画像データについて、モーションアーチファクトが発生していない領域の信号の画素値は書き換えない。一方、モーションアーチファクトが発生している領域の信号の画素値は、ＯＢクランプ処理後には本来取り得ない値に書き換える。このような書換えが施された画像データは、信号線１９９を介して後段の信号処理回路２００に出力される。なお、動体検出情報重畳部１６０は、特許請求の範囲に記載の出力部の一例である。
　後段の信号処理回路２００は、信号線１９９を介して出力された画像データにおいて、ＯＢクランプ処理後には本来取り得ない値を抽出することにより、モーションアーチファクトが発生している領域を画素単位で特定することができる。これにより、後段の信号処理回路２００において、必要に応じて補正処理を行うことができる。すなわち、従来は前段の撮像回路において行わざるを得なかった補正処理を、後段の信号処理回路２００において行うことが可能になる。合成後の画像データだけでは情報量が失われており、従来の信号処理回路においてはモーションアーチファクトの検出精度は低下してしまうが、この実施の形態では合成前の情報を用いてモーションアーチファクトを検出するため、検出精度を向上させることができる。なお、信号処理回路２００は、特許請求の範囲に記載の第２の回路の一例である。
　［モーションアーチファクト］
　図２は、本技術の第１の実施の形態の動体検出部１４０におけるモーションアーチファクトの検出例を示す図である。
　イメージセンサ１１０は、低感度信号画像６１０および高感度信号画像６２０を生成する。動体検出部１４０は、イメージセンサ１１０によって生成された低感度信号画像６１０および高感度信号画像６２０を比較することにより、モーションアーチファクトの発生領域を検出する。
　この例では、蝶が浮遊する領域６２２、および、その蝶を追いかける猫が飛び跳ねる領域６２１においてモーションアーチファクトが検出される。そのため、合成部１２０によって合成処理が行われたＨＤＲ画像６３０においてもモーションアーチファクトが発生する。
　動体検出部１４０においては、画素単位でモーションアーチファクトの発生領域を検出することができる。そのため、このモーションアーチファクトの発生の有無を画素単位で表現すると、１フレーム分の画素数に相当するバイナリ情報が必要になる。このような情報を撮像回路１００から後段の信号処理回路２００に別途送信することを仮定した場合には、１フレーム毎に追加送信する情報量が増大するため、現実的ではない。
　そこで、この実施の形態においては、動体検出情報重畳部１６０によって合成後の画像に対して、モーションアーチファクト発生領域に関する情報を重畳する。そのために、動体検出情報重畳部１６０の前段のＯＢクランプ処理部１３０において、黒レベル合わせのためにＯＢクランプ値が加算される点に着目する。
　［ＯＢクランプ］
　図３は、本技術の第１の実施の形態のＯＢクランプ処理部１３０におけるＯＢクランプの処理例を示す図である。
　同図のグラフは、横軸に１ライン分の画素を示し、縦軸に各画素に対応する画像データの画素値を示している。同図におけるａは、合成部１２０によって合成処理が行われた画像データである。同図におけるｂは、ＯＢクランプ処理部１３０によってＯＢクランプ処理が行われた後の画像データである。
　ＯＢクランプ処理においては、黒レベル合わせのために、１フレームの画像データを構成する全ての画素について、画素値にＯＢクランプ値が一律に加算される。したがって、ＯＢクランプ処理後の画像データの画素値は、全てＯＢクランプ値以上の値を示すことになる。換言すれば、ＯＢクランプ値未満の値は画素値として本来取り得ない値ということになる。
　そこで、この実施の形態においては、動体検出情報重畳部１６０が、モーションアーチファクト発生領域の画素値を、画素値として本来取り得ない値に書き換える。これにより、後段の信号処理回路２００は、ＯＢクランプ処理後には本来取り得ない値を抽出することにより、モーションアーチファクトが発生している領域を特定することができる。その一方で、画像データ以外に追加される情報は不要なため、出力されるデータ量は変わらない。
　［データ形式］
　図４は、本技術の第１の実施の形態における撮像回路１００から信号処理回路２００に出力されるフレームデータ７００の形式例を示す図である。
　このフレームデータ７００は、ＯＢ領域７１０、埋め込み情報７２０、画像データ７３０、および、埋め込み情報７４０を時系列に配置した形式を備える。
　ＯＢ領域７１０は、黒レベル合わせを行うための画素領域である。このＯＢ領域７１０に対応する画素は、通常の画素と同様の構造を備えるが、金属膜によって遮光されており、被写体からの光は入光しない。このＯＢ領域７１０の信号を用いてＯＢクランプ値が決定される。
　埋め込み情報７２０は、画像データ７３０の前に配置される属性情報である。ＯＢ領域７１０の信号を用いて決定されたＯＢクランプ値は、この埋め込み情報７２０内にＯＢクランプ値７２１として記憶される。
　画像データ７３０は、１フレーム分の画素値を配置した画像データである。この画像データ７３０の画素値には、ＯＢクランプ値７２１が一律に加算されている。また、モーションアーチファクト発生領域の画素値は、画素値として本来取り得ない値に書き換えられている。
　埋め込み情報７４０は、画像データ７３０の後に配置されるその他の属性情報である。
　図５は、本技術の第１の実施の形態における画像データ７３０の具体例を示す図である。
　同図におけるａは、合成部１２０によって合成処理が行われ、ＯＢクランプ処理部１３０によってＯＢクランプ処理が行われた後の画像データの例である。ここでは、動体検出部１４０によって領域７２５においてモーションアーチファクトが検出されたものとする。
　このとき、動体検出情報重畳部１６０は、同図におけるｂに示すように、モーションアーチファクト発生領域に該当する領域７２６の画素値を、例えば「０」に書き換える。この「０」は、画素値として本来取り得ない値の一例であり、ＯＢクランプ値未満の値であれば他の値であってもよい。
　後段の信号処理回路２００は、埋め込み情報７２０のＯＢクランプ値７２１から、ＯＢクランプ処理部１３０におけるＯＢクランプ処理により加算されたＯＢクランプ値を知ることができる。したがって、このＯＢクランプ値未満の値を画素値が示す領域７２６については、モーションアーチファクト発生領域であると認識することができる。これにより、信号処理回路２００は、撮像回路１００から出力された画像データのモーションアーチファクト発生領域について、補間処理を行うことにより画素値の補正を行うことができる。
　信号処理回路２００における補間処理は、フレーム内の近傍座標における空間方向を参照した補間処理であってもよく、また、時間方向における前後のフレームの対応座標を参照した補間処理であってもよい。さらに、これらを組み合わせて、時間方向における前後のフレームの対応座標、および、その近傍座標における空間方向を参照した補間処理であってもよい。
　［動作］
　図６は、本技術の第１の実施の形態における撮像回路１００の処理手順例を示す流れ図である。
　イメージセンサ１１０は、被写体を撮像して、高感度信号および低感度信号を取得する（ステップＳ９１１およびＳ９１２）。これら高感度信号および低感度信号の取得順序は何れが先であってもよい。
　動体検出部１４０は、生成された高感度信号および低感度信号を比較することにより、物体の動きを検出し、モーションアーチファクト発生領域を検出する（ステップＳ９１３）。
　合成部１２０は、生成された高感度信号および低感度信号を合成して、ＨＤＲの画像データを生成する（ステップＳ９１４）。また、ＯＢクランプ処理部１３０は、合成された画像データについて、ＯＢ領域７１０を用いてＯＢクランプ値７２１を取得して、ＯＢクランプ処理による黒レベル合わせを行う（ステップＳ９１５）。
　動体検出情報重畳部１６０は、モーションアーチファクト発生領域に関する情報を、ＯＢクランプ処理された画像データに重畳する。すなわち、モーションアーチファクト発生領域の画素であれば（ステップＳ９１６：Ｙｅｓ）、画素値を本来取り得ない値に書き換える（ステップＳ９１７）。一方、モーションアーチファクト発生領域の画素でなければ（ステップＳ９１６：Ｎｏ）、そのような書換えを行わない。
　このようにして得られた画素データは、撮像回路１００から後段の信号処理回路２００に出力される（ステップＳ９１８）。
　このように、本技術の第１の実施の形態では、合成前の画像データによりモーションアーチファクト発生領域を検出して、該当する領域の画素値をＯＢクランプ値未満の値に書き換える。これにより、後段においてモーションアーチファクト発生領域を認識することができる。
　すなわち、合成前の情報を用いてモーションアーチファクト発生領域を検出するため、情報量が喪失している合成後の情報を用いる場合よりも高い精度でモーションアーチファクト発生領域を検出することができる。
　この場合、追加される情報は不要であり、出力されるデータ量は変わらない。したがって、タイミングを再調整する必要もなく、撮像回路１００と信号処理回路２００との間のインターフェースを変更する必要もない。また、撮像回路１００よりも信号処理回路２００の方がアルゴリズムの変更に対応し易いため、拡張性のある補正処理を実装することができる。
　また、撮像回路１００において重畳された情報は、画素毎の信号レベルのみから抽出することができるため、高度な検出アルゴリズムを搭載する必要がない。そのため、信号処理回路２００の回路規模を削減することが見込まれる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、ＯＢクランプ値未満の値は画素値として本来取り得ない値であるという前提により、画素値の下限部分の範囲を利用してモーションアーチファクト発生領域に関する情報の出力を行った。一方、画素値の上限部分の範囲を利用するようにしてもよい。この第２の実施の形態では、画素値の最大値を制限して、それを超える値によってモーションアーチファクト発生領域に関する情報を出力する。
　［撮像回路］
　図７は、本技術の第２の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。
　この第２の実施の形態における撮像回路１００は、上述の第１の実施の形態における撮像回路１００に加えて、リミット処理部１５０を備えている。リミット処理部１５０は、ＯＢクランプ処理部１３０からの画像データの各画素に対して、最大値を特定の値に制限（リミット）する処理を行うものである。
　ここで、画素値のビット幅が例えば１０ビットであるとすると、「０」から「１０２３」の範囲の値を表現することができる。これに対し、リミット処理部１５０が最大値を「１０２０」に制限する処理を行うことにより、「１０２１」、「１０２２」および「１０２３」を、画素値として本来取り得ない値として扱うことができる。
　したがって、動体検出情報重畳部１６０は、動体検出部１４０によって検出されたモーションアーチファクト発生領域に該当する画素については、その画素値を例えば「１０２１」に書き換える。これにより、後段の信号処理回路２００は、画素値が「１０２１」を示す画素について、補正を行うことができる。
　このように、本技術の第２の実施の形態では、合成前の画像データによりモーションアーチファクト発生領域を検出して、該当する領域の画素値を、リミット処理部１５０により制限された最大値を超える値に書き換える。これにより、後段においてモーションアーチファクト発生領域を認識することができる。
　＜３．第３の実施の形態＞
　上述の実施の形態では、撮像回路１００に着目してモーションアーチファクトに対する処理について説明した。この第３の実施の形態では、その後段の信号処理回路２００における処理について説明する。
　［ナビゲーションシステム］
　図８は、本技術の第３の実施の形態における画像処理装置の一例であるナビゲーションシステムの構成例を示す図である。このナビゲーションシステムでは、前段の回路として、上述の第１または第２の実施の形態における撮像回路１００を想定している。そして、後段の回路として、信号処理回路２００、ナビゲーション装置３００、および、表示装置４００を示している。
　信号処理回路２００は、撮像回路１００から出力された画像データの信号に対して所定の信号処理を施す回路である。この信号処理回路２００は、検出処理部２１０と、補正処理部２２０と、カメラ信号処理部２３０とを備える。
　検出処理部２１０は、補正対象となる画素領域を検出するものである。この検出処理部２１０は、撮像回路１００から出力されたフレームデータ７００の画像データ７３０の各画素について、本来取り得ない値を示す画素をモーションアーチファクト発生領域として検出する。例えば、第１の実施の形態において説明したように、ＯＢクランプ値未満の値を示す画素を検出する。また、第２の実施の形態において説明したように、制限された最大値を超える値を示す画素を検出する。
　また、検出処理部２１０は、画像データ７３０の画素値に基づいて、補正対象となる画素領域を検出してもよい。例えば、車載カメラによって撮像された画像データにおいては、モーションアーチファクトの一例として、路上の車線を示す白線の縁に不自然な色が発生する場合がある。そのため、撮像回路１００におけるモーションアーチファクトの検出とは別に、検出処理部２１０において画像データに対する画像処理を行ってモーションアーチファクト発生領域を検出することが考えられる。この場合の画像処理としては、例えば、エッジを検出して、その周辺において路面の色として不自然な色を検出する等の処理が考えられる。
　補正処理部２２０は、検出処理部２１０によって検出されたモーションアーチファクト発生領域について、画素データの補正処理を行うものである。この補正処理部２２０は、上述のように、フレーム内の近傍座標における空間方向を参照した補間処理を行ってもよく、また、時間方向における前後のフレームの対応座標を参照した補間処理を行ってもよい。さらに、これらを組み合わせて、時間方向における前後のフレームの対応座標、および、その近傍座標における空間方向を参照した補間処理を行ってもよい。
　また、補正処理部２２０は、上述の白線の縁に発生したモーションアーチファクトについては、その画素の信号レベルを、例えば灰色などの目立たない色にする補正処理を行ってもよい。
　カメラ信号処理部２３０は、その他のカメラ信号処理を行うものである。具体的には、加算されていたＯＢクランプ値の減算処理、欠陥画素の補正処理、ＲＡＷデータからＲＧＢ形式への変換処理、色の再現処理などが想定される。
　ナビゲーション装置３００は、信号処理回路２００から出力された画像データをナビゲーション画面に表示するための処理を行うものである。このナビゲーション装置３００は、画像データを描画するための描画処理部３１０を備える。表示装置４００は、ナビゲーション画面を表示する表示装置である。
　このように、本技術の第３の実施の形態では、撮像回路１００および信号処理回路２００においてモーションアーチファクト発生領域を検出して、それに従って信号処理回路２００において補正処理を行う。これにより、最終的にナビゲーションシステムの画面に表示される偽色を軽減することができる。
　＜４．第４の実施の形態＞
　上述の実施の形態においては、モーションアーチファクト発生領域に関する情報を画素データに重畳することを主眼としていた。ただし、画素データに重畳する情報は、モーションアーチファクト発生領域に関する情報に限定されない。
　例えば、上述のカメラ信号処理部２３０における欠陥画素の補正処理のために、欠陥画素の座標を画素データに重畳してもよい。工場出荷前の検査によって検出された欠陥画素の座標は、予め信号処理回路２００のレジスタに設定しておくことも可能であるが、その後に発生した欠陥画素については撮像回路１００から信号処理回路２００に別途知らせる必要がある。そのような場合に、その情報を画素データに重畳すれば、データ量を増やすことなく、後段に知らせることができる。
　＜５．適用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１０は、撮像部１２０３１の設置位置の例を示す図である。
　図１０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。 
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１において撮像された画素データについてモーションアーチファクト発生領域を検出して、それに従って補正処理を行うことにより、上述の自動運転や運転支援を実現することが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）所定の画素において画像信号の異常を検出する異常検出部と、
　前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部と
を具備する画像処理装置。
（２）画像データを構成する全ての画素について画素値に一律の値を加算する加算部をさらに具備し、
　前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記加算した値より小さい画素値を出力する
前記（１）に記載の画像処理装置。
（３）前記加算部は、前記画像データにおけるオプティカルブラッククランプ値を前記一律の値として加算する
前記（２）に記載の画像処理装置。
（４）画像データを構成する全ての画素に対して画素値の上限値を設定する上限設定部をさらに具備し、
　前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記上限値より大きい画素値を出力する
前記（１）に記載の画像処理装置。
（５）複数の画像データを供給する画像供給部と、
　前記複数の画像データを合成して１つの画像データを生成する合成部と
をさらに具備し、
　前記異常検出部は、前記複数の画像データを比較して物体の位置ずれが生じている画素について前記異常を検出し、
　前記出力部は、前記異常が検出された前記所定の画素については前記合成された画像データにおいて前記所定の範囲外の画素値を出力する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記画像供給部は、被写体を撮像して互いに感度の異なる画像データを前記複数の画像データとして生成する撮像素子を備える
前記（５）に記載の画像処理装置。
（７）前記撮像素子は、同一被写体の異なる露光時間の画像データを前記感度の異なる画像データとして生成する
前記（６）に記載の画像処理装置。
（８）被写体を撮像して画像データを生成する撮像素子をさらに具備し、
　前記異常検出部は、前記画像データについて前記撮像素子の欠陥に起因する異常を検出する
前記（１）から（４）のいずれかに記載の画像処理装置。
（９）所定の画素において画像信号の異常を検出する異常検出部と、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部とを備える第１の回路と、
　前記画素値が前記所定の範囲外の場合にはその画素値について補正を行う補正処理部を備える第２の回路と
を具備する画像処理装置。
（１０）前記補正処理部は、空間方向または時間方向の補間処理により前記画素値の補正を行う
前記（９）に記載の画像処理装置。
（１１）前記第２の回路は、前記第１の回路から出力された画素において特定の画素値を検出する検出処理部をさらに備え、
　前記補正処理部は、前記特定画素値を他の画素値に補正する
前記（９）または（１０）に記載の画像処理装置。
（１２）異常検出部が、所定の画素において画像信号の異常を検出する手順と、
　出力部が、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する手順と
を具備する画像処理方法。
　１００　撮像回路
　１１０　イメージセンサ
　１２０　合成部
　１３０　ＯＢクランプ処理部
　１４０　動体検出部
　１５０　リミット処理部
　１６０　動体検出情報重畳部
　２００　信号処理回路
　２１０　検出処理部
　２２０　補正処理部
　２３０　カメラ信号処理部
　３００　ナビゲーション装置
　３１０　描画処理部
　４００　表示装置
　１２０３１　撮像部

Claims (12)

  1. 　所定の画素において画像信号の異常を検出する異常検出部と、
    　前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部と
    を具備する画像処理装置。
  2. 　画像データを構成する全ての画素について画素値に一律の値を加算する加算部をさらに具備し、
    　前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記加算した値より小さい画素値を出力する
    請求項１記載の画像処理装置。
  3. 　前記加算部は、前記画像データにおけるオプティカルブラッククランプ値を前記一律の値として加算する
    請求項２記載の画像処理装置。
  4. 　画像データを構成する全ての画素に対して画素値の上限値を設定する上限設定部をさらに具備し、
    　前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記上限値より大きい画素値を出力する
    請求項１記載の画像処理装置。
  5. 　複数の画像データを供給する画像供給部と、
    　前記複数の画像データを合成して１つの画像データを生成する合成部と
    をさらに具備し、
    　前記異常検出部は、前記複数の画像データを比較して物体の位置ずれが生じている画素について前記異常を検出し、
    　前記出力部は、前記異常が検出された前記所定の画素については前記合成された画像データにおいて前記所定の範囲外の画素値を出力する
    請求項１記載の画像処理装置。
  6. 　前記画像供給部は、被写体を撮像して互いに感度の異なる画像データを前記複数の画像データとして生成する撮像素子を備える
    請求項５記載の画像処理装置。
  7. 　前記撮像素子は、同一被写体の異なる露光時間の画像データを前記感度の異なる画像データとして生成する
    請求項６記載の画像処理装置。
  8. 　被写体を撮像して画像データを生成する撮像素子をさらに具備し、
    　前記異常検出部は、前記画像データについて前記撮像素子の欠陥に起因する異常を検出する
    請求項１記載の画像処理装置。
  9. 　所定の画素において画像信号の異常を検出する異常検出部と、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部とを備える第１の回路と、
    　前記画素値が前記所定の範囲外の場合にはその画素値について補正を行う補正処理部を備える第２の回路と
    を具備する画像処理装置。
  10. 　前記補正処理部は、空間方向または時間方向の補間処理により前記画素値の補正を行う
    請求項９記載の画像処理装置。
  11. 　前記第２の回路は、前記第１の回路から出力された画素において特定の画素値を検出する検出処理部をさらに備え、
    　前記補正処理部は、前記特定の画素値を他の画素値に補正する
    請求項９記載の画像処理装置。
  12. 　異常検出部が、所定の画素において画像信号の異常を検出する手順と、
    　出力部が、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する手順と
    を具備する画像処理方法。
PCT/JP2019/020496 2018-09-03 2019-05-23 画像処理装置および画像処理方法 WO2020049806A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/250,705 US20210217146A1 (en) 2018-09-03 2019-05-23 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-164211 2018-09-03
JP2018164211A JP2020039020A (ja) 2018-09-03 2018-09-03 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2020049806A1 true WO2020049806A1 (ja) 2020-03-12

Family

ID=69722884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020496 WO2020049806A1 (ja) 2018-09-03 2019-05-23 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US20210217146A1 (ja)
JP (1) JP2020039020A (ja)
WO (1) WO2020049806A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021262761A1 (en) * 2020-06-22 2021-12-30 Flir Commercial Systems, Inc. Imager verification systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021858A (ja) * 2008-07-11 2010-01-28 Olympus Corp 画素欠陥補正装置
WO2013171826A1 (ja) * 2012-05-14 2013-11-21 富士機械製造株式会社 制御システム
US20130314568A1 (en) * 2011-02-18 2013-11-28 DigitalOptics Corporation Europe Limited Dynamic Range Extension by Combining Differently Exposed Hand-Held Device-Acquired Images
WO2017085988A1 (ja) * 2015-11-17 2017-05-26 三菱電機株式会社 画像処理装置及び画像処理方法
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475768A (en) * 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
JP2006130212A (ja) * 2004-11-09 2006-05-25 Fuji Photo Film Co Ltd 異常陰影候補検出方法、および装置、ならびにプログラム
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
EP3654007A4 (en) * 2017-07-10 2021-03-31 Terumo Kabushiki Kaisha PRESSURE DETECTION DEVICE AND DEVICE FOR EXTRACORPORAL CIRCULATION

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021858A (ja) * 2008-07-11 2010-01-28 Olympus Corp 画素欠陥補正装置
US20130314568A1 (en) * 2011-02-18 2013-11-28 DigitalOptics Corporation Europe Limited Dynamic Range Extension by Combining Differently Exposed Hand-Held Device-Acquired Images
WO2013171826A1 (ja) * 2012-05-14 2013-11-21 富士機械製造株式会社 制御システム
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
WO2017085988A1 (ja) * 2015-11-17 2017-05-26 三菱電機株式会社 画像処理装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021262761A1 (en) * 2020-06-22 2021-12-30 Flir Commercial Systems, Inc. Imager verification systems and methods

Also Published As

Publication number Publication date
JP2020039020A (ja) 2020-03-12
US20210217146A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
TWI814804B (zh) 距離測量處理設備，距離測量模組，距離測量處理方法及程式
US11082626B2 (en) Image processing device, imaging device, and image processing method
JP6176028B2 (ja) 車両制御システム、画像センサ
JP7074136B2 (ja) 撮像装置とフリッカー補正方法およびプログラム
JP2013147112A (ja) 車両の走行環境認識装置
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
WO2017195459A1 (ja) 撮像装置、および撮像方法
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
WO2020049806A1 (ja) 画像処理装置および画像処理方法
US20200402206A1 (en) Image processing device, image processing method, and program
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
JP2011008459A (ja) 車載カメラ装置
WO2017122395A1 (ja) 画像データ処理回路および撮像回路
JP2013172378A (ja) 画像処理装置及び車両
JP5759709B2 (ja) 画像認識装置
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
WO2021192714A1 (ja) レンダリングシステム及び自動運転検証システム
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP2018201158A (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2020137503A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858481

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19858481

Country of ref document: EP

Kind code of ref document: A1