WO2023090067A1 - 画像認識システム - Google Patents

画像認識システム Download PDF

Info

Publication number
WO2023090067A1
WO2023090067A1 PCT/JP2022/039592 JP2022039592W WO2023090067A1 WO 2023090067 A1 WO2023090067 A1 WO 2023090067A1 JP 2022039592 W JP2022039592 W JP 2022039592W WO 2023090067 A1 WO2023090067 A1 WO 2023090067A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
imaging device
unit
recognition
Prior art date
Application number
PCT/JP2022/039592
Other languages
English (en)
French (fr)
Inventor
將裕 清原
春樹 的野
英彰 城戸
健 遠藤
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2023090067A1 publication Critical patent/WO2023090067A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to image recognition technology, and more particularly to an image recognition system mounted on a mobile body that moves while recognizing its surroundings, such as driving support systems, automatic driving systems, and autonomous mobile robots.
  • image recognition technology installed in mobile objects is required to be robust against environmental fluctuations and environmental disturbances.
  • the object to be recognized may not be illuminated appropriately, resulting in a decrease in contrast, or the hue may change depending on the type of light source, such as sunlight, a halogen lamp, or a neon sign.
  • environmental changes such as
  • first acquisition means for acquiring shooting conditions under which images used when generating a learning model were taken; input means for inputting a taken image to be processed from an imaging device; a second obtaining means for obtaining the photographing conditions under which the photographed image of the object was photographed; and a converting means for converting the photographed image to be processed based on the photographing conditions obtained by the first and second obtaining means.
  • the input image is transformed so that it approaches the imaging state assumed when image recognition was established.
  • the imaging conditions for the images used for learning are constant, and that the imaging conditions when the images are actually captured can match the imaging conditions during learning by image conversion of the captured images.
  • mobile objects such as driving support systems, autonomous driving systems, and autonomous mobile robots move in various places, and the images for learning are collected under various imaging conditions.
  • learning using images acquired in the same environment is not performed for multiple types of recognition targets.
  • the accuracy of image recognition is improved by converting the acquired image, if the information is already missing or degenerated when the image is acquired by the imaging device, the image recognition will not be possible. Accuracy cannot be improved enough.
  • An object of the present invention is to provide an image recognition system capable of improving the accuracy of image recognition by optimizing the conditions of an imaging device when acquiring an image.
  • an image recognition system of the present invention includes a processor and a memory, has an image acquisition unit that acquires an image captured by an imaging device, and at least one environment recognition unit, and stores at least one image.
  • a recognition model generation unit for recognizing by one environment recognition unit and generating a recognition model; and a state estimation unit for estimating the state of the imaging device and the characteristics of the imaging device corresponding to the state based on the image and the recognition model.
  • the state estimator further generates imaging correction parameters for correcting the imaging conditions of the imaging device based on at least one of the estimated state and characteristics and the recognition model.
  • FIG. 2 is a block configuration diagram showing the connection relationship of each functional block of the image recognition system according to the first embodiment;
  • FIG. FIG. 2 is a block diagram showing an overview of imaging correction parameter generation by the image recognition system according to the present invention;
  • FIG. 1 is a schematic diagram 1 of a parameter range in which the recognition function of an imaging device is stable;
  • FIG. 2 is a schematic diagram 2 of a parameter range in which the recognition function of the imaging device is stable;
  • 4 is a flowchart showing the flow of processing performed by the image recognition system according to the present invention;
  • FIG. 11 is a block configuration diagram showing the connection relationship of each functional block of the image recognition system according to the second embodiment;
  • FIG. 1 is a block configuration diagram for explaining each functional block of an image recognition system 10 according to Embodiment 1 of the present invention.
  • the image recognition system 10 is connected to the imaging device 11 via a wired or wireless network, and receives imaging data and imaging parameters obtained from the imaging device 11 . Based on these data, an imaging correction parameter for correcting the imaging condition of the imaging device is generated and transmitted to the imaging device 11 as feedback.
  • the exposure control unit 116 controls the shutter open time and aperture opening degree, and allows the image to pass through the imaging device 11 through a condensing element such as a lens only for a certain period of time.
  • the imaging device 11 incorporates an imaging element 117 (also called a photoelectric element or imager), and an external image signal passes through a lens, is received by the imaging element 117, and is converted into an electric charge.
  • An image signal processing unit 118 (ISP: also called an image signal processor) performs gain adjustment, smoothing, edge enhancement, demosaicing, noise removal, and so on based on image signal processing parameters. Image signal processing such as white balance adjustment, HDR processing (High Dynamic Range), and bit reduction (conversion to 24 bits/pixel, etc.) is performed as necessary.
  • the data subjected to image signal processing is transmitted to the image recognition system 10 as image data.
  • the imaging device 11 may transmit observation parameters such as imaging parameters and exposure values at the time of image acquisition to the image recognition system together with the image data.
  • the image recognition system 10 has an image acquisition unit 101, a recognition model generation unit 102, and a state estimation unit 103.
  • the recognition model generation unit 102 has a plurality of environment recognition units 111 .
  • the state estimation unit 103 has an imaging device state estimation unit 112 , an imaging device characteristics estimation unit 113 , a parameter generation unit 114 , and a parameter stabilization unit 115 .
  • any one or more of the acquiring unit 101, the recognition model generating unit 102, and the state estimating unit 103 may be divided into different hardware and installed, and may operate in cooperation with each other through communication or the like.
  • the image recognition system 10 specifically includes an electronic control unit (ECU) including hardware such as a processor (processor) such as a CPU, a main storage device such as a semiconductor memory, an auxiliary storage device, and a communication device. , Electronic Control Unit), and each function of the recognition model generating unit 102, the state estimating unit 103, etc. is realized by executing the program loaded in the main storage unit by the arithmetic unit. Details of each part will be described while appropriately omitting well-known techniques in the computer field.
  • ECU electronice control unit
  • the image recognition system 10 acquires image data and the like received from the imaging device 11 by the image acquisition unit 101 , accumulates them in a memory (not shown), etc., and outputs them to the recognition model generation unit 102 and the state estimation unit 103 .
  • the recognition model generation unit 102 has one or more environment recognition units 111 inside, and receives image data obtained from the image acquisition unit as an input based on a recognition model obtained by learning in advance or manually designed. Recognize image data and output the results.
  • the recognition model here means, for example, when this system is applied to an in-vehicle camera mounted on an automatic driving device, the environment recognition unit 111 recognizes moving objects such as other vehicles, pedestrians, motorcycles, bicycles, animals, Installations installed in the environment such as traffic lights, signs, billboards, bus stops, road markings such as lane markings, stop lines, roadside strips, safety zones, indicator signs, regulatory signs, walls, fences, utility poles, curbs, etc.
  • the recognition model generation unit 102 performs external world recognition for each environment recognition unit 111, and the rectangular area, center point, size, certainty of recognition, type of recognition target, attribute of the recognized target, etc.
  • the recognition result is output to state estimation section 103 .
  • the state estimation unit 103 receives image data and the like from the image acquisition unit 101 and recognition results and the like from the recognition model generation unit 102, and determines imaging correction parameters for correcting the imaging conditions of the imaging device 11 based on these data. generated and transmitted to the imaging device 11 .
  • Correction of imaging conditions in the present invention means correcting one or more imaging correction parameters among, for example, the shutter open time, aperture opening degree, and image signal processing parameters of the imaging apparatus.
  • the state estimation unit 103 further includes an imaging device state estimation unit 112 , an imaging device characteristics estimation unit 113 , a parameter generation unit 114 , and a parameter stabilization unit 115 .
  • the imaging device state estimation unit 112 estimates the state of the imaging device including one or more of raindrops on the lens, cloudiness, shielding by wipers, exposure state, and the like. That is, the state of the imaging device can be said to be a general term for events that occur in the imaging device due to the environment in which the imaging device is placed (external factors such as weather, temperature, humidity, and interference from surrounding objects).
  • the imaging device characteristic estimating unit 113 estimates the sensitivity and SN ratio (Signal Noise Ratio) of the imaging device 117, the sensitivity and SN ratio of each pixel of the imaging device 117, the lens characteristics such as the amount of blurring and the amount of distortion of the imaging device 11, and the white balance characteristics. estimating characteristics of the imaging device, including one or more of color correction characteristics, such as color correction characteristics, and gain characteristics; In other words, the characteristics of an image pickup device are a general term for events that occur in an image pickup device due to the functions of internal elements that make up the image pickup device, such as light receiving elements and processing circuits, in contrast to the state of the image pickup device described above. It can be said that it is a thing.
  • the parameter generating unit 114 selects one of the shutter open time, aperture opening degree, and image signal processing parameter based on the results output from the imaging device state estimating unit 112, the imaging device characteristics estimating unit 113, and the recognition model generating unit 102.
  • the imaging correction parameters for performing the above correction and the influence on the recognition result of the recognition model generation unit 102 are calculated.
  • the parameter stabilization unit 115 stabilizes the imaging correction parameters such as hunting based on both or one of the time-series change in the imaging correction parameters calculated by the parameter generation unit 114 and the influence on the recognition result of the recognition model generation unit 102. This is monitored to determine whether the imaging correction parameters to be output to the imaging device 11 are finally determined.
  • the imaging device characteristic estimation unit 113 estimates the amount of blur from information on the aperture opening of the imaging device that caused the blur.
  • the parameter generation unit 114 When the information about the amount of blur is transmitted to the parameter generation unit 114, the parameter generation unit 114 performs image signal processing correction so as to correct the amount of blur to a value that allows the vehicle recognition performance of the imaging device to be exhibited normally.
  • An edge enhancement degree correction parameter is generated from among the parameters, and fed back to the imaging device 11 via the parameter stabilization unit 115 (not shown).
  • the image capturing apparatus 11 monitors and corrects changes in real time even if the image capturing environment changes due to changes in vehicle travel, weather, etc., and the state and characteristics of the image capturing apparatus change. Therefore, it is possible to always capture images under optimal conditions.
  • FIG. 2 is an example of processing, and the same processing is performed when the environment recognition unit recognizes another target object. There may also be multiple parameters. Each state, characteristic, and parameter will be described in detail later.
  • the image acquisition unit 101 receives image data and imaging parameters sent from the imaging device 11 by communication methods such as USB (Universal Serial Bus), LVDS (Low Voltage Differential Signaling), I2C (Inter-Integrated Circuit), and Ethernet. It is assumed that the image data is obtained as, for example, a color image such as RGB888 or a grayscale luminance image. It is assumed that the imaging parameters include the shutter open time and aperture opening at the time of imaging.
  • USB Universal Serial Bus
  • LVDS Low Voltage Differential Signaling
  • I2C Inter-Integrated Circuit
  • Ethernet Ethernet
  • the image data is obtained as, for example, a color image such as RGB888 or a grayscale luminance image.
  • the imaging parameters include the shutter open time and aperture opening at the time of imaging.
  • the image acquisition unit 101 receives image data and imaging parameters, and records them in a memory (not shown) or the like. At this time, the time data unique to the image recognition system 10 or the time data of the entire system may be linked and stored. By recording image data and imaging parameters in association with time data, it is possible to detect whether data is periodically sent from the imaging device or whether a delay has occurred in a communication path or transmission path. can. In addition, since it is known at which time the imaging data is associated with the calculation result of the imaging correction parameter, which will be described later, the parameter stabilization unit 115, which will be described later, can output the imaging correction parameter more stably.
  • the recognition model generation unit 102 recognizes a predetermined recognition target object based on the image data acquired from the image acquisition unit 101 and outputs the recognition result to the state estimation unit 103 . Since there are many well-known techniques for this image recognition technique, the details will be omitted, but some examples in the case of an automatic driving device equipped with an in-vehicle camera will be described.
  • CNN Convolutional Neural Network
  • the recognition target is a road marking.
  • the degree of certainty of recognition can be obtained based on the contrast and amount of noise of the image of the road marking portion, such techniques may be used.
  • the object to be recognized is a structure or an obstacle
  • distance can be calculated.
  • the road plane can be calculated by performing a plane approximation of the point cloud at the bottom of the screen of the obtained distance information, and the points that are more than a certain distance from the road plane can be extracted as three-dimensional objects to identify structures and obstacles. It is known that things can be calculated.
  • CNN convolutional neural network
  • the above-mentioned individual recognition processing may be performed by a plurality of environment recognition units 111 sharing the work for each recognition target. In that case, image data and imaging parameters obtained from the image acquisition unit 101 are transmitted in parallel to the environment recognition unit 111 and input.
  • the imaging device state estimating unit 112 the imaging device characteristics estimating unit 113, the parameter generating unit 114, and the parameter stabilizing unit 115 included in the already-described state estimating unit 103 will be described.
  • the imaging device state estimation unit 112 Based on the image data received from the image acquisition unit 101, the imaging device state estimation unit 112 detects raindrops or mud attached to the windshield or the lens itself, and image sensors such as fogging and blur that occur between the imaging element and the subject. Detect factors that change the shooting conditions of the camera, detect intermittent shielding caused by wiper blades that occur during wiper operation, and detect changes in exposure conditions that change due to external weather, time of day, and artificial lighting. Also, it acquires an adjustment value by an automatic exposure adjustment mechanism (AE) and a shutter speed value by an automatic shutter speed adjustment mechanism separately provided in the imaging device.
  • AE automatic exposure adjustment mechanism
  • the detection of raindrops and mud adhesion is performed as follows. Observing changes in the coordinates of feature points that can be extracted by feature point extraction methods such as Harris, SIFT, and SURF in a time series in moving images captured continuously while driving, we can see that in areas where raindrops do not adhere, the feature points are smooth. changes in the coordinates of the feature point, the amount of change in the coordinate of the feature point changes in the portion that reaches the raindrop. In other words, the coordinates of feature points change rapidly or discontinuously in areas where raindrops are attached. Moreover, when mud adheres to the object, extraction of feature points fails at the portion where the object reaches the mud, and tracking becomes impossible.
  • feature point extraction methods such as Harris, SIFT, and SURF in a time series in moving images captured continuously while driving
  • Cloudy and blurred images are detected as follows.
  • the subject in the image captured at a certain moment is blurred by the amount of apparent movement during the exposure time.
  • the above-mentioned phenomenon also called motion blur
  • MTF Modulation Transfer Function
  • the amount of blur according to the spatial frequency characteristics of the lens expressed by MTF (Modulation Transfer Function) or the like is superimposed. Therefore, by analyzing the frequency components of the captured image, if no frequency component higher than the threshold value considering the amount of bokeh described above is detected, we can detect factors other than motion blur and lens characteristics, such as lens fogging due to water vapor and dirt adhesion. is determined to have occurred.
  • the shielding by the wiper blade is detected as follows. Since the on/off state of the wiper switch and the wiper operating speed flow through an in-vehicle network such as a CAN (Controller Area Network), the content is acquired to determine whether the wiper is blocking or not. Alternatively, when the wiper blade operates, it can be seen at what angle and appearance in the camera's field of view. It can detect if a blade is present.
  • an in-vehicle network such as a CAN (Controller Area Network)
  • the exposure state is detected as follows. By calculating statistics such as the average, variance, multimodality, and frequency components of the pixels in the image and comparing them with preset thresholds, it is possible to determine whether it is day or night, inside or outside a tunnel, and to determine whether the shutter speed of the camera is appropriate. and determine whether it is within a certain range.
  • the image may be divided into partial regions and the same determination as described above may be performed. That is, when the area is divided horizontally into three and vertically into two, the luminance average value in the upper left area is high, bimodal, and there are few high-frequency components. , it can be seen that whitening occurs.
  • the ground plane portion including the running area can be properly imaged when the lower area has a large luminance variance and a high frequency component. By observing changes in these states, it is possible to detect fluctuations in the exposure state.
  • Acquisition of adjustment values in the imaging device is achieved by receiving values that correspond to the necessary identification number (ID) among the values flowing in the in-vehicle network such as CAN and accumulating them in a buffer or the like.
  • ID the necessary identification number
  • Imaging devices have variations in sensitivity caused by factors such as photon sensitivity non-uniformity (PRNU) and dark current non-uniformity under set operating conditions (DCNU). Change. Therefore, based on the image data received from the image acquisition unit 101, the imaging device characteristic estimation unit 113 performs sensitivity measurement in advance by measuring dark current or current under a uniform light source. Remember. Further, since the dark current has temperature dependence as described above, the sensitivity measurement result for each temperature may be recorded at the time of measurement.
  • PRNU photon sensitivity non-uniformity
  • DCNU dark current non-uniformity under set operating conditions
  • the imaging device characteristic estimation unit 113 measures and records in advance the SN ratio (Signal Noise Ratio) of the signal flowing through the imaging device. Also, the geometrical characteristics of the lens such as the amount of blurring and the amount of distortion of the imaging device 11, the output characteristics with respect to the white balance adjustment value, and the color correction characteristics such as the output characteristics with respect to the gain adjustment value may be recorded. These can be calculated and stored at the timing of camera calibration.
  • SN ratio Synignal Noise Ratio
  • the amount of blurring and distortion can be determined by how much the surrounding pixels of the object or boundary are on the captured image. It is obtained by calculating whether it is observed with a spread and how much it is distorted, and is expressed as an MTF curve, an internal parameter, or the like. Since the amount of blur and the amount of distortion change depending on the opening of the aperture, the amount of blur and the amount of distortion for each aperture opening may be recorded.
  • the background noise level in the actual driving environment For example, since the dark current depends on the temperature, it is possible to calculate the ratio of the dark current to the output current when imaging in a driving environment. Specifically, the relationship between the temperature and the dark current is recorded as a table in the imaging apparatus characteristic estimation unit 113, and the SN ratio of the signal flowing through the imaging device is calculated by referring to this table based on the measured temperature. can be calculated. It is also possible to estimate the illuminance of the imaging environment from the average luminance value of the acquired image, and to estimate the parameters for color tone correction in consideration of the white balance characteristics. Similarly, in an environment in which the vehicle is actually running, it is possible to estimate the amount of blurring and the amount of distortion based on the aperture opening at the time of imaging received from the imaging device state estimation unit 112 .
  • a parameter generating unit 114 corrects one or more of the shutter open time, aperture opening degree, and image signal processing based on the output results of the imaging device state estimating unit 112, the imaging device characteristic estimating unit 113, and the recognition model generating unit 102.
  • the imaging correction parameters for performing the correction and the influence on the recognition result of the recognition model generation unit 102 are calculated.
  • Imaging correction parameters for correcting imaging conditions such as the shutter open time, aperture opening degree, image signal processing, and the like.
  • the parameters are calculated so that the current values obtained from the photometry points set in the entire screen or multiple locations in the screen are distributed within a certain range. That is, when the median value Vmid of the current values obtained by setting a certain shutter open time T1 falls between the preset threshold values THRmin and THRmax, it is determined that no correction is necessary and T1 is output as it is.
  • the obtained current value Vmid is smaller than THRmin
  • the shutter open time is lengthened to increase the current value by setting T1+ ⁇ T.
  • THRmax the shutter open time is shortened.
  • Output T1- ⁇ T to decrease the current value.
  • ⁇ T is a predetermined constant, and THRmax and THRmin may be set in multiple stages.
  • the shutter open time may be output so that the current value obtained from is distributed within a certain range.
  • the aperture opening degree A is set as follows.
  • the aforementioned shutter open time T1 is an output value equal to or less than the predetermined threshold value Tmax0 and the current value C is equal to or greater than the predetermined threshold value Cthr0
  • the aperture opening A is set to a value smaller than the current opening.
  • Output parameters when the aforementioned shutter open time T1 is an output value equal to or greater than the predetermined threshold value Tmax1, or the current value C is equal to or greater than the predetermined threshold value Cthr1, the aperture opening A becomes a value larger than the current opening.
  • Output parameters like Here, Tmax0 ⁇ Tmax1 and Cthr0 ⁇ Cthr1. Also, Tmax1 and Cthr1 at this time are set to sufficiently large values.
  • the thresholds are set so that the opening degree of the diaphragm is maximized.
  • the aperture is normally at its maximum opening, and when a light source such as the sun is within the field of view, the aperture is reduced, making it possible to reduce subject blurring due to movement during imaging.
  • the imaging correction parameters for correcting image signal processing include, for example, one or more of smoothing parameters, edge enhancement parameters, white balance correction parameters, offset correction and gain correction parameters, and gamma correction parameters. A method of calculating these parameters will be described below.
  • the smoothing parameter sets the processing and parameters for smoothing the image according to the dark noise level estimated by the imaging device characteristic estimation unit 113 . For example, when the SN ratio due to dark noise is sufficiently large (threshold value Dthr1 or more), it is determined that noise removal is unnecessary, and smoothing processing is not performed. When the SN ratio is less than Dthr1 and Dthr2 or more, averaging processing is performed in the 3 ⁇ 3 pixel range.When the SN ratio is less than Dthr2 and Dthr3 or more, median processing is performed in the 3 ⁇ 3 pixel range. When Dthr is less than 3, the image smoothing process and parameters are switched so that the smaller the SN ratio, the stronger the noise reduction process, such as median processing in the 5 ⁇ 5 pixel range. Note that the above thresholds have a relationship of Dthr1>Dthr2>Dthr3, and the respective values are several times apart.
  • the edge enhancement parameter sets processing and parameters for sharpening an image according to the amount of blur estimated by the imaging device characteristic estimation unit 113 .
  • unsharp mask processing is generally known as a technique for sharpening an image (emphasizing edges).
  • Unsharp mask processing is a method of sharpening an original image by blurring the original image according to a certain Gaussian distribution and subtracting the obtained image from the original image. The kernel size and Gaussian filter coefficient at this time are switched as parameters, and the parameters are adjusted so that sharpening is applied more strongly as the blur amount increases.
  • White balance correction parameters are calculated using the gray world algorithm.
  • the gray world algorithm which is generally used for white balance correction, is an algorithm based on the statistical fact that if all the colors in the screen are averaged, they are nearly achromatic. ) and B (blue), the white balance gain is set so that the average signal level of each color is equal.
  • the white balance correction parameter can be obtained by comparing it with the white balance gain obtained in the actual driving environment. be able to.
  • the white balance correction parameters for multiple environmental lighting such as the intensity and type of the light source, are recorded so that the images acquired while driving can be reproduced.
  • the white balance correction parameter may be switched depending on which environmental illumination is closest.
  • the offset correction and gain correction parameters correct the correspondence relationship between the amount of current generated according to the amount of photons received by the imaging device and the luminance value of each pixel of the image when the amount of current is converted into the luminance value of each pixel of the image.
  • Gamma correction parameters are parameters for adjusting the allocation of luminance values to output pixels so that the object to be observed can be expressed with sufficient gradation in each luminance area such as low luminance area, medium luminance area, and high luminance area. is.
  • gradation when outputting an image captured by a camera, it is necessary to express gradation with a finite number of bits per pixel, such as 8 bits, 10 bits, 12 bits, 24 bits, and 32 bits.
  • part or all of the recognition object output by the recognition model generation unit 102 exists in a low luminance area in the screen, and the number of gradations of the luminance value included in the area is equal to or less than the threshold value Gthr.
  • the gamma correction parameter value is decreased in order to increase the number of gradations assigned to the low luminance area.
  • the luminance value of the input image is I1
  • the luminance value of the output image is I2
  • the value of the gamma correction parameter is ⁇
  • I2/C (I1/C) ⁇ .
  • C is a constant that normalizes the range of luminance values from 0 to 1
  • ⁇ is an arithmetic symbol representing exponentiation.
  • the imaging device state estimating unit 112 estimates events occurring in the imaging device 11 due to external factors, and the imaging device characteristics estimating unit estimates dark current by temperature measurement in accordance with these events. , estimation of the SN ratio of the estimated dark current, estimation of the illuminance of the imaging environment using the average luminance value of the acquired image, estimation of the color tone correction amount considering the white balance, blurring using the aperture opening at the time of imaging We are estimating the amount and amount of distortion. Then, based on the estimated values, the parameter generation unit 114 generates imaging correction parameters for correcting the shutter open time, aperture open degree, and image signal processing, which are imaging conditions.
  • the above-described processing corrects the imaging conditions in real time, and always provides optimal imaging. It is possible to acquire images under certain conditions.
  • the state estimating unit 103 stores in advance a parameter range in which the recognition performance is stable as shown in FIG. part). Then, each parameter is determined so that the imaging conditions of the imaging device 11 fall within the region in which these recognition performances are stable.
  • a vehicle recognition function as one of the environment recognition units 111 as shown in FIG. is relatively narrow. These ranges are obtained by learning the contrast range and image blur range when building the vehicle recognition function, that is, when inputting the learning image and teacher data to the vehicle recognition algorithm and performing machine learning. be able to.
  • the following processing is performed to optimize the imaging conditions of the imaging device 11.
  • the environment recognition unit 111 performs vehicle recognition on the image acquired during running, calculates the contrast and blur in the image area recognized as the area in which the vehicle exists, and calculates the positioning with respect to the contrast range and the blur range.
  • the shutter open time, aperture open degree, and image signal processing are corrected so as to move toward the position where the recognition performance is considered to be most stable, that is, the center of the contrast range and blur range (the point indicated by A in the hatched area).
  • the imaging correction parameters for are calculated. Furthermore, whether or not the recognition result of the recognition model generation unit 102 is improved, that is, whether or not the position of the point A is actually approached as a result of the correction is recorded.
  • the imaging correction parameters are calculated so as to increase the contrast. Specifically, in order to extend the shutter open time, THRmin is decreased and ⁇ T is increased.
  • THRmin is decreased and ⁇ T is increased.
  • the recognition model generation unit 102 it is determined whether or not the stable performance range for each environment recognition unit 111 changes. Specifically, here, it is determined whether the contrast range and the blur range in which the recognition performance is stable is approached or moved away, and either the performance is expected to improve or the performance is expected to decline. to output
  • the above-described processing may be performed on the logical product of each parameter range, that is, on the overlapping area.
  • the effect on the calculated recognition result of the recognition model generation unit 102 differs depending on the type of the environment recognition unit 111 .
  • the contrast range and the blur range may be obtained from the success or failure of the recognition.
  • FIG. 3 as an example, the case where the regions in which the recognition performance of vehicle recognition, white line recognition, and signal recognition is stable has a logical product (there are overlapping regions) has been described.
  • FIG. 4 there may be cases where there is no overlapping area of parameter ranges where the recognition performance is stable.
  • imaging may be performed with different parameters depending on the image acquisition timing. Specifically, the imaging timing is divided into odd-numbered times and even-numbered times, and the parameters are determined from the parameter A area for the odd-numbered times of imaging and from the parameter B area for the even-numbered times of imaging. Alternatively, the parameter area to be used may be switched according to the execution cycle of the environment recognition unit 111 .
  • ⁇ Parameter Stabilization Unit 115 When each imaging correction parameter is calculated by the calculation method described above and fed back to the imaging apparatus 11 to perform imaging, hunting may occur. That is, for example, if an image captured at a certain time point is darker than an image suitable for the environment recognition unit 111, the shutter open time is extended to capture the image in order to obtain a brighter image. However, if the resulting image is too bright this time than the image suitable for the environment recognition unit 111, the shutter opening time is shortened to obtain a darker image again, and the image is captured in a short time. May repeat periodically. In other words, there is a risk that the calculated parameters will oscillate under certain conditions, and the recognition performance will become unstable. Therefore, the parameter stabilizing unit 115 accumulates each imaging correction parameter calculated by the parameter generating unit 114 in chronological order, monitors the fluctuation period thereof, and outputs the reduce the amount of change in the parameters that
  • shutter open time Tt1 at time t1 shutter open time Tt2 at time t2, . . .
  • the shutter open time at time tn is Ttn.
  • the change cycle of this shutter open time is obtained by Fourier transform or the like within the most recent fixed time. This can be realized by setting the parameter calculated by the generation unit 114 to a time-series moving average, eg, ⁇ Tt(n ⁇ 1)+Ttn ⁇ /2.
  • FIG. 5 is a flow chart showing the processing contents of the image recognition system 10 of the first embodiment.
  • the image recognition system 10 acquires an image and imaging parameters from the imaging device 11 (S10).
  • a signal that serves as a starting point for transfer such as a synchronization signal, an interrupt signal, or a data transfer start signal is sent, and based on the timing, data acquisition processing on the image recognition system 10 side is activated. , by storing subsequently transmitted data in memory sequentially.
  • image recognition processing is further performed by the recognition model generation unit 102, and if something is recognized in the recognition result (Yes in S11), subsequent imaging correction parameter calculation processing is performed on the recognized region. etc. are performed. On the other hand, if nothing is recognized (No in S11), the subsequent imaging correction parameter calculation processing and the like will be performed for the entire screen.
  • estimation processing is performed by the imaging device state estimation unit 112 and the imaging device characteristics estimation unit 113 described above.
  • the imaging correction parameters are calculated by the parameter generation unit 114 according to the recognition result area of the recognition model generation unit 102.
  • the frequency component of the result of accumulation of the imaging correction parameters within a certain period of time is obtained. Then, in order to stabilize the parameters, hunting is suppressed by the parameter stabilizing unit 115 by averaging the previous output value or the like (S15).
  • the parameter generation unit 114 does not have overlapping regions of parameter ranges for which recognition is stable and performs multiple shots with different parameters, the calculation of the frequency may be divided for each parameter.
  • the accuracy of image recognition is improved by optimizing the conditions of the imaging device when acquiring an image according to the environment in which image recognition performance is achieved.
  • FIG. 6 is a block diagram for explaining the image recognition system 10 according to the second embodiment of the invention.
  • the image recognition system 10 in this embodiment is connected to the imaging device 11 via a wired or wireless network, receives imaging data and imaging parameters obtained from the imaging device 11, and transmits imaging correction parameters to the imaging device 11. Transmission is the same as in the first embodiment. However, in this embodiment, it is assumed that the imaging device 11 is mounted on a moving vehicle such as an automatic driving vehicle, and the difference is that the vehicle information acquisition unit 119 is further provided.
  • the image acquisition unit 101 and the recognition model generation unit 102 in this embodiment are the same as those described in Embodiment 1, so descriptions thereof will be omitted.
  • the vehicle information acquisition unit 119 acquires information about the vehicle speed and turning angle of the vehicle on which the imaging device 11 is mounted via a network such as CAN. By combining this information with the angle of view of the camera, the position and orientation of the camera attached to the vehicle, and considering a vehicle model such as the Ackermann model, changes in the field of view of the camera due to vehicle behavior can be estimated. As for this estimation method itself, various existing techniques are known, and they can be preferably used.
  • the state estimation unit 103 receives image data and the like from the image acquisition unit 101 and recognition results and the like from the recognition model generation unit 102 , and transmits imaging correction parameters to the imaging device 11 .
  • the state estimating unit 103 includes one or more of an imaging device state estimating unit 112, an imaging device characteristics estimating unit 113, a parameter generating unit 114, and a parameter stabilizing unit 115 inside.
  • the parameter generation unit 114 differs from that of the first embodiment, so this will be mainly described.
  • the parameter generation unit 114 generates an imaging correction parameter and a recognition model based on the results of the imaging device state estimation unit 112, the imaging device characteristics estimation unit 113, the recognition model generation unit 102, and the output of the vehicle information acquisition unit 119. The influence on the recognition result of the unit 102 is calculated.
  • the vehicle information acquisition unit 119 can estimate changes in the field of view of the camera. Therefore, in the present embodiment, the recognition target object included in the image output by the recognition model generation unit 102 is considered to be near the center of the screen, near the outer periphery, and whether it is outside the turn.
  • the feature of this method is to determine a region that is not used for parameter calculation from among the regions in which .
  • Ethr(V) is set as a threshold value for judging the peripheral area determined depending on the speed V, and the area center of the recognition object is included in the range of the distance Ethr(V) from the peripheral part of the screen.
  • the object to be recognized can be set not to be treated as an object to be recognized within the parameter generation unit 114 .
  • the threshold value for determining the turning outside is Othr( ⁇ , V).
  • a recognition target object that includes the region center can be set not to be treated as a recognition target object within the parameter generation unit 114 .
  • the accuracy of image recognition is improved by optimizing the conditions of the imaging device when acquiring an image according to the environment in which image recognition performance is achieved.
  • An image recognition system includes a processor and a memory, has an image acquisition unit that acquires an image captured by an imaging device, and at least one environment recognition unit, and transmits an image to at least one environment recognition unit. and a state estimation unit for estimating the state of the imaging device and the characteristics of the imaging device corresponding to the state based on the image and the recognition model, and the state estimation The unit further generates imaging correction parameters for correcting imaging conditions of the imaging device based on at least one of the estimated state and characteristics and the recognition model.
  • the state estimating unit includes at least one of a raindrop adhesion state and a cloudy adhesion state on the light collecting element of the imaging device, a shielding object between the imaging device and the imaging target, and an exposure state of the imaging device.
  • an imaging device state estimating unit that estimates a state
  • an imaging device characteristics estimating unit that estimates characteristics of an imaging device including at least one of an imaging element characteristic, a lens characteristic, and a color correction characteristic of the imaging device
  • a parameter generation unit that generates imaging correction parameters based on at least one of the characteristics and the recognition model. This makes it possible to accurately grasp each state and characteristics inside and outside the imaging apparatus and generate parameters for correcting them.
  • the recognition model generation unit generates a recognition model by recognizing an area in which an imaging object exists, and the state estimation unit sets an imaging correction parameter for each area in the recognition model in which an imaging object exists. Generate. As a result, even when there are a plurality of recognition targets in an acquired image, the present invention can be preferably applied to each of those targets.
  • (4) Further includes a parameter stabilization unit that converges when the imaging correction parameters generated by the parameter generation unit cause a hunting phenomenon. As a result, even if the generated imaging correction parameters cause the hunting phenomenon, the parameters can be stabilized, so that the behavior of the imaging apparatus can be prevented from becoming unstable.
  • the imaging condition to be corrected is switched every predetermined number of times of imaging. As a result, even if there is no conjunctive area in the parameter area where the recognition performance of the imaging device is stable, or if the area is divided into a plurality of areas, it is possible to perform optimum parameter adjustment for each area. be possible.
  • the imaging correction parameter is a parameter for correcting at least one of the shutter open time, aperture opening degree, and image signal processing of the imaging device.
  • the image recognition system is mounted on a vehicle and further has a vehicle information acquisition unit that acquires vehicle information including at least one of a vehicle speed and a turning speed of the vehicle, and based on the vehicle information, the state estimation unit , modify the target region to generate imaging correction parameters.

Abstract

画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図る。画像認識システム１０は、撮像装置１１で撮像した画像を取得する画像取得部１０１と、少なくとも１つの環境認識部１１１を有し、画像を少なくとも１つの環境認識部１１１で認識し、認識モデルを生成する認識モデル生成部１０２と、画像及び認識モデルに基づき、撮像装置１１の状態及び当該状態に対応する撮像装置１１の特性を推定する状態推定部１０３と、を有し、状態推定部１０３はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置１１の撮像条件を補正する撮像補正パラメタを生成する。

Description

画像認識システム
　本発明は、画像認識技術に関し、特に、運転支援システムや自動運転システム、自律移動ロボットなどに代表される周囲を認識しながら移動する移動体に搭載される画像認識システムに関する。
　近年、移動体に搭載される画像認識技術は環境変動や環境外乱に対する頑健性が求められている。例えば、移動体の走行場所によっては、認識対象に適切に照明光があたっておらずコントラストが低下したり、太陽光やハロゲン電灯、ネオンサイン等の光源種別によって色相が変化して状態で撮像されたりするなどの環境変動が生じうる。
　また、屋内環境においては窓等から差し込む西日やＰＣモニタ等の光源による逆光、屋外環境においてはカメラレンズに対する雨滴付着、夜間稼働時の暗ノイズ発生など多様な環境外乱がありうる。一方で、カメラ撮像素子自体のダイナミックレンジの制約や設置場所を画像認識に都合良く選択できない制約がある。このように、撮像装置を用いた画像認識は環境変動や環境外乱に起因して認識性能が低下する。換言すると、画像認識技術においては、構築時に想定している撮像状態と異なる状態では対象物に対する認識性能が低下する。
　そこで、例えば特許文献１では、「学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得手段と、処理対象の撮影画像を撮像装置から入力する入力手段と、前記処理対象の撮影画像が撮影された撮影条件を取得する第２取得手段と、前記第１および第２取得手段で取得した撮影条件に基づいて、前記処理対象の撮影画像を変換する変換手段」を有することで、画像認識が構築されたときに想定している撮像状態に近づくように入力画像を変換し、事前に学習を行う環境と、実際に認識を行う環境とで撮影条件が一致していない場合であっても、画像認識の精度を向上させる技術を提供している。
特開２０１９－１２５１１６号公報 特許第６０４５８８８号明細書
　上記従来技術においては、学習に用いる画像の撮像条件が一定であり、かつ実際に撮像した際の撮像条件を、撮像した画像の画像変換によって学習時の撮像条件に一致できることを仮定している。しかしながら、運転支援システムや自動運転システム、自律移動ロボットなどに代表される移動体は様々な場所を移動することを想定しており、その学習用画像も様々な撮像条件で収集されたものを用いることが多く、複数種類の認識対象に対して、同一環境で取得された画像を用いての学習が行われていない場合もある。また、取得した画像を変換することで、画像認識の精度を向上させることを前提としているため、撮像装置で画像を取得した際に既に情報が欠落あるいは縮退している場合には、画像認識の精度を十分に向上することはできない。
　そこで、本発明は、上記従来技術のように画像認識の学習時の環境に合わせるのではなく、画像認識に用いる装置等の性能が現れる環境に合わせることが重要であるという観点からなされたものであり、その目的は、画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図ることが可能になる画像認識システムを提供することにある。
　上記課題を解決するために、本発明の画像認識システムは、プロセッサ及びメモリを含み、撮像装置で撮像した画像を取得する画像取得部と、少なくとも１つの環境認識部を有し、画像を少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、画像及び認識モデルに基づき、撮像装置の状態及び当該状態に対応する撮像装置の特性を推定する状態推定部と、を有し、状態推定部はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成する。
　本発明により、画像を取得する際の撮像装置の条件を最適化して画像認識精度を向上させることが可能になる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例１に係る画像認識システムの各機能ブロックの接続関係を示すブロック構成図。 本発明に係る画像認識システムによる撮像補正パラメタ生成の概要を示すブロック図。 撮像装置の認識機能が安定するパラメタ範囲の模式図１。 撮像装置の認識機能が安定するパラメタ範囲の模式図２。 本発明に係る画像認識システムで行われる処理の流れを示すフローチャート。 実施例２に係る画像認識システムの各機能ブロックの接続関係を示すブロック構成図。
　以下、本発明に係る画像認識システムの実施例を、車載カメラに適用される場合を例として図面を用いて説明する。
＜実施例１＞
　図１は、本発明の実施例１に係る画像認識システム１０の各機能ブロックを説明するためのブロック構成図である。
　図１に示すように、画像認識システム１０は、撮像装置１１と有線または無線のネットワークを介して接続されており、撮像装置１１から得られた撮像データおよび撮像パラメタを受信する。そして、それらのデータに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成し、フィードバックとして撮像装置１１に送信する。
　撮像装置１１では露光制御部１１６がシャッタ開放時間と絞り開放度合いを制御し、一定時間のみ映像をレンズ等の集光素子を介して撮像装置１１の内部に通過させる。撮像装置１１には撮像素子１１７（光電素子あるいはイメージャとも呼ばれる）が内蔵されており、外界の画像信号がレンズを通過して撮像素子１１７に受光されて電荷に変換される。撮像素子１１７上の各部位に生じた電荷は画像信号処理部１１８（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒとも呼ばれる）において、画像信号処理パラメタに基づいたゲイン調整、平滑化、エッジ強調、デモザイキング、ノイズ除去、ホワイトバランス調整、ＨＤＲ処理（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、必要に応じて低ｂｉｔ化（２４ｂｉｔ／ｐｉｘｅｌなどへの変換など）といった画像信号処理が行われる。画像信号処理が行われたデータは画像データとして画像認識システム１０に送信される。このとき、撮像装置１１は画像データとあわせて画像取得時の撮像パラメタや露光値などの観測パラメタを画像認識システムに送信してもよい。
　画像認識システム１０は、画像取得部１０１、認識モデル生成部１０２、及び状態推定部１０３を有している。認識モデル生成部１０２は複数の環境認識部１１１を有している。状態推定部１０３は、撮像装置状態推定部１１２、撮像装置特性推定部１１３、パラメタ生成部１１４、及びパラメタ安定化部１１５を有している。
　なお、図１では、撮像装置１１、画像認識システム１０を別個に記載しているが、これらが同一のハードウェア上に搭載されていてもよく、逆に画像認識システム１０に含まれている画像取得部１０１、認識モデル生成部１０２、状態推定部１０３のうちいずれか１つ以上が異なるハードウェアに分割されて搭載され、通信等で連携して動作する構成であってもよい。
　また、画像認識システム１０は、具体的には、ＣＰＵ等の演算装置（プロセッサ）、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた電子制御ユニット（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）であり、主記憶装置にロードされたプログラムを演算装置が実行することで、認識モデル生成部１０２、状態推定部１０３等の各機能を実現するが、以下では、このようなコンピュータ分野の周知技術を適宜省略しながら、各部の詳細を説明する。
　画像認識システム１０は、撮像装置１１から受信した画像データ等を画像取得部１０１で取得し、図示しないメモリ等に蓄積するとともに、認識モデル生成部１０２および状態推定部１０３に出力する。
　認識モデル生成部１０２は内部に１つ以上の環境認識部１１１を有し、画像取得部から得た画像データを入力として、あらかじめ学習で得られた、または手動で設計された認識モデルに基づいて画像データを認識して、その結果を出力する。ここでいう認識モデルとは、例えば本システムが自動運転装置に搭載された車載カメラに適用される場合、環境認識部１１１が、他車両・歩行者・バイク・自転車・動物などの移動体や、信号機・標識・看板・バス停などの環境中に設置された設置物、車線区分線・一時停止線・路側帯・安全地帯・指示標示・規制標示などの路面標示、塀・フェンス・電柱・縁石・建築物などの構造物、落石・タイヤなどの障害物、及び路面凹凸・道路勾配・乾湿度などの路面状態などの認識対象物を１つ以上認識するためにこれらの情報を包含したモデルのことをいう。
　認識モデル生成部１０２は環境認識部１１１毎に外界認識を行い、認識の結果得た領域の矩形領域・中心点・大きさ・認識の確信度・認識対象の種別・認識した対象の属性などの認識結果を状態推定部１０３に出力する。
　状態推定部１０３は、画像取得部１０１から画像データ等を、認識モデル生成部１０２から認識結果等を受信し、これらのデータに基づいて撮像装置１１の撮像条件を補正するための撮像補正パラメタを生成し、撮像装置１１に送信する。なお、本発明における撮像条件の補正とは、例えば撮像装置のシャッタ開放時間・絞り開放度合い・画像信号処理パラメタのうち１つ以上の撮像補正パラメタを補正することをいう。
　状態推定部１０３はさらに、撮像装置状態推定部１１２、撮像装置特性推定部１１３、パラメタ生成部１１４、及びパラメタ安定化部１１５を有する。
　撮像装置状態推定部１１２は受信した画像データ等に基づき、レンズ上の雨滴付着及び曇り・ワイパー等による遮蔽・露光状態などの１つ以上を含む撮像装置の状態を推定する。すなわち、撮像装置の状態とは、撮像装置が置かれている環境（天候、温度、湿度、周辺物体による干渉等の外的要因）に起因して撮像装置に生じる事象を総称したものとも言える。
　撮像装置特性推定部１１３は、撮像素子１１７の感度やＳＮ比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）・撮像素子１１７の各画素の感度やＳＮ比・撮像装置１１のぼけ量や歪み量といったレンズ特性・ホワイトバランス特性やゲイン特性などの色補正特性などの１つ以上を含む撮像装置の特性を推定する。すなわち、撮像装置の特性とは、上記の撮像装置の状態とは反対に、受光素子や処理回路等、撮像装置を構成する内部要素そのものの機能等に起因して撮像装置に生じる事象を総称したものとも言える。
　パラメタ生成部１１４は、撮像装置状態推定部１１２、撮像装置特性推定部１１３、及び認識モデル生成部１０２から出力された結果に基づき、シャッタ開放時間・絞り開放度合い・画像信号処理パラメタのうち１つ以上の補正を行うための撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
　パラメタ安定化部１１５は、パラメタ生成部１１４が算出した撮像補正パラメタの時系列変化と、認識モデル生成部１０２の認識結果への影響の両方または一方に基づき、撮像補正パラメタがハンチングなどの不安定な状態になっていないか監視し、撮像装置１１に出力する撮像補正パラメタを最終決定する。
　上述した認識モデル生成部１０２、撮像装置状態推定部１１２、撮像装置特性推定部１１３、及びパラメタ生成部１１４が行う一連の処理の概要について図２を用いて説明する。
　ここでは、図２に示すように、認識モデル生成部１０２が有する複数の環境認識部のうち、車両認識部によって、画像取得部が取得した画像中のある領域に車両が認識された例について説明する。
　車両認識部から、画像取得部１０１で得られた画像とともに、車両認識の情報が撮像装置状態推定部１１２に送信され、そこで、当該車両が認識されている領域において「ぼけ」が検知されたとする。
　すると、その情報が撮像装置特性推定部１１３に送信される。撮像装置特性推定部１１３は、ぼけの原因となった撮像装置の絞り開度の情報から、ぼけ量を推定する。
　ぼけ量に関する情報がパラメタ生成部１１４に送信されると、パラメタ生成部１１４は、ぼけ量を、撮像装置の車両認識性能が正常に発揮されるような値に修正するように、画像信号処理補正パラメタの中からエッジ強調度合補正パラメタを生成し、不図示のパラメタ安定化部１１５を介して撮像装置１１へとフィードバックする。
　撮像装置１１は、上記のような一連の処理によって、車両の走行や天候の変化等によって撮像環境が変化し、撮像装置の状態及び特性が変化しても、これらをリアルタイムで監視し、補正することが可能になり、常に最適な条件で撮像することが可能になる。
　なお、図２で示した例は処理の一例であり、環境認識部が他の対象物を認識した場合も同様の処理が行われ、各状態に対応する特性や、各特性を補正するためのパラメタも複数存在する場合がある。また、各状態や特性、パラメタについては後に詳述する。
　以下では、本発明に係る画像認識システムの各部についてより詳細に説明する。
　＜画像取得部１０１＞
　画像取得部１０１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＬＶＤＳ（Ｌｏｗ　Ｖｏｌｔａｇｅ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、Ｅｔｈｅｒｎｅｔなどの通信方式で撮像装置１１から送られる画像データおよび撮像パラメタを受信する。画像データとしては、例えばＲＧＢ８８８などのカラー画像や濃淡輝度画像として得られているものとする。撮像パラメタには撮像時のシャッタ開放時間や絞り開度などが含まれているものとする。
　画像取得部１０１は画像データおよび撮像パラメタを受信し、不図示のメモリ等に記録する。このとき画像認識システム１０内固有の時刻データ、あるいはシステム全体の時刻データと紐付けて格納してもよい。画像データ及び撮像パラメタを時刻データと紐付けて記録することで、撮像装置から周期的にデータが送られてきているのか、あるいは通信路や伝送路で遅延が発生しているかを検知することができる。また、後述する撮像補正パラメタの算出結果がどの時刻の撮像データと紐付いているかが分かるため、後述するパラメタ安定化部１１５においてより安定した撮像補正パラメタ出力ができるようになる。
　＜認識モデル生成部１０２＞
　認識モデル生成部１０２では、画像取得部１０１から取得した画像データに基づいて所定の認識対象物を認識し、認識結果を状態推定部１０３に出力する。この画像認識技術については多くの公知技術があるため詳細は割愛するが、車載カメラを搭載した自動運転装置の場合の例をいくつか述べる。
　認識対象が移動体や設置物の場合には、深層学習の一種である畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用して、画像中に含まれる認識対象の矩形領域・中心点・大きさ・認識の確信度・認識対象の種別・認識した対象の属性などの認識結果を得ることのできる技術が公開されており、こうした技術を利用してもよい。
　認識対象が路面標示の場合についても、いくつかの公知技術があり、例えば特許文献２に記載の技術などを用いることで認識対象の領域・中心点・大きさ・認識対象の種別などの認識結果を得ることができる。さらに、路面標示部分の画像のコントラストやノイズ量に基づいて認識の確信度を得ることもできるため、こうした技術を利用してもよい。
　認識対象が構造物や障害物の場合についても同様に、いくつかの公知技術があり、例えばステレオカメラを用いると、左右カメラの視差に基づき、カメラから画像中の各点に対応する点までの距離を算出することができる。さらに得られた距離情報の画面下側にある点群の平面近似をおこなうことで道路平面を算出することができ、道路平面から一定以上離れた点を立体物として抽出することで構造物や障害物が算出できることが知られている。
　認識対象が路面状態の場合についても、深層学習の一種である畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用して、画像中のテクスチャや周囲との連続性に基づいて推定する技術が公開されており、こうした技術を利用してもよい。
　前述の個別の認識処理は、複数の環境認識部１１１で認識対象ごとに分担して実施してもよい。その場合、画像取得部１０１から得る画像データおよび撮像パラメタは環境認識部１１１に並列で伝送され、入力されるものとする。
　次に、すでに説明した状態推定部１０３が有する撮像装置状態推定部１１２、撮像装置特性推定部１１３、パラメタ生成部１１４、及びパラメタ安定化部１１５の詳細な機能を説明する。
　＜撮像装置状態推定部１１２＞
　撮像装置状態推定部１１２は、画像取得部１０１から受け取った画像データ等に基づき、ウインドシールドまたはレンズ自体への雨滴や泥の付着や、撮像素子から被写体の間に発生する曇りやボケといった画像センサの撮像条件を変化させる要因を検知したり、ワイパー稼働時に発生する間欠的なワイパーブレードによる遮蔽を検知したり、外界の天候や時間帯、人工的な照明によって変化する露光状態の変動を検知したり、撮像装置内に別途備えられている自動露出調整機構（ＡＥ：ａｕｔｏｍａｔｉｃ　ｅｘｐｏｓｕｒｅ）による調整値や自動シャッタ速度調整機構によるシャッタ速度値を取得したりする。
　以下、検知方法の例をいくつか挙げる。
　雨滴や泥の付着の検知は以下のように行う。走行しながら連続的に取得した動画像において、ＨａｒｒｉｓやＳＩＦＴ、ＳＵＲＦといった特徴点抽出手法で抽出できる特徴点の座標の変動を時系列で観測すると、雨滴が付着していない領域では滑らかに特徴点の座標が変化するのに対し、雨滴にさしかかる部分で特徴点の座標の変化量が変化する。すなわち、雨滴が付着している領域では特徴点の座標が急激に、あるいは不連続的に変化する。また、泥が付着している場合には、泥にさしかかる部分で特徴点の抽出に失敗し、追跡できなくなる。こうした特徴点の座標の変化量と特徴点抽出の成否を観測することで、雨滴や泥の付着を検出できる。さらに、座標の変化量の変化点と特徴点抽出の成否の変化点を蓄積することで、雨滴や泥の付着領域を推定することができる。
　曇りやボケの検知は以下のように行う。移動しながら撮像する場合、ある瞬間に撮像した画像に写る被写体は、露光時間中の見かけの移動量分だけボケて撮像される。モーションブラーとも呼ばれる前記の現象は、露光時間が短く、十分に遠方の被写体に対しては影響が少なく、ボケ量が小さくなる。また、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）などで表現されるレンズの空間周波数特性に応じたボケ量も重畳される。そこで、撮像された画像の周波数成分を分析し、前述のボケ量を考慮した閾値よりも高い周波数成分が検出されない場合、モーションブラーとレンズ特性以外の要因、すなわち水蒸気や汚れ付着などでのレンズ曇りが発生していると判定する。なお、レンズ曇り状態は急激に変化しにくいため、画像単体で瞬間的に判断する代わりに、時系列の周波数成分を蓄積し、一定時間あるいは一定走行距離経過するまで高い周波数成分が検出されない場合にレンズ曇りが発生していると判定してもよい。
　ワイパーブレードによる遮蔽の検知は以下のように行う。ワイパースイッチのオン・オフ状態やワイパー動作速度がＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの車内ネットワークに流れるため、その内容を取得してワイパーによる遮蔽有無を判定する。あるいはワイパーブレードが動作した際にカメラ視野内にどのような角度や見え方で映るのかが分かるため、例えばテンプレートマッチング法などで事前に登録していた形状と照合することにより、画像中のどこにワイパーブレードが存在するかを検出することができる。
　露光状態の検知は以下のように行う。画像中の画素についてその平均・分散・多峰性・周波数成分などの統計量を算出し、事前に設定した閾値と比較することで、昼夜やトンネル内外を判定したり、カメラのシャッタ速度が適切な範囲内であるかを判定したりする。また、画像を部分領域に分割し、前述と同様の判定をおこなっても良い。すなわち、横方向に３分割、縦方向に２分割したとき、左上領域の輝度平均値が高く、二峰性であり、高周波成分が少ない場合、視野内の左側上空に太陽などの光源が存在し、白飛びしていることがわかる。また、同様に分割したとき、下領域の輝度分散が大きく、周波数成分が高い場合は走行領域を含む地面平面部分が適切に撮像できていることがわかる。これらの状態の変化を観測することで露光状態の変動の検知ができる。
　撮像装置内の調整値などの取得は、ＣＡＮなどの車内ネットワークに流れている値のうち、必要な識別番号（ＩＤ）に該当するものを受信し、バッファ等に蓄積することで実現する。
　＜撮像装置特性推定部１１３＞
　撮像素子には光子（フォトン）に対する感度の不均一性（ＰＲＮＵ）や、設定した動作条件における暗電流の不均一性（ＤＣＮＵ）等に起因する感度バラつきがあり、さらに温度によって暗電流の値が変化する。このため、撮像装置特性推定部１１３は、画像取得部１０１から受け取った画像データ等に基づき、暗電流を計測したり、一様光源下での電流を計測することで感度測定を予め行いその結果を記憶している。また、上記のように暗電流は温度依存性を有するため、計測の際、温度毎の感度測定結果を記録していてもよい。
　同様に、撮像装置特性推定部１１３は、撮像素子を流れる信号のＳＮ比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）を予め測定および記録している。また、撮像装置１１のぼけ量や歪み量といったレンズの幾何学的な特性や、ホワイトバランス調整値に対する出力特性、ゲイン調整値に対する出力特性などの色補正特性を記録しておいてもよい。これらはカメラのキャリブレーションのタイミングで算出・記憶することができる。
　例えば、ボケ量や歪み量は、既知の形状および大きさの対象や、直線状の物体境界等がカメラ視野内で観測されている時に、その対象や境界が取得画像上でどの程度周囲画素に広がりをもって観測されているか、どの程度歪んで観測されているかを算出することで求められ、ＭＴＦ曲線や内部パラメタ等として表現される。このボケ量や歪み量は絞り開度によってその度合いが変化するため、絞り開度毎のボケ量や歪み量を記録しておいてもよい。
　ホワイトバランスやゲインに関する特性は、カラーチャート等を用いて、各照度においてどのように観測されるのかを事前に計測および記録しておくことができる。なお、これらは撮像領域全体として記録しておいてもよいし、４分割・９分割などの適度に分割した領域毎に記録しておいてもよい。
　上記で求めたあらかじめ記録された感度測定結果などに基づき、実際に走行している環境での暗ノイズレベルを推定することができる。例えば、暗電流は温度に依存するため、走行環境で撮像した際の出力電流に対して暗電流の比率を計算することができる。具体的には、温度と暗電流の対応関係をテーブルとして撮像装置特性推定部１１３に記録しておき、計測された温度に基づきこのテーブルを参照することで、撮像素子を流れる信号のＳＮ比を計算することが可能になる。また、取得画像の輝度値平均から撮像環境の照度を推定し、ホワイトバランスの特性を加味して色調補正のパラメタを推定することも可能である。同様に、実際に走行している環境で、撮像装置状態推定部１１２から受信した撮像時の絞り開度に基づき、ボケ量や歪み量を推定することも可能である。
　＜パラメタ生成部１１４＞
　パラメタ生成部１１４は撮像装置状態推定部１１２、撮像装置特性推定部１１３、及び認識モデル生成部１０２の出力結果に基づき、シャッタ開放時間・絞り開放度合い・画像信号処理のうち１つ以上の補正を行うための撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
　以下、撮像条件であるシャッタ開放時間・絞り開放度合い・画像信号処理などを補正するための撮像補正パラメタの算出方法の例をいくつか挙げる。
　シャッタ開放時間を補正するための撮像補正パラメタについては、画面全体または画面中の複数箇所に設定した測光点から得られる電流値が一定範囲に分布するように補正するようなパラメタを算出する。すなわち、あるシャッタ開放時間Ｔ１の設定で得られた電流値の中央値Ｖｍｉｄが、事前に設定した閾値ＴＨＲｍｉｎと閾値ＴＨＲｍａｘの間に収まる場合には補正は不要と判断してそのままＴ１を出力する。得られた電流値ＶｍｉｄがＴＨＲｍｉｎよりも小さい場合には、シャッタ開放時間を長くして電流値を増加させるためにＴ１＋ΔＴを、逆に電流値がＴＨＲｍａｘよりも大きい場合はシャッタ開放時間を短くして電流値を減少させるためにＴ１－ΔＴを出力する。ここで、ΔＴは事前に決めた定数であり、ＴＨＲｍａｘ、ＴＨＲｍｉｎは複数段階設けてもよい。
　なお、上記は画面全体または画面中の複数箇所に設定した測光点を用いる方法について述べたが、代わりに認識モデル生成部１０２が出力する認識対象物が存在する領域に含まれる画像領域または測光点から得られた電流値が一定範囲に分布するようにシャッタ開放時間を出力してもよい。
　絞り開放度合いについては、絞り開度Ａを以下のように設定する。前述のシャッタ開放時間Ｔ１が事前に決めた閾値Ｔｍａｘ０以下の出力値、かつ電流値Ｃが事前に決めた閾値Ｃｔｈｒ０以上の場合、絞り開度Ａが現在の開度よりも小さい値になるようなパラメタを出力する。また、前述のシャッタ開放時間Ｔ１が事前に決めた閾値Ｔｍａｘ１以上の出力値、または電流値Ｃが事前に決めた閾値Ｃｔｈｒ１以上の場合、絞り開度Ａが現在の開度よりも大きい値になるようなパラメタを出力する。ここで、Ｔｍａｘ０＜Ｔｍａｘ１、Ｃｔｈｒ０＜Ｃｔｈｒ１である。また、このときのＴｍａｘ１、Ｃｔｈｒ１は十分に大きい値を設定し、例えば昼間・曇天・屋外においては、絞り開度が最大に開放されるように閾値を設定する。これにより、通常は絞り開度が最大の状態であり、太陽等の光源が視野内にある場合に絞りが小さくなり、撮像中の移動による被写体ぶれを軽減することが可能になる。
　画像信号処理を補正するための撮像補正パラメタは、例えば平滑化パラメタ、エッジ強調パラメタ、ホワイトバランス補正パラメタ、オフセット補正およびゲイン補正パラメタ、ガンマ補正パラメタのうち１つ以上を含む。以下では、これらのパラメタの算出方法について説明する。
　平滑化パラメタは、撮像装置特性推定部１１３で推定された暗ノイズレベルに合わせて、画像を平滑化する処理およびパラメタを設定する。例えば、暗ノイズによるＳＮ比が十分に大きい場合（閾値Ｄｔｈｒ１以上の場合）にはノイズ除去の必要がないと判断して、平滑化処理を行わない。ＳＮ比がＤｔｈｒ１未満Ｄｔｈｒ２以上の場合には３×３ｐｉｘｅｌ範囲での平均化処理をおこなう、ＳＮ比がＤｔｈｒ２未満Ｄｔｈｒ３以上の場合には３×３ｐｉｘｅｌ範囲での中央値化処理をおこなう、ＳＮ比がＤｔｈｒ３未満の場合には５×５ｐｉｘｅｌ範囲での中央値化処理をおこなう等、ＳＮ比が小さいほどノイズ削除処理が強くかかるように画像を平滑化する処理およびパラメタを切り替える。なお、上記の閾値についてはＤｔｈｒ１＞Ｄｔｈｒ２＞Ｄｔｈｒ３の関係にあり、それぞれの値は数倍程度離れている。
　エッジ強調パラメタは、撮像装置特性推定部１１３で推定されたボケ量に合わせて、画像を鮮鋭化する処理およびパラメタを設定する。例えば、画像を鮮鋭化（エッジを強調）するための技術としてはアンシャープマスク処理などが一般に知られている。アンシャープマスク処理とは、元画像をあるガウス分布にしたがってぼかし、得られた画像を元画像から差し引くことで、元画像を鮮鋭化する方法である。このときのカーネルサイズおよびガウスフィルタ係数をパラメタとして切り替え、ボケ量が大きいほど、より強く鮮鋭化がかかるようにパラメタを調整する。
　ホワイトバランス補正パラメタはグレーワールドアルゴリズムを用いて算出する。ホワイトバランス補正に一般に用いられるグレーワールドアルゴリズムは、画面内の全ての色を平均すれば無彩色に近くなるという統計的事実を前提としたアルゴリズムであり、画面内のＲ（赤），Ｇ（緑），Ｂ（青）の各色の平均信号レベルが等しくなるように、ホワイトバランスのゲインを設定するものである。事前に既知のカラーチャート等を撮影しておき、ホワイトバランスのゲインを記録しておくことで、実際に走行している環境で得られるホワイトバランスのゲインとの比較から、ホワイトバランス補正パラメタを得ることができる。また、環境照明によってホワイトバランス補正パラメタが変化することも考えられるため、複数の環境照明、例えば光源の強度や種類を変えた場合のホワイトバランス補正パラメタを記録しておき、走行時に取得した映像がどの環境照明に近いのかによってホワイトバランス補正パラメタを切り替えてもよい。
　オフセット補正およびゲイン補正パラメタは、撮像素子に受光した光子の量に応じて発生する電流量を画像の各画素の輝度値に変換する際の、その電流量と輝度値との対応関係を補正するパラメタである。画素に入力される電流量をＶ０、出力する輝度値をＩ０とし、オフセット値（オフセット補正パラメタ）Ｃ０、ゲイン値（ゲイン補正パラメタ）Ｇ０とすると、Ｉ０＝Ｇ０×Ｖ０＋Ｃ０、と表現できる。このとき、撮像素子の製造誤差に起因して、受光した光子の量と発生する電流量が正確な比例関係にならないため、電流量Ｖに応じた誤差を補正するためのルックアップテーブルをＬ（Ｖ）とおいて、Ｉ０＝Ｇ０×Ｖ０＋Ｃ０＋Ｌ（Ｖ０）、としてもよい。このＣ０，Ｇ０，Ｌ（Ｖ）は、事前に既知のチャート等を撮影しておき、その出力値を記録しておくことで求めることができる。
　ガンマ補正パラメタは、低輝度領域、中間輝度領域、高輝度領域などの各輝度領域において観測したい対象が十分な階調で表現できるように、出力する画素の輝度値の割り付けを調整するためのパラメタである。一般にカメラでの撮像結果を画像として出力する際、１画素あたりのビット数を、８ｂｉｔ、１０ｂｉｔ、１２ｂｉｔ、２４ｂｉｔ、３２ｂｉｔなどの有限のビット数で階調を表現する必要がある。例えば、画面中の低輝度領域に認識モデル生成部１０２が出力する認識対象物の一部あるいは全部が存在していて、その領域内に含まれる輝度値の階調数がある閾値Ｇｔｈｒ以下であるとき、低輝度領域に割り当てる階調数を増やすために、ガンマ補正パラメタ値を小さくする。ここで、入力画像の輝度値をＩ１、出力画像の輝度値をＩ２、ガンマ補正パラメタの値をγとすると、Ｉ２／Ｃ＝（Ｉ１／Ｃ）＾γ、と表せる。ここでＣは輝度値の範囲を０～１に正規化する定数、＾はべき乗を表す演算記号である。
　上述のように、撮像装置状態推定部１１２が、外的要因によって撮像装置１１に生じている事象を推定し、撮像装置特性推定部が、それらの事象に応じて、温度測定による暗電流の推定、推定された暗電流のＳＮ比の推定、取得した画像の輝度値平均を利用した撮像環境の照度の推定、ホワイトバランスを考慮した色調補正量の推定、撮像時の絞り開度を利用したボケ量及び歪み量の推定等を行っている。そして、その推定値に基づいて、パラメタ生成部１１４が、撮像条件であるシャッタ開放時間・絞り開放度合い・画像信号処理を補正するための撮像補正パラメタを生成している。
　すなわち、撮像装置１１が搭載された車両が移動する等、撮像装置１１周辺の環境が変化し続けるような状況であっても、上述の処理によって、撮像条件がリアルタイムで補正され、常に最適な撮像条件で画像を取得することが可能になっている。
　上述した算出方法で、シャッタ開放時間・絞り開放度合い・画像信号処理を補正するための撮像補正パラメタが算出できるが、これらのパラメタは互いに影響を与え合うため、以下で説明する各環境認識部１１１の認識性能が安定する範囲を考慮して、適用すべきパラメタを１つに決定する必要が生じる場合がある。
　具体的には、状態推定部１０３に、環境認識部１１１ごとの認識性能が安定する範囲として、図３に示すようなの認識性能が安定するパラメタ範囲を予め記憶させておく（図２の各斜線部分）。そして、撮像装置１１の撮像条件が、これらの認識性能が安定する領域内に収まるように、各パラメタを決定する。
　例えば、環境認識部１１１の１つとして車両認識機能を想定すると、図３に示すように、車両認識の認識性能が良好に動作するコントラスト範囲は比較的広い範囲であるが、許容されるぼけ範囲は比較的狭い。これらの範囲は、車両認識機能を構築する際、すなわち車両認識アルゴリズムに学習用画像と教師データを入力して機械学習をさせる際に、どのようなコントラスト範囲かつ画像ぼけ範囲を学習させるかによって得ることができる。
　車両認識の観点から、撮像装置１１の撮像条件を最適化するには以下のような処理を行う。まず、走行時に取得した映像に対して環境認識部１１１が車両認識を行い、車両が存在する領域として認識された画像領域内のコントラストとぼけを算出し、コントラスト範囲およびぼけ範囲に対する位置づけを算出する。そして、認識性能が最も安定すると考えられる位置、すなわちコントラスト範囲およびぼけ範囲の中心部（斜線領域中Ａで示される点）に向かうように、シャッタ開放時間・絞り開放度合い・画像信号処理を補正するための撮像補正パラメタを算出する。さらに、認識モデル生成部１０２の認識結果が向上するか否か、すなわち、補正の結果実際に点Ａの位置に近づいたか否かを記録する。
　すなわち、例えば、コントラスト範囲の中心が、認識された画像領域内のコントラストよりも大きい場合、よりコントラストを高めるように撮像補正パラメタを算出する。具体的にはシャッタ開放時間を伸ばすために、ＴＨＲｍｉｎを小さくしてΔＴを大きくする、絞り開放度合いを広げるために閾値Ｔｍａｘを大きくする、ゲイン補正のゲイン値Ｇ０を大きくする、ガンマ補正のガンマ値を変更する、という処理の中から１つ以上を行う。
　また、認識モデル生成部１０２の認識結果への影響として、環境認識部１１１ごとの性能安定範囲が変化するか否かを判定する。具体的には、ここでは認識性能が安定するコントラスト範囲およびぼけ範囲に対し、近づくのか、遠ざかるのか、を判定し、これによって性能が向上する見込みか、あるいは性能が低下する見込みか、のいずれかを出力する。
　複数の環境認識部１１１に対して同時に調整を行う場合は、各パラメタ範囲の論理積、すなわち重複領域に対して前述の処理を行えばよい。この場合、算出される認識モデル生成部１０２の認識結果への影響は、環境認識部１１１の種類によって異なる。
　なお、環境認識部１１１の性能安定範囲については、入力する学習用画像と教師データからコントラスト範囲とぼけ範囲を得る代わりに、学習完了した後の車両認識アルゴリズムに対して評価用の画像を入力し、その認識成否からコントラスト範囲とぼけ範囲を得てもよい。
　なお、図３においては、一例として車両認識、白線認識、及び信号認識それぞれの認識性能が安定する領域が論理積を有する（重なる領域がある）場合を説明した。しかし、図４のように認識性能が安定するパラメタ範囲の重複領域がない場合もありうる。その場合、画像取得タイミングによって異なるパラメタで撮像を行ってもよい。具体的には、撮像タイミングを奇数回目と偶数回目に分けて、奇数回目の撮像ではパラメタＡの領域、偶数回目の撮像ではパラメタＢの領域の中からパラメタ決定を行えばよい。あるいは、環境認識部１１１の実行周期に合わせて使用するパラメタの領域を切り替えてもよい。
　＜パラメタ安定化部１１５＞
　上述した算出方法で、各撮像補正パラメタを算出し、撮像装置１１にフィードバックを行い撮像を実行する場合、ハンチングが起きる可能性がある。すなわち、例えば、ある時点で撮像した画像が環境認識部１１１に適した画像よりも暗い場合、より明るい画像を得るためにシャッタ開放時間を伸ばして画像を撮像する。しかし、その結果得られた画像が今度は環境認識部１１１に適した画像よりも明るすぎる場合、再度暗い画像を得るためにシャッタ開放時間を短縮して画像を撮像する、ということが短時間で周期的に繰り返される場合がある。つまり、ある特定の条件下では算出されるパラメタが振動してしまい、認識性能が安定しなくなるおそれがある。そのため、パラメタ安定化部１１５は、パラメタ生成部１１４が算出した各撮像補正パラメタを時系列に沿って蓄積し、その変動周期を監視し、一定周期以上の振動を検知した場合には、出力されるパラメタの変化量を少なくする。
　具体的には、例えば、時刻ｔ１でのシャッタ開放時間Ｔｔ１、時刻ｔ２でのシャッタ開放時間Ｔｔ２、．．．、時刻ｔｎでのシャッタ開放時間Ｔｔｎとすると、このシャッタ開放時間の変化周期を直近の一定時間内でのフーリエ変換などで求め、閾値以上の高周波が検出された場合、出力するシャッタ開放時間をパラメタ生成部１１４で算出したパラメタを時系列の移動平均、例えば｛Ｔｔ（ｎ－１）＋Ｔｔｎ｝／２、とすることで実現できる。
　＜画像認識システム１０の処理内容＞
　次に、本実施例に係る各部の処理内容について、フローチャートを用いて説明する。
　図５は本実施例１の画像認識システム１０の処理内容を示すフローチャートである。
　本画像認識システム１０は、撮像装置１１より、画像および撮像パラメタを取得する（Ｓ１０）。これは一般に撮像装置１１から撮像完了後に同期信号、割込信号、データ転送開始信号などの転送の基点になる信号が送られ、そのタイミングに基づいて画像認識システム１０側のデータ取得処理が起動され、引き続き送信されるデータを順次メモリに格納することによって実現される。
　データ取得完了後、さらに認識モデル生成部１０２により画像認識処理が行われ、その認識結果でなにか認識された場合（Ｓ１１のＹｅｓ）には、認識された領域に対して以降の撮像補正パラメタ算出処理等が行われる。一方で何も認識されなかった場合（Ｓ１１のＮｏ）は、画面全体を対象として以降の撮像補正パラメタ算出処理等を行うことになる。
　撮像装置状態および撮像装置特性を推定する処理（Ｓ１２）では、前述した撮像装置状態推定部１１２、および撮像装置特性推定部１１３による推定処理が行われる。
　環境認識の認識結果領域に対し撮像補正パラメタを算出する処理（Ｓ１３）では、認識モデル生成部１０２での認識結果領域に従い、パラメタ生成部１１４による撮像補正パラメタの算出処理をおこなう。
　この撮像補正パラメタの算出処理後、撮像補正パラメタのある一定時間内の蓄積結果の周波数成分を求め、所定の周波数以上で変動している場合（Ｓ１４のＹｅｓ）には、ハンチングが発生しているとして、パラメタを安定化させるために、直前の出力値との平均をとる等の方法でパラメタ安定化部１１５によるハンチングの抑制をおこなう（Ｓ１５）。
　このとき、前述のようにパラメタ生成部１１４が、認識が安定するパラメタ範囲の重複領域がなく、異なるパラメタで複数回の撮影を行う場合には、周波数の算出をパラメタ毎に分けてもよい。
　また、認識モデル生成部１０２により画像認識処理が行われ、その認識結果で何も認識されなかった場合（Ｓ１１のＮｏ）は、取得した画像全体の領域に対して、撮像補正パラメタの算出処理をおこなう。
　以上で説明したように、本発明の画像認識システムによれば、画像認識の性能が出る環境に合わせ、画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図ることができるようになる。
＜実施例２＞
　図６は、本発明の実施例２に係る画像認識システム１０を説明するためのブロック図である。本実施例における画像認識システム１０は、撮像装置１１と有線または無線ネットワークを介して接続されており、撮像装置１１から得られた撮像データおよび撮像パラメタを受信し、撮像補正パラメタを撮像装置１１に送信する点は実施例１と同様である。しかし、本実施例においては撮像装置１１が自動走行車両等の移動車両に搭載されていることが前提となっており、車両情報取得部１１９をさらに有する点が異なる。
　以下では、実施例１と重複している部分については適宜省略しながら、各部の詳細を説明する。
　本実施例における、画像取得部１０１、認識モデル生成部１０２については、実施例１に記載したものと同様であるため説明を省略する。
　＜車両情報取得部１１９＞
　車両情報取得部１１９は、ＣＡＮ等のネットワーク経由で、撮像装置１１が搭載された車両の車速および旋回角度に関する情報を取得する。これらの情報と、カメラの画角、車両に対するカメラの取り付け位置および姿勢の情報を合わせ、アッカーマンモデル等の車両モデルを考慮すると、車両の挙動に伴うカメラの視野の変化を推定することができる。この推定方法自体は既存の技術が種々知られており、それらを好適に使用可能である。
　＜状態推定部１０３＞
　実施例１と同様に、状態推定部１０３は、画像取得部１０１から画像データ等を、認識モデル生成部１０２から認識結果等を受信し、撮像装置１１に対し、撮像補正パラメタを送信する。状態推定部１０３は、内部に撮像装置状態推定部１１２・撮像装置特性推定部１１３・パラメタ生成部１１４・パラメタ安定化部１１５のうち１つ以上を有する。このうちパラメタ生成部１１４が実施例１と異なるため、これを中心に説明する。
　＜パラメタ生成部１１４＞
　実施例２におけるパラメタ生成部１１４は、撮像装置状態推定部１１２・撮像装置特性推定部１１３・認識モデル生成部１０２の結果・車両情報取得部１１９の出力に基づき、撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
　前述したように車両情報取得部１１９はカメラの視野の変化を推定することができる。そこで、本実施例においては、認識モデル生成部１０２が出力する画像に含まれる認識対象物が、画面の中央付近なのか外周部付近か、旋回外側か否か、を考慮して、認識対象物が存在する領域のうち、パラメタ算出時に使用しない領域を決めることが特徴である。
　具体的には、速度Ｖに依存して決める外周領域と判定するための閾値をＥｔｈｒ（Ｖ）とおき、画面外周部から距離Ｅｔｈｒ（Ｖ）の範囲内に認識対象物の領域中心が含まれる認識対象物はパラメタ生成部１１４内では認識対象物とは扱わないようにすることができる。また、旋回角度をθ、速度をＶとすると、旋回外側と判定するための閾値をＯｔｈｒ（θ、Ｖ）とおき、同様に画面外周部から距離Ｅｔｈｒ（Ｖ）の範囲内に認識対象物の領域中心が含まれる認識対象物はパラメタ生成部１１４内では認識対象物とは扱わないようにすることができる。
　これにより、走行時および旋回時において、撮像画像中に含まれる認識対象物のうち、すぐに視野外に出て見えなくなる対象に対して適合したパラメタになることを防ぐことができ、画面中央あるいは進行方向に存在する認識対象物に適したパラメタを算出することができるようになる。
　以上で説明したように、本発明の画像認識システムによれば、画像認識の性能が出る環境に合わせ、画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図ることができるようになる。
　以上で説明した本発明の実施例によれば、以下の作用効果を奏する。
（１）本発明に係る画像認識システムは、プロセッサ及びメモリを含み、撮像装置で撮像した画像を取得する画像取得部と、少なくとも１つの環境認識部を有し、画像を少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、画像及び認識モデルに基づき、撮像装置の状態及び当該状態に対応する撮像装置の特性を推定する状態推定部と、を有し、状態推定部はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成する。
　上記構成によって、車両の走行や天候の変化等によって撮像環境が変化し、撮像装置の状態及び特性が変化しても、これらをリアルタイムで監視し、補正することが可能になり画像を取得する際の撮像装置の条件を最適化して画像認識精度を向上させることが可能になる。
（２）状態推定部は、撮像装置の集光素子上の雨滴付着状態および曇り付着状態、撮像装置と撮像対象物との間の遮蔽物、並びに露光状態のうち少なくとも１つを含む撮像装置の状態を推定する撮像装置状態推定部と、撮像装置の撮像素子特性、レンズ特性、及び色補正特性のうち少なくとも１つを含む撮像装置の特性を推定する撮像装置特性推定部と、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づき、撮像補正パラメタを生成するパラメタ生成部と、を有する。これにより、撮像装置内外の各状態、特性を正確に把握し、それらを補正するためのパラメタを生成することが可能になる。
（３）認識モデル生成部は、撮像対象物が存在する領域を認識することによって認識モデルを生成し、状態推定部は、認識モデル上の、撮像対象物が存在する領域ごとに撮像補正パラメタを生成する。これにより、取得した画像に認識対象物が複数存在するような場合でも、それらの対象物それぞれに対して本発明を好適に適用することが可能になる。
（４）パラメタ生成部が生成する撮像補正パラメタがハンチング現象を起こした際に収束させるパラメタ安定化部をさらに有する。これにより、生成した撮像補正パラメタがハンチング現象を起こした場合であっても、パラメタを安定させることが可能になるので、撮像装置の挙動が不安定になることを防止できる。
（５）補正する撮像条件が複数ある場合に、補正する撮像条件を所定の撮像回数毎に切り替える。これにより、パラメタ領域上の、撮像装置の認識性能が安定する領域の論理積領域がない、あるいは複数に分かれている場合であっても、それぞれの領域に対して最適なパラメタ調整を行うことが可能になる。
（６）撮像補正パラメタは、撮像装置のシャッタ開放時間、絞り開放度合い、及び画像信号処理のうち少なくとも一つを補正するためのパラメタである。これにより、撮像装置の有するほぼ全ての機能が補正対象となり、ゆえにほぼ全ての撮像装置状態／特性について本発明を好適に適用できる。
（７）画像認識システムは車両に搭載されるとともに、当該車両の車速及び旋回速度の少なくとも一方を含む車両情報を取得する車両情報取得部をさらに有し、車両情報に基づいて、状態推定部は、撮像補正パラメタを生成する対象領域を修正する。これにより、車両の移動によって画像上において認識対象物が高頻度で出現／消失する場合であっても、実際に認識すべき対象物を取捨選択することが可能になり、システムの演算処理負荷を軽減することが可能になる。
　なお、本発明は上記した実施例に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、上記の実施例は本発明に対する理解を助けるために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０　画像認識システム、１０２　認識モデル生成部、１０３　状態推定部、１１２　撮像装置状態推定部、１１３　撮像装置特性推定部、１１４　パラメタ生成部、１１５　パラメタ安定化部、１１９　車両情報取得部

Claims (7)

  1. 　プロセッサ及びメモリを含み、
    　撮像装置で撮像した画像を取得する画像取得部と、
    　少なくとも１つの環境認識部を有し、前記画像を前記少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、
    　前記画像及び前記認識モデルに基づき、前記撮像装置の状態及び当該状態に対応する前記撮像装置の特性を推定する状態推定部と、を有し、
    　前記状態推定部はさらに、推定した前記状態及び前記特性、並びに前記認識モデルのうち少なくとも１つに基づいて、前記撮像装置の撮像条件を補正する撮像補正パラメタを生成する、
    ことを特徴とする画像認識システム。
  2. 　請求項１に記載の画像認識システムであって、前記状態推定部は、
    　前記撮像装置の集光素子上の雨滴付着状態および曇り付着状態、前記撮像装置と撮像対象物との間の遮蔽物、並びに露光状態のうち少なくとも１つを含む前記撮像装置の前記状態を推定する撮像装置状態推定部と、
    　前記撮像装置の撮像素子特性、レンズ特性、及び色補正特性のうち少なくとも１つを含む前記撮像装置の前記特性を推定する撮像装置特性推定部と、
    　推定した前記状態及び前記特性、並びに前記認識モデルのうち少なくとも１つに基づき、前記撮像補正パラメタを生成するパラメタ生成部と、を有する、
    ことを特徴とする画像認識システム。
  3. 　請求項１に記載の画像認識システムであって、
    　前記認識モデル生成部は、撮像対象物が存在する領域を認識することによって前記認識モデルを生成し、
    　前記状態推定部は、前記認識モデル上の、前記撮像対象物が存在する領域ごとに前記撮像補正パラメタを生成する、
    ことを特徴とする画像認識システム。
  4. 　請求項２に記載の画像認識システムであって、
    　前記パラメタ生成部が生成する前記撮像補正パラメタがハンチング現象を起こした際に収束させるパラメタ安定化部をさらに有する、
    ことを特徴とする画像認識システム。
  5. 　請求項１に記載の画像認識システムであって、
    　補正する前記撮像条件が複数ある場合に、補正する前記撮像条件を所定の撮像回数毎に切り替える、
    ことを特徴とする画像認識システム。
  6. 　請求項１に記載の画像認識システムであって、
    　前記撮像補正パラメタは、前記撮像装置のシャッタ開放時間、絞り開放度合い、及び画像信号処理のうち少なくとも一つを補正するためのパラメタである、
    ことを特徴とする画像認識システム。
  7. 　請求項１に記載の画像認識システムであって、
    　前記画像認識システムは車両に搭載されるとともに、当該車両の車速及び旋回速度の少なくとも一方を含む車両情報を取得する車両情報取得部をさらに有し、
    　前記車両情報に基づいて、前記状態推定部は、前記撮像補正パラメタを生成する対象領域を修正する、
    ことを特徴とする画像認識システム。
PCT/JP2022/039592 2021-11-17 2022-10-24 画像認識システム WO2023090067A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021186800A JP2023074056A (ja) 2021-11-17 2021-11-17 画像認識システム
JP2021-186800 2021-11-17

Publications (1)

Publication Number Publication Date
WO2023090067A1 true WO2023090067A1 (ja) 2023-05-25

Family

ID=86396659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039592 WO2023090067A1 (ja) 2021-11-17 2022-10-24 画像認識システム

Country Status (2)

Country Link
JP (1) JP2023074056A (ja)
WO (1) WO2023090067A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015192222A (ja) * 2014-03-27 2015-11-02 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像制御方法
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
JP2021061546A (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015192222A (ja) * 2014-03-27 2015-11-02 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像制御方法
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
JP2021061546A (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2023074056A (ja) 2023-05-29

Similar Documents

Publication Publication Date Title
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
US20100141806A1 (en) Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
US11700457B2 (en) Flicker mitigation via image signal processing
JPH10512694A (ja) 連続画像内での物体の移動を検知する方法及び装置
WO2007111220A1 (ja) 道路区画線検出装置
JP2009110173A (ja) 物体検出装置
JP2009157085A (ja) 露出制御装置及び露出制御プログラム
US20200084356A1 (en) Image monitoring device, image monitoring method, and recording medium
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
JP2008110715A (ja) 車両用オートライトシステム
JP2003051017A (ja) 白線検出装置
US10462378B2 (en) Imaging apparatus
JP5800288B2 (ja) 車両用画像処理装置
WO2023090067A1 (ja) 画像認識システム
JP3952989B2 (ja) カメラ式車両感知器の露光制御方法及び装置
JP2020108058A (ja) 付着物検出装置および付着物検出方法
WO2022078128A1 (zh) 图像处理方法和装置
US20230171510A1 (en) Vision system for a motor vehicle
US11093786B2 (en) Extraneous-matter detecting apparatus and extraneous-matter detecting method
JPH10261189A (ja) 車両検出装置
JP5310162B2 (ja) 車両灯火判定装置
JP2004185537A (ja) 走行車両検知システム
US11182626B2 (en) Attached object detection apparatus
JP2855928B2 (ja) 車両検出装置
JP5590387B2 (ja) カラーターゲット位置決定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895351

Country of ref document: EP

Kind code of ref document: A1