WO2012043063A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2012043063A1
WO2012043063A1 PCT/JP2011/068018 JP2011068018W WO2012043063A1 WO 2012043063 A1 WO2012043063 A1 WO 2012043063A1 JP 2011068018 W JP2011068018 W JP 2011068018W WO 2012043063 A1 WO2012043063 A1 WO 2012043063A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control
processing apparatus
exposure
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/068018
Other languages
English (en)
French (fr)
Inventor
輝樹 高橋
裕史 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of WO2012043063A1 publication Critical patent/WO2012043063A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Definitions

  • the present invention relates to an exposure control unit of an image processing apparatus that detects an object using an image captured by an image sensor.
  • Patent Document 1 a plurality of types of exposure control maps (exposure representing a luminance-image density conversion relationship with respect to exposure time / gain settings) are used as a conversion map from the luminance of an object to be imaged to an image density that is a signal output level of a captured image. Control output characteristics), the brightness of the object to be imaged is obtained based on the current image density and the number of the exposure control map currently in use, and the exposure control map is such that the brightness is the image density of the control target level. By obtaining this, the exposure control is optimized.
  • th image density at an exposure control map - to luminance conversion obtains the current value x t of the target luminance.
  • the most appropriate exposure control map number n t such that the output image density becomes the control target value y ref with respect to the luminance x t obtained in FIG. 2 (a).
  • the optimum map for obtaining +1 is selected.
  • the 10th exposure control map is most suitable, and 10 is the next value n t + 1 of the exposure control map number, and the exposure time and gain corresponding to the exposure control map number are set.
  • Patent Document 2 a conversion table of image density and road surface brightness at camera aperture amount and shutter speed is prepared in advance, and the road surface brightness obtained from the aperture amount, shutter speed and image density of the camera currently in use is prepared. Based on the difference between the image density and the target, a conversion table for determining the camera aperture and shutter speed is set in advance, and this table is used to determine the next aperture of the camera. The exposure control is optimized by obtaining the amount and the shutter speed.
  • Patent Documents 1 and 2 since the exposure control means of Patent Documents 1 and 2 is intended to set the exposure conditions so that the image density of the control target is set to a single target such as a vehicle or a road surface, a plurality of types are different.
  • detection targets hereinafter referred to as multiple targets
  • the number of images and cameras to be increased increases, and the cost and processing time increase.
  • An object of the present invention is to provide an image processing apparatus capable of preventing an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images even when a plurality of objects exist simultaneously.
  • a nonlinear exposure control output showing the conversion relationship between the luminance of the object imaged by the vehicle-mounted image sensor and the image density detected from the imaged image.
  • a plurality of storage images stored in association with a plurality of types of control factors, current values of control factors determined in advance, and images of a plurality of objects detected from images captured by an in-vehicle image sensor Based on the current density value and the plurality of exposure control output characteristics stored in the storage means, the image density brightness converting means for outputting the current brightness values of the plurality of objects, and the image density brightness converting means Based on the output current values of the brightness of the plurality of objects, target values of image densities of the plurality of objects determined in advance, and the plurality of exposure control output characteristics stored in the storage means Detected from images taken with Image densities of a plurality of target object is a control factor output means for outputting a plurality of types of control elements so as to coincide with the target value of image density
  • the present invention can provide an image processing apparatus capable of preventing an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images even when a plurality of objects exist simultaneously.
  • the exposure control means of the image processing apparatus of the present invention will be described.
  • the means for acquiring the image density to be detected has been described in the background art, and will be omitted.
  • FIG. 1 shows a processing flow of the present invention.
  • the exposure control map is an exposure control output characteristic indicating a conversion relationship between luminance and image density with respect to setting of control factors such as exposure time, gain, knee point, and gamma coefficient. Details of the knee point and gamma coefficient settings will be described later.
  • control factors such as exposure time, gain, knee point, and gamma coefficient. Details of the knee point and gamma coefficient settings will be described later.
  • the features of the present invention are stored in a storage means, current values of predetermined control factors, current values of image densities of a plurality of objects detected from images captured by a camera that is an in-vehicle image sensor, and Based on a plurality of exposure control output characteristics, image density luminance conversion means for outputting current values of the luminance values of the plurality of objects, and current values of luminance values of the plurality of objects outputted from the image density luminance conversion means And the image density of the plurality of objects detected from the image picked up by the vehicle-mounted image sensor based on the predetermined target value of the image density of the plurality of objects and the exposure control output characteristic, Control factor output means for outputting the plurality of types of control factors that coincide with the target value. Furthermore, it has control factor update means for updating the control factor.
  • the exposure control map number is an index for centralizing and managing the values of the control factors, there are as many combinations of the values of the control factors.
  • Fig. 4 shows the value of each exposure factor for the exposure control map number.
  • the values of the respective control factors are set so that the image density of the output image increases with respect to the luminance of the subject as the exposure control map number increases as shown in FIG. Arrange in ascending order.
  • FIG. 3 shows details of the operation from the current map selection 1 to the image density-luminance conversion 2 and the operation from the luminance-image density conversion 3 to the optimum map selection 4 in FIG.
  • the current map is the current exposure control map
  • the optimal map is the optimal exposure control map.
  • the operation of FIG. 3A from the current map selection 1 to the image density-luminance conversion 2 aims to derive the luminance X of a plurality of objects from the current image.
  • the value of the control factor are set to the image obtained at the current time t corresponds to the current exposure control map number n t.
  • the current map is selected from the current exposure control map number n t by the current map selection 1 and the current image density ⁇ y t, 1 , yt , 2 , yt , 3 , y t, 4 ⁇ is input to the current map to derive the current brightness ⁇ x t, 1 , x t, 2 , x t, 3 , yt , 4 ⁇ for each current object.
  • Expression (1) shows the conversion relationship between the current luminance of the object and the image density.
  • lane mark detection and headlight / taillight detection are correctly performed using an image acquired at the current time t.
  • the road surface area and the lane mark area such as white line, yellow line, and botsdots are obtained from the result of the lane mark detection, and the area determined as the headlight or the taillight from the result of the headlight / taillight detection is determined.
  • the image density ⁇ road surface: yt , 1 , lane mark: yt , 2 , tail light: yt , 3 , headlight: yt , 4 ⁇ is obtained.
  • an average value of pixel values in the target region may be obtained, or a target image density may be obtained from a histogram of pixel values in the target region.
  • FIG. 3 (b) luminance-image density conversion to optimum map selection are performed so that the image density of the plurality of objects is set to the control target level at the next exposure from the current plurality of object luminances obtained in FIG.
  • the purpose is to derive an optimal exposure control map to be stored.
  • There are various methods for selecting the optimum map but the simplest method is to obtain the exposure control map number n that becomes the minimum in the following equation (2) as a round-robin method.
  • the estimated next-time image density is obtained by converting the luminance of each target using equation (1) in a certain exposure control map number n.
  • the image density ⁇ road surface: y ref, 1 , lane mark: y ref, 2 , tail light: y ref, 3 , headlight: y ref, 4 ⁇ that is the respective control target n An operation to find out is required.
  • the next value of the optimum map number is obtained, the next value of each control factor previously associated with the exposure control map number is obtained. That is, from the table of FIG. 4, three types of exposure time / gain as exposure control signals, knee points as image correction signals, and next values of gamma coefficients are determined.
  • One exposure control process is completed by directly transmitting the two types of signals to the image sensor and the DSP (Digital Signal Processor).
  • FIG. 5 is a configuration diagram of an entire embodiment of an automobile which is an image processing system of the present invention.
  • the image processing apparatus 101 includes a camera 102 that is an imaging element that captures the traveling direction of the vehicle, and an image analysis unit 103 that performs analysis processing on the captured image.
  • the camera 102 which is an image sensor, is installed in the vicinity of the rearview mirror so as to catch a road surface in the traveling direction of the vehicle and an object such as a vehicle.
  • the image analysis unit 103 may be installed integrally with the camera, or may be installed alone in another place.
  • the image captured by the camera 102 is input to the image analysis unit 103, which performs image analysis processing, and the analysis processing result is sent to the alarm device 104, the headlight control device 106, the brake via the vehicle LAN 105. It is output to the control device 108.
  • the alarm device 104 has a built-in speaker, and outputs an alarm signal output by the image processing apparatus 101 upon detection of a lane mark or the like as sound.
  • the alarm device 104 may be directly connected to the image processing device 101 without going through the vehicle LAN as long as it only generates sound (ON / OFF operation).
  • the headlight control device 106 calculates the voltage to be applied to the high beam and the low beam of the headlight 107 from the position information of the oncoming vehicle headlight and the preceding vehicle taillight output from the image processing device 101, and calculates the calculated voltage to the headlight 107. Supply.
  • the headlight control device 106 controls the irradiation distance of the headlight 107 from the distance to the vehicle ahead.
  • the headlight 107 is configured to operate the filament or reflector portion of the headlight 107, and an optical axis angle control signal is transmitted from the headlight control device 106 to the headlight 107. It may be controlled by changing the optical axis.
  • the brake control device 108 receives the presence / absence and position information of the lane mark output from the image processing device 101, the presence / absence and position information of the preceding vehicle and the oncoming vehicle, and controls the front and rear brakes 109.
  • FIG. 6 is a diagram showing an internal configuration of the camera 102 and the image analysis unit 103 which are image pickup devices.
  • the image sensor 201 performs photoelectric conversion for converting an optical image into an electrical signal, sequentially reads out signal charges generated in each pixel of the image array, and transfers the signal charges to the DSP 202 as signal processing means.
  • the DSP 202 performs various signal processing such as scratch defect correction, HDR image generation, gamma correction, and color matrix conversion. Details of processing of the image sensor 201 and the DSP 202 will be described later.
  • the processing result of the DSP 202 is output as an RGB or YUV digital image signal and transferred to the image input I / F 203 of the image analysis unit 103.
  • the image signal is transmitted continuously, the vertical / horizontal synchronization signal is also transmitted. Therefore, the image input I / F 203 can determine a frame or line break, and does not impair the positional relationship between pixels. You can capture images.
  • the image captured by the image input I / F 203 is written in the memory 204 and processed or analyzed by the image processing unit 205. A series of processing is executed according to the program 206 written in the FROM.
  • a series of processes means image capturing control at the image input I / F 203, image processing control at the image processing unit 205, and capturing of vehicle information used for target detection at the external input / output I / F 208. , Control of the output of the result of object detection, and further control of transfer of an exposure control signal for appropriately setting the exposure condition of the image sensor performed by the CPU 207 and correction of the signal in the DSP 202. Control of the image correction signal for this purpose, and various calculation processes required for this.
  • the calculation processing for performing exposure control in this embodiment is all executed by the CPU 207.
  • FIG. 7 is a detailed view of the camera 102 as an image sensor, and shows the internal configuration of the image sensor 201 and the DSP 202.
  • the image sensor 201 has a control register 309 for performing exposure control.
  • Exposure control refers to the appropriate exposure time and gain that can be a control factor for controlling the exposure amount in order to improve and stabilize the detection performance of object detection in the image against changes in the brightness of the subject that is the sensor input. It is considered to be controlled.
  • the target is to keep the image density of the target area in the image signal that is the final output signal constant, and the HDR is classified as image correction in the DSP 202 rather than exposure control.
  • Variables used for knee correction and gamma correction at the time of image generation are treated as control factors as well as exposure time and gain.
  • the exposure time set in the control register 309 is transferred to the drive control unit 301, and the pixel array 302 is set by the image array 302 performing signal charge reading and reset operations according to the drive timing generated by the drive control unit 301. Images can be taken with the exposure time set. Similarly, the set gain is transferred to the AMP 303 and reflected by amplifying the signal charge accumulated for the exposure time according to a set value. Since both the exposure time and the gain are related to the amplification factor of the output level of the image signal, only the slope of the output characteristic changes as shown in FIG.
  • the exposure time and gain are handled in combination, and both can be changed in 16 steps.
  • the signal charge amplified by the AMP 303 is converted into a digital image signal (digital RAW data) by the ADC 304 and transmitted to the DSP 202.
  • three types of image signals having different exposure time and gain settings are transmitted to the DSP 202 in one frame period.
  • There is a method of outputting signal charges at different exposure times a method of reading signal charges multiple times at different timings in one frame period without resetting in time division, and sequentially reading out the signal charges
  • a plurality of image signals having different exposure times and gain settings can be acquired. Any of the above methods may be used basically.
  • the data to which the data has been transmitted is subjected to correction processing such as a flaw defect in the pre-processing unit 305 and then sent to the HDR image generation unit 306, and three types of digital image signals are combined into one based on the knee points.
  • the knee point is a signal output level at which the generation source image is switched as shown in FIG.
  • By adjusting the knee point as shown in FIG. 9B it is possible to generate image signals having different output characteristics even when the image signals of the three types of exposure conditions are the same combination. A total of 20 level setting patterns for two knee points were prepared.
  • the knee slope can be changed as shown in FIG. 9C by changing the three types of exposure conditions. Adjustment in the process of generating the HDR image is called knee correction.
  • the signal output characteristic (photoelectric conversion characteristic) with respect to the optical input is linear
  • the gradation of the signal output is 12 bits
  • the dynamic range of the optical input is from the three digital RAW data corresponding to 72 dB. Produces an image equivalent to 18 bits (108 dB).
  • the generated image signal is sent to the gamma correction unit 307, and the signal level is corrected according to the gamma coefficient as shown in FIG.
  • the gamma correction may be set using a lookup table. In this case, it is possible to set more finely, but in the present embodiment, the change was made using the gamma coefficient, and 13 steps of change of ⁇ : 0.25 to 4.0 were made possible.
  • the corrected image signal is sent to the color conversion unit 308, converted from digital RAW data to digital YUV data or digital RGB data, and transmitted to the image analysis unit 103.
  • the DSP 202 includes a control register 310 for performing various corrections on the image signal, and can set a knee point level in the HDR image generation unit and a gamma coefficient in the gamma correction unit.
  • the exposure control signal and the image correction signal can be rewritten from the CPU 207, and the rewritten exposure time is reflected in the exposure of the next frame, and the next frame is applied to the transfer period. Therefore, the rewritten exposure time is reflected.
  • the image can be used again by the CPU 207 after the memory transfer of the image signal is completed, and three frames after the previous exposure time is rewritten.
  • the gain setting and various image correction settings are also updated in accordance with the exposure time setting, the next set exposure time, gain, knee point, and gamma coefficient are calculated and rewritten every three frames.
  • the exposure control period is 3 frame periods.
  • the exposure control period is 100 ms.
  • a method of synthesizing an HDR image using a DSP from a plurality of image signals having different exposure conditions is used, but the HDR image generation means is limited to this. Instead, there are various methods such as a method for improving the basic characteristics to increase the saturation level and the noise level, and a method for providing a logarithmic characteristic to the photodiode that performs photoelectric conversion.
  • HDR image generation is performed using an image sensor that transfers three image signals to the DSP in one frame (33 ms). For example, one image signal is transferred in one frame. Even if a general image sensor is used, one HDR image can be generated from three image signals in three frames (100 ms), and the exposure control timing is also a cycle of three frames (100 ms). Therefore, it can be realized without failure.
  • the DSP 202 may be built in the image analysis unit 103 instead of the camera side, or the DSP 202 may not exist and the image processing unit 205 may supplement the processing of the DSP 202.
  • the image processing apparatus of the present invention can be expected to have a great effect in a scene having a plurality of objects with greatly different luminances.
  • the lane mark or road surface is controlled.
  • the image density changes variously on the captured image, and stable detection is difficult. For this reason, it is necessary to prepare a lane mark detection camera or image and a headlight / taillight detection camera or image separately.
  • the brightness change of the brightness with high brightness is maintained while keeping the image density of the low brightness lane mark and the road surface constant and maintaining a high contrast between the two. Since the image density of a large headlight and taillight can be controlled to be constant, it is possible to prevent an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された非線形の露光制御出力特性を、複数種類の制御因子に対応付けて、複数記憶された記憶手段と、予め定めた各制御因子の現在値と、撮像された画像から検出された複数の対象物の画像濃度の現在値と、複数の露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、複数の露光制御出力特性と、に基づいて、検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような複数種類の制御因子を出力する制御因子出力手段と、を有する。これにより複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することができる。

Description

画像処理装置
　撮像素子で撮影された画像を用いて対象物の検知を行う画像処理装置の露光制御手段に関する。
　車両に搭載されるカメラにおいては、時間や場所によって様々な輝度の対象を撮影できるように、光入力に対するダイナミックレンジの拡大が従来から課題とされてきている。
　しかし、太陽光から星明りの下まで問題なく視認できる程度の広いダイナミックレンジを持つことは、現実的に困難である。そこで、車載カメラの多くは、イメージセンサのダイナミックレンジが多少狭くても、絞りや露光時間やゲインなどの露光条件をイメージセンサの信号出力レベルに応じてコントロールする露光制御を行うことで、一部の輝度範囲において効率的に対象を撮影している。そのため、露光制御は車載カメラにおいては必須の機能であり、露光制御に関する様々な課題と解決手段が提供されている。特に、自動車が高速移動体であることから、トンネル等での一瞬の輝度変化に対応できるように、露光制御の高速化，最適化が課題となっており、解決手段として、下記が提供されている。
　特許文献１では、撮影対象の輝度から撮影画像の信号出力レベルである画像濃度への変換マップとして複数種類の露光制御マップ（露光時間・ゲインの設定に対する輝度－画像濃度の変換関係を示した露光制御出力特性）を記憶しており、現在の画像濃度及び現在使用中の露光制御マップの番号に基づいて撮影対象の輝度を求め、その輝度が制御目標程度の画像濃度になるような露光制御マップを求めることで、露光制御の最適化を図っている。
　図２の例を用いて処理の詳細を説明する。図２は露光制御マップを用いた従来例の露光制御を説明するための図であり、ｎ＝１～１６番目までの１６個の露光制御マップを用意してある。
　まず図２（ａ）では、現在の時刻ｔにおいて現在使用しているｎt（＝７）番目の露光制御マップの読み出しを行い、対象の画像濃度の現在値ｙtをｎt（＝７）番目の露光制御マップで画像濃度－輝度変換して、対象の輝度の現在値ｘtを求める。次に図２（ｂ）では、図２（ａ）で求めた輝度ｘtに対して、出力である画像濃度が制御目標値ｙrefとなるような、最も適当な露光制御マップの番号ｎt+1を求めるための最適マップの選択を行う。図２（ｂ）では、１０番目の露光制御マップが最も適しており、１０が露光制御マップ番号の次回値ｎt+1となり、露光制御マップ番号に対応する露光時間・ゲインの設定を行う。
　また、特許文献２では、カメラ絞り量，シャッター速度での画像濃度と路面輝度の変換テーブルを予め準備しておき、現在使用中のカメラの絞り量，シャッター速度と画像濃度から求めた路面輝度に基づいてトンネル内走行中か否かを判定し、画像濃度とその目標との差からカメラの絞り量，シャッター速度を求める変換テーブルを予め設定しておき、このテーブルを用いてカメラの次の絞り量，シャッター速度を求めることで、露光制御の最適化を図っている。
特開２００９－１５７０８７号公報 特開平１１－２０５６６３号公報
　しかしながら、特許文献１，２の露光制御手段は車両や路面などの単一の対象に対して制御目標の画像濃度になるように露光条件を設定しようとするものであるため、複数の種類の異なる検知対象（以下、複数対象とする）が同時に存在する場合には、一枚の画像において、いずれの対象においても制御目標となる露光条件に設定することができず、検知対象の数によって必要となる画像やカメラが増加してしまい、コストや処理時間が増大してしまう。
　本発明は、複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することが目的である。
　上記の目的を達成するため本発明の画像処理装置では、車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された非線形の露光制御出力特性を、複数種類の制御因子に対応付けて、複数記憶された記憶手段と、予め定めた各制御因子の現在値と、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度の現在値と、記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、画像濃度輝度変換手段から出力された複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、記憶手段で記憶された複数の露光制御出力特性と、に基づいて、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような複数種類の制御因子を出力する制御因子出力手段と、を有する構成とする。
　本明細書は本願の優先権の基礎である日本国特許出願２０１０－２２０２４９号の明細書および／または図面に記載される内容を包含する。
　本発明は、複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することができる。
本発明に係る画像処理装置の露光制御の処理フローの一実施形態を示す図である。 露光制御マップを用いた従来例の露光制御を説明するための図である。 本発明の露光制御マップを用いた露光制御を説明するための図である。 本発明の露光制御マップ番号に対する各露光因子の値を説明するための図である。 本発明に係る画像処理装置を適用した車両全体の概略を示す図である。 本発明に係る画像処理装置の詳細構成を示す図である。 本発明に係る画像処理装置のカメラの詳細構成を示す図である。 本発明の露光時間・ゲインの変更を説明するための図である。 本発明のＨＤＲ画像生成におけるニー補正を説明するための図である。 本発明のガンマ補正を説明するための図である。
　以下、本発明が適用された実施例について、図面を用いて説明する。
　まず、本発明の画像処理装置の露光制御手段について説明する。尚、検知対象の画像濃度を取得する手段については背景技術で述べているため、省略する。
　図１に本発明の処理フローを示す。露光制御マップとは、露光時間，ゲイン，ニーポイント，ガンマ係数等の制御因子の設定に対する輝度と画像濃度の変換関係が示された露光制御出力特性である。ニーポイント，ガンマ係数の設定についての詳細は後述する。これら制御因子における複数種類の値の組み合わせに対応付けて、対象の輝度に対する画像濃度の露光制御出力特性であり、その逆特性でもある露光制御マップを記憶手段に予め複数種類記憶しておくことで、図１のように現在マップ選択１から画像濃度－輝度変換２の操作と、輝度－画像濃度変換３から最適マップ選択４の操作の、２種類の操作に対応している。
　本発明の特徴は、予め定めた各制御因子の現在値と、車載撮像素子であるカメラで撮像された画像から検出された複数の対象物の画像濃度の現在値と、記憶手段で記憶された複数の露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、その画像濃度輝度変換手段から出力された複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、露光制御出力特性と、に基づいて、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような前記複数種類の制御因子を出力する制御因子出力手段と、を有することである。さらに、その制御因子を更新する制御因子更新手段を有することである。
　露光制御マップ番号は各制御因子の値を一元化して管理するための指数であるため、その値の数は各制御因子の値の組み合わせ数だけ存在する。
　図４に露光制御マップ番号に対する各露光因子の値を示す。
　本実施例では、後述の３つの画像信号を合成して１つのＨＤＲ画像信号を生成する手段を用いて、露光時間とゲインは合わせて１６段階、ガンマ補正は１３段階、ニー補正は全部で２０段階の変更が可能である。ゆえに、イメージセンサに露光制御信号として送信される、３つの画像の露光時間・ゲインの種類は、１６３＝４０９６通り存在し、ＤＳＰに画像補正信号として送信される、ニーポイント，ガンマ係数の種類は、１３×２０＝２６０通り存在する。よって、用意すべき露光制御マップ番号の最大値は複数種類の制御因子の値を全て組み合わせた場合の総数１６３×２０×１３＝１０６４９６０となる。露光制御マップ番号に対する各制御因子の値の順番については、図４のように露光制御マップ番号が大きくなるほど、被写体の輝度に対して出力画像の画像濃度が大きくなるように各制御因子の値を昇順に並べる。
　これにより線形だけでなく、より複雑な非線形な露光制御マップを設定することができる。露光制御マップの詳細な設定方法は後述する。
　図３に、図１の現在マップ選択１から画像濃度－輝度変換２の操作と、輝度－画像濃度変換３から最適マップ選択４の操作の詳細を示す。なお、現在マップとは、現在の露光制御マップのことであり、最適マップとは、最適な露光制御マップのことである。
　図３（ａ）現在マップ選択１から画像濃度－輝度変換２の操作は、現在の画像から複数対象の輝度Ｘを導出することを目的としている。現在の時刻ｔで取得した画像に設定されている各制御因子の値は、現在の露光制御マップ番号ｎtに対応している。現在の露光制御マップ番号ｎtから現在マップ選択１で現在マップを選択し、複数種類の対象検知手段によって検出した現在の複数対象の画像濃度｛ｙt,1，ｙt,2，ｙt,3，ｙt,4｝を現在マップに入力することで、現在の各対象の輝度｛ｘt,1，ｘt,2，ｘt,3，ｙt,4｝を導出する。
現在の対象の輝度と、画像濃度の変換関係を式（１）に示す。
Figure JPOXMLDOC01-appb-M000001
　例えば、現在の時刻ｔで取得した画像を用いてレーンマーク検知と、ヘッドライト・テ
ールライト検知が正しく行われていたとする。このとき、レーンマーク検知の結果から路面領域と、白線，黄線，ボッツドッツ等のレーンマーク領域とを求め、ヘッドライト・テールライト検知の結果から、ヘッドライト、またはテールライトと判定された領域を求め、それらの画像濃度｛路面：ｙt,1，レーンマーク：ｙt,2，テールライト：ｙt,3，ヘッドライト：ｙt,4｝を求める。このとき画像濃度の計算方法としては、対象領域の画素値の平均値を求めてもかまわないし、対象領域の画素値のヒストグラムから対象の画像濃度を求めてもかまわない。その他、対象検知手段の過程で求められた情報を利用してもよい。
　その後、図３（ａ）のように露光制御マップ（式（１））より各対象の輝度｛路面：ｘt,1，レーンマーク：ｘt,2，テールライト：ｘt,3，ヘッドライト：ｘt,4｝が求められる。
　また、図３（ｂ）輝度－画像濃度変換～最適マップ選択の操作は、図３（ａ）で求めた現在の複数対象の輝度から、次回の露光で複数対象の画像濃度を制御目標程度に納めるのに最適な露光制御マップを導出することを目的としている。最適マップの選択の方法は様々考えられるが、総当り法として次式（２）で最小となる露光制御マップ番号ｎを求める方法が最も単純である。
Figure JPOXMLDOC01-appb-M000002
　例えば、先ほどのレーンマーク検知と、ヘッドライト・テールライト検知の例では、ある露光制御マップ番号ｎにおいて、各対象の輝度を式（１）で変換することで、推定される次回の各画像濃度｛路面：ｅｃｍ（ｎ，ｘt,1），レーンマーク：ｅｃｍ（ｎ，ｘt,2），テールライト：ｅｃｍ（ｎ，ｘt,3），ヘッドライト：ｅｃｍ（ｎ，ｘt,4）｝が求まるので、各々の制御目標である画像濃度｛路面：ｙref,1，レーンマーク：ｙref,2，テールライト：ｙref,3，ヘッドライト：ｙref,4｝に最も近いｎを見つけ出す操作が必要となる。
　最適マップ番号の次回値が求められたら、予め露光制御マップ番号に対応付けていた各制御因子の次回値を求める。すなわち、図４のテーブルから、露光制御信号としての３種類の露光時間・ゲイン，画像補正信号としてのニーポイント，ガンマ係数の次回値が決定する。上記２種類の信号を、イメージセンサ及び、ＤＳＰ（Digital Signal Processer（デジタル信号処理装置））に直接送信することで一回の露光制御処理が終了する。
　これにより一枚の画像でも非線形の露光制御マップを設定することにより、各々の対象に対して最適な露光特性を得ることができる。
　次に、本発明の画像処理装置を適用した車両全体構成について説明する。図５は、本発明の画像処理システムである自動車の実施例全体の構成図である。
　画像処理装置１０１は、車両の進行方向を撮影する撮像素子であるカメラ１０２、及び、撮像した画像の解析処理を行う画像解析部１０３から構成される。
　撮像素子であるカメラ１０２は車両の進行方向の路面や車両などの対象物を捕らえられるようにルームミラー付近に設置される。画像解析部１０３はカメラと一体として設置してもかまわないし、別な場所に単独で設置してもかまわない。
　カメラ１０２で撮像された画像は画像解析部１０３に入力され、画像解析部１０３は画像の解析処理を行い、解析処理結果は車両用ＬＡＮ１０５を介して警報装置１０４や、ヘッドライト制御装置１０６，ブレーキ制御装置１０８に出力される。
　警報装置１０４にはスピーカが内蔵され、画像処理装置１０１がレーンマーク検知等で出力する警報信号を音声として出力する。警報装置１０４は単に音を発生するだけ（ＯＮ／ＯＦＦ操作）であれば、車両用ＬＡＮを介せずに画像処理装置１０１に直接接続してもよい。
　ヘッドライト制御装置１０６は画像処理装置１０１が出力する対向車ヘッドライト及び先行車テールライトの位置情報からヘッドライト１０７のハイビームおよびロービームに負荷する電圧を算出し、ヘッドライト１０７に算出された電圧を供給する。
　これにより、ヘッドライト制御装置１０６は前方の車両までの距離からヘッドライト１０７の照射距離を制御する。ヘッドライト照射距離の制御に関しては、ヘッドライト１０７のフィラメント、あるいはリフレクタ部分を稼動する構造にしておき、ヘッドライト制御装置１０６から光軸の角度制御信号をヘッドライト１０７に送信することでヘッドライト１０７の光軸を変化させることで制御してもかまわない。
　ブレーキ制御装置１０８は画像処理装置１０１が出力するレーンマークの有無や位置情報，先行車及び対向車の有無や位置情報を受け取り、左右前後のブレーキ１０９の制御を行う。
　図６は、撮像素子であるカメラ１０２と画像解析部１０３の内部構成を示した図である。
　イメージセンサ２０１は光学像を電気信号に変換する光電変換を行い、画像配列の各画素において発生した信号電荷を順次読み出し、画像信号として信号処理手段であるＤＳＰ２０２に転送する。
　ＤＳＰ２０２では傷欠陥補正やＨＤＲ画像生成，ガンマ補正，カラーマトリクス変換等の各種信号処理が行われる。イメージセンサ２０１とＤＳＰ２０２の処理の詳細は後ほど記述する。
　ＤＳＰ２０２の処理結果はＲＧＢまたはＹＵＶのデジタル画像信号として出力され、画像解析部１０３の画像入力Ｉ／Ｆ２０３に転送される。画像信号は連続的に送信されるが、垂直／水平同期信号も合わせて送信されるため、画像入力Ｉ／Ｆ２０３はフレームやラインの区切りを判別することができ、画素間の位置関係を損なわずに画像を取り込むことができる。
　画像入力Ｉ／Ｆ２０３で取り込まれた画像はメモリ２０４に書き込まれ、画像処理ユニット２０５によって処理や解析が行われる。一連の処理はＦＲＯＭに書き込まれたプログラム２０６に従い実行される。
　ここで、一連の処理とは、画像入力Ｉ／Ｆ２０３での画像取り込みの制御や、画像処理ユニット２０５での画像処理の制御、外部入出力Ｉ／Ｆ２０８での対象検知で利用する車両情報の取り込みの制御や、対象検知の結果出力の制御、更に、ＣＰＵ２０７が行う、イメージセンサの露光条件を適切に設定するための露光制御信号の転送の制御や、ＤＳＰ２０２での信号の補正を適切に設定するための画像補正信号の転送の制御、及びそのために必要となる各種計算処理である。本実施例において露光制御を行うための計算処理も、全てＣＰＵ２０７で実行される。
　次に露光制御マップの設定方法を説明する。
　図７は撮像素子であるカメラ１０２の詳細図で、イメージセンサ２０１とＤＳＰ２０２の内部構成を示している。
　イメージセンサ２０１は、露光制御を行うための制御レジスタ３０９を内蔵している。露光制御とは、センサ入力である被写体の輝度の変化に対して、画像における対象物検知の検知性能を向上、安定化するために、露光量をコントロールする制御因子となり得る露光時間やゲインを適切にコントロールすることと考えられる。
　但し、本実施例においては最終的な出力信号である画像信号における対象領域の画像濃度を一定に保つようにコントロールすることを目標としており、露光制御というよりＤＳＰ２０２における画像補正に分類される、ＨＤＲ画像生成時のニー補正やガンマ補正等で用いられる変数も露光時間やゲインと同じく制御因子として扱う。
　制御レジスタ３０９に設定された露光時間は駆動制御部３０１に転送され、駆動制御部３０１が生成する駆動タイミングに従い、画像配列３０２が信号電荷の読み出しやリセット動作を行うことで、画素配列３０２は設定された露光時間で撮像することができる。同じく、設定されたゲインはＡＭＰ３０３に転送され、前記露光時間分蓄積された信号電荷を設定された値に応じて増幅することで反映させられる。露光時間とゲインは共に画像信号の出力レベルの増幅率に関係するため、図８のように出力特性の傾きのみが変化する。
　本実施例では露光時間・ゲインを一緒に組み合わせて扱うこととし、両者を合わせて１６段階の変更が可能とする。ＡＭＰ３０３で増幅された信号電荷は、ＡＤＣ３０４でデジタル画像信号（デジタルＲＡＷデータ）に変換されて、ＤＳＰ２０２に送信される。
　このとき、露光時間，ゲインの設定の異なる３種類の画像信号が１フレーム期間にＤＳＰ２０２へ送信される。複数の画像信号を１フレーム期間に送信するためには、１フレーム期間を時分割して複数の異なる露光時間で信号電荷の読み出しとリセットを行う方式や、１画素を複数に分割して各画素が異なる露光時間で信号電荷を出力する方式，時分割の際に、リセットをせずに、１フレーム期間の異なるタイミングで複数回信号電荷を読み出す方式などがあり、読み出された信号電荷に順次異なるゲインをかけることで露光時間，ゲインの設定の異なる複数の画像信号を取得することができる。上記の方式は、基本的にどれを用いてもかまわない。
　データを送信されたデータは前処理部３０５で傷欠陥等の補正処理を行ってからＨＤＲ画像生成部３０６に送られ、３種類のデジタル画像信号がニーポイントに基づき１つに合成される。ニーポイントとは図９（ａ）のように生成元の画像が切り替わる信号出力レベルである。図９（ｂ）のようにニーポイントを調整することで、３種類の露光条件の画像信号が同じ組み合わせであっても、異なった出力特性を持った画像信号を生成することができる。２つのニーポイントのレベル設定パターンは合わせて２０通り用意した。
　また、３種類の露光条件を変更することで図９（ｃ）のように、ニースロープを変更することもできる。これらＨＤＲ画像の生成過程での調整をニー補正と呼ぶ。本実施例では、光入力に対する信号出力の特性（光電変換特性）が線形で、信号出力の階調が１２ｂｉｔ、光入力のダイナミックレンジは７２ｄＢ相当の３つのデジタルＲＡＷデータから、光入力のダイナミックレンジが１８ｂｉｔ（１０８ｄＢ）相当の画像を生成している。
　生成された画像信号はガンマ補正部３０７に送られ、図１０のようにガンマ係数に応じて信号レベルの補正が行われる。ガンマ補正はルックアップテーブルを用いて設定してもかまわない。この場合には、更に細かく設定することが可能であるが、本実施例においてはガンマ係数を用いて変更を行い、γ：０.２５～４.０の１３段階の変更を可能とした。
　補正された画像信号は色変換部３０８に送られ、デジタルＲＡＷデータからデジタルＹＵＶデータまたはデジタルＲＧＢデータに変換され、画像解析部１０３へ送信される。
　ＤＳＰ２０２は、画像信号に対して種々の補正を行うための制御レジスタ３１０を内蔵しており、ＨＤＲ画像生成部におけるニーポイントのレベル，ガンマ補正部におけるガンマ係数を設定することができる。
　露光制御信号や画像補正信号はＣＰＵ２０７から書き換え可能であり、書き換えられた露光時間は次フレームの露光に反映され、その次のフレームが転送期間に当てられるため、書き換えられた露光時間が反映された画像をＣＰＵ２０７が再び利用できるのは、画像信号のメモリ転送が終了した後となり、前回露光時間を書き換えてから３フレーム後である。
　露光時間の設定に合わせてゲインの設定や各種画像補正の設定も更新するため、３フレーム毎に、次回設定する露光時間，ゲイン，ニーポイント，ガンマ係数を計算し、書き換えを行うこととなる。
　すなわち、露光制御周期は３フレーム期間となる。３０ｆｐｓのイメージセンサの場合は、１フレーム３３.３ms間隔で画像が転送されるため、露光制御周期は１００msとなる。
　これらの制御因子を適当な値に変化させることで、カメラで撮像される対象の輝度に対する画像濃度の出力特性を非線形に変化させることが可能である。
　尚、本実施例では、複数の露光条件（露光時間，ゲインの設定）の異なる画像信号からＤＳＰでＨＤＲ画像を合成する方法を用いているが、ＨＤＲ画像生成手段としては、これに限定されるものではなく、基本特性を改善して飽和レベルの拡大やノイズレベルの低減を図る方法や、光電変換を行うフォトダイオードそのものに対数特性を持たせる方法など様々存在する。
　また、本実施例では、１フレーム（３３ms）間に３枚の画像信号をＤＳＰに転送するイメージセンサを用いてＨＤＲ画像生成を行っているが、例えば１フレームで１枚の画像信号を転送する一般的なイメージセンサを使用しても、３フレーム（１００ms）間の３枚の画像信号から１枚のＨＤＲ画像を生成することが可能であり、露光制御タイミングも３フレーム（１００ms）周期であることから、破綻することなく、実現することが可能である。
　また、ＤＳＰ２０２がカメラ側ではなく画像解析部１０３に内蔵されていてもかまわないし、ＤＳＰ２０２が存在せず、画像処理ユニット２０５がＤＳＰ２０２の処理を補ってもかまわない。
　以上のように、本発明の画像処理装置は輝度が大きく異なる複数対象があるシーンで大きな効果が期待できる。例えば、検知対象としてレーンマークと夜間の先行車のヘッドライト，テールライトを、画像処理によって検知しようとしたときに、背景技術を用いて露光制御を行う場合だと、レーンマークまたは路面を制御対象にすると、ヘッドライト，テールライトは車種や距離によって明るさが様々に異なることから、撮影画像上でも画像濃度が様々に変化し、安定した検知が困難である。このため、レーンマーク検知用カメラまたは画像と、ヘッドライト，テールライト検知用カメラまたは画像を別々に用意する必要が生じる。一方、本発明を用いて露光制御を行う場合には、一つのカメラかつ画像において、低輝度のレーンマークと路面の画像濃度を一定保ち、両者のコントラストを大きく維持しながら、高輝度で輝度変化の大きなヘッドライト，テールライトの画像濃度を一定に制御することができるため、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる。
１０１　画像処理装置
１０２　カメラ
１０３　画像解析部
１０４　警報装置
１０５　車両用ＬＡＮ
１０６　ヘッドライト制御装置
１０７　ヘッドライト
１０８　ブレーキ制御装置
１０９　ブレーキ
２０１　イメージセンサ
２０２　ＤＳＰ
２０３　画像入力Ｉ／Ｆ
２０４　メモリ
２０５　画像処理ユニット
２０６　プログラム
２０７　ＣＰＵ
２０８　外部入出力Ｉ／Ｆ
３０１　駆動制御部
３０２　画像配列
３０３　ＡＭＰ
３０４　ＡＤＣ
３０５　前処理部
３０６　ＨＤＲ画像生成部
３０７　ガンマ補正部
３０８　色変換部
３０９　制御レジスタ（イメージセンサ側）
３１０　制御レジスタ（ＤＳＰ側）
　本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (5)

  1. 　車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された非線形の露光制御出力特性を、複数種類の制御因子に対応付けて、複数記憶された記憶手段と、
    　予め定めた各制御因子の現在値と、前記車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度の現在値と、前記記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、前記複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、
    　前記画像濃度輝度変換手段から出力された前記複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、前記記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、前記車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、前記画像濃度の目標値と一致するような前記複数種類の制御因子を出力する制御因子出力手段と、を有する画像処理装置。
  2. 　請求項１記載の画像処理装置において、
    　前記制御因子出力手段で出力された前記複数種類の制御因子に現在の制御因子から更新する制御因子更新手段を有する画像処理装置。
  3. 　請求項１又は請求項２に記載の画像処理装置において、
    　前記制御因子は、露光時間，ゲイン，ニーポイント，ガンマ係数の少なくとも１つである画像処理装置。
  4. 　請求項１乃至３のいずれか１項に記載の画像処理装置において、
    　前記対象物は、走行路面，前記走行路面上のレーンマーク，前記走行路面上を走行する対向車両のヘッドランプ，前記走行路面上を走行する先行車両のテールランプ、の少なくとも１つである画像処理装置。
  5. 　請求項１乃至４のいずれか１項に記載の画像処理装置において、
    　前記露光制御出力特性は、車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された線形の出力特性を有する画像処理装置。
PCT/JP2011/068018 2010-09-30 2011-08-08 画像処理装置 Ceased WO2012043063A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010220249A JP5427744B2 (ja) 2010-09-30 2010-09-30 画像処理装置
JP2010-220249 2010-09-30

Publications (1)

Publication Number Publication Date
WO2012043063A1 true WO2012043063A1 (ja) 2012-04-05

Family

ID=45892538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068018 Ceased WO2012043063A1 (ja) 2010-09-30 2011-08-08 画像処理装置

Country Status (2)

Country Link
JP (1) JP5427744B2 (ja)
WO (1) WO2012043063A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196879A1 (en) * 2018-04-11 2019-10-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining exposure parameters

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US20230102607A1 (en) * 2020-02-03 2023-03-30 Sony Semiconductor Solutions Corporation Electronic device
WO2022014361A1 (ja) 2020-07-15 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205663A (ja) * 1998-01-20 1999-07-30 Nissan Motor Co Ltd 車両用撮像装置の露光量制御装置
JP2009157087A (ja) * 2007-12-26 2009-07-16 Denso Corp 露出制御装置及び露出制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205663A (ja) * 1998-01-20 1999-07-30 Nissan Motor Co Ltd 車両用撮像装置の露光量制御装置
JP2009157087A (ja) * 2007-12-26 2009-07-16 Denso Corp 露出制御装置及び露出制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196879A1 (en) * 2018-04-11 2019-10-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining exposure parameters
US11431914B2 (en) 2018-04-11 2022-08-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for determining exposure parameters

Also Published As

Publication number Publication date
JP2012075059A (ja) 2012-04-12
JP5427744B2 (ja) 2014-02-26

Similar Documents

Publication Publication Date Title
JP5832855B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5370413B2 (ja) 認識対象検出装置
US10136080B2 (en) Image generating apparatus
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5860663B2 (ja) ステレオ撮像装置
CN107896307B (zh) 具有高动态范围渲染功能的成像装置
JP6739066B2 (ja) 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
JP7204480B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
JP5427744B2 (ja) 画像処理装置
US11758283B2 (en) Image capture device and image adjusting method
US12573174B2 (en) Image processing apparatus
JP4400512B2 (ja) 車載カメラ制御装置
JP6478138B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP4089911B2 (ja) 画像入力装置
JP2008110715A (ja) 車両用オートライトシステム
JP2008230464A (ja) 車載カメラ用自動露出装置
KR101822344B1 (ko) 히스토그램 스프레딩을 갖는 자동차 카메라 장치
CN109788211B (zh) 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法
JP2006311031A (ja) 移動体用撮像装置
JP4619981B2 (ja) 画像認識装置
JP2018160785A (ja) 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP6314667B2 (ja) 撮像装置、画像補正プログラムおよび画像処理装置
JP2015023314A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828624

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11828624

Country of ref document: EP

Kind code of ref document: A1