JP5427744B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP5427744B2
JP5427744B2 JP2010220249A JP2010220249A JP5427744B2 JP 5427744 B2 JP5427744 B2 JP 5427744B2 JP 2010220249 A JP2010220249 A JP 2010220249A JP 2010220249 A JP2010220249 A JP 2010220249A JP 5427744 B2 JP5427744 B2 JP 5427744B2
Authority
JP
Japan
Prior art keywords
image
control
exposure
processing apparatus
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010220249A
Other languages
Japanese (ja)
Other versions
JP2012075059A5 (en
JP2012075059A (en
Inventor
輝樹 高橋
裕史 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2010220249A priority Critical patent/JP5427744B2/en
Priority to PCT/JP2011/068018 priority patent/WO2012043063A1/en
Publication of JP2012075059A publication Critical patent/JP2012075059A/en
Publication of JP2012075059A5 publication Critical patent/JP2012075059A5/ja
Application granted granted Critical
Publication of JP5427744B2 publication Critical patent/JP5427744B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

撮像素子で撮影された画像を用いて対象物の検知を行う画像処理装置の露光制御手段に関する。   The present invention relates to an exposure control unit of an image processing apparatus that detects an object using an image captured by an image sensor.

車両に搭載されるカメラにおいては、時間や場所によって様々な輝度の対象を撮影できるように、光入力に対するダイナミックレンジの拡大が従来から課題とされてきている。   2. Description of the Related Art Conventionally, in a camera mounted on a vehicle, expansion of a dynamic range with respect to light input has been a problem so that an object with various luminances can be photographed depending on time and place.

しかし、太陽光から星明りの下まで問題なく視認できる程度の広いダイナミックレンジを持つことは、現実的に困難である。そこで、車載カメラの多くは、イメージセンサのダイナミックレンジが多少狭くても、絞りや露光時間やゲインなどの露光条件をイメージセンサの信号出力レベルに応じてコントロールする露光制御を行うことで、一部の輝度範囲において効率的に対象を撮影している。そのため、露光制御は車載カメラにおいては必須の機能であり、露光制御に関する様々な課題と解決手段が提供されている。特に、自動車が高速移動体であることから、トンネル等での一瞬の輝度変化に対応できるように、露光制御の高速化,最適化が課題となっており、解決手段として、下記が提供されている。   However, it is practically difficult to have a wide dynamic range that can be visually recognized from sunlight to under the stars. Therefore, many in-vehicle cameras perform exposure control that controls exposure conditions such as aperture, exposure time, and gain according to the signal output level of the image sensor, even if the dynamic range of the image sensor is somewhat narrow. The target is efficiently photographed in the luminance range. Therefore, exposure control is an indispensable function for in-vehicle cameras, and various problems and solutions for exposure control are provided. In particular, since automobiles are high-speed moving bodies, there is a problem in speeding up and optimizing exposure control so that it can cope with instantaneous brightness changes in tunnels, etc. The following are provided as solutions. Yes.

特許文献1では、撮影対象の輝度から撮影画像の信号出力レベルである画像濃度への変換マップとして複数種類の露光制御マップ(露光時間・ゲインの設定に対する輝度−画像濃度の変換関係を示した露光制御出力特性)を記憶しており、現在の画像濃度及び現在使用中の露光制御マップの番号に基づいて撮影対象の輝度を求め、その輝度が制御目標程度の画像濃度になるような露光制御マップを求めることで、露光制御の最適化を図っている。   In Patent Document 1, a plurality of types of exposure control maps (exposure showing a luminance-image density conversion relationship with respect to exposure time / gain settings) are used as a conversion map from the luminance of an imaging target to an image density that is a signal output level of a captured image. Control output characteristics), the brightness of the object to be imaged is obtained based on the current image density and the number of the exposure control map currently in use, and the exposure control map is such that the brightness is the image density of the control target level. By obtaining this, the exposure control is optimized.

図2の例を用いて処理の詳細を説明する。図2は露光制御マップを用いた従来例の露光制御を説明するための図であり、n=1〜16番目までの16個の露光制御マップを用意してある。   Details of the processing will be described with reference to the example of FIG. FIG. 2 is a diagram for explaining conventional exposure control using an exposure control map, and 16 exposure control maps of n = 1 to 16 are prepared.

まず図2(a)では、現在の時刻tにおいて現在使用しているnt(=7)番目の露光制御マップの読み出しを行い、対象の画像濃度の現在値ytをnt(=7)番目の露光制御マップで画像濃度−輝度変換して、対象の輝度の現在値xtを求める。次に図2(b)では、図2(a)で求めた輝度xtに対して、出力である画像濃度が制御目標値yrefとなるような、最も適当な露光制御マップの番号nt+1を求めるための最適マップの選択を行う。図2(b)では、10番目の露光制御マップが最も適しており、10が露光制御マップ番号の次回値nt+1となり、露光制御マップ番号に対応する露光時間・ゲインの設定を行う。 First, in FIG. 2A, the n t (= 7) -th exposure control map currently used at the current time t is read, and the current value y t of the target image density is set to n t (= 7). th image density at an exposure control map - to luminance conversion, obtains the current value x t of the target luminance. Next, in FIG. 2 (b), the most appropriate exposure control map number n t such that the output image density becomes the control target value y ref with respect to the luminance x t obtained in FIG. 2 (a). The optimum map for obtaining +1 is selected. In FIG. 2B, the 10th exposure control map is most suitable, and 10 is the next value n t + 1 of the exposure control map number, and the exposure time and gain corresponding to the exposure control map number are set.

また、特許文献2では、カメラ絞り量,シャッター速度での画像濃度と路面輝度の変換テーブルを予め準備しておき、現在使用中のカメラの絞り量,シャッター速度と画像濃度から求めた路面輝度に基づいてトンネル内走行中か否かを判定し、画像濃度とその目標との差からカメラの絞り量,シャッター速度を求める変換テーブルを予め設定しておき、このテーブルを用いてカメラの次の絞り量,シャッター速度を求めることで、露光制御の最適化を図っている。   In Patent Document 2, a conversion table of image density and road surface brightness at camera aperture amount and shutter speed is prepared in advance, and the road surface brightness obtained from the aperture amount, shutter speed and image density of the camera currently in use is prepared. Based on the difference between the image density and the target, a conversion table for determining the camera aperture and shutter speed is set in advance, and this table is used to determine the next aperture of the camera. The exposure control is optimized by obtaining the amount and the shutter speed.

特開2009−157087号公報JP 2009-157087 A 特開平11−205663号公報JP-A-11-205663

しかしながら、特許文献1,2の露光制御手段は車両や路面などの単一の対象に対して制御目標の画像濃度になるように露光条件を設定しようとするものであるため、複数の種類の異なる検知対象(以下、複数対象とする)が同時に存在する場合には、一枚の画像において、いずれの対象においても制御目標となる露光条件に設定することができず、検知対象の数によって必要となる画像やカメラが増加してしまい、コストや処理時間が増大してしまう。   However, since the exposure control means of Patent Documents 1 and 2 is intended to set the exposure conditions so that the image density of the control target is set to a single target such as a vehicle or a road surface, a plurality of types are different. When there are detection targets (hereinafter referred to as multiple targets) at the same time, it is not possible to set the exposure condition as a control target for any target in one image, and it is necessary depending on the number of detection targets. The number of images and cameras to be increased increases, and the cost and processing time increase.

本発明は、複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することが目的である。   An object of the present invention is to provide an image processing apparatus capable of preventing an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images even when a plurality of objects exist simultaneously.

上記の目的を達成するため本発明の画像処理装置では、車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された線形又は非線形の露光制御出力特性を、複数種類の制御因子に対応付けて、複数記憶された記憶手段と、予め定めた各制御因子の現在値と、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度の現在値と、記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、画像濃度輝度変換手段から出力された複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、記憶手段で記憶された複数の露光制御出力特性と、に基づいて、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような複数種類の制御因子を出力する制御因子出力手段と、を有する構成とする。


In order to achieve the above object, in the image processing apparatus of the present invention, linear or non-linear exposure showing the conversion relationship between the luminance of the object imaged by the vehicle-mounted image sensor and the image density detected from the imaged image. A plurality of storage means stored in association with a plurality of types of control factors, a current value of each control factor determined in advance, and a plurality of objects detected from an image captured by an in-vehicle image sensor Image density / luminance conversion means for outputting current values of brightness of a plurality of objects based on the current value of the image density and the plurality of exposure control output characteristics stored in the storage means, and image density / luminance conversion Based on the current values of the brightness of the plurality of objects output from the means, the target values of the image densities of the plurality of objects determined in advance, and the plurality of exposure control output characteristics stored in the storage means Is it an image captured by the image sensor? Image density of the plurality of detected objects, and a control factor output means for outputting a plurality of types of control elements so as to coincide with the target value of image density, a configuration having to.


本発明は、複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することができる。   The present invention can provide an image processing apparatus capable of preventing an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images even when a plurality of objects exist simultaneously.

本発明に係る画像処理装置の露光制御の処理フローの一実施形態を示す図である。It is a figure which shows one Embodiment of the processing flow of exposure control of the image processing apparatus which concerns on this invention. 露光制御マップを用いた従来例の露光制御を説明するための図である。It is a figure for demonstrating the exposure control of the prior art example using an exposure control map. 本発明の露光制御マップを用いた露光制御を説明するための図である。It is a figure for demonstrating the exposure control using the exposure control map of this invention. 本発明の露光制御マップ番号に対する各露光因子の値を説明するための図である。It is a figure for demonstrating the value of each exposure factor with respect to the exposure control map number of this invention. 本発明に係る画像処理装置を適用した車両全体の概略を示す図である。It is a figure showing the outline of the whole vehicle to which the image processing device concerning the present invention is applied. 本発明に係る画像処理装置の詳細構成を示す図である。It is a figure which shows the detailed structure of the image processing apparatus which concerns on this invention. 本発明に係る画像処理装置のカメラの詳細構成を示す図である。It is a figure which shows the detailed structure of the camera of the image processing apparatus which concerns on this invention. 本発明の露光時間・ゲインの変更を説明するための図である。It is a figure for demonstrating the change of the exposure time and gain of this invention. 本発明のHDR画像生成におけるニー補正を説明するための図である。It is a figure for demonstrating knee correction in the HDR image generation of this invention. 本発明のガンマ補正を説明するための図である。It is a figure for demonstrating the gamma correction of this invention.

以下、本発明が適用された実施例について、図面を用いて説明する。   Embodiments to which the present invention is applied will be described below with reference to the drawings.

まず、本発明の画像処理装置の露光制御手段について説明する。尚、検知対象の画像濃度を取得する手段については背景技術で述べているため、省略する。   First, the exposure control means of the image processing apparatus of the present invention will be described. The means for acquiring the image density to be detected has been described in the background art, and will be omitted.

図1に本発明の処理フローを示す。露光制御マップとは、露光時間,ゲイン,ニーポイント,ガンマ係数等の制御因子の設定に対する輝度と画像濃度の変換関係が示された露光制御出力特性である。ニーポイント,ガンマ係数の設定についての詳細は後述する。これら制御因子における複数種類の値の組み合わせに対応付けて、対象の輝度に対する画像濃度の露光制御出力特性であり、その逆特性でもある露光制御マップを記憶手段に予め複数種類記憶しておくことで、図1のように現在マップ選択1から画像濃度−輝度変換2の操作と、輝度−画像濃度変換3から最適マップ選択4の操作の、2種類の操作に対応している。   FIG. 1 shows a processing flow of the present invention. The exposure control map is an exposure control output characteristic indicating a conversion relationship between luminance and image density with respect to setting of control factors such as exposure time, gain, knee point, and gamma coefficient. Details of the knee point and gamma coefficient settings will be described later. By storing in advance a plurality of types of exposure control maps that are exposure control output characteristics of the image density with respect to the target luminance and the inverse characteristics thereof in association with combinations of a plurality of types of values in these control factors. As shown in FIG. 1, there are two types of operations: current map selection 1 to image density-luminance conversion 2 operation and luminance-image density conversion 3 to optimum map selection 4 operation.

本発明の特徴は、予め定めた各制御因子の現在値と、車載撮像素子であるカメラで撮像された画像から検出された複数の対象物の画像濃度の現在値と、記憶手段で記憶された複数の露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、その画像濃度輝度変換手段から出力された複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、露光制御出力特性と、に基づいて、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような前記複数種類の制御因子を出力する制御因子出力手段と、を有することである。さらに、その制御因子を更新する制御因子更新手段を有することである。   The features of the present invention are stored in a storage means, current values of predetermined control factors, current values of image densities of a plurality of objects detected from images captured by a camera that is an in-vehicle image sensor, and Based on a plurality of exposure control output characteristics, image density luminance conversion means for outputting current values of the luminance values of the plurality of objects, and current values of luminance values of the plurality of objects outputted from the image density luminance conversion means And the image density of the plurality of objects detected from the image picked up by the vehicle-mounted image sensor based on the predetermined target value of the image density of the plurality of objects and the exposure control output characteristic, Control factor output means for outputting the plurality of types of control factors that coincide with the target value. Furthermore, it has control factor update means for updating the control factor.

露光制御マップ番号は各制御因子の値を一元化して管理するための指数であるため、その値の数は各制御因子の値の組み合わせ数だけ存在する。   Since the exposure control map number is an index for unifying and managing the values of the control factors, there are as many combinations of the values of the control factors.

図4に露光制御マップ番号に対する各露光因子の値を示す。   FIG. 4 shows the value of each exposure factor for the exposure control map number.

本実施例では、後述の3つの画像信号を合成して1つのHDR画像信号を生成する手段を用いて、露光時間とゲインは合わせて16段階、ガンマ補正は13段階、ニー補正は全部で20段階の変更が可能である。ゆえに、イメージセンサに露光制御信号として送信される、3つの画像の露光時間・ゲインの種類は、163=4096通り存在し、DSPに画像補正信号として送信される、ニーポイント,ガンマ係数の種類は、13×20=260通り存在する。よって、用意すべき露光制御マップ番号の最大値は複数種類の制御因子の値を全て組み合わせた場合の総数163×20×13=1064960となる。露光制御マップ番号に対する各制御因子の値の順番については、図4のように露光制御マップ番号が大きくなるほど、被写体の輝度に対して出力画像の画像濃度が大きくなるように各制御因子の値を昇順に並べる。   In this embodiment, using means for synthesizing three image signals to be described later to generate one HDR image signal, exposure time and gain are combined in 16 steps, gamma correction is performed in 13 steps, and knee correction is performed in total of 20 steps. The stage can be changed. Therefore, there are 163 = 4096 kinds of exposure time / gain types of three images transmitted as exposure control signals to the image sensor, and types of knee points and gamma coefficients transmitted as image correction signals to the DSP. There are 13 × 20 = 260 ways. Therefore, the maximum value of the exposure control map number to be prepared is the total number 163 × 20 × 13 = 1064960 when all the values of a plurality of types of control factors are combined. Regarding the order of the values of the respective control factors with respect to the exposure control map number, the values of the respective control factors are set so that the image density of the output image increases with respect to the luminance of the subject as the exposure control map number increases as shown in FIG. Arrange in ascending order.

これにより線形だけでなく、より複雑な非線形な露光制御マップを設定することができる。露光制御マップの詳細な設定方法は後述する。   This makes it possible to set not only a linear but also a more complicated non-linear exposure control map. A detailed method for setting the exposure control map will be described later.

図3に、図1の現在マップ選択1から画像濃度−輝度変換2の操作と、輝度−画像濃度変換3から最適マップ選択4の操作の詳細を示す。なお、現在マップとは、現在の露光制御マップのことであり、最適マップとは、最適な露光制御マップのことである。   FIG. 3 shows details of the operation from the current map selection 1 to the image density-luminance conversion 2 and the operation from the luminance-image density conversion 3 to the optimum map selection 4 in FIG. Note that the current map is the current exposure control map, and the optimal map is the optimal exposure control map.

図3(a)現在マップ選択1から画像濃度−輝度変換2の操作は、現在の画像から複数対象の輝度Xを導出することを目的としている。現在の時刻tで取得した画像に設定されている各制御因子の値は、現在の露光制御マップ番号ntに対応している。現在の露光制御マップ番号ntから現在マップ選択1で現在マップを選択し、複数種類の対象検知手段によって検出した現在の複数対象の画像濃度{yt,1,yt,2,yt,3,yt,4}を現在マップに入力することで、現在の各対象の輝度{xt,1,xt,2,xt,3,yt,4}を導出する。
現在の対象の輝度と、画像濃度の変換関係を式(1)に示す。
The operation of the image density / luminance conversion 2 from the current map selection 1 in FIG. 3 (a) aims at deriving the luminance X of a plurality of objects from the current image. The value of the control factor are set to the image obtained at the current time t corresponds to the current exposure control map number n t. The current map is selected from the current exposure control map number n t by the current map selection 1 and the current image density {y t, 1 , yt , 2 , yt , 3 , y t, 4 } is input to the current map to derive the current brightness {x t, 1 , x t, 2 , x t, 3 , yt , 4 } for each current object.
Expression (1) shows the conversion relationship between the current luminance of the object and the image density.

Figure 0005427744
Figure 0005427744

例えば、現在の時刻tで取得した画像を用いてレーンマーク検知と、ヘッドライト・テールライト検知が正しく行われていたとする。このとき、レーンマーク検知の結果から路面領域と、白線,黄線,ボッツドッツ等のレーンマーク領域とを求め、ヘッドライト・テールライト検知の結果から、ヘッドライト、またはテールライトと判定された領域を求め、それらの画像濃度{路面:yt,1,レーンマーク:yt,2,テールライト:yt,3,ヘッドライト:yt,4}を求める。このとき画像濃度の計算方法としては、対象領域の画素値の平均値を求めてもかまわないし、対象領域の画素値のヒストグラムから対象の画像濃度を求めてもかまわない。その他、対象検知手段の過程で求められた情報を利用してもよい。 For example, it is assumed that lane mark detection and headlight / taillight detection are correctly performed using an image acquired at the current time t. At this time, the road surface area and the lane mark area such as white line, yellow line, and botsdots are obtained from the result of the lane mark detection, and the area determined as the headlight or the taillight from the result of the headlight / taillight detection is determined. The image density {road surface: yt , 1 , lane mark: yt , 2 , tail light: yt , 3 , headlight: yt , 4 } is obtained. At this time, as an image density calculation method, an average value of pixel values in the target region may be obtained, or a target image density may be obtained from a histogram of pixel values in the target region. In addition, you may use the information calculated | required in the process of the object detection means.

その後、図3(a)のように露光制御マップ(式(1))より各対象の輝度{路面:xt,1,レーンマーク:xt,2,テールライト:xt,3,ヘッドライト:xt,4}が求められる。 After that, as shown in FIG. 3A, the brightness of each object {road surface: x t, 1 , lane mark: x t, 2 , tail light: x t, 3 , headlight from the exposure control map (formula (1)) : X t, 4 } is obtained.

また、図3(b)輝度−画像濃度変換〜最適マップ選択の操作は、図3(a)で求めた現在の複数対象の輝度から、次回の露光で複数対象の画像濃度を制御目標程度に納めるのに最適な露光制御マップを導出することを目的としている。最適マップの選択の方法は様々考えられるが、総当り法として次式(2)で最小となる露光制御マップ番号nを求める方法が最も単純である。   Also, the operation of FIG. 3 (b) luminance-image density conversion to optimum map selection is performed by setting the image density of a plurality of objects to the control target level at the next exposure from the current brightness of the plurality of objects obtained in FIG. 3 (a). The purpose is to derive an optimal exposure control map to be stored. There are various methods for selecting the optimum map, but the simplest method is to obtain the exposure control map number n that becomes the minimum in the following equation (2) as a round-robin method.

Figure 0005427744
Figure 0005427744

例えば、先ほどのレーンマーク検知と、ヘッドライト・テールライト検知の例では、ある露光制御マップ番号nにおいて、各対象の輝度を式(1)で変換することで、推定される次回の各画像濃度{路面:ecm(n,xt,1),レーンマーク:ecm(n,xt,2),テールライト:ecm(n,xt,3),ヘッドライト:ecm(n,xt,4)}が求まるので、各々の制御目標である画像濃度{路面:yref,1,レーンマーク:yref,2,テールライト:yref,3,ヘッドライト:yref,4}に最も近いnを見つけ出す操作が必要となる。 For example, in the above-described examples of lane mark detection and headlight / taillight detection, the estimated next-time image density is obtained by converting the luminance of each target using equation (1) in a certain exposure control map number n. {Road surface: ecm (n, xt , 1 ), Lane mark: ecm (n, xt , 2 ), Taillight: ecm (n, xt , 3 ), Headlight: ecm (n, xt , 4) )}, The image density {road surface: y ref, 1 , lane mark: y ref, 2 , tail light: y ref, 3 , headlight: y ref, 4 } that is the respective control target n An operation to find out is required.

最適マップ番号の次回値が求められたら、予め露光制御マップ番号に対応付けていた各制御因子の次回値を求める。すなわち、図4のテーブルから、露光制御信号としての3種類の露光時間・ゲイン,画像補正信号としてのニーポイント,ガンマ係数の次回値が決定する。上記2種類の信号を、イメージセンサ及び、DSP(Digital Signal Processer(デジタル信号処理装置))に直接送信することで一回の露光制御処理が終了する。   When the next value of the optimum map number is obtained, the next value of each control factor previously associated with the exposure control map number is obtained. That is, from the table of FIG. 4, three types of exposure time / gain as exposure control signals, knee points as image correction signals, and next values of gamma coefficients are determined. One exposure control process is completed by directly transmitting the above two types of signals to the image sensor and DSP (Digital Signal Processor).

これにより一枚の画像でも非線形の露光制御マップを設定することにより、各々の対象に対して最適な露光特性を得ることができる。   Thus, by setting a non-linear exposure control map even for a single image, it is possible to obtain optimum exposure characteristics for each target.

次に、本発明の画像処理装置を適用した車両全体構成について説明する。図5は、本発明の画像処理システムである自動車の実施例全体の構成図である。   Next, the overall configuration of the vehicle to which the image processing apparatus of the present invention is applied will be described. FIG. 5 is a configuration diagram of an entire embodiment of an automobile which is an image processing system of the present invention.

画像処理装置101は、車両の進行方向を撮影する撮像素子であるカメラ102、及び、撮像した画像の解析処理を行う画像解析部103から構成される。   The image processing apparatus 101 includes a camera 102 that is an imaging element that captures the traveling direction of a vehicle, and an image analysis unit 103 that performs analysis processing on the captured image.

撮像素子であるカメラ102は車両の進行方向の路面や車両などの対象物を捕らえられるようにルームミラー付近に設置される。画像解析部103はカメラと一体として設置してもかまわないし、別な場所に単独で設置してもかまわない。   A camera 102 that is an image sensor is installed in the vicinity of a rearview mirror so as to catch a road surface in the traveling direction of the vehicle or an object such as a vehicle. The image analysis unit 103 may be installed integrally with the camera, or may be installed alone in another place.

カメラ102で撮像された画像は画像解析部103に入力され、画像解析部103は画像の解析処理を行い、解析処理結果は車両用LAN105を介して警報装置104や、ヘッドライト制御装置106,ブレーキ制御装置108に出力される。   The image captured by the camera 102 is input to the image analysis unit 103, which performs image analysis processing, and the analysis processing result is sent to the alarm device 104, the headlight control device 106, the brake via the vehicle LAN 105. It is output to the control device 108.

警報装置104にはスピーカが内蔵され、画像処理装置101がレーンマーク検知等で出力する警報信号を音声として出力する。警報装置104は単に音を発生するだけ(ON/OFF操作)であれば、車両用LANを介せずに画像処理装置101に直接接続してもよい。   The alarm device 104 has a built-in speaker, and outputs an alarm signal output by the image processing apparatus 101 as a lane mark detection as a sound. The alarm device 104 may be directly connected to the image processing device 101 without going through the vehicle LAN as long as it only generates sound (ON / OFF operation).

ヘッドライト制御装置106は画像処理装置101が出力する対向車ヘッドライト及び先行車テールライトの位置情報からヘッドライト107のハイビームおよびロービームに負荷する電圧を算出し、ヘッドライト107に算出された電圧を供給する。   The headlight control device 106 calculates the voltage to be applied to the high beam and the low beam of the headlight 107 from the position information of the oncoming vehicle headlight and the preceding vehicle taillight output from the image processing device 101, and calculates the calculated voltage to the headlight 107. Supply.

これにより、ヘッドライト制御装置106は前方の車両までの距離からヘッドライト107の照射距離を制御する。ヘッドライト照射距離の制御に関しては、ヘッドライト107のフィラメント、あるいはリフレクタ部分を稼動する構造にしておき、ヘッドライト制御装置106から光軸の角度制御信号をヘッドライト107に送信することでヘッドライト107の光軸を変化させることで制御してもかまわない。   Thus, the headlight control device 106 controls the irradiation distance of the headlight 107 from the distance to the vehicle ahead. Regarding the control of the headlight irradiation distance, the headlight 107 is configured to operate the filament or reflector portion of the headlight 107, and an optical axis angle control signal is transmitted from the headlight control device 106 to the headlight 107. It may be controlled by changing the optical axis.

ブレーキ制御装置108は画像処理装置101が出力するレーンマークの有無や位置情報,先行車及び対向車の有無や位置情報を受け取り、左右前後のブレーキ109の制御を行う。   The brake control device 108 receives the presence / absence and position information of the lane mark output from the image processing device 101, the presence / absence and position information of the preceding vehicle and the oncoming vehicle, and controls the left and right and front and rear brakes 109.

図6は、撮像素子であるカメラ102と画像解析部103の内部構成を示した図である。   FIG. 6 is a diagram illustrating an internal configuration of the camera 102 and the image analysis unit 103 which are imaging elements.

イメージセンサ201は光学像を電気信号に変換する光電変換を行い、画像配列の各画素において発生した信号電荷を順次読み出し、画像信号として信号処理手段であるDSP202に転送する。   The image sensor 201 performs photoelectric conversion for converting an optical image into an electrical signal, sequentially reads out signal charges generated in each pixel of the image array, and transfers the signal charges to the DSP 202 as signal processing means.

DSP202では傷欠陥補正やHDR画像生成,ガンマ補正,カラーマトリクス変換等の各種信号処理が行われる。イメージセンサ201とDSP202の処理の詳細は後ほど記述する。   The DSP 202 performs various signal processing such as flaw defect correction, HDR image generation, gamma correction, and color matrix conversion. Details of processing of the image sensor 201 and the DSP 202 will be described later.

DSP202の処理結果はRGBまたはYUVのデジタル画像信号として出力され、画像解析部103の画像入力I/F203に転送される。画像信号は連続的に送信されるが、垂直/水平同期信号も合わせて送信されるため、画像入力I/F203はフレームやラインの区切りを判別することができ、画素間の位置関係を損なわずに画像を取り込むことができる。   The processing result of the DSP 202 is output as an RGB or YUV digital image signal and transferred to the image input I / F 203 of the image analysis unit 103. Although the image signal is transmitted continuously, the vertical / horizontal synchronization signal is also transmitted. Therefore, the image input I / F 203 can determine a frame or line break, and does not impair the positional relationship between pixels. You can capture images.

画像入力I/F203で取り込まれた画像はメモリ204に書き込まれ、画像処理ユニット205によって処理や解析が行われる。一連の処理はFROMに書き込まれたプログラム206に従い実行される。   The image captured by the image input I / F 203 is written in the memory 204 and processed or analyzed by the image processing unit 205. A series of processing is executed according to the program 206 written in the FROM.

ここで、一連の処理とは、画像入力I/F203での画像取り込みの制御や、画像処理ユニット205での画像処理の制御、外部入出力I/F208での対象検知で利用する車両情報の取り込みの制御や、対象検知の結果出力の制御、更に、CPU207が行う、イメージセンサの露光条件を適切に設定するための露光制御信号の転送の制御や、DSP202での信号の補正を適切に設定するための画像補正信号の転送の制御、及びそのために必要となる各種計算処理である。本実施例において露光制御を行うための計算処理も、全てCPU207で実行される。   Here, a series of processes means image capturing control at the image input I / F 203, image processing control at the image processing unit 205, and capturing of vehicle information used for target detection at the external input / output I / F 208. , Control of the output of the result of object detection, and further control of transfer of an exposure control signal for appropriately setting the exposure condition of the image sensor performed by the CPU 207 and correction of the signal in the DSP 202. Control of the image correction signal for this purpose, and various calculation processes required for this. The calculation processing for performing exposure control in this embodiment is all executed by the CPU 207.

次に露光制御マップの設定方法を説明する。   Next, an exposure control map setting method will be described.

図7は撮像素子であるカメラ102の詳細図で、イメージセンサ201とDSP202の内部構成を示している。   FIG. 7 is a detailed view of the camera 102 as an image sensor, and shows the internal configuration of the image sensor 201 and the DSP 202.

イメージセンサ201は、露光制御を行うための制御レジスタ309を内蔵している。
露光制御とは、センサ入力である被写体の輝度(明るさ)の変化に対して、画像における対象物検知の検知性能を向上、安定化するために、露光量をコントロールする制御因子となり得る露光時間やゲインを適切にコントロールすることと考えられる。
The image sensor 201 incorporates a control register 309 for performing exposure control.
Exposure control is an exposure time that can be a control factor for controlling the exposure amount in order to improve and stabilize the detection performance of object detection in the image against changes in the brightness (brightness) of the subject that is the sensor input. And controlling the gain appropriately.

但し、本実施例においては最終的な出力信号である画像信号における対象領域の画像濃度を一定に保つようにコントロールすることを目標としており、露光制御というよりDSP202における画像補正に分類される、HDR画像生成時のニー補正やガンマ補正等で用いられる変数も露光時間やゲインと同じく制御因子として扱う。   However, in this embodiment, the target is to keep the image density of the target area in the image signal that is the final output signal constant, and the HDR is classified as image correction in the DSP 202 rather than exposure control. Variables used for knee correction and gamma correction at the time of image generation are treated as control factors as well as exposure time and gain.

制御レジスタ309に設定された露光時間は駆動制御部301に転送され、駆動制御部301が生成する駆動タイミングに従い、画像配列302が信号電荷の読み出しやリセット動作を行うことで、画素配列302は設定された露光時間で撮像することができる。同じく、設定されたゲインはAMP303に転送され、前記露光時間分蓄積された信号電荷を設定された値に応じて増幅することで反映させられる。露光時間とゲインは共に画像信号の出力レベルの増幅率に関係するため、図8のように出力特性の傾きのみが変化する。   The exposure time set in the control register 309 is transferred to the drive control unit 301, and the pixel array 302 is set by the image array 302 performing signal charge reading and reset operations according to the drive timing generated by the drive control unit 301. Images can be taken with the exposure time set. Similarly, the set gain is transferred to the AMP 303 and reflected by amplifying the signal charge accumulated for the exposure time according to a set value. Since both the exposure time and the gain are related to the amplification factor of the output level of the image signal, only the slope of the output characteristic changes as shown in FIG.

本実施例では露光時間・ゲインを一緒に組み合わせて扱うこととし、両者を合わせて16段階の変更が可能とする。AMP303で増幅された信号電荷は、ADC304でデジタル画像信号(デジタルRAWデータ)に変換されて、DSP202に送信される。   In this embodiment, the exposure time and gain are handled together in combination, and both can be changed in 16 steps. The signal charge amplified by the AMP 303 is converted into a digital image signal (digital RAW data) by the ADC 304 and transmitted to the DSP 202.

このとき、露光時間,ゲインの設定の異なる3種類の画像信号が1フレーム期間にDSP202へ送信される。複数の画像信号を1フレーム期間に送信するためには、1フレーム期間を時分割して複数の異なる露光時間で信号電荷の読み出しとリセットを行う方式や、1画素を複数に分割して各画素が異なる露光時間で信号電荷を出力する方式,時分割の際に、リセットをせずに、1フレーム期間の異なるタイミングで複数回信号電荷を読み出す方式などがあり、読み出された信号電荷に順次異なるゲインをかけることで露光時間,ゲインの設定の異なる複数の画像信号を取得することができる。上記の方式は、基本的にどれを用いてもかまわない。   At this time, three types of image signals having different exposure time and gain settings are transmitted to the DSP 202 in one frame period. In order to transmit a plurality of image signals in one frame period, a method in which one frame period is time-divided and signal charges are read and reset at a plurality of different exposure times, or one pixel is divided into a plurality of pixels. There is a method of outputting signal charges at different exposure times, a method of reading signal charges multiple times at different timings in one frame period without resetting in time division, and sequentially reading out the signal charges By applying different gains, a plurality of image signals having different exposure times and gain settings can be acquired. Any of the above methods may be used basically.

データを送信されたデータは前処理部305で傷欠陥等の補正処理を行ってからHDR画像生成部306に送られ、3種類のデジタル画像信号がニーポイントに基づき1つに合成される。ニーポイントとは図9(a)のように生成元の画像が切り替わる信号出力レベルである。図9(b)のようにニーポイントを調整することで、3種類の露光条件の画像信号が同じ組み合わせであっても、異なった出力特性を持った画像信号を生成することができる。2つのニーポイントのレベル設定パターンは合わせて20通り用意した。   The transmitted data is subjected to a correction process such as a scratch defect in the pre-processing unit 305 and then sent to the HDR image generation unit 306, where three types of digital image signals are combined into one based on the knee point. The knee point is a signal output level at which the generation source image is switched as shown in FIG. By adjusting the knee point as shown in FIG. 9B, it is possible to generate image signals having different output characteristics even when the image signals of the three types of exposure conditions are the same combination. A total of 20 level setting patterns for two knee points were prepared.

また、3種類の露光条件を変更することで図9(c)のように、ニースロープを変更することもできる。これらHDR画像の生成過程での調整をニー補正と呼ぶ。本実施例では、光入力に対する信号出力の特性(光電変換特性)が線形で、信号出力の階調が12bit、光入力のダイナミックレンジは72dB相当の3つのデジタルRAWデータから、光入力のダイナミックレンジが18bit(108dB)相当の画像を生成している。   Further, the knee slope can be changed as shown in FIG. 9C by changing the three types of exposure conditions. Adjustment in the process of generating the HDR image is called knee correction. In this embodiment, the signal output characteristic (photoelectric conversion characteristic) with respect to the optical input is linear, the gradation of the signal output is 12 bits, and the dynamic range of the optical input is from the three digital RAW data corresponding to 72 dB. Produces an image equivalent to 18 bits (108 dB).

生成された画像信号はガンマ補正部307に送られ、図10のようにガンマ係数に応じて信号レベルの補正が行われる。ガンマ補正はルックアップテーブルを用いて設定してもかまわない。この場合には、更に細かく設定することが可能であるが、本実施例においてはガンマ係数を用いて変更を行い、γ:0.25〜4.0の13段階の変更を可能とした。   The generated image signal is sent to the gamma correction unit 307, and the signal level is corrected according to the gamma coefficient as shown in FIG. The gamma correction may be set using a lookup table. In this case, it is possible to set more finely, but in this embodiment, the change was made using the gamma coefficient, and 13 steps of change of γ: 0.25 to 4.0 were made possible.

補正された画像信号は色変換部308に送られ、デジタルRAWデータからデジタルYUVデータまたはデジタルRGBデータに変換され、画像解析部103へ送信される。   The corrected image signal is sent to the color conversion unit 308, converted from digital RAW data to digital YUV data or digital RGB data, and transmitted to the image analysis unit 103.

DSP202は、画像信号に対して種々の補正を行うための制御レジスタ310を内蔵しており、HDR画像生成部におけるニーポイントのレベル,ガンマ補正部におけるガンマ係数を設定することができる。   The DSP 202 includes a control register 310 for performing various corrections on the image signal, and can set a knee point level in the HDR image generation unit and a gamma coefficient in the gamma correction unit.

露光制御信号や画像補正信号はCPU207から書き換え可能であり、書き換えられた露光時間は次フレームの露光に反映され、その次のフレームが転送期間に当てられるため、書き換えられた露光時間が反映された画像をCPU207が再び利用できるのは、画像信号のメモリ転送が終了した後となり、前回露光時間を書き換えてから3フレーム後である。   The exposure control signal and the image correction signal can be rewritten from the CPU 207, and the rewritten exposure time is reflected in the exposure of the next frame, and the next frame is applied to the transfer period. Therefore, the rewritten exposure time is reflected. The image can be used again by the CPU 207 after the memory transfer of the image signal is completed, and three frames after the previous exposure time is rewritten.

露光時間の設定に合わせてゲインの設定や各種画像補正の設定も更新するため、3フレーム毎に、次回設定する露光時間,ゲイン,ニーポイント,ガンマ係数を計算し、書き換えを行うこととなる。   Since the gain setting and various image correction settings are also updated in accordance with the exposure time setting, the exposure time, gain, knee point, and gamma coefficient to be set next time are calculated and rewritten every three frames.

すなわち、露光制御周期は3フレーム期間となる。30fpsのイメージセンサの場合は、1フレーム33.3ms間隔で画像が転送されるため、露光制御周期は100msとなる。   That is, the exposure control cycle is a three frame period. In the case of an image sensor of 30 fps, since an image is transferred at an interval of 33.3 ms per frame, the exposure control period is 100 ms.

これらの制御因子を適当な値に変化させることで、カメラで撮像される対象の輝度に対する画像濃度の出力特性を非線形に変化させることが可能である。   By changing these control factors to appropriate values, it is possible to non-linearly change the output characteristics of the image density with respect to the luminance of the object imaged by the camera.

尚、本実施例では、複数の露光条件(露光時間,ゲインの設定)の異なる画像信号からDSPでHDR画像を合成する方法を用いているが、HDR画像生成手段としては、これに限定されるものではなく、基本特性を改善して飽和レベルの拡大やノイズレベルの低減を図る方法や、光電変換を行うフォトダイオードそのものに対数特性を持たせる方法など様々存在する。   In this embodiment, a method of synthesizing an HDR image using a DSP from a plurality of image signals having different exposure conditions (exposure time and gain settings) is used, but the HDR image generation means is limited to this. Instead, there are various methods such as a method for improving the basic characteristics to increase the saturation level and the noise level, and a method for providing a logarithmic characteristic to the photodiode that performs photoelectric conversion.

また、本実施例では、1フレーム(33ms)間に3枚の画像信号をDSPに転送するイメージセンサを用いてHDR画像生成を行っているが、例えば1フレームで1枚の画像信号を転送する一般的なイメージセンサを使用しても、3フレーム(100ms)間の3枚の画像信号から1枚のHDR画像を生成することが可能であり、露光制御タイミングも3フレーム(100ms)周期であることから、破綻することなく、実現することが可能である。   In this embodiment, HDR image generation is performed using an image sensor that transfers three image signals to the DSP in one frame (33 ms). For example, one image signal is transferred in one frame. Even if a general image sensor is used, one HDR image can be generated from three image signals in three frames (100 ms), and the exposure control timing is also a cycle of three frames (100 ms). Therefore, it can be realized without failure.

また、DSP202がカメラ側ではなく画像解析部103に内蔵されていてもかまわないし、DSP202が存在せず、画像処理ユニット205がDSP202の処理を補ってもかまわない。   The DSP 202 may be built in the image analysis unit 103 instead of the camera side, or the DSP 202 may not exist and the image processing unit 205 may supplement the processing of the DSP 202.

以上のように、本発明の画像処理装置は輝度が大きく異なる複数対象があるシーンで大きな効果が期待できる。例えば、検知対象としてレーンマークと夜間の先行車のヘッドライト,テールライトを、画像処理によって検知しようとしたときに、背景技術を用いて露光制御を行う場合だと、レーンマークまたは路面を制御対象にすると、ヘッドライト,テールライトは車種や距離によって明るさが様々に異なることから、撮影画像上でも画像濃度が様々に変化し、安定した検知が困難である。このため、レーンマーク検知用カメラまたは画像と、ヘッドライト,テールライト検知用カメラまたは画像を別々に用意する必要が生じる。一方、本発明を用いて露光制御を行う場合には、一つのカメラかつ画像において、低輝度のレーンマークと路面の画像濃度を一定保ち、両者のコントラストを大きく維持しながら、高輝度で輝度変化の大きなヘッドライト,テールライトの画像濃度を一定に制御することができるため、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる。   As described above, the image processing apparatus of the present invention can be expected to have a great effect in a scene where there are a plurality of objects having greatly different luminances. For example, when detecting the lane mark and the headlights and taillights of the preceding vehicle at night by image processing as the detection target, when performing exposure control using background technology, the lane mark or road surface is controlled. In this case, since the brightness of the headlight and taillight varies depending on the vehicle type and distance, the image density changes variously on the captured image, and stable detection is difficult. For this reason, it is necessary to prepare a lane mark detection camera or image and a headlight / taillight detection camera or image separately. On the other hand, when exposure control is performed using the present invention, in one camera and image, the brightness change of the brightness with high brightness is maintained while keeping the image density of the low brightness lane mark and the road surface constant and maintaining a high contrast between the two. Since the image density of a large headlight and taillight can be controlled to be constant, it is possible to prevent an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images.

101 画像処理装置
102 カメラ
103 画像解析部
104 警報装置
105 車両用LAN
106 ヘッドライト制御装置
107 ヘッドライト
108 ブレーキ制御装置
109 ブレーキ
201 イメージセンサ
202 DSP
203 画像入力I/F
204 メモリ
205 画像処理ユニット
206 プログラム
207 CPU
208 外部入出力I/F
301 駆動制御部
302 画像配列
303 AMP
304 ADC
305 前処理部
306 HDR画像生成部
307 ガンマ補正部
308 色変換部
309 制御レジスタ(イメージセンサ側)
310 制御レジスタ(DSP側)
DESCRIPTION OF SYMBOLS 101 Image processing apparatus 102 Camera 103 Image analysis part 104 Alarm apparatus 105 LAN for vehicles
106 Headlight control device 107 Headlight 108 Brake control device 109 Brake 201 Image sensor 202 DSP
203 Image input I / F
204 Memory 205 Image processing unit 206 Program 207 CPU
208 External I / O I / F
301 Drive control unit 302 Image array 303 AMP
304 ADC
305 Pre-processing unit 306 HDR image generation unit 307 Gamma correction unit 308 Color conversion unit 309 Control register (image sensor side)
310 Control register (DSP side)

Claims (4)

車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された線形又は非線形の露光制御出力特性を、複数種類の制御因子に対応付けて、複数記憶された記憶手段と、
予め定めた各制御因子の現在値と、前記車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度の現在値と、前記記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、前記複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、
前記画像濃度輝度変換手段から出力された前記複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、前記記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、前記車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、前記画像濃度の目標値と一致するような前記複数種類の制御因子を出力する制御因子出力手段と、を有する画像処理装置。
The linear or non-linear exposure control output characteristics indicating the conversion relationship between the brightness of the object imaged by the vehicle-mounted image sensor and the image density detected from the imaged image are associated with a plurality of types of control factors, A plurality of stored storage means;
Current values of predetermined control factors, current values of image densities of a plurality of objects detected from images picked up by the in-vehicle image sensor, and a plurality of the exposure control output characteristics stored in the storage unit And image density luminance conversion means for outputting current values of the luminance of the plurality of objects based on
Current values of the brightness of the plurality of objects output from the image density / luminance conversion means, target values of image densities of the plurality of objects determined in advance, and the plurality of exposure control outputs stored in the storage means And outputting the plurality of types of control factors such that the image density of the plurality of objects detected from the image captured by the vehicle-mounted image sensor matches the target value of the image density based on the characteristics An image processing apparatus having factor output means.
請求項1記載の画像処理装置において、
前記制御因子出力手段で出力された前記複数種類の制御因子に現在の制御因子から更新する制御因子更新手段を有する画像処理装置。
The image processing apparatus according to claim 1.
An image processing apparatus comprising control factor update means for updating the plurality of types of control factors output by the control factor output means from current control factors.
請求項1又は請求項2に記載の画像処理装置において、
前記制御因子は、露光時間,ゲイン,ニーポイント,ガンマ係数の少なくとも1つである画像処理装置。
The image processing apparatus according to claim 1 or 2,
The image processing apparatus, wherein the control factor is at least one of an exposure time, a gain, a knee point, and a gamma coefficient.
請求項1乃至3のいずれか1項に記載の画像処理装置において、
前記露光制御出力特性は、車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された線形の出力特性を有する画像処理装置。
The image processing apparatus according to any one of claims 1 to 3,
The exposure control output characteristic is an image processing apparatus having a linear output characteristic in which a conversion relationship between the luminance of an object imaged by an in-vehicle image sensor and an image density detected from the imaged image is shown.
JP2010220249A 2010-09-30 2010-09-30 Image processing device Active JP5427744B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010220249A JP5427744B2 (en) 2010-09-30 2010-09-30 Image processing device
PCT/JP2011/068018 WO2012043063A1 (en) 2010-09-30 2011-08-08 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010220249A JP5427744B2 (en) 2010-09-30 2010-09-30 Image processing device

Publications (3)

Publication Number Publication Date
JP2012075059A JP2012075059A (en) 2012-04-12
JP2012075059A5 JP2012075059A5 (en) 2012-10-18
JP5427744B2 true JP5427744B2 (en) 2014-02-26

Family

ID=45892538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010220249A Active JP5427744B2 (en) 2010-09-30 2010-09-30 Image processing device

Country Status (2)

Country Link
JP (1) JP5427744B2 (en)
WO (1) WO2012043063A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390512B2 (en) * 2015-05-21 2018-09-19 株式会社デンソー In-vehicle camera device
CN108377345B (en) 2018-04-11 2020-04-03 浙江大华技术股份有限公司 Exposure parameter value determination method and device, multi-view camera and storage medium
CN115023938B (en) * 2020-02-03 2024-06-18 索尼半导体解决方案公司 Electronic device
EP4184912A4 (en) 2020-07-15 2023-12-20 Sony Group Corporation Information processing device, information processing method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205663A (en) * 1998-01-20 1999-07-30 Nissan Motor Co Ltd Exposure amount controller for image pickup device for vehicle
JP4389999B2 (en) * 2007-12-26 2009-12-24 株式会社デンソー Exposure control device and exposure control program

Also Published As

Publication number Publication date
WO2012043063A1 (en) 2012-04-05
JP2012075059A (en) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5832855B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP5370413B2 (en) Recognition target detection device
JP5743696B2 (en) Image processing apparatus, image processing method, and program
US10136080B2 (en) Image generating apparatus
JP4089911B2 (en) Image input device
JP5860663B2 (en) Stereo imaging device
JP6739066B2 (en) Imaging control apparatus, imaging control method, program, and recording medium recording the same
JP4400512B2 (en) In-vehicle camera control device
US11758283B2 (en) Image capture device and image adjusting method
JP5427744B2 (en) Image processing device
JP4619981B2 (en) Image recognition device
JP2006311031A (en) Imaging apparatus for moving body
JP6478138B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP7204480B2 (en) IMAGING DEVICE, IMAGING SYSTEM, MOVING OBJECT, AND IMAGING DEVICE CONTROL METHOD
KR101822344B1 (en) Motor vehicle camera device with histogram spreading
JP2008230464A (en) Automatic exposure device for on-vehicle camera
JP2019204988A (en) Image processing apparatus and image processing method
CN109788211B (en) Captured image display system, electronic mirror system, and captured image display method
JP4274316B2 (en) Imaging system
JP2005148309A (en) Exposure controller for white line detection camera
US20230326177A1 (en) Image processing apparatus
JP6314667B2 (en) Imaging apparatus, image correction program, and image processing apparatus
JP2006060504A (en) Exposure controller of camera for white line detection
US11012630B1 (en) Image processor and image processing method
JP2018160785A (en) Image generation device, image generation method, program and record medium recording the same

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5427744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250