JP5427744B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5427744B2 JP5427744B2 JP2010220249A JP2010220249A JP5427744B2 JP 5427744 B2 JP5427744 B2 JP 5427744B2 JP 2010220249 A JP2010220249 A JP 2010220249A JP 2010220249 A JP2010220249 A JP 2010220249A JP 5427744 B2 JP5427744 B2 JP 5427744B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- control
- exposure
- processing apparatus
- exposure control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 210000003127 knee Anatomy 0.000 claims description 16
- 235000019557 luminance Nutrition 0.000 description 22
- 238000001514 detection method Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 9
- 238000003702 image correction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007616 round robin method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/28—Circuitry to measure or to take account of the object contrast
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
撮像素子で撮影された画像を用いて対象物の検知を行う画像処理装置の露光制御手段に関する。 The present invention relates to an exposure control unit of an image processing apparatus that detects an object using an image captured by an image sensor.
車両に搭載されるカメラにおいては、時間や場所によって様々な輝度の対象を撮影できるように、光入力に対するダイナミックレンジの拡大が従来から課題とされてきている。 2. Description of the Related Art Conventionally, in a camera mounted on a vehicle, expansion of a dynamic range with respect to light input has been a problem so that an object with various luminances can be photographed depending on time and place.
しかし、太陽光から星明りの下まで問題なく視認できる程度の広いダイナミックレンジを持つことは、現実的に困難である。そこで、車載カメラの多くは、イメージセンサのダイナミックレンジが多少狭くても、絞りや露光時間やゲインなどの露光条件をイメージセンサの信号出力レベルに応じてコントロールする露光制御を行うことで、一部の輝度範囲において効率的に対象を撮影している。そのため、露光制御は車載カメラにおいては必須の機能であり、露光制御に関する様々な課題と解決手段が提供されている。特に、自動車が高速移動体であることから、トンネル等での一瞬の輝度変化に対応できるように、露光制御の高速化,最適化が課題となっており、解決手段として、下記が提供されている。 However, it is practically difficult to have a wide dynamic range that can be visually recognized from sunlight to under the stars. Therefore, many in-vehicle cameras perform exposure control that controls exposure conditions such as aperture, exposure time, and gain according to the signal output level of the image sensor, even if the dynamic range of the image sensor is somewhat narrow. The target is efficiently photographed in the luminance range. Therefore, exposure control is an indispensable function for in-vehicle cameras, and various problems and solutions for exposure control are provided. In particular, since automobiles are high-speed moving bodies, there is a problem in speeding up and optimizing exposure control so that it can cope with instantaneous brightness changes in tunnels, etc. The following are provided as solutions. Yes.
特許文献1では、撮影対象の輝度から撮影画像の信号出力レベルである画像濃度への変換マップとして複数種類の露光制御マップ(露光時間・ゲインの設定に対する輝度−画像濃度の変換関係を示した露光制御出力特性)を記憶しており、現在の画像濃度及び現在使用中の露光制御マップの番号に基づいて撮影対象の輝度を求め、その輝度が制御目標程度の画像濃度になるような露光制御マップを求めることで、露光制御の最適化を図っている。
In
図2の例を用いて処理の詳細を説明する。図2は露光制御マップを用いた従来例の露光制御を説明するための図であり、n=1〜16番目までの16個の露光制御マップを用意してある。 Details of the processing will be described with reference to the example of FIG. FIG. 2 is a diagram for explaining conventional exposure control using an exposure control map, and 16 exposure control maps of n = 1 to 16 are prepared.
まず図2(a)では、現在の時刻tにおいて現在使用しているnt(=7)番目の露光制御マップの読み出しを行い、対象の画像濃度の現在値ytをnt(=7)番目の露光制御マップで画像濃度−輝度変換して、対象の輝度の現在値xtを求める。次に図2(b)では、図2(a)で求めた輝度xtに対して、出力である画像濃度が制御目標値yrefとなるような、最も適当な露光制御マップの番号nt+1を求めるための最適マップの選択を行う。図2(b)では、10番目の露光制御マップが最も適しており、10が露光制御マップ番号の次回値nt+1となり、露光制御マップ番号に対応する露光時間・ゲインの設定を行う。 First, in FIG. 2A, the n t (= 7) -th exposure control map currently used at the current time t is read, and the current value y t of the target image density is set to n t (= 7). th image density at an exposure control map - to luminance conversion, obtains the current value x t of the target luminance. Next, in FIG. 2 (b), the most appropriate exposure control map number n t such that the output image density becomes the control target value y ref with respect to the luminance x t obtained in FIG. 2 (a). The optimum map for obtaining +1 is selected. In FIG. 2B, the 10th exposure control map is most suitable, and 10 is the next value n t + 1 of the exposure control map number, and the exposure time and gain corresponding to the exposure control map number are set.
また、特許文献2では、カメラ絞り量,シャッター速度での画像濃度と路面輝度の変換テーブルを予め準備しておき、現在使用中のカメラの絞り量,シャッター速度と画像濃度から求めた路面輝度に基づいてトンネル内走行中か否かを判定し、画像濃度とその目標との差からカメラの絞り量,シャッター速度を求める変換テーブルを予め設定しておき、このテーブルを用いてカメラの次の絞り量,シャッター速度を求めることで、露光制御の最適化を図っている。
In
しかしながら、特許文献1,2の露光制御手段は車両や路面などの単一の対象に対して制御目標の画像濃度になるように露光条件を設定しようとするものであるため、複数の種類の異なる検知対象(以下、複数対象とする)が同時に存在する場合には、一枚の画像において、いずれの対象においても制御目標となる露光条件に設定することができず、検知対象の数によって必要となる画像やカメラが増加してしまい、コストや処理時間が増大してしまう。
However, since the exposure control means of
本発明は、複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することが目的である。 An object of the present invention is to provide an image processing apparatus capable of preventing an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images even when a plurality of objects exist simultaneously.
上記の目的を達成するため本発明の画像処理装置では、車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された線形又は非線形の露光制御出力特性を、複数種類の制御因子に対応付けて、複数記憶された記憶手段と、予め定めた各制御因子の現在値と、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度の現在値と、記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、画像濃度輝度変換手段から出力された複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、記憶手段で記憶された複数の露光制御出力特性と、に基づいて、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような複数種類の制御因子を出力する制御因子出力手段と、を有する構成とする。
In order to achieve the above object, in the image processing apparatus of the present invention, linear or non-linear exposure showing the conversion relationship between the luminance of the object imaged by the vehicle-mounted image sensor and the image density detected from the imaged image. A plurality of storage means stored in association with a plurality of types of control factors, a current value of each control factor determined in advance, and a plurality of objects detected from an image captured by an in-vehicle image sensor Image density / luminance conversion means for outputting current values of brightness of a plurality of objects based on the current value of the image density and the plurality of exposure control output characteristics stored in the storage means, and image density / luminance conversion Based on the current values of the brightness of the plurality of objects output from the means, the target values of the image densities of the plurality of objects determined in advance, and the plurality of exposure control output characteristics stored in the storage means Is it an image captured by the image sensor? Image density of the plurality of detected objects, and a control factor output means for outputting a plurality of types of control elements so as to coincide with the target value of image density, a configuration having to.
本発明は、複数対象が同時に存在する場合においても、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる画像処理装置を提供することができる。 The present invention can provide an image processing apparatus capable of preventing an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images even when a plurality of objects exist simultaneously.
以下、本発明が適用された実施例について、図面を用いて説明する。 Embodiments to which the present invention is applied will be described below with reference to the drawings.
まず、本発明の画像処理装置の露光制御手段について説明する。尚、検知対象の画像濃度を取得する手段については背景技術で述べているため、省略する。 First, the exposure control means of the image processing apparatus of the present invention will be described. The means for acquiring the image density to be detected has been described in the background art, and will be omitted.
図1に本発明の処理フローを示す。露光制御マップとは、露光時間,ゲイン,ニーポイント,ガンマ係数等の制御因子の設定に対する輝度と画像濃度の変換関係が示された露光制御出力特性である。ニーポイント,ガンマ係数の設定についての詳細は後述する。これら制御因子における複数種類の値の組み合わせに対応付けて、対象の輝度に対する画像濃度の露光制御出力特性であり、その逆特性でもある露光制御マップを記憶手段に予め複数種類記憶しておくことで、図1のように現在マップ選択1から画像濃度−輝度変換2の操作と、輝度−画像濃度変換3から最適マップ選択4の操作の、2種類の操作に対応している。
FIG. 1 shows a processing flow of the present invention. The exposure control map is an exposure control output characteristic indicating a conversion relationship between luminance and image density with respect to setting of control factors such as exposure time, gain, knee point, and gamma coefficient. Details of the knee point and gamma coefficient settings will be described later. By storing in advance a plurality of types of exposure control maps that are exposure control output characteristics of the image density with respect to the target luminance and the inverse characteristics thereof in association with combinations of a plurality of types of values in these control factors. As shown in FIG. 1, there are two types of operations:
本発明の特徴は、予め定めた各制御因子の現在値と、車載撮像素子であるカメラで撮像された画像から検出された複数の対象物の画像濃度の現在値と、記憶手段で記憶された複数の露光制御出力特性と、に基づいて、複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、その画像濃度輝度変換手段から出力された複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、露光制御出力特性と、に基づいて、車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、画像濃度の目標値と一致するような前記複数種類の制御因子を出力する制御因子出力手段と、を有することである。さらに、その制御因子を更新する制御因子更新手段を有することである。 The features of the present invention are stored in a storage means, current values of predetermined control factors, current values of image densities of a plurality of objects detected from images captured by a camera that is an in-vehicle image sensor, and Based on a plurality of exposure control output characteristics, image density luminance conversion means for outputting current values of the luminance values of the plurality of objects, and current values of luminance values of the plurality of objects outputted from the image density luminance conversion means And the image density of the plurality of objects detected from the image picked up by the vehicle-mounted image sensor based on the predetermined target value of the image density of the plurality of objects and the exposure control output characteristic, Control factor output means for outputting the plurality of types of control factors that coincide with the target value. Furthermore, it has control factor update means for updating the control factor.
露光制御マップ番号は各制御因子の値を一元化して管理するための指数であるため、その値の数は各制御因子の値の組み合わせ数だけ存在する。 Since the exposure control map number is an index for unifying and managing the values of the control factors, there are as many combinations of the values of the control factors.
図4に露光制御マップ番号に対する各露光因子の値を示す。 FIG. 4 shows the value of each exposure factor for the exposure control map number.
本実施例では、後述の3つの画像信号を合成して1つのHDR画像信号を生成する手段を用いて、露光時間とゲインは合わせて16段階、ガンマ補正は13段階、ニー補正は全部で20段階の変更が可能である。ゆえに、イメージセンサに露光制御信号として送信される、3つの画像の露光時間・ゲインの種類は、163=4096通り存在し、DSPに画像補正信号として送信される、ニーポイント,ガンマ係数の種類は、13×20=260通り存在する。よって、用意すべき露光制御マップ番号の最大値は複数種類の制御因子の値を全て組み合わせた場合の総数163×20×13=1064960となる。露光制御マップ番号に対する各制御因子の値の順番については、図4のように露光制御マップ番号が大きくなるほど、被写体の輝度に対して出力画像の画像濃度が大きくなるように各制御因子の値を昇順に並べる。 In this embodiment, using means for synthesizing three image signals to be described later to generate one HDR image signal, exposure time and gain are combined in 16 steps, gamma correction is performed in 13 steps, and knee correction is performed in total of 20 steps. The stage can be changed. Therefore, there are 163 = 4096 kinds of exposure time / gain types of three images transmitted as exposure control signals to the image sensor, and types of knee points and gamma coefficients transmitted as image correction signals to the DSP. There are 13 × 20 = 260 ways. Therefore, the maximum value of the exposure control map number to be prepared is the total number 163 × 20 × 13 = 1064960 when all the values of a plurality of types of control factors are combined. Regarding the order of the values of the respective control factors with respect to the exposure control map number, the values of the respective control factors are set so that the image density of the output image increases with respect to the luminance of the subject as the exposure control map number increases as shown in FIG. Arrange in ascending order.
これにより線形だけでなく、より複雑な非線形な露光制御マップを設定することができる。露光制御マップの詳細な設定方法は後述する。 This makes it possible to set not only a linear but also a more complicated non-linear exposure control map. A detailed method for setting the exposure control map will be described later.
図3に、図1の現在マップ選択1から画像濃度−輝度変換2の操作と、輝度−画像濃度変換3から最適マップ選択4の操作の詳細を示す。なお、現在マップとは、現在の露光制御マップのことであり、最適マップとは、最適な露光制御マップのことである。
FIG. 3 shows details of the operation from the
図3(a)現在マップ選択1から画像濃度−輝度変換2の操作は、現在の画像から複数対象の輝度Xを導出することを目的としている。現在の時刻tで取得した画像に設定されている各制御因子の値は、現在の露光制御マップ番号ntに対応している。現在の露光制御マップ番号ntから現在マップ選択1で現在マップを選択し、複数種類の対象検知手段によって検出した現在の複数対象の画像濃度{yt,1,yt,2,yt,3,yt,4}を現在マップに入力することで、現在の各対象の輝度{xt,1,xt,2,xt,3,yt,4}を導出する。
現在の対象の輝度と、画像濃度の変換関係を式(1)に示す。
The operation of the image density /
Expression (1) shows the conversion relationship between the current luminance of the object and the image density.
例えば、現在の時刻tで取得した画像を用いてレーンマーク検知と、ヘッドライト・テールライト検知が正しく行われていたとする。このとき、レーンマーク検知の結果から路面領域と、白線,黄線,ボッツドッツ等のレーンマーク領域とを求め、ヘッドライト・テールライト検知の結果から、ヘッドライト、またはテールライトと判定された領域を求め、それらの画像濃度{路面:yt,1,レーンマーク:yt,2,テールライト:yt,3,ヘッドライト:yt,4}を求める。このとき画像濃度の計算方法としては、対象領域の画素値の平均値を求めてもかまわないし、対象領域の画素値のヒストグラムから対象の画像濃度を求めてもかまわない。その他、対象検知手段の過程で求められた情報を利用してもよい。 For example, it is assumed that lane mark detection and headlight / taillight detection are correctly performed using an image acquired at the current time t. At this time, the road surface area and the lane mark area such as white line, yellow line, and botsdots are obtained from the result of the lane mark detection, and the area determined as the headlight or the taillight from the result of the headlight / taillight detection is determined. The image density {road surface: yt , 1 , lane mark: yt , 2 , tail light: yt , 3 , headlight: yt , 4 } is obtained. At this time, as an image density calculation method, an average value of pixel values in the target region may be obtained, or a target image density may be obtained from a histogram of pixel values in the target region. In addition, you may use the information calculated | required in the process of the object detection means.
その後、図3(a)のように露光制御マップ(式(1))より各対象の輝度{路面:xt,1,レーンマーク:xt,2,テールライト:xt,3,ヘッドライト:xt,4}が求められる。 After that, as shown in FIG. 3A, the brightness of each object {road surface: x t, 1 , lane mark: x t, 2 , tail light: x t, 3 , headlight from the exposure control map (formula (1)) : X t, 4 } is obtained.
また、図3(b)輝度−画像濃度変換〜最適マップ選択の操作は、図3(a)で求めた現在の複数対象の輝度から、次回の露光で複数対象の画像濃度を制御目標程度に納めるのに最適な露光制御マップを導出することを目的としている。最適マップの選択の方法は様々考えられるが、総当り法として次式(2)で最小となる露光制御マップ番号nを求める方法が最も単純である。 Also, the operation of FIG. 3 (b) luminance-image density conversion to optimum map selection is performed by setting the image density of a plurality of objects to the control target level at the next exposure from the current brightness of the plurality of objects obtained in FIG. 3 (a). The purpose is to derive an optimal exposure control map to be stored. There are various methods for selecting the optimum map, but the simplest method is to obtain the exposure control map number n that becomes the minimum in the following equation (2) as a round-robin method.
例えば、先ほどのレーンマーク検知と、ヘッドライト・テールライト検知の例では、ある露光制御マップ番号nにおいて、各対象の輝度を式(1)で変換することで、推定される次回の各画像濃度{路面:ecm(n,xt,1),レーンマーク:ecm(n,xt,2),テールライト:ecm(n,xt,3),ヘッドライト:ecm(n,xt,4)}が求まるので、各々の制御目標である画像濃度{路面:yref,1,レーンマーク:yref,2,テールライト:yref,3,ヘッドライト:yref,4}に最も近いnを見つけ出す操作が必要となる。 For example, in the above-described examples of lane mark detection and headlight / taillight detection, the estimated next-time image density is obtained by converting the luminance of each target using equation (1) in a certain exposure control map number n. {Road surface: ecm (n, xt , 1 ), Lane mark: ecm (n, xt , 2 ), Taillight: ecm (n, xt , 3 ), Headlight: ecm (n, xt , 4) )}, The image density {road surface: y ref, 1 , lane mark: y ref, 2 , tail light: y ref, 3 , headlight: y ref, 4 } that is the respective control target n An operation to find out is required.
最適マップ番号の次回値が求められたら、予め露光制御マップ番号に対応付けていた各制御因子の次回値を求める。すなわち、図4のテーブルから、露光制御信号としての3種類の露光時間・ゲイン,画像補正信号としてのニーポイント,ガンマ係数の次回値が決定する。上記2種類の信号を、イメージセンサ及び、DSP(Digital Signal Processer(デジタル信号処理装置))に直接送信することで一回の露光制御処理が終了する。 When the next value of the optimum map number is obtained, the next value of each control factor previously associated with the exposure control map number is obtained. That is, from the table of FIG. 4, three types of exposure time / gain as exposure control signals, knee points as image correction signals, and next values of gamma coefficients are determined. One exposure control process is completed by directly transmitting the above two types of signals to the image sensor and DSP (Digital Signal Processor).
これにより一枚の画像でも非線形の露光制御マップを設定することにより、各々の対象に対して最適な露光特性を得ることができる。 Thus, by setting a non-linear exposure control map even for a single image, it is possible to obtain optimum exposure characteristics for each target.
次に、本発明の画像処理装置を適用した車両全体構成について説明する。図5は、本発明の画像処理システムである自動車の実施例全体の構成図である。 Next, the overall configuration of the vehicle to which the image processing apparatus of the present invention is applied will be described. FIG. 5 is a configuration diagram of an entire embodiment of an automobile which is an image processing system of the present invention.
画像処理装置101は、車両の進行方向を撮影する撮像素子であるカメラ102、及び、撮像した画像の解析処理を行う画像解析部103から構成される。
The
撮像素子であるカメラ102は車両の進行方向の路面や車両などの対象物を捕らえられるようにルームミラー付近に設置される。画像解析部103はカメラと一体として設置してもかまわないし、別な場所に単独で設置してもかまわない。
A
カメラ102で撮像された画像は画像解析部103に入力され、画像解析部103は画像の解析処理を行い、解析処理結果は車両用LAN105を介して警報装置104や、ヘッドライト制御装置106,ブレーキ制御装置108に出力される。
The image captured by the
警報装置104にはスピーカが内蔵され、画像処理装置101がレーンマーク検知等で出力する警報信号を音声として出力する。警報装置104は単に音を発生するだけ(ON/OFF操作)であれば、車両用LANを介せずに画像処理装置101に直接接続してもよい。
The
ヘッドライト制御装置106は画像処理装置101が出力する対向車ヘッドライト及び先行車テールライトの位置情報からヘッドライト107のハイビームおよびロービームに負荷する電圧を算出し、ヘッドライト107に算出された電圧を供給する。
The
これにより、ヘッドライト制御装置106は前方の車両までの距離からヘッドライト107の照射距離を制御する。ヘッドライト照射距離の制御に関しては、ヘッドライト107のフィラメント、あるいはリフレクタ部分を稼動する構造にしておき、ヘッドライト制御装置106から光軸の角度制御信号をヘッドライト107に送信することでヘッドライト107の光軸を変化させることで制御してもかまわない。
Thus, the
ブレーキ制御装置108は画像処理装置101が出力するレーンマークの有無や位置情報,先行車及び対向車の有無や位置情報を受け取り、左右前後のブレーキ109の制御を行う。
The
図6は、撮像素子であるカメラ102と画像解析部103の内部構成を示した図である。
FIG. 6 is a diagram illustrating an internal configuration of the
イメージセンサ201は光学像を電気信号に変換する光電変換を行い、画像配列の各画素において発生した信号電荷を順次読み出し、画像信号として信号処理手段であるDSP202に転送する。
The
DSP202では傷欠陥補正やHDR画像生成,ガンマ補正,カラーマトリクス変換等の各種信号処理が行われる。イメージセンサ201とDSP202の処理の詳細は後ほど記述する。
The
DSP202の処理結果はRGBまたはYUVのデジタル画像信号として出力され、画像解析部103の画像入力I/F203に転送される。画像信号は連続的に送信されるが、垂直/水平同期信号も合わせて送信されるため、画像入力I/F203はフレームやラインの区切りを判別することができ、画素間の位置関係を損なわずに画像を取り込むことができる。
The processing result of the
画像入力I/F203で取り込まれた画像はメモリ204に書き込まれ、画像処理ユニット205によって処理や解析が行われる。一連の処理はFROMに書き込まれたプログラム206に従い実行される。
The image captured by the image input I /
ここで、一連の処理とは、画像入力I/F203での画像取り込みの制御や、画像処理ユニット205での画像処理の制御、外部入出力I/F208での対象検知で利用する車両情報の取り込みの制御や、対象検知の結果出力の制御、更に、CPU207が行う、イメージセンサの露光条件を適切に設定するための露光制御信号の転送の制御や、DSP202での信号の補正を適切に設定するための画像補正信号の転送の制御、及びそのために必要となる各種計算処理である。本実施例において露光制御を行うための計算処理も、全てCPU207で実行される。
Here, a series of processes means image capturing control at the image input I /
次に露光制御マップの設定方法を説明する。 Next, an exposure control map setting method will be described.
図7は撮像素子であるカメラ102の詳細図で、イメージセンサ201とDSP202の内部構成を示している。
FIG. 7 is a detailed view of the
イメージセンサ201は、露光制御を行うための制御レジスタ309を内蔵している。
露光制御とは、センサ入力である被写体の輝度(明るさ)の変化に対して、画像における対象物検知の検知性能を向上、安定化するために、露光量をコントロールする制御因子となり得る露光時間やゲインを適切にコントロールすることと考えられる。
The
Exposure control is an exposure time that can be a control factor for controlling the exposure amount in order to improve and stabilize the detection performance of object detection in the image against changes in the brightness (brightness) of the subject that is the sensor input. And controlling the gain appropriately.
但し、本実施例においては最終的な出力信号である画像信号における対象領域の画像濃度を一定に保つようにコントロールすることを目標としており、露光制御というよりDSP202における画像補正に分類される、HDR画像生成時のニー補正やガンマ補正等で用いられる変数も露光時間やゲインと同じく制御因子として扱う。
However, in this embodiment, the target is to keep the image density of the target area in the image signal that is the final output signal constant, and the HDR is classified as image correction in the
制御レジスタ309に設定された露光時間は駆動制御部301に転送され、駆動制御部301が生成する駆動タイミングに従い、画像配列302が信号電荷の読み出しやリセット動作を行うことで、画素配列302は設定された露光時間で撮像することができる。同じく、設定されたゲインはAMP303に転送され、前記露光時間分蓄積された信号電荷を設定された値に応じて増幅することで反映させられる。露光時間とゲインは共に画像信号の出力レベルの増幅率に関係するため、図8のように出力特性の傾きのみが変化する。
The exposure time set in the
本実施例では露光時間・ゲインを一緒に組み合わせて扱うこととし、両者を合わせて16段階の変更が可能とする。AMP303で増幅された信号電荷は、ADC304でデジタル画像信号(デジタルRAWデータ)に変換されて、DSP202に送信される。
In this embodiment, the exposure time and gain are handled together in combination, and both can be changed in 16 steps. The signal charge amplified by the
このとき、露光時間,ゲインの設定の異なる3種類の画像信号が1フレーム期間にDSP202へ送信される。複数の画像信号を1フレーム期間に送信するためには、1フレーム期間を時分割して複数の異なる露光時間で信号電荷の読み出しとリセットを行う方式や、1画素を複数に分割して各画素が異なる露光時間で信号電荷を出力する方式,時分割の際に、リセットをせずに、1フレーム期間の異なるタイミングで複数回信号電荷を読み出す方式などがあり、読み出された信号電荷に順次異なるゲインをかけることで露光時間,ゲインの設定の異なる複数の画像信号を取得することができる。上記の方式は、基本的にどれを用いてもかまわない。
At this time, three types of image signals having different exposure time and gain settings are transmitted to the
データを送信されたデータは前処理部305で傷欠陥等の補正処理を行ってからHDR画像生成部306に送られ、3種類のデジタル画像信号がニーポイントに基づき1つに合成される。ニーポイントとは図9(a)のように生成元の画像が切り替わる信号出力レベルである。図9(b)のようにニーポイントを調整することで、3種類の露光条件の画像信号が同じ組み合わせであっても、異なった出力特性を持った画像信号を生成することができる。2つのニーポイントのレベル設定パターンは合わせて20通り用意した。
The transmitted data is subjected to a correction process such as a scratch defect in the
また、3種類の露光条件を変更することで図9(c)のように、ニースロープを変更することもできる。これらHDR画像の生成過程での調整をニー補正と呼ぶ。本実施例では、光入力に対する信号出力の特性(光電変換特性)が線形で、信号出力の階調が12bit、光入力のダイナミックレンジは72dB相当の3つのデジタルRAWデータから、光入力のダイナミックレンジが18bit(108dB)相当の画像を生成している。 Further, the knee slope can be changed as shown in FIG. 9C by changing the three types of exposure conditions. Adjustment in the process of generating the HDR image is called knee correction. In this embodiment, the signal output characteristic (photoelectric conversion characteristic) with respect to the optical input is linear, the gradation of the signal output is 12 bits, and the dynamic range of the optical input is from the three digital RAW data corresponding to 72 dB. Produces an image equivalent to 18 bits (108 dB).
生成された画像信号はガンマ補正部307に送られ、図10のようにガンマ係数に応じて信号レベルの補正が行われる。ガンマ補正はルックアップテーブルを用いて設定してもかまわない。この場合には、更に細かく設定することが可能であるが、本実施例においてはガンマ係数を用いて変更を行い、γ:0.25〜4.0の13段階の変更を可能とした。
The generated image signal is sent to the
補正された画像信号は色変換部308に送られ、デジタルRAWデータからデジタルYUVデータまたはデジタルRGBデータに変換され、画像解析部103へ送信される。
The corrected image signal is sent to the
DSP202は、画像信号に対して種々の補正を行うための制御レジスタ310を内蔵しており、HDR画像生成部におけるニーポイントのレベル,ガンマ補正部におけるガンマ係数を設定することができる。
The
露光制御信号や画像補正信号はCPU207から書き換え可能であり、書き換えられた露光時間は次フレームの露光に反映され、その次のフレームが転送期間に当てられるため、書き換えられた露光時間が反映された画像をCPU207が再び利用できるのは、画像信号のメモリ転送が終了した後となり、前回露光時間を書き換えてから3フレーム後である。
The exposure control signal and the image correction signal can be rewritten from the
露光時間の設定に合わせてゲインの設定や各種画像補正の設定も更新するため、3フレーム毎に、次回設定する露光時間,ゲイン,ニーポイント,ガンマ係数を計算し、書き換えを行うこととなる。 Since the gain setting and various image correction settings are also updated in accordance with the exposure time setting, the exposure time, gain, knee point, and gamma coefficient to be set next time are calculated and rewritten every three frames.
すなわち、露光制御周期は3フレーム期間となる。30fpsのイメージセンサの場合は、1フレーム33.3ms間隔で画像が転送されるため、露光制御周期は100msとなる。 That is, the exposure control cycle is a three frame period. In the case of an image sensor of 30 fps, since an image is transferred at an interval of 33.3 ms per frame, the exposure control period is 100 ms.
これらの制御因子を適当な値に変化させることで、カメラで撮像される対象の輝度に対する画像濃度の出力特性を非線形に変化させることが可能である。 By changing these control factors to appropriate values, it is possible to non-linearly change the output characteristics of the image density with respect to the luminance of the object imaged by the camera.
尚、本実施例では、複数の露光条件(露光時間,ゲインの設定)の異なる画像信号からDSPでHDR画像を合成する方法を用いているが、HDR画像生成手段としては、これに限定されるものではなく、基本特性を改善して飽和レベルの拡大やノイズレベルの低減を図る方法や、光電変換を行うフォトダイオードそのものに対数特性を持たせる方法など様々存在する。 In this embodiment, a method of synthesizing an HDR image using a DSP from a plurality of image signals having different exposure conditions (exposure time and gain settings) is used, but the HDR image generation means is limited to this. Instead, there are various methods such as a method for improving the basic characteristics to increase the saturation level and the noise level, and a method for providing a logarithmic characteristic to the photodiode that performs photoelectric conversion.
また、本実施例では、1フレーム(33ms)間に3枚の画像信号をDSPに転送するイメージセンサを用いてHDR画像生成を行っているが、例えば1フレームで1枚の画像信号を転送する一般的なイメージセンサを使用しても、3フレーム(100ms)間の3枚の画像信号から1枚のHDR画像を生成することが可能であり、露光制御タイミングも3フレーム(100ms)周期であることから、破綻することなく、実現することが可能である。 In this embodiment, HDR image generation is performed using an image sensor that transfers three image signals to the DSP in one frame (33 ms). For example, one image signal is transferred in one frame. Even if a general image sensor is used, one HDR image can be generated from three image signals in three frames (100 ms), and the exposure control timing is also a cycle of three frames (100 ms). Therefore, it can be realized without failure.
また、DSP202がカメラ側ではなく画像解析部103に内蔵されていてもかまわないし、DSP202が存在せず、画像処理ユニット205がDSP202の処理を補ってもかまわない。
The
以上のように、本発明の画像処理装置は輝度が大きく異なる複数対象があるシーンで大きな効果が期待できる。例えば、検知対象としてレーンマークと夜間の先行車のヘッドライト,テールライトを、画像処理によって検知しようとしたときに、背景技術を用いて露光制御を行う場合だと、レーンマークまたは路面を制御対象にすると、ヘッドライト,テールライトは車種や距離によって明るさが様々に異なることから、撮影画像上でも画像濃度が様々に変化し、安定した検知が困難である。このため、レーンマーク検知用カメラまたは画像と、ヘッドライト,テールライト検知用カメラまたは画像を別々に用意する必要が生じる。一方、本発明を用いて露光制御を行う場合には、一つのカメラかつ画像において、低輝度のレーンマークと路面の画像濃度を一定保ち、両者のコントラストを大きく維持しながら、高輝度で輝度変化の大きなヘッドライト,テールライトの画像濃度を一定に制御することができるため、カメラ増加によるコスト増大防止や画像数増加による処理時間増大防止が図れる。 As described above, the image processing apparatus of the present invention can be expected to have a great effect in a scene where there are a plurality of objects having greatly different luminances. For example, when detecting the lane mark and the headlights and taillights of the preceding vehicle at night by image processing as the detection target, when performing exposure control using background technology, the lane mark or road surface is controlled. In this case, since the brightness of the headlight and taillight varies depending on the vehicle type and distance, the image density changes variously on the captured image, and stable detection is difficult. For this reason, it is necessary to prepare a lane mark detection camera or image and a headlight / taillight detection camera or image separately. On the other hand, when exposure control is performed using the present invention, in one camera and image, the brightness change of the brightness with high brightness is maintained while keeping the image density of the low brightness lane mark and the road surface constant and maintaining a high contrast between the two. Since the image density of a large headlight and taillight can be controlled to be constant, it is possible to prevent an increase in cost due to an increase in cameras and an increase in processing time due to an increase in the number of images.
101 画像処理装置
102 カメラ
103 画像解析部
104 警報装置
105 車両用LAN
106 ヘッドライト制御装置
107 ヘッドライト
108 ブレーキ制御装置
109 ブレーキ
201 イメージセンサ
202 DSP
203 画像入力I/F
204 メモリ
205 画像処理ユニット
206 プログラム
207 CPU
208 外部入出力I/F
301 駆動制御部
302 画像配列
303 AMP
304 ADC
305 前処理部
306 HDR画像生成部
307 ガンマ補正部
308 色変換部
309 制御レジスタ(イメージセンサ側)
310 制御レジスタ(DSP側)
DESCRIPTION OF
106
203 Image input I / F
204
208 External I / O I / F
301
304 ADC
305
310 Control register (DSP side)
Claims (4)
予め定めた各制御因子の現在値と、前記車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度の現在値と、前記記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、前記複数の対象物の輝度の現在値を出力する画像濃度輝度変換手段と、
前記画像濃度輝度変換手段から出力された前記複数の対象物の輝度の現在値と、予め定めた複数の対象物の画像濃度の目標値と、前記記憶手段で記憶された複数の前記露光制御出力特性と、に基づいて、前記車載撮像素子で撮像された画像から検出された複数の対象物の画像濃度が、前記画像濃度の目標値と一致するような前記複数種類の制御因子を出力する制御因子出力手段と、を有する画像処理装置。 The linear or non-linear exposure control output characteristics indicating the conversion relationship between the brightness of the object imaged by the vehicle-mounted image sensor and the image density detected from the imaged image are associated with a plurality of types of control factors, A plurality of stored storage means;
Current values of predetermined control factors, current values of image densities of a plurality of objects detected from images picked up by the in-vehicle image sensor, and a plurality of the exposure control output characteristics stored in the storage unit And image density luminance conversion means for outputting current values of the luminance of the plurality of objects based on
Current values of the brightness of the plurality of objects output from the image density / luminance conversion means, target values of image densities of the plurality of objects determined in advance, and the plurality of exposure control outputs stored in the storage means And outputting the plurality of types of control factors such that the image density of the plurality of objects detected from the image captured by the vehicle-mounted image sensor matches the target value of the image density based on the characteristics An image processing apparatus having factor output means.
前記制御因子出力手段で出力された前記複数種類の制御因子に現在の制御因子から更新する制御因子更新手段を有する画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus comprising control factor update means for updating the plurality of types of control factors output by the control factor output means from current control factors.
前記制御因子は、露光時間,ゲイン,ニーポイント,ガンマ係数の少なくとも1つである画像処理装置。 The image processing apparatus according to claim 1 or 2,
The image processing apparatus, wherein the control factor is at least one of an exposure time, a gain, a knee point, and a gamma coefficient.
前記露光制御出力特性は、車載撮像素子で撮像される対象物の輝度と撮像された画像から検出された画像濃度との変換関係が示された線形の出力特性を有する画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
The exposure control output characteristic is an image processing apparatus having a linear output characteristic in which a conversion relationship between the luminance of an object imaged by an in-vehicle image sensor and an image density detected from the imaged image is shown.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220249A JP5427744B2 (en) | 2010-09-30 | 2010-09-30 | Image processing device |
PCT/JP2011/068018 WO2012043063A1 (en) | 2010-09-30 | 2011-08-08 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220249A JP5427744B2 (en) | 2010-09-30 | 2010-09-30 | Image processing device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012075059A JP2012075059A (en) | 2012-04-12 |
JP2012075059A5 JP2012075059A5 (en) | 2012-10-18 |
JP5427744B2 true JP5427744B2 (en) | 2014-02-26 |
Family
ID=45892538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010220249A Active JP5427744B2 (en) | 2010-09-30 | 2010-09-30 | Image processing device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5427744B2 (en) |
WO (1) | WO2012043063A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6390512B2 (en) * | 2015-05-21 | 2018-09-19 | 株式会社デンソー | In-vehicle camera device |
CN108377345B (en) | 2018-04-11 | 2020-04-03 | 浙江大华技术股份有限公司 | Exposure parameter value determination method and device, multi-view camera and storage medium |
CN115023938B (en) * | 2020-02-03 | 2024-06-18 | 索尼半导体解决方案公司 | Electronic device |
EP4184912A4 (en) | 2020-07-15 | 2023-12-20 | Sony Group Corporation | Information processing device, information processing method, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205663A (en) * | 1998-01-20 | 1999-07-30 | Nissan Motor Co Ltd | Exposure amount controller for image pickup device for vehicle |
JP4389999B2 (en) * | 2007-12-26 | 2009-12-24 | 株式会社デンソー | Exposure control device and exposure control program |
-
2010
- 2010-09-30 JP JP2010220249A patent/JP5427744B2/en active Active
-
2011
- 2011-08-08 WO PCT/JP2011/068018 patent/WO2012043063A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2012043063A1 (en) | 2012-04-05 |
JP2012075059A (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5832855B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5370413B2 (en) | Recognition target detection device | |
JP5743696B2 (en) | Image processing apparatus, image processing method, and program | |
US10136080B2 (en) | Image generating apparatus | |
JP4089911B2 (en) | Image input device | |
JP5860663B2 (en) | Stereo imaging device | |
JP6739066B2 (en) | Imaging control apparatus, imaging control method, program, and recording medium recording the same | |
JP4400512B2 (en) | In-vehicle camera control device | |
US11758283B2 (en) | Image capture device and image adjusting method | |
JP5427744B2 (en) | Image processing device | |
JP4619981B2 (en) | Image recognition device | |
JP2006311031A (en) | Imaging apparatus for moving body | |
JP6478138B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
JP7204480B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, MOVING OBJECT, AND IMAGING DEVICE CONTROL METHOD | |
KR101822344B1 (en) | Motor vehicle camera device with histogram spreading | |
JP2008230464A (en) | Automatic exposure device for on-vehicle camera | |
JP2019204988A (en) | Image processing apparatus and image processing method | |
CN109788211B (en) | Captured image display system, electronic mirror system, and captured image display method | |
JP4274316B2 (en) | Imaging system | |
JP2005148309A (en) | Exposure controller for white line detection camera | |
US20230326177A1 (en) | Image processing apparatus | |
JP6314667B2 (en) | Imaging apparatus, image correction program, and image processing apparatus | |
JP2006060504A (en) | Exposure controller of camera for white line detection | |
US11012630B1 (en) | Image processor and image processing method | |
JP2018160785A (en) | Image generation device, image generation method, program and record medium recording the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120829 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131202 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5427744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |