JP4757932B2 - Exposure control device and exposure control method for vehicle imaging device - Google Patents
Exposure control device and exposure control method for vehicle imaging device Download PDFInfo
- Publication number
- JP4757932B2 JP4757932B2 JP2009148991A JP2009148991A JP4757932B2 JP 4757932 B2 JP4757932 B2 JP 4757932B2 JP 2009148991 A JP2009148991 A JP 2009148991A JP 2009148991 A JP2009148991 A JP 2009148991A JP 4757932 B2 JP4757932 B2 JP 4757932B2
- Authority
- JP
- Japan
- Prior art keywords
- tunnel
- exposure control
- contour
- imaging
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、車両用撮像装置の露出制御装置及び露出制御方法に関し、特にはトンネル内を走行する際の露出制御技術に関する。
The present invention relates to an exposure control device and an exposure control method for an imaging device for a vehicle, and more particularly to an exposure control technique when traveling in a tunnel.
従来、走行車両にデジタルカメラを搭載し、このカメラ(所謂、車両用撮像装置である)で撮像した車両前方の画像を処理して、車両の走行を制御する技術が知られている。例えば、撮像した画像に基づいて道路に描かれている白線を認識し、その認識結果に基づき、エンジン、ブレーキ、ステアリング等を制御することで、車両を道路上の白線に沿って自動走行させるものや、撮像した車両前方の画像を処理して、先行車両との距離を認識し、その認識結果に基づき、エンジン、ブレーキ等を制御することで、先行車両との距離を一定に保つように車両を走行させる技術が知られている。 2. Description of the Related Art Conventionally, a technique is known in which a digital camera is mounted on a traveling vehicle, and an image in front of the vehicle captured by this camera (a so-called vehicle imaging device) is processed to control the traveling of the vehicle. For example, a white line drawn on the road is recognized based on the captured image, and the vehicle is automatically driven along the white line on the road by controlling the engine, brake, steering, etc. based on the recognition result. Or by processing the captured image in front of the vehicle, recognizing the distance to the preceding vehicle, and controlling the engine, brake, etc. based on the recognition result, so that the distance from the preceding vehicle is kept constant. The technology to run is known.
また、車両用撮像装置において、内蔵した光センサによって周囲の照度を検出し、その照度に応じて自動的にカメラの露出を制御する露出オート機能を有しているものがある。通常、露出制御を行う場合、撮影画像の明るさを測定して数値化し、明るさの評価値とする。そして、その評価値を外部から設定された明るさの基準値(露出目標値)と比較し、両者が略一致するように、撮像装置の電子シャッターの速度やアンプの利得を制御する。 Some vehicle imaging devices have an exposure auto function that detects ambient illuminance by a built-in optical sensor and automatically controls the exposure of the camera in accordance with the illuminance. Normally, when performing exposure control, the brightness of a captured image is measured and digitized to obtain an evaluation value of brightness. Then, the evaluation value is compared with a reference value (exposure target value) of brightness set from the outside, and the speed of the electronic shutter and the gain of the amplifier of the imaging apparatus are controlled so that the two values substantially coincide.
しかしながら、一般的に、露出オート機能を有する車両用撮像装置では、車両が走行中にトンネル等に出入して車両周囲の照度が急激に変化する場合、周囲の照度が変化した後に露出制御が行われるため、車載監視カメラの露出が周囲の急激な照度変化に追従できず、一定時間、画像処理に必要となる鮮明な画像が取得できなくなって、走行制御のための画像処理が一時的に不正確になるという問題があった。図9に表したように、トンネルの入り口では急激に照度が低下し、トンネルの出口では急激に照度が上昇する。この際、照度の低下及び上昇に対して撮像装置の露出制御に応答遅れが生じると、トンネルの出入り口で受光量の指標となる階調が飽和し、トンネル入り口では暗い画像に階調をもたない黒潰れが発生し、トンネルの出口では明るい画像に階調をもたない明るい白とびが発生する。 However, in general, in an imaging apparatus for a vehicle having an exposure auto function, when the illuminance around the vehicle changes suddenly when the vehicle enters and exits a tunnel or the like, exposure control is performed after the illuminance around the vehicle changes. Therefore, the exposure of the in-vehicle surveillance camera cannot follow a sudden change in illuminance in the surrounding area, and a clear image necessary for image processing cannot be acquired for a certain period of time. There was a problem of being accurate. As shown in FIG. 9, the illuminance rapidly decreases at the entrance of the tunnel, and the illuminance increases rapidly at the exit of the tunnel. At this time, if there is a response delay in the exposure control of the imaging device with respect to the decrease and increase in illuminance, the gradation that serves as an indicator of the amount of light received at the entrance of the tunnel is saturated, and the dark image is gradation at the entrance of the tunnel. There will be no black crushing, and a bright whiteout with no gradation will appear in the bright image at the exit of the tunnel.
そこで、走行車両がトンネルの出入り口に至る前に予めトンネルの出入り口を検出し、トンネルの出入り口近傍において、周囲照度の急激な変化に応じて応答遅れがないように速やかに露出を制御する技術が開示されている。 Therefore, a technology is disclosed that detects the tunnel entrance in advance before the traveling vehicle reaches the tunnel entrance, and quickly controls the exposure in the vicinity of the tunnel entrance so that there is no response delay in response to a sudden change in ambient illuminance. Has been.
例えば、車両に上向きに取り付けられて車両周囲の広い範囲の照度を検出する上方光センサと、車両に前向きに取り付けられて車両前方の狭い範囲の照度を検出する前方光センサとを備え、これら2つの光センサの照度とから、車両進行方向の照度変化を予測し、トンネルの出入口のように周囲照度が急激に変化する場合に、その直前で予め車載監視のための撮像部の露出を変更する露出制御装置が知られている(例えば、特許文献1参照)。 For example, an upper light sensor that is mounted upward on a vehicle and detects a wide range of illuminance around the vehicle, and a front light sensor that is mounted on the front of the vehicle and detects a illuminance in a narrow range in front of the vehicle. The illuminance change in the vehicle traveling direction is predicted from the illuminance of the two optical sensors, and when the ambient illuminance changes abruptly as in the entrance and exit of the tunnel, the exposure of the imaging unit for in-vehicle monitoring is changed in advance immediately before that. An exposure control device is known (see, for example, Patent Document 1).
しかしながら、特許文献1に記載の露出制御装置によれば、車両周囲の広い範囲の照度と車両前方の狭い範囲の照度とを検出して、この両者の照度比較から車両進行方向の照度変化を予測し、トンネルの出入口のように周囲照度が急激に変化する場合に、その直前で予め車載監視のための撮像部の露出を変更するように構成されているので、必ずしもトンネルを完全な形で観測するものでなく(必ずしもトンネルの検出が高い精度で得られるものでなく)、トンネル走行における露出制御には一層改善の余地があった。例えば、トンネルが短くて出口以降の風景がトンネルの入り口で見える場合には、トンネルの出入口を精度良く検出することが困難になる虞があった。
However, according to the exposure control device described in
また、特許文献1に記載の露出制御装置によれば、車載カメラに設けられている光センサの他に、受光角度の広い上方光センサと受光角度の狭い前方光センサとの2つのセンサを必要とするため、部品点数の増加とこれに伴うコストの上昇及び制御の複雑化を招くという問題点がある。
Moreover, according to the exposure control apparatus described in
そこで、本発明は、簡素な構成であって、撮影された画像を用いてトンネルの出入り口を精度良く検出し、トンネルの出入り口などのように車両前方の輝度に急激な変化があっても、その変化に応じて応答遅れなく、カメラの露出を速やかに制御できる車両用撮像装置の露出制御装置及び露出制御方法を提供することを目的とする。 Therefore, the present invention has a simple configuration and accurately detects the entrance / exit of the tunnel using the photographed image, and even if there is a sudden change in the brightness in front of the vehicle, such as the entrance / exit of the tunnel, the It is an object of the present invention to provide an exposure control device and an exposure control method for a vehicular imaging device that can quickly control the exposure of a camera without delaying response in response to changes.
かかる目的を達成するためになされた請求項1に記載の発明は、車両に搭載され、車両走行方向を撮像する露出量を目標値に応じて制御する車両用撮像装置の露出制御装置において、前記撮像装置には、マトリクス状に複数の光電変換素子が配置され、光学像を光電変換して前記光電変換素子の夫々毎に受光量に応じた電気信号を生成し、該電気信号をデジタル信号に量子化して出力する撮像手段が備えられ、当該露出制御装置には、前記撮像手段から出力されたデジタル信号から輝度信号を生成する輝度生成手段と、画面が格子状に画成されて構成された複数のブロックの夫々毎に前記輝度信号を集計し該集計値をトンネル検出のための評価値として生成するトンネル評価値生成手段と、前記トンネル評価値生成手段で生成された前記評価値に基づいて、前記光学像中におけるトンネル撮像の有無を検出するトンネル検出手段と、前記トンネル検出手段を介して得られたトンネル撮像の有無に対応付けて、前記露出量の制御を切り替える露出制御切り替え手段と、を備え、前記撮像手段を介して、時間の経過に応じて連続した複数の画像を取得し、前記トンネル評価値生成手段が、撮像された画像の中心から外形方向に放射線状に延出する複数の線上の夫々に沿って前記複数のブロックの夫々毎に前記評価値を生成し、前記トンネル検出手段が、前記放射線状の複数の線上の夫々に沿って生成された前記ブロック毎の評価値に基づいて、前記画像におけるトンネル出入り口の輪郭位置を前記放射線状の複数の線上の夫々毎に検出する輪郭検出手段と、前記放射線状の複数の線上の夫々毎に、前記輪郭検出手段を介して検出された輪郭位置から前記画像の中心までの輪郭距離を検出する輪郭距離検出手段と、前記放射線状の複数の線上の夫々毎に、時間の経過に応じて前記輪郭距離検出手段を介して検出された輪郭距離の変化率を検出する変化率検出手段と、前記変化率検出手段で検出された変化率を前記放射線状の複数の線上間で比較して、前記変化率が該複数の線上間で同期するか否かを判定する同期判定手段と、前記輪郭距離手段で検出された輪郭距離に基づいて、画面全体に対して該輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定手段と、前記同期判定手段の判定結果において同期すると判定され、且つ、前記トリガ判定手段の判定結果においてトンネル検出が有効と判定された際に、前記トンネル出入り口が車両走行方向の近傍にあると判定するトンネル判定手段と、によって構成され、前記露出制御切り替え手段が、前記トンネル判定手段で前記トンネル出入り口が近傍にあると判定された際に、前記トンネル出入り口近傍の走行範囲における露出の目標値に対する制御の収束速度を、該トンネル出入り口近傍を除く走行範囲における収束速度よりも速い速度になるように切り替えるように構成されている、ことを特徴とする。
The invention according to
請求項1に記載の車両用撮像装置の露出制御装置によれば、画面が格子状に画成されて構成された複数のブロックの夫々毎に輝度信号を集計し該集計値をトンネル検出のための評価値として生成するトンネル評価値生成手段と、トンネル評価値生成手段で生成された評価値に基づいて、光学像中におけるトンネル撮像の有無を検出するトンネル検出手段と、トンネル検出手段を介して得られたトンネル撮像の有無に対応付けて、露出量の制御を切り替える露出制御切り替え手段とを備えているので、撮影された画像を用いてトンネルの出入り口を精度良く検出でき、トンネルの出入り口近傍において、輝度に急激な変化があっても、その変化に応じて応答遅れなく、撮像装置の露出を速やかに制御できる。また、特許文献1に開示された複数の光センサを必要とせず、撮影された画像に基づいてトンネルを検出できるので、露出制御装置を簡素な構成にすることができる。
According to the exposure control apparatus for an imaging device for a vehicle according to
また、請求項1に記載の車両用撮像装置の露出制御装置によれば、撮像手段を介して、時間の経過に応じて連続した複数の画像を取得し、トンネル評価値生成手段が、撮像された画像の中心から外形方向に放射線状に延出する複数の線上の夫々に沿って複数のブロックの夫々毎に評価値を生成し、トンネル検出手段が、放射線状の複数の線上の夫々に沿って生成されたブロック毎の評価値に基づいて、画像におけるトンネル出入り口の輪郭位置を放射線状の複数の線上の夫々毎に検出する輪郭検出手段と、放射線状の複数の線上の夫々毎に、輪郭検出手段を介して検出された輪郭位置から画像の中心までの輪郭距離を検出する輪郭距離検出手段と、放射線状の複数の線上の夫々毎に、時間の経過に応じて輪郭距離検出手段を介して検出された輪郭距離の変化率を検出する変化率検出手段と、変化率検出手段で検出された変化率を放射線状の複数の線上間で比較して、変化率が該複数の線上間で同期するか否かを判定する同期判定手段と、輪郭距離手段で検出された輪郭距離に基づいて、画面全体に対して輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定手段と、同期判定手段の判定結果において同期すると判定され、且つ、トリガ判定手段の判定結果においてトンネル検出が有効と判定された際に、トンネル出入り口が車両走行方向の近傍にあると判定するトンネル判定手段と、によって構成されているので、トンネル走行における露出制御においてトンネル出入り口を検出する信頼性を高めることができる。
According to the exposure control device for an imaging device for a vehicle according to
また、請求項1に記載の車両用撮像装置の露出制御装置によれば、トンネル判定手段でトンネル出入り口が近傍にあると判定された際に、トンネル出入り口近傍の走行範囲における露出の目標値に対する制御の収束速度を、トンネル出入り口近傍を除く走行範囲における収束速度よりも速い速度になるように切り替えるように構成されていることにより、トンネルの出入り口近傍で発現する急激な明暗の変化に速やかに対応し、応答遅れがなくて、露出制御を適切に行うことができる。
According to the exposure control device for an imaging device for a vehicle according to
次に、請求項2に記載の発明は、請求項1に記載の車両用撮像装置の露出制御装置において、前記露出制御切り替え手段が、前記トンネル判定手段で前記トンネル出入り口が車両走行方向の近傍にあると判定された際に、前記トンネル出入り口近傍の走行範囲における露出制御の画像範囲の中央部が前記トンネル出入り口に位置するように露出制御の画像範囲を切り替えることを特徴とする。
Then, the serial mounting of the invention in
請求項2に記載の車両用撮像装置の露出制御装置によれば、トンネル判定手段でトンネル出入り口が車両走行方向の近傍にあると判定された際に、トンネル出入り口近傍の走行範囲における露出制御の画像範囲の中央部が前記トンネル出入り口に位置するように露出制御の画像範囲を切り替えることにより、トンネル出入り口近傍において、トンネルの存在に重みを付けた露出制御を行うことができ、露出制御を適切に行うことができる。
According to the exposure control apparatus for an imaging device for a vehicle according to
次に、請求項3に記載の発明は、車両に搭載され、車両走行方向を撮像する露出量を目標値に応じて制御する車両用撮像装置の露出制御方法において、マトリクス状に複数の光電変換素子が配置され、光学像を光電変換して前記光電変換素子の夫々毎に受光量に応じた電気信号を生成し、該電気信号をデジタル信号に量子化して出力する撮像手段を用い、
前記撮像手段から出力されたデジタル信号から輝度信号を生成する輝度生成ステップと、画面が格子状に画成されて構成された複数のブロックの夫々毎に前記輝度信号を集計し該集計値をトンネル検出のための評価値として生成するトンネル評価値生成ステップと、前記トンネル評価値生成ステップで生成された前記評価値に基づいて、前記光学像中におけるトンネル撮像の有無を検出するトンネル検出ステップと、前記トンネル検出ステップを介して得られたトンネル撮像の有無に対応付けて、前記露出量の制御を切り替える露出制御切り替えステップと、を用い、前記撮像手段を介して、時間の経過に応じて連続した複数の画像を取得し、前記トンネル評価値生成ステップが、撮像された画像の中心から外形方向に放射線状に延出する複数の線上の夫々に沿って前記複数のブロックの夫々毎に前記評価値を生成し、前記トンネル検出ステップが、前記放射線状の複数の線上の夫々に沿って生成された前記ブロック毎の評価値に基づいて、前記画像におけるトンネル出入り口の輪郭位置を前記放射線状の複数の線上の夫々毎に検出する輪郭検出ステップと、前記放射線状の複数の線上の夫々毎に、前記輪郭検出ステップを介して検出された輪郭位置から前記画像の中心までの輪郭距離を検出する輪郭距離検出ステップと、前記放射線状の複数の線上の夫々毎に、時間の経過に応じて前記輪郭距離検出ステップを介して検出された輪郭距離の変化率を検出する変化率検出ステップと、前記変化率検出ステップで検出された変化率を前記放射線状の複数の線上間で比較して、前記変化率が該複数の線上間で同期するか否かを判定する同期判定ステップと、前記輪郭距離検出ステップで検出された輪郭距離に基づいて、画面全体に対して該輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定ステップと、前記同期判定ステップの判定結果において同期すると判定され、且つ、前記トリガ判定ステップの判定結果においてトンネル検出が有効と判定された際に、前記トンネル出入り口が車両走行方向の近傍にあると判定するトンネル判定ステップと、によって構成され、前記露出制御切り替えステップが、前記トンネル判定ステップで前記トンネル出入り口が近傍にあると判定された際に、前記トンネル出入り口近傍の走行範囲における露出の目標値に対する制御の収束速度を、該トンネル出入り口近傍を除く走行範囲における収束速度よりも速い速度になるように切り替える、ことを特徴とする。
According to a third aspect of the present invention, there is provided an exposure control method for a vehicular imaging apparatus that is mounted on a vehicle and controls an exposure amount for imaging a vehicle traveling direction in accordance with a target value. Elements are arranged, photoelectrically converting an optical image to generate an electrical signal corresponding to the amount of received light for each of the photoelectric conversion elements, and using an imaging unit that quantizes the electrical signal into a digital signal and outputs it.
A luminance generation step for generating a luminance signal from the digital signal output from the imaging means; and the luminance signal is aggregated for each of a plurality of blocks each having a screen defined in a lattice shape, and the aggregated value is tunneled A tunnel evaluation value generating step for generating as an evaluation value for detection, and a tunnel detection step for detecting presence or absence of tunnel imaging in the optical image based on the evaluation value generated in the tunnel evaluation value generating step; The exposure control switching step for switching the control of the exposure amount in association with the presence or absence of tunnel imaging obtained through the tunnel detection step, and using the imaging means, continuous over time acquiring a plurality of images, the tunnel evaluation value generating step, extending radially to the outer direction from the center of the captured image double The line along the respective generates the evaluation value for each each of the plurality of blocks, the tunnel detection step, the evaluation value for each of the blocks generated along each of a plurality of lines of the radial Based on the contour detection step for detecting the contour position of the tunnel entrance / exit in the image for each of the plurality of radial lines, and detecting the contour position for each of the plurality of radial lines through the contour detection step the contour distance detection step of detecting a contour distance to the center of the image from the contour position, the plurality of each respective to a line of radial, is detected through the contour distance detection step as time passes a rate of change detection step of detecting a rate of change in contour distance, the detected rate of change in the change rate detecting step by comparing among a plurality of lines of the radial, said change There a synchronization determining step of determining whether or not to synchronize between lines of the plurality based on said contour distance detected contour distance detecting step, detecting a ratio of the area of該輪Kakunai for the entire screen In the trigger determination step for determining the effectiveness of tunnel detection by comparing the detected ratio with a predetermined value and the determination result in the synchronization determination step, and in the determination result in the trigger determination step A tunnel determination step that determines that the tunnel entrance is in the vicinity of the vehicle traveling direction when it is determined that tunnel detection is valid, and the exposure control switching step includes the step of determining whether the tunnel entrance is in the tunnel determination step. When it is determined that the vehicle is in the vicinity, the exposure target value in the travel range near the tunnel entrance The control convergence speed is switched so as to be faster than the convergence speed in the travel range excluding the vicinity of the tunnel entrance.
請求項3に記載の車両用撮像装置の露出制御方法によれば、画面が格子状に画成されて構成された複数のブロックの夫々毎に輝度信号を集計し該集計値をトンネル検出のための評価値として生成するトンネル評価値生成ステップと、トンネル評価値生成ステップで生成された評価値に基づいて、光学像中におけるトンネル撮像の有無を検出するトンネル検出ステップと、トンネル検出ステップを介して得られたトンネル撮像の有無に対応付けて露出量の制御を切り替える露出制御切り替えステップとを備えているので、請求項1に記載の発明と同様に、撮影された画像を用いてトンネルの出入り口を精度良く検出でき、トンネルの出入り口近傍において、輝度に急激な変化があっても、その変化に応じて応答遅れなく、撮像装置の露出を速やかに制御できる。また、特許文献1に開示された複数の光センサを必要とせず、撮影された画像に基づいてトンネルを検出できる。
According to the exposure control method for an imaging apparatus for a vehicle according to
また、請求項3に記載の車両用撮像装置の露出制御方法によれば、トンネル検出ステップが、放射線状の複数の線上の夫々に沿って生成されたブロック毎の評価値に基づいて、画像におけるトンネル出入り口の輪郭位置を放射線状の複数の線上の夫々毎に検出する輪郭検出ステップと、放射線状の複数の線上の夫々毎に、輪郭検出ステップを介して検出された輪郭位置から前記画像の中心までの輪郭距離を検出する輪郭距離検出ステップと、放射線状の複数の線上の夫々毎に、時間の経過に応じて輪郭距離検出ステップを介して検出された輪郭距離の変化率を検出する変化率検出ステップと、変化率検出ステップで検出された変化率を放射線状の複数の線上間で比較して、変化率が複数の線上間で同期するか否かを判定する同期判定ステップと、輪郭距離検出ステップで検出された輪郭距離に基づいて、画面全体に対して該輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定ステップと、同期判定ステップの判定結果において同期すると判定され、且つ、トリガ判定ステップの判定結果においてトンネル検出が有効と判定された際に、トンネル出入り口が車両走行方向の近傍にあると判定するトンネル判定ステップと、によって構成されているので、トンネル走行における露出制御においてトンネル出入り口を検出する信頼性を高めることができる。
According to the exposure control method for an imaging apparatus for a vehicle according to
また、請求項3に記載の車両用撮像装置の露出制御方法によれば、トンネル判定手段でトンネル出入り口が近傍にあると判定された際に、トンネル出入り口近傍の走行範囲における露出の目標値に対する制御の収束速度を、トンネル出入り口近傍を除く走行範囲における収束速度よりも速い速度になるように切り替えることにより、トンネルの出入り口近傍で発現する急激な明暗の変化に速やかに対応し、応答遅れがなくて、露出制御を適切に行うことができる。According to the exposure control method for an imaging apparatus for a vehicle according to
次に、請求項4に記載の発明は、請求項3に記載の車両用撮像装置の露出制御方法において、前記露出制御切り替えステップが、前記トンネル判定ステップで前記トンネル出入り口が車両走行方向の近傍にあると判定された際に、前記トンネル出入り口近傍の走行範囲における露出制御の画像範囲の中央部が前記トンネル出入り口に位置するように露出制御の画像範囲を切り替えることを特徴とする。
Next, according to a fourth aspect of the present invention, in the exposure control method for an imaging device for a vehicle according to the third aspect, the exposure control switching step is the tunnel determination step, and the tunnel entrance is in the vicinity of the vehicle traveling direction. When it is determined that there is an image, the image range for exposure control is switched so that the center of the image range for exposure control in the travel range near the tunnel entrance is located at the tunnel entrance .
請求項4に記載の車両用撮像装置の露出制御方法によれば、トンネル判定ステップでトンネル出入り口が車両走行方向の近傍にあると判定された際に、トンネル出入り口近傍の走行範囲における露出制御の画像範囲の中央部がトンネル出入り口に位置するように露出制御の画像範囲を切り替えることにより、請求項2に記載の発明と同様に、トンネル入り口近傍において、トンネルの存在に重みを付けた露出制御を行うことができ、露出制御を適切に行うことができる。
According to the exposure control method for an imaging device for a vehicle according to
また、本発明の車両用撮像装置の露出制御装置及び露出制御方法は、撮像手段を介して、時間の経過に応じて連続した複数の画像を取得し、トンネルを検出する際に、画像の中心から外形方向に放射線状に延出する複数の線上の夫々に沿ってトンネル検出のための評価値を検出し、次いで、放射線状の複数の線上に沿って生成されたブロック毎の評価値に基づいて、画像におけるトンネルの輪郭位置を放射線状の複数の線上の夫々毎に検出し、次いで、放射線状の複数の線上の夫々毎に、この検出された輪郭位置から画像中心までの距離を検出して、放射線状の複数の線上の夫々毎に、時間の経過に応じて輪郭距離の変化率を検出し、次いで、この変化率を放射線状の複数の線上間で比較して変化率が複数の線上間で同期するか否かを判定することにより、精度良くトンネルを検出できる。また、この際、トリガ判定を介して、画面全体に対する輪郭内の面積が占める割合を検出してトンネル検出の有効性を判定し、同期判定の判定結果とトリガ判定の判定結果に基づいて、トンネルへの入出の事前判定を行うことにより、トンネル検出の信頼性を高めることができる。
Further, the exposure control device and the exposure control method for an imaging device for a vehicle according to the present invention obtains a plurality of continuous images according to the passage of time via the imaging means, and detects the center of the image when detecting a tunnel. Evaluation values for tunnel detection are detected along each of the plurality of lines extending radially from the outer shape to the outer contour direction, and then based on the evaluation values for each block generated along the plurality of radial lines Then, the contour position of the tunnel in the image is detected for each of the plurality of radial lines, and then the distance from the detected contour position to the center of the image is detected for each of the plurality of radial lines. Then, for each of the plurality of radial lines, the change rate of the contour distance is detected as time passes, and then the change rate is compared between the plurality of radial lines . to determine whether synchronization between the line It allows accurately detected tunnel. Also, at this time, through the trigger determination, the ratio of the area in the contour to the entire screen is detected to determine the effectiveness of the tunnel detection, and based on the determination result of the synchronization determination and the determination result of the trigger determination, The reliability of tunnel detection can be increased by making a prior decision on entry / exit.
また、本発明の車両用撮像装置の露出制御装置及び露出制御方法は、トンネルが検出された際に、トンネル出入り口近傍の走行範囲において露出制御の画像範囲(測光枠)の中央部がトンネルの出入り口に位置するように露出制御の画像範囲を切り替えることにより、トンネル入り口近傍において、トンネルの存在に重みを付けた露出制御を行うことができ、露出制御を適切に行うことができる。
Further, according to the exposure control device and the exposure control method for an imaging device for a vehicle of the present invention, when a tunnel is detected, the central part of the image range (photometry frame) of the exposure control in the traveling range in the vicinity of the tunnel entrance is the entrance to the tunnel. By switching the image range of the exposure control so as to be positioned at the position, it is possible to perform exposure control in which the presence of the tunnel is weighted in the vicinity of the tunnel entrance, and to appropriately perform the exposure control.
また、本発明の車両用撮像装置の露出制御装置及び露出制御方法は、トンネルが検出された際に、トンネル出入り口近傍の走行範囲における収束速度が該走行範囲以外における収束速度よりも早い速度になるように切り替えることにより、トンネルの出入り口近傍で発現する急激な明暗の変化に速やかに対応し、応答遅れがなくて、露出制御を適切に行うことができる。 Further, according to the exposure control device and the exposure control method for a vehicle imaging device of the present invention, when a tunnel is detected, the convergence speed in the traveling range near the tunnel entrance is faster than the convergence speed outside the traveling range. By switching in this way, it is possible to quickly cope with a sudden change in brightness that appears in the vicinity of the entrance and exit of the tunnel, there is no response delay, and exposure control can be appropriately performed.
図1に表したように、車両用撮像装置100は、車両周囲を撮影してデジタル画像信号(画像データである)を出力する撮像手段200と、撮像手段200から入力したデジタル画像信号を用いて適切な明るさの画像が得られるように露出を制御する露出制御装置300とを備えている。
As shown in FIG. 1, the
撮像手段200は、撮影された光学像をイメージセンサに導く結像光学系1と、結像光学系1を介して結像した光学像を光電変換して増幅しデジタル信号に変換して出力するイメージセンサ2とによって構成されている。
The imaging means 200 photoelectrically converts and amplifies the optical image formed through the imaging
結像光学系1は、被写体光を集光してイメージセンサに導く撮像レンズ1a、開口径が開閉可能に構成されて、撮像レンズ1aを介して入射した入射光量を調整するアイリス(絞り)1b、等によって構成されている。
The imaging
イメージセンサ2は、結像光学系1を介して結像した光学像を受光量に対応付けてアナログ電気信号に変換する撮像素子2a、撮像素子2aから出力されたアナログ電気信号を増幅する可変利得増幅器(AGC:Automatic Gain Control)2b、可変利得増幅器2bから出力されたアナログ電気信号をデジタル信号に変換するAD変換器(ADC:Analog Digital Converter)2c、等によって構成されている。また、撮像素子2aは、マトリクス状に複数の光電変換素子が配置され、光電変換素子毎に受光量に応じた電気信号を生成する。
The
次に、露出制御装置300は、撮像手段200を介して入力されたデジタル信号を処理して露出制御に必要なデータを出力する信号処理装置3、信号処理装置3で得られたデータを記憶するSDRAM(Synchronous Dynamic Random Access Memory)4、SDRAM4を介して信号処理装置3で得られた露出制御に必要なデータを取得し、露出制御の指令信号を生成するCPU(Central Processing Unit)5等を備えている。また、CPU5は撮像手段200及び露出制御装置300の各機能を制御する。
Next, the
信号処理装置3は、撮像手段200から出力されたデジタル信号に基づいて所定の画素数を一単位とする輝度信号(以下、輝度値という)を生成する輝度生成手段3aと、輝度生成手段3aを介して生成された輝度信号に基づいて画像の中心から放射線状に沿って輝度を抽出するトンネル評価値生成手段3bと、輝度生成手段3aを介して生成された輝度信号に基づいて露出の評価値を生成する露出評価値生成手段3cとによって構成されている。
The
輝度生成手段3aは、図3(a)に表したように、時間の経過に応じて順次、撮影された画像毎に輝度信号を生成する。
As shown in FIG. 3A, the luminance generation unit 3a sequentially generates a luminance signal for each captured image as time passes .
図4(a)に表したように、トンネル評価値生成手段3bは、撮影された画像毎に画面が格子状に画成されて構成された夫々のブロック毎に輝度信号を集計し、この集計値を後述のトンネル検出のための評価値とする。また、トンネル評価値生成手段3bは、図4(a)に表したように、画面中心から外形方向に放射線状に延出する各線上(W0、W1、W2)に沿って配置された複数のブロック内の夫々毎に輝度信号を集計する。
As shown in FIG. 4A, the tunnel evaluation value generation unit 3b totalizes the luminance signal for each block configured by defining the screen in a grid pattern for each captured image. The value is an evaluation value for tunnel detection described later. Further, as shown in FIG. 4A, the tunnel evaluation value generating unit 3b includes a plurality of pieces arranged along each line (W0, W1, W2) extending radially from the center of the screen in the outer shape direction. Luminance signals are aggregated for each block .
露出評価値生成手段3cは、画面における所定の測光枠(図6中の測光枠)内の輝度信号を積算し、この積算値を基準値と比較してその比較結果を表すデータを露出評価値として生成する。 The exposure evaluation value generation means 3c integrates luminance signals within a predetermined photometry frame (photometry frame in FIG. 6) on the screen, compares the integrated value with a reference value, and displays data representing the comparison result as an exposure evaluation value. Generate as
SDRAM4は、トンネル評価値生成手段3bで得られたトンネル評価値を記憶するトンネル評価値記憶手段4aと、露出評価値生成手段3cで得られた露出評価値を記憶する露出評価値記憶手段4bとによって構成されている。
The
CPU5は、トンネル評価生成手段3bで生成されたトンネル評価値に基づいて、トンネル撮像の有無を検出するトンネル検出手段5aの機能と、トンネル検出手段5aで得られたトンネル撮像の有無に対応付けて、露出制御装置300の露出量の制御を切り替える露出制御手段5bの機能とを備えている。
The CPU 5 associates the function of the tunnel detection means 5a for detecting the presence / absence of tunnel imaging based on the tunnel evaluation value generated by the tunnel evaluation generation means 3b with the presence / absence of tunnel imaging obtained by the tunnel detection means 5a. And the function of the exposure control means 5b for switching the control of the exposure amount of the
トンネル検出手段5aは、図2に表したように、画像におけるトンネルの輪郭位置を検出する輪郭検出手段51と、輪郭検出手段51を介して検出された輪郭位置から画像中心までの輪郭距離を検出する輪郭距離検出手段52と、放射線状の複数の線上の夫々毎に時間の経過に応じて、輪郭距離検出手段52を介して検出された輪郭距離の変化率を検出する変化率検出手段53と、変化率検出手段53で検出された変化率を放射線状の複数の線上間で比較して、変化率が複数の線上間で同期するか否かを判定する同期判定手段54と、輪郭距離検出手段52で検出された輪郭距離に基づいて、トンネル検出の有効性を判定するトリガ判定手段55と、同期判定手段54の判定結果とトリガ判定手段55の判定結果に基づいて、トンネルへの入出の事前判定を行うトンネル判定手段56等によって構成されている。
As shown in FIG. 2, the tunnel detection means 5a detects the contour position of the tunnel in the image, and detects the contour distance from the contour position detected via the contour detection means 51 to the center of the image. A contour distance detecting means 52 that detects the change rate of the contour distance detected via the contour distance detecting means 52 according to the passage of time for each of the plurality of radial lines. The change rate detected by the change rate detection means 53 is compared between a plurality of radial lines, and a synchronization determination means 54 for determining whether or not the change rate is synchronized between the plurality of lines, and a contour distance detection Based on the contour distance detected by the means 52, the trigger determination means 55 for determining the effectiveness of the tunnel detection, and the entry to the tunnel based on the determination result of the synchronization determination means 54 and the determination result of the trigger determination means 55. It is formed by performing a pre-determined tunnel determination unit 56 and the like.
詳しくは、輪郭検出手段51は、図4(a)、図4(b)に表したように、放射線(W0、W1、W2)上に沿って、トンネル評価値生成手段3bで生成された輝度信号の集計値に基づいて、この集計値が大きく変化する評価枠の位置を輪郭位置として検出する。 Specifically, as shown in FIGS. 4 (a) and 4 (b), the contour detection means 51 is a luminance generated by the tunnel evaluation value generation means 3b along the radiation (W0, W1, W2). Based on the total value of the signal, the position of the evaluation frame where the total value greatly changes is detected as the contour position.
次に、輪郭距離検出手段52は、図3(b)、図3(c)に表したように、放射線(W0、W1、W2)上に沿って、輪郭検出手段51で検出された輪郭位置の座標から画面中心の座標までの距離(D0、D1)を、トンネルの出入り口までの距離(L0〜L3)に対応付けて算出する。 Next, as shown in FIGS. 3B and 3C, the contour distance detecting unit 52 detects the contour position detected by the contour detecting unit 51 along the radiation (W0, W1, W2). The distances (D0, D1) from the coordinates to the center of the screen are calculated in association with the distances (L0 to L3) to the entrance / exit of the tunnel.
次に、変化率検出手段53は、トンネルの出入り口までの距離に対応付けて放射線状の線上毎に、輪郭位置の変化率を検出する。例えば、図3に表したようにトンネルまでの距離L0からL3に至る輪郭距離D0の変化率及び輪郭距離D1の変化率を算出する。 Next, the change rate detection means 53 detects the change rate of the contour position for each radial line in association with the distance to the tunnel entrance. For example, as shown in FIG. 3, the change rate of the contour distance D0 and the change rate of the contour distance D1 from the distance L0 to the tunnel L3 are calculated.
次に、同期判定手段54は、図5(a)、図5(b)に表したように、時間の経過(t0〜t4)に応じた輪郭距離Dnの変化割合につき、予め定められた所定値と比較して、放射線状の線上(W0〜W2)間で同期するか否かを判定する。
Next, as shown in FIG. 5A and FIG. 5B, the synchronization determination unit 54 determines a predetermined ratio with respect to the change rate of the contour distance Dn according to the passage of time (t0 to t4). Compared with the value, it is determined whether to synchronize between the radial lines (W0 to W2).
次に、トリガ判定手段55は、輪郭距離検出手段で検出された輪郭距離を用いて、画面全体に対して輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定する。 Next, using the contour distance detected by the contour distance detection means, the trigger determination means 55 detects the proportion of the area in the contour relative to the entire screen, and compares this detected proportion with a predetermined value. To determine the effectiveness of tunnel detection.
次に、トンネル判定手段56は、同期判定手段54の判定結果においてトンネル検出有りと判定され、且つ、トリガ判定手段55の判定結果においてトンネル検出の有効性有りと判定された際には、「トンネルの出入り口が車両走行方向の近傍に有る」と判定し、一方、同期判定手段とトリガ判定手段の少なくとも何れかにおいて前記判定結果と異なる際には、「トンネルの出入り口が車両走行方向の近傍に無い」と判定する。また、車両がトンネルに進入しトンネル内を走行中においてもトンネル判定を継続する。そして、車両がトンネルに進入した後に、同期判定手段54とトリガ判定手段55の少なくとも何れかが変化した場合には、その変化に応じてトンネル判定を切り替える。 Next, when it is determined that there is tunnel detection in the determination result of the synchronization determination unit 54 and the tunnel determination unit 55 determines that the tunnel detection is effective, the tunnel determination unit 56 On the other hand, when it is different from the determination result in at least one of the synchronization determination means and the trigger determination means, “the tunnel doorway is not in the vicinity of the vehicle traveling direction”. Is determined. The tunnel determination is continued even when the vehicle enters the tunnel and travels in the tunnel. When at least one of the synchronization determination unit 54 and the trigger determination unit 55 changes after the vehicle enters the tunnel, the tunnel determination is switched according to the change.
次に、露出制御手段5bは、「トンネルの出入り口が車両走行方向の近傍に有る」と判定された際には、図6に表したように、測光枠(露出制御の画像範囲である)の位置を車両前方の広視野を含む通常設定(図6(a))から、トンネルに重みを置いた位置(例えば、図6(b)のように測光枠中心にトンネルの出入り口が存在する位置)に切り替える。一方、「トンネルの出入り口が車両走行方向の近傍に無い」と判定された際には、測光枠の位置を車両前方の広視野を含む通常設定(図6(a))とする。 Next, when it is determined that “the entrance / exit of the tunnel is in the vicinity of the vehicle traveling direction”, the exposure control means 5b, as shown in FIG. 6, sets the photometric frame (exposure control image range). From a normal setting including a wide field of view in front of the vehicle (FIG. 6 (a)), a position where the tunnel is weighted (for example, a position where a tunnel doorway exists at the center of the photometric frame as shown in FIG. 6 (b)). Switch to. On the other hand, when it is determined that “the entrance / exit of the tunnel is not in the vicinity of the vehicle traveling direction”, the position of the photometric frame is set to the normal setting including the wide field of view in front of the vehicle (FIG. 6A).
また、露出制御手段5bは、露出評価値生成手段3cで得られた露出評価値に基づいて、適切な輝度が得られるように露出(BV)の撮像装置への入力値を算出し、該入力値に近づくようにIRIS(絞り)1b、撮像素子2aの露光時間、可変利得増幅器2cの利得を介して露出(BV)を切り替えると共に、トンネル判定結果に応じて、露出切り替え制御の収束速度を切り替える。
Further, the exposure control means 5b calculates an input value of the exposure (BV) to the imaging device so as to obtain appropriate luminance based on the exposure evaluation value obtained by the exposure evaluation value generation means 3c, and the input The exposure (BV) is switched via the IRIS (aperture) 1b, the exposure time of the image sensor 2a, and the gain of the
詳しくは、図7に表したように、「トンネルの出入り口が車両走行方向の近傍に無い」と判定されている走行範囲においては通常走行モードに設定し、「トンネルの出入り口が車両走行方向の近傍に有る」と判定されている走行範囲においては収束速度の制御をトンネル出入り口付近モードに設定する。 Specifically, as shown in FIG. 7, the normal driving mode is set in the traveling range in which it is determined that “the entrance of the tunnel is not in the vicinity of the vehicle traveling direction”, and the “entrance of the tunnel is in the vicinity of the vehicle traveling direction”. In the travel range determined to be “in”, the convergence speed control is set to the tunnel entrance / exit mode.
図7において、(a)及び(c)は通常走行モードの際の露出制御曲線を表し、(b)及び(d)はトンネル出入り口モードの際の露出制御曲線を表している。また。(a)〜(d)中に記載の入力は撮影画面における適切な露出(目標値)の推移曲線を表し、出力は適切な露出に近づける際の出力値の推移曲線を表している。また、(a)及び(b)はステップ応答の例を表し、(c)及び(d)は周波数応答の例を表している。 In FIG. 7, (a) and (c) represent exposure control curves in the normal travel mode, and (b) and (d) represent exposure control curves in the tunnel entrance / exit mode. Also. The inputs described in (a) to (d) represent a transition curve of an appropriate exposure (target value) on the photographing screen, and the output represents a transition curve of an output value when approaching the appropriate exposure. Further, (a) and (b) represent examples of step responses, and (c) and (d) represent examples of frequency responses.
図7に表したように、「トンネルの出入り口が車両走行方向の近傍に無い」と判定されている走行範囲においては、入力値(露出目標値)に対して出力値(入力に近づけるための出力信号)を緩やかに変化させ、一方、「トンネルの出入り口が車両走行方向の近傍に有る」と判定されている走行範囲においては、入力値(露出目標値)に対して出力値(入力に近づけるための出力信号)を速やかに変化させ、適正な露出に近づける。 As shown in FIG. 7, in the travel range in which it is determined that “the entrance of the tunnel is not in the vicinity of the vehicle travel direction”, the output value (the output for approaching the input) with respect to the input value (exposure target value) In the traveling range where it is determined that “the entrance of the tunnel is in the vicinity of the vehicle traveling direction”, the output value (to be close to the input) with respect to the input value (exposure target value) Change the output signal) quickly to bring it closer to the correct exposure.
次に、図8、に基づいて、車両用撮像装置100における露出制御方法の手順を説明する。この手順は、CPU5が図示しないROMに格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図8におけるSは、ステップを表している。
Next, the procedure of the exposure control method in the
まず、この手順は、ユーザによって車両用撮像装置100に起動信号が入力された際にスタートする。
First, this procedure starts when a start signal is input to the
次いで、S100において、輝度生成手段3aを用いて、撮像手段200から出力されたデジタル信号に基づいて所定の画素数を一単位とする輝度信号(以下、輝度値という)を生成し、その後、S200及びS220に移る。
Next, in S100, the luminance generation unit 3a is used to generate a luminance signal (hereinafter referred to as a luminance value) having a predetermined number of pixels as a unit based on the digital signal output from the
次いで、S200において、露出評価値生成手段3cを用いて、S100で生成された輝度信号に基づいて画面における所定の測光枠(図6中の測光枠)内の輝度信号を積算し、この積算値を基準値と比較してその比較結果を表すデータを露出評価値として生成し、その後、S300に移る。
Next, in S200, the exposure evaluation value generating means 3c is used to integrate the luminance signal in a predetermined photometric frame (photometric frame in FIG. 6) on the screen based on the luminance signal generated in S100, and this integrated value. Is compared with a reference value to generate data representing the comparison result as an exposure evaluation value, and then the process proceeds to S300.
一方、S220において、トンネル評価値生成手段3bを用いて、撮影された画像毎に画面が格子状に画成されて構成された夫々のブロック毎の輝度信号を集計し、この集計値をトンネル検出の評価値として生成し、その後、S240に移る。
On the other hand, in S220, using the tunnel evaluation value generation means 3b, the luminance signals for each block constituted by the screen being defined in a grid pattern for each photographed image are totaled, and this total value is detected by tunnel detection. The evaluation value is generated, and then the process proceeds to S240.
次いで、S240において、トンネル検出手段5aを用いて、撮影された画像中におけるトンネルの有無を検出する。具体的には、輪郭検出手段51を用いて、放射線状の複数の線上の夫々に沿って画像におけるトンネルの輪郭位置を検出し、次いで、輪郭距離検出手段52を用いて、輪郭位置から画像中心までの輪郭距離を検出し、次いで、変化率検出手段53を用いて、放射線状の複数の線上の夫々毎に、時間の経過に応じて輪郭距離の変化率を検出し、次いで、同期判定手段54を用いて、検出された変化率を放射線状の複数の線上間で比較して、変化率が複数の線上間で同期するか否かを判定すると共に、トリガ判定手段55を用いて、画面全体に対して輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定し、次いで、トンネル判定手段56を用いて、トンネル出入り口が車両走行方向の近傍に有るか否かの判定を行う。
Next, in S240, the presence or absence of a tunnel in the photographed image is detected using the tunnel detection means 5a. Specifically, the contour position of the tunnel in the image is detected along each of the plurality of radial lines using the contour detector 51, and then the image center is determined from the contour position using the contour distance detector 52. detecting the contour distance to, then, by using the change rate detecting means 53, a plurality of each respective to a line of parabolic, detects the rate of change of the contour distance in accordance with the elapse of time, then the synchronization determination means 54, the detected rate of change is compared between the plurality of radial lines to determine whether the rate of change is synchronized between the plurality of lines , and the trigger determining means 55 is used to The ratio of the area in the contour to the whole is detected, and the detected ratio is compared with a predetermined value to determine the effectiveness of the tunnel detection. Near the direction of travel Luke carried out as to whether or not the decision.
S240において、「トンネルが無い」と判定された際にはS220に戻って「トンネルが有る」と判定されるまでS220からS240を繰り返し、S240で「トンネルが有る」と判定された際にS260に移る。 In S240, when it is determined that “there is no tunnel”, the process returns to S220 and repeats S220 to S240 until it is determined that “there is a tunnel”, and when it is determined that “the tunnel is present” in S240, the process proceeds to S260. Move.
次いで、S260において、露出制御手段5bを用いて、露出制御の収束速度及び測光枠の位置をトンネル出入り口付近モードに切り替え、その後、S300及びS400に移る。 Next, in S260, the exposure control means 5b is used to switch the exposure control convergence speed and the position of the photometric frame to the tunnel entrance / exit mode, and then the process proceeds to S300 and S400.
次いで、S300において、S200で生成された露出評価値に基づいて露出の目標値に対する露出誤差を検出し、その後、S400に移る。また、S260によって測光枠の位置がトンネル出入り口付近モードに切り替えられた際には、切り替えられた測光枠内の露出評価値に置き換えて露出の目標値に対する露出誤差を検出し、その後、S400に移る。
Next, in S300, an exposure error with respect to the exposure target value is detected based on the exposure evaluation value generated in S200, and thereafter, the process proceeds to S400. Further, when the position of the photometric frame is switched to the tunnel entrance / exit mode in S260, the exposure evaluation value in the switched photometric frame is replaced with the exposure evaluation value to detect the exposure target value, and then the process proceeds to S400. .
次いで、S400において、S240のトンネル判定結果に基づいて、露出制御の収束速度を決定づける、1ステップ毎の露出の移動量(変化量)をもとめ、その後、S500に移る。 Next, in S400, an exposure movement amount (change amount) for each step that determines the convergence speed of the exposure control is determined based on the tunnel determination result in S240, and then the process proceeds to S500.
次いで、S500において、所定の露出プログラムを用い、S400で得られた露出の移動量に対応付けて、シャッター速度(Tv)、絞り値(Av)、ISO感度(Sv)を求め、その後、S600に移る。 Next, in S500, using a predetermined exposure program, the shutter speed (Tv), aperture value (Av), and ISO sensitivity (Sv) are obtained in association with the movement amount of exposure obtained in S400, and then in S600. Move.
次いで、S600において、前記シャッター速度Tv、絞り値Av、ISO感度Svに対応付けて、撮像手段200を構成する各デバイスの動作を制御し、その後、本露出制御の処理手順を終了する。
Next, in S600, the operation of each device constituting the
以上のように、本実施例の車両用撮像装置100の露出制御装置300によれば、輝度生成手段3aを介して生成された輝度信号に基づいて、画像の中心から放射線状に沿って輝度を抽出するトンネル評価値生成手段3bと、放射線状に沿って抽出された輝度に基づいて、光学像中におけるトンネル撮像の有無を検出するトンネル検出手段5aと、トンネル検出手段5aを介して得られたトンネル撮像の有無に対応付けて露出の制御を切り替える露出制御切り替え手段5bと、を備えているので、撮影された画像を用いてトンネルの出入り口を精度良く検出でき、トンネルの出入り口近傍において、輝度に急激な変化があっても、その変化に応じて応答遅れなく、撮像手段200の露出を速やかに制御できる。
As described above, according to the
また、本実施例の車両用撮像装置100の露出制御装置300によれば、トンネル検出手段5aが、放射線状の複数の線上の夫々に沿って、価枠毎の輝度信号の集計値に基づいて、画像におけるトンネルの輪郭位置を検出する輪郭検出手段51と、輪郭検出手段51を介して検出された輪郭位置から、放射線状の複数の線上の夫々に沿って画像中心までの距離を検出する輪郭距離検出手段52と、放射線状の複数の線上の夫々毎に、時間の経過に応じて輪郭距離の変化率を検出する変化率検出手段53と、変化率検出手段53で検出された変化率を放射線状の複数の線上間で比較して、変化率が複数の線上間で同期するか否かを判定する同期判定手段54と、輪郭距離検出手段52で検出された輪郭距離に基づいて、画面全体に対して輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定手段55とを備え、同期判定手段54の判定結果とトリガ判定手段55の判定結果に基づいて、トンネルへの入出の事前判定を行うことにより、トンネル検出の信頼性を高めることができる。
Further, according to the
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。 As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, Various aspects can be taken.
本発明に係る車両用撮像装置の露出制御装置及び露出制御方法は、トンネル道を走行する車両に搭載して車両周囲を撮像する車両用撮像装置に好適である。 The exposure control device and the exposure control method for a vehicle imaging device according to the present invention are suitable for a vehicle imaging device that is mounted on a vehicle traveling on a tunnel road and images the surroundings of the vehicle .
1…結像光学系、1a…撮像レンズ、1b…Iris(絞り)、2…イメージセンサ、2a…撮像素子、2b…可変利得増幅器(AGC:Automatic Gain Control)、2c…A/D変換器、3…信号処理装置、3a…輝度生成手段、3b…トンネル評価値生成手段、3c…露出評価値生成手段、4…SDRAM(Synchronous DRAM)、4a…トンネル評価値記憶手段、4b…露出評価値記憶手段、5…CPU(Central Processing Unit)、5a…トンネル検出手段、5b…露出制御手段、51…輪郭検出手段、52…輪郭距離検出手段、53…変化率検出手段、54…同期判定手段、55…トリガ判定手段、56…トンネル判定手段、100…車両用撮像装置、200…撮像手段、300…露出制御装置。
DESCRIPTION OF
Claims (4)
前記撮像装置には、マトリクス状に複数の光電変換素子が配置され、光学像を光電変換して前記光電変換素子の夫々毎に受光量に応じた電気信号を生成し、該電気信号をデジタル信号に量子化して出力する撮像手段が備えられ、
当該露出制御装置には、
前記撮像手段から出力されたデジタル信号から輝度信号を生成する輝度生成手段と、
画面が格子状に画成されて構成された複数のブロックの夫々毎に前記輝度信号を集計し該集計値をトンネル検出のための評価値として生成するトンネル評価値生成手段と、
前記トンネル評価値生成手段で生成された前記評価値に基づいて、前記光学像中におけるトンネル撮像の有無を検出するトンネル検出手段と、
前記トンネル検出手段を介して得られたトンネル撮像の有無に対応付けて、前記露出量の制御を切り替える露出制御切り替え手段と、
を備え、
前記撮像手段を介して、時間の経過に応じて連続した複数の画像を取得し、
前記トンネル評価値生成手段が、撮像された画像の中心から外形方向に放射線状に延出する複数の線上の夫々に沿って前記複数のブロックの夫々毎に前記評価値を生成し、
前記トンネル検出手段が、
前記放射線状の複数の線上の夫々に沿って生成された前記ブロック毎の評価値に基づいて、前記画像におけるトンネル出入り口の輪郭位置を前記放射線状の複数の線上の夫々毎に検出する輪郭検出手段と、
前記放射線状の複数の線上の夫々毎に、前記輪郭検出手段を介して検出された輪郭位置から前記画像の中心までの輪郭距離を検出する輪郭距離検出手段と、
前記放射線状の複数の線上の夫々毎に、時間の経過に応じて前記輪郭距離検出手段を介して検出された輪郭距離の変化率を検出する変化率検出手段と、
前記変化率検出手段で検出された変化率を前記放射線状の複数の線上間で比較して、前記変化率が該複数の線上間で同期するか否かを判定する同期判定手段と、
前記輪郭距離手段で検出された輪郭距離に基づいて、画面全体に対して該輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定手段と、
前記同期判定手段の判定結果において同期すると判定され、且つ、前記トリガ判定手段の判定結果においてトンネル検出が有効と判定された際に、前記トンネル出入り口が車両走行方向の近傍にあると判定するトンネル判定手段と、
によって構成され、
前記露出制御切り替え手段が、前記トンネル判定手段で前記トンネル出入り口が近傍にあると判定された際に、前記トンネル出入り口近傍の走行範囲における露出の目標値に対する制御の収束速度を、該トンネル出入り口近傍を除く走行範囲における収束速度よりも速い速度になるように切り替えるように構成されている、
ことを特徴とする車両用撮像装置の露出制御装置。 In an exposure control device for a vehicle imaging device that is mounted on a vehicle and controls an exposure amount for imaging a vehicle traveling direction according to a target value.
The imaging device includes a plurality of photoelectric conversion elements arranged in a matrix, photoelectrically converts an optical image to generate an electrical signal corresponding to the amount of received light for each of the photoelectric conversion elements, and converts the electrical signal into a digital signal. An image pickup means for quantizing and outputting the output,
In the exposure control device,
Luminance generation means for generating a luminance signal from the digital signal output from the imaging means;
A tunnel evaluation value generating means for totalizing the luminance signal for each of a plurality of blocks each having a screen defined in a grid and generating the total value as an evaluation value for tunnel detection;
Based on the evaluation value generated by the tunnel evaluation value generation means, tunnel detection means for detecting the presence or absence of tunnel imaging in the optical image,
Exposure control switching means for switching the control of the exposure amount in association with the presence or absence of tunnel imaging obtained through the tunnel detection means;
With
Via the imaging means to obtain a plurality of continuous images over time,
The tunnel evaluation value generating means generates the evaluation value for each of the plurality of blocks along each of a plurality of lines extending radially from the center of the captured image in the outer shape direction ,
The tunnel detection means is
Based on the evaluation value for each of the blocks generated along each of a plurality of lines of the radial contour detecting means for detecting the contour position of the tunnel entrance in the image for each of each of the plurality of lines of each of the radial When,
Contour distance detecting means for detecting the contour distance from the contour position detected via the contour detecting means to the center of the image for each of the plurality of radial lines ;
A plurality of each respective to a line of the radial, and the rate of change detecting means for detecting a rate of change of the detected contour distance through the contour distance detecting means in accordance with the elapse of time,
A synchronization determination unit that compares the change rate detected by the change rate detection unit between the plurality of radial lines and determines whether the change rate is synchronized between the plurality of lines ;
Based on the contour distance detected by the contour distance means, the ratio of the area in the contour to the entire screen is detected, and the detected ratio is compared with a predetermined value to determine the effectiveness of tunnel detection. Trigger determination means to perform,
Tunnel determination for determining that the tunnel entrance is in the vicinity of the vehicle traveling direction when it is determined that the synchronization is determined in the determination result of the synchronization determination unit and the tunnel detection is determined to be valid in the determination result of the trigger determination unit. Means,
Composed by
When the exposure control switching means determines that the tunnel entrance / exit is in the vicinity by the tunnel determination means, the control convergence speed for the exposure target value in the travel range in the vicinity of the tunnel entrance / exit is determined in the vicinity of the tunnel entrance / exit. It is configured to switch so as to be faster than the convergence speed in the travel range excluding,
An exposure control device for an imaging device for vehicles.
ことを特徴とする請求項1に記載の車両用撮像装置の露出制御装置。 When the exposure control switching means determines that the tunnel entrance is in the vicinity of the vehicle traveling direction by the tunnel determining means, the central part of the image range of the exposure control in the travel range near the tunnel entrance is the tunnel entrance Switch the image range of exposure control so that it is located at
The exposure control apparatus of the imaging device for vehicles of Claim 1 characterized by the above-mentioned.
マトリクス状に複数の光電変換素子が配置され、光学像を光電変換して前記光電変換素子の夫々毎に受光量に応じた電気信号を生成し、該電気信号をデジタル信号に量子化して出力する撮像手段を用い、
前記撮像手段から出力されたデジタル信号から輝度信号を生成する輝度生成ステップと、
画面が格子状に画成されて構成された複数のブロックの夫々毎に前記輝度信号を集計し該集計値をトンネル検出のための評価値として生成するトンネル評価値生成ステップと、
前記トンネル評価値生成ステップで生成された前記評価値に基づいて、前記光学像中におけるトンネル撮像の有無を検出するトンネル検出ステップと、
前記トンネル検出ステップを介して得られたトンネル撮像の有無に対応付けて、前記露出量の制御を切り替える露出制御切り替えステップと、
を用い、
前記撮像手段を介して、時間の経過に応じて連続した複数の画像を取得し、
前記トンネル評価値生成ステップが、撮像された画像の中心から外形方向に放射線状に延出する複数の線上の夫々に沿って前記複数のブロックの夫々毎に前記評価値を生成し、
前記トンネル検出ステップが、
前記放射線状の複数の線上の夫々に沿って生成された前記ブロック毎の評価値に基づいて、前記画像におけるトンネル出入り口の輪郭位置を前記放射線状の複数の線上の夫々毎に検出する輪郭検出ステップと、
前記放射線状の複数の線上の夫々毎に、前記輪郭検出ステップを介して検出された輪郭位置から前記画像の中心までの輪郭距離を検出する輪郭距離検出ステップと、
前記放射線状の複数の線上の夫々毎に、時間の経過に応じて前記輪郭距離検出ステップを介して検出された輪郭距離の変化率を検出する変化率検出ステップと、
前記変化率検出ステップで検出された変化率を前記放射線状の複数の線上間で比較して、前記変化率が該複数の線上間で同期するか否かを判定する同期判定ステップと、
前記輪郭距離検出ステップで検出された輪郭距離に基づいて、画面全体に対して該輪郭内の面積が占める割合を検出し、この検出された割合を所定値と比較してトンネル検出の有効性を判定するトリガ判定ステップと、
前記同期判定ステップの判定結果において同期すると判定され、且つ、前記トリガ判定ステップの判定結果においてトンネル検出が有効と判定された際に、前記トンネル出入り口が車両走行方向の近傍にあると判定するトンネル判定ステップと、
によって構成され、
前記露出制御切り替えステップが、前記トンネル判定ステップで前記トンネル出入り口が近傍にあると判定された際に、前記トンネル出入り口近傍の走行範囲における露出の目標値に対する制御の収束速度を、該トンネル出入り口近傍を除く走行範囲における収束速度よりも速い速度になるように切り替える、
ことを特徴とする車両用撮像装置の露出制御方法。 In an exposure control method for a vehicle imaging device that is mounted on a vehicle and controls an exposure amount for imaging a vehicle traveling direction according to a target value.
A plurality of photoelectric conversion elements are arranged in a matrix, and an optical image is photoelectrically converted to generate an electrical signal corresponding to the amount of received light for each of the photoelectric conversion elements, and the electrical signal is quantized into a digital signal and output. Using imaging means,
A luminance generation step of generating a luminance signal from the digital signal output from the imaging means;
A tunnel evaluation value generating step for totalizing the luminance signal for each of a plurality of blocks configured by defining a screen in a grid pattern and generating the total value as an evaluation value for tunnel detection;
Based on the evaluation value generated in the tunnel evaluation value generation step, a tunnel detection step of detecting the presence or absence of tunnel imaging in the optical image,
An exposure control switching step of switching the control of the exposure amount in association with the presence or absence of tunnel imaging obtained through the tunnel detection step;
Use
Via the imaging means to obtain a plurality of continuous images over time,
The tunnel evaluation value generation step generates the evaluation value for each of the plurality of blocks along each of a plurality of lines extending radially from the center of the captured image in the outer shape direction ,
The tunnel detection step comprises:
Based on the evaluation value for each of the blocks generated along each of a plurality of lines of the radial contour detection step of detecting the contour position of the tunnel entrance in the image for each of a plurality of lines of each of the radial When,
A contour distance detecting step for detecting a contour distance from the contour position detected through the contour detecting step to the center of the image for each of the plurality of radial lines ;
A change rate detection step for detecting a change rate of the contour distance detected through the contour distance detection step according to the passage of time for each of the plurality of radial lines ;
A synchronization determination step for comparing the change rate detected in the change rate detection step between the plurality of radial lines and determining whether the change rate is synchronized between the plurality of lines ;
Based on the contour distance detected in the contour distance detection step, the ratio of the area in the contour to the entire screen is detected, and the detected ratio is compared with a predetermined value to confirm the effectiveness of tunnel detection. A trigger determination step for determining;
Tunnel determination for determining that the tunnel entrance is in the vicinity of the vehicle traveling direction when it is determined that the synchronization is determined in the determination result of the synchronization determination step and the tunnel detection is determined to be valid in the determination result of the trigger determination step. Steps,
Composed by
When the exposure control switching step determines that the tunnel doorway is in the vicinity in the tunnel determination step, the convergence speed of the control for the exposure target value in the travel range in the vicinity of the tunnel doorway is determined in the vicinity of the tunnel doorway. Switch to a speed that is faster than the convergence speed in the driving range except
An exposure control method for a vehicular imaging device.
ことを特徴とする請求項3に記載の車両用撮像装置の露出制御方法。
When the exposure control switching step is determined in the tunnel determination step that the tunnel entrance is in the vicinity of the vehicle traveling direction, the central portion of the image range of the exposure control in the travel range near the tunnel entrance is the tunnel entrance Switch the image range of exposure control so that it is located at
The exposure control method of the imaging device for vehicles according to claim 3 characterized by things.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148991A JP4757932B2 (en) | 2009-06-23 | 2009-06-23 | Exposure control device and exposure control method for vehicle imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148991A JP4757932B2 (en) | 2009-06-23 | 2009-06-23 | Exposure control device and exposure control method for vehicle imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011009863A JP2011009863A (en) | 2011-01-13 |
JP2011009863A5 JP2011009863A5 (en) | 2011-02-24 |
JP4757932B2 true JP4757932B2 (en) | 2011-08-24 |
Family
ID=43566048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009148991A Expired - Fee Related JP4757932B2 (en) | 2009-06-23 | 2009-06-23 | Exposure control device and exposure control method for vehicle imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4757932B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657387B2 (en) | 2016-09-01 | 2020-05-19 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling vision sensor for autonomous vehicle |
KR102542166B1 (en) * | 2022-06-22 | 2023-06-13 | 주식회사 에프엠케이 | Apparatus for obtaining images of tunnel |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101511586B1 (en) * | 2013-03-04 | 2015-04-13 | 현대오트론 주식회사 | Apparatus and method for controlling vehicle by detection of tunnel |
KR102201314B1 (en) * | 2014-12-29 | 2021-01-11 | 주식회사 만도 | System and method for detecting a tunnel using front camera |
KR101735068B1 (en) * | 2016-01-11 | 2017-05-15 | 동국대학교 산학협력단 | Apparatus and method for adjusting tunnel brightness |
JP6501091B1 (en) * | 2017-10-30 | 2019-04-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | CONTROL DEVICE, IMAGING DEVICE, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM |
JP7196781B2 (en) * | 2019-06-14 | 2022-12-27 | 株式会社デンソー | Information processing device and driving support system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60240545A (en) * | 1984-05-11 | 1985-11-29 | Nippon Denso Co Ltd | Device for controlling vehicle before entering into tunnel |
JPH11139225A (en) * | 1997-11-07 | 1999-05-25 | Nissan Motor Co Ltd | Tunnel detector device and vehicle control device using it |
JP2004230963A (en) * | 2003-01-29 | 2004-08-19 | Calsonic Kansei Corp | Tunnel detecting method for vehicle, tunnel detecting device for vehicle, and vehicle controller using tunnel detecting device |
JP2007081695A (en) * | 2005-09-13 | 2007-03-29 | Xanavi Informatics Corp | Image pickup device for mobile body |
JP2008301342A (en) * | 2007-06-01 | 2008-12-11 | Fuji Heavy Ind Ltd | Vehicle exterior monitoring apparatus |
JP2009071706A (en) * | 2007-09-14 | 2009-04-02 | Toshiba Corp | Imaging device |
-
2009
- 2009-06-23 JP JP2009148991A patent/JP4757932B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60240545A (en) * | 1984-05-11 | 1985-11-29 | Nippon Denso Co Ltd | Device for controlling vehicle before entering into tunnel |
JPH11139225A (en) * | 1997-11-07 | 1999-05-25 | Nissan Motor Co Ltd | Tunnel detector device and vehicle control device using it |
JP2004230963A (en) * | 2003-01-29 | 2004-08-19 | Calsonic Kansei Corp | Tunnel detecting method for vehicle, tunnel detecting device for vehicle, and vehicle controller using tunnel detecting device |
JP2007081695A (en) * | 2005-09-13 | 2007-03-29 | Xanavi Informatics Corp | Image pickup device for mobile body |
JP2008301342A (en) * | 2007-06-01 | 2008-12-11 | Fuji Heavy Ind Ltd | Vehicle exterior monitoring apparatus |
JP2009071706A (en) * | 2007-09-14 | 2009-04-02 | Toshiba Corp | Imaging device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657387B2 (en) | 2016-09-01 | 2020-05-19 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling vision sensor for autonomous vehicle |
KR102542166B1 (en) * | 2022-06-22 | 2023-06-13 | 주식회사 에프엠케이 | Apparatus for obtaining images of tunnel |
Also Published As
Publication number | Publication date |
---|---|
JP2011009863A (en) | 2011-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4757932B2 (en) | Exposure control device and exposure control method for vehicle imaging device | |
JP4040613B2 (en) | Imaging device | |
JP4389999B2 (en) | Exposure control device and exposure control program | |
US20070263090A1 (en) | Method and Apparatus for Automatic Exposure of an In-Vehicle Camera | |
US7444075B2 (en) | Imaging device, camera, and imaging method | |
JP4433045B2 (en) | Exposure control device and exposure control program | |
US10863090B2 (en) | Control apparatus, image capturing apparatus, control method, and computer-readable storage medium | |
WO2014148161A1 (en) | Fault detection device | |
US6542696B2 (en) | Distance measurement apparatus of camera | |
JP5246254B2 (en) | Determining the exposure control value for in-vehicle cameras | |
US8531589B2 (en) | Image pickup device and image pickup method | |
JP4668863B2 (en) | Imaging device | |
JP4957030B2 (en) | Image processing apparatus, image processing method, and program | |
US8310546B2 (en) | Image processing apparatus adapted to recognize object in acquired image | |
JP4586548B2 (en) | Object detection apparatus and object detection method | |
JP3272694B2 (en) | Outside monitoring device with fail-safe function | |
JP2012010282A (en) | Imaging device, exposure control method, and exposure control program | |
JP2009146259A (en) | Vehicle number photographing system and vehicle number photographing method | |
JP5222779B2 (en) | License plate recognition device | |
JP6504892B2 (en) | Imaging device | |
JPH0984056A (en) | Image processing method and its device | |
JPH11201740A (en) | Image processing method and its device | |
JP2001169270A (en) | Image supervisory device and image supervisory method | |
JP2011228856A (en) | On-vehicle camera system, image processing apparatus, image processing method, and program | |
JP2005130155A (en) | Exposure control device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101201 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20101201 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20110107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110404 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110601 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |