JP4816308B2 - Far infrared imaging system and far infrared imaging method - Google Patents
Far infrared imaging system and far infrared imaging method Download PDFInfo
- Publication number
- JP4816308B2 JP4816308B2 JP2006208380A JP2006208380A JP4816308B2 JP 4816308 B2 JP4816308 B2 JP 4816308B2 JP 2006208380 A JP2006208380 A JP 2006208380A JP 2006208380 A JP2006208380 A JP 2006208380A JP 4816308 B2 JP4816308 B2 JP 4816308B2
- Authority
- JP
- Japan
- Prior art keywords
- far
- road surface
- infrared imaging
- temperature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、外部を撮像する複数の遠赤外線撮像装置の出力輝度値を、同一温度に対して略同一の輝度値を出力するよう補正することができる遠赤外線撮像システム及び遠赤外線撮像方法に関する。 The present invention relates to a far-infrared imaging system and a far-infrared imaging method capable of correcting output luminance values of a plurality of far-infrared imaging devices that image the outside so as to output substantially the same luminance value for the same temperature.
自動車等の車両の夜間走行の安全を確保すべく、ナイトビジョン等の遠赤外線撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右2基の遠赤外線撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出し、特徴量検出により障害物の存在を検出している。 In order to ensure the safety of vehicles such as automobiles during night driving, many obstacle detection systems that detect the presence of obstacles such as pedestrians and bicycles using far-infrared imaging devices such as night vision have been developed. Usually, two far-infrared imaging devices are installed at a predetermined position in front of the vehicle, the distance to the obstacle detected by stereo vision is calculated, and the presence of the obstacle is detected by feature amount detection.
しかし、遠赤外線撮像装置の撮像素子として良く用いられるボロメータ等は温度の検出感度のバラつきが大きい。したがって、時間変化に基づくオフセットのドリフト等が発生しやすいことから、撮像された画像にノイズが重畳されやすく、障害物の検出精度を向上することが困難であるという問題があった。 However, a bolometer or the like often used as an imaging element of a far-infrared imaging device has a large variation in temperature detection sensitivity. Therefore, offset drift or the like based on time changes is likely to occur, so that noise is easily superimposed on the captured image, and it is difficult to improve obstacle detection accuracy.
斯かる問題を解決すべく、例えば非特許文献1では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるNUC(Non-Uniformity Correction)について開示されている。非特許文献1では、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外線撮像装置からの出力値を補正している。
しかし、上述した撮像装置の出力値の補正方法では、絶対温度に対応してオフセット補正値を算出していないことから、複数の遠赤外線撮像装置を用いる場合には、異なる遠赤外線撮像装置が同一の輝度値を出力しているときでも、検出している温度が同一であることが保証されるものではない。したがって、障害物であるか否かを検出すべく画像の特徴量を抽出する場合に、遠赤外線撮像装置ごとに撮像した画像の明るさ、コントラスト等が相違し、遠赤外線撮像装置のAGC(Auto Gain Control)機能を用いても、正確に障害物を検出することが困難になるおそれがあるという問題点があった。 However, in the above-described correction method of the output value of the imaging device, the offset correction value is not calculated corresponding to the absolute temperature. Therefore, when using a plurality of far infrared imaging devices, different far infrared imaging devices are the same. Even when the luminance value is output, it is not guaranteed that the detected temperatures are the same. Therefore, when extracting the feature amount of an image to detect whether it is an obstacle, the brightness, contrast, etc. of the image captured for each far-infrared imaging device are different, and the AGC (Auto Even if the (Gain Control) function is used, there is a problem that it may be difficult to accurately detect an obstacle.
特に車両前部に左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合等には、画像の明るさ、コントラスト等を一致させることが困難であり、精度を向上させることが困難になる。したがって、両撮像装置で撮像された画像の明るさ、コントラスト等が略一致するように出力輝度値を補正することにより、障害物の検出精度は飛躍的に向上する。 In particular, when performing distance measurement based on stereo vision based on images captured by far-infrared imaging devices installed on the left and right of the front of the vehicle, it is difficult to match the brightness and contrast of the images. It becomes difficult to improve accuracy. Therefore, by correcting the output luminance value so that the brightness, contrast, and the like of the images captured by both the imaging devices are substantially the same, the obstacle detection accuracy is dramatically improved.
本発明は、斯かる事情に鑑みてなされたものであり、複数の遠赤外線撮像装置の出力値を、同一の対象物に対しては略一致するように補正することができる遠赤外線撮像システム及び遠赤外線撮像方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a far-infrared imaging system capable of correcting the output values of a plurality of far-infrared imaging devices so as to substantially match the same object, and An object is to provide a far-infrared imaging method.
上記目的を達成するために第1発明に係る遠赤外線撮像システムは、撮像素子がマトリックス状に配列された画像撮像部を有し、車両の周辺の画像を撮像する複数の遠赤外線撮像装置と、車両下部の路面の温度を計測する路面温度計測手段と、前記遠赤外線撮像装置及び路面温度計測手段とデータ通信可能に接続してある演算装置とを備え、計測された路面の温度に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、車両の速度を検出する速度検出手段を備え、前記演算装置は、複数の遠赤外線撮像装置から取得した画像データごとに画像の所定の位置に表示される計測点を特定する手段と、特定された計測点までの距離を推算する手段と、推算された距離及び車両の速度に基づいて、特定された計測点が車両の下部に移動するまでの所要時間を算出する手段と、画像データ取得時から計時を開始する計時手段と、算出した所要時間が経過したか否かを判断する手段と、該手段で経過したと判断した場合、前記路面温度計測手段で計測した路面の温度を取得する手段と、複数時点での路面の温度及び前記計測点の出力値に基づいて画像撮像部ごとの補正係数を算出する算出手段と、算出した補正係数を送信する手段とを備え、前記遠赤外線撮像装置は、算出された補正係数を受信する手段と、受信した補正係数にて出力値を補正して外部へ出力する手段とを備えることを特徴とする。 Far IR imaging system according to the first invention to achieve the above object, includes an image imaging unit which the imaging elements are arranged in a matrix, and a plurality of far-infrared imaging device for capturing an image around the vehicle, A road surface temperature measuring means for measuring the temperature of the road surface under the vehicle, and a computing device connected to the far-infrared imaging device and the road surface temperature measuring means so as to be able to communicate with the data, and imaging based on the measured temperature of the road surface A far-infrared imaging system that corrects and outputs an output value for each element includes a speed detection unit that detects the speed of the vehicle, and the arithmetic unit is configured to perform predetermined image processing for each image data acquired from a plurality of far-infrared imaging devices. Based on the estimated distance and the speed of the vehicle, the specified measurement point is determined by the means for specifying the measurement point displayed at the position, the means for estimating the distance to the specified measurement point, and the vehicle speed. Means for calculating the time required to move to the lower part of the device, time measuring means for starting time measurement from the time of image data acquisition, means for determining whether the calculated required time has elapsed, and that means have passed If it is determined, a means for acquiring the temperature of the road surface measured by the road surface temperature measuring means, and a calculating means for calculating a correction coefficient for each image pickup unit based on the road surface temperature at a plurality of time points and the output value of the measurement point And means for transmitting the calculated correction coefficient, wherein the far-infrared imaging device has means for receiving the calculated correction coefficient, and means for correcting the output value with the received correction coefficient and outputting it to the outside It is characterized by providing.
また、第2発明に係る遠赤外線撮像システムは、第1発明において、前記演算装置が備える算出手段は、複数の時点で取得した路面の温度、及び前記計測点に対する撮像素子の出力値を一次近似して温度に対する出力値を補正する補正係数を算出するようにしてあることを特徴とする。 In the far-infrared imaging system according to the second invention, in the first invention, the calculation means included in the arithmetic device linearly approximates the temperature of the road surface acquired at a plurality of times and the output value of the imaging device with respect to the measurement point. Thus, a correction coefficient for correcting the output value with respect to the temperature is calculated .
また、第3発明に係る遠赤外線撮像システムは、第2発明において、前記演算装置は、複数の時点で取得した路面の温度の差異を算出する手段と、算出した差異が所定値より小さいか否かを判断する判断手段とを備え、前記算出手段は、前記判断手段が小さいと判断した場合、温度に対する出力値を一次近似しないようにしてあることを特徴とする。 In the far-infrared imaging system according to a third aspect of the present invention, in the second aspect of the invention, the calculation device includes means for calculating a difference in road surface temperature obtained at a plurality of points in time, and whether the calculated difference is smaller than a predetermined value. and a determining means for determining whether the calculation means, if it is determined that the determination means is small, characterized in that the output value of the temperature are to avoid the first-order approximation.
また、第4発明に係る遠赤外線撮像方法は、撮像素子がマトリックス状に配列された画像撮像部を有し、車両の周辺の画像を撮像する複数の遠赤外線撮像装置と、車両下部の路面の温度を計測する路面温度計測手段と、前記遠赤外線撮像装置及び路面温度計測手段とデータ通信可能に接続してある演算装置とを用い、計測された路面の温度に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像方法において、前記演算装置にて、複数の遠赤外線撮像装置から取得した画像データごとに画像の所定の位置に表示される計測点を特定し、特定された計測点までの距離を推算し、推算された距離及び車両の速度に基づいて、特定された計測点が車両の下部に移動するまでの所要時間を算出し、画像データ取得時から計時を開始し、算出した所要時間が経過したか否かを判断し、該手段で経過したと判断した場合、前記路面温度計測手段で計測した路面の温度を取得し、複数時点での路面の温度及び前記計測点の出力値に基づいて画像撮像部ごとの補正係数を算出し、算出した補正係数を送信し、前記遠赤外線撮像装置は、算出された補正係数を受信し、受信した補正係数にて出力値を補正して外部へ出力することを特徴とする。 A far-infrared imaging method according to a fourth aspect of the present invention includes an image imaging unit in which imaging elements are arranged in a matrix, a plurality of far-infrared imaging devices that capture an image around the vehicle, and a road surface below the vehicle. An output value for each image sensor based on the measured road surface temperature, using a road surface temperature measuring means for measuring temperature, and an arithmetic device connected to the far-infrared imaging device and the road surface temperature measuring means for data communication. In the far-infrared imaging method that corrects and outputs the image, the arithmetic unit specifies a measurement point displayed at a predetermined position of the image for each image data acquired from a plurality of far-infrared imaging devices, and the specified measurement Estimate the distance to the point, calculate the time required for the specified measurement point to move to the lower part of the vehicle based on the estimated distance and vehicle speed, start counting from the time of image data acquisition, Calculation When it is determined that the required time has elapsed, and when it is determined that the time has elapsed, the road surface temperature measured by the road surface temperature measuring means is obtained, and the temperature of the road surface at a plurality of time points and the measurement points Based on the output value, the correction coefficient for each image capturing unit is calculated, the calculated correction coefficient is transmitted, and the far-infrared imaging device receives the calculated correction coefficient, and corrects the output value with the received correction coefficient. And output to the outside.
第1発明、及び第4発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像する複数の遠赤外線撮像装置と、車両下部の路面の温度を計測する路面温度計測手段と、遠赤外線撮像装置及び路面温度計測手段とデータ通信可能に接続してある演算装置とを用い、計測された路面の温度に基づいて撮像素子ごとに出力値を補正して出力する。演算装置にて、複数の遠赤外線撮像装置から取得した画像データごとに画像の所定の位置に表示される計測点を特定し、特定された計測点までの距離を推算する。推算された距離及び車両の速度に基づいて、特定された計測点が車両の下部に移動するまでの所要時間を算出する。画像データ取得時から所要時間が経過した時点で路面の温度を取得し、複数の時点での路面の温度及び計測点の出力値に基づいて撮像素子ごとの補正係数を算出する。遠赤外線撮像装置は、演算装置で算出された補正係数を取得し、該補正係数にて出力値を補正して外部へ出力する。異なる時点で撮像された画像の計測点は相違しており、路面の温度及び出力値が相違していることから、複数の時点で計測された路面の温度及び該路面の温度に対する撮像素子の出力値を基準として、出力値を遠赤外線撮像装置ごとに補正することにより、遠赤外線撮像装置が異なる場合であっても計測された路面の温度に対する出力値を略一致させることができる。したがって、複数の遠赤外線撮像装置で撮像された画像の明るさ、コントラスト等を略一致させることができ、障害物の検出精度を向上させることが可能となる。 In the first invention and the fourth invention, a plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and that take an image around the vehicle, and a road surface temperature measurement that measures the temperature of the road surface below the vehicle The output value is corrected for each image sensor based on the measured temperature of the road surface using the means and a computing device connected to the far-infrared imaging device and the road surface temperature measuring means so as to be able to perform data communication. The calculation device specifies a measurement point displayed at a predetermined position of the image for each image data acquired from a plurality of far-infrared imaging devices, and estimates the distance to the specified measurement point. Based on the estimated distance and the speed of the vehicle, a time required until the specified measurement point moves to the lower part of the vehicle is calculated. The road surface temperature is acquired when the required time has elapsed since the image data acquisition, and the correction coefficient for each image sensor is calculated based on the road surface temperature and the output values of the measurement points at a plurality of time points. The far-infrared imaging device acquires the correction coefficient calculated by the arithmetic device, corrects the output value with the correction coefficient, and outputs the correction value to the outside. Since the measurement points of images taken at different time points are different and the road surface temperature and output value are different, the temperature of the road surface measured at a plurality of time points and the output of the image sensor with respect to the temperature of the road surface By correcting the output value for each far-infrared imaging device using the value as a reference, the output value with respect to the measured road surface temperature can be substantially matched even when the far-infrared imaging device is different. Therefore, the brightness, contrast, and the like of images captured by a plurality of far-infrared imaging devices can be substantially matched, and the obstacle detection accuracy can be improved.
第2発明では、遠赤外線撮像装置は、複数の時点で取得した路面の温度、及び計測点に対する撮像素子の出力値を一次近似して温度に対する出力値を補正する。異なる時点で撮像された画像の計測点は相違しており、路面の温度及び出力値が相違していることから、複数の時点で計測された路面の温度及び該路面の温度に対する撮像素子の出力値を一次近似することにより、少なくとも2点以上の路面の温度及び出力値に基づいて、出力値を遠赤外線撮像装置ごとに補正することができる。 In the second invention, the far-infrared imaging device corrects the output value with respect to the temperature by linearly approximating the temperature of the road surface acquired at a plurality of times and the output value of the imaging device with respect to the measurement point. Since the measurement points of images taken at different time points are different and the road surface temperature and output value are different, the temperature of the road surface measured at a plurality of time points and the output of the image sensor with respect to the temperature of the road surface By linearly approximating the value, the output value can be corrected for each far-infrared imaging device based on at least two road surface temperatures and output values.
第3発明では、遠赤外線撮像装置は、複数の時点で取得した路面の温度の差異を算出し、算出した差異が所定値より小さい場合には、温度に対する出力値を一次近似しない。温度差が過小である場合には、一次近似することによる誤差が過大となることから、過小である場合には記憶してある温度補正係数を更新しないようにすることで、遠赤外線撮像装置の出力精度を高く維持することが可能となる。 In the third invention, the far-infrared imaging device calculates a difference in road surface temperature acquired at a plurality of points in time, and if the calculated difference is smaller than a predetermined value, the far-infrared imaging device does not first approximate the output value with respect to the temperature. If the temperature difference is too small, the error due to the first order approximation becomes excessive. If it is too small, the stored temperature correction coefficient is not updated. It becomes possible to maintain high output accuracy.
本発明によれば、複数の時点で取得した路面の温度、及び計測点に対する撮像素子の出力値を用いて出力値を補正して外部へ出力する。異なる時点で撮像された画像の計測点は相違しており、路面の温度及び出力値が相違していることから、複数の時点で計測された路面の温度及び該路面の温度に対する撮像素子の出力値を基準として、出力値を遠赤外線撮像装置ごとに補正することにより、遠赤外線撮像装置が異なる場合であっても計測された路面の温度に対する出力値を略一致させることができる。したがって、複数の遠赤外線撮像装置で撮像された画像の明るさ、コントラスト等を略一致させることができ、障害物の検出精度を向上させることが可能となる。 According to the present invention, the output value is corrected using the road surface temperature acquired at a plurality of points in time and the output value of the image sensor with respect to the measurement point, and output to the outside. Since the measurement points of images taken at different time points are different and the road surface temperature and output value are different, the temperature of the road surface measured at a plurality of time points and the output of the image sensor with respect to the temperature of the road surface By correcting the output value for each far-infrared imaging device using the value as a reference, the output value with respect to the measured road surface temperature can be substantially matched even when the far-infrared imaging device is different. Therefore, the brightness, contrast, and the like of images captured by a plurality of far-infrared imaging devices can be substantially matched, and the obstacle detection accuracy can be improved.
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図1は、本発明の実施の形態に係る遠赤外線撮像システムの構成を模式的に示す図である。本実施の形態では、走行中に周辺の画像を撮像する一組の遠赤外線撮像装置1、1を、車両前方の中央近傍のフロントグリル内(バンパー内でも可能)に搭載している。なお、遠赤外線撮像装置1、1は、波長が7〜14マイクロメートルの赤外光を用いた撮像装置である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram schematically showing a configuration of a far-infrared imaging system according to an embodiment of the present invention. In the present embodiment, a set of far-
図1において、遠赤外線撮像装置1、1は、車両のフロントグリル内の左右方向の略対称な位置に並置してある。遠赤外線撮像装置1、1で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある演算装置3へ送信される。
In FIG. 1, far-
演算装置3は、取得した遠赤外線画像データを用いて種々の演算処理を実行する。演算装置3は、遠赤外線撮像装置1、1の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。
The arithmetic device 3 executes various arithmetic processes using the acquired far infrared image data. The arithmetic device 3 is connected to the far
また、演算装置3は、車両の速度を検出する車速センサ(速度検出手段)2及び路面温度センサ(路面温度計測手段)9ともCANに準拠した車載LANケーブル6を介して接続されており、それぞれ車両の速度及び路面の温度を取得することができる。
The computing device 3 is also connected to a vehicle speed sensor (speed detection means) 2 for detecting the speed of the vehicle and a road surface temperature sensor (road surface temperature measurement means) 9 via an in-
図2は、本発明の実施の形態に係る遠赤外線撮像装置1の構成を示すブロック図である。図2において、画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。遠赤外線用の撮像素子としては、マイクロマシニング(micromachining)技術を用いた酸化バナジウムのボロメータ型、BSTO(Barium−Titanium Oxide)の焦電型等の赤外線センサを用いる。
FIG. 2 is a block diagram showing the configuration of the far-
画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、LSI基板である信号処理部12へ送信する。図3は、本発明の実施の形態に係る遠赤外線撮像装置1の信号処理部12の構成を示すブロック図である。信号処理部12は、A/D変換部121、NUC(Non-Uniformity Correction)処理部122、BPR(Bad-Pixel Replacement)処理部123、及びフラッシュメモリ等の不揮発性メモリ、SRAM等の一時記憶用メモリであるRAM(記憶手段)125で構成されている。
The
信号処理部12は、画像撮像部11から受信した輝度信号をA/D変換部121でデジタル信号に変換し、NUC(Non-Uniformity Correction)処理部122で撮像素子ごとに出力された輝度信号を補正する。
The
NUC処理部122では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対して出力される輝度値を補正するオフセット補正値、及び撮像素子ごとに所定の温度変化率に対して出力される輝度値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばi行j列のマトリックス状に配列された撮像素子ごとの輝度値をVijとした場合、NUC処理部122では(数1)に示す演算を行うことにより撮像素子ごとの輝度値をV’ijへ補正する。
The NUC
(数1)において、Gijはゲイン補正値を、Oijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの輝度値に基づいて算出した値である。 In (Equation 1), G ij represents a gain correction value, and O ij represents an offset correction value. For example, the luminance for each image sensor when an object having a uniform temperature distribution such as a black body furnace or a shutter is imaged. It is a value calculated based on the value.
また、BPR処理部123では、補正された撮像素子ごとの輝度値をV’ijに対して欠陥画素補正を実行し、撮像素子ごとに輝度値をV’ijを補正輝度値V”ijに補正する。
Further, the
複数の遠赤外線撮像装置1、1において、撮像対象物の温度が同一である場合には同一の輝度値を出力するよう出力値を補正するためには、温度分布が略均一である対象物の絶対温度を取得し、絶対温度に対応して出力される輝度値が略同一となるようにする温度補正係数を算出する必要がある。そこで、本実施の形態では、複数の時点で撮像した路面上の計測点の出力輝度値、及び該計測点での路面の温度を複数取得し、一次関数に近似することにより、複数の遠赤外線撮像装置1、1での同一温度に対する出力輝度値を略一致させている。
In the plurality of far-
本実施の形態では、路面の温度を検出する手段として、公知の赤外線センサ等の非接触型の路面温度センサ(路面温度計測手段)9を用いる。路面温度センサ9は、車両の下部中央近傍に設置されており、路面との距離が比較的短いことから近赤外線を照射することにより路面の温度を計測する。
In the present embodiment, a non-contact type road surface temperature sensor (road surface temperature measuring means) 9 such as a known infrared sensor is used as means for detecting the road surface temperature. The road
信号処理部12は、車両前方の路面部分に相当する計測点が車両の下部に到達するまでの所要時間に基づいて、演算装置3にて算出された温度補正係数を受信し、BPR処理部123で欠陥画素を補正することにより、輝度値V’ij を補正輝度値V”ij に補正する。
The
通信インタフェース部14は、LSI基板であり、通信ケーブル等の通信線2を介して外部の装置から受信した指令に従って、画像メモリ13に記憶された画像データの外部の装置への送出、撮像した画像の解像度による転送レートの変換、画像データを送出するためのデータのフォーマット変換等を行う。
The
図4は、本発明の実施の形態に係る遠赤外線撮像システムの演算装置3の構成を示すブロック図である。演算装置3は画像処理ECUであり、少なくとも撮像装置インタフェース部31a、映像出力部31b、通信インタフェース部31c、画像メモリ32、及びRAM331を内蔵するLSI33で構成されている。
FIG. 4 is a block diagram showing a configuration of the arithmetic device 3 of the far infrared imaging system according to the embodiment of the present invention. The arithmetic device 3 is an image processing ECU, and includes at least an imaging device interface unit 31a, a
撮像装置インタフェース部31aは、遠赤外線撮像装置1、1から映像信号の入力を行うとともに、演算装置3で算出された温度補正係数を出力する。撮像装置インタフェース部31aは、遠赤外線撮像装置1、1から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部31bは、映像ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力する。
The imaging device interface unit 31 a inputs video signals from the far-
通信インタフェース部31cは、車載LANケーブル6を介してブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。また、通信インタフェース部31cは、車載LANケーブル6を介して車速センサ2から車両の速度を、路面温度センサ9から路面の温度を、それぞれ受信し、RAM331に記憶する。
The
画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、撮像装置インタフェース部31aを介して遠赤外線撮像装置1、1から入力された画像データを記憶する。
The
図5及び図6は、本発明の実施の形態に係る遠赤外線撮像システムの演算装置3のLSI33の処理手順を示すフローチャートである。画像処理を行うLSI33は、画像メモリ32に記憶された画像データをフレーム単位で読み出し(ステップS501)、内蔵するタイマ等で計時を開始する(ステップS502)。LSI33は、周囲の輝度値が略均一である計測点を特定する(ステップS503)。本実施の形態では、計測点として、画像の中央近傍下方にて輝度値が略均一である領域に属する点を計測点として特定する。すなわち路面上の代表点として計測点を取得する。計測点を特定する方法は特に限定されるものではなく、路面上の一点を特定することさえできれば何でも良い。
5 and 6 are flowcharts showing a processing procedure of the
LSI33は、特定した計測点の左右の遠赤外線撮像装置1、1で撮像された画像の視差に基づいて、計測点の車両前端を原点とした座標系での位置座標を推算する(ステップS504)。LSI33は、速度センサ2から車両の速度を取得し(ステップS505)、位置座標を推算した計測点が、車両の移動により車両の下部に到達するまでの所要時間を算出する(ステップS506)。図7は、遠赤外線撮像装置1で撮像された画像の一例を示す図であり、図8は、所要時間算出方法の概念を模式的に示す図である。図7の例では、画像の中央近傍、すなわち車両の進行方向に路面が撮影されている。したがって、周囲の輝度値が略均一であり、画像の中央下方にて計測点P1を特定する。
The
計測点P1の位置座標は、左右の遠赤外線撮像装置1、1で撮像された画像のステレオ視により推算できる。すなわち、図8に示す車両前端から計測点P1までの距離Lは容易に推定することができる。また、路面の温度を計測する路面温度センサ9の取付位置P2は自明であることから、車両の前端から路面温度センサ9の取付位置P2までの距離lも取得することができる。したがって、計測点P1が路面温度センサ9の下方にまで移動する所要時間ΔTは、速度センサ2で検出された車両の速度をVとした場合、(L+l)/Vで求めることができる。
The position coordinates of the measurement point P1 can be estimated by stereo viewing of images captured by the left and right far-
LSI33は、算出した所要時間ΔTが経過したか否かを判断し(ステップS507)、LSI33が、所要時間ΔTが経過したと判断した場合(ステップS507:YES)、LSI33は、路面温度センサ9で計測した路面の温度を取得し(ステップS508)、計測点の出力輝度値と対応付けてRAM331に記憶する(ステップS509)。
The
LSI33は、直近の路面の温度及び出力輝度値が、既にRAM331に記憶されているか否かを判断し(ステップS510)、LSI33が、記憶されていると判断した場合(ステップS510:YES)、LSI33は、2組の路面の温度及び出力輝度値をRAM331から読み出して、一次補間した場合の一次関数を算出して(ステップS511)、出力輝度値が該一次関数に従うように温度補正係数を算出する(ステップS512)。
The
図9は、一次関数を求める方法の概要を示す図である。RAM331に記憶してある2組の路面の温度及び出力輝度値を、それぞれ(T1、V1)、(T2、V2)とした場合、図9に示すように2点(T1、V1)、(T2、V2)間を最小二乗法等により直線補間することにより、温度Tと輝度Vとの一次関数Fを算出する。
FIG. 9 is a diagram showing an outline of a method for obtaining a linear function. When the temperature and output luminance values of the two sets of road surfaces stored in the
求める一次関数Fは、2点補間の場合には一義的に定まる。例えば2点(T1、V1)、(T2、V2)を用いた場合、撮像素子ごとの補正輝度値V”ijを用いて補正した温度Tijを算出する一次関数Fは、(数2)で表すことができる。 The obtained linear function F is uniquely determined in the case of two-point interpolation. For example, when two points (T1, V1) and (T2, V2) are used, the linear function F for calculating the temperature T ij corrected using the corrected luminance value V ″ ij for each image sensor is given by (Equation 2). Can be represented.
(数2)に示すように補正輝度値V”ijを用いて温度を補正することにより、異なる遠赤外線撮像装置1、1であっても、同一の対象物を撮像した場合には略同一の輝度値を出力することが可能となる。
As shown in (Expression 2), by correcting the temperature using the corrected luminance value V ″ ij , even when different far-
LSI33が、記憶されていないと判断した場合(ステップS510:NO)、LSI33は、ステップS501へ処理を戻し、上述した処理を繰り返すことにより、次のタイミングでの路面の温度及び出力輝度値を取得する。LSI33は、(数3)に示す一次関数Fの係数A、B、すなわち温度補正係数を遠赤外線撮像装置1、1へ送信する(ステップS513)。
When the
なお、2点(T1、V1)、(T2、V2)間を最小二乗法等により直線補間することにより、温度Tと輝度Vとの一次関数Fを算出する場合、2点が近接している場合には誤差が大きくなる。そこで、例えばLSI33に2点の温度差(T2−T1)を算出させ、(T2−T1)が所定の温度差(例えば0.5度)より小さい場合には一次近似を行わないようにしても良い。
Note that when the linear function F between the temperature T and the luminance V is calculated by linear interpolation between the two points (T1, V1) and (T2, V2) by the least square method or the like, the two points are close to each other. In some cases, the error increases. Thus, for example, the
以下、遠赤外線撮像装置1、1の信号処理部12での出力された輝度信号(出力値)の補正処理について説明する。図10は、本発明の実施の形態に係る遠赤外線撮像装置1の信号処理部12の出力された輝度信号の補正処理の手順を示すフローチャートである。
Hereinafter, correction processing of the output luminance signal (output value) in the
遠赤外線撮像装置1の画像撮像部11は、温度分布が略均一である前方の路面を撮像し、撮像素子ごとの出力値が信号処理部12へ送信される。信号処理部12は、画像撮像部11から撮像素子ごとの輝度信号を受信し(ステップS1001)、デジタル信号Vijへ変換する(ステップS1002)。
The
信号処理部12は、RAM125に記憶してあるオフセット補正値及びゲイン補正値を用いて、画像撮像部11で撮像された輝度信号を補正し(ステップS1003)、補正輝度値V”ijを演算装置3へ出力する。信号処理部12は、演算装置3にて算出された一次関数Fの温度補正係数A、Bの受信待ち状態となる(ステップS1004)。
The
信号処理部12が、一次関数Fの温度補正係数A、Bを受信した場合(ステップS1004:YES)、信号処理部12は、受信した一次関数Fの温度補正係数A、BをRAM125に記憶し(ステップS1005)、補正輝度値V”ij を用いて(数2)に従って算出した補正温度Tij を出力する(ステップS1006)。
When the
以後、信号処理部12は、RAM125に記憶された一次関数Fの温度補正係数A、Bを用いて、補正温度Tijを出力する。このようにすることで、異なる遠赤外線撮像装置1であっても、同一の対象物を撮像した場合には、同一の温度に対して略同一の輝度値を出力することができ、複数の遠赤外線撮像装置1、1で撮像された画像の明るさ、コントラスト等を略一致させることができ、障害物の検出精度を向上させることが可能となる。
Thereafter, the
また、過去に算出された温度補正係数A、BをRAM331に履歴情報として記憶しておき、新たに算出された温度補正係数A、Bが、記憶されている値と大きく乖離している場合には、新たに算出された温度補正係数A、Bを遠赤外線撮像装置1、1へ送信しないようにすることが望ましい。算出誤差を抑制するためである。
Further, when the temperature correction coefficients A and B calculated in the past are stored in the
以上のように本実施の形態によれば、計測された路面の温度及び該路面の温度に対する撮像素子の出力輝度値を基準として、複数の遠赤外線撮像装置1、1の撮像素子の出力輝度値を一次補間した温度補正係数を用いて補正することにより、計測された表面温度に対する出力輝度値を、遠赤外線撮像装置1、1、・・・が異なる場合であっても略一致させることができる。したがって、複数の遠赤外線撮像装置1、1、・・・で撮像された画像の明るさ、コントラスト等を略一致させることができ、障害物の検出精度を向上させることが可能となる。
As described above, according to the present embodiment, the output luminance values of the imaging elements of the plurality of far-
また、本実施の形態では、遠赤外線撮像装置1の温度補正係数A、Bを演算装置3で算出して遠赤外線撮像装置1へフィードバックしているが、これに限定されるものではなく、遠赤外線撮像装置1内の画像処理部12で温度補正係数A、Bを算出しても良い。
In the present embodiment, the temperature correction coefficients A and B of the far-
1 遠赤外線撮像装置
2 速度センサ
3 演算装置
9 路面温度センサ
11 画像撮像部
12 信号処理部
13 画像メモリ
14 通信インタフェース部
33 LSI
121 A/D変換部
122 NUC処理部
123 BPR処理部
125、331 RAM
DESCRIPTION OF
121 A /
Claims (4)
車両下部の路面の温度を計測する路面温度計測手段と、
前記遠赤外線撮像装置及び路面温度計測手段とデータ通信可能に接続してある演算装置と
を備え、計測された路面の温度に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、
車両の速度を検出する速度検出手段を備え、
前記演算装置は、
複数の遠赤外線撮像装置から取得した画像データごとに画像の所定の位置に表示される計測点を特定する手段と、
特定された計測点までの距離を推算する手段と、
推算された距離及び車両の速度に基づいて、特定された計測点が車両の下部に移動するまでの所要時間を算出する手段と、
画像データ取得時から計時を開始する計時手段と、
算出した所要時間が経過したか否かを判断する手段と、
該手段で経過したと判断した場合、前記路面温度計測手段で計測した路面の温度を取得する手段と、
複数時点での路面の温度及び前記計測点の出力値に基づいて画像撮像部ごとの補正係数を算出する算出手段と、
算出した補正係数を送信する手段と
を備え、
前記遠赤外線撮像装置は、
算出された補正係数を受信する手段と、
受信した補正係数にて出力値を補正して外部へ出力する手段と
を備えることを特徴とする遠赤外線撮像システム。 A plurality of far-infrared imaging devices that have an image pickup unit in which the image pickup elements are arranged in a matrix, and pick up images around the vehicle;
Road surface temperature measuring means for measuring the temperature of the road surface under the vehicle;
A far-infrared imaging system comprising: an arithmetic unit connected to the far-infrared imaging device and the road surface temperature measuring means so as to be able to perform data communication, and correcting and outputting an output value for each imaging device based on the measured temperature of the road surface In
A speed detecting means for detecting the speed of the vehicle;
The arithmetic unit is:
Means for specifying a measurement point displayed at a predetermined position of an image for each image data acquired from a plurality of far-infrared imaging devices;
Means for estimating the distance to the identified measurement point;
Means for calculating the time required for the identified measurement point to move to the lower part of the vehicle based on the estimated distance and the vehicle speed;
A timing means for starting timing from the time of image data acquisition;
Means for determining whether the calculated required time has elapsed;
Means for obtaining the temperature of the road surface measured by the road surface temperature measuring means when it is determined that the means has passed;
Calculating means for calculating a correction coefficient for each image capturing unit based on the temperature of the road surface at a plurality of points in time and the output value of the measurement point;
Means for transmitting the calculated correction coefficient, and
The far-infrared imaging device is:
Means for receiving the calculated correction factor;
Means for correcting an output value with a received correction coefficient and outputting the corrected value to the outside.
複数の時点で取得した路面の温度、及び前記計測点に対する撮像素子の出力値を一次近似して温度に対する出力値を補正する補正係数を算出するようにしてあることを特徴とする請求項1記載の遠赤外線撮像システム。 The calculation means included in the arithmetic device is:
The correction coefficient for correcting the output value with respect to the temperature is calculated by linearly approximating the temperature of the road surface acquired at a plurality of points in time and the output value of the image sensor at the measurement point. Far infrared imaging system.
複数の時点で取得した路面の温度の差異を算出する手段と、
算出した差異が所定値より小さいか否かを判断する判断手段とを備え、
前記算出手段は、前記判断手段が小さいと判断した場合、温度に対する出力値を一次近似しないようにしてあること
を特徴とする請求項2記載の遠赤外線撮像システム。 The arithmetic unit is:
Means for calculating the difference in temperature of the road surface acquired at a plurality of points in time;
Calculated difference and a determination means for determining whether or not smaller than a predetermined value,
The far-infrared imaging system according to claim 2 , wherein, when the calculating unit determines that the determining unit is small, the output value with respect to the temperature is not linearly approximated.
車両下部の路面の温度を計測する路面温度計測手段と、
前記遠赤外線撮像装置及び路面温度計測手段とデータ通信可能に接続してある演算装置と
を用い、計測された路面の温度に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像方法において、
前記演算装置にて、
複数の遠赤外線撮像装置から取得した画像データごとに画像の所定の位置に表示される計測点を特定し、
特定された計測点までの距離を推算し、
推算された距離及び車両の速度に基づいて、特定された計測点が車両の下部に移動するまでの所要時間を算出し、
画像データ取得時から計時を開始し、
算出した所要時間が経過したか否かを判断し、
該手段で経過したと判断した場合、前記路面温度計測手段で計測した路面の温度を取得し、
複数時点での路面の温度及び前記計測点の出力値に基づいて画像撮像部ごとの補正係数を算出し、
算出した補正係数を送信し、
前記遠赤外線撮像装置は、
算出された補正係数を受信し、
受信した補正係数にて出力値を補正して外部へ出力することを特徴とする遠赤外線撮像方法。 A plurality of far-infrared imaging devices that have an image pickup unit in which the image pickup elements are arranged in a matrix, and pick up images around the vehicle;
Road surface temperature measuring means for measuring the temperature of the road surface under the vehicle;
A far-infrared imaging method for correcting and outputting an output value for each image sensor based on the measured temperature of the road surface, using the far-infrared imaging device and an arithmetic device connected to the road surface temperature measuring means so as to be able to perform data communication In
In the arithmetic unit,
For each image data acquired from a plurality of far-infrared imaging devices, specify a measurement point displayed at a predetermined position of the image,
Estimate the distance to the specified measurement point,
Based on the estimated distance and vehicle speed, calculate the time required for the specified measurement point to move to the bottom of the vehicle,
Start timing from the time of image data acquisition,
Determine whether the calculated time has elapsed,
If it is determined that the means has passed, obtain the temperature of the road surface measured by the road surface temperature measuring means,
Based on the temperature of the road surface at multiple points in time and the output value of the measurement point, a correction coefficient for each image capturing unit is calculated,
Send the calculated correction factor,
The far-infrared imaging device is:
Receive the calculated correction factor,
A far infrared imaging method, wherein an output value is corrected with a received correction coefficient and output to the outside.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006208380A JP4816308B2 (en) | 2006-07-31 | 2006-07-31 | Far infrared imaging system and far infrared imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006208380A JP4816308B2 (en) | 2006-07-31 | 2006-07-31 | Far infrared imaging system and far infrared imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008035365A JP2008035365A (en) | 2008-02-14 |
JP4816308B2 true JP4816308B2 (en) | 2011-11-16 |
Family
ID=39124294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006208380A Expired - Fee Related JP4816308B2 (en) | 2006-07-31 | 2006-07-31 | Far infrared imaging system and far infrared imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4816308B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI288142B (en) * | 2003-05-09 | 2007-10-11 | Taiyo Ink Mfg Co Ltd | Photocuring/thermosetting ink jet composition and printed wiring board using same |
CA2916062C (en) | 2014-04-18 | 2020-08-11 | Cnh Industrial America Llc | Stereo vision for sensing vehicles operating environment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60231193A (en) * | 1984-05-01 | 1985-11-16 | Honda Motor Co Ltd | Vehicular view field monitoring system |
JP4016022B2 (en) * | 1999-01-14 | 2007-12-05 | 松下電器産業株式会社 | Infrared imaging device and vehicle equipped with the same |
-
2006
- 2006-07-31 JP JP2006208380A patent/JP4816308B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008035365A (en) | 2008-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
EP3114430B1 (en) | Calibration method, calibration device, and computer program product | |
JP4910529B2 (en) | Obstacle detection system and obstacle detection method | |
JP6970577B2 (en) | Peripheral monitoring device and peripheral monitoring method | |
JP6221464B2 (en) | Stereo camera device, moving body control system, moving body, and program | |
JP6970568B2 (en) | Vehicle peripheral monitoring device and peripheral monitoring method | |
JP2008174028A (en) | Target detection system and method | |
JP4742883B2 (en) | Far-infrared imaging device and output value correction method | |
JP2008026998A (en) | Obstacle location calculation system and method | |
JP2014187496A (en) | Fault detection device | |
JP2007045336A (en) | System and method for detecting obstacle | |
JP4816308B2 (en) | Far infrared imaging system and far infrared imaging method | |
JP2007174113A (en) | Obstacle detection system and obstacle detection method | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
JP2007336288A (en) | Obstacle detection system and obstacle detection method | |
US20230274444A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
JP2007174112A (en) | Far-infrared imaging apparatus and output value correction method | |
JP2007325120A (en) | Far infrared imaging system and far infrared imaging method | |
JP4404047B2 (en) | Obstacle collision determination system, determination apparatus, obstacle collision determination method, and computer program | |
JP2017078692A (en) | Drive assisting information output device and drive assisting information output method | |
JP4835332B2 (en) | Far infrared imaging system and far infrared imaging method | |
JP4739833B2 (en) | Vehicle stop detection device, car navigation device | |
JP4222364B2 (en) | Infrared light imaging apparatus and infrared light imaging method | |
JP2011180962A (en) | Drive assist device, drive assist method and program | |
JPWO2017042995A1 (en) | In-vehicle stereo camera device and correction method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110815 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |