JP4835332B2

JP4835332B2 - Far infrared imaging system and far infrared imaging method

Info

Publication number: JP4835332B2
Application number: JP2006239402A
Authority: JP
Inventors: 美和國井
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2006-09-04
Filing date: 2006-09-04
Publication date: 2011-12-14
Anticipated expiration: 2026-09-04
Also published as: JP2008066798A

Description

本発明は、外部を撮像する複数の遠赤外線撮像装置の出力輝度値を、同一温度に対して略同一の輝度値を出力するよう補正することができる遠赤外線撮像システム及び遠赤外線撮像方法に関する。 The present invention relates to a far-infrared imaging system and a far-infrared imaging method capable of correcting output luminance values of a plurality of far-infrared imaging devices that image the outside so as to output substantially the same luminance value for the same temperature.

自動車等の車両の走行の安全を確保すべく、ナイトビジョン等の遠赤外線撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右２基の遠赤外線撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出し、特徴量検出により障害物の存在を検出している。 In order to ensure the safety of traveling of vehicles such as automobiles, many obstacle detection systems that detect the presence of obstacles such as pedestrians and bicycles using far-infrared imaging devices such as night vision have been developed. Usually, two far-infrared imaging devices are installed at a predetermined position in front of the vehicle, the distance to the obstacle detected by stereo vision is calculated, and the presence of the obstacle is detected by feature amount detection.

しかし、遠赤外線撮像装置の撮像素子として良く用いられるボロメータ等は温度の検出感度のバラつきが大きい。したがって、時間変化に基づくオフセットのドリフト等が発生しやすいことから、撮像された画像にノイズが重畳されやすく、障害物の検出精度を向上することが困難であるという問題があった。 However, a bolometer or the like often used as an imaging element of a far-infrared imaging device has a large variation in temperature detection sensitivity. Therefore, offset drift or the like based on time changes is likely to occur, so that noise is easily superimposed on the captured image, and it is difficult to improve obstacle detection accuracy.

斯かる問題を解決すべく、例えば非特許文献１では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるＮＵＣ（Non-Uniformity Correction）について開示されている。非特許文献１では、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外線撮像装置からの出力値を補正している。
「ＩＲ−ＣＣＤ撮像データのリアルタイム２点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、ｐ．４４−５０、１９９５年 In order to solve such a problem, for example, Non-Patent Document 1 discloses NUC (Non-Uniformity Correction), which is a representative example of a method of correcting sensitivity non-uniformity that is different for each image sensor. In Non-Patent Document 1, on the premise that the response characteristic of an image sensor is linear, an offset correction value for correcting an output value for a predetermined temperature for each image sensor, and an output value for a predetermined temperature change rate for each image sensor The gain correction value for correcting the difference is calculated, and the output value from the far-infrared imaging device is corrected.
“Real-time implementation of two-point non-uniformity correction for IR-CCD imagery”, SPIE Proc., Vol. 2598, p. 44-50, 1995

しかし、従来の撮像装置の出力値の補正方法では、絶対温度を正確に把握してオフセット補正値を算出していないことから、複数の遠赤外線撮像装置を用いる場合には、異なる遠赤外線撮像装置が同一の輝度値を出力しているときでも、検出している温度が同一であることが保証されるものではない。したがって、障害物であるか否かを検出すべく画像の特徴量を抽出する場合に、遠赤外線撮像装置ごとに撮像した画像の明るさ、コントラスト等が相違し、遠赤外線撮像装置のＡＧＣ（Auto Gain Control）機能を用いても、正確に障害物を検出することが困難になるおそれがあるという問題点があった。 However, in the conventional method for correcting the output value of the imaging device, the absolute temperature is accurately grasped and the offset correction value is not calculated. Therefore, when using a plurality of far infrared imaging devices, different far infrared imaging devices are used. Even when outputting the same luminance value, it is not guaranteed that the detected temperatures are the same. Therefore, when extracting the feature amount of an image to detect whether it is an obstacle, the brightness, contrast, etc. of the image captured for each far-infrared imaging device are different, and the AGC (Auto Even if the (Gain Control) function is used, there is a problem that it may be difficult to accurately detect an obstacle.

特に車両前部に左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合等には、画像の明るさ、コントラスト等を一致させることが困難であり、精度を向上させることが困難になる。したがって、両撮像装置で撮像された画像の明るさ、コントラスト等が略一致するように出力輝度値を補正することにより、障害物の検出精度は飛躍的に向上する。 In particular, when performing distance measurement based on stereo vision based on images captured by far-infrared imaging devices installed on the left and right of the front of the vehicle, it is difficult to match the brightness and contrast of the images. It becomes difficult to improve accuracy. Therefore, by correcting the output luminance value so that the brightness, contrast, and the like of the images captured by both the imaging devices are substantially the same, the obstacle detection accuracy is dramatically improved.

本発明は、斯かる事情に鑑みてなされたものであり、複数の遠赤外線撮像装置の出力値を、同一の対象物に対しては略一致するように補正することができる遠赤外線撮像システム及び遠赤外線撮像方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a far-infrared imaging system capable of correcting the output values of a plurality of far-infrared imaging devices so as to substantially match the same object, and An object is to provide a far-infrared imaging method.

上記目的を達成するために第１発明に係る遠赤外線撮像システムは、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、一の遠赤外線撮像装置は、画像中の路面を示す領域を設定する路面領域設定手段と、設定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値を前記他の遠赤外線撮像装置へ送信する手段とを備え、前記他の遠赤外線撮像装置は、前記一の遠赤外線撮像装置で算出された平均値を受信する手段と、画像中の路面を示す領域を設定する路面領域設定手段と、設定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出する手段とを備え、算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする。 In order to achieve the above object, a far-infrared imaging system according to a first invention has imaging elements arranged in a matrix, and acquires image data obtained by imaging an image around a vehicle as an output value of the imaging element. In a far-infrared imaging system in which a plurality of far-infrared imaging devices are connected so as to be capable of data communication with each other and output values are corrected for each imaging device based on the captured images, one far-infrared imaging device is A road surface area setting means for setting an area indicating the road surface in the image, a means for calculating an average value of output values of the area indicating the set road surface, and the calculated average value to the other far-infrared imaging device. Means for transmitting, the other far-infrared imaging device comprises: means for receiving an average value calculated by the one far-infrared imaging device; and road surface area setting means for setting an area indicating a road surface in the image; Means for calculating an average value of output values of the area indicating the set road surface, and means for calculating an offset correction value that substantially matches the calculated average value and the received average value, and the calculated offset correction value The output value is corrected by the above.

また、第２発明に係る遠赤外線撮像システムは、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、一の遠赤外線撮像装置は、撮像した画像データに基づいて画像中の路面を示す領域を推定する路面領域推定手段と、推定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値及び推定された路面を示す領域に関する情報を前記他の遠赤外線撮像装置へ送信する手段とを備え、前記他の遠赤外線撮像装置は、前記一の遠赤外線撮像装置で算出された平均値及び推定された路面を示す領域に関する情報を受信する手段と、両遠赤外線撮像装置の視差を算出する視差算出手段と、算出された視差に基づいて、路面を示す領域を推定する手段と、推定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値と受信した平均値とを略一致させるオフセット補正値を算出する手段とを備え、算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする。 A far-infrared imaging system according to a second aspect of the present invention includes a plurality of far-infrared imaging systems that have imaging elements arranged in a matrix and acquire image data obtained by imaging an image around a vehicle as an output value of the imaging element. In a far-infrared imaging system in which the devices are connected so as to be capable of data communication with each other, and the output value is corrected for each imaging device based on the captured image, the far-infrared imaging device is configured to capture captured image data. A road surface area estimating means for estimating the area indicating the road surface in the image based on the above, a means for calculating an average value of the output values of the area indicating the estimated road surface, and the calculated average value and the estimated road surface Means for transmitting information relating to the area to the other far-infrared imaging device, wherein the other far-infrared imaging device includes an average value calculated by the one far-infrared imaging device and an estimated road surface. Means for receiving information about the indicated area, parallax calculating means for calculating the parallax of both far-infrared imaging devices, means for estimating the area indicating the road surface based on the calculated parallax, and the area indicating the estimated road surface And a means for calculating an offset correction value that substantially matches the calculated average value with the received average value, and the output value is corrected with the calculated offset correction value. It is made to do so.

また、第３発明に係る遠赤外線撮像システムは、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、一の遠赤外線撮像装置は、撮像した画像データを前記他の遠赤外線撮像装置へ送信する手段を備え、前記他の遠赤外線撮像装置は、前記一の遠赤外線撮像装置で撮像した画像データを受信する手段と、撮像した画像データ及び受信した画像データに基づいて画像中の路面を示す領域をそれぞれ推定する路面領域推定手段と、推定された路面を示す領域の出力値の平均値をそれぞれ算出する手段と、算出された両平均値を略一致させるオフセット補正値を算出する手段とを備え、算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする。 A far-infrared imaging system according to a third aspect of the present invention includes a plurality of far-infrared imaging systems that have imaging elements arranged in a matrix and acquire image data obtained by imaging an image around a vehicle as an output value of the imaging element. In a far-infrared imaging system in which the devices are connected so as to be capable of data communication with each other, and the output value is corrected for each imaging device based on the captured image, the far-infrared imaging device is configured to capture captured image data. For transmitting the image data to the other far-infrared imaging device, the other far-infrared imaging device receiving the image data captured by the one far-infrared imaging device, the captured image data, and the received image Road surface area estimating means for estimating the area indicating the road surface in the image based on the data, means for calculating the average value of the output values of the area indicating the estimated road surface, And means for calculating the offset correction value for substantially matching the two average values issued, characterized in that you have to correct the output value at calculated offset correction value.

また、第４発明に係る遠赤外線撮像システムは、第１乃至第３発明のいずれか１つにおいて、一の遠赤外線撮像装置は、該一の遠赤外線撮像装置で算出した平均値と、他の遠赤外線撮像装置で算出した平均値との差異を算出する手段と、算出した差異が所定値より小さいか否かを判断する手段とを備え、該手段で小さいと判断した場合にのみオフセット補正値を算出するようにしてあることを特徴とする。 A far-infrared imaging system according to a fourth invention is the far-infrared imaging system according to any one of the first to third inventions, wherein the one far-infrared imaging device has an average value calculated by the one far-infrared imaging device and another An offset correction value is provided with a means for calculating a difference from the average value calculated by the far-infrared imaging device and a means for determining whether the calculated difference is smaller than a predetermined value. Is calculated.

また、第５発明に係る遠赤外線撮像方法は、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像方法において、一の遠赤外線撮像装置にて、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値を前記他の遠赤外線撮像装置へ送信し、前記他の遠赤外線撮像装置にて、前記一の遠赤外線撮像装置で算出された平均値を受信し、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正することを特徴とする。 A far-infrared imaging method according to a fifth aspect of the present invention includes a plurality of far-infrared imaging that has imaging elements arranged in a matrix and acquires image data obtained by imaging an image around a vehicle as an output value of the imaging element. In a far-infrared imaging method in which devices are connected so as to be capable of data communication with each other and output values are corrected for each imaging device based on the captured image, An area indicating the road surface is set, an average value of the output values of the area indicating the set road surface is calculated, the calculated average value is transmitted to the other far infrared imaging device, and the other far infrared imaging device is transmitted. The average value calculated by the one far-infrared imaging device is received, an area indicating the road surface in the image is set, and an average value of the output values of the area indicating the set road surface is calculated and calculated. The average value and the average value received are approximately equal. Calculating an offset correction value to be, and correcting the output value at calculated offset correction value.

第１発明、及び第５発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する。一の遠赤外線撮像装置は、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値を他の遠赤外線撮像装置へ送信する。他の遠赤外線撮像装置は、一の遠赤外線撮像装置で算出された平均値を受信し、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正する。これにより、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 In the first invention and the fifth invention, a plurality of far-infrared imaging devices each having an image sensor arranged in a matrix and acquiring image data obtained by imaging an image around a vehicle as an output value of the image sensor are mutually connected. It is connected so that data communication is possible, and the output value is corrected and output for each image sensor based on the captured image. One far-infrared imaging device sets an area indicating a road surface in an image, calculates an average value of output values of an area indicating the set road surface, and transmits the calculated average value to another far-infrared imaging device To do. Other far-infrared imaging devices receive the average value calculated by one far-infrared imaging device, set the area indicating the road surface in the image, and calculate the average value of the output values of the area indicating the set road surface Then, an offset correction value that substantially matches the calculated average value and the received average value is calculated, and the output value is corrected by the calculated offset correction value. Thereby, it is possible to calculate the offset correction value so that the same luminance value is output for the regions showing the same temperature, for example, based on images captured by far-infrared imaging devices installed on the left and right Even in the case of distance measurement based on stereo vision, the brightness, contrast, etc. of both images can be matched, and the distance measurement accuracy can be improved.

第２発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する。一の遠赤外線撮像装置は、撮像した画像データに基づいて画像中の路面を示す領域を推定し、推定された路面を示す領域の出力値の平均値を算出し、算出された平均値及び推定された路面を示す領域に関する情報を他の遠赤外線撮像装置へ送信する。他の遠赤外線撮像装置は、一の遠赤外線撮像装置で算出された平均値及び推定された路面を示す領域に関する情報を受信し、両遠赤外線撮像装置の視差を算出する。算出された視差に基づいて、路面を示す領域を推定し、推定された路面を示す領域の出力値の平均値を算出し、算出された平均値と受信した平均値とを略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正する。これにより、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 In the second invention, a plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and obtain image data obtained by imaging an image around the vehicle as an output value of the imaging element are connected so as to be capable of data communication with each other. The output value is corrected for each image pickup device based on the picked-up image and output. One far-infrared imaging device estimates a region indicating a road surface in an image based on the captured image data, calculates an average value of output values of the region indicating the estimated road surface, and calculates the calculated average value and estimated The information regarding the area | region which shows the performed road surface is transmitted to another far-infrared imaging device. The other far-infrared imaging device receives the average value calculated by the one far-infrared imaging device and the information related to the area indicating the estimated road surface, and calculates the parallax of both far-infrared imaging devices. Based on the calculated parallax, the area indicating the road surface is estimated, the average value of the output values of the area indicating the estimated road surface is calculated, and the calculated average value and the received average value substantially coincide with each other. The value is calculated, and the output value is corrected with the calculated offset correction value. Thereby, it is possible to calculate the offset correction value so that the same luminance value is output for the regions showing the same temperature, for example, based on images captured by far-infrared imaging devices installed on the left and right Even in the case of distance measurement based on stereo vision, the brightness, contrast, etc. of both images can be matched, and the distance measurement accuracy can be improved.

第３発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する。一の遠赤外線撮像装置は、撮像した画像データを他の遠赤外線撮像装置へ送信する。他の遠赤外線撮像装置は、一の遠赤外線撮像装置で撮像した画像データを受信し、自己の撮像した画像データ及び受信した画像データに基づいて画像中の路面を示す領域をそれぞれ推定し、推定された路面を示す領域の出力値の平均値をそれぞれ算出する。算出された両平均値を略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正する。これにより、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 In the third invention, a plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and obtain image data obtained by imaging an image around the vehicle as an output value of the imaging element are connected so as to be capable of data communication with each other. The output value is corrected for each image pickup device based on the picked-up image and output. One far-infrared imaging device transmits captured image data to another far-infrared imaging device. The other far-infrared imaging device receives the image data captured by the one far-infrared imaging device, and estimates and estimates each area indicating the road surface in the image based on the image data captured by itself and the received image data. The average value of the output value of the area indicating the road surface is calculated. An offset correction value that substantially matches the calculated both average values is calculated, and the output value is corrected with the calculated offset correction value. Thereby, it is possible to calculate the offset correction value so that the same luminance value is output for the regions showing the same temperature, for example, based on images captured by far-infrared imaging devices installed on the left and right Even in the case of distance measurement based on stereo vision, the brightness, contrast, etc. of both images can be matched, and the distance measurement accuracy can be improved.

第４発明では、一の遠赤外線撮像装置は、該一の遠赤外線撮像装置で算出した平均値と、他の遠赤外線撮像装置で算出した平均値との差異を算出し、算出した差異が所定値より小さい場合にのみオフセット補正値を算出する。これにより、両画像の出力値の平均値の差異が過大である場合には、複数の遠赤外線撮像装置が別々の対象物を撮像しているものと判断し、オフセット補正値を更新することなく安定した精度で対象物までの測距を行なうことが可能となる。 In the fourth invention, one far infrared imaging device calculates a difference between an average value calculated by the one far infrared imaging device and an average value calculated by another far infrared imaging device, and the calculated difference is predetermined. The offset correction value is calculated only when it is smaller than the value. Thereby, when the difference between the average values of the output values of both images is excessive, it is determined that a plurality of far-infrared imaging devices are imaging different objects, and the offset correction value is not updated. It becomes possible to measure the distance to the object with stable accuracy.

本発明によれば、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 According to the present invention, it is possible to calculate an offset correction value so that the same luminance value is output for regions having the same temperature, for example, images captured by far-infrared imaging devices installed on the left and right Even when distance measurement based on stereo vision is performed based on the above, brightness, contrast, and the like of both images can be matched, and distance measurement accuracy can be improved.

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（実施の形態１）
図１は、本発明の実施の形態１に係る遠赤外線撮像システムの構成を模式的に示す図である。本実施の形態１では、走行中に周辺の画像を撮像する一組の遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内（バンパー内でも可能）に搭載している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。 (Embodiment 1)
FIG. 1 is a diagram schematically showing a configuration of a far-infrared imaging system according to Embodiment 1 of the present invention. In the first embodiment, a set of far-infrared imaging devices 1 and 1 that capture surrounding images during traveling are mounted in the front grille near the center in front of the vehicle (also possible in a bumper). The far-infrared imaging devices 1 and 1 are imaging devices using infrared light having a wavelength of 7 to 14 micrometers.

図１において、遠赤外線撮像装置１、１は、車両のフロントグリル内の左右方向の略対称な位置に並置してある。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある演算装置３へ送信される。 In FIG. 1, far-infrared imaging devices 1 and 1 are juxtaposed in a substantially symmetrical position in the left-right direction within a front grill of a vehicle. Image data captured by the far-infrared imaging devices 1 and 1 is transmitted to an arithmetic device 3 connected via a video cable 7 corresponding to an analog video system such as NTSC or a digital video system.

演算装置３は、取得した遠赤外線画像データを用いて種々の演算処理、例えばステレオ視に基づく測距処理等を実行する。演算装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。 The arithmetic device 3 executes various arithmetic processes, such as a distance measuring process based on stereo vision, using the acquired far-infrared image data. The arithmetic device 3 is connected to the far infrared imaging devices 1 and 1 and the display device 4 having an operation unit via a cable 8 corresponding to a video system such as NTSC, VGA, DVI, etc. An output device such as an alarm device 5 that emits an audible warning by a sound effect or the like is connected via an in-vehicle LAN cable 6 compliant with CAN.

図２は、本発明の実施の形態１に係る遠赤外線撮像装置１の構成を示すブロック図である。図２において、画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。遠赤外線用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴＯ（Ｂａｒｉｕｍ−ＴｉｔａｎｉｕｍＯｘｉｄｅ）の焦電型等の赤外線センサを用いる。 FIG. 2 is a block diagram showing the configuration of the far-infrared imaging device 1 according to Embodiment 1 of the present invention. In FIG. 2, the image capturing unit 11 includes an image sensor that converts an optical signal into an electrical signal in a matrix. As the far-infrared imaging device, an infrared sensor such as a vanadium oxide bolometer type using a micromachining technique or a pyroelectric type BSTO (Barium-Titanium Oxide) is used.

画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、ＬＳＩ基板である信号処理部１２へ送信する。図３は、本発明の実施の形態１に係る遠赤外線撮像装置１の信号処理部１２の構成を示すブロック図である。信号処理部１２は、Ａ／Ｄ変換部１２１、ＮＵＣ（Non-Uniformity Correction）処理部１２２、ＢＰＲ（Bad-Pixel Replacement）処理部１２３、及びフラッシュメモリ等の不揮発性メモリ、ＳＲＡＭ等の一時記憶用メモリであるＲＡＭ（記憶手段）１２５で構成されている。 The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to the signal processing unit 12 that is an LSI substrate. FIG. 3 is a block diagram showing a configuration of the signal processing unit 12 of the far-infrared imaging device 1 according to Embodiment 1 of the present invention. The signal processing unit 12 includes an A / D conversion unit 121, a NUC (Non-Uniformity Correction) processing unit 122, a BPR (Bad-Pixel Replacement) processing unit 123, a non-volatile memory such as a flash memory, and a temporary storage such as an SRAM. It is composed of a RAM (storage means) 125 that is a memory.

信号処理部１２は、画像撮像部１１から受信した輝度信号をＡ／Ｄ変換部１２１でデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理部１２２で撮像素子ごとに出力された輝度信号を補正する。 The signal processing unit 12 converts the luminance signal received from the image capturing unit 11 into a digital signal by the A / D conversion unit 121, and outputs the luminance signal output for each image sensor by the NUC (Non-Uniformity Correction) processing unit 122. to correct.

ＮＵＣ処理部１２２では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対して出力される輝度値を補正するオフセット補正値、及び撮像素子ごとに所定の温度変化率に対して出力される輝度値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの輝度値をＶ_ijとした場合、ＮＵＣ処理部１２２では（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’_ijへ補正する。 The NUC processing unit 122 outputs, as a correction coefficient by calibration, an offset correction value for correcting a luminance value output for a predetermined temperature for each image sensor and a predetermined temperature change rate for each image sensor. A gain correction value for correcting a difference in brightness value is calculated to correct the brightness signal. For example, when the luminance value for each imaging element arranged in a matrix of i rows and j columns is V _ij , the NUC processing unit 122 performs the calculation shown in (Equation 1) to obtain the luminance value for each imaging element as V ′. Correct to _ij .

（数１）において、Ｇ_ijはゲイン補正値を、Ｏ_ijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの輝度値に基づいて算出した値である。補正後の輝度値は、出力値として画像メモリ１３に記憶される。 In (Equation 1), G _ij represents a gain correction value, and O _ij represents an offset correction value. For example, the luminance for each image sensor when an object having a uniform temperature distribution such as a black body furnace or a shutter is imaged. It is a value calculated based on the value. The corrected luminance value is stored in the image memory 13 as an output value.

複数の遠赤外線撮像装置１、１において、撮像対象物の温度が同一である場合には同一の輝度値を出力するよう出力値を補正するためには、温度分布が略均一である対象物に対する出力輝度値を取得し、遠赤外線撮像装置１、１間で略同一の輝度値を出力するようオフセット補正値及びゲイン補正値を算出する必要がある。そこで、本実施の形態では、同一の路面を撮像した複数の画像について、事前に路面を示す領域を設定しておき、設定された路面を示す領域の出力輝度値の平均値を揃えるようオフセット補正値を更新することにより、複数の遠赤外線撮像装置１、１での同一温度に対する出力輝度値を略一致させている。 In order to correct the output value so that the same luminance value is output when the temperatures of the imaging objects are the same in the plurality of far-infrared imaging devices 1, 1, It is necessary to obtain an output luminance value and calculate an offset correction value and a gain correction value so as to output substantially the same luminance value between the far-infrared imaging devices 1 and 1. Therefore, in the present embodiment, for a plurality of images obtained by imaging the same road surface, an area indicating the road surface is set in advance, and offset correction is performed so that the average values of the output luminance values of the set area indicating the road surface are aligned. By updating the value, the output luminance values for the same temperature in the plurality of far-infrared imaging devices 1 and 1 are substantially matched.

信号処理部１２は、路面を示す領域の出力輝度値の平均値を揃えるよう、設定されている路面を示す領域の出力輝度値の平均値を算出する。信号処理部１２は、算出された出力輝度値の平均値を、演算装置３を経由して他の遠赤外線撮像装置１へ送信する。受信した他の遠赤外線撮像装置１は、自装置で算出した出力輝度値の平均値と受信した平均値とを略一致させるオフセット補正値を算出して、撮像素子ごとに出力された輝度信号を補正する。 The signal processing unit 12 calculates the average value of the output luminance values of the set area indicating the road surface so as to align the average values of the output luminance values of the area indicating the road surface. The signal processing unit 12 transmits the average value of the calculated output luminance values to the other far-infrared imaging device 1 via the arithmetic device 3. The other far-infrared imaging device 1 that has received the signal calculates an offset correction value that substantially matches the average value of the output luminance values calculated by itself and the received average value, and outputs the luminance signal output for each image sensor. to correct.

通信インタフェース部１４は、ＬＳＩ基板であり、通信ケーブル等の通信線（図示せず）を介して外部の装置から受信した指令に従って、画像メモリ１３に記憶された画像データの外部の装置への送出、撮像した画像の解像度による転送レートの変換、画像データを送出するためのデータのフォーマット変換、算出した平均値の送信、外部からの平均値の受信等を行う。 The communication interface unit 14 is an LSI board, and sends image data stored in the image memory 13 to an external device in accordance with a command received from an external device via a communication line (not shown) such as a communication cable. The transfer rate conversion according to the resolution of the captured image, the data format conversion for sending the image data, the transmission of the calculated average value, the reception of the average value from the outside, and the like are performed.

図４は、本発明の実施の形態１に係る遠赤外線撮像システムの演算装置３の構成を示すブロック図である。演算装置３は画像処理ＥＣＵであり、少なくとも撮像装置インタフェース３１ａ、映像出力部３１ｂ、通信インタフェース部３１ｃ、画像メモリ３２、ＲＡＭ３３１及びＬＳＩ３３で構成されている。 FIG. 4 is a block diagram showing the configuration of the arithmetic device 3 of the far-infrared imaging system according to Embodiment 1 of the present invention. The arithmetic device 3 is an image processing ECU, and includes at least an imaging device interface 31a, a video output unit 31b, a communication interface unit 31c, an image memory 32, a RAM 331, and an LSI 33.

撮像装置インタフェース部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行うとともに、一の遠赤外線演算装置１で算出された路面を示す領域での出力輝度値の平均値等を他の遠赤外線撮像装置１へ互いに転送する。また、撮像装置インタフェース部３１ａは、演算装置３で実行される処理、例えば測距処理のために、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力する。通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。 The imaging device interface unit 31a inputs video signals from the far-infrared imaging devices 1 and 1, and outputs the average value of the output luminance value in the area indicating the road surface calculated by the one far-infrared computing device 1 to the other Transfer each other to the far-infrared imaging device 1. In addition, the imaging device interface unit 31a synchronizes the image data input from the far-infrared imaging devices 1 and 1 in units of frames for processing executed by the arithmetic device 3, for example, distance measurement processing. 32. The video output unit 31 b outputs image data to the display device 4 such as a liquid crystal display via the video cable 8. The communication interface unit 31 c transmits an output signal such as a synthesized sound to the alarm device 5 such as a buzzer or a speaker via the in-vehicle LAN cable 6.

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、撮像装置インタフェース３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。 The image memory 32 is an SRAM, flash memory, SDRAM, or the like, and stores image data input from the far-infrared imaging devices 1 and 1 via the imaging device interface 31a.

図５は、本発明の実施の形態１に係る遠赤外線撮像システムの遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図５では、オフセット補正値算出の基準となる遠赤外線撮像装置１、例えば左に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。信号処理部１２は、画像メモリ１３に記憶してある出力される画像データを読み出し（ステップＳ５０１）、遠赤外線撮像装置１で撮像された画像データに基づいて、設定されている路面を示す領域にて出力される輝度値の平均値を算出する（ステップＳ５０２）。そして信号処理部１２は、算出した輝度値の平均値を他の遠赤外線撮像装置１へ送信する（ステップＳ５０３）。 FIG. 5 is a flowchart showing a processing procedure of the signal processing unit 12 of the far-infrared imaging device 1 of the far-infrared imaging system according to Embodiment 1 of the present invention. In FIG. 5, the processing procedure of the signal processing unit 12 of the far-infrared imaging device 1, which is a reference for calculating the offset correction value, for example, the far-infrared imaging device 1 installed on the left side will be described. The signal processing unit 12 reads out the output image data stored in the image memory 13 (step S501), and based on the image data captured by the far-infrared imaging device 1, displays the set road surface. The average value of the luminance values output in step S502 is calculated. Then, the signal processing unit 12 transmits the average value of the calculated luminance values to the other far-infrared imaging device 1 (Step S503).

図６は、左右の遠赤外線撮像装置１で撮像された画像の一例を示しており、図６（ａ）が左の遠赤外線撮像装置１で撮像された画像を、図６（ｂ）が右の遠赤外線撮像装置１で撮像された画像を、それぞれ示している。左右の遠赤外線装置１、１が略水平に設置されている場合、前方の路面を示す領域６１、６２は高さ方向には略一致している。一方、左右の視差により、路面を示す領域６１よりも路面を示す領域６２の方が、わずかに右へシフトしている。 FIG. 6 shows an example of an image captured by the left and right far-infrared imaging devices 1. FIG. 6 (a) shows an image captured by the left far-infrared imaging device 1, and FIG. 6 (b) shows the right. The images captured by the far-infrared imaging device 1 are respectively shown. When the left and right far-infrared devices 1 and 1 are installed substantially horizontally, the areas 61 and 62 indicating the road surface in front of each other substantially coincide with each other in the height direction. On the other hand, due to the left and right parallax, the area 62 indicating the road surface is slightly shifted to the right rather than the area 61 indicating the road surface.

しかし、走行中は前方３０ｍ程度までには必ず同一の路面を示す領域が存在することから、基準となる遠赤外線撮像装置１、例えば左の遠赤外線撮像装置１で撮像された画像データのうち、明らかに路面を示す領域であるとして設定されている領域６３の出力輝度値を読み出し、出力輝度値の平均値を算出する。 However, since there is always an area showing the same road surface up to about 30 m ahead during traveling, among the image data captured by the reference far-infrared imaging device 1, for example, the left far-infrared imaging device 1, The output luminance value of the area 63 that is clearly set as an area indicating the road surface is read, and the average value of the output luminance values is calculated.

そして、基準となる遠赤外線撮像装置１、例えば左の遠赤外線撮像装置１で撮像された画像データと、他の遠赤外線撮像装置１、例えば右の遠赤外線撮像装置１で撮像された画像データとの画像のずれに応じて、路面を示す領域６２内の平均値を算出する領域６４を特定する。出力輝度値の平均値を、路面を示す領域６３、６４でのみ算出することにより、前方の車両、障害物等の存在による平均値算出誤差の発生を未然に回避することができ、両遠赤外線撮像装置１、１の出力輝度値を補正するオフセット補正値をより正確に求めることが可能となる。 Then, the image data captured by the reference far-infrared imaging device 1, for example, the left far-infrared imaging device 1, and the image data captured by another far-infrared imaging device 1, for example, the right far-infrared imaging device 1, The area 64 for calculating the average value in the area 62 indicating the road surface is specified in accordance with the image shift. By calculating the average value of the output luminance values only in the areas 63 and 64 indicating the road surface, it is possible to avoid occurrence of an average value calculation error due to the presence of a vehicle ahead, an obstacle, etc., and both far infrared rays An offset correction value for correcting the output luminance value of the imaging devices 1 and 1 can be obtained more accurately.

他の遠赤外線撮像装置１は、一の遠赤外線撮像装置１で算出された輝度値の平均値を受信し、両平均値が略一致するよう補正するオフセット補正値を算出する。図７は、本発明の実施の形態１に係る遠赤外線撮像システムの他の遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図７では、オフセット補正値算出の基準となる遠赤外線撮像装置１以外の遠赤外線撮像装置１、例えば右に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。 The other far-infrared imaging device 1 receives the average value of the luminance values calculated by the one far-infrared imaging device 1 and calculates an offset correction value for correcting the two average values so as to substantially match. FIG. 7 is a flowchart showing a processing procedure of the signal processing unit 12 of another far-infrared imaging device 1 of the far-infrared imaging system according to Embodiment 1 of the present invention. In FIG. 7, the processing procedure of the signal processing unit 12 of the far-infrared imaging device 1 other than the far-infrared imaging device 1 serving as a reference for calculating the offset correction value, for example, the far-infrared imaging device 1 installed on the right will be described.

信号処理部１２は、一の遠赤外線撮像装置１から算出された輝度値の平均値を受信し（ステップＳ７０１）、他の遠赤外線撮像装置１で撮像された画像データに基づいて、設定されている路面を示す領域にて出力される輝度値の平均値を算出する（ステップＳ７０２）。信号処理部１２は、受信した出力輝度値の平均値、例えば左に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値と一致するよう、算出された出力輝度値の平均値、例えば右に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値を補正するためのオフセット補正値を算出する（ステップＳ７０３）。信号処理部１２は、算出されたオフセット補正値を用いて出力輝度値を補正して出力する（ステップＳ７０４）。具体的には、一の遠赤外線撮像装置１から、平均値を受信した他の遠赤外線撮像装置１の信号処理部１２は、ＲＡＭ１２５に記憶してあるオフセット補正値Ｏ_ijに算出された補正値Ｏ_FBを加算する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの輝度値をＶ_ijとした場合、輝度値Ｖ_ijを（数２）に従って撮像素子ごとの輝度値Ｖ’_ijへ補正する。 The signal processing unit 12 receives an average value of luminance values calculated from one far-infrared imaging device 1 (step S701), and is set based on image data captured by another far-infrared imaging device 1. An average value of luminance values output in the area indicating the road surface is calculated (step S702). The signal processing unit 12 matches the average value of the received output luminance values, for example, the average value of the output luminance values of the area indicating the road surface of the image data captured by the far-infrared imaging device 1 installed on the left. An average value of the calculated output luminance values, for example, an offset correction value for correcting the average value of the output luminance values of the region indicating the road surface of the image data captured by the far-infrared imaging device 1 installed on the right is calculated. (Step S703). The signal processing unit 12 corrects and outputs the output luminance value using the calculated offset correction value (step S704). Specifically, the signal processing unit 12 of another far-infrared imaging device 1 that has received the average value from one far-infrared imaging device 1 calculates the correction value calculated as the offset correction value O _ij stored in the RAM 125. Add O _FB . For example, when the brightness value for each image sensor arranged in a matrix of i rows and j columns is V _ij , the brightness value V _ij is corrected to the brightness value V ′ _ij for each image sensor according to ( _Equation 2).

このようにすることで、同一の路面を示す領域を撮像した場合の輝度値に基づいて随時遠赤外線撮像装置１、１のオフセット補正値を補正することができ、複数の遠赤外線撮像装置１、１にて同一の対象物を撮像した場合であっても、略同一の輝度値を出力することが可能となる。 By doing in this way, the offset correction value of the far-infrared imaging devices 1 and 1 can be corrected at any time based on the luminance value when the area indicating the same road surface is imaged. Even when the same object is imaged at 1, it is possible to output substantially the same luminance value.

なお、遠赤外線撮像装置１のオフセット補正値を算出するタイミングは特に限定されるものではなく、本実施の形態に係る障害物検出システムの起動時に算出しても良いし、一定時間間隔で算出するものであっても良い。一定時間間隔で遠赤外線撮像装置１、１のオフセット補正値を算出する場合には、特にメンテナンス処理を施すことなく複数の赤外線撮像装置１、１で同一対象物を撮像した場合に出力される輝度値を略同一にすることが可能となる。 Note that the timing for calculating the offset correction value of the far-infrared imaging device 1 is not particularly limited, and may be calculated when the obstacle detection system according to the present embodiment is activated or is calculated at regular time intervals. It may be a thing. When calculating the offset correction values of the far-infrared imaging devices 1 and 1 at regular time intervals, the luminance that is output when the same object is imaged by the plurality of infrared imaging devices 1 and 1 without particularly performing maintenance processing. The values can be made substantially the same.

また、算出されるオフセット補正値は、両者の出力輝度値を完全に一致させるものに限定されるものではない。すなわち、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が非常に大きい場合、（数２）による補正処理を実行したときに出力輝度値の急激な変動による発振等が生じるおそれがある。したがって、オフセット補正値の変動幅を所定値以下に抑制する、あるいは出力輝度値を所定値単位、例えば出力輝度値‘１’、‘５’、‘１０’単位で加減算する程度に止めておくものであっても良い。 Further, the calculated offset correction value is not limited to a value that completely matches the output luminance values of the two. That is, when the difference between the average values of the output luminance values of the areas indicating the road surfaces (or the average value calculation areas) of both images is very large, the output luminance values rapidly change when the correction processing according to (Equation 2) is executed. May cause oscillation. Therefore, the fluctuation range of the offset correction value is suppressed to a predetermined value or less, or the output luminance value is limited to a predetermined value unit, for example, addition / subtraction in units of the output luminance value '1', '5', '10'. It may be.

さらに、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が極端な値となっている場合、先行車両の存在、右左折時の対向車両、水溜りに反射した映像等を撮像しているおそれが高く、正確な測距をすることはできない。したがって、ＬＳＩ１６は、平均値の差異が所定値より大きいか否かを判断し、所定値以下であると判断した場合にのみ上述した処理によりオフセット補正値の補正値を算出するようにすることで、両画像の明るさ、コントラスト等を正しく一致させることが可能となる。 Furthermore, when the difference between the average values of the output luminance values of the areas indicating the road surfaces (or the average value calculation areas) of both images is an extreme value, the presence of a preceding vehicle, the oncoming vehicle when turning right or left, and a puddle There is a high possibility that a reflected image or the like is captured, and accurate distance measurement cannot be performed. Therefore, the LSI 16 determines whether or not the difference between the average values is larger than the predetermined value, and calculates the correction value of the offset correction value by the above-described processing only when it is determined that the difference is equal to or smaller than the predetermined value. It is possible to correctly match the brightness and contrast of both images.

以上のように本実施の形態１によれば、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 As described above, according to the first embodiment, the offset correction value can be calculated so that the same luminance value is output for the region showing the same temperature. For example, far infrared rays installed on the left and right sides Even when distance measurement based on stereo vision is performed based on an image captured by the imaging device, the brightness, contrast, and the like of both images can be matched, and distance measurement accuracy can be improved. .

（実施の形態２）
以下、本発明の実施の形態２に係る遠赤外線撮像システムについて、図面を参照しながら詳細に説明する。実施の形態２に係る遠赤外線撮像システムの構成、遠赤外線撮像装置１の構成、及び演算装置３の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、路面を示す領域を推定する点で、固定的に設定してある実施の形態１と相違する。 (Embodiment 2)
Hereinafter, a far infrared imaging system according to Embodiment 2 of the present invention will be described in detail with reference to the drawings. Since the configuration of the far-infrared imaging system according to the second embodiment, the configuration of the far-infrared imaging device 1, and the configuration of the arithmetic device 3 are the same as those of the first embodiment, detailed description is given by attaching the same reference numerals. Description is omitted. The second embodiment is different from the first embodiment, which is fixedly set, in that the area indicating the road surface is estimated.

本実施の形態２に係る遠赤外線撮像装置１、１の信号処理部１２は、路面を示す領域の出力輝度値の平均値を揃えるよう、各々の遠赤外線撮像装置１、１で撮像された画像データに基づいて、路面を示す領域を推定し、出力輝度値の平均値を算出する。基準となる遠赤外線装置１の信号処理部１２は、推定された路面を示す領域に関する情報及び平均値を他方の遠赤外線撮像装置１へ送信する。他方の遠赤外線撮像装置１は、同一の路面を示す領域の出力輝度値の平均値に基づいてオフセット補正値を算出し、算出されたオフセット補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。 The signal processing unit 12 of the far-infrared imaging devices 1 and 1 according to the second embodiment captures images captured by the far-infrared imaging devices 1 and 1 so that the average values of the output luminance values of the area indicating the road surface are aligned. Based on the data, an area indicating a road surface is estimated, and an average value of output luminance values is calculated. The signal processing unit 12 of the reference far-infrared device 1 transmits information on the estimated area indicating the road surface and the average value to the other far-infrared imaging device 1. The other far-infrared imaging device 1 calculates the offset correction value based on the average value of the output luminance values of the areas indicating the same road surface, and the luminance signal output for each image sensor based on the calculated offset correction value. Correct.

図８は、本発明の実施の形態２に係る遠赤外線撮像システムの遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図８では、オフセット補正値算出の基準となる遠赤外線撮像装置１、例えば左に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。信号処理部１２は、画像メモリ１３に記憶してある出力される画像データを読み出し（ステップＳ８０１）、読み出した画像データ中の路面を示す領域を推定する（ステップＳ８０２）。 FIG. 8 is a flowchart showing a processing procedure of the signal processing unit 12 of the far-infrared imaging device 1 of the far-infrared imaging system according to Embodiment 2 of the present invention. In FIG. 8, a processing procedure of the signal processing unit 12 of the far-infrared imaging device 1, which is a reference for calculating the offset correction value, for example, the far-infrared imaging device 1 installed on the left side will be described. The signal processing unit 12 reads output image data stored in the image memory 13 (step S801), and estimates a region indicating a road surface in the read image data (step S802).

路面を示す領域の推定方法は特に限定されるものではなく、例えば所定の撮像素子の出力輝度値と、その周囲に存在する撮像素子の出力輝度値とを比較し、出力輝度値の差がほとんど無い領域であって、画像の下方に存在する領域を路面を示す領域として検出しても良いし、路肩の縁石等をエッジ検出することにより推定する方法であっても良い。 The estimation method of the area indicating the road surface is not particularly limited. For example, the output luminance value of a predetermined image sensor is compared with the output luminance values of the image sensors existing around the area, and there is almost no difference in the output luminance value. A region that does not exist and exists below the image may be detected as a region indicating a road surface, or may be estimated by detecting edges of a road shoulder curb or the like.

信号処理部１２は、推定された路面を示す領域内で出力される輝度値の平均値を算出する（ステップＳ８０３）。そして信号処理部１２は、路面を示す領域に関する情報及び算出した輝度値の平均値を他の遠赤外線撮像装置１へ送信する（ステップＳ８０４）。 The signal processing unit 12 calculates an average value of luminance values output in the area indicating the estimated road surface (step S803). Then, the signal processing unit 12 transmits the information regarding the area indicating the road surface and the average value of the calculated luminance values to the other far-infrared imaging device 1 (step S804).

なお、出力輝度値の平均値を算出するための路面を示す領域は、推定された路面を示す領域すべてを用いることに限定されるものではなく、路面を示す領域内の一定の領域に限定しても良い。 The area indicating the road surface for calculating the average value of the output luminance values is not limited to using the entire area indicating the estimated road surface, but limited to a certain area within the area indicating the road surface. May be.

他の遠赤外線撮像装置１は、路面を示す領域に関する情報及び算出した輝度値の平均値を受信し、受信した路面を示す領域に関する情報及び算出した輝度値の平均値を用いて、路面を示す領域での輝度値の平均値が略一致するオフセット補正値を算出して、出力輝度値を補正する。他の遠赤外線撮像装置１の信号処理部１２の処理手順は、実施の形態１の図７と同様の処理であることから詳細な説明は省略する。 The other far-infrared imaging device 1 receives the information regarding the area indicating the road surface and the average value of the calculated luminance values, and indicates the road surface using the received information regarding the area indicating the road surface and the average value of the calculated luminance values. An output correction value is corrected by calculating an offset correction value that substantially matches the average value of the luminance values in the region. Since the processing procedure of the signal processing unit 12 of the other far-infrared imaging device 1 is the same as that in FIG. 7 of the first embodiment, detailed description thereof is omitted.

このようにすることで、同一の路面を示す領域を撮像した場合の出力輝度値に基づいて随時遠赤外線撮像装置１、１のオフセット補正値を補正することができ、複数の遠赤外線撮像装置１、１にて同一の対象物を撮像した場合であっても、略同一の輝度値を出力することが可能となる。 By doing in this way, the offset correction value of the far-infrared imaging devices 1 and 1 can be corrected at any time based on the output luminance value when the region showing the same road surface is imaged, and a plurality of far-infrared imaging devices 1 can be corrected. Even when the same object is imaged at 1, it is possible to output substantially the same luminance value.

なお、遠赤外線撮像装置１のオフセット補正値を算出するタイミングは特に限定されるものではなく、本実施の形態２に係る障害物検出システムの起動時に算出しても良いし、一定時間間隔で算出するものであっても良い。一定時間間隔で遠赤外線撮像装置１、１のオフセット補正値を算出する場合には、特にメンテナンス処理を施すことなく複数の赤外線撮像装置１、１で同一対象物を撮像した場合に出力される輝度値を略同一にすることが可能となる。 Note that the timing for calculating the offset correction value of the far-infrared imaging device 1 is not particularly limited, and may be calculated when the obstacle detection system according to the second embodiment is started or may be calculated at regular time intervals. It may be what you do. When calculating the offset correction values of the far-infrared imaging devices 1 and 1 at regular time intervals, the luminance that is output when the same object is imaged by the plurality of infrared imaging devices 1 and 1 without particularly performing maintenance processing. The values can be made substantially the same.

さらに、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が極端な値となっている場合、先行車両の存在、右左折時の対向車両、水溜りに反射した映像等を撮像しているおそれが高く、正確な測距をすることはできない。したがって、信号処理部１２は、平均値の差異が所定値より大きいか否かを判断し、所定値以下であると判断した場合にのみ上述した処理によりオフセット補正値を算出するようにすることで、両画像の明るさ、コントラスト等を正しく一致させることが可能となる。 Furthermore, when the difference between the average values of the output luminance values of the areas indicating the road surfaces (or the average value calculation areas) of both images is an extreme value, the presence of a preceding vehicle, the oncoming vehicle when turning right or left, and a puddle There is a high possibility that a reflected image or the like is captured, and accurate distance measurement cannot be performed. Therefore, the signal processing unit 12 determines whether or not the difference between the average values is larger than the predetermined value, and calculates the offset correction value by the above-described process only when it is determined that the difference is equal to or smaller than the predetermined value. It is possible to correctly match the brightness and contrast of both images.

以上のように本実施の形態２によれば、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 As described above, according to the second embodiment, the offset correction value can be calculated so that the same luminance value is output for the region showing the same temperature. For example, far infrared rays installed on the left and right sides Even when distance measurement based on stereo vision is performed based on an image captured by the imaging device, the brightness, contrast, and the like of both images can be matched, and distance measurement accuracy can be improved. .

（実施の形態３）
以下、本発明の実施の形態３に係る遠赤外線撮像システムについて、図面を参照しながら詳細に説明する。実施の形態３に係る遠赤外線撮像システムの構成、遠赤外線撮像装置１の構成、及び演算装置３の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態３は、路面を示す領域を推定し、遠赤外線撮像装置間で画像データを送受信する点で、実施の形態１及び２と相違する。 (Embodiment 3)
Hereinafter, a far infrared imaging system according to Embodiment 3 of the present invention will be described in detail with reference to the drawings. Since the configuration of the far-infrared imaging system according to the third embodiment, the configuration of the far-infrared imaging device 1, and the configuration of the arithmetic device 3 are the same as those in the first embodiment, detailed description is given by attaching the same reference numerals. Description is omitted. The third embodiment is different from the first and second embodiments in that an area indicating a road surface is estimated and image data is transmitted and received between far-infrared imaging devices.

本実施の形態３に係る遠赤外線撮像装置１、１の信号処理部１２は、路面を示す領域の出力輝度値の平均値を揃えるよう、他の遠赤外線撮像装置１で撮像された画像データを取得し、路面を示す領域を推定して、同一の路面を示す領域の出力輝度値の平均値に基づいてオフセット補正値を算出する。 The signal processing unit 12 of the far-infrared imaging devices 1 and 1 according to the third embodiment uses the image data captured by the other far-infrared imaging devices 1 so as to align the average value of the output luminance values of the area indicating the road surface. Obtaining, estimating the area indicating the road surface, and calculating the offset correction value based on the average value of the output luminance values of the area indicating the same road surface.

図９は、本発明の実施の形態３に係る遠赤外線撮像システムの遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図９では、画像データを受信した遠赤外線撮像装置１、例えば左に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。信号処理部１２は、通信インタフェース部１４を介して他の遠赤外線撮像装置１、たとえば右に設置してある遠赤外線撮像装置１で撮像した画像データを受信する（ステップＳ９０１）。信号処理部１２は、自己の撮像した画像データ及び受信した画像データについて、それぞれ路面を示す領域をそれぞれ推定する（ステップＳ９０２）。路面を示す領域の推定方法は特に限定されるものではない。例えば所定の撮像素子の出力輝度値と、その周囲に存在する撮像素子の出力輝度値とを比較し、出力輝度値の差がほとんど無い領域であって、画像の下方に存在する領域を路面を示す領域として検出しても良いし、路肩の縁石等をエッジ検出することにより推定する方法であっても良い。 FIG. 9 is a flowchart showing a processing procedure of the signal processing unit 12 of the far-infrared imaging device 1 of the far-infrared imaging system according to Embodiment 3 of the present invention. In FIG. 9, the processing procedure of the signal processing unit 12 of the far-infrared imaging device 1 that has received the image data, for example, the far-infrared imaging device 1 installed on the left side will be described. The signal processing unit 12 receives image data captured by another far-infrared imaging device 1, for example, the far-infrared imaging device 1 installed on the right side, via the communication interface unit 14 (step S901). The signal processing unit 12 estimates a region indicating the road surface for each of the image data captured by itself and the received image data (step S902). The method for estimating the area indicating the road surface is not particularly limited. For example, the output luminance value of a predetermined image sensor is compared with the output luminance value of the image sensor existing around the image sensor, and the area where there is almost no difference in the output luminance value, the area existing below the image is displayed on the road surface. It may be detected as a region to be shown, or may be a method of estimating by detecting an edge of a road shoulder curb or the like.

信号処理部１２は、左右に設置されている遠赤外線撮像装置１、１で撮像された画像データに基づいて推定された２つの路面を示す領域ごとに、出力される輝度値の平均値を算出する（ステップＳ９０３）。そして信号処理部１２は、一方の出力輝度値の平均値、例えば左に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値と一致するよう、他方の出力輝度値の平均値、例えば右に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値を補正するためのオフセット補正値を算出する（ステップＳ９０４）。 The signal processing unit 12 calculates an average value of output luminance values for each region indicating two road surfaces estimated based on image data captured by the far-infrared imaging devices 1 and 1 installed on the left and right. (Step S903). Then, the signal processing unit 12 matches the average value of one output luminance value, for example, the average value of the output luminance value of the region indicating the road surface of the image data captured by the far-infrared imaging device 1 installed on the left. In addition, an average value of the other output luminance value, for example, an offset correction value for correcting the average value of the output luminance value of the area indicating the road surface of the image data captured by the far-infrared imaging device 1 installed on the right is calculated. (Step S904).

なお、オフセット補正値を算出するための路面を示す領域は、推定された路面を示す領域すべてを用いることに限定されるものではなく、路面を示す領域内の一定の領域に限定しても良い。 The area indicating the road surface for calculating the offset correction value is not limited to using the entire area indicating the estimated road surface, and may be limited to a certain area within the area indicating the road surface. .

信号処理部１２は、算出されたオフセット補正値を用いて出力輝度値を補正して出力する（ステップＳ９０５）。 The signal processing unit 12 corrects and outputs the output luminance value using the calculated offset correction value (step S905).

このようにすることで、同一の路面を示す領域を撮像した場合の出力輝度値に基づいて随時遠赤外線撮像装置１、１のオフセット補正値を補正することができ、複数の遠赤外線撮像装置１、１にて同一の対象物を撮像した場合であっても、略同一の出力輝度値を出力することが可能となる。 By doing in this way, the offset correction value of the far-infrared imaging devices 1 and 1 can be corrected at any time based on the output luminance value when the region showing the same road surface is imaged, and a plurality of far-infrared imaging devices 1 can be corrected. 1, even when the same object is imaged, it is possible to output substantially the same output luminance value.

なお、遠赤外線撮像装置１のオフセット補正値の補正値を算出するタイミングは特に限定されるものではなく、本実施の形態２に係る障害物検出システムの起動時に算出しても良いし、一定時間間隔で算出するものであっても良い。一定時間間隔で遠赤外線撮像装置１、１のオフセット補正値の補正値を算出する場合には、特にメンテナンス処理を施すことなく複数の赤外線撮像装置１、１で同一対象物を撮像した場合に出力される出力輝度値を略同一にすることが可能となる。 Note that the timing for calculating the correction value of the offset correction value of the far-infrared imaging device 1 is not particularly limited, and may be calculated when the obstacle detection system according to the second embodiment is activated, or may be a fixed time. It may be calculated at intervals. When calculating the correction value of the offset correction value of the far-infrared imaging devices 1 and 1 at regular time intervals, the output is performed when the same object is imaged by the plurality of infrared imaging devices 1 and 1 without particularly performing maintenance processing. It is possible to make the output luminance values substantially the same.

さらに、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が極端な値となっている場合、先行車両の存在、右左折時の対向車両、水溜りに反射した映像等を撮像しているおそれが高く、正確な測距をすることはできない。したがって、ＬＳＩ１６は、平均値の差異が所定値より大きいか否かを判断し、所定値以下であると判断した場合にのみ上述した処理によりオフセット補正値を算出するようにすることで、両画像の明るさ、コントラスト等を正しく一致させることが可能となる。 Furthermore, when the difference between the average values of the output luminance values of the areas indicating the road surfaces (or the average value calculation areas) of both images is an extreme value, the presence of a preceding vehicle, the oncoming vehicle when turning right or left, and a puddle There is a high possibility that a reflected image or the like is captured, and accurate distance measurement cannot be performed. Therefore, the LSI 16 determines whether or not the difference between the average values is larger than the predetermined value, and calculates the offset correction value by the above-described process only when it is determined that the difference is equal to or smaller than the predetermined value. It is possible to correctly match the brightness, contrast, and the like.

以上のように本実施の形態３によれば、同一の温度を示す領域に対しては同一の出力輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。 As described above, according to the third embodiment, the offset correction value can be calculated so that the same output luminance value is output to the region showing the same temperature. Even when distance measurement based on stereo vision is performed based on an image captured by an infrared imaging device, brightness and contrast of both images can be matched, and distance measurement accuracy can be improved. Become.

なお、本実施の形態１乃至３では、遠赤外線撮像装置１のオフセット補正値を、一の遠赤外線撮像装置１で算出しているが、これに限定されるものではなく、例えばオフセット補正値を演算装置３のＬＳＩ３３で算出しても良いことは言うまでも無い。また、演算装置３を介することなく、遠赤外線撮像装置１、１間を接続する通信線を別途接続しておき、遠赤外線撮像装置１、１の信号処理部１２、１２間で上述した処理を実行するものであっても良い。 In the first to third embodiments, the offset correction value of the far-infrared imaging device 1 is calculated by one far-infrared imaging device 1. However, the present invention is not limited to this. For example, the offset correction value is Needless to say, it may be calculated by the LSI 33 of the arithmetic unit 3. In addition, a communication line for connecting the far infrared imaging devices 1 and 1 is connected separately without using the arithmetic device 3, and the processing described above is performed between the signal processing units 12 and 12 of the far infrared imaging devices 1 and 1. It may be executed.

本発明の実施の形態１に係る遠赤外線撮像システムの構成を模式的に示す図である。It is a figure which shows typically the structure of the far-infrared imaging system which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る遠赤外線撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the far-infrared imaging device which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る遠赤外線撮像装置の信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the signal processing part of the far-infrared imaging device which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る遠赤外線撮像システムの演算装置の構成を示すブロック図である。It is a block diagram which shows the structure of the arithmetic unit of the far-infrared imaging system which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る遠赤外線撮像システムの遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the signal processing part of the far-infrared imaging device of the far-infrared imaging system which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る遠赤外線撮像システムの平均値算出領域の特定方法の概要を模式的に示す図である。It is a figure which shows typically the outline | summary of the identification method of the average value calculation area | region of the far-infrared imaging system which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る遠赤外線撮像システムの他の遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the signal processing part of the other far-infrared imaging device of the far-infrared imaging system which concerns on Embodiment 1 of this invention. 本発明の実施の形態２に係る遠赤外線撮像システムの遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the signal processing part of the far-infrared imaging device of the far-infrared imaging system which concerns on Embodiment 2 of this invention. 本発明の実施の形態３に係る遠赤外線撮像システムの遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the signal processing part of the far-infrared imaging device of the far-infrared imaging system which concerns on Embodiment 3 of this invention.

Explanation of symbols

１遠赤外線撮像装置
３演算装置
１１画像撮像部
１２信号処理部
１３画像メモリ
１４通信インタフェース部
３３ＬＳＩ
１２１Ａ／Ｄ変換部
１２２ＮＵＣ処理部
１２３ＢＰＲ処理部
１２５、３３１ＲＡＭ DESCRIPTION OF SYMBOLS 1 Far-infrared imaging device 3 Arithmetic device 11 Image imaging part 12 Signal processing part 13 Image memory 14 Communication interface part 33 LSI
121 A / D converter 122 NUC processor 123 BPR processor 125, 331 RAM

Claims

A plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and obtain image data obtained by imaging an image around the vehicle as an output value of the imaging element are connected so as to be capable of data communication with each other. In a far-infrared imaging system that corrects and outputs an output value for each image sensor based on a captured image,
One far infrared imaging device
Road surface area setting means for setting an area indicating a road surface in the image;
Means for calculating an average value of the output values of the area indicating the set road surface;
Means for transmitting the calculated average value to the other far-infrared imaging device,
The other far-infrared imaging device is:
Means for receiving an average value calculated by the one far-infrared imaging device;
Road surface area setting means for setting an area indicating a road surface in the image;
Means for calculating an average value of the output values of the area indicating the set road surface;
Means for calculating an offset correction value that substantially matches the calculated average value and the received average value, and
A far-infrared imaging system, wherein an output value is corrected with a calculated offset correction value.

A plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and obtain image data obtained by imaging an image around the vehicle as an output value of the imaging element are connected so as to be capable of data communication with each other. In a far-infrared imaging system that corrects and outputs an output value for each image sensor based on a captured image,
One far infrared imaging device
Road surface area estimation means for estimating an area indicating a road surface in the image based on the captured image data;
Means for calculating an average value of the output values of the area indicating the estimated road surface;
Means for transmitting information about the calculated average value and the area indicating the estimated road surface to the other far-infrared imaging device, and
The other far-infrared imaging device is:
Means for receiving information relating to the average value calculated by the one far-infrared imaging device and the area indicating the estimated road surface;
Parallax calculating means for calculating parallax of both far-infrared imaging devices;
Means for estimating an area indicating a road surface based on the calculated parallax;
Means for calculating an average value of the output values of the area indicating the estimated road surface;
Means for calculating an offset correction value that substantially matches the calculated average value with the received average value, and
A far-infrared imaging system, wherein an output value is corrected with a calculated offset correction value.

A plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and obtain image data obtained by imaging an image around the vehicle as an output value of the imaging element are connected so as to be capable of data communication with each other. In a far-infrared imaging system that corrects and outputs an output value for each image sensor based on a captured image,
One far infrared imaging device
Means for transmitting captured image data to the other far-infrared imaging device;
The other far-infrared imaging device is:
Means for receiving image data captured by the one far-infrared imaging device;
Road surface area estimation means for estimating an area indicating a road surface in an image based on captured image data and received image data;
Means for calculating the average value of the output values of the area indicating the estimated road surface,
Means for calculating an offset correction value that substantially matches the calculated two average values,
A far-infrared imaging system, wherein an output value is corrected with a calculated offset correction value.

One far infrared imaging device
Means for calculating a difference between an average value calculated by the one far-infrared imaging device and an average value calculated by another far-infrared imaging device;
Means for determining whether or not the calculated difference is smaller than a predetermined value, and the offset correction value is calculated only when the difference is determined to be small by the means. The far-infrared imaging system as described in any one of Claims.

A plurality of far-infrared imaging devices that have imaging elements arranged in a matrix and obtain image data obtained by imaging an image around the vehicle as an output value of the imaging element are connected so as to be capable of data communication with each other. In a far-infrared imaging method of correcting and outputting an output value for each image sensor based on a captured image,
With one far infrared imaging device
Set the area indicating the road surface in the image,
Calculate the average value of the output value of the area showing the set road surface,
Send the calculated average value to the other far-infrared imaging device,
In the other far infrared imaging device,
Receiving an average value calculated by the one far-infrared imaging device;
Set the area indicating the road surface in the image,
Calculate the average value of the output value of the area showing the set road surface,
Calculate an offset correction value that substantially matches the calculated average value and the received average value,
A far infrared imaging method, wherein an output value is corrected by a calculated offset correction value.