JP3598793B2

JP3598793B2 - Pedestrian detection alarm device

Info

Publication number: JP3598793B2
Application number: JP975998A
Authority: JP
Inventors: 昭浅岡
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-01-21
Filing date: 1998-01-21
Publication date: 2004-12-08
Anticipated expiration: 2018-01-21
Also published as: JPH11215487A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両周囲の温体、特に歩行者を検知し、運転者に歩行者の存在を警告することにより安全な走行を可能にした歩行者検出警報装置に関する。
【０００２】
【従来の技術】
従来より、例えば特開平７−２００９８６号公報に開示されているように、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）カメラ及び熱画像センサカメラを用い、両カメラから得られる映像情報を映像信号処理して歩行者を検知し、歩行者が存在することを報知して運転者に注意を喚起するようにした画像式歩行者検出装置が知られている。
【０００３】
図１３に、この画像式歩行者検出装置の概略構成図を示す。図１３において、画像式歩行者検出装置１００は、ＣＣＤカメラ１０１、熱画像センサカメラ１０２、映像信号切替部１０３、映像信号処理部１０４、出力部１０５を備える。
【０００４】
ＣＣＤカメラ１０１は、可視光（昼間）を入力して電気信号に変換した映像信号Ｓ１０１を映像信号切替部１０３に出力し、一方、熱画像センサカメラ１０２は、赤外線（夜間）を入力して電気信号に変換した映像信号Ｓ１０２を映像信号切替部１０３に出力する。次に、映像信号切替部１０３は、映像信号Ｓ１０１と映像信号Ｓ１０２とを切替えて得られる映像切替信号Ｓ１０３を映像信号処理部１０４に出力する。次に、映像信号処理部１０４は、映像切替信号Ｓ１０３を２値化処理し、その結果得られた最新の２値化フレーム映像信号データと以前の２値化フレーム映像信号データとの差分演算を行い、得られた差分データに基づいて撮影エリアに、（１）物体有り、（２）物体無し、（３）物体退却、（４）物体侵入の４状態に区分する。また、映像信号処理部１０４は、（４）物体侵入、（１）物体有り、（３）物体退却の連続する領域のみに着目して物体の移動ベクトルを演算する。さらに、映像信号処理部１０４は、物体の移動ベクトルの方向が横断歩道に平行なものは歩行者と判別し、垂直なものは車両と判別して歩行者と車両とを効果的に識別し、歩行者の検出信号Ｓ１０４を出力部１０５に出力する。次に、出力部１０５は、検出信号Ｓ１０４が歩行者検知であれば、運転者に歩行者存在注意を喚起する。
【０００５】
この結果、画像式歩行者検出装置１００は、昼夜の別なく障害物（歩行者）を検知して歩行者が存在することを運転者に報知し、注意を喚起することができるという利点を有している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した画像式歩行者検出装置１００には、例えばＣＣＤカメラ１０１と熱画像センサカメラ１０２（以下、カメラという）が車両等に装着されて移動する場合、撮影範囲の全ての対象物が移動物体として認識され、上述したような４つの状態に区分することが困難となり、歩行者を的確に検出することができなくなるといった問題があった。
【０００７】
また、カメラを車両等に装着して走行した場合、横断方向の歩行者の移動ベクトルに比較して車両の速度が大きいので、車両と歩行者との移動ベクトルの方向に基づいた区別が困難となり、歩行者を的確に検出することができなくなるといった問題があった。
【０００８】
さらに、カメラを車両等に装着して走行し、熱画像センサカメラ１０２で車両前方の道路を撮影した場合、歩行者の顔と、対向車線を走行する車両のヘッドライト、信号灯火、道路照明等の高輝度外乱との形状及び大きさが近似しているので歩行者の識別に誤動作が多くなり、信頼性を著しく損なうといった問題があった。
【０００９】
本発明は、上記に鑑みてなされたもので、その目的として、車両前方の歩行者を検出して警報を発生する装置の信頼性の向上および走行の安全性の向上に寄与することができる歩行者検出警報装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、上記課題を解決するため、少なくとも車両前方の風景を可視光を用いて撮像する可視光撮像手段と、この可視光撮像手段が撮像する風景を前方対象物から放射される赤外線を用いて撮像する赤外線撮像手段とを備えるとともに、前記可視光撮像手段から出力される可視光映像信号を所定の基準値と比較して２値化する第１の２値化手段と、前記赤外線撮像手段から出力される赤外線映像信号を所定の基準値と比較して２値化する第２の２値化手段と、前記第１および第２の２値化手段でそれぞれ２値化された２値化信号の差分値を演算する差分演算手段と、前記差分演算手段での差分演算結果の出力パターンと、予め設定してある歩行者パターンとの相関が所定の充足率を超えているときに歩行者として判別する相関判別手段とを備えたことを要旨とする。
【００１１】
請求項２記載の発明は、上記課題を解決するため、請求項１記載の歩行者検出警報装置において、少なくとも車両前方の風景による同一光軸上の入射光を分離するハーフミラーを備え、このハーフミラーを透過した透過光を前記可視光撮像手段に入射し、このハーフミラーで反射された反射光を前記赤外線撮像手段に入射することを要旨とする。
【００１２】
請求項３記載の発明は、上記課題を解決するため、請求項１記載の歩行者検出警報装置において、前記相関判別手段で歩行者が判別されたときには警報を発生する警報手段を備えたことを要旨とする。
【００１３】
【発明の効果】
請求項１記載の本発明によれば、少なくとも車両前方の風景を可視光を用いて撮像しておくとともに、この風景を前方対象物から放射される赤外線を用いて撮像しておき、可視光映像信号を所定の基準値と比較して２値化するとともに、赤外線映像信号を所定の基準値と比較して２値化し、それぞれ２値化された２値化信号の差分値を演算し、差分演算結果の出力パターンと、予め設定してある歩行者パターンとの相関が所定の充足率を超えているときに歩行者として判別することで、車両前方の歩行者を検出して警報を発生する装置の信頼性の向上および走行の安全性の向上に寄与することができる。
【００１４】
例えば、車両等に装着されて移動する場合でも対向車線を走行する車両のヘッドライト、信号灯下、道路照明等の外乱を排除して車両周囲の歩行者を検知して運転者に歩行者の存在を警報することができる。
【００１５】
また、請求項２記載の本発明によれば、少なくとも車両前方の風景による同一光軸上の入射光を分離するハーフミラーを備えておき、このハーフミラーを透過した透過光を入射して可視光映像信号を撮像し、このハーフミラーで反射された反射光を入射して赤外線映像信号を撮像することで、例えば、赤外線カメラと可視光カメラとを一体化することができ、装置の信頼性の向上および走行の安全性の向上に寄与することができる。また、装置を小型化することができる。
【００１６】
また、請求項３記載の本発明によれば、歩行者が判別されたときには警報を発生するので、装置の信頼性の向上および走行の安全性の向上に寄与することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る歩行者検出警報装置の構成を示す図である。
図１において、歩行者検出警報装置１Ａは、カメラユニット３Ａ、ハーネス４Ａ、ハーネス４Ｂ、映像信号処理ユニット５、警報部６を備えている。
【００１８】
カメラユニット３Ａは、車両前部８のラジエターグリル７の奥部に配置され、ハーネス４Ａを介して車室内に配置された映像信号処理ユニット５に映像信号を出力する。映像信号処理ユニット５は、カメラユニット３Ａからの映像信号に基づいて歩行者検出のための信号処理を施して得られる検出信号をハーネス４Ｂを介して警報部６に出力する。警報部６は、映像信号処理ユニット５からの検出信号が歩行者検知であれば、運転者に音、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）、又は映像等による警報を発生する。
【００１９】
次に、図２は本発明に係る歩行者検出警報装置の実施形態の全体ブロック構成図である。
図２において、歩行者検出警報装置１Ａは、カメラユニット３Ａ、映像信号処理ユニット５、警報部６を備えている。
カメラユニット３Ａは、赤外線カメラ９Ａ、可視光カメラ９Ｂを備える。
【００２０】
赤外線カメラ９Ａは赤外線画像を電気信号に変換して得られる映像信号Ｓ３Ａを映像信号処理ユニット５のＡ／Ｄ変換器１０に出力する。
可視光カメラ９Ｂは可視光画像を電気信号に変換して得られる映像信号Ｓ３Ｂを映像信号処理ユニット５のＡ／Ｄ変換器１３に出力する。
映像信号処理ユニット５は、Ａ／Ｄ変換器１０、ウインドウ・コンパレータ１１、２値化部１２、Ａ／Ｄ変換器１３、ウインドウ・コンパレータ１４、２値化部１５、差分演算部１６、相関判別部１７を備えている。
【００２１】
Ａ／Ｄ変換器１０は、赤外線カメラ９Ａからのアナログ信号である映像信号Ｓ３ＡをＡ／Ｄ変換して所定の画素数のデジタル信号である映像信号Ｓ１０をウインドウ・コンパレータ１１に出力する。
ウインドウ・コンパレータ１１は、映像信号Ｓ１０から所定範囲内のレベルの画素を選択して得られるコンパレータ信号Ｓ１１を２値化部１２に出力する。
【００２２】
２値化部１２は、コンパレータ信号Ｓ１１を所定の基準値と比較することで２値化して得られる２値化信号Ｓ１２を差分演算部１６に出力する。
Ａ／Ｄ変換器１３は、可視光カメラ９Ｂからのアナログ信号である映像信号Ｓ３ＢをＡ／Ｄ変換して所定の画素数のデジタル信号である映像信号Ｓ１３をウインドウ・コンパレータ１４に出力する。
【００２３】
ウインドウ・コンパレータ１４は、映像信号Ｓ１３から所定範囲内のレベルの画素を選択して得られるコンパレータ信号Ｓ１４を２値化部１５に出力する。
２値化部１５は、コンパレータ信号Ｓ１４を所定の基準値と比較することで２値化して得られる２値化信号Ｓ１５を差分演算部１６に出力する。
差分演算部１６は、２値化信号Ｓ１２と２値化信号Ｓ１５との差分演算（２値化信号Ｓ１２−２値化信号Ｓ１５）を行って得れる差分信号Ｓ１６を相関判別部１７に出力する。
【００２４】
赤外線カメラ９Ａを車両前部８に装着して走行し、車両前方の道路を撮影した場合、歩行者の顔と、対向車線を走行する車両のヘッドライト、信号灯火、道路照明等の高輝度外乱との形状及び大きさが近似していることが多く、赤外線カメラ９Ａの出力映像から歩行者を識別することは困難である。
【００２５】
一方、可視光カメラは歩行者の顔と対向車のヘッドライト等とは識別できることを利用し、差分演算部１６は数１に示す差分演算を行い、歩行者を検出する。
【００２６】

但し、Ｓ１２Ｆ：熱い顔（歩行者）、Ｓ１２Ｎ：熱い外乱、Ｓ１５Ｎ：熱い外乱である。
【００２７】
相関判別部１７は、差分演算部１６の差分信号Ｓ１６からパターンを抽出し、予め設定してある物体パターン（歩行者）との相関をとり、抽出パターンが歩行者であるか否かを判別して得られる検出信号を警報部６に出力する。
警報部６は、映像信号処理ユニット５からの検出信号（判別信号Ｓ１７）により歩行者を検知した場合には、運転者に音、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）、又は映像等による警報を発生する。
【００２８】
このように、歩行者検出警報装置１Ａは、カメラユニット３Ａ、映像信号処理ユニット５、警報部６を備え、運転者に歩行者の存在及び注意を喚起させることができる。
【００２９】
次に、図３は、カメラユニットの内部構成図である。
図３において、カメラユニット３Ａは、赤外線カメラ９Ａ、可視光カメラ９Ｂ、防水ケース２０、窓部２０ａ、ハーフミラー１９を備えている。また、赤外線カメラ９Ａは、赤外レンズ２１、赤外撮像素子２２、支持部材２７Ａ、基板２３を備えている。さらに、可視光カメラ９Ｂは、可視光レンズ２４、可視光撮像素子２５、支持部材２７Ｂ、基板２６を備えている。
【００３０】
防水ケース２０は、所定の部位に窓部２０ａが開口されている。
ハーフミラー１９は、矢印Ａ方向に対して４５度の傾きになるよう支持部材２７で周囲を支持され、窓部２０ａの奥に配設され、また矢印Ａ方向の入射光の赤外線の反射効率を良くするために表面にコーティングが施されている。
【００３１】
窓部２０ａからの入射した矢印Ａ方向の赤外線は、ハーフミラー１９で反射され、９０度方向が変えられて矢印Ｂ方向に進み、赤外レンズ２１に入射する。
【００３２】
赤外レンズ２１は、ゲルマニウム、シリコン等の材料で形成され、波長８μｍ〜波長１２μｍの赤外線を良く透過し、矢印Ｂ方向の赤外線に対して９０度になるよう支持部材２７Ａで周囲を支持され、矢印Ｂ方向の赤外線を赤外撮像素子２２に集光するよう配設される。
【００３３】
赤外撮像素子２２は、映像信号処理を行う電子回路を実装した基板２３と一体に配置され、赤外レンズ２１で赤外撮像素子２２上に集光した赤外線画像を電気信号に変換する。
可視光レンズ２４は、ガラス材等の材料で形成され、波長１μｍより短い波長の可視帯域の光を透過し、矢印Ｃ方向に対して９０度になるよう支持部材２７Ｂで周囲を支持され、ハーフミラー１９を通過した矢印Ｃ方向の可視光を可視光撮像素子２５に集光するよう配設される。
【００３４】
可視光撮像素子２５は、映像信号処理を行う電子回路を実装した基板２６と一体に配置され、可視光レンズ２４で可視光撮像素子２５上に集光した可視光画像を電気信号に変換する。
【００３５】
このように、カメラユニット３Ａは、ハーフミラー１９により、同一光軸の入射光を赤外線と可視光とに２分割し、赤外撮像素子２２で赤外線画像を電気信号に変換し、また可視光撮像素子２５で可視光画像を電気信号に変換できるので、赤外線カメラと可視光カメラとを一体化することができる。
【００３６】
次に、図４は、本発明に係るカメラユニット３Ａが撮らえた映像の概略図である。また、図５〜図９は、それぞれ本発明に係る映像信号処理ユニット５の動作を説明するための図である。
図４は、道路３２の左前方に信号機３３が設置され、対向車線上にはヘッドライトを点灯して走行してくる対向車２８があり、歩道３１上を歩行者２９が矢印Ａの方向に歩行し、歩行者Ｂが矢印Ｂの方向歩行し、間もなく道路３２に飛び出そうとしている状況を示している。
【００３７】
以下、図４〜図９を適宜参照して説明する。
図１０は、本発明に係る歩行者検出警報装置１Ａの動作を説明するためのフローチャートである。以下、図１０に示すフローチャートに従って歩行者検出警報装置１Ａの動作を説明する。
【００３８】
まず、ステップＳＴ１０では、赤外線カメラ９Ａからの映像信号Ｓ３ＡをＡ／Ｄ変換器１０で所定の画素数の輝度信号のデジタル信号に変換し、映像信号Ｓ１０を生成する。
次に、ステップＳＴ２０では、ウインドウ・コンパレータ１１により映像信号Ｓ１０から所定範囲内のレベルの画素を選択してコンパレータ信号Ｓ１１を生成する。
【００３９】
例えば、２５６階調の輝度データの内、歩行者の顔の輝度が２００程度であれば、１９０〜２１０の範囲の輝度データを選択し、他の画素の輝度値は全て零（０）に書き換える。
また、別の方法として、全画素の輝度値を計算して所定の画素のみを抽出すればよく、例えば、１００個の画素を抽出するために輝度レベル範囲を制御することによって自動的に歩行者の顔を抽出することも可能である。
【００４０】
ステップＳＴ３０は、２値化部１２で、動作をステップＳＴ２０で得られた画素の内、輝度データが零（０）でない画素を全て２５５に書き換え、ステップＳＴ３０の処理をした映像を図５に示す。
図５は、赤外線カメラ９Ａで撮らえた映像を処理した映像であるから、熱源を有する物体のみが高輝度値（２５５）を有し、図中黒く塗りつぶした部分が高輝度値の画素に対応する。図５に示すように、青信号の赤外像３３（ａ）、対向車のヘッドライトの赤外像２８（ａ）、歩行者２９の頭部２９（ａ）、歩行者２９の右手２９（ｂ）、歩行者２９の左手２９（ｃ）、歩行者３０の頭部３０（ａ）、歩行者３０の右手３０（ｂ）、歩行者３０の左手３０（ｃ）が抽出されている。
【００４１】
次に、ステップＳＴ４０では、可視光カメラ９Ｂからの映像信号Ｓ３ＢをＡ／Ｄ変換器１３で所定の画素数の輝度信号のデジタル信号に変換し、映像信号Ｓ１３を生成する。
次に、ステップＳＴ５０では、ウインドウ・コンパレータ１４により映像信号Ｓ１３から所定範囲内のレベルの画素を選択してコンパレータ信号Ｓ１４を生成する。例えば、２５６階調の輝度データの内、歩行者の顔の輝度が２００程度であれば、１５０〜２５５の範囲の輝度データを選択し、他の画素の輝度値は全て零（０）に書き換える。
【００４２】
次に、ステップＳＴ６０では、ステップＳＴ５０で得られた画素の内、２値化部１５で、輝度データが零（０）でない画素を全て２５５に書き換える。ステップＳＴ６０で処理を施した映像を図６に示す。
図６に示すように、可視光カメラ９Ｂで撮らえた映像を処理した映像であるから、発光する物体のみが高輝度値（２５５）を有し、図中黒く塗りつぶした部分が高輝度値の画素に対応する。なお、図６において、青信号の可視像３３（ｂ）、対向車のヘッドライトの可視像２８（ｂ）が抽出されている。
【００４３】
次に、ステップＳＴ７０では、ステップ３０で得られた映像からステップＳＴ６０で得られた映像の各画素ごとに差分演算部１６で差分演算を行い、その結果が負（−）の場合、零（０）に書き換える。
この時の状態を図７に示すように、歩行者２９の頭部２９（ａ）、右手２９（ｂ）、左手２９（ｃ）、及び歩行者３０の頭部３０（ａ）、右手３０（ｂ）、３０左手（ｃ）が抽出され、青信号の赤外像３３（ａ）、対向車のヘッドライトの赤外像２８（ａ）は除去される。
【００４４】
可視映像において、青信号の可視像３３（ｂ）、対向車のヘッドライトの可視像２８（ｂ）等の灯火は、空気中の粉塵により散乱し、所謂グレア現象をおこすため赤外線カメラで撮影したこれら灯火より選択される領域が大きくなる。
【００４５】
従って、赤外線カメラ９Ａと可視光カメラ９Ｂとの映像が光軸のずれ等により、完全に一致しなくても差分演算部１６での差分演算を行うことにより、歩行者を抽出することができる。
また、歩行者検出警報装置の本実施の形態において、灯火を信号機及び対向車のヘッドライトに限定しているが、道路の照明灯、先行車のテールライト、家屋の照明等全ての発光体による外乱があっても、差分演算部１６での差分演算を行うことにより、歩行者を抽出することができる。
【００４６】
次に、ステップＳＴ８０〜ステップＳＴ１７０に示す各ステップは相関判別部１７の動作を示したものである。
ステップＳＴ８０では、ステップＳＴ７０で抽出された画素郡の内、連続した領域を一固まりとしてラベリングする。次に、ステップＳＴ９０では、各ラベリングされた画素群の面積を計算する。次に、ステップＳＴ１００では、各ラベリングされた画素群の重心を計算し、さらに重心位置を計算する。
【００４７】
次に、ステップＳＴ１１０では、図８に示すように、紙面縦方向にＡ〜Ｅまでの５つの領域を予め設定しておき、ステップＳＴ１００で計算された各画素群の重心位置から各ラベリングされた画素群がどの領域に属するかを判別する。
【００４８】
次に、ステップＳＴ１２０では、ステップＳＴ９０で計算した各ラベリングされた画素群の大きさと、予め各領域毎に基準値が設定されている歩行者の顔の大きさとを比較し、歩行者の顔であると判断した場合は大きさ一致のフラグを１に設定し、否と判断された場合は大きさ一致のフラグを零（０）に設定する。この操作により、歩行者の手は歩行者の顔に対して小さいため排除される。
【００４９】
従って、ステップ１２０で大きさ一致のフラグを１に設定される画素群は、歩行者２９の頭部２９（ａ）と、歩行者３０の頭部３０（ａ）との２群である。
【００５０】
このように、各領域毎に歩行者の顔の大きさの基準値を個別に設定することにより、自動車との距離に依存して見かけの大きさが変化する歩行者の顔の大きさに対して比較を正確に行うことができる。
【００５１】
次に、ステップＳＴ１３０では、ステップＳＴ１２０で大きさ一致のフラグを１に設定された歩行者２９の頭部２９（ａ）及び歩行者３０の頭部３０（ａ）の外接四角形の座標を計算する。
次に、ステップＳＴ１４０では、大きさ一致のフラグを１に設定された歩行者２９の頭部２９（ａ）及び歩行者３０の頭部３０（ａ）の外接四角形の縦横比率を計算する。即ち、図８に示す歩行者２９の頭部２９（ａ）の外接四角形の横長Ａと縦長Ｂとの比を計算する。
【００５２】
次に、ステップＳＴ１５０では、歩行者２９の頭部２９（ａ）及び歩行者３０の頭部３０（ａ）の外接四角形の横長Ａと縦長Ｂとの比が予め設定した所定値範囲であるか否かを判断し、所定値範囲内であれば縦横比一致のフラグを１に設定し、否であれば零（０）に設定する。一般に、歩行者の顔は円形に近いので、縦横比が１に近い値が閾値となる。この操作により、外乱の熱源が存在しても、形状が細長い場合は排除することが可能である。
【００５３】
次に、ステップＳＴ１６０では、ステップＳＴ１３０で求めた歩行者２９の頭部２９（ａ）及び歩行者３０の頭部３０（ａ）の外接四角形の座標に基づいて面積を計算する。さらに、ステップＳＴ９０で求めた画素群の面積との比を求めることにより、対象の画素群に関する単位面積当りの高輝度画素の比率である充足率を計算する。
【００５４】
次に、ステップＳＴ１７０では、ステップＳＴ１６０で計算した充足率が予め設定した所定値範囲内であるか否かを判断し、所定値範囲内の場合には充足率一致のフラグを１に設定し、否である場合には零（０）に設定する。この操作により、歩行者の顔のように密な画素群のみが選択され、手足のような密でない画素群は排除され、歩行者検出の精度を向上することができる。
【００５５】
次に、ステップＳＴ１８０では、ステップＳＴ１２０で大きさ一致のフラグ、ステップＳＴ１５０で縦横比一致のフラグ及びステップＳＴ１７０で充足率一致のフラグが何れも１である画素群が存在すれば警報指令（判別信号Ｓ１７）を警報部６に出力する。
【００５６】
なお、本発明に係る歩行者検出警報装置の第１の実施の形態において、特に、個体撮像素子を用いた赤外線カメラ９Ａ及び可視光カメラ９Ｂに強い光が入光した場合、スミア現象が生じる。この対策として、赤外線カメラ９Ａ及び可視光カメラ９Ｂから出力される映像信号（Ｓ３Ａ，Ｓ３Ｂ）から強い輝度信号が解消するまで、所定の画素の輝度値の変化を検出して差分演算部１６に入力する信号の遅延時間を制御、またはカメラの絞りを制御することによってスミア現象の影響を軽減することができる。
【００５７】
（第２の実施の形態）
図１１は、本発明に係る第２の実施の形態のカメラユニットの内部構成を示す図である。
図１１において、カメラユニット３Ｂは、可視光カメラ９Ｂ、赤外線カメラ９Ｃ、防水ケース２０、窓部２０ａ、ハーフミラー１９を備えている。また、可視光カメラ９Ｂは、可視光レンズ２４、可視光撮像素子２５、支持部材２７Ｂ、基板２６を備えている。さらに、赤外線カメラ９Ｃは、赤外集光ミラー３６、赤外撮像素子２２、支持部材２７Ａ、基板２３を備えている。なお、図６に示すカメラユニット３Ｂは、図３に示すカメラユニット３Ａと同一構成要素には同一番号を付し、その説明を省略する。
【００５８】
図１１において、カメラユニット３Ｂは、矢印Ａ方向から入射する入射光をハーフミラー１９で分離し、ハーフミラー１９で反射され、矢印Ｂ方向から入射する赤外線を赤外集光ミラー３６を用いて赤外撮像素子２２上の一点に集光させる構成である。
【００５９】
カメラユニット３Ｂは、カメラユニット３Ａが高価なゲルマニウム等の材質からなる赤外レンズ２１を用いたのに対し、表面に金属薄膜蒸を施した安価な赤外集光ミラー３６を用いたので、コスト低減を図ることができる。
【００６０】
（第３の実施の形態）
図１２は、本発明に係る第３の実施形態の歩行者検出警報装置の概略を説明するための図である。
図１２において、歩行者検出警報装置１Ｂは、赤外線カメラ９Ｄ、可視光カメラ９Ｅ、ハーネス４Ｂ、ハーネス４Ｃ、映像信号処理ユニット５、警報部６を備えている。なお、図１に示す歩行者検出警報装置１Ａと同一構成要素には同一番号を付し、その説明を省略する。
【００６１】
赤外線カメラ９Ｄ及び可視光カメラ９Ｅは、車両前部８のラジエターグリル７の奥部に近接して個別に配置され、ハーネス４Ｃを介して車室内に配置された映像信号処理ユニット５に映像信号を出力する。
【００６２】
以上説明した各実施例における歩行者検出警報装置（１Ａ，１Ｂ）は、温体を歩行者に限定して説明したが、本発明はこれに限定されるものではなく、温体を例えば動物、車両のマフラ、車両のタイヤ等に置き換えた検出警報装置についても適用されるものであり、これらの検出警報装置も本発明の技術思想の範囲に含まれるものである。
【図面の簡単な説明】
【図１】本発明に係る第１実施の形態の歩行者検出警報装置の概略を説明するための図である。
【図２】本発明に係る実施の形態の歩行者検出警報装置の全体ブロック構成を示す図である。
【図３】本発明に係る第１の実施の形態のカメラユニットの内部構成を示す図である。
【図４】本発明に係るカメラユニット３Ａが撮らえた映像の概略を示す図である。
【図５】本発明に係る映像信号処理ユニット５の動作を説明するための図である。
【図６】本発明に係る映像信号処理ユニット５の動作を説明するための図である。
【図７】本発明に係る映像信号処理ユニット５の動作を説明するための図である。
【図８】本発明に係る映像信号処理ユニット５の動作を説明するための図である。
【図９】本発明に係る映像信号処理ユニット５の動作を説明するための図である。
【図１０】本発明に係る歩行者検出警報装置１Ａの動作を説明するためのフローチャートである。
【図１１】本発明に係る第２の実施の形態のカメラユニットの内部構成を説明するための図である。
【図１２】本発明に係る第３の実施の形態の歩行者検出警報装置の概略を説明するための図である。
【図１３】従来の画像式歩行者検出装置の概略構成を示す図である。
【符号の説明】
１Ａ歩行者検出警報装置
３Ａ，３Ｂカメラユニット
４Ａ，４Ｂ，４Ｃハーネス
５映像信号処理ユニット
６警報部
９Ａ，９Ｃ赤外線カメラ
９Ｂ可視光カメラ
１０Ａ／Ｄ変換器
１１，１４ウインドウ・コンパレータ
１２，１５２値化部
１３Ａ／Ｄ変換器
１６差分演算部
１７相関判別部
１９ハーフミラー
２０防水ケース
２０ａ窓部
２１赤外レンズ
２２赤外撮像素子
２３，２６基板
２４可視光レンズ
２５可視光撮像素子
３６赤外集光ミラー[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a pedestrian detection alarm device that detects a warm body around a vehicle, particularly a pedestrian, and warns a driver of the presence of the pedestrian, thereby enabling safe driving.
[0002]
[Prior art]
Conventionally, for example, as disclosed in Japanese Patent Application Laid-Open No. 7-200986, a pedestrian is recognized by using a CCD (Charge Coupled Device) camera and a thermal image sensor camera to process image information obtained from both cameras into image signals. 2. Description of the Related Art There is known an image-type pedestrian detection device that detects the presence of a pedestrian and informs the driver of the presence of the pedestrian to alert the driver.
[0003]
FIG. 13 shows a schematic configuration diagram of the image type pedestrian detection device. 13, the image-type pedestrian detection device 100 includes a CCD camera 101, a thermal image sensor camera 102, a video signal switching unit 103, a video signal processing unit 104, and an output unit 105.
[0004]
The CCD camera 101 inputs a visible light (daytime) and outputs a video signal S101 converted into an electric signal to the video signal switching unit 103, while the thermal image sensor camera 102 receives an infrared ray (night) and outputs an electric signal. The video signal S102 converted into a signal is output to the video signal switching unit 103. Next, the video signal switching unit 103 outputs a video switching signal S103 obtained by switching between the video signal S101 and the video signal S102 to the video signal processing unit 104. Next, the video signal processing unit 104 performs a binarization process on the video switching signal S103, and calculates a difference between the latest binary frame video signal data obtained as a result and the previous binary frame video signal data. Based on the obtained difference data, the photographing area is classified into four states: (1) object present, (2) no object, (3) object retreat, and (4) object intrusion. Further, the video signal processing unit 104 calculates the movement vector of the object by focusing only on the continuous area of (4) object intrusion, (1) object present, and (3) object retreat. Further, the video signal processing unit 104 determines that the direction of the movement vector of the object is parallel to the pedestrian crossing as a pedestrian, and determines that the direction perpendicular to the pedestrian is a vehicle, effectively distinguishing the pedestrian from the vehicle, The pedestrian detection signal S104 is output to the output unit 105. Next, if the detection signal S104 is a pedestrian detection, the output unit 105 alerts the driver to a pedestrian presence alert.
[0005]
As a result, the image-type pedestrian detection device 100 has an advantage that it can detect an obstacle (pedestrian) regardless of day and night, notify the driver of the presence of the pedestrian, and alert the driver. are doing.
[0006]
[Problems to be solved by the invention]
However, when the CCD camera 101 and the thermal image sensor camera 102 (hereinafter, referred to as a camera) are mounted on a vehicle or the like and move, for example, the image-type pedestrian detection device 100 described above moves all the objects in the shooting range. There is a problem that it is recognized as an object, and it becomes difficult to classify the object into the four states as described above, and it is impossible to accurately detect a pedestrian.
[0007]
Also, when the camera is mounted on a vehicle or the like and travels, the speed of the vehicle is higher than the pedestrian's movement vector in the transverse direction, so it is difficult to distinguish the vehicle and the pedestrian based on the direction of the movement vector. However, there has been a problem that a pedestrian cannot be accurately detected.
[0008]
Furthermore, when the camera is mounted on a vehicle or the like and travels, and the road ahead of the vehicle is photographed by the thermal image sensor camera 102, the face of the pedestrian and the headlights, signal lights, road lights, and the like of the vehicle traveling in the oncoming lane. Since the shape and size of the pedestrian are similar to those of the high-luminance disturbance, erroneous operations are increased in pedestrian identification, and there is a problem that reliability is significantly impaired.
[0009]
SUMMARY OF THE INVENTION The present invention has been made in view of the above, and has as its object a gait that can contribute to an improvement in the reliability of a device that detects a pedestrian in front of a vehicle and generates an alarm, and an improvement in driving safety. It is to provide a person detection alarm device.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problems, the invention according to claim 1 is a visible light imaging unit that captures at least a scene in front of the vehicle using visible light, and the scene captured by the visible light imaging unit is radiated from a forward object. A first binarizing unit that includes an infrared imaging unit that performs imaging using infrared light, and that binarizes a visible light video signal output from the visible light imaging unit with a predetermined reference value; A second binarizing unit that binarizes an infrared video signal output from the infrared imaging unit with a predetermined reference value and binarizes the first and second binarizing units; A difference calculating means for calculating a difference value of the binarized signal, an output pattern of a result of the difference calculation by the difference calculating means, and a predetermined correlation with a pedestrian pattern exceeding a predetermined filling rate. Sometimes correlation as a pedestrian And gist that a separate unit.
[0011]
According to a second aspect of the present invention, there is provided a pedestrian detection / warning apparatus according to the first aspect, further comprising a half mirror that separates incident light on the same optical axis in at least a scene in front of the vehicle. The gist is that transmitted light transmitted through a mirror is incident on the visible light imaging unit, and reflected light reflected by the half mirror is incident on the infrared imaging unit.
[0012]
According to a third aspect of the present invention, there is provided a pedestrian detection alarm device according to the first aspect, further comprising an alarm unit that generates an alarm when a pedestrian is determined by the correlation determination unit. Make a summary.
[0013]
【The invention's effect】
According to the first aspect of the present invention, at least a scene in front of the vehicle is imaged using visible light, and the scene is imaged using infrared light radiated from an object in front of the vehicle. The signal is binarized by comparing it with a predetermined reference value, and the infrared video signal is binarized by comparing it with a predetermined reference value, and a difference value of each binarized binary signal is calculated. When the correlation between the output pattern of the calculation result and the preset pedestrian pattern exceeds a predetermined sufficiency rate, the pedestrian is determined as a pedestrian, thereby detecting a pedestrian in front of the vehicle and generating an alarm. This can contribute to improvement of the reliability of the device and improvement of traveling safety.
[0014]
For example, even when the vehicle is mounted on a vehicle or the like and moving, the vehicle detects a pedestrian around the vehicle by eliminating disturbances such as headlights, traffic lights, and road lighting of the vehicle traveling in the oncoming lane, and detects the presence of a pedestrian. Can be alarmed.
[0015]
According to the second aspect of the present invention, a half mirror that separates at least incident light on the same optical axis in a scene in front of the vehicle is provided, and transmitted light that has passed through the half mirror is made incident to become visible light. By capturing an image signal and capturing an infrared image signal by inputting the reflected light reflected by the half mirror, for example, the infrared camera and the visible light camera can be integrated, and the reliability of the device can be improved. It is possible to contribute to improvement and driving safety. Further, the size of the device can be reduced.
[0016]
According to the third aspect of the present invention, a warning is issued when a pedestrian is determined, so that it is possible to contribute to improvement of the reliability of the device and improvement of traveling safety.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)
FIG. 1 is a diagram showing a configuration of a pedestrian detection alarm device according to a first embodiment of the present invention.
1, the pedestrian detection alarm device 1A includes a camera unit 3A, a harness 4A, a harness 4B, a video signal processing unit 5, and an alarm unit 6.
[0018]
The camera unit 3A is disposed in the rear part of the radiator grille 7 in the front part 8 of the vehicle, and outputs a video signal to the video signal processing unit 5 disposed in the vehicle interior via the harness 4A. The video signal processing unit 5 outputs a detection signal obtained by performing signal processing for pedestrian detection based on the video signal from the camera unit 3A to the alarm unit 6 via the harness 4B. If the detection signal from the video signal processing unit 5 is a pedestrian detection, the warning unit 6 generates a warning to the driver by sound, LED (Light Emitting Diode), video, or the like.
[0019]
Next, FIG. 2 is an overall block configuration diagram of an embodiment of a pedestrian detection alarm device according to the present invention.
2, the pedestrian detection alarm device 1A includes a camera unit 3A, a video signal processing unit 5, and an alarm unit 6.
The camera unit 3A includes an infrared camera 9A and a visible light camera 9B.
[0020]
The infrared camera 9A outputs a video signal S3A obtained by converting an infrared image into an electric signal to the A / D converter 10 of the video signal processing unit 5.
The visible light camera 9B outputs a video signal S3B obtained by converting a visible light image into an electric signal to the A / D converter 13 of the video signal processing unit 5.
The video signal processing unit 5 includes an A / D converter 10, a window comparator 11, a binarization unit 12, an A / D converter 13, a window comparator 14, a binarization unit 15, a difference operation unit 16, a correlation discrimination. A portion 17 is provided.
[0021]
The A / D converter 10 A / D converts the video signal S3A, which is an analog signal from the infrared camera 9A, and outputs a video signal S10, which is a digital signal having a predetermined number of pixels, to the window comparator 11.
The window comparator 11 outputs a comparator signal S11 obtained by selecting a pixel having a level within a predetermined range from the video signal S10 to the binarization unit 12.
[0022]
The binarization unit 12 outputs a binarized signal S12 obtained by comparing the comparator signal S11 with a predetermined reference value to the difference calculation unit 16.
The A / D converter 13 A / D converts the video signal S3B, which is an analog signal from the visible light camera 9B, and outputs a video signal S13, which is a digital signal having a predetermined number of pixels, to the window comparator 14.
[0023]
The window comparator 14 outputs a comparator signal S14 obtained by selecting a pixel having a level within a predetermined range from the video signal S13 to the binarization unit 15.
The binarization unit 15 outputs a binarized signal S15 obtained by comparing the comparator signal S14 with a predetermined reference value to the difference calculation unit 16.
The difference calculation unit 16 outputs a difference signal S16 obtained by performing a difference calculation (binary signal S12 to binary signal S15) between the binary signal S12 and the binary signal S15 to the correlation determination unit 17. .
[0024]
When the vehicle travels with the infrared camera 9A mounted on the front part 8 of the vehicle and photographs the road ahead of the vehicle, the pedestrian's face and high-luminance disturbances such as headlights, signal lights, and road lights of vehicles traveling in the oncoming lane. It is often difficult to identify a pedestrian from the output image of the infrared camera 9A.
[0025]
On the other hand, the visible light camera utilizes the fact that the face of the pedestrian can be distinguished from the headlights of the oncoming vehicle and the like, and the difference calculation unit 16 performs the difference calculation shown in Expression 1 to detect the pedestrian.
[0026]

However, S12F: hot face (pedestrian), S12N: hot disturbance, S15N: hot disturbance.
[0027]
The correlation determination unit 17 extracts a pattern from the difference signal S16 of the difference calculation unit 16, obtains a correlation with a preset object pattern (pedestrian), and determines whether the extracted pattern is a pedestrian. The detection signal obtained by this is output to the alarm unit 6.
When detecting the pedestrian based on the detection signal (the discrimination signal S17) from the video signal processing unit 5, the alarm unit 6 issues an alarm to the driver by sound, LED (Light Emitting Diode), video, or the like.
[0028]
As described above, the pedestrian detection alarm device 1A includes the camera unit 3A, the video signal processing unit 5, and the alarm unit 6, and can alert the driver to the presence and attention of the pedestrian.
[0029]
Next, FIG. 3 is an internal configuration diagram of the camera unit.
3, the camera unit 3A includes an infrared camera 9A, a visible light camera 9B, a waterproof case 20, a window 20a, and a half mirror 19. The infrared camera 9A includes an infrared lens 21, an infrared imaging element 22, a support member 27A, and a substrate 23. Further, the visible light camera 9B includes a visible light lens 24, a visible light imaging element 25, a support member 27B, and a substrate 26.
[0030]
The waterproof case 20 has a window 20a opened at a predetermined position.
The half mirror 19 is supported at its periphery by a support member 27 so as to be inclined at 45 degrees with respect to the direction of the arrow A, is disposed behind the window 20a, and reduces the reflection efficiency of infrared light of incident light in the direction of the arrow A. The surface is coated for better quality.
[0031]
The infrared ray in the direction of arrow A, which has entered from the window 20a, is reflected by the half mirror 19, changes its direction by 90 degrees, advances in the direction of arrow B, and enters the infrared lens 21.
[0032]
The infrared lens 21 is made of a material such as germanium or silicon, transmits infrared light having a wavelength of 8 μm to 12 μm well, and is supported around the support member 27A so as to be 90 degrees with respect to the infrared light in the direction of arrow B. The infrared ray in the direction of arrow B is arranged to be focused on the infrared imaging element 22.
[0033]
The infrared imaging device 22 is disposed integrally with a substrate 23 on which an electronic circuit for performing video signal processing is mounted, and converts an infrared image focused on the infrared imaging device 22 by the infrared lens 21 into an electric signal.
The visible light lens 24 is formed of a material such as a glass material, transmits light in a visible band having a wavelength shorter than 1 μm, is supported by a support member 27B so as to be 90 degrees with respect to the arrow C direction, and is half-visible. The visible light in the direction of arrow C passing through the mirror 19 is arranged to be focused on the visible light imaging element 25.
[0034]
The visible light imaging element 25 is disposed integrally with a substrate 26 on which an electronic circuit for performing video signal processing is mounted, and converts a visible light image collected on the visible light imaging element 25 by a visible light lens 24 into an electric signal.
[0035]
As described above, the camera unit 3A splits the incident light of the same optical axis into two parts, infrared light and visible light, by the half mirror 19, converts the infrared image into an electric signal by the infrared image sensor 22, and Since the visible light image can be converted into an electric signal by the element 25, the infrared camera and the visible light camera can be integrated.
[0036]
Next, FIG. 4 is a schematic diagram of an image captured by the camera unit 3A according to the present invention. FIGS. 5 to 9 are views for explaining the operation of the video signal processing unit 5 according to the present invention.
In FIG. 4, a traffic light 33 is installed on the left front side of the road 32, and there is an oncoming vehicle 28 running with headlights on the oncoming lane, and a pedestrian 29 moves on the sidewalk 31 in the direction of arrow A. This shows a situation in which the pedestrian B walks, walks in the direction of arrow B, and is about to jump out of the road 32 soon.
[0037]
Hereinafter, description will be made with reference to FIGS.
FIG. 10 is a flowchart for explaining the operation of the pedestrian detection alarm device 1A according to the present invention. Hereinafter, the operation of the pedestrian detection alarm device 1A will be described with reference to the flowchart shown in FIG.
[0038]
First, in step ST10, the video signal S3A from the infrared camera 9A is converted into a digital signal of a luminance signal of a predetermined number of pixels by the A / D converter 10 to generate the video signal S10.
Next, in step ST20, the window comparator 11 selects a pixel having a level within a predetermined range from the video signal S10 to generate a comparator signal S11.
[0039]
For example, if the luminance of the face of a pedestrian is about 200 out of the luminance data of 256 gradations, luminance data in the range of 190 to 210 is selected, and the luminance values of the other pixels are all rewritten to zero (0). .
Alternatively, as another method, it is only necessary to calculate the luminance values of all pixels and extract only predetermined pixels. For example, by automatically controlling the luminance level range to extract 100 pixels, a pedestrian is automatically adjusted. Can be extracted.
[0040]
In step ST30, the binarization unit 12 rewrites all the pixels whose luminance data is not zero (0) out of the pixels obtained in step ST20 to 255, and shows an image processed in step ST30 in FIG. .
FIG. 5 is an image obtained by processing an image captured by the infrared camera 9A. Therefore, only an object having a heat source has a high luminance value (255), and a black portion in the figure corresponds to a pixel having a high luminance value. . As shown in FIG. 5, an infrared image 33 (a) of a green signal, an infrared image 28 (a) of headlights of an oncoming vehicle, a head 29 (a) of a pedestrian 29, and a right hand 29 (b) of the pedestrian 29 ), The left hand 29 (c) of the pedestrian 29, the head 30 (a) of the pedestrian 30, the right hand 30 (b) of the pedestrian 30, and the left hand 30 (c) of the pedestrian 30 are extracted.
[0041]
Next, in step ST40, the video signal S3B from the visible light camera 9B is converted into a digital signal of a luminance signal of a predetermined number of pixels by the A / D converter 13 to generate the video signal S13.
Next, in step ST50, the window comparator 14 selects a pixel having a level within a predetermined range from the video signal S13 to generate a comparator signal S14. For example, if the luminance of the face of the pedestrian is about 200 out of the luminance data of 256 gradations, the luminance data in the range of 150 to 255 is selected, and the luminance values of the other pixels are all rewritten to zero (0). .
[0042]
Next, in step ST60, of the pixels obtained in step ST50, the binarization unit 15 rewrites all pixels whose luminance data is not zero (0) to 255. FIG. 6 shows the video processed in step ST60.
As shown in FIG. 6, since the image is a processed image of the image captured by the visible light camera 9B, only the light-emitting object has the high luminance value (255), and the black portions in the figure indicate the pixels of the high luminance value. Corresponding to In FIG. 6, a visible image 33 (b) of a green signal and a visible image 28 (b) of a headlight of an oncoming vehicle are extracted.
[0043]
Next, in step ST70, a difference operation is performed by the difference operation unit 16 for each pixel of the image obtained in step ST60 from the image obtained in step 30, and if the result is negative (-), it is zero (0). ).
As shown in FIG. 7, the state at this time is the head 29 (a) of the pedestrian 29, the right hand 29 (b), the left hand 29 (c), and the head 30 (a) and the right hand 30 ( b) and 30 left hand (c) are extracted, and the infrared image 33 (a) of the green light and the infrared image 28 (a) of the headlight of the oncoming vehicle are removed.
[0044]
In the visible image, lights such as a visible image 33 (b) of a green signal and a visible image 28 (b) of a headlight of an oncoming vehicle are scattered by dust in the air and photographed by an infrared camera to cause a so-called glare phenomenon. The area selected from these lights increases.
[0045]
Therefore, even if the images of the infrared camera 9A and the visible light camera 9B do not completely match due to a shift in the optical axis or the like, the pedestrian can be extracted by performing the difference calculation in the difference calculation unit 16.
Further, in the present embodiment of the pedestrian detection alarm device, the light is limited to the traffic light and the headlight of the oncoming vehicle, but all the illuminants such as the road lighting, the taillight of the preceding vehicle, the lighting of the house, etc. Even if there is a disturbance, a pedestrian can be extracted by performing a difference operation in the difference operation unit 16.
[0046]
Next, each step shown in steps ST80 to ST170 shows the operation of the correlation determination unit 17.
In step ST80, a continuous area among the pixel groups extracted in step ST70 is labeled as one block. Next, in step ST90, the area of each labeled pixel group is calculated. Next, in step ST100, the center of gravity of each labeled pixel group is calculated, and the position of the center of gravity is calculated.
[0047]
Next, in step ST110, as shown in FIG. 8, five areas A to E are set in advance in the longitudinal direction of the paper, and each labeling is performed from the barycenter position of each pixel group calculated in step ST100. It is determined to which region the pixel group belongs.
[0048]
Next, in step ST120, the size of each labeled pixel group calculated in step ST90 is compared with the size of a pedestrian's face for which a reference value has been set in advance for each region. If it is determined that there is, the size matching flag is set to 1, and if not, the size matching flag is set to zero (0). With this operation, the hand of the pedestrian is excluded because it is smaller than the face of the pedestrian.
[0049]
Therefore, the two pixel groups in which the size matching flag is set to 1 in step 120 are the head 29 (a) of the pedestrian 29 and the head 30 (a) of the pedestrian 30.
[0050]
In this way, by individually setting the pedestrian's face size reference value for each area, the pedestrian's face size whose apparent size changes depending on the distance to the car Comparison can be made accurately.
[0051]
Next, in step ST130, the coordinates of the circumscribed rectangles of the head 29 (a) of the pedestrian 29 and the head 30 (a) of the pedestrian 30 whose size matching flag is set to 1 in step ST120 are calculated. .
Next, in step ST140, the aspect ratio of the circumscribed rectangle of the head 29 (a) of the pedestrian 29 and the head 30 (a) of the pedestrian 30 with the size matching flag set to 1 is calculated. That is, the ratio between the horizontal length A and the vertical length B of the circumscribed rectangle of the head 29 (a) of the pedestrian 29 shown in FIG. 8 is calculated.
[0052]
Next, in step ST150, it is determined whether the ratio between the horizontal length A and the vertical length B of the circumscribed rectangle of the head 29 (a) of the pedestrian 29 and the head 30 (a) of the pedestrian 30 is within a predetermined value range. It is determined whether or not it is within a predetermined value range, and the aspect ratio matching flag is set to 1 if not, and is set to zero (0) if not. Generally, the face of a pedestrian is almost circular, so that a value with an aspect ratio close to 1 is the threshold. By this operation, even if a heat source of disturbance exists, it is possible to eliminate the case where the shape is elongated.
[0053]
Next, in step ST160, the area is calculated based on the coordinates of the circumscribed rectangle of the head 29 (a) of the pedestrian 29 and the head 30 (a) of the pedestrian 30 obtained in step ST130. Further, by calculating the ratio with the area of the pixel group obtained in step ST90, the filling rate which is the ratio of the high-luminance pixels per unit area for the target pixel group is calculated.
[0054]
Next, in step ST170, it is determined whether or not the filling rate calculated in step ST160 is within a predetermined value range. If the filling rate is within the predetermined value range, a filling rate matching flag is set to 1; If not, it is set to zero (0). By this operation, only a dense pixel group such as a pedestrian's face is selected, and a less dense pixel group such as a limb is excluded, and the accuracy of pedestrian detection can be improved.
[0055]
Next, in step ST180, if there is a pixel group in which the size match flag in step ST120, the aspect ratio match flag in step ST150, and the filling rate match flag in step ST170 are all 1, an alarm command (discrimination signal S17) is output to the alarm unit 6.
[0056]
In the first embodiment of the pedestrian detection / warning apparatus according to the present invention, in particular, when strong light enters the infrared camera 9A and the visible light camera 9B using the solid-state imaging device, a smear phenomenon occurs. As a countermeasure, until a strong luminance signal is eliminated from the video signals (S3A, S3B) output from the infrared camera 9A and the visible light camera 9B, a change in the luminance value of a predetermined pixel is detected and input to the difference calculation unit 16. The influence of the smear phenomenon can be reduced by controlling the signal delay time or controlling the aperture of the camera.
[0057]
(Second embodiment)
FIG. 11 is a diagram illustrating an internal configuration of a camera unit according to the second embodiment of the present invention.
11, the camera unit 3B includes a visible light camera 9B, an infrared camera 9C, a waterproof case 20, a window 20a, and a half mirror 19. The visible light camera 9B includes a visible light lens 24, a visible light imaging element 25, a support member 27B, and a substrate 26. Further, the infrared camera 9C includes an infrared focusing mirror 36, an infrared imaging element 22, a support member 27A, and a substrate 23. In the camera unit 3B shown in FIG. 6, the same components as those in the camera unit 3A shown in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted.
[0058]
In FIG. 11, the camera unit 3B separates the incident light entering from the direction of arrow A by the half mirror 19, reflects the infrared light reflected by the half mirror 19, and enters the infrared light entering from the direction of arrow B into a red light using an infrared collecting mirror 36. In this configuration, the light is condensed on one point on the outer image sensor 22.
[0059]
As for the camera unit 3B, the camera unit 3A uses an infrared lens 21 made of an expensive material such as germanium, whereas the camera unit 3B uses an inexpensive infrared focusing mirror 36 whose surface is coated with a thin metal film. Reduction can be achieved.
[0060]
(Third embodiment)
FIG. 12 is a diagram for explaining an outline of the pedestrian detection alarm device of the third embodiment according to the present invention.
12, the pedestrian detection alarm device 1B includes an infrared camera 9D, a visible light camera 9E, a harness 4B, a harness 4C, a video signal processing unit 5, and an alarm unit 6. Note that the same components as those of the pedestrian detection alarm device 1A shown in FIG.
[0061]
The infrared camera 9D and the visible light camera 9E are individually arranged close to the back of the radiator grille 7 in the front part 8 of the vehicle, and transmit video signals to the video signal processing unit 5 disposed in the vehicle interior via the harness 4C. Output.
[0062]
Although the pedestrian detection / warning devices (1A, 1B) in each of the above-described embodiments have been described with the warm body limited to pedestrians, the present invention is not limited to this. The present invention is also applied to a detection alarm device that is replaced with a vehicle muffler, a vehicle tire, and the like, and these detection alarm devices are also included in the scope of the technical idea of the present invention.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an outline of a pedestrian detection alarm device according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an overall block configuration of a pedestrian detection alarm device according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an internal configuration of a camera unit according to the first embodiment of the present invention.
FIG. 4 is a diagram schematically showing an image captured by a camera unit 3A according to the present invention.
FIG. 5 is a diagram for explaining the operation of the video signal processing unit 5 according to the present invention.
FIG. 6 is a diagram for explaining the operation of the video signal processing unit 5 according to the present invention.
FIG. 7 is a diagram for explaining the operation of the video signal processing unit 5 according to the present invention.
FIG. 8 is a diagram for explaining the operation of the video signal processing unit 5 according to the present invention.
FIG. 9 is a diagram for explaining the operation of the video signal processing unit 5 according to the present invention.
FIG. 10 is a flowchart for explaining the operation of the pedestrian detection alarm device 1A according to the present invention.
FIG. 11 is a diagram illustrating an internal configuration of a camera unit according to a second embodiment of the present invention.
FIG. 12 is a diagram schematically illustrating a pedestrian detection / warning device according to a third embodiment of the present invention.
FIG. 13 is a diagram showing a schematic configuration of a conventional image-based pedestrian detection device.
[Explanation of symbols]
1A Pedestrian detection alarm
3A, 3B camera unit
4A, 4B, 4C Harness
5 Video signal processing unit
6 Alarm section
9A, 9C infrared camera
9B visible light camera
10 A / D converter
11,14 Window comparator
12,15 Binarization unit
13 A / D converter
16 Difference calculation unit
17 Correlation discriminator
19 Half mirror
20 Waterproof case
20a window
21 Infrared lens
22 Infrared image sensor
23, 26 substrates
24 Visible light lens
25 Visible light image sensor
36 Infrared focusing mirror

Claims

Visible light imaging means for imaging at least a scene in front of the vehicle using visible light,
An infrared imaging unit for imaging the scenery imaged by the visible light imaging unit using infrared rays emitted from a forward object,
A first binarizing unit that binarizes a visible light image signal output from the visible light imaging unit by comparing the visible light image signal with a predetermined reference value;
A second binarizing unit that binarizes an infrared video signal output from the infrared imaging unit by comparing the infrared video signal with a predetermined reference value;
Difference calculating means for calculating a difference value between the binarized signals respectively binarized by the first and second binarizing means;
An output pattern of a difference calculation result by the difference calculation means, and a correlation discrimination means for discriminating as a pedestrian when a correlation with a preset pedestrian pattern exceeds a predetermined filling rate. Characteristic pedestrian detection alarm device.

At least a half mirror that separates incident light on the same optical axis by the scenery ahead of the vehicle,
The pedestrian detection alarm device according to claim 1, wherein the transmitted light transmitted through the half mirror is incident on the visible light imaging means, and the reflected light reflected by the half mirror is incident on the infrared imaging means. .

2. The pedestrian detection alarm device according to claim 1, further comprising an alarm unit that generates an alarm when a pedestrian is determined by the correlation determination unit.