JP3588666B2 - 運転制御装置 - Google Patents
運転制御装置 Download PDFInfo
- Publication number
- JP3588666B2 JP3588666B2 JP21658996A JP21658996A JP3588666B2 JP 3588666 B2 JP3588666 B2 JP 3588666B2 JP 21658996 A JP21658996 A JP 21658996A JP 21658996 A JP21658996 A JP 21658996A JP 3588666 B2 JP3588666 B2 JP 3588666B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- infrared
- obstacle
- image
- detection signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、車両や、クレーンあるいは産業ロボットなど走行し、あるいは所定の動作を行なう可動部を備える装置の運転制御装置に関する。
【０００２】
【従来の技術】
従来、車両の運転などに際しての周囲確認のため、カメラを用いて、取得した車両周囲画像をモニターなどに表示して運転者または装置使用者に情報提供することが行なわれている。
さらに、モニターによる表示の他、カメラ画像を画像処理して、自動的に周囲確認を行なう方法も考えられている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の場合は、人間の誤認の影響を考慮しなければならない。また後者の場合、車両を取り巻く背景が複雑で、周りの光量も変化し易いので、画像処理に困難を伴なっている。そしてまた、可視光画像の場合は昼夜にわたる使用が困難になるため、赤外線カメラが用いられるが、従来、赤外線カメラは高価な冷却型赤外線検出器を使用せざるを得なかった。近年冷却型に比較して安価な非冷却型の赤外線検出器が研究されているが、肉眼での確認あるいは画像処理に堪えるものとすればやはり安価にできず、必ずしも実用的とはいえない。また、画像処理そのものの信頼性確保の難しさが残る。このため、従来の装置は、
（１） モニター表示は人間の視覚能力に依存する。
（２） 赤外線検出器を使用する運転制御装置が高価である。
（３） 可視光を利用する画像処理の場合は周囲の光量変化への対応が難しい。
（４） 赤外線検出器を使わない安価な装置は夜間の利用が難しい。
といった問題が挙げられる。その他、クレーン、産業ロボットなど広範囲にアームなどを伸縮、回動させる産業機械の運転に際しての周囲確認の場合も同様である。
本発明は、上記のような問題点に鑑み、安価の赤外線検出器でも使え、複雑な背景でも、周囲確認が確実容易に行なわれる運転制御装置を提供することを目的としている。
【０００４】
【課題を解決するための手段】
このため、請求項１記載の発明は、図１に示すように、動力をもって運転される装置において、
周囲の所定方向の赤外線を検出する赤外線検出手段１と、
前記装置が停止中における前記赤外線検出手段１の検出信号を記憶する記憶手段２と、
前記装置が動作開始時の前記赤外線検出手段１の検出信号を前記記憶手段２に記憶されている検出信号と比較する比較手段３と、
前記比較手段３の比較結果により障害物の有無を判断する判断手段４と、
前記判断手段４が障害物ありと判断した場合は前記動作の開始を拒否する動作拒否手段５と、
前記動作拒否手段５の作動に連動して警報を行なう警報手段６と、
前記動作の開始を可能にする動作拒否解除手段７とを有する基本構成をベースとする。
【０００５】
そして、図２に示すように、上記所定方向での状況変化を検出し、その変化回数および時間間隔を記憶する変化検出手段８をさらに備え、
判断手段４の代わりに、前記比較手段の比較結果および前記変化検出手段に記憶された変化回数が所定回数以上、かつ状況変化が起きた時から前記動力の始動時までの時間間隔の長短との条件に基いて、障害物の有無を判断する判断手段４’を有するものとした。
【０００６】
前記変化検出手段は、前記赤外線検出手段から複数回の検出信号を入力し、入力した検出信号を前回の検出信号と比較して、状況変化を検出することができる。
また、前記変化検出手段は、前記赤外線検出手段とは別に設けられている焦電センサにより障害物の出入を検知することもできる。
さらに、前記変化検出手段は、前記焦電センサにより障害物の出入を検知したときに、前記赤外線検出手段から検出信号を入力し、前回の検出信号と比較して、状況変化を検出することもできる。
【０００７】
前記赤外線検出手段は複数設けられ、前記比較手段は、赤外線検出手段毎に比較を行い、前記判断手段は、前記比較手段の比較結果から、三角測量による距離測定を行うことによって障害物の有無を検出することもできる。
前記判断手段は、前記比較手段の比較結果により、前記検出信号の変化特性を算出し、算出した変化特性に基づいて障害物の有無を判断することもできる。
前記動作拒否解除手段は、手動スイッチを介して前記動作拒否手段および前記警報手段の作動を停止させることによって、前記動作を可能にすることもできる。
【０００８】
【作用】
まず、装置運転停止時に赤外線検出信号を記憶する。この検出信号は例えば車両であれば運転者が周囲確認して車を停止した場所の検出信号であるため、障害物のない状態が確認された検出信号となる。ある時間経過後、動作開始、すなわち車両であれば始動あるいは発進する場合に、新たな赤外線検出信号を取得する。この検出信号は停止時と同じ場面の検出信号となる。この両検出信号を比較すると、検出信号に変化があるかが分かる。この変化は停止している間に、移動してきたものによりもたらされるため、判断手段はその変化により障害物の進入を判断できる。その上で、判断手段は変化検出手段に記憶された状況変化の変化回数が所定回数以上、かつ状況変化が起きた時から動力の始動時までの時間間隔の長短との条件も踏まえて、総合的に障害物を判断する。
これにより、周囲が複雑な背景下例えば複雑背景熱雑音がある場合においても、影響を受けず、障害物となる人、動物などの温体を検出することができ、その検出の結果に基づき運転者に警報を発し、動力の動作を一時的に拒否することにより、動作時に障害物と接触するようなことが事前に回避することができる。
【０００９】
【発明の実施の形態】
次に、発明の実施の形態について、実施例により説明する。
図３は本発明を車両に適用した第１の実施例の構成を示すブロック図である。この構成は以下の各実施例にも兼用される。
カメラ２０（赤外線検出手段）は赤外線カメラで、集光レンズと赤外線検出器からなり、図示しない車両の前部に前方に向けて取り付けられている。カメラ２０の検知方向に関しては、車両の前方でなくても車両の安全運転に寄与できればどの方向でも構わない。例えば後方、側方、床下など運転席から目の届かないところを監視することもできる。ここでは、簡単のため前方監視を例として説明する。赤外線検出器は赤外線単素子センサでもよいが、本実施例では赤外線アレイ素子を用い、赤外線アレイ素子の検出信号がコントローラ２１に出力される。
【００１０】
コントローラ２１にはメモリ２２（記憶手段）が備え付けられ、制御によりカメラ２０からの画像信号などのデータを記憶する。コントローラ２１には、車両情報として車両の車輪の回転センサ信号およびエンジンオンオフを示すキースイッチ信号が入力されている。リレー２３は車両のスタータモータの通電回路に接続され、コントローラ２１はリレー２３を制御することによりエンジンの始動を拒否することができる。エンジンの始動拒否については、燃料または空気の供給をとめてエンジンをオフにさせることもできる。警報器２４（警報手段）は車両の始動が拒否されるときに警報音を出し、警報を行なう。解除スイッチ２５（動作拒否解除手段）はコントローラ２１に解除信号を送り、始動拒否および警報を解除できるようになっている。
【００１１】
次に、コントローラ２１における作動の流れを図４のフローチャートに基づき説明する。
まず、ステップ１００で、キースイッチ信号および回転センサ信号を入力する。、ステップ１０１において、エンジンが停止、車輪回転も０で、車が完全に停止していると判断されると、赤外線アレイ素子に通電し、車両前方の赤外線画像を取得する。この画像は、ｔ０時の赤外線画像とし、運転者が安全を確認して車を停止した場所の画像であるため、安全な状態が確認された画像となる。ステップ１０２において、ｔ０の画像信号をメモリ２２に記憶する。なお、ｔ０としては安全な状態が分かれば、車両停止してから経過した時点でも構わない。
【００１２】
ある時間経過後、ｔｓｔ時点で運転者がキースイッチをスタータ位置に操作すると、ステップ１０３において、キースイッチオン信号が入力される。ステップ１０４において、赤外線アレイ素子に通電しカメラ２０を再度撮影させて、車両始動ｔｓｔ時点の画像信号を入力する。この画像は停車している間に車が移動していないので、ｔ０時の画像と同じ場面の赤外線画像となる。
【００１３】
ステップ１０５においては、入力されたｔｓｔ時点の画像信号をメモリに記憶してあるｔ０時点の画像信号と差分演算して、車が停止している間に画像の変化を検出する。その検出の様子は図５に示している。すなわち、カメラ２０によって得られた５階調の画像を各画素において差分演算をするので、ｔ０時点の（ｂ）画像に対してｔｓｔ時点の（ａ）画像の変化部分が（ｃ）のように抜き出される。背景の温度分布が複雑な状況や人より高温物体が視野内に有る状況でも、ｔ０時とｔｓｔ時の赤外線画像による変化がない部分は差分後の画素の信号レベルが低くなる。また、画像を比較するに際しては、カメラの取り付け位置により自車の一部が写っている場合には、それに相当する画素を当初から削除してもよい。
【００１４】
ステップ１０６において、差分後の各画素の信号レベルをあるしきい値Ａと比較して、その大小を判定する。なお、被検出体のサイズが明確である場合は、複数画素分の信号レベルをまとめてしきい値Ａと比較しても構わない。
しきい値Ａはカメラの光学系の性能、被検出体の温度、環境温度、画素の性能、信号を増幅する際に生ずる雑音、オフセットなどを考慮して設定する。
しきい値比較の結果、差分後の各画素の信号レベルがあるしきい値Ａより小さい場合は、ｔ０時とｔｓｔ時の画像に変化がないものとして、障害物がなしと判断し、ステップ１０８において、リレー２３をオンして、始動を可能にする。
なお、ここでは、画像の比較を先に行なって、差分後の各画素の信号レベルをしきい値Ａと比較して大小判定を行なったが、順番を逆にして、しきい値Ａを赤外線画像取得時に行なって、比較後の画像を差分しても構わない。
【００１５】
ステップ１０６においての比較結果は、差分後画像の一画素でも、その信号レベルがしきい値Ａより大きい場合、何かがｔ０時とｔｓｔ時の間に移動してきてこの結果に至ったと考えられる。すなわち温体の人、動物などが移動してきてその間の熱的変化を起こさせたと考えられる。このときは、ステップ１０９において、リレー２３をオフしてスタータモータへの通電を遮断する。併わせてステップ１１０において、警報器２４に警報信号を送り、警報を発生させる。その動作はステップ１１１において解除スイッチ２５が押されるまで保持される。警報を受けて、運転者は周囲確認をして、障害物がなくなるのを確かめてから、ステップ１１１において、解除スイッチ２５を押す。この解除スイッチの入力があると、ステップ１０８に進み、リレー２３をオンして始動拒否が解除され始動が許可状態となる。
【００１６】
本実施例は以上のように構成され、停車したとき、障害物などのない車両の前方画像が記憶され、車両を始動しようとするときに、再び車両の前方画像が入力され、両画像を比較し、画像に変化があったと判断されると、始動を拒否するようにしたので、複雑な画像処理を必要とせず、赤外線検出器に安価なものが使えるとともに、停車時の間に人間や動物などが移動してきたことも容易に確認できる。
【００１７】
なお、本実施例では、車のエンジンをキースイッチがオフになって、車が完全に停止時をｔ０としたが、自動ドアやトイレなどに利用される焦電センサを用いて運転者が車を離れることを検出し、その時点をｔ０とすることもできる。
またコントローラ２１は解除スイッチ２５の信号を受けてリレーを強制的にオンする代わりに、カメラ２０から再度画像入力をし、図４のステップ１０４からのフロ−チャ−トを再度実行することでリレ−をオンすることもできる。
【００１８】
警報の形としては、警報音のほかに、音声、光などを用いることもできる。なお、警報に合わせて、危険な状態がある場所を同時に表示してもよい。
さらに、解除スイッチ２５はキ−スイッチから離れた位置、例えば本実施例では、車両前部に配置すると、運転者に安全確認を義務づけられる。
なお、カメラ２０が自己温度を測定する機能を有すると、被検出熱源の温度を推定できる。この温度により被検出体の温度範囲を限定することにより、人、動物などの抽出を容易にできる。また赤外線検出手段が自ら入射赤外線エネルギー総量の規制を行なってもよい。
【００１９】
さらに、運転制御装置が発熱体を備え、その発熱体を発熱させることにより自己診断機能を備えさせることもできる。これにより装置が正常に機能しているか否かが事前に分かり、信頼性がさらに向上する。
本実施例では、エンジン始動時を動作開始の例として説明したが、このほか車両ではエンジンアイドリング中の停車状態から走行に移る発進時を動作開始時としてもよい。この場合、例えばＡＴ車はニュートラルにする、マニュアル車ではクラッチの接続を切る、あるいはブレーキを連動させるか、アクセルをきかなくさせるなどにより動作拒否することができる。これによって、キースイッチをオフにしない停車状態でも、例えば横断歩道で停車している時に死角領域に人、動物が入り込むと、車両発進時の画像照合で発進が阻止される。
【００２０】
なお、本実施例は車両の運転制御について説明したが、このほか例えばクレーンや産業ロボットなど可動部を備える装置にも適用でき、人などを巻き込むような事故の防止に役立てる。この場合は、装置の動作拒否は電源を切るか、可動ののストッパを働かせることによって実現できる。それらの停止または可動などの状態検出は電源スイッチのオンオフ、停止状態検出センサなどを用いて行なうことができる。
本実施例では、１台のカメラを接続して説明したが、これに限らず複数台を設けて各死角領域をカバーして広範囲に監視することもできる。
上記ステップ１０５は、比較手段を構成している。
ステップ１０６は、判断手段を構成している。
ステップ１０９は、動作拒否解除手段を構成している。
【００２１】
次に、第１の実施例の変形例について説明する。
第１の実施例では、ステップ１０６において各画素の差分後の信号レベルをあるしきい値Ａと比較することによって変化があるかの判断を行なうが、しきい値Ａを下限とし、上限にしきい値Ｂを設定して比較することにより、人、動物などの比較的常温に近い被検出体を高温の熱源から分離することができるとともに、人、動物などの障害物の検出率も高められる。しきい値Ａまたはしきい値Ｂの比較は前記同様に、赤外線画像取得時に行なって、画像の差分はしきい値比較後とっても構わない。
【００２２】
次に、本発明の第２の実施例について説明する。
第１の実施例では、赤外線画像差分後信号レベルをしきい値Ａと比較して、しきい値Ａを越える信号については変化があったとしているが、本実施例は、図３に破線で示すようにｔ０時点からｔｓｔ時点までの間の状況の変化を検出する焦電センサ２６をコントローラ２１に接続して、途中の変化の有無の情報を障害物の有無の判断に取り入れたものである。
焦電センサ２６は自動ドアなどにも利用されるもので、カメラ２０と同じ方向に向けて設置され、その検知範囲内に熱的変化の有無を検出し、その変化回数および時間間隔を記憶する。その他の部分については第１の実施例と同じである。
【００２３】
次に、コントローラの作動の流れを図６のフローチャートにしたがって説明する。
ステップ１００〜ステップ１０８までは第１の実施例と同じように行なわれる。ステップ１０６において、差分画像強度がしきい値より大きいと判断されると、ステップ１２０において、焦電センサ２６の検出結果が入力される。ステップ１２１において、判断する。例えば焦電センサにより検出された熱的変化が２回以上のときは少なくとも視野内で熱源の出入りがあったということであるから障害物がある可能性があると判断して、ステップ１２２へ進む。ここでは、第１の実施例と同じように、リレー２３をオフして始動を拒否するとともに、ステップ１２３において警報器２４を警報される。
【００２４】
一方、焦電センサの検出結果が熱的変化が一回のときでかつ熱的変化が起きた時間から動力始動までの時間間隔が長い場合には、人、動物などの動く障害物が無いと判断できるため、ステップ１０８へ進む。しかし、熱的変化が一回のときでも、熱的変化が起きた時間から動力始動までの時間間隔が短い場合、例えば人、動物が完全に停止続けられる限度時間以内の場合は障害物があると判断して、ステップ１２２へ進む。
【００２５】
本実施例は以上のように構成され、途中の変化の有無と変化の回数も障害物の有無の判断要素に加えているので、誤検出の可能性が大きく低減される。例えば車が他の車の後ろに停車する場合、カメラ前方に向けて取り付けられているので、視野内に前の車が入る可能性がある。赤外線画像を取得する時間間隔内に前の車が発進すると、ｔ０時とｔｓｔ時の赤外線画像の差分結果に変化が起こり、動力始動が拒否されることになる。しかし、実際は前方の車が発進しただけであり、障害物がある状態ではないため、動力始動を拒否する必要がないため、一回の変化のみでは始動拒否しないようになっている。
【００２６】
図７は、本発明の第３の実施例を示す。
第１の実施例では、停車時点ｔ０の画像と車両を始動時点ｔｓｔの画像を用いて、両画像の変化部分を検出することによって停車している間に障害物が移動してきたかを検出するが、本実施例は、ｔ０時点からｔｓｔ時点までの途中で赤外線画像を取得し、途中の障害物の状況を判断し、動力始動時の障害物の有無の判断に用いるものである。
【００２７】
各画像の取り入れるタイミングはコントローラに内蔵されているタイマーによって決定される。
まず、ステップ３００で、キースイッチ信号と回転センサ信号を入力する。ステップ３０１において、エンジンが停止、車輪回転も０で、車が完全に停止と判断されると、赤外線アレイ素子に通電し、ｔ０時の赤外線画像を入力する。ステップ３０２においては、画像信号をメモリ２２に記憶する。
キースイッチからエンジンをオンする信号が入力されたかの判断ステップ３０３を経て、オンでない間は、ステップ３０４において、コントローラ内のタイマーが作動し、まずｔ０後のある時間ｔ１時点の画像を取得する。ステップ３０５において、このｔ１時点の画像とメモリ２２内のｔ０時点の画像の差分をとって比較する。ステップ３０６において、差分後の画素信号レベルがあるしきい値Ａより大きいときは、ステップ３０７で被検出体の特性例えば熱源の座標、サイズなどを算出して、ステップ３０８においてメモリ２２に記憶する。このように同様のことをｔ２…ｔｎまで系列的に行なう。
【００２８】
そして、ステップ３０３において、キースイッチオン信号ありとされると、ステップ３０９において、始動時点ｔｓｔに赤外線画像を取得する。ステップ３１０においては、ｔｓｔ時点の画像をメモリに記憶されているｔ０時点の赤外線画像と比較して差分画像を得る。ステップ３１１において、差分画像強度はあるしきい値Ａより大きいか否かを判定する。小さい場合は、障害物なしと判断され、ステップ３１３でリレーをオンし始動を許可する。ステップ３１１で差分画像強度が大きいと判断された場合は、熱源の被検出体を検出している場合であり、変化ありの候補として扱う。ステップ３１４においては、メモリ２２からｔ０時からｔｓｔ時までの各被検出体の画像特性データを入力する。特性変化としては被検出体の座標変化の有無、座標変化から移動方向、移動方向の変化回数などがある。
【００２９】
図８は、座標比較の様子を示している。すなわち、画像１と画像２の間で、しきい値Ａより大きい信号の画素があった場合、それらの座標を比較することによって、座標に変化があるかが分かる。図８では熱源が右から左に移動していることを示している。これは、人、動物などが動いたと考えてよい。
【００３０】
ステップ３１５において、入力される画像データに熱的変化があっても、座標変化が無い場合には、人、動物が絶対動かないで静止していることは殆ど有りえないため、障害物が無いと判断し、ステップ３１３へ進む。また、時間が短い場合は第１の実施例と同様に障害物が無いと判断する。
ｔ０時とｔｓｔ時の差分後の画像信号レベルで変化があり、かつ座標変化がある場合にはｔ０時からの座標変化の方向と変化の回数を考慮することにより、移動方向が左右の場合かつ回数が複数回以上のときは、人、動物と判断し、ステップ３１６へ進む。その後は第１の実施例と同様に行われる。
このように、途中の情報を考慮することにより、障害物が人、動物などの動くものであるかどうかの判別の確率が向上する。
ステップ３０４〜ステップ３０８は、変化検出手段を構成している。
なお、本実施例では、ｔ０時点からｔｓｔ時点までの途中の赤外線画像はタイマーによって取得したが、このほか、焦電センサを用い、センサが障害物の出入を検知したときに赤外線画像入力してもよい。
【００３１】
次に、第４の実施例について説明する。第３の実施例では、ｔ０時点の赤外線画像を基準として、各時点の画像と比較するようになっているのに対して、本実施例は、ｔ０時からｔｓｔ時までの間を、一定の時間間隔ｔ１、ｔ２、…、ｔｎで区切って、１つ前の時点の赤外線画像と比較する。各時間で赤外線画像を遂次取得し、背景の影響を除外して障害物となる動くものの特徴を抽出するようにしている。
図９は、コンローラにおける作動の流れを示すフローチャートである。
各画像の取り入れるタイミングはコントローラに内蔵されているタイマーによって決定される。
【００３２】
まず、ステップ４００で、キースイッチ信号と回転センサ信号を入力する。ステップ４０１において、エンジン停止、車輪回転が０で、車が完全に停止していると判断されると、赤外線アレイ素子に通電し、ｔ０時の赤外線画像を入力する。ステップ４０２においては、画像信号をメモリ２２に記憶する。
キースイッチからエンジンをオンする信号が入力されたかの判断ステップ４０３を経て、オン信号がない場合、ステップ４０４において、コントローラ４０１内のタイマーが作動し、まずｔ０後のある時間ｔ１時点の画像を取得する。ステップ４０５において、メモリ２２に一時記憶する。ステップ４０６において、このｔ１時点の画像とメモリ２２内のｔ０時点の画像の差分をとって比較する。ステップ４０７において、差分後の画素信号レベルがあるしきい値Ａより大きいときは、ステップ４０８において、被検出体の特性例えば熱源の座標、サイズなどを算出してメモリ２２に記憶する。これと同様のことをｔ２…ｔｎまで系列的に行なう。
【００３３】
そして、ステップ４０３において、キースイッチオン信号が入力されると、ステップ４０９において、始動時点ｔｓｔに赤外線画像を取得する。ステップ４１０においては、ｔｓｔ時点の画像をメモリに記憶されている前回の赤外線画像と比較して差分画像を得る。ステップ４１１において、差分画像強度がしきい値Ａより大きいか否かを判断する。差分画像強度がしきい値Ａより小さい場合は、ステップ４１３へ進む。差分画像強度がしきい値Ａより大きい場合は、ステップ４１２において画像特性を算出して、ステップ４１３へ進む。
ステップ４１３においては、メモリから画像特性データを入力する。ステップ４１４においては、画像特性データにより、第３の実施例と同様に熱源の座標変化の有無から障害物があるかどうかの判断を行なう。障害物が無いと判断された場合、ステップ４１５において、リレーをオンして始動を許可する。障害物があると判断された場合、ステップ４１６において、リレーをオフして始動を拒否し、ステップ４１７において、警報器を警報させる。そして周囲確認がされたら解除スイッチを押して始動を可能にする。
【００３４】
本実施例は以上のように構成され、各赤外線画像はその前の時点の画像と比較するので、時間あたりの温度変化が少ないゆっくりした変化の影響が削除されるが、人、動物などの急な温度変化については任意の時間間隔で検出できる効果が得られる。例えば、ｔ０時からｔｓｔ時までの時間が長いと、日照の影響による非検出体や前に停車している車のマフラーが冷えてくる場合などのように熱源の温度が徐々に変化して、視野内の背景温度がゆっくりと上昇したりまたは下降したりするものは検出されず、危険な状態を引き起こす原因の人、動物などの動く熱源のもののみ検出される。
【００３５】
図１０、図１１は第５の実施例のコントローラにおける作動の流れを示す。
ステップ４００〜ステップ４０９までは第３の実施例と同様に行なわれる。キースイッチからエンジン点火の信号が入力されると、ステップ４０９において、始動時点ｔｓｔの画像信号を入力する。ステップ５１０において、このｔｓｔ時点の画像信号をメモリに記憶してある停車時点ｔ０の画像信号と差分をとって比較する。ステップ５１１においては、その差分画像の強度がしきい値Ａより小さいかの判断が行なわれる。差分画像の強度がしきい値Ａより小さい場合は、障害物なしと判断して、ステップ５１３においてリレーをオンして始動を許可する。差分画像の強度がしきい値Ａより大きい場合は、ステップ５１４において、ｔｓｔ時点の画像信号を前回入力される画像信号と差分をとって比較する。ステップ５１５においては、その差分画像の強度がしきい値Ａより小さいかの判断が行なわれる。差分画像の強度がしきい値Ａより小さい場合は、ステップ５１７へ進む。差分画像の強度がしきい値Ａより大きい場合は、ステップ５１６において画像特性を算出して、ステップ５１７へ進む。
【００３６】
ステップ５１７においては、メモリから画像特性データを入力する。ステップ５１８においては、画像特性データにより、第３の実施例と同様に熱源の座標変化の有無から障害物があるかどうかの判断を行なう。障害物が無いと判断された場合、ステップ５１３において、リレーをオンして始動を許可する。障害物があると判断された場合、ステップ５１９において、リレーをオフして始動を拒否し、ステップ５２０において、警報器を警報させる。そして周囲確認がされたら解除スイッチを押して始動を可能にする。
本実施例は以上のように構成され、第４の実施例と同様な効果が得られるとともに、停車時点ｔ０と始動時点ｔｓｔの画像比較が行なわれるため、誤検出がさらに低下する。
【００３７】
次に、本発明の第６の実施例について説明する。
本実施例は、とくに図示しないがコントローラにカメラ２０を２台接続し、これらが前方に向けて車両の左右に取り付けられている。
以下、図１２のフローチャートに基づきコントローラの作動の流れを説明する。
まず、ステップ６００で、キースイッチ信号と回転センサ信号を入力し車が完全に停止したと判断されると、ステップ６０１において、左右のカメラから車両前方の赤外線画像をそれぞれ取得する。
【００３８】
ステップ６０２において、入力した赤外線画像信号をメモリ２２に記憶する。ステップ６０３において、キースイッチから車両を始動するｔｓｔ時点のエンジンオン信号が入力されると、ステップ６０４において、左右両カメラ２０を再度撮影させて、車両始動ｔｓｔ時点の画像信号を入力する。
【００３９】
ステップ６０５においては、入力されたｔｓｔ時点の画像信号をメモリに記憶してあるｔ０時点の画像信号と左右別にそれぞれ差分演算して、車が停止している間に画像の変化を検出する。
ステップ６０６において、各差分画像強度をしきい値Ａと比較して、その大小を判定する。
その判定結果、差分後の各画素の信号レベルがあるしきい値Ａより小さい場合は、ステップ６０７において、ｔ０時とｔｓｔ時の画像に変化がないものとして、障害物なしと判断し、ステップ６０８において、リレー２３をオンして、始動を可能にする。
【００４０】
ステップ６０６においての判定結果が、差分後画像の一画素でも、その信号レベルがしきい値Ａより大きい場合、ステップ６０９で、左、右画像の特性である熱源の座標、大きさなどを算出する。そしてステップ６１０で、左、右画像の熱源の座標、大きさから三角測量原理に基づいて、熱源までの距離を測定する。ステップ６１１において、熱源の距離を所定値と比較して除去すべき障害物かどうかを判断する。
距離が小さくて除去または回避すべきと判断されると、ステップ６１２において、リレー２３をオフしてスタータモータへの通電を遮断する。ステップ６１３においては、警報器２４に警報信号を送り、警報を発生させる。そうでない場合は、ステップ６０８において、リレー２３をオンして始動拒否が解除され始動が許可状態となる。
【００４１】
本実施例は、以上のように構成され、２つのカメラを用いることで熱源までの距離測定ができる。その測定距離を例えば死角領域と比較して、死角領域内の熱源だけを危険と判断することもできる。また、一方のカメラが何か大きな物体で覆われたときでも、両方のカメラを一度に覆う確率が非常に小さいため、通常の検出ができ、熱源検出の確率が向上する。
なお、本実施例では、２台のカメラを接続して説明したが、これに限らず、２台のカメラを一組として複数組を設けて、死角領域をカバーするように配置し、一組でも障害物ありと判断が出た場合、エンジン始動を拒否することできる。これによって、事故の回避率がさらに向上する。
【００４２】
【発明の効果】
以上説明してきたように、装置運転停止時に赤外線検出信号を記憶する。この検出信号は例えば車両であれば運転者が周囲確認して車を停止した場所の検出信号であるため、障害物のない状態が確認された検出信号となる。ある時間経過後、始動する場合に、新たな赤外線検出信号を取得する。この検出信号は停止時と同じ場面の検出信号となる。この両検出信号を比較すると、検出信号に変化があるかが分かる。この変化は停止している間に、移動してきたものによりもたらされるため、判断手段はその変化により障害物の進入を判断する。その上で、判断手段は変化検出手段に記憶された状況変化の変化回数が所定回数以上、かつ状況変化が起きた時から動力の始動時までの時間間隔の長短との条件も踏まえて、総合的に障害物を判断する。これにより、周囲が複雑な背景下例えば複雑背景熱雑音がある場合においても、影響を受けず、障害物となる人、動物などの温体を検出することができ、その検出の結果に基づき運転者に警報を発し、動力の始動を一時的に拒否することにより、始動時に障害物と接触するようなことが事前に回避することができる。
【図面の簡単な説明】
【図１】本発明の請求項１の対応図である。
【図２】本発明の請求項２の対応図である。
【図３】本発明の構成を示すブロック図である。
【図４】第１の実施例のフローチャートである。
【図５】画像変化の検出様子を示す図である。
【図６】第２の実施例を示すフローチャートである。
【図７】第３の実施例を示すフローチャートである。
【図８】差分画像から障害物の移動の検出様子を示す図である。
【図９】第４の実施例を示すフローチャートである。
【図１０】第５の実施例を示すフローチャートである。
【図１１】第５の実施例を示すフローチャートである。
【図１２】第６の実施例を示すフローチャートである。
【符号の説明】
１ 赤外線検出手段
２ 記憶手段
３ 比較手段
４、４’ 判断手段
５ 動作拒否手段
６ 警報手段
７ 動作拒否解除手段
２０ カメラ
２１ コントローラ
２２ メモリ
２３ リレー
２４ 警報器
２５ 解除スイッチ
【発明の属する技術分野】
この発明は、車両や、クレーンあるいは産業ロボットなど走行し、あるいは所定の動作を行なう可動部を備える装置の運転制御装置に関する。
【０００２】
【従来の技術】
従来、車両の運転などに際しての周囲確認のため、カメラを用いて、取得した車両周囲画像をモニターなどに表示して運転者または装置使用者に情報提供することが行なわれている。
さらに、モニターによる表示の他、カメラ画像を画像処理して、自動的に周囲確認を行なう方法も考えられている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の場合は、人間の誤認の影響を考慮しなければならない。また後者の場合、車両を取り巻く背景が複雑で、周りの光量も変化し易いので、画像処理に困難を伴なっている。そしてまた、可視光画像の場合は昼夜にわたる使用が困難になるため、赤外線カメラが用いられるが、従来、赤外線カメラは高価な冷却型赤外線検出器を使用せざるを得なかった。近年冷却型に比較して安価な非冷却型の赤外線検出器が研究されているが、肉眼での確認あるいは画像処理に堪えるものとすればやはり安価にできず、必ずしも実用的とはいえない。また、画像処理そのものの信頼性確保の難しさが残る。このため、従来の装置は、
（１） モニター表示は人間の視覚能力に依存する。
（２） 赤外線検出器を使用する運転制御装置が高価である。
（３） 可視光を利用する画像処理の場合は周囲の光量変化への対応が難しい。
（４） 赤外線検出器を使わない安価な装置は夜間の利用が難しい。
といった問題が挙げられる。その他、クレーン、産業ロボットなど広範囲にアームなどを伸縮、回動させる産業機械の運転に際しての周囲確認の場合も同様である。
本発明は、上記のような問題点に鑑み、安価の赤外線検出器でも使え、複雑な背景でも、周囲確認が確実容易に行なわれる運転制御装置を提供することを目的としている。
【０００４】
【課題を解決するための手段】
このため、請求項１記載の発明は、図１に示すように、動力をもって運転される装置において、
周囲の所定方向の赤外線を検出する赤外線検出手段１と、
前記装置が停止中における前記赤外線検出手段１の検出信号を記憶する記憶手段２と、
前記装置が動作開始時の前記赤外線検出手段１の検出信号を前記記憶手段２に記憶されている検出信号と比較する比較手段３と、
前記比較手段３の比較結果により障害物の有無を判断する判断手段４と、
前記判断手段４が障害物ありと判断した場合は前記動作の開始を拒否する動作拒否手段５と、
前記動作拒否手段５の作動に連動して警報を行なう警報手段６と、
前記動作の開始を可能にする動作拒否解除手段７とを有する基本構成をベースとする。
【０００５】
そして、図２に示すように、上記所定方向での状況変化を検出し、その変化回数および時間間隔を記憶する変化検出手段８をさらに備え、
判断手段４の代わりに、前記比較手段の比較結果および前記変化検出手段に記憶された変化回数が所定回数以上、かつ状況変化が起きた時から前記動力の始動時までの時間間隔の長短との条件に基いて、障害物の有無を判断する判断手段４’を有するものとした。
【０００６】
前記変化検出手段は、前記赤外線検出手段から複数回の検出信号を入力し、入力した検出信号を前回の検出信号と比較して、状況変化を検出することができる。
また、前記変化検出手段は、前記赤外線検出手段とは別に設けられている焦電センサにより障害物の出入を検知することもできる。
さらに、前記変化検出手段は、前記焦電センサにより障害物の出入を検知したときに、前記赤外線検出手段から検出信号を入力し、前回の検出信号と比較して、状況変化を検出することもできる。
【０００７】
前記赤外線検出手段は複数設けられ、前記比較手段は、赤外線検出手段毎に比較を行い、前記判断手段は、前記比較手段の比較結果から、三角測量による距離測定を行うことによって障害物の有無を検出することもできる。
前記判断手段は、前記比較手段の比較結果により、前記検出信号の変化特性を算出し、算出した変化特性に基づいて障害物の有無を判断することもできる。
前記動作拒否解除手段は、手動スイッチを介して前記動作拒否手段および前記警報手段の作動を停止させることによって、前記動作を可能にすることもできる。
【０００８】
【作用】
まず、装置運転停止時に赤外線検出信号を記憶する。この検出信号は例えば車両であれば運転者が周囲確認して車を停止した場所の検出信号であるため、障害物のない状態が確認された検出信号となる。ある時間経過後、動作開始、すなわち車両であれば始動あるいは発進する場合に、新たな赤外線検出信号を取得する。この検出信号は停止時と同じ場面の検出信号となる。この両検出信号を比較すると、検出信号に変化があるかが分かる。この変化は停止している間に、移動してきたものによりもたらされるため、判断手段はその変化により障害物の進入を判断できる。その上で、判断手段は変化検出手段に記憶された状況変化の変化回数が所定回数以上、かつ状況変化が起きた時から動力の始動時までの時間間隔の長短との条件も踏まえて、総合的に障害物を判断する。
これにより、周囲が複雑な背景下例えば複雑背景熱雑音がある場合においても、影響を受けず、障害物となる人、動物などの温体を検出することができ、その検出の結果に基づき運転者に警報を発し、動力の動作を一時的に拒否することにより、動作時に障害物と接触するようなことが事前に回避することができる。
【０００９】
【発明の実施の形態】
次に、発明の実施の形態について、実施例により説明する。
図３は本発明を車両に適用した第１の実施例の構成を示すブロック図である。この構成は以下の各実施例にも兼用される。
カメラ２０（赤外線検出手段）は赤外線カメラで、集光レンズと赤外線検出器からなり、図示しない車両の前部に前方に向けて取り付けられている。カメラ２０の検知方向に関しては、車両の前方でなくても車両の安全運転に寄与できればどの方向でも構わない。例えば後方、側方、床下など運転席から目の届かないところを監視することもできる。ここでは、簡単のため前方監視を例として説明する。赤外線検出器は赤外線単素子センサでもよいが、本実施例では赤外線アレイ素子を用い、赤外線アレイ素子の検出信号がコントローラ２１に出力される。
【００１０】
コントローラ２１にはメモリ２２（記憶手段）が備え付けられ、制御によりカメラ２０からの画像信号などのデータを記憶する。コントローラ２１には、車両情報として車両の車輪の回転センサ信号およびエンジンオンオフを示すキースイッチ信号が入力されている。リレー２３は車両のスタータモータの通電回路に接続され、コントローラ２１はリレー２３を制御することによりエンジンの始動を拒否することができる。エンジンの始動拒否については、燃料または空気の供給をとめてエンジンをオフにさせることもできる。警報器２４（警報手段）は車両の始動が拒否されるときに警報音を出し、警報を行なう。解除スイッチ２５（動作拒否解除手段）はコントローラ２１に解除信号を送り、始動拒否および警報を解除できるようになっている。
【００１１】
次に、コントローラ２１における作動の流れを図４のフローチャートに基づき説明する。
まず、ステップ１００で、キースイッチ信号および回転センサ信号を入力する。、ステップ１０１において、エンジンが停止、車輪回転も０で、車が完全に停止していると判断されると、赤外線アレイ素子に通電し、車両前方の赤外線画像を取得する。この画像は、ｔ０時の赤外線画像とし、運転者が安全を確認して車を停止した場所の画像であるため、安全な状態が確認された画像となる。ステップ１０２において、ｔ０の画像信号をメモリ２２に記憶する。なお、ｔ０としては安全な状態が分かれば、車両停止してから経過した時点でも構わない。
【００１２】
ある時間経過後、ｔｓｔ時点で運転者がキースイッチをスタータ位置に操作すると、ステップ１０３において、キースイッチオン信号が入力される。ステップ１０４において、赤外線アレイ素子に通電しカメラ２０を再度撮影させて、車両始動ｔｓｔ時点の画像信号を入力する。この画像は停車している間に車が移動していないので、ｔ０時の画像と同じ場面の赤外線画像となる。
【００１３】
ステップ１０５においては、入力されたｔｓｔ時点の画像信号をメモリに記憶してあるｔ０時点の画像信号と差分演算して、車が停止している間に画像の変化を検出する。その検出の様子は図５に示している。すなわち、カメラ２０によって得られた５階調の画像を各画素において差分演算をするので、ｔ０時点の（ｂ）画像に対してｔｓｔ時点の（ａ）画像の変化部分が（ｃ）のように抜き出される。背景の温度分布が複雑な状況や人より高温物体が視野内に有る状況でも、ｔ０時とｔｓｔ時の赤外線画像による変化がない部分は差分後の画素の信号レベルが低くなる。また、画像を比較するに際しては、カメラの取り付け位置により自車の一部が写っている場合には、それに相当する画素を当初から削除してもよい。
【００１４】
ステップ１０６において、差分後の各画素の信号レベルをあるしきい値Ａと比較して、その大小を判定する。なお、被検出体のサイズが明確である場合は、複数画素分の信号レベルをまとめてしきい値Ａと比較しても構わない。
しきい値Ａはカメラの光学系の性能、被検出体の温度、環境温度、画素の性能、信号を増幅する際に生ずる雑音、オフセットなどを考慮して設定する。
しきい値比較の結果、差分後の各画素の信号レベルがあるしきい値Ａより小さい場合は、ｔ０時とｔｓｔ時の画像に変化がないものとして、障害物がなしと判断し、ステップ１０８において、リレー２３をオンして、始動を可能にする。
なお、ここでは、画像の比較を先に行なって、差分後の各画素の信号レベルをしきい値Ａと比較して大小判定を行なったが、順番を逆にして、しきい値Ａを赤外線画像取得時に行なって、比較後の画像を差分しても構わない。
【００１５】
ステップ１０６においての比較結果は、差分後画像の一画素でも、その信号レベルがしきい値Ａより大きい場合、何かがｔ０時とｔｓｔ時の間に移動してきてこの結果に至ったと考えられる。すなわち温体の人、動物などが移動してきてその間の熱的変化を起こさせたと考えられる。このときは、ステップ１０９において、リレー２３をオフしてスタータモータへの通電を遮断する。併わせてステップ１１０において、警報器２４に警報信号を送り、警報を発生させる。その動作はステップ１１１において解除スイッチ２５が押されるまで保持される。警報を受けて、運転者は周囲確認をして、障害物がなくなるのを確かめてから、ステップ１１１において、解除スイッチ２５を押す。この解除スイッチの入力があると、ステップ１０８に進み、リレー２３をオンして始動拒否が解除され始動が許可状態となる。
【００１６】
本実施例は以上のように構成され、停車したとき、障害物などのない車両の前方画像が記憶され、車両を始動しようとするときに、再び車両の前方画像が入力され、両画像を比較し、画像に変化があったと判断されると、始動を拒否するようにしたので、複雑な画像処理を必要とせず、赤外線検出器に安価なものが使えるとともに、停車時の間に人間や動物などが移動してきたことも容易に確認できる。
【００１７】
なお、本実施例では、車のエンジンをキースイッチがオフになって、車が完全に停止時をｔ０としたが、自動ドアやトイレなどに利用される焦電センサを用いて運転者が車を離れることを検出し、その時点をｔ０とすることもできる。
またコントローラ２１は解除スイッチ２５の信号を受けてリレーを強制的にオンする代わりに、カメラ２０から再度画像入力をし、図４のステップ１０４からのフロ−チャ−トを再度実行することでリレ−をオンすることもできる。
【００１８】
警報の形としては、警報音のほかに、音声、光などを用いることもできる。なお、警報に合わせて、危険な状態がある場所を同時に表示してもよい。
さらに、解除スイッチ２５はキ−スイッチから離れた位置、例えば本実施例では、車両前部に配置すると、運転者に安全確認を義務づけられる。
なお、カメラ２０が自己温度を測定する機能を有すると、被検出熱源の温度を推定できる。この温度により被検出体の温度範囲を限定することにより、人、動物などの抽出を容易にできる。また赤外線検出手段が自ら入射赤外線エネルギー総量の規制を行なってもよい。
【００１９】
さらに、運転制御装置が発熱体を備え、その発熱体を発熱させることにより自己診断機能を備えさせることもできる。これにより装置が正常に機能しているか否かが事前に分かり、信頼性がさらに向上する。
本実施例では、エンジン始動時を動作開始の例として説明したが、このほか車両ではエンジンアイドリング中の停車状態から走行に移る発進時を動作開始時としてもよい。この場合、例えばＡＴ車はニュートラルにする、マニュアル車ではクラッチの接続を切る、あるいはブレーキを連動させるか、アクセルをきかなくさせるなどにより動作拒否することができる。これによって、キースイッチをオフにしない停車状態でも、例えば横断歩道で停車している時に死角領域に人、動物が入り込むと、車両発進時の画像照合で発進が阻止される。
【００２０】
なお、本実施例は車両の運転制御について説明したが、このほか例えばクレーンや産業ロボットなど可動部を備える装置にも適用でき、人などを巻き込むような事故の防止に役立てる。この場合は、装置の動作拒否は電源を切るか、可動ののストッパを働かせることによって実現できる。それらの停止または可動などの状態検出は電源スイッチのオンオフ、停止状態検出センサなどを用いて行なうことができる。
本実施例では、１台のカメラを接続して説明したが、これに限らず複数台を設けて各死角領域をカバーして広範囲に監視することもできる。
上記ステップ１０５は、比較手段を構成している。
ステップ１０６は、判断手段を構成している。
ステップ１０９は、動作拒否解除手段を構成している。
【００２１】
次に、第１の実施例の変形例について説明する。
第１の実施例では、ステップ１０６において各画素の差分後の信号レベルをあるしきい値Ａと比較することによって変化があるかの判断を行なうが、しきい値Ａを下限とし、上限にしきい値Ｂを設定して比較することにより、人、動物などの比較的常温に近い被検出体を高温の熱源から分離することができるとともに、人、動物などの障害物の検出率も高められる。しきい値Ａまたはしきい値Ｂの比較は前記同様に、赤外線画像取得時に行なって、画像の差分はしきい値比較後とっても構わない。
【００２２】
次に、本発明の第２の実施例について説明する。
第１の実施例では、赤外線画像差分後信号レベルをしきい値Ａと比較して、しきい値Ａを越える信号については変化があったとしているが、本実施例は、図３に破線で示すようにｔ０時点からｔｓｔ時点までの間の状況の変化を検出する焦電センサ２６をコントローラ２１に接続して、途中の変化の有無の情報を障害物の有無の判断に取り入れたものである。
焦電センサ２６は自動ドアなどにも利用されるもので、カメラ２０と同じ方向に向けて設置され、その検知範囲内に熱的変化の有無を検出し、その変化回数および時間間隔を記憶する。その他の部分については第１の実施例と同じである。
【００２３】
次に、コントローラの作動の流れを図６のフローチャートにしたがって説明する。
ステップ１００〜ステップ１０８までは第１の実施例と同じように行なわれる。ステップ１０６において、差分画像強度がしきい値より大きいと判断されると、ステップ１２０において、焦電センサ２６の検出結果が入力される。ステップ１２１において、判断する。例えば焦電センサにより検出された熱的変化が２回以上のときは少なくとも視野内で熱源の出入りがあったということであるから障害物がある可能性があると判断して、ステップ１２２へ進む。ここでは、第１の実施例と同じように、リレー２３をオフして始動を拒否するとともに、ステップ１２３において警報器２４を警報される。
【００２４】
一方、焦電センサの検出結果が熱的変化が一回のときでかつ熱的変化が起きた時間から動力始動までの時間間隔が長い場合には、人、動物などの動く障害物が無いと判断できるため、ステップ１０８へ進む。しかし、熱的変化が一回のときでも、熱的変化が起きた時間から動力始動までの時間間隔が短い場合、例えば人、動物が完全に停止続けられる限度時間以内の場合は障害物があると判断して、ステップ１２２へ進む。
【００２５】
本実施例は以上のように構成され、途中の変化の有無と変化の回数も障害物の有無の判断要素に加えているので、誤検出の可能性が大きく低減される。例えば車が他の車の後ろに停車する場合、カメラ前方に向けて取り付けられているので、視野内に前の車が入る可能性がある。赤外線画像を取得する時間間隔内に前の車が発進すると、ｔ０時とｔｓｔ時の赤外線画像の差分結果に変化が起こり、動力始動が拒否されることになる。しかし、実際は前方の車が発進しただけであり、障害物がある状態ではないため、動力始動を拒否する必要がないため、一回の変化のみでは始動拒否しないようになっている。
【００２６】
図７は、本発明の第３の実施例を示す。
第１の実施例では、停車時点ｔ０の画像と車両を始動時点ｔｓｔの画像を用いて、両画像の変化部分を検出することによって停車している間に障害物が移動してきたかを検出するが、本実施例は、ｔ０時点からｔｓｔ時点までの途中で赤外線画像を取得し、途中の障害物の状況を判断し、動力始動時の障害物の有無の判断に用いるものである。
【００２７】
各画像の取り入れるタイミングはコントローラに内蔵されているタイマーによって決定される。
まず、ステップ３００で、キースイッチ信号と回転センサ信号を入力する。ステップ３０１において、エンジンが停止、車輪回転も０で、車が完全に停止と判断されると、赤外線アレイ素子に通電し、ｔ０時の赤外線画像を入力する。ステップ３０２においては、画像信号をメモリ２２に記憶する。
キースイッチからエンジンをオンする信号が入力されたかの判断ステップ３０３を経て、オンでない間は、ステップ３０４において、コントローラ内のタイマーが作動し、まずｔ０後のある時間ｔ１時点の画像を取得する。ステップ３０５において、このｔ１時点の画像とメモリ２２内のｔ０時点の画像の差分をとって比較する。ステップ３０６において、差分後の画素信号レベルがあるしきい値Ａより大きいときは、ステップ３０７で被検出体の特性例えば熱源の座標、サイズなどを算出して、ステップ３０８においてメモリ２２に記憶する。このように同様のことをｔ２…ｔｎまで系列的に行なう。
【００２８】
そして、ステップ３０３において、キースイッチオン信号ありとされると、ステップ３０９において、始動時点ｔｓｔに赤外線画像を取得する。ステップ３１０においては、ｔｓｔ時点の画像をメモリに記憶されているｔ０時点の赤外線画像と比較して差分画像を得る。ステップ３１１において、差分画像強度はあるしきい値Ａより大きいか否かを判定する。小さい場合は、障害物なしと判断され、ステップ３１３でリレーをオンし始動を許可する。ステップ３１１で差分画像強度が大きいと判断された場合は、熱源の被検出体を検出している場合であり、変化ありの候補として扱う。ステップ３１４においては、メモリ２２からｔ０時からｔｓｔ時までの各被検出体の画像特性データを入力する。特性変化としては被検出体の座標変化の有無、座標変化から移動方向、移動方向の変化回数などがある。
【００２９】
図８は、座標比較の様子を示している。すなわち、画像１と画像２の間で、しきい値Ａより大きい信号の画素があった場合、それらの座標を比較することによって、座標に変化があるかが分かる。図８では熱源が右から左に移動していることを示している。これは、人、動物などが動いたと考えてよい。
【００３０】
ステップ３１５において、入力される画像データに熱的変化があっても、座標変化が無い場合には、人、動物が絶対動かないで静止していることは殆ど有りえないため、障害物が無いと判断し、ステップ３１３へ進む。また、時間が短い場合は第１の実施例と同様に障害物が無いと判断する。
ｔ０時とｔｓｔ時の差分後の画像信号レベルで変化があり、かつ座標変化がある場合にはｔ０時からの座標変化の方向と変化の回数を考慮することにより、移動方向が左右の場合かつ回数が複数回以上のときは、人、動物と判断し、ステップ３１６へ進む。その後は第１の実施例と同様に行われる。
このように、途中の情報を考慮することにより、障害物が人、動物などの動くものであるかどうかの判別の確率が向上する。
ステップ３０４〜ステップ３０８は、変化検出手段を構成している。
なお、本実施例では、ｔ０時点からｔｓｔ時点までの途中の赤外線画像はタイマーによって取得したが、このほか、焦電センサを用い、センサが障害物の出入を検知したときに赤外線画像入力してもよい。
【００３１】
次に、第４の実施例について説明する。第３の実施例では、ｔ０時点の赤外線画像を基準として、各時点の画像と比較するようになっているのに対して、本実施例は、ｔ０時からｔｓｔ時までの間を、一定の時間間隔ｔ１、ｔ２、…、ｔｎで区切って、１つ前の時点の赤外線画像と比較する。各時間で赤外線画像を遂次取得し、背景の影響を除外して障害物となる動くものの特徴を抽出するようにしている。
図９は、コンローラにおける作動の流れを示すフローチャートである。
各画像の取り入れるタイミングはコントローラに内蔵されているタイマーによって決定される。
【００３２】
まず、ステップ４００で、キースイッチ信号と回転センサ信号を入力する。ステップ４０１において、エンジン停止、車輪回転が０で、車が完全に停止していると判断されると、赤外線アレイ素子に通電し、ｔ０時の赤外線画像を入力する。ステップ４０２においては、画像信号をメモリ２２に記憶する。
キースイッチからエンジンをオンする信号が入力されたかの判断ステップ４０３を経て、オン信号がない場合、ステップ４０４において、コントローラ４０１内のタイマーが作動し、まずｔ０後のある時間ｔ１時点の画像を取得する。ステップ４０５において、メモリ２２に一時記憶する。ステップ４０６において、このｔ１時点の画像とメモリ２２内のｔ０時点の画像の差分をとって比較する。ステップ４０７において、差分後の画素信号レベルがあるしきい値Ａより大きいときは、ステップ４０８において、被検出体の特性例えば熱源の座標、サイズなどを算出してメモリ２２に記憶する。これと同様のことをｔ２…ｔｎまで系列的に行なう。
【００３３】
そして、ステップ４０３において、キースイッチオン信号が入力されると、ステップ４０９において、始動時点ｔｓｔに赤外線画像を取得する。ステップ４１０においては、ｔｓｔ時点の画像をメモリに記憶されている前回の赤外線画像と比較して差分画像を得る。ステップ４１１において、差分画像強度がしきい値Ａより大きいか否かを判断する。差分画像強度がしきい値Ａより小さい場合は、ステップ４１３へ進む。差分画像強度がしきい値Ａより大きい場合は、ステップ４１２において画像特性を算出して、ステップ４１３へ進む。
ステップ４１３においては、メモリから画像特性データを入力する。ステップ４１４においては、画像特性データにより、第３の実施例と同様に熱源の座標変化の有無から障害物があるかどうかの判断を行なう。障害物が無いと判断された場合、ステップ４１５において、リレーをオンして始動を許可する。障害物があると判断された場合、ステップ４１６において、リレーをオフして始動を拒否し、ステップ４１７において、警報器を警報させる。そして周囲確認がされたら解除スイッチを押して始動を可能にする。
【００３４】
本実施例は以上のように構成され、各赤外線画像はその前の時点の画像と比較するので、時間あたりの温度変化が少ないゆっくりした変化の影響が削除されるが、人、動物などの急な温度変化については任意の時間間隔で検出できる効果が得られる。例えば、ｔ０時からｔｓｔ時までの時間が長いと、日照の影響による非検出体や前に停車している車のマフラーが冷えてくる場合などのように熱源の温度が徐々に変化して、視野内の背景温度がゆっくりと上昇したりまたは下降したりするものは検出されず、危険な状態を引き起こす原因の人、動物などの動く熱源のもののみ検出される。
【００３５】
図１０、図１１は第５の実施例のコントローラにおける作動の流れを示す。
ステップ４００〜ステップ４０９までは第３の実施例と同様に行なわれる。キースイッチからエンジン点火の信号が入力されると、ステップ４０９において、始動時点ｔｓｔの画像信号を入力する。ステップ５１０において、このｔｓｔ時点の画像信号をメモリに記憶してある停車時点ｔ０の画像信号と差分をとって比較する。ステップ５１１においては、その差分画像の強度がしきい値Ａより小さいかの判断が行なわれる。差分画像の強度がしきい値Ａより小さい場合は、障害物なしと判断して、ステップ５１３においてリレーをオンして始動を許可する。差分画像の強度がしきい値Ａより大きい場合は、ステップ５１４において、ｔｓｔ時点の画像信号を前回入力される画像信号と差分をとって比較する。ステップ５１５においては、その差分画像の強度がしきい値Ａより小さいかの判断が行なわれる。差分画像の強度がしきい値Ａより小さい場合は、ステップ５１７へ進む。差分画像の強度がしきい値Ａより大きい場合は、ステップ５１６において画像特性を算出して、ステップ５１７へ進む。
【００３６】
ステップ５１７においては、メモリから画像特性データを入力する。ステップ５１８においては、画像特性データにより、第３の実施例と同様に熱源の座標変化の有無から障害物があるかどうかの判断を行なう。障害物が無いと判断された場合、ステップ５１３において、リレーをオンして始動を許可する。障害物があると判断された場合、ステップ５１９において、リレーをオフして始動を拒否し、ステップ５２０において、警報器を警報させる。そして周囲確認がされたら解除スイッチを押して始動を可能にする。
本実施例は以上のように構成され、第４の実施例と同様な効果が得られるとともに、停車時点ｔ０と始動時点ｔｓｔの画像比較が行なわれるため、誤検出がさらに低下する。
【００３７】
次に、本発明の第６の実施例について説明する。
本実施例は、とくに図示しないがコントローラにカメラ２０を２台接続し、これらが前方に向けて車両の左右に取り付けられている。
以下、図１２のフローチャートに基づきコントローラの作動の流れを説明する。
まず、ステップ６００で、キースイッチ信号と回転センサ信号を入力し車が完全に停止したと判断されると、ステップ６０１において、左右のカメラから車両前方の赤外線画像をそれぞれ取得する。
【００３８】
ステップ６０２において、入力した赤外線画像信号をメモリ２２に記憶する。ステップ６０３において、キースイッチから車両を始動するｔｓｔ時点のエンジンオン信号が入力されると、ステップ６０４において、左右両カメラ２０を再度撮影させて、車両始動ｔｓｔ時点の画像信号を入力する。
【００３９】
ステップ６０５においては、入力されたｔｓｔ時点の画像信号をメモリに記憶してあるｔ０時点の画像信号と左右別にそれぞれ差分演算して、車が停止している間に画像の変化を検出する。
ステップ６０６において、各差分画像強度をしきい値Ａと比較して、その大小を判定する。
その判定結果、差分後の各画素の信号レベルがあるしきい値Ａより小さい場合は、ステップ６０７において、ｔ０時とｔｓｔ時の画像に変化がないものとして、障害物なしと判断し、ステップ６０８において、リレー２３をオンして、始動を可能にする。
【００４０】
ステップ６０６においての判定結果が、差分後画像の一画素でも、その信号レベルがしきい値Ａより大きい場合、ステップ６０９で、左、右画像の特性である熱源の座標、大きさなどを算出する。そしてステップ６１０で、左、右画像の熱源の座標、大きさから三角測量原理に基づいて、熱源までの距離を測定する。ステップ６１１において、熱源の距離を所定値と比較して除去すべき障害物かどうかを判断する。
距離が小さくて除去または回避すべきと判断されると、ステップ６１２において、リレー２３をオフしてスタータモータへの通電を遮断する。ステップ６１３においては、警報器２４に警報信号を送り、警報を発生させる。そうでない場合は、ステップ６０８において、リレー２３をオンして始動拒否が解除され始動が許可状態となる。
【００４１】
本実施例は、以上のように構成され、２つのカメラを用いることで熱源までの距離測定ができる。その測定距離を例えば死角領域と比較して、死角領域内の熱源だけを危険と判断することもできる。また、一方のカメラが何か大きな物体で覆われたときでも、両方のカメラを一度に覆う確率が非常に小さいため、通常の検出ができ、熱源検出の確率が向上する。
なお、本実施例では、２台のカメラを接続して説明したが、これに限らず、２台のカメラを一組として複数組を設けて、死角領域をカバーするように配置し、一組でも障害物ありと判断が出た場合、エンジン始動を拒否することできる。これによって、事故の回避率がさらに向上する。
【００４２】
【発明の効果】
以上説明してきたように、装置運転停止時に赤外線検出信号を記憶する。この検出信号は例えば車両であれば運転者が周囲確認して車を停止した場所の検出信号であるため、障害物のない状態が確認された検出信号となる。ある時間経過後、始動する場合に、新たな赤外線検出信号を取得する。この検出信号は停止時と同じ場面の検出信号となる。この両検出信号を比較すると、検出信号に変化があるかが分かる。この変化は停止している間に、移動してきたものによりもたらされるため、判断手段はその変化により障害物の進入を判断する。その上で、判断手段は変化検出手段に記憶された状況変化の変化回数が所定回数以上、かつ状況変化が起きた時から動力の始動時までの時間間隔の長短との条件も踏まえて、総合的に障害物を判断する。これにより、周囲が複雑な背景下例えば複雑背景熱雑音がある場合においても、影響を受けず、障害物となる人、動物などの温体を検出することができ、その検出の結果に基づき運転者に警報を発し、動力の始動を一時的に拒否することにより、始動時に障害物と接触するようなことが事前に回避することができる。
【図面の簡単な説明】
【図１】本発明の請求項１の対応図である。
【図２】本発明の請求項２の対応図である。
【図３】本発明の構成を示すブロック図である。
【図４】第１の実施例のフローチャートである。
【図５】画像変化の検出様子を示す図である。
【図６】第２の実施例を示すフローチャートである。
【図７】第３の実施例を示すフローチャートである。
【図８】差分画像から障害物の移動の検出様子を示す図である。
【図９】第４の実施例を示すフローチャートである。
【図１０】第５の実施例を示すフローチャートである。
【図１１】第５の実施例を示すフローチャートである。
【図１２】第６の実施例を示すフローチャートである。
【符号の説明】
１ 赤外線検出手段
２ 記憶手段
３ 比較手段
４、４’ 判断手段
５ 動作拒否手段
６ 警報手段
７ 動作拒否解除手段
２０ カメラ
２１ コントローラ
２２ メモリ
２３ リレー
２４ 警報器
２５ 解除スイッチ
Claims (9)
- 動力をもって運転される装置において、
周囲の所定方向の赤外線を検出する赤外線検出手段と、
前記装置が停止中における前記赤外線検出手段の検出信号を記憶する記憶手段と、
前記装置が動作開始時の前記赤外線検出手段の検出信号を前記記憶手段に記憶されている検出信号と比較する比較手段と、
前記所定方向で状況変化を検出し、その変化回数および時間間隔を記憶する変化検出手段と、
前記比較手段の比較結果および前記変化検出手段に記憶された変化回数が所定回数以上、かつ状況変化が起きた時から前記動力の始動時までの時間間隔の長短との条件に基いて、障害物の有無を判断する判断手段と、
該判断手段が障害物ありと判断した場合は前記動作の開始を拒否する動作拒否手段と、
該動作拒否手段の作動に連動して警報を行なう警報手段と、
前記動作の開始を可能にする動作拒否解除手段とを有することを特徴とする運転制御装置。 - 前記変化検出手段は、前記赤外線検出手段から複数回の検出信号を入力し、入力した検出信号を前回の検出信号と比較して、状況変化を検出することを特徴とする請求項１記載の運転制御装置。
- 前記変化検出手段は、前記赤外線検出手段とは別に設けられている焦電センサにより障害物の出入を検知するものであることを特徴とする請求項１記載の運転制御装置。
- 前記変化検出手段は、前記焦電センサにより障害物の出入を検知したときに、前記赤外線検出手段から検出信号を入力し、前回の検出信号と比較して、状況変化を検出することを特徴とする請求項３記載の運転制御装置。
- 前記赤外線検出手段は複数設けられ、前記比較手段は、赤外線検出手段毎に比較を行い、前記判断手段は、前記比較手段の比較結果から、三角測量による距離測定を行うことによって障害物の有無を検出することを特徴とする請求項１から４のいずれか１に記載の運転制御装置。
- 前記判断手段は、前記比較手段の比較結果により、前記検出信号の変化特性を算出し、算出した変化特性に基づいて障害物の有無を判断することを特徴とする請求項１記載の運転制御装置。
- 前記動作拒否解除手段は、手動スイッチを介して前記動作拒否手段および前記警報手段の作動を停止させることによって、前記動作を可能にすることを特徴とする請求項１から６のいずれか１に記載の運転制御装置。
- 前記判断手段が障害物なしと判断するまで、前記赤外線検出手段が赤外線検出を繰り返すことを特徴とする請求項１から６のいずれか１に記載の運転制御装置。
- 前記装置が車両であって、前記動作開始時がエンジンの始動時であることを特徴とする請求項１から８のいずれか１に記載の運転制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21658996A JP3588666B2 (ja) | 1996-07-30 | 1996-07-30 | 運転制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21658996A JP3588666B2 (ja) | 1996-07-30 | 1996-07-30 | 運転制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049799A JPH1049799A (ja) | 1998-02-20 |
| JP3588666B2 true JP3588666B2 (ja) | 2004-11-17 |
Family
ID=16690796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21658996A Expired - Fee Related JP3588666B2 (ja) | 1996-07-30 | 1996-07-30 | 運転制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3588666B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2158827B1 (es) * | 2000-02-18 | 2002-03-16 | Fico Mirrors Sa | Dispositivo de deteccion de presencia de objetos. |
| AT5086U3 (de) * | 2001-12-07 | 2003-02-25 | Plasser Bahnbaumasch Franz | Arbeitsfahrzeug und verfahren zum führerlosen betrieb |
| JP3984863B2 (ja) * | 2002-05-13 | 2007-10-03 | 三菱電機株式会社 | 発進報知装置 |
| JP3999088B2 (ja) * | 2002-09-18 | 2007-10-31 | 本田技研工業株式会社 | 障害物検出装置 |
| JP2004171269A (ja) * | 2002-11-20 | 2004-06-17 | Enii Kk | 移動体衝突予測装置および移動体衝突予測方法 |
| JP2006178538A (ja) * | 2004-12-20 | 2006-07-06 | Nissan Motor Co Ltd | 道路領域検出装置 |
| JP4528320B2 (ja) * | 2007-08-06 | 2010-08-18 | 本田技研工業株式会社 | 物体検出装置 |
| JP5105306B2 (ja) * | 2008-04-11 | 2012-12-26 | 株式会社デンソー | 車両用表示装置 |
| JP5253017B2 (ja) * | 2008-07-03 | 2013-07-31 | アルパイン株式会社 | 周辺監視装置、障害物検出方法及びコンピュータプログラム |
| CN103010025B (zh) * | 2012-12-21 | 2016-04-13 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种车辆安全起步控制方法及实现该方法的装置 |
| CN104896685B (zh) * | 2014-03-03 | 2019-06-28 | 松下电器（美国）知识产权公司 | 传感方法、传感系统及包含它们的空调设备 |
| CN110570687B (zh) * | 2018-06-06 | 2021-04-27 | 杭州海康机器人技术有限公司 | Agv的控制方法、装置及存储介质 |
| JP7215231B2 (ja) * | 2019-03-04 | 2023-01-31 | トヨタ自動車株式会社 | 情報処理装置、検知方法及びプログラム |
-
1996
- 1996-07-30 JP JP21658996A patent/JP3588666B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1049799A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3588666B2 (ja) | 運転制御装置 | |
| US10146227B2 (en) | Driving assistance apparatus | |
| EP3352037B1 (en) | Autonomously traveling work vehicle and method for autonomous travel control | |
| US11008783B2 (en) | Vehicle periphery monitoring apparatus | |
| US11338645B2 (en) | Method and apparatus for active vehicle cabin occupant detection system | |
| US8115809B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP6651031B2 (ja) | 車両ドア衝突防止装置および車両ドア衝突防止方法 | |
| JP2002063668A (ja) | 車内の人検出通報装置及び危険状態回避装置 | |
| US20070014439A1 (en) | Monitoring system, monitoring device and method, recording medium, and program | |
| JPH0468500A (ja) | 車両運転者監視装置 | |
| CN109455139B (zh) | 一种基于汽车开门的警示保护装置 | |
| JP2009280109A (ja) | 車両周辺監視装置 | |
| GB2431496A (en) | Alcohol test based vehicle safety system | |
| JP4984521B2 (ja) | 車載カメラの制御装置 | |
| JP2018169689A (ja) | 非搭乗型自動運転システム、及び非搭乗型自動運転方法 | |
| CN113022574A (zh) | 用于检测交通工具中乘客异常安定的系统和方法 | |
| JPH0757172A (ja) | 運転者異常事態発生警報装置 | |
| JP6999761B2 (ja) | 車両用周辺監視装置 | |
| US20230040522A1 (en) | Drunk driving prevention system with bypass mode and drunk driving prevention method using the system | |
| JP4163428B2 (ja) | 鉄道車両における乗降客ドアの異物検知装置 | |
| KR20070019166A (ko) | 차량용 열 감응형 충돌 방지 시스템 및 그 제어방법 | |
| JPH11304428A (ja) | 運転者監視装置及び自動車運転支援システム | |
| JP7120546B2 (ja) | 人検知システム | |
| CN104063991A (zh) | 一种下车安全提醒装置及其检测方法 | |
| JP3431498B2 (ja) | 歩行者検知システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040802 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140827 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |