JPH07200986A - 画像式歩行者検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 横断歩行者の安全確保に役立つ交通制御シス
テムを構築するために不可欠な、昼夜兼用で且つ低価格
で実現可能な実用性の高い画像式歩行者検出装置を提案
する。 【構成】 画像式歩行者検出装置を、可視光ビデオカメ
ラ(CA)と、ペルチエ電子冷却素子(33)を付加した熱画像
センサカメラ(PCA) と、両カメラの出力を処理する画像
処理部(100) を含み構成し、前記画像処理部(100) が、
映像信号を処理して道路輝度パターンと歩行者輝度パタ
ーンのパターン相関により画像２値化し、最新フレーム
画像２値化データと以前の画像２値化データの差分をと
ることにより撮像エリアを物体なし、物体あり、物体退
却、物体進入に分け４値化し、物体あり、物体退却、物
体進入に夫々対応する画素の分布より移動ベクトルを算
定し、移動ベクトルの方向が横断方向のものを歩行者と
して識別するようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理技術を用いて
昼夜を通じて横断歩行者を検知するための画像式歩行者
検出装置に関する。

【０００２】

【従来の技術】我国の道路交通は、ますます交通量増加
の一途をたどり、これに伴い交通事故死者も年間１万人
を越えている。この中には、横断歩行者の死亡事故も多
く含まれており、特にドライドの不注意により横断歩行
者の死亡事故を起こした例は多く、その対策が望まれて
いる。

【０００３】このような対策の一つとして、車両自体に
前方障害物検知センサを搭載し、危険な時は非常ブレー
キをかけるシステムの研究が車両メーカーで進み、近い
将来、実現される可能性が高い。その中でも特に横断歩
行者を検知しドライバへ警告することは重要である。し
かしながら、このような車両搭載センサのセンシング領
域は、専ら車両前方等に限定されたものとなり、横断歩
行者の検出には充分ではない。従って、車両単独ではセ
ンシングできない対象物は路上センサによって検出しド
ライドに警告し事故を未然に防ぐことが必要である。

【０００４】上述したような用途に用いるため、横断歩
行者をリモートセンシングする歩行者検出の手段とし
て、イ）超音波式、ロ）レーザビーム式、ハ）可視光画
像式、 ニ）熱画像式が考えられる。然しながら、イ）の超音波
式は空中超音波は１０ｍ前後の反射が限界であり且つ横
断歩道等の長方形エリアは一台の装置ではセンシングで
きない。ロ）のレーザビーム式は横断歩行者により、レ
ーザビームが遮断されるのを検知するものであるが自動
車との識別が難しく、且つ送受光器を歩道上に設置しな
ければならず実際的でない。

【０００５】また、ハ）の可視光画像式は夜間には照明
を必要とし、単独では適用困難である。ニ）の熱画像式
は、波長３〜５μｍの中赤外領域、または８〜１３μｍ
の遠赤外領域の赤外光線に対応する赤外線映像を得るも
ので有用性は周知であるが、通常の可視光カメラとその
まま置き換えて単独で用い横断歩行者を検出しようとす
ると、高価な補助設備を付加して赤外素子を−２００℃
前後に冷却しなければならず、価格的にその製品化・普
及の望みはない。

【０００６】

【発明が解決しようとする課題】本願発明は、上述した
ような事情に鑑みてなされたもので、上述した従来の諸
検出装置の有する問題点を解決した、昼夜兼用で且つ安
価であり実用性の高い画像式歩行者検出装置を提案する
ことを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するため
の本願発明では画像式歩行者検出装置を、可視光ビデオ
カメラと、ペルチエ電子冷却素子を付加した熱画像セン
サカメラと、昼間には前記可視光ビデオカメラの出力を
処理し夜間には熱画像センサカメラの出力を処理する画
像処理部を含み構成され、前記画像処理部は、前記可視
光ビデオカメラ或いは前記熱画像センサカメラからの映
像信号を処理して道路輝度パターンと歩行者輝度パター
ンのパターン相関により画像２値化し順次記憶し、最新
フレーム画像２値化データと既に記憶された以前の画像
２値化データの差分をとることにより撮像エリアを画素
毎に、物体なし、物体あり、物体退却、物体進入の４値
に４値化し、物体あり、物体退却、物体進入に夫々対応
する画素の分布より物体の移動ベクトルを算定し、該移
動ベクトルの方向と横断方向の比較に基づき横断歩道上
の歩行者を識別するようにする。

【０００８】

【作用】本願発明の画像式歩行者検出装置では、昼間に
おいては、画像処理部が可視光ビデオカメラから得られ
た横断歩道を含む撮像範囲に対応した映像信号を基に、
道路輝度パターンと歩行者輝度パターンのパターン相関
により画像２値化し２値画像を順次記憶し、最新フレー
ム画像２値化データと既に記憶された以前の画像２値化
データの差分をとることにより撮像エリアを物体なし、
物体あり、物体退却、物体進入の４値に画素毎に４値化
し、画像中の物体あり、物体退却、物体進入に夫々対応
する画素の分布より物体の移動ベクトルを算定し、該移
動ベクトルの方向と横断方向の比較に基づき横断歩道上
の歩行者を識別する。

【０００９】そして、薄暮或いは夜間においては、同じ
画像処理部が、熱画像センサカメラから得られた横断歩
道を含む撮像範囲に対応した温度分布を表す映像信号を
基に、昼間と全く同様に、道路輝度（温度）パターンと
歩行者輝度（温度）パターンのパターン相関により画像
２値化し２値画像を順次記憶し、最新フレーム画像２値
化データと既に記憶された以前の画像２値化データの差
分をとることにより撮像エリアを物体なし、物体あり、
物体退却、物体進入の４値に画素毎に４値化し、画像中
の物体あり、物体退却、物体進入に夫々対応する画素の
分布より物体の移動ベクトルを算定し、該移動ベクトル
の方向と横断方向の比較に基づき横断歩道上の歩行者を
識別する。熱画像センサカメラの動作時には、付加され
ている安価に得られるペルチエ電子冷却素子が、装置動
作に充分な−６０度Ｃ程度に熱画像センサを冷却する。
従って、本発明の画像式歩行者検出装置は、昼夜を問わ
ず使え、しかも安価である。

【００１０】

【実施例】本願発明の基本的な考えは、横断歩道を含む
範囲の輝度あるいは温度に対応した映像信号を処理して
道路に対応する輝度パターン（温度パターン）と歩行者
に対応する輝度パターン（温度パターン）とのパターン
相関により画像２値化し、最新フレーム画像２値化デー
タと既に記憶された以前の画像２値化データの差分をと
ることにより撮像エリアを物体なし、物体あり、物体退
却、物体進入の４値に画素毎に４値化し、物体あり、物
体退却、物体進入に夫々対応する画素の分布より物体の
移動ベクトルを算定し、該移動ベクトルの方向に基づき
横断歩道上の歩行者を識別するものである。

【００１１】上述技術と併せて、昼間は可視光ビデオカ
メラからの映像信号を画像処理することにより横断歩行
者を検出し、また、薄暮及び夜間は熱画像アレイ（１２
８×１２８素子）を用いペルチエ電子素子を付加して−
６０℃程度に冷却された熱画像センサカメラからの映像
信号を昼間と略同一の画像処理で横断歩行者を検出する
ことにより、昼夜を問わず動作するようにしている。

【００１２】なお、夜間等には道路面の温度は低く人体
（３６．５℃）とはＳ／Ｎ比もとれ容易に識別できるこ
とに着目し、熱画像センサカメラにペルチエ電子素子を
具備させ、熱画像素子をペルチエ電子素子を用いたペル
チエ３段冷却で充分実現できる−６０℃前後に冷却し動
作させるようにすることで、従来より格段に安価に夜間
に対応できるように配慮し、実用化可能な構成としてい
る。

【００１３】以下、本願発明を実施例に基づき添附図面
を用いて詳細に説明する。図１は、本願の画像式歩行者
検出装置の一実施例を示すブロック図である。図１の画
像式歩行者検出装置は、道路の横断歩道部を含む撮像範
囲を撮像する可視光ビデオカメラＣＡと、同じ撮像範囲
を撮像する熱画像センサカメラＰＣＡと、両カメラＣＡ
及びＰＣＡからの信号が入力され、これら映像信号を選
択的に画像処理する画像処理部100 とから構成されてい
る。以下、各部について順に構成について説明する。

【００１４】可視光カメラＣＡについては、この分野に
て一般に既に使われているＣＣＤ素子を用いたビデオカ
メラである。このビデオカメラは例えば５１２×５１２
の分解能を持っており、道路上方より道路の横断歩道を
含む検知領域ＡＲを撮像して（図２（イ）の画像例参
照）ＮＴＳＣ方式の映像信号を画像処理部100 の輝度デ
ータ変換部20へ送出する。

【００１５】一方、熱画像ラインセンサカメラＰＣＡ
は、適宜筐体に収容固定されたレンズ31、このレンズ31
の焦点付近に配置され３段ペルチエ電子冷却素子33が取
りつけられた熱画像アレイ素子32、熱画像アレイ素子32
の光電変換結果を読みだす読出回路33、及びアンプ35と
で構成されている。熱画像アレイ素子32は、赤外領域光
線に感応して光量に対応した電気信号を得るもので、実
施例では１２８個×１２８個の画素がマトリクス状に配
置されている。

【００１６】このように熱画像アレイ素子32には熱雑音
を除去するため３段ペルチエ電子冷却素子33が取りつけ
られていて、実施例装置の動作時には−６０°Ｃ近辺ま
で電子冷却される。本願発明では、従来一般に用いられ
ていた冷却装置にかえて、冷却を３段ペルチエ電子冷却
素子で行うことで、この部分の価格を格段に低減してい
る。

【００１７】熱画像センサカメラＰＣＡでは、外部から
読出回路33に入力される同期信号に応じて、連続する画
素の受光する熱量（従って、画素対応部分の物体温度）
に対応した電圧を順次出力する。実施例ではこの出力
（以下、温度変換信号と記載する）は、走査線が通常の
ＮＴＳＣビデオ信号に対応する信号と等価になってい
る。即ち、熱画像センサカメラＰＣＡの読出クロック
は、横方向の１２８画素分をＮＴＳＣ信号の１走査線時
間（６３．５μｓｅｃ）で読み出している。なお、縦方
向には順次走査がされるように選定されている。

【００１８】なお、熱画像センサカメラＰＣＡによる画
面は５１２×５１２のＣＣＤビデオカメラに比べ縦方向
には圧縮されるので、計測ポイントを変更する等対応付
けの調整をすることになる。調整後には両カメラに対し
て同一の画像処理を適用することができる。

【００１９】画像処理部100 は、輝度データ変換部20、
演算処理部30及び制御部40から構成されている。前記輝
度データ変換部20は、可視光カメラＣＡからのＮＴＳＣ
映像信号、及び熱画像センサカメラＰＣＡからの信号が
入力されている映像信号切換回路21、これに後続してい
る、伝送されてくる映像信号を適切なレベルに増幅する
ビデオアンプ22、映像信号の直流レベルを再生するクラ
ンプレベル固定回路23、ビデオＡ／Ｄ変換回路24を有し
ている。ビデオＡ／Ｄ変換回路24の出力は、演算処理部
30に接続されていてデュアルポートラム33に入力され
る。

【００２０】更に、前記輝度データ変換部20は、映像信
号（ビデオアンプ23の出力）より水平同期信号及び垂直
同期信号を得る同期信号抽出回路25、前記両同期信号に
基づいて走査線上の現在の走査位置を数値化して対応す
る水平座標及び垂直座標を得るための水平アドレスカウ
ンタ26A と垂直アドレスカウンタ26B 、これらの出力と
マイクロプロセツサ41が順次指定し計測アドレスメモリ
28を介し出力される座標とを比較し、一致した瞬間に取
込み信号を発生するデジタルコンパレータ27を有してお
り、この取込み信号発生に応じて前記ビデオＡ／Ｄ変換
回路25が前記映像信号の対応する瞬間の輝度を数値化
し、輝度データとして出力するようになっている。

【００２１】輝度データ変換部20は、この他熱画像カメ
ラ読出信号作成回路29を備え、前述した同期信号抽出回
路からの水平同期信号及び垂直同期信号を基に同期及び
読出クロック信号を発生して前述熱画像センサカメラＰ
ＣＡの読出回路34に出力している。また、同期信号抽出
回路25からは、前記映像信号切替回路21へも信号が供給
されており、後述するように熱画像センサカメラＰＣＡ
からの信号を可視光カメラＣＡのビデオ信号に混入、合
成させる。

【００２２】演算処理部30は、前記ビデオＡ／Ｄ変換回
路24からの輝度データを次々と受け取り複数の輝度デー
タの平均化をしたり相関を演算したりするための回路
で、高速性を要求されるためデュアルポートラム33,34
や、高速演算が可能なシグナルプロセッサ31を用いてお
りデータ等の記憶に必要な記憶部（ＲＯＭ32，ＲＡＭ3
5）も備えている。

【００２３】制御部40は上述各部を制御するとともに、
前記演算処理部30からのデータを受取りこれに更に演算
処理を施し、横断歩行者や車両の存在を感知したり横断
歩行者を抽出して後続装置に出力する部分で、マイクロ
プロセツサ41、制御プログラムを記憶したＲＯＭ42、デ
ータ記憶用のＲＡＭ43、出力用のＩ／Ｏ回路44からな
る。Ｉ／Ｏ回路44には、入力スイッチ47、出力表示既48
が接続されている。また、前述の２つのカメラを設置す
る際の調整のための画像パラメータ設定ツール49もＩ／
Ｏ回路44に接続するようになっている。

【００２４】なお、この装置にはその他にも可視光カメ
ラＣＡからの映像信号のレベルが低く処理に不適切な場
合にその感度を上げるための信号を送出するＤ／Ａ変換
回路46等が具備されている。

【００２５】次に、上述した実施例装置の作用について
説明する。図２（イ）に横断歩道を含むエリアを撮像し
た画像例を模式的に示す。横断歩道の計測エリアの設定
は図２（イ）の横断歩道終端の計測ラインＬa の始点Ａ
ｓと終点Ａｐ、及び横断歩道始端の計測ラインＬb の始
点Ｂｓと終点Ｂｐの座標を画像式歩行者検出装置に接続
された画像パラメータ設定ツール49を用いて設定され画
像処理部100 に記憶される。

【００２６】薄暮や夜間については、熱画像センサカメ
ラＰＣＡにより昼間と等価の画像を得ることができる。
しかし１２８×１２８熱画像アレイを用いた場合には画
面は５１２×５１２のＣＣＤカメラに比べ縦方向が１／
２に圧縮されるので、計測エリアの設定は昼間とは別個
に設定する必要があり、薄暮、夜間において切り替えて
使用する必要がある。図２の（ロ´）は、図２（イ）中
の計測ラインの一つに沿って得られる輝度値を示す図で
ある。

【００２７】画像処理部100 では、先ず、映像信号を処
理して、上述計測エリア内の画素に対して、ｍフレーム
毎に（例えば、ｍ＝２）計測エリアの画像２値化を行な
う。即ち、全計測ラインについて輝度レベル（熱画像セ
ンサカメラの場合は温度に対応している）の高い画素、
即ち車両又は人が存在する画素（計測ポイント）は１、
存在しない計測ポイントは０とする。この画像２値化の
方法に関しては特願昭６３−３２２９４０，特願平２−
３１８９９２，特願平３−０４３０１１等に詳細に述べ
られている。

【００２８】図３は、計測ラインの一つ（例えば図２
（イ）のＬａ）に沿った画像２値化の様子を例示してい
る。続いて、図３（ロ）に示す道路輝度パターン（基準
パターン）と、現在の輝度パターンとの相関輝度パター
ン（図３（ハ））を求め検知レベルＴｓとの比較により
２値化を行い、図３（ニ）のに示すような２値化結果を
得る。

【００２９】画像２値化データでは、実際には車両又は
人の存在する計測ポイントでも“０”となる欠陥が生ず
るので面的な空間平滑化をおこなって“０”欠陥を除去
すると良い。図３（ホ´）は、各計測ラインについて上
述２値化を行い１画面分を２値化した結果を模式的に表
している。こうして得られた２値化データは、画像処理
部内に記憶される。

【００３０】なお、画像ＤＳＰ（デジタルシグナルプロ
セッサ）を用いると例えば４００計測ポイントを５ｍｓ
ｅｃで実行するので１計測ライン１００計測ポイントで
１００本の計測ラインで面画像の処理をした場合 （１００×１００）／４００＝２５ｍｓｅｃ で実行可能であり、画像データ取り込みの時間を考慮に
いれてもｍ＝２フレーム（６６ｍｓｅｃ）間隔で画像２
値化データを横断歩道全域に渡って得ることが充分可能
である。

【００３１】次に、こうして得られた画像２値化データ
群を使って４値化を行う。図４はこの様子を示してい
る。今回フレームの画像２値化データ（図４の（ホ））
とｍフレーム前（例えば２フレーム前）の画像２値化デ
ータ（図４の（ヘ））の各対応画素（計測ポイント）毎
に、差分を取る。

【００３２】そして、（０−０）の場合を、“０”（ｍ
フレーム前回も今回も車両又は人なし）に、（１−１）
の場合を、“２”（ｍフレーム前回も今回も車両又は人
あり）に、（１−０）の場合を、“−１”（ｍフレーム
前は車両又は人あり、且つ、今回フレームは車両又は人
なし。即ち、車両退却）に、（０−１）の場合を、“＋
１”（ｍフレーム前は車両又は人なし、且つ、今回フレ
ームは車両又は人あり。即ち、車両進入）に、と４つの
場合に分けることで画像４値化を行なう。図４の（ト）
は、この結果の一例を示す模式図である（値“０”の計
測ポイントについては記号０は記入されていない）。

【００３３】次に４値化データを処理し、データが、
“−１”から“２”更に“＋１”と連続する部分を抽出
して移動ベクトルとして認識する。各移動ベクトルの始
点（値：“−１”）の座標（Ｘ１，Ｙ１）と、終点
（値：“＋１”）の座標（Ｘ２，Ｙ２）とから、当該移
動ベクトルの方向を表す値としてθを求める。 θ＝ｔａｎ■-1（Ｙ2 −Ｙ1 ／Ｘ2 −Ｘ1 ） θは、画面中での横断歩道の方向（画面水平方向と一致
させてある）の一方の向きと一致させた基準線と、移動
ベクトルがなす角度となる。

【００３４】このように移動ベクトルの方向θを求めた
後、移動ベクトルの方向が横断歩道に直交するものは車
両として除去する。そして、移動ベクトルの方向θが横
断歩道に平行であるもの、即ち角度θ＝０度又は１８０
度のものを歩行者として検出する。これにより、横断歩
行者のみを的確に検出することができる。

【００３５】夜間については、熱画像センサカメラより
計測領域の温度に対応したレベルの映像信号を得る。こ
の場合、可視光ビデオカメラからのＮＴＳＣ映像信号の
垂直、水平同期信号は生かし一部分だけ映像信号切替回
路（ビデオスイッチ）21により熱画像センサカメラの映
像信号に切換える。

【００３６】このようにすると１２８×１２８熱画像ア
レイを用いた場合には画面は既述したように５１２×５
１２のＣＣＤカメラに比べ画像が圧縮されるから、計測
エリアの設定は、薄暮、夜間に対応した適切なものに切
り替える。図５（Ａ）に熱画像センサに１２８×１２８
アレイを用いた場合の読みだしタイミングを、同図
（Ｂ）に圧縮画像の模様を示す。

【００３７】以上のようにして得られる映像信号を処理
する他は、検出のための画像処理自体は上述した昼間に
おける処理と略同様であり、画像２値化→画像４値化→
移動ベクトル検出等の主要画像処理は既に述べたと全く
同様の過程で行われる。

【００３８】以上説明したように、本願発明によれば、
熱画像センサカメラを可視光ビデオカメラと併用し、熱
画像センサカメラの熱画像素子を−１９０℃といった極
低温に冷却しなくても３段電子ペルチエ冷却（−６０
℃）とすることで、横断歩行者を昼〜夜にわたり検出す
ることが可能な、安価な装置を提供することができる。

【００３９】なお、横断歩行者を検出し、信号機や警報
器等の関連各部を適切に制御することは人命にかかわる
ことなので、このための検出装置部は種々の環境条件
（雨、霧、その他）に左右されることなく、その検出確
率は常に高精度でなければならない。本願発明装置は、
このような要求を充分満たすものである。また、コスト
面でも普及促進を担うに足る充分安価な構成となってい
る。

【００４０】

【発明の効果】以上説明したとおり本願第一発明の車両
検知装置は、可視光ビデオカメラと、ペルチエ電子冷却
素子を付加した熱画像センサカメラと、昼間には前記可
視光ビデオカメラの出力を処理し夜間には熱画像センサ
カメラの出力を処理する画像処理部を含み構成され、
前記画像処理部は、前記可視光ビデオカメラ或いは前記
熱画像センサカメラからの映像信号を処理して道路輝度
パターンと歩行者輝度パターンのパターン相関により画
像２値化し順次記憶し、最新フレーム画像２値化データ
と既に記憶された以前の画像２値化データの差分をとる
ことにより撮像エリアを画像毎に、物体なし、物体あ
り、物体退却、物体進入の４値に４値化し、物体あり、
物体退却、物体進入に夫々対応する画素の分布より物体
の移動ベクトルを算定し、該移動ベクトルの方向に基づ
き横断歩道上の歩行者を識別するように構成されている
結果、昼夜を問わず使用可能で、且つ安価な構成となっ
ており、広範な普及が期待できる実用性の高い画像式歩
行者検出装置となっている。

【図面の簡単な説明】

【図１】本願発明の画像式歩行者検出装置の一実施例を
示すブロック図である。

【図２】本願発明に係る、横断歩道を含むエリアを撮像
した画像例（イ）、及び計測ラインの一つに沿って得ら
れる輝度値を示す図（ロ´）である。

【図３】本願発明装置に於ける２値化処理の一例を説明
する図（（ロ）、（ハ）、（ニ）、（ホ´））である。

【図４】本願発明装置に於ける４値化処理の一例を説明
する図（（ホ）、（ヘ）、（ト））である。

【図５】実施例装置における熱画像センサの読みだしタ
イミングを示すタイミングチャート（Ａ）、及び熱画像
センサにより得られる圧縮画像の一例である。

【符号の説明】

ＣＡ…可視光ビデオカメラ、 ＰＣＡ…熱画像センサカメラ、 ３３…ペルチエ電子冷却素子、 １００…画像処理部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/04 Ｄ 7740−3Ｈ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 可視光ビデオカメラ(CA)と、ペルチエ電
   子冷却素子(33)を付加した熱画像センサカメラ(PCA)
   と、昼間には前記可視光ビデオカメラ(CA)の出力を処理
   し夜間には熱画像センサカメラ(PCA) の出力を処理する
   画像処理部(100) を含み構成され、 前記画像処理部(100) は、前記可視光ビデオカメラ(CA)
   或いは前記熱画像センサカメラ(PCA) からの映像信号を
   処理して道路輝度パターンと歩行者輝度パターンのパタ
   ーン相関により画像２値化し順次記憶し、 最新フレーム画像２値化データと既に記憶された以前の
   画像２値化データの差分をとることにより撮像エリアを
   画素毎に、物体なし、物体あり、物体退却、物体進入の
   ４値に４値化し、 物体あり、物体退却、物体進入に夫々対応する画素の分
   布より物体の移動ベクトルを算定し、各移動ベクトルの
   方向と横断方向の比較に基づき横断歩道上の歩行者を識
   別することを特徴とする画像式歩行者検出装置。