以下、本発明による画像判定装置及び処理装置について、図面を参照して説明する。
[第1の実施の形態]
図1は、本発明の第1の実施の形態による処理装置としての歩行者検出装置11を有する交通制御システム1を示す概略ブロック図である。
図1に示す交通制御システム1は、路上の歩行者を検出する歩行者検出装置11と、歩行者検出装置11からの歩行者検出結果としての歩行者検出信号に基づいて、歩行者用交通信号機13及び車両用交通信号機14を制御する信号制御装置12と、を備えている。
信号制御装置12は、例えば、歩行者用交通信号機13が青信号の場合において、当該歩行者用交通信号機13に対応する路上の歩行者が検出された旨を示す歩行者検出信号を受けなければ、当該歩行者用交通信号機13の青時間が所定時間となるように、歩行者用交通信号機13を制御する一方で、歩行者用交通信号機13が青信号の場合において、当該歩行者用交通信号機13に対応する横断歩道上の歩行者が検出された旨の歩行者検出信号を受けると、当該歩行者用交通信号機13の青時間が前記所定時間よりも長い時間となるように、歩行者用交通信号機13を制御する。このとき、信号制御装置12は、車両用交通信号機14が歩行者用交通信号機13の動作に適合する動作を行うように、車両用交通信号機14を制御する。もっとも、信号制御装置12は、このようないわゆる青時間延長制御に限らず、歩行者検出信号に基づいて他の制御を行ってもよい。また、歩行者検出装置11からの歩行者検出信号の用途は、信号制御装置12による交通信号機13,14の制御に限らず、他の用途に用いてもよいし、他の装置(例えば、交通管理センターの装置など)へ出力するようにしてもよい。
本実施の形態では、歩行者検出装置11は、路上を含む領域を撮像する撮像手段としてのCCDカメラ等のカメラ21と、カメラ21からの画像アナログ信号を画素ごとに所定階調のデジタル信号に変換するA/D変換器22と、デジタル信号に変換された画像を記憶する画像メモリ23と、画像メモリ23からの画像に対して後述する処理を行う処理部24とを備えている。図面には示していないが、処理部24は、後述する動作を実現するように、マイクロコンピュータ及び他の電子回路等で構成されている。図面には示していないが、カメラ21は、例えば、道路脇に立設された支柱上に設置される。
カメラ21は路上を含む領域を撮像するので、カメラ21により撮像された画像は気象条件の影響を受ける。図3は、図1中のカメラ21により晴の昼に撮像された画像の一例を示す図である。図4は、図3に示す画像中に処理対象領域の外形をなす四角形を記入したものを示す図である。本実施の形態による歩行者検出装置11では、前記処理対象領域は路上を含み、前記処理対象領域内において検出対象としての歩行者が検出される。図5は、図1中のカメラ21により晴の昼に連続して撮像された2枚(2フレーム)の画像(一方の画像は図3に示す画像である。)の差分画像を2値化した後の画像の一例を示す図であり、後述する図2中のステップS3で得られる画像の例を示している。
図6は、図1中のカメラ21により風雨の夜に撮像された画像の一例を示す図である。図7は、図1中のカメラ21により風雨の夜に連続して撮像された2枚の画像(一方の画像は図6に示す画像である。)の差分画像を2値化した後の画像の一例を示す図であり、後述する図2中のステップS3で得られる画像の例を示している。
次に、本実施の形態における歩行者検出装置11の動作について、図2を参照して説明する。図2は、図1中の歩行者検出装置11の動作を示す概略フローチャートである。
歩行者検出装置11が動作を開始すると、処理部24は、まず、カメラ21が撮像した2枚の連続する画像をサンプリングし(ステップS1)、サンプリングした画像を画像メモリ23に格納させる。次いで、処理部24は、それらの2枚の画像の差分画像(フレーム間差分画像)を生成する(ステップS2)。なお、本発明で用いる差分画像は、必ずしも2枚の連続する画像の差分画像に限らず、秒間フレーム数が多い場合などでは、例えば、1フレーム又は複数フレーム置きの2枚の画像などの他の所定の時間間隔で撮像された2枚の画像の差分画像でもよい。
なお、各回のステップS1において新たに2枚の画像をサンプリングして、ステップS2の差分処理では今回のステップS1で新たにサンプリングした2枚の画像の差分画像を得てもよいし、各回のステップS1において1枚の画像のみをサンプリングして、ステップS2の差分処理では今回のステップS1でサンプリングした画像と前回のステップS1でサンプリングした画像との差分画像を得てもよい。
次に、処理部24は、ステップS2で生成した差分画像を2値化する(ステップS3)。この2値化に用いる閾値は、固定閾値でもよいし、判別分析法に代表されるような可変閾値でもよい。
引き続いて、処理部24は、ステップS3で2値化された画像の前記処理対象領域からラベリングによりラベル領域を取得する(ステップS4)。なお、ステップS2,S3の処理は、前記処理対象領域についてのみ行ってもよい。
その後、処理部24は、ステップS4で取得した各ラベル領域について、当該ラベル領域から残りの各ラベル領域までの各距離の平均値(以下、「ラベル領域間距離平均」と呼ぶ場合がある。)を、指標値として取得する(ステップS5)。ここでは、2つのラベル領域間の距離は、画像上の2つのラベル領域の重心間の画像上の直線距離とするが、必ずしも重心間の距離でなくてもよいし、また、画像上の直線距離ではなくて換算した実距離としてもよい。なお、前記平均値に代えて、前記平均値に応じた値、例えば積算値を指標値として取得し、以下の処理で、前記平均値に代えて前記平均値に応じた値を用いてもよい。
ここで、ステップS5の処理の具体例について、図8を参照して説明する。図8は、ラベル領域とラベル領域間距離の例を模式的に示す図である。説明を簡単にするため、図8に示す例では、ステップS4で前記処理対象領域から3つのラベル領域a,b,cのみが得られたものとしている。実際には、ステップS4において、より多くのラベル領域、例えば、数十から数百のラベル領域が取得される。図8において、ラベル領域間距離(ab間)はラベル領域aの重心とラベル領域bの重心との間の画像上の直線距離を示し、ラベル領域間距離(ac間)はラベル領域aの重心とラベル領域cの重心との間の画像上の直線距離を示し、ラベル領域間距離(bc間)はラベル領域bの重心とラベル領域cの重心との間の画像上の直線距離を示している。
ステップS4において図8に示すように3つのラベル領域a,b,cのみが得られた場合には、ステップS5において、全てのラベル領域a,b,cについて、それぞれラベル領域間距離平均が算出される。すなわち、ラベル領域aについて、当該ラベル領域aから残りの各ラベル領域b,cまでの各距離の平均値(={ラベル領域間距離(ab間)+ラベル領域間距離(ac間)}/2)が算出される。これを、ラベル領域aが持つラベル領域間距離平均と呼ぶ。また、ラベル領域bについて、当該ラベル領域bから残りの各ラベル領域a,cまでの各距離の平均値(={ラベル領域間距離(ab間)+ラベル領域間距離(bc間)}/2)が算出される。これを、ラベル領域bが持つラベル領域間距離平均と呼ぶ。さらに、ラベル領域cについて、当該ラベル領域cから残りの各ラベル領域a,bまでの各距離の平均値(={ラベル領域間距離(ac間)+ラベル領域間距離(bc間)}/2)が算出される。これを、ラベル領域cが持つラベル領域間距離平均と呼ぶ。
次に、処理部24は、ステップS5で算出した全てのラベル領域のラベル領域間距離平均(指標値)に基づいて、ラベル領域間距離平均の予め定めた各範囲(階級)毎の当該範囲に属するラベル領域間距離平均を持つラベル領域の数(度数)を示すヒストグラム(「ラベル領域間距離平均ヒストグラム」と呼ぶ。)を作成する(ステップS6)。今、前記範囲(階級)の数をpとし、前記各階級の度数をそれぞれx1,x2,x3,・・・,xpとすると、前記ラベル領域間距離平均ヒストグラムは、それらを要素とするp次元のベクトルx=(x1,x2,x3,・・・,xp)Tと表すことができ、p次元の多変数ベクトル空間における1つの新たな標本ベクトルに相当する。
その後、処理部24は、ステップS6で作成されたラベル領域間距離平均ヒストグラムに基づいて、ステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像が所定の処理(本実施の形態では、後述するステップS10の歩行者検出処理)に適していない画像であるか否かを判定する(ステップS7〜S9)。
ラベル領域間距離平均ヒストグラムは、カメラ21により撮像されステップS2で差分処理された2枚の画像の前記処理対象領域におけるラベル領域の分布状況によって変化し、当該分布状況を示す特徴量となる。一方、カメラ21により撮像された画像のうち前記所定の処理に適していない画像では、当該画像中に生ずる時間的に変化するノイズ等の影響で、前記分布状況には一定の傾向が生ずる。したがって、本実施の形態によれば、前記ラベル領域間距離平均ヒストグラムとに基づいて、カメラ21により撮像されステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像が前記所定の処理に適していない画像であるか否かを判定するので、その判定を適切に行うことができる。
本実施の形態では、ステップS6で作成されたラベル領域間距離平均ヒストグラムが、前記所定の処理に適していない画像の、前記ラベル領域間距離平均ヒストグラムに対応するラベル領域間距離平均ヒストグラムの群(クラス)に属するか否かを判別することによって、カメラ21により撮像されステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像が前記所定の処理に適していない画像であるか否かを判定する(ステップS7〜S9)。そして、本実施の形態では、前記判別は、マハラノビス距離を用いた判別分析により行う。もっとも、本発明では、前記判別は、ニューラルネットワーク又はサポートベクターマシン等を用いた手法で行ってもよい。
本実施の形態では、マハラノビス距離を用いた判別分析を行うために、事前に、前記所定の処理に適していない画像のラベル領域間距離平均ヒストグラムの群(クラス)を含む複数の群(クラス)の各々毎のマハラノビス距離算出用係数(平均・共分散行列)、すなわち、後述するステップS7で用いる各クラス毎のマハラノビス距離算出用係数を求め、これらを処理部24の内部メモリ(図示せず)に予め格納しておく。
ここで、後述するステップS7で用いる各クラス毎のマハラノビス距離算出用係数を求める手法の一例について、説明する。
実際にカメラ21で撮像した多数の画像に基づく本発明者の研究の結果、本実施の形態のような歩行者検出装置では、風雨(後の説明を参照)の夜(後の説明を参照)に撮像された画像から歩行者検出処理を行うと、歩行者検出の精度が大きく低下し、当該画像は歩行者検出処理に適していないことが判明した。これは、風雨の夜に撮像された画像では、図6に示すように、夜における濡れた路上等の光の様子が、雨の路上での跳ね返りや風による波紋の変化などにより変化するため、図7に示すように差分画像において濡れた路上等の光の変化により生ずるラベル領域と歩行者によるラベル領域とを区別できなくなってしまうことなどに起因するものと考えられる。
そこで、本発明者は、24時間9ヶ月程度に渡って撮像された多数の画像の中から、11クラスの画像群をそれぞれ選別した。第1のクラスは晴の昼に撮像された画像群、第2のクラスは晴の夜又は曇の夜に撮像された画像群、第3のクラスは曇の昼に撮像された画像群、第4のクラスは雨の昼に撮像された画像群、第5のクラスは雨の夜に撮像された画像群、第6のクラスは風雨の昼に撮像された画像群、第7のクラスは風雨の夜に撮像された画像群、第8のクラスは降雪の昼に撮像された画像群、第9のクラスは降雪の夜に撮像された画像群、第10のクラスは積雪の昼に撮像された画像群、第11のクラスは積雪の夜に撮像された画像群とした。なお、本発明では、選別するクラスの数は必ずしも11個に限らない。
ここで、昼は表示画像を見て街路灯の点灯が確認されない状態をいい、夜は表示画像を見て街路灯の点灯が確認されない状態をいう。また、晴も曇も表示画像を見て路面が乾燥している状態をいう。晴と曇とは、昼においてのみ区別し、晴は表示画像を見て影が出ている状態であり、曇は表示画像を見て影が出ていない状態である。晴と曇とは、夜においては区別しない。風雨は、表示画像を見て降雨を確認できた状態において、カメラ21の設置場所における気象庁観測データによれば降水量が2mm以上であるか、あるいは、前記気象庁観測データによれば降水量が1mm以上でかつ平均風速が6m/s以上である状態をいう。雨は、表示画像を見て降雨を確認できた状態において、風雨ではない状態をいう。積雪は、その時の天候を問わずに、表示画面を見て路面一帯に積雪が見られる状態をいう。降雪は、表示画像を見て、積雪はあってもごく一部で、雪が降っていることが確認できた状態をいう。
図9は、図2中のステップS7で用いる各クラス毎のマハラノビス距離算出用係数を求める手法の一例を示す概略フローチャートである。図10は、図9中のステップS21の詳細を示す概略フローチャートである。
図9及び図10に示す手法は、例えば、パーソナルコンピュータ等を用いて実現することができる。前記第1乃至第11のクラスの画像群を、各クラス毎にハードディスク等の記憶装置に予め記憶させておく。
パーソナルコンピュータ等のCPUは、各クラス毎のマハラノビス距離算出用係数を求める処理を開始すると、ループ開始端L21でそれ以降の処理の対象となるクラスを最大クラス数まで(すなわち、第1のクラスから第11のクラスまで)順次変更して設定しながら、ループ開始端L21以降の処理を行う。
前記CPUは、ループ開始端L21で処理対象となるクラスが設定されると、当該クラス(ループ開始端L21で現在処理対象として設定されているクラス)のマハラノビス距離算出用係数を算出する処理を行い(ステップS21)、ループ終了端L22へ移行する。ループ終了端L22において、ループ開始端L21で現在処理対象として設定されているクラスが最大クラス数のうちの最後のクラスでなければ、ループ開始端L21へ戻る一方、当該クラスが最後のクラスであれば、各クラス毎のマハラノビス距離算出用係数を求める処理を終了する。このようにして得られた各クラス毎のマハラノビス距離算出用係数は、前述したように、処理部24の内部メモリ(図示せず)に予め格納しておく。
ステップS21の処理を開始すると、前記CPUは、図10中のループ開始端L31でそれ以降の処理の対象となる2枚の連続して撮像された画像を、前記記憶装置に記憶されている当該クラス(ループ開始端L21で現在処理対象として設定されているクラス)の画像群の中から当該クラスの最大画像フレーム数まで順次変更して設定しながら、ループ開始端L31以降の処理を行う。
前記CPUは、ループ開始端L31で処理対象となる2枚の連続して撮像された画像が設定されると、当該2枚の画像を前記記憶装置からサンプリング(ステップS31)し、サンプリングした画像を当該パーソナルコンピュータ等の画像メモリ(図示せず)に格納させる。次いで、前記CPUは、それらの2枚の画像の差分画像(フレーム間差分画像)を生成する(ステップS32)。
次に、前記CPUは、ステップS32で生成した差分画像を2値化する(ステップS33)。引き続いて、前記CPUは、ステップS33で2値化された画像の前記処理対象領域からラベリングによりラベル領域を取得する(ステップS34)。
その後、前記CPUは、前述したステップS5と同様に、ステップS34で取得した各ラベル領域について、当該ラベル領域から残りの各ラベル領域までの各距離の平均値(ラベル領域間距離平均)を、取得する(ステップS35)。
次に、前記CPUは、前述したステップS6と同様に、ステップS35で算出した全てのラベル領域のラベル領域間距離平均に基づいて、ラベル領域間距離平均の予め定めた各範囲(階級)毎の当該範囲に属するラベル領域間距離平均を持つラベル領域の数(度数)を示すヒストグラム(ラベル領域間距離平均ヒストグラム)を作成する(ステップS36)。今、前記範囲(階級)の数をpとし、前記各階級の度数をそれぞれx1,x2,x3,・・・,xpとすると、前記ラベル領域間距離平均ヒストグラムは、それらを要素とするp次元のベクトルx=(x1,x2,x3,・・・,xp)Tと表すことができ、p次元の多変数ベクトル空間における1つの既知の標本ベクトルに相当する。ここで、既知とは、当該標本ベクトルがループ開始端L21で現在処理対象として設定されているクラスに属することが既知であることを意味する。
ステップS36の後、ループ終了端L32へ移行する。ループ終了端L32において、ループ開始端L31で現在処理対象として設定されている2枚の画像が当該クラス(ループ開始端L21で現在処理対象として設定されているクラス)の最大画像フレーム数のうちの最後の2枚の画像でなければ、ループ開始端L31へ戻る一方、当該2枚の画像が最後の2枚の画像であれば、ステップS37へ移行する。
ステップS37において、前記CPUは、当該クラス(ループ開始端L21で現在処理対象として設定されているクラス)について、これまでに各回のステップS36で1つずつ得られた所定数のラベル領域間距離平均ヒストグラム(標本ベクトルx=(x1,x2,x3,・・・,xp)T)から、当該クラスのマハラノビス距離算出用係数として、当該クラスの前記所定数の標本ベクトルxの母集団の平均ベクトルμ=(μ1,μ2,μ3,・・・,μp)T及び共分散行列Σを、算出する。なお、共分散行列Σは、公知の式によって算出することができる。
ステップS37が終了することによって、ステップS21が終了し、前述した図9中のループ終了端L22へ移行する。
前述したように、ループ終了端L22において、ループ開始端L21で現在処理対象として設定されているクラスが最大クラス数のうちの最後のクラスでなければ、ループ開始端L21へ戻る一方、当該クラスが最後のクラスであれば、第1乃至第11のクラスの全てについて、各クラス毎のマハラノビス距離算出用係数の算出が終了し、各クラス毎のマハラノビス距離算出用係数を求める処理を終了する。このようにして求められた各クラス毎のマハラノビス距離算出用係数は、前述したように、処理部24の内部メモリ(図示せず)に予め格納しておく。
以下の説明では、このようにして求められて処理部24の内部メモリ(図示せず)に予め格納された第k(k=1,2,3,・・・,11)のクラスのマハラノビス距離算出用係数である平均ベクトル及び共分散行列を、それぞれμk及びΣkと表記する。
再び図2を参照して、図1中の処理部24が実行するステップS7以降の具体的な処理内容について説明する。その前にステップS6について再度説明すると、前述したように、ステップS6において、処理部24は、ステップS2で差分処理された2枚の画像に基づく前記ラベル領域間距離平均ヒストグラム、すなわち、1つの新たな標本ベクトルx=(x1,x2,x3,・・・,xp)Tを取得する。この標本ベクトルxが前記第1乃至第11のクラスのうちのいずれのクラスに属するかは、未知である。
ステップS6の後に、処理部24は、処理部24の内部メモリ(図示せず)に予め格納された前記各クラス毎のマハラノビス距離算出用係数である平均ベクトルμk及び共分散行列Σk(k=1,2,3,・・・,11)に従って、ステップS6で取得した標本ベクトルx=(x1,x2,x3,・・・,xp)Tの各クラスへのマハラノビス距離を算出する(ステップS7)。
標本ベクトルx=(x1,x2,x3,・・・,xp)Tの第k(k=1,2,3,・・・,11)のクラスへのマハラノビス距離をDkと表記すると、マハラノビス距離Dkは、Dk={(x−μk)TΣk −1(x−μk)}1/2の式によって算出することができる。ステップS7において、処理部24は、この式によってマハラノビス距離D1,D2,D3,・・・,D11を算出するのである。
引き続いて、処理部24は、ステップS7で算出されたマハラノビス距離D1,D2,D3,・・・,D11を比較し、そのうち最も短いマハラノビス距離がいずれかであるかを判定する(ステップS8)。マハラノビス距離を用いた判別分析では、ステップS6で取得した標本ベクトルxは、マハラノビス距離が最も短いクラスに属するものと判定されることになる。例えば、最も短いマハラノビス距離がD3であれば前記第3のクラスに属するものと判定され、最も短いマハラノビス距離がD7であれば前記第7のクラス(風雨の夜に撮像された画像群のクラス)に属するものと判定されることになる。
なお、本発明者は、前記第7のクラスのマハラノビス距離算出用係数である平均ベクトルμ7及び共分散行列Σ7を算出する基礎となった前記所定数の標本ベクトル(前記第7のクラスに属することが既知の標本ベクトル)の各々をそれぞれ、ステップS6で取得した1つの新たな標本ベクトルであるとみなして、ステップS7〜S9の処理を行ったところ、約95%の標本ベクトルが前記第7のクラスに属すると判定されることを確認した。これにより、ステップS7〜S9のマハラノビスを用いた判別分析によれば、実際に風雨の夜に撮像された未知の画像が、約95%の非常に高い確率で、風雨の夜に撮像された画像であると判別されるものと評価することができた。
ステップS8の後、処理部24は、ステップS8で判定された最も短いマハラノビス距離がD7であるか否か(すなわち、ステップS6で取得した標本ベクトルxが前記第7のクラス(風雨の夜に撮像された画像群のクラス)に属するか否か、ひいては、ステップS2で差分処理された2枚の画像が風雨の夜に撮像されたものであるか否か)によって、ステップS2で差分処理された2枚の画像がステップS10の歩行者検出処理に不適である(すなわち、適していない)画像であるか否かを判定する(ステップS9)。
処理部24は、ステップS8で判定された最も短いマハラノビス距離がD7である場合には、ステップS9において、ステップS2で差分処理された2枚の画像はステップS10の歩行者検出処理に適していない画像であると判定し、ステップS10を経ることなく、ステップS13へ移行する。一方、処理部24は、ステップS8で判定された最も短いマハラノビス距離がD7ではない場合には、ステップS9において、ステップS2で差分処理された2枚の画像はステップS10の歩行者検出処理に適していない画像ではないと判定し、ステップS10へ移行する。
ステップS10において、処理部24は、ステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像に基づいて、前記処理対象領域内における歩行者を検出する歩行者検出処理を行う。この歩行者検出処理は、例えば、ステップS4で取得されたラベル領域に対してパターン認識等を行うなどの公知の手法によって実現することができる。
ステップS10の後に、処理部24は、ステップS10の歩行者検出処理の結果として歩行者が検出されたか否かを判定し(ステップS11)、歩行者が検出されればステップS12へ移行する一方、歩行者が検出されなければステップS13へ移行する。
ステップS12において、処理部24は、歩行者が検出された旨を示す歩行者検出信号の出力を開始する。この歩行者検出信号は、図1中の信号制御装置12に供給される。なお、既に歩行者検出信号が出力されている状態であれば、その出力を継続する。ステップS12の後に、ステップS1へ戻って新たな画像をサンプリングする。
ステップS13において、処理部24は、歩行者が検出された旨を示す歩行者検出信号の出力を停止する。なお、既に歩行者検出信号の出力が停止されている状態であれば、その停止状態を継続する。ステップS13の後に、ステップS1へ戻って新たな画像をサンプリングする。
本実施の形態では、処理部24における図2中のステップS2〜S9の機能が、本発明の一実施の形態による画像判定装置に相当している。
本実施の形態によれば、前述したように、前記ラベル領域間距離平均ヒストグラムとに基づいて、カメラ21により撮像されステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像が前記所定の処理(本実施の形態では、ステップS10の歩行者検出処理)に適していない画像であるか否かを判定するので、その判定を適切に行うことができる。
そして、前記ラベル領域間距離平均ヒストグラムは、カメラ21により撮像された画像自身から得られる情報である。したがって、本実施の形態によれば、カメラ21により撮像されステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像が前記所定の処理に適していない画像であるか否かの判定において、カメラ21により撮像された画像自身から得られる情報を反映させることができる。
また、本実施の形態では、カメラ21により撮像され気象条件の影響を受ける画像が前記所定の処理に適していない画像であるか否かの判定が、前記気象条件を検出するセンサからの信号を用いることなく行われるので、前記センサを設ける必要がなくなり、その分コスト低減を図ることができる。
さらに、本実施の形態では、カメラ21により撮像されステップS2で差分処理された2枚の画像のうちの少なくとも一方の画像が前記所定の処理(本実施の形態では、ステップS10の歩行者検出処理)に適していない画像であると判定された場合(ステップS9でYESの場合)には、ステップS10の歩行者検出処理が行われることなく、歩行者検出信号の出力が停止されるので、歩行者検出の精度が高まり、ひいては、信号制御装置による制御がより適切に行われることになる。
なお、ステップS9でYESかNOかに拘わらずに、常にステップS10以降の処理が行われるようにし、ステップS9でYESの場合に、処理部24はその旨を示し歩行者検出信号が無効である旨の信号(以下、「無効信号」と呼ぶ。)の信号制御装置12への出力を開始し、ステップS9でNOの場合に、処理部24は前記無効信号の出力を停止するようにしてもよい。この場合、信号制御装置12は、処理部24から前記無効信号を受けていない場合にのみ、処理部24からの歩行者検出信号を有効なものとして受け取り、処理部24から前記無効信号を受けている場合には、処理部24からの歩行者検出信号を無視するように構成すればよい。
[第2の実施の形態]
図11は、本発明の第2の実施の形態による処理装置としての歩行者検出装置の動作を示す概略フローチャートである。本実施の形態による歩行者検出装置が前記第1の実施の形態による歩行者検出装置11と異なる所は、以下に説明する点である。
本実施の形態では、ステップS1の後に、処理部24は、ステップS1でサンプリングされた2枚の画像のうちの一方の画像の前記処理対象領域の平均濃淡値を、当該画像の前記処理対象領域の明るさとして算出する(ステップS42)。
次に、処理部24は、ステップS42で算出された平均濃淡値が所定値よりも低いか否かによって、当該画像の前記処理対象領域の明るさが所定の明るさよりも暗いか否かを判定する(ステップS43)。前記所定の明るさは、例えば、街路灯の点灯・非点灯の閾値となる明るさに設定される。
ステップS43で所定の明るさよりも暗いと判定されると、ステップS2へ移行し、ステップS43で所定の明るさよりも暗くないと判定されると、ステップS10へ移行する。
これにより、本実施の形態では、処理部24は、カメラ21により撮像された前記2枚の画像のうちの一方の画像(両方の画像でもよい。)の一部の領域(全部の領域でもよい。)の明るさが所定の明るさよりも暗いことを必要条件として、カメラ21により撮像された前記2枚の画像のうちの少なくとも一方の画像が前記所定の処理(本実施の形態では、ステップS10の歩行者検出処理)に適していない画像であると判定することになる。なお、カメラ21により撮像された前記2枚の画像のうちの少なくとも一方の画像の一部又は全体の領域の明るさが所定の明るさよりも暗いことを必要条件としてもよい。
一般的に、画像が明るい場合には、ノイズ等の影響が少なくて前記画像が前記所定の処理(本実施の形態では、ステップS10の歩行者検出処理)に適している一方で、画像が暗い場合には、ノイズ等の影響が大きくて前記画像が前記所定の処理に適していないことが多い。したがって、本実施の形態によれば、処理部24は、カメラ21により撮像された前記2枚の画像のうちの少なくとも一方の画像の一部又は全体の領域の明るさが所定の明るさよりも暗いことを必要条件として、カメラ21により撮像された前記2枚の画像のうちの少なくとも一方の画像が前記所定の処理に適していない画像であると判定するので、前記判定の精度を向上させることができる。
なお、本実施の形態では、前記第1の実施の形態と同じく、処理部24は、ステップS7で前記11個のマハラノビス距離D1,D2,D3,・・・,D11を算出し、ステップS8でそのうち最も短いマハラノビス距離がいずれかであるかを判定している。もっとも、本実施の形態では、処理部24は、ステップS7で夜に関する前記5個のマハラノビス距離D2,D5,D7,D9,D11を算出し、ステップS8でそのうち最も短いマハラノビス距離がいずれかであるかを判定してもよい。この場合、昼に関する前記第1,第3,第4,第6,第8及び第10のクラスのマハラノビス距離算出用係数は、使用しないので、処理部24の内部メモリに格納しておく必要はない。
なお、本実施の形態による歩行者検出装置は、図1に示す交通制御システム1において、前記第1の実施の形態による歩行者検出装置11に代えて用いることができる。
[第3の実施の形態]
図12は、本発明の第3の実施の形態による処理装置としての歩行者検出装置の動作を示す概略フローチャートである。本実施の形態による歩行者検出装置が前記第1の実施の形態による歩行者検出装置11と異なる所は、以下に説明する点である。
本実施の形態では、動作を開始すると、処理部24は、初期の背景画像を作成する(ステップS51)。ここで、ステップS51の詳細について、図13を参照して説明する。図13は、図12中のステップS51の詳細を示す概略フローチャートである。
ステップS51の処理を開始すると、処理部24は、累積回数を示すカウント値nをゼロにセットする(ステップS61)。次いで、処理部24は、前回の累積画像f(t−1)を全画素がゼロの画像に初期設定する(ステップS62)。その後、処理部24は、カメラ21からの現在の画像を、現在の画像g(t)としてサンプリングして画像メモリ23に取り込む(ステップS63)。
次に、処理部24は、前回の累積画像f(t−1)とステップS63でサンプリングした画像g(t)とに基づいて、f(t)=αf(t−1)+(1−α)g(t)の式に従って現在の累積画像f(t)を作成する(ステップS64)。この式において、αは、0<α<1を満たす重み係数であり、歩行者等の移動体の影響などが低減されるような値に設定される。
その後、処理部24は、その内部メモリ(図示せず)に格納されたカウント値nを1だけインクリメントした(ステップS65)後、カウント値nが所定累積回数Nに達したか否かを判定する(ステップS66)。所定累積回数Nに達していなければ、処理部24は、現在の累積画像f(t)を前回の累積画像f(t−1)とし(ステップS67)、ステップS63へ戻る。一方、ステップS66で所定累積回数Nに達したと判定されると、処理部24は、現在の累積画像f(t)を初期の背景画像として画像メモリ23に保存する(ステップS68)。これにより、ステップS51の初期の背景画像の作成処理が終了し、図12中のステップS52へ移行する。なお、歩行者等の移動体が存在しない状態でカメラ21により撮像された画像をサンプリングし、この画像を初期の背景画像としてもよい。
以下の説明において、背景画像は、ステップS54で更新されるまでは、ステップS51で保存された初期の背景画像を意味し、ステップS54で更新された後には、ステップS54で最新に更新された背景画像を意味する。
ステップS52において、処理部24は、カメラ21が撮像した1枚の画像をサンプリングし(ステップS52)、サンプリングした画像を画像メモリ23に格納させる。その後、ステップS3へ移行する。
ステップS3において、処理部24は、ステップS53で生成した差分画像(本実施の形態では、背景差分画像)を2値化する。この2値化に用いる閾値は、固定閾値でもよいし、判別分析法に代表されるような可変閾値でもよい。
引き続いて、処理部24は、ステップS3で2値化された画像の前記処理対象領域からラベリングによりラベル領域を取得する(ステップS4)。
次に、処理部24は、背景画像を更新した(ステップS54)の後、ステップS5へ移行する。ステップS54の背景画像の更新は、例えば、現画像をg(t)とするとともに現在の背景画像をf(t−1)として前述した式に従って画像f(t)を算出し、この画像f(t)を更新後の背景画像とすることによって、行うことができる。
本実施の形態においても、ステップS5以降の処理は、前記第1の実施の形態の場合と同様である。本実施の形態では、ステップS12の後及びステップS13の後には、ステップS52へ戻って新たな画像をサンプリングする。
なお、本実施の形態においても、処理部24の内部メモリ(図示せず)に予め格納しておく、ステップS7で用いる各クラス毎のマハラノビス距離算出用係数は、前記第1の実施の形態の場合と全く同じでもよい。しかしながら、本実施の形態において、ステップS7で用いる各クラス毎のマハラノビス距離算出用係数は、背景差分画像を用いて求めたものであることが、より好ましい。
ここで、背景差分画像を用いて、ステップS7で用いる各クラス毎のマハラノビス距離算出用係数を求める手法の一例について、説明する。
本例による手法もパーソナルコンピュータ等を用いて実現することができ、本例による手法においても、前記第1乃至第11のクラスの画像群を、各クラス毎にハードディスク等の記憶装置に予め記憶させておく。
パーソナルコンピュータ等のCPUは、各クラス毎のマハラノビス距離算出用係数を求める処理を開始すると、まず、前記記憶装置に記憶されている前記第1のクラスの画像群のうち、連続して撮像された一連の画像について、図12中のステップS51,S52,S53,S3,S4,S54,S5,S6に相当する処理を繰り返し、当該一連の画像に関する複数のラベル領域間距離平均ヒストグラムを算出し、同様に、前記記憶装置に記憶されている前記第1のクラスの画像群のうち、残りの各一連の画像に関する複数のラベル領域間距離平均ヒストグラムをそれぞれ算出する。これにより、前記記憶装置に記憶されている前記第1のクラスの画像群について、所定数のラベル領域間距離平均ヒストグラム(標本ベクトルx=(x1,x2,x3,・・・,xp)T)が得られる。次に、前記CPUは、前記第1のクラスの前記所定数の標本ベクトルxの母集団の平均ベクトルμ=(μ1,μ2,μ3,・・・,μp)T及び共分散行列Σを、前記第1のクラスのマハラノビス距離算出用係数として算出する。
その後、前記CPUは、前記記憶装置に記憶されている前記第1のクラスの画像群についての前述の処理と同様の処理を、前記記憶装置に記憶されている前記第2乃至第11のクラスの各クラスの画像群について行い、前記第2乃至第11のクラスの各クラスの母集団の平均ベクトルμ=(μ1,μ2,μ3,・・・,μp)T及び共分散行列Σを、各クラスのマハラノビス距離算出用係数として算出する。
本実施の形態では、このようにして求められた各クラス毎のマハラノビス距離算出用係数を、処理部24の内部メモリ(図示せず)に予め格納しておけばよい。
本実施の形態によっても、前記第1の実施の形態と同様の利点が得られる。なお、本実施の形態による歩行者検出装置は、図1に示す交通制御システム1において、前記第1の実施の形態による歩行者検出装置11に代えて用いることができる。
なお、本発明では、前記第1の実施の形態を変形して本実施の形態を得たのと同様の変形を、前記第2の実施の形態に適用してもよい。
以上、本発明の各実施の形態について説明したが、本発明はこれらの実施の形態に限定されるものではない。
例えば、前記各実施の形態では、本発明による処理装置の例として歩行者検出装置を挙げたが、本発明は、これに限らず、撮像手段により撮像された画像に対して所定の処理(車両検出処理でもよいし、他の処理でもよい。)を施す処理手段を有する種々の処理装置にも適用することができる。例えば、本発明は、従来の道路監視装置と同様の道路監視装置にも適用することができる。