JP4994955B2 - 移動体識別装置、移動体識別プログラム - Google Patents

Description

本発明は、画像処理を利用して移動体の種類を識別する移動体識別装置および移動体識別プログラムに関する。

本出願人は、移動体識別装置として、移動体の移動方向に交差するライン型フレーム画像を結合して抽出パターン画像を得、これを所定の登録パターン画像とマッチングするものを提案している（下記特許文献１）。この装置では、障害物が存在したとしても、情報処理量の少ない状態で移動体の通過数および種類を把握することができるが、移動体の速度によって抽出パターン画像の幅が変化し、また所定速度以上の場合に抽出パターン画像の情報量が不足するため、識別精度の若干の低下を招いている。

一方、画像処理を利用した移動体の検出装置として、下記特許文献２に記載されたものが知られている。この装置では、移動体の速度にかかわらず安定して移動体を検出するために、動画像のフレーム間の差分をとる際の差分間隔を、移動体の移動速度に基づいて制御する。

特開２００６−３３８６１７号公報 特開平８−２４１４１４号公報

特許文献１の移動体識別装置における精度の向上を図るため、特許文献２における移動速度に応じた差分間隔制御を採用することが考えられるが、この場合、抽出パターン画像の質を保ちながら幅を同等にする差分間隔制御は困難で、実現したとしても多くの処理量を要するし、所定速度以上の移動体について情報量不足が生じる点について対処することができない。

そこで、本発明は、移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも、移動体の速度にかかわらず極めて精度の良好な状態で識別可能な移動体識別装置、または移動体識別プログラムを提供することを目的としたものである。

上記目的を達成するために、請求項１に記載の発明は、複数種類の移動体の移動方向に交差する短冊画像について、変化を生じている間取得する短冊画像取得手段と、短冊画像取得手段によって取得された各短冊画像に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得する位置情報取得手段と、位置情報取得手段によって取得された位置情報のうち、隣接する時刻に係るものを参照してその変化量である位置変量を算出する位置変量算出手段と、位置変量算出手段によって算出された位置変量の総和を、位置変量の個数で除すことにより、移動体の通過速度を算出する通過速度算出手段と、短冊画像取得手段によって取得された各短冊画像における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像を生成する抽出パターン画像生成手段と、移動体の種類ごとに、抽出パターン画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、抽出パターン画像生成手段によって生成された抽出パターン画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出パターン画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段とを備えており、短冊画像取得手段は、互いに隣接する短冊画像を取得するよう、複数設置されており、識別手段は、同時刻において、互いに隣接する短冊画像が双方とも取得されている場合に、これら短冊画像から生成されるそれぞれの抽出パターン画像に係る識別結果のうち、最も多いものを識別結果とすることを特徴とするものである。

上記目的を達成するために、請求項２に記載の発明は、複数種類の移動体の移動方向に交差する短冊画像について、変化を生じている間取得する短冊画像取得手段と、短冊画像取得手段によって取得された各短冊画像に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得する位置情報取得手段と、位置情報取得手段によって取得された位置情報のうち、隣接する時刻に係るものを参照してその変化量である位置変量を算出する位置変量算出手段と、位置変量算出手段によって算出された位置変量の総和を、位置変量の個数で除すことにより、移動体の通過速度を算出する通過速度算出手段と、短冊画像取得手段によって取得された各短冊画像における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像を生成する抽出パターン画像生成手段と、移動体の種類ごとに、抽出パターン画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、抽出パターン画像生成手段によって生成された抽出パターン画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出パターン画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段とを備えており、識別手段は、抽出パターン画像における移動方向に交差する方向に並ぶ部分間において所定以上の濃淡分布差を呈している場合に、抽出パターン画像について、濃淡が均一となるように補正する処理を行うことを特徴とするものである。

請求項３に記載の発明は、上記目的に加えて、より一層識別精度と処理効率との両立を図る目的を達成するため、上記発明において、識別手段は、登録パターン画像と抽出パターン画像とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較して識別することを特徴とする。

請求項４に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、識別手段は、抽出パターン画像の縦横比に応じて識別結果を変更することを特徴とする。

請求項５に記載の発明は、上記目的に加えて、処理効率および識別精度をより一層高水準のものとする目的を達成するため、上記発明において、短冊画像取得手段は、短冊画像を含む平面フレーム画像につき取得するカメラと、カメラにより取得された短冊画像を平滑化するとともに、連続する時刻の短冊画像同士で差分をとることで、短冊画像の変化を把握する差分処理手段と、差分処理手段によって変化の把握された短冊画像を参照する短冊画像ピックアップ手段とを備えることを特徴とすることを特徴とする。

請求項６に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、位置情報取得手段は、短冊画像につき、余白を取り除いたうえで、変化を生じていないライン画像を判定することを特徴とする。

上記目的を達成するために、請求項７に記載の発明は、コンピュータにおいて上記の各手段を実現させるための移動体識別プログラムにある。

本発明によれば、各短冊画像から移動体の進行速度を割り出すとともに、進行速度に応じた幅で短冊画像の一部を取り出して結合し、これを各種登録パターン画像とＤＰマッチング（動的計画法）により比較することで、いずれの種類の移動体であるかを判断している。よって、移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも、移動体の速度にかかわらず極めて精度の良好な状態で識別可能である、という効果を奏する。

以下、本発明の実施形態に係る移動体識別装置について、適宜図面に基づいて説明する。なお、本発明の実施形態は、以下の移動体識別装置や変更例に限定されない。

図１は当該移動体識別装置１の説明図であって、移動体識別装置１は、カメラ２と、コンピュータ４とを含む。カメラ２は、動画を撮影可能、すなわち平面フレーム画像を次々に取得可能であって、移動体としての歩行者、自転車（バイクを含む）、自動車、大型車（バス）がほぼ左右方向に移動する動画を取得できる守衛室に設置されている。なおここでは動画は２４ビットＲＧＢカラーに係り、フレームレートは毎秒３０枚である。

コンピュータ４は、カメラ２とのインターフェイス６、記憶装置８、およびこれらと電気的に接続される演算装置１０を含む。記憶装置８には、移動体識別プログラム１２が格納されている。演算装置１０は、ＣＰＵやメモリを含み、移動体識別プログラム１２を読み込んで、記憶装置８を制御し、あるいはインターフェイス６を介してカメラ２を制御する。

移動体識別プログラム１２を実行する演算装置１０は、図２に示すように、まずカメラ２から動画に係る平面フレーム画像５０を取得し、記憶装置８に記憶する（ステップ２０）。ここでは、平面フレーム画像５０はインターレース解除済み映像であり、その幅は３６０ピクセル、高さは２４０ピクセルである。なお、演算装置１０は、所定時刻以前の平面フレーム画像５０を記憶装置８から消去する。

また、演算装置１０は、各平面フレーム画像５０のうち、所定の縦１本の短冊型の領域内の画像（「ライン型フレーム画像」あるいは「短冊画像」）を切り出して参照する（ステップ２１、短冊画像ピックアップ手段）。短冊画像に係る領域は、図３において「検出領域」として示されており、平面フレーム画像５０内における障害物（ポール、電柱、ドア等の移動体より手前に映る背景画像）を避けた位置において、複数設定される。演算装置１０は、これら短冊画像を順次に参照する。各短冊画像は、幅がＷピクセル（ここではＷ＝１５）で、高さがＨピクセル（ここではＨ＝１６０〜２４０）である。なお、各短冊画像は、移動体の移動方向である左右方向に交差するよう、上下方向（縦方向）に設定されている。

更に、演算装置１０は、前処理として、参照した短冊画像にグレースケール化を施し（ステップ２２）、更に平滑化（ステップ２４）を施して、前処理済の短冊画像５２を得、これを記憶装置８に記憶する。ここで、短冊画像５２の濃淡値は、０〜２５５の２５６階調である。グレースケール化により、短冊画像５２の情報量が減少して以後の処理の負担が軽減され、平滑化により、短冊画像５２のノイズを除去し、処理精度が向上する。なお、平滑化は、平均値フィルタ、すなわちある着目ピクセルに対し、その周囲のピクセルの濃度値との平均を取り、その値を着目ピクセルの濃度値とするものを、グレースケール化された短冊画像の全体に適用して行う。演算装置１０は、以上の処理を連続して行い、時刻がわずかにずれた短冊画像５２を次々に記憶する。

加えて、演算装置１０は、前処理済の短冊画像５２に対し、ステップ２６の差分処理を行う（差分処理手段）。本処理において、演算装置１０は、記憶装置８に記憶された、同一領域に係る時刻の隣接する２枚の短冊画像５２を参照し、これらにおける着目ピクセルの濃淡値の差分を短冊画像５２全体においてそれぞれ算出して差分短冊画像５４を得る。すなわち、時刻ｔ−１，ｔにおける短冊画像５２における左上からｘ番目のピクセルの濃淡値を順にＩｘ（ｔ−１），Ｉｘ（ｔ）とすると、差分短冊画像５４の左上からｘ番目のピクセルの濃淡値Ｓｘ（ｔ）は、次の［数１］に示すものとなる。

演算装置１０は、このように求めた差分短冊画像５４を、短冊画像５２に係る領域ごとに記憶装置８に記憶する。差分短冊画像５４は、隣接する時刻の短冊画像５２の濃淡値変化を濃淡値とするので、当該時刻間に濃淡値変化のある部分、すなわち移動体部分が現れ、濃淡値変化のない部分、すなわち背景部分はほぼ消える。

そして、演算装置１０は、短冊画像５２において、移動体が存在するか否かの判定（存在判定）を、次のように行う。すなわち、演算装置１０は、次の［数２］に示すように、画像濃淡のパワー値Ｐが所定のしきい値Ｔｈ以上であると、移動体の有無を判定する値であるＭにつき、有りを表す１とし、パワー値Ｐがしきい値Ｔｈ未満であると、判定値Ｍにつき無しを表す０とする。ここでは、しきい値Ｔｈは１０であり、またパワー値Ｐは［数３］で示されるものである。

演算装置１０は、Ｍ＝１となった差分短冊画像５４、すなわち移動体の存在する差分短冊画像５４につき、以後Ｍ＝０（移動体の不存在）となるまで同一領域に関して記憶装置８内に順次保持し、これ以外の差分短冊画像５４あるいはその基となった短冊画像５２を、必要に応じ記憶装置８から消去する。

そして、演算装置１０は、保持された各差分短冊画像５４に対し、移動体高さ特定処理を行う（ステップ２７、図４）。すなわち、演算装置１０は、まず、差分短冊画像５４における水平方向ピクセル列の平均濃淡値ａ（ｈ）を次の［数４］から求める。

次に、演算装置１０は、各高さ方向の位置ｈにおける平均濃淡値ａ（ｈ）を差分短冊画像５４の上端および下端から走査して、所定しきい値（ここでは２０）以上の濃淡値が初めて現れる高さ方向の位置ｈを上下についてそれぞれ特定する。続いて、演算装置１０は、次の時刻に係る差分短冊画像５４について、同様に初めて所定値以上の濃淡値となる高さ方向の位置ｈをそれぞれ特定し、直前の時刻に係る特定された位置ｈと比較してより上（あるいは下）であれば特定された位置ｈを更新し、そうでなければ特定された位置ｈを維持する。そして、演算装置１０は、保持された差分短冊画像５４について順次これを繰り返し、最後の特定された位置ｈ、すなわち最も上（下）の位置（ピーク）を得、これらの間の高さが移動体の高さであると特定する。

また、演算装置１０は、保持された差分短冊画像５４のうち、ステップ２７で特定された移動体高さの範囲内を参照し（余白の除去）、次のとおり移動体の通過速度（動画フレーム当たりの移動量、平均移動量、［ｐｉｘｅｌ／ｆｒａｍｅ］）を、図５に示すように求める（ステップ３０）。

すなわち、まず、演算装置１０は、差分短冊画像５４における全ての縦のライン画像（１ピクセル幅の画像）について、それぞれ前記［数２］および［数３］による移動体の存在判定を行う。そして、演算装置１０は、１つの差分短冊画像５４のうちに、移動体の存在する（Ｍ＝１）ライン画像と存在しない（Ｍ＝０）ライン画像とが混在している場合（多くは短冊画像５２に係る領域へ移動体が進入あるいは退去している場合）に、それらの境目のライン画像の位置情報（左からみていった際のＭ＝１である最初あるいは最後のライン画像の順位、物体端位置［ｐｉｘｅｌ］）を得る（位置情報取得手段）。

続いて、演算装置１０は、隣接する時刻に係る差分短冊画像５４の各位置情報の差分をとることで、移動体の進入時あるいは退去時における位置変量を次々に得る（位置変量算出手段）。なお、演算装置１０は、左からみてＭが０→１となる場合に移動体の存在位置を右と判断し、Ｍが１→０となる場合に移動体の存在位置を右と判断する。演算装置１０は、進入時において移動体の存在位置が右であり、および／または退去時において移動体の存在位置が左である場合に、移動体の進行方向を右と判断し、これと逆の場合は左と判断する。

更に、演算装置１０は、次の［数５］に示すように、位置変量「Ｍｏｖｅｍｅｎｔ」の総和を位置変量の数「ｎｕｍｂｅｒ ｏｆ Ｍｏｖｅｍｅｎｔｓ」で除すことにより算出される位置変量の平均値をもって移動体の通過速度「Ｓｐｅｅｄ」とする（通過速度算出手段）。

そして、演算装置１０は、各差分短冊画像５４から、移動体の通過速度に応じた幅である部分（ライン画像の集合）を取り出し、時刻順に移動体の移動方向と逆に接続していくことで、各差分短冊画像５４を結合し、移動体の抽出パターン画像５６として記憶装置８に記憶する（ステップ３２）。なお、通過速度が整数でない場合は、例えば小数点以下部分が累積により１以上となった場合にライン画像を１本多く参照し、そうでないときは整数部分による本数のライン画像を参照するといったように、適宜調整して参照する。

更に、演算装置１０は、抽出パターン画像５６について、移動体の検出位置（基の差分短冊画像５４に係る領域の位置）や通過速度等により相違する濃淡度合いや縦横の大きさをそろえるため、以下のパターン画像加工処理（ステップ３４）を行い、記憶装置８に記憶する。すなわち、演算装置１０は、抽出パターン画像５６の濃淡度合いを整えるため、全ピクセルに対して、［数６］に示す線形濃度変換処理を行う（図６）。

また、特に自転車についてタイヤ部分の濃度が運転者部分と比べ不足することで歩行者と誤認識することが多いことに鑑み、抽出パターン画像５６が移動方向に交わる方向（垂直方向、高さ方向）に並ぶ部分において所定以上の濃淡分布差を呈している場合、演算装置１０は、抽出パターン画像５６について、濃淡が均一となるように補正する処理（濃淡均一化処理）を、ここでは次のように行う。すなわち、まず、演算装置１０は、抽出パターン画像５６の各水平方向１ラインにおける最大濃淡差を求める。次に、演算装置１０は、抽出パターン画像５６を垂直方向に並ぶように均等に３分割した場合の上部分と下部分とで、前記最大濃淡差を合計する。続いて、演算装置１０は、前記上部分における最大濃淡差の和が、前記下部分における最大濃淡差の和に対して２倍以上の大きさであるか否かを判定し、２倍以上の大きさであったら、抽出パターン画像５６を垂直方向に並ぶように均等に２分割した場合の下半分における全ピクセルに対して、［数６］に示す線形濃度変換処理を更に行う。なお、濃淡均一化処理を施した抽出パターン画像５６の一例等を図７に示す。

一方、演算装置１０は、抽出パターン画像５６について大きさを整えるため、最近傍法（ニアレストネイバー）による伸縮処理を施して、抽出パターン画像５６の高さを統一する（高さの正規化）。またこの際、演算装置１０は、高さの伸張率に比例して抽出パターン画像５６の横幅を同様に伸張することで、移動体本来のアスペクト比を保持する。なお、統一される高さは、ここでは１２０ピクセルである。

演算装置１０は、以上の短冊画像５２の参照（ステップ２１）から抽出パターン画像５６の加工（ステップ３４）までの処理を、設定した検出領域ごとに併行して行う（複数の領域による検出処理）。演算装置１０は、複数の領域による検出処理の実行により、１つの移動体から多数の抽出パターン画像５６を生成取得することができる。また、演算装置１０は、次に説明するように、これら領域の連携処理を行うこともできる（図８、図９）。

すなわち、図８（ａ）に示すように、演算装置１０は、隣接する領域における短冊画像５２を同時に次々に参照し、図８（ｂ）に示すように、これらそれぞれを処理して次々に抽出パターン画像５６を生成するが、図９（１）に示すように、平面フレーム画像５０の端に配置された領域において、時刻ｔ−１で移動体が隣接領域を含めて存在しないにもかかわらず時刻ｔで検出された場合には、移動体が端から中央へ入ってくるものとして進入方向を決定する。また、演算装置１０は、図９（２）に示すように、平面フレーム画像５０の中間領域において、時刻ｔ−１で移動体が隣接領域を含めて存在しないにもかかわらず時刻ｔで検出された場合には、連携処理においては進入方向を未決定とする。

一方、演算装置１０は、図９（３）に示すように、いずれか一方の隣接領域において時刻ｔ−１で移動体が存在し、時刻ｔで着目領域において移動体が検出された場合には、原則として、隣接領域から着目領域の方向へ移動体が進行したと判定する（同（ｂ），（ｃ））。ただし、演算装置１０は、隣接領域において進行方向が逆と決定されていた場合は、着目領域における進行方向を未決定とする（同（ａ））。

また、演算装置１０は、図９（４）に示すように、双方の隣接領域において時刻ｔ−１で移動体が存在し、時刻ｔで着目領域において移動体が検出された場合には、時刻ｔ−１の双方の隣接領域で進行方向が同じであれば時刻ｔの着目領域における進行方向をその方向とし（同左（ａ），（ｂ））、時刻ｔ−１の双方の隣接領域で進行方向が未決定であれば時刻ｔの着目領域における進行方向を未決定とし（同左（ｃ））、時刻ｔ−１の双方の隣接領域で進行方向が互いに逆であれば時刻ｔの着目領域における進行方向を未決定と（同右（ａ），（ｂ））する。

なお、演算装置１０は、図９（３）〜（４）のときのように、隣接領域から着目領域に移動体の存在が移る場合においては、隣接領域と着目領域との関連づけを行い、隣接領域で得られた抽出パターン画像５６と着目領域で得られた抽出パターン画像５６とは同一の移動体に属するものとして、記憶装置８に記憶しておく。

一方、記憶装置８には、抽出パターン画像５６に対応する登録パターン画像６２が格納されている。登録パターン画像６２は、移動体の種類ごとに試験的に抽出パターン画像５６を取得し、その平均的なものを選択して得られる。登録パターン画像６２は、移動体の同一種類に対して複数設けられ得る。また、抽出パターン画像５６は正規化され、上下方向のピクセル数（高さ）が１２０ピクセルに統一されることから、登録パターン画像６２の高さも、抽出パターン画像と同じ１２０ピクセルとしてある。なお、記憶装置８における登録パターン画像６２の記憶領域が、登録パターン画像記憶手段に相当する。

そして、演算装置１０は、抽出パターン画像５６と、各登録パターン画像６２とを比較し、抽出パターン画像５６がどの種類の登録パターン画像６２と一致するかを判定する（識別処理、ステップ４０）。この判定においては、ＤＰマッチング（動的計画法による判定）を用い、特に図１０に示すような、始端および終端に自由度を与える端点フリーＤＰマッチングを利用する。なお、ステップ４０を実行する演算装置１０が、識別手段に相当する。また、図１０では、理解を容易にするため、抽出パターン画像５６を模式的に示して未知パターンと称するとともに、模式的な登録パターン画像６２を横転させてある。

当該ＤＰマッチングにおいて、フレーム間距離ｄ（ｉ，ｊ）は、次の［数７］のように定義する。また、端点フリー区間は、ここでは３に設定する。更に、対称型パスとして、［数８］に示すものを使用する。なお、この対称型パスは、図１０のほぼ中央において黒点とこれを結ぶ線とで模式的に示される。

また、始端点フリー区間Δ_Ｉ，Δ_Ｊにおいては、次の［数９］で示されるような（ｊ＋１）および（ｉ＋１）で重み付けされたパスを用いる。

更に、終端点フリー区間Δ_Ｉ’，Δ_Ｊ’において、次の［数１０］に示すように正規化累積距離Ｇ（ｉ，ｊ）の最小値を正規化最小累積距離Ｄとし、これを識別の距離尺度として用いる。ここで、正規化累積距離Ｇ（ｉ，ｊ）は次の［数１１］で表される。

そして、ステップ４０を実行する演算装置１０は、抽出パターン画像５６との関係で、正規化最小累積距離Ｄを各登録パターン画像６２において算出し、これが最小となる登録パターン画像６２について、ＤＰマッチングに係る抽出パターン画像５６と登録パターン画像６２の距離が最も少ないものとして、抽出パターン画像５６がその登録パターン画像６２と一致するものとして判定する。

すなわち、演算装置１０は、ステップ４０において、まず［数７］に基づき、Ｉ×Ｊ個のローカル距離ｄ（ｉ，ｊ）を計算する。次に、演算装置１０は、［数８］あるいは［数９］に基づき、（ｉ，ｊ）＝（０，０）の地点から、隣接地点（１，０）、（０，１）、（１，１）のｇ（ｉ，ｊ）を計算し、更に隣接する地点のｇ（ｉ，ｊ）を計算し、これを繰り返す。なお、演算装置１０は、［数８］の計算において、ｇ（ｉ−１，ｊ−２）＋２ｄ（ｉ，ｊ−１）、ｇ（ｉ−１，ｊ−１）＋ｄ（ｉ，ｊ）、およびｇ（ｉ−２，ｊ−１）＋２ｄ（ｉ−１，ｊ）の全ての計算を実行し、これら結果を記憶し、これら記憶値を比べて最小値をとる。この３個の式のうち、一番最初のものが、図１０における右上がり後縦方向のパスであり、右上がり前の地点での累積距離ｇに、右上がり後の地点でのローカル距離ｄを、２倍の重み付けをして加える。また、中央のものが、図１０における右上がりのみのパスであり、右上がり前の地点での累積距離ｇに、右上がり後の地点でのローカル距離ｄをそのまま加える。また、最後のものが、図１０における右上がり後横方向のパスであり、右上がり前の地点での累積距離ｇに、右上がり後の地点でのローカル距離ｄを、２倍の重み付けをして加える。

演算装置１０は、このようにして累積距離ｇを計算していき、［数１１］に示すようなｉ＋ｊで割ることで得られる正規化累積距離Ｇを得、更に［数１０］に示すように、Ｉ−Δ_Ｉ’≦ｉ≦ＩあるいはＪ−Δ_Ｊ’≦ｊ≦Ｊの地点にたどり着いた正規化累積距離Ｇの中から最小のものを選出し、正規化最小累積距離Ｄを演算する。

以上により、図１０における灰色部分以外においてＤＰパスが生成され、従って登録パターン画像６２の幅に対し、識別できる抽出パターン画像５６の幅は、２分の１ないしは２倍となり、登録パターン画像６２の幅と抽出パターン画像５６の幅とが合わなかったとしても、すなわち正規化後の抽出パターン画像５６の主に左右方向の長さ（ピクセル数）が移動体の通過速度により様々なものとなったとしても、登録パターン画像６２との比較が可能となる。なお、登録パターン画像６２は、このような識別できる抽出パターン画像５６の幅に鑑みて、平均的な幅のものを選定する。

また、ステップ３２において、抽出パターン画像５６は、移動体の通過速度に応じ、通過速度が速いほど、各短冊画像５２からライン画像をより多く（各短冊画像５２の一部分をより幅の広い状態で）参照して結合することによって生成されるので、通過速度に依らず抽出パターン画像５６の幅がほぼ一定となり、登録パターン画像６２の幅の２分の１から２倍の間に収まって、移動体の通過速度にかかわらず抽出パターン画像５６を登録パターン画像６２と比較することができる。

なお、移動体が極めて遅い場合には、結局背景と同様に処理され、進入のため有効に移動し始めたときにはライン型フレーム画像の結合がなされる。また、［数７］ないしは［数１１］による端点フリーＤＰマッチングにより、移動体の検出領域に対する進入の始めないしは終わりの態様が変わっても、Δ_Ｉ，Δ_ＪあるいはΔ_Ｉ’，Δ_Ｊ’の幅の範囲であれば、抽出パターン画像５６と登録パターン画像６２との比較が可能となる。そして、変化のあった短冊画像５２を結合して抽出パターン画像５６を形成することもあり、平面フレーム画像５０を逐一監視して動的にＤＰマッチングにおける比較対象の開始点ないしは終了点を把握する必要がない。

このようにして、演算装置１０は、端点フリーＤＰマッチングにより、抽出パターン画像５６と各種登録パターン画像６２とを比較し、正規化最小累積距離Ｄが最小となる登録パターン画像６２と抽出パターン画像５６とが一致したものと判定し、正規化最小累積距離Ｄが最小となった登録パターン画像６２の種類に係る移動体が通過したと識別して、例えば、その計数のための変数に１を加え、記憶装置８に記憶する。

ただし、演算装置１０は、連携処理により他の検出領域において同一の移動体に属する抽出パターン画像５６が存在している判断している場合、識別結果を出すことを一旦留保し、連携処理により複数の検出領域において同一の移動体に属する抽出パターン画像５６が実際に複数得られた場合、演算装置１０は、各抽出パターン画像５６における各識別結果を個別に出して参照し、最も多い識別結果をその移動体における識別結果とする（投票方式）。

また、演算装置１０は、歩行者および自転車に係る抽出パターン画像５６が人を含む画像として互いに似ていることに鑑み、特に識別結果が歩行者と自転車となった場合において、次に述べるように、抽出パターン画像５６の縦横比（アスペクト比、横が長いほど大きくなる）が、試行結果の統計的分布に基づき設定された所定値（境界値）以上であれば、識別結果が歩行者であっても自転車に変更し、当該境界値未満であれば、識別結果が自転車であっても歩行者に変更する（縦横比区分処理）。

すなわち、予め相当数の歩行者および自転車に係る抽出パターン画像５６を取得し、それぞれの縦横比と頻度の関係の度数分布を求め、更に正規分布に近似する（図１１）。次に、これらの正規分布に基づくベイズ決定則により歩行者と自転車との識別の基準を得る。すなわち、これらの正規分布を、歩行者（クラスω_１）および自転車（クラスω_２）の確率密度関数ｐ（ｘ｜ω_ｉ）（ｉ＝１，２）に基づいて生起しているとみなし、クラスω_１の生起確率をＰ（ω_ｉ）、未知パターンｘの生起確率をｐ（ｘ）とし、未知パターンｘがクラスω_１に属する確率をＰ（ω_ｉ｜ｘ）とすると、次の［数１２］〜［数１４］が成り立ち、またベイズの定理より［数１５］が成り立つ。なお、Ｐ（ω_ｉ）は事前に統計的に求めうる事前確率であり、Ｐ（ω_ｉ｜ｘ）は未知パターンｘ発生後に決定される事後確率である。

ベイズの定理が示すＰ（ω_ｉ｜ｘ）は、未知パターンｘが入力されたとき、その所属するクラスがω_ｉである確からしさを示しているので、［数１６］として次に示すように、未知パターンｘを識別する際に事後確率であるＰ（ω_ｉ｜ｘ）が最大となるω_ｉを識別結果とする（ベイズ決定則）。そして、［数１６］を識別関数とみなし、更に［数１５］のｐ（ｘ）が各クラスにおける共通因子であることを考慮すると、結局識別関数は次の［数１７］となる。

以上の関係を用い、統計的に求められた縦横比分布の平均や分散を求め、正規分布を表す次の［数１８］における平均μや分散σ^２に適用する。そして、ここではクラスω_ｉの生起確率Ｐ（ω_ｉ）を、いずれも０．５と定める。なお、各クラスの条件付き確率密度分布の例を図１２に示す。

そして、予め統計的分布に基づいて得た確率密度分布に基づき、図１２の各条件付き確率密度分布の交点におけるｘを上記境界値（ベイズ境界ｘ_Ｂ）と定める。このとき、歩行者の分布においては、真の状態が自転車（クラスω_２）であるが観測した縦横比がｘ_Ｂ以下である場合に識別誤りが生じ、その誤りの確率は次の［数１９］となる。一方、自転車の分布においては、真の状態が歩行者（クラスω_１）であるが観測した縦横比がｘ_Ｂ以上である場合に識別誤りが生じ、その誤りの確率は次の［数２０］となる。これら誤り確率の和が小さいほど、識別性能が高いために、境界値をベイズ境界ｘ_Ｂとする。

演算装置１０は、以上の処理を適宜繰り返し、移動体につきその種類を識別する。

上記移動体識別プログラム１２を実行する移動体識別装置１における識別結果の例を以下説明する。移動体識別装置１では、例えば図１３における「検出対象」について、「検出結果」のような抽出パターン画像５６を得た。そして、次の［表１］に示すように、移動体の種類ごとに２枚または１枚の登録パターン画像６２を設定し、５４〜７個の移動体に対して識別結果を２通り得た。

このうち、移動体の進行速度を考慮した抽出パターン画像５６の合成のみを行って得た識別結果を、次の［表２］に示す。この場合、８５％以上の識別率を確保でき、歩行者と自転車以外は完全に識別できている。

一方、移動体の進行速度の考慮に加え、連携処理に基づく投票方式の導入、濃淡均一化処理、および縦横比区分処理を施した場合の識別結果を、次の［表３］に示す。この場合、自転車以外は完全に識別でき、登録パターン画像６２が４種全７個であっても、全体としての識別率を９８．０％という高いものとすることができている。なお、濃淡均一化処理の適用により、不適用時に比べて約半数の識別エラーが抑制された。

上記移動体識別プログラム１２を実行する移動体識別装置１では、複数種類の移動体の移動方向に交差する短冊画像５２について、変化を生じている間取得し、各短冊画像５２に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得し、更に、隣接する時刻に係る位置情報を参照してその変化量である位置変量を算出し、位置変量の総和を位置変量の個数で除すことにより移動体の通過速度を算出し、各短冊画像５２における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像５６を生成し、移動体の種類ごとに、抽出パターン画像５６に対応するように予め決定された登録パターン画像６２を格納し、抽出パターン画像５６と登録パターン画像６２とを、ＤＰマッチングにより比較し、抽出パターン画像５６がいずれの種類の登録パターン画像６２と一致するかを判別して、一致した登録パターン画像６２の種類に係る移動体を識別するので、移動体を捕捉するまでは短冊画像５２の監視のみで足り、平面フレーム画像５０全体の処理と比べて情報処理量が格段に少なくて済むし、平面フレーム画像５０に障害物があったとしても移動体を識別することができる。また、ＤＰマッチングにより、抽出パターン画像５６と登録パターン画像６２との一致を把握するので、短冊画像５２の結合である抽出パターン画像５６が、移動体の位置や速度等によって様々に変化しても、一致不一致を判別でき、情報処理量が少なくても、移動体の種類の識別まで精度良く可能になる。そしてこのような情報処理の効率化と種類識別精度との両立により、現実的な移動体識別が即座に可能となる。更に、各短冊画像５２における移動体の通過速度に応じた幅の部分を取り出して結合することで抽出パターン画像５６を作成するので、通過速度が速くなるほど各短冊画像５２の情報を多く取り出すことができ、また通過速度が遅くても必要十分な情報のみ参照して余分な情報を取り出さないようにすることができ、どのような通過速度であっても同等な抽出パターン画像５６を得ることができて、通過速度に依らず高精度な識別に供することができる。

また、演算装置１０は、特に登録パターン画像６２と抽出パターン画像５６とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較するので、動的ＤＰマッチングのような膨大な処理量は不要であり、より一層効率の良い移動体識別が可能となる。

更に、演算装置１０は、平面フレーム画像５０内において互いに隣接する短冊画像５２を取得し、同時刻において、互いに隣接する短冊画像５２が双方とも取得されている場合に、これら短冊画像５２から生成されるそれぞれの抽出パターン画像に係る識別結果のうち、最も多いものを識別結果とするため、同一の移動体に対して複数の処理結果の多数決（投票）によって最終的な処理結果を決定することができ、より一層識別精度を高くすることができる。

加えて、演算装置１０は、抽出パターン画像５６における移動方向に交差する方向に並ぶ部分同士で所定以上の濃淡分布差がある場合に、抽出パターン画像について、濃淡が均一となるように補正する処理を行うので、濃淡の不均等による識別誤りを是正して、識別精度を更に向上することができる。

また、演算装置１０は、抽出パターン画像の縦横比に応じて識別結果を変更するので、進行速度に応じて作成されるために適正な横幅となる抽出パターン画像５６の当該横幅に基づいて識別誤りを補正することができ、特に識別結果を変更する基準としての縦横比の境界値を統計的手法により求めれば、誤りの発生を効果的に減少することができる。

更に、移動体識別装置１は、平面フレーム画像５０を取得するカメラ２と、カメラ２により取得された各平面フレーム画像５０内の短冊画像５２を平滑化するとともに、連続する時刻の短冊画像５２同士で差分をとることで、短冊画像５２の変化を把握する差分処理手段と、変化の把握された短冊画像５２を参照する短冊画像ピックアップ手段とを備えるため、抽出パターン画像５６を背景情報がなくかつノイズが少ない状態で得ることができ、より一層処理速度や精度を向上できる。

加えて、演算装置１０は、短冊画像５２につき、余白を取り除いたうえで変化を生じていないライン画像を判定するので、移動体の進行速度をより正確に把握することができ、適正な抽出パターン画像５６を作成して正確な識別結果に寄与することができる。

なお、主に上記実施形態を変更してなる本発明の他の実施形態を例示する。カメラにつき２４ビット以外のカラー動画を取得するものとする。あるいは、カメラにつきグレースケール動画を取得するものとし、グレースケール化を省略する。カメラにつき白黒動画を取得するものとし、二値化された短冊画像により抽出パターン画像を生成し、二値化された登録パターン画像と比較する。カメラにつき短冊画像を取得するものとする。また、平滑化処理等を省略する。

ＤＰマッチングにおいて、他のパラメータを用いたり、他の形式の数式を用いたり、非対称型のパスを用いたり、他の重み付けに係るパスを用いたり、始端あるいは終端のみ自由度を与えたりする。各種登録パターン画像の種類を変えあるいは増減したり、１個の抽出パターン画像に対して所定の順番で登録パターンと比較するようにし、累積距離が所定値（例えば正規化時において０．１以下）となると当該登録パターンと一致するとみなして識別処理を終了するようにしたりする。

登録パターン画像につき、極端な特徴を有するものを手動選択したり、コンピュータによって自動的に平均的あるいは特徴的なものを選択したり、手動あるいは自動で平均的あるいは特徴的なものを作成したりする。各種値につき、正規化を省略する。また、識別された移動体の種類につき、表示装置、ランプ、ブザー等の出力装置に出力する。

差分短冊画像の階調の数を２５６階調から増減する。平面フレーム画像や正規化後の抽出パターン画像等の高さを２４０ないし１２０ピクセルから増減する。平面フレーム画像の高さと、短冊画像の高さと、正規化後の抽出パターン画像の高さと、登録パターン画像の高さとを、一部あるいは全部において互いに異なるものとする。短冊画像の幅を、１５から増減する（少なくとも複数ピクセルは必要である）。

連携処理、連携処理に基づく投票方式の導入、濃淡均一化処理、および縦横比区分処理のうちの一部あるいは全部を省略する。縦横比区分処理の統計化処理に際して、正規分布やベイズの定理以外の分布や統計手法等を採用する。短冊画像やライン画像における移動体の存在判定につき、所定濃度以上のピクセルが所定数以上現れた場合に存在していると判定するもの等とする。また、濃度の均一化に際し、非線形の濃度変換等を行う。

上記移動体識別装置は、構内に進入する移動体を自動識別して警備を支援する目的の他、車両別の交通量の自動把握や、工場における物品の種類ごとの流量の自動把握等の目的等に利用することができる。

本発明の実施形態に係る移動体識別装置のブロック図である。 図１における移動体識別装置が実行する移動体識別プログラムのフローチャートである。 平面フレーム画像における短冊画像（検出領域）の説明図である。 移動体高さ特定処理の説明図である。 移動体の通過速度の算出処理を示す説明図である。 線形濃度変換処理の説明図である。 濃淡均一化処理の説明図である。 連携処理の検出対象と検出結果の一例を示す説明図である。 連携処理の説明図である。 端点フリーＤＰマッチングの説明図である。 抽出パターン画像の縦横比に係る度数分布の説明図である。 抽出パターン画像の縦横比に係る条件付き度数分布の説明図である。 識別対象および識別結果の例の説明図である。

符号の説明

１ 移動体識別装置
２ カメラ
４ コンピュータ
６ インターフェイス
８ 記憶装置
１０ 演算装置
１２ 移動体識別プログラム

Claims (7)

1. 複数種類の移動体の移動方向に交差する短冊画像について、変化を生じている間取得する短冊画像取得手段と、
   短冊画像取得手段によって取得された各短冊画像に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得する位置情報取得手段と、
   位置情報取得手段によって取得された位置情報のうち、隣接する時刻に係るものを参照してその変化量である位置変量を算出する位置変量算出手段と、
   位置変量算出手段によって算出された位置変量の総和を、位置変量の個数で除すことにより、移動体の通過速度を算出する通過速度算出手段と、
   短冊画像取得手段によって取得された各短冊画像における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像を生成する抽出パターン画像生成手段と、
   移動体の種類ごとに、抽出パターン画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、
   抽出パターン画像生成手段によって生成された抽出パターン画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出パターン画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段と
   を備えており、
   短冊画像取得手段は、互いに隣接する短冊画像を取得するよう、複数設置されており、
   識別手段は、同時刻において、互いに隣接する短冊画像が双方とも取得されている場合に、これら短冊画像から生成されるそれぞれの抽出パターン画像に係る識別結果のうち、最も多いものを識別結果とする
   ことを特徴とする移動体識別装置。
2. 複数種類の移動体の移動方向に交差する短冊画像について、変化を生じている間取得する短冊画像取得手段と、
   短冊画像取得手段によって取得された各短冊画像に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得する位置情報取得手段と、
   位置情報取得手段によって取得された位置情報のうち、隣接する時刻に係るものを参照してその変化量である位置変量を算出する位置変量算出手段と、
   位置変量算出手段によって算出された位置変量の総和を、位置変量の個数で除すことにより、移動体の通過速度を算出する通過速度算出手段と、
   短冊画像取得手段によって取得された各短冊画像における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像を生成する抽出パターン画像生成手段と、
   移動体の種類ごとに、抽出パターン画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、
   抽出パターン画像生成手段によって生成された抽出パターン画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出パターン画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段と
   を備えており、
   識別手段は、抽出パターン画像における移動方向に交差する方向に並ぶ部分間において所定以上の濃淡分布差を呈している場合に、抽出パターン画像について、濃淡が均一となるように補正する処理を行う
   ことを特徴とする移動体識別装置。
3. 識別手段は、登録パターン画像と抽出パターン画像とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較して識別する
   ことを特徴とする請求項１または請求項２に記載の移動体識別装置。
4. 識別手段は、抽出パターン画像の縦横比に応じて識別結果を変更する
   ことを特徴とする請求項１ないしは請求項３のいずれかに記載の移動体識別装置。
5. 短冊画像取得手段は、
   短冊画像を含む平面フレーム画像につき取得するカメラと、
   カメラにより取得された短冊画像を平滑化するとともに、連続する時刻の短冊画像同士で差分をとることで、短冊画像の変化を把握する差分処理手段と、
   差分処理手段によって変化の把握された短冊画像を参照する短冊画像ピックアップ手段と
   を備えることを特徴とする請求項１ないしは請求項４のいずれかに記載の移動体識別装置。
6. 位置情報取得手段は、短冊画像につき、余白を取り除いたうえで、変化を生じていないライン画像を判定する
   ことを特徴とする請求項１ないしは請求項５のいずれかに記載の移動体識別装置。
7. コンピュータにおいて請求項１ないしは請求項６のいずれかに記載の各手段を実現させるための移動体識別プログラム。

Images