JP5447162B2 - 移動体識別装置、コンピュータプログラム及び移動体識別方法 - Google Patents

Description

本発明は、道路を含む領域を撮像装置で撮像して得られた撮像画像を用いて移動体を識別する移動体識別装置、該移動体識別装置をコンピュータで実現するためのコンピュータプログラム及び前記移動体識別装置による移動体識別方法に関する。

道路を走行する車両あるいは横断歩道を歩行する歩行者などの移動体をビデオカメラなどの撮像装置で撮像し、移動体を検出する装置や交通流を計測する装置が検討されている。また、車両の運転者からは死角となる場所に存在する車両又は歩行者などの情報を路側インフラ装置から車両側へ提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。

例えば、ビデオカメラで撮像された画像情報から、車両の存在、小型車や中型車などの車種、車両速度などを検出して交通流計測を行う装置が開示されている（特許文献１参照）。

特開平５−３０７６９５号公報

しかし、特許文献１に開示されている装置は、現在のフレームでの撮像画像と過去のフレームでの撮像画像とを比較し、例えば、両者の画素値の差分が所定の閾値を超えた場合には、車両が存在すると判定するものである。また、従来の技術として、予め車両が存在しない道路の画像を背景画像として記憶しておき、撮像画像と背景画像との差分画像に基づいて車両を検出するものもある。

通常、ビデオカメラは路面から所要の高さに設けるため、ポールなどの支柱に取り付けられている。そして、強風などでビデオカメラが揺れた場合には、異なるフレームの撮像画像間、あるいは撮像画像と背景画像との間における道路上の同一地点の座標値にずれが発生する。このような場合に、路面に描かれた図柄（例えば、進行方向を示す矢印など）の座標位置が両者の画像の間で変化するため、当該図柄を車両などの移動体と誤って検出する事態が発生する。特に、車両や歩行者の検出、あるいは交通流の計測には、停止線手前付近の領域を撮像して行われることが多く、路面の図柄を移動体として誤検出する事態を防止することが大きな課題であった。

本発明は、斯かる事情に鑑みてなされたものであり、高精度に移動体を識別することができる移動体識別装置、該移動体識別装置をコンピュータで実現するためのコンピュータプログラム及び前記移動体識別装置による移動体識別方法を提供することを目的とする。

第１発明に係る移動体識別装置は、道路を視野として設けられた撮像装置で道路を含む領域を撮像して得られた撮像画像を用いて移動体を識別する移動体識別装置において、前記領域を撮像して得られた背景画像の任意の画素毎の該画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を前記任意の画素及び該画素の周囲のマスク画素に対応付けて予め記憶する記憶手段と、撮像画像の注目画素毎に該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を算出する周辺差分符号算出手段と、前記周辺差分符号算出手段で算出した注目画素の撮像画像周辺差分符号を該注目画素に対応する画素又は該画素の周囲のマスク画素の背景画像周辺差分符号でマスク処理するマスク処理手段と、該マスク処理手段でマスク処理したマスク処理後撮像画像周辺差分符号に基づいて移動体候補領域を構成する画素を抽出する抽出手段と、該抽出手段で抽出した画素で構成される移動体候補領域に基づいて移動体を識別する識別手段とを備えることを特徴とする。

第２発明に係る移動体識別装置は、第１発明において、前記記憶手段は、任意の画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する背景画像周辺差分符号を記憶してあり、前記周辺差分符号算出手段は、注目画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する撮像画像周辺差分符号を算出するようにしてあり、前記マスク処理手段は、注目画素の撮像画像周辺差分符号の有効成分と前記注目画素に対応する画素の背景画像周辺差分符号の有効成分とがすべて同一である場合、該有効成分をすべて除去して、前記撮像画像周辺差分符号をマスク処理するように構成してあることを特徴とする。

第３発明に係る移動体識別装置は、第１発明において、前記記憶手段は、任意の画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する背景画像周辺差分符号を記憶してあり、前記周辺差分符号算出手段は、注目画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する撮像画像周辺差分符号を算出するようにしてあり、前記マスク処理手段は、注目画素の撮像画像周辺差分符号と前記注目画素に対応する画素の背景画像周辺差分符号との共通する有効成分を除去して、前記撮像画像周辺差分符号をマスク処理するように構成してあることを特徴とする。

第４発明に係る移動体識別装置は、第２発明又は第３発明において、前記抽出手段は、注目画素のマスク処理後撮像画像周辺差分符号の有効成分の残存数が閾値以上である場合、前記注目画素を移動体候補領域を構成する画素として抽出するように構成してあることを特徴とする。

第５発明に係る移動体識別装置は、第１発明乃至第４発明のいずれか１項において、前記記憶手段は、任意の画素の周辺画素の組み合わせ数に応じた複数の組の背景画像周辺差分符号を記憶してあることを特徴とする。

第６発明に係る移動体識別装置は、第１発明乃至第５発明のいずれか１項において、前記マスク画素で構成されるマスク領域の大きさは、前記撮像装置の撮像レンズの光軸の揺れ幅に関連付けてあることを特徴とする。

第７発明に係る移動体識別装置は、第６発明において、道路上の地点の距離の遠近に応じて、該地点に対応する背景画像上の画素のマスク領域を小又は大にすることを特徴とする。

第８発明に係る移動体識別装置は、第６発明又は第７発明において、前記任意の画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を、前記任意の画素及び該画素のマスク画素の背景画像周辺差分符号として生成する生成手段とを備え、該生成手段で生成した背景画像周辺差分符号を前記記憶手段に記憶してあることを特徴とする。

第９発明に係るコンピュータプログラムは、コンピュータに、道路を視野として設けられた撮像装置で道路を含む領域を撮像して得られた撮像画像を用いて移動体を識別するステップを実行させるためのコンピュータプログラムにおいて、コンピュータに、撮像画像の注目画素毎に該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を算出するステップと、算出した注目画素の撮像画像周辺差分符号を、前記領域を撮像して得られた背景画像の前記注目画素に対応する画素と複数の周辺画素との画素値の差分を符号化し前記画素又は該画素の周囲のマスク画素に対応付けられた背景画像周辺差分符号でマスク処理するステップと、マスク処理したマスク処理後撮像画像周辺差分符号に基づいて移動体候補領域を構成する画素を抽出するステップと、抽出した画素で構成される移動体候補領域に基づいて移動体を識別するステップとを実行させることを特徴とする。

第１０発明に係る移動体識別方法は、道路を視野として設けられた撮像装置で道路を含む領域を撮像して得られた撮像画像を用いて移動体を識別する移動体識別装置による移動体識別方法おいて、前記領域を撮像して得られた背景画像の任意の画素毎の該画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を前記任意の画素及び該画素の周囲のマスク画素に対応付けて記憶手段に予め記憶しておき、撮像画像の注目画素毎に該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を周辺差分符号算出手段により算出するステップと、算出した注目画素の撮像画像周辺差分符号を該注目画素に対応する画素又は該画素の周囲のマスク画素の背景画像周辺差分符号でマスク処理手段によりマスク処理するステップと、マスク処理されたマスク処理後撮像画像周辺差分符号に基づいて移動体候補領域を構成する画素を抽出手段により抽出するステップと、抽出された画素で構成される移動体候補領域に基づいて識別手段により移動体を識別するステップとを含むことを特徴とする。

第１発明、第９発明及び第１０発明にあっては、道路を含む領域を撮像して得られた背景画像の任意の画素毎の当該画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を、当該画素及び当該画素の周囲のマスク画素に対応付けて予め記憶しておく。複数の周辺画素は、例えば、任意の画素に隣接する８画素（任意の画素を中心とする３×３画素から当該任意の画素を除いた画素）とすることができる。差分の符号化は、例えば、周辺画素のそれぞれに対応させて、差分が所定の差分閾値より大きい場合には、有効（例えば、１）、差分が差分閾値より小さい場合には、無効（例えば、０）というようにすることができる。この場合、任意の画素毎に、背景画像周辺差分符号は、有効又は無効を示す８個の符号成分を有する。任意の画素の背景画像周辺差分符号の符号成分のうち、少なくとも１つが有効（例えば、１）である場合、当該任意の画素には、背景画像周辺差分符号があるとし、背景画像周辺差分符号のすべての符号成分が無効（例えば、０）である場合、当該任意の画素には、背景画像周辺差分符号がないとすることができる。また、当該任意の画素の周囲のマスク画素（例えば、７×７画素）にも、当該任意の画素の背景画像周辺差分符号と同じ背景画像周辺差分符号を対応付けておく。

撮像画像の注目画素毎に当該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を算出する。複数の周辺画素は、例えば、注目画素に隣接する８画素（注目画素を中心とする３×３画素から当該注目画素を除いた画素）とすることができる。差分の符号化は、例えば、周辺画素のそれぞれに対応させて、差分が所定の差分閾値より大きい場合には、有効（例えば、１）、差分が差分閾値より小さい場合には、無効（例えば、０）というようにすることができる。この場合、注目画素毎に、撮像画像周辺差分符号は、有効又は無効を示す８個の符号成分を有する。注目画素の撮像画像周辺差分符号の符号成分のうち、少なくとも１つが有効（例えば、１）である場合、当該注目画素には、撮像画像周辺差分符号があるとし、撮像画像周辺差分符号のすべての符号成分が無効（例えば、０）である場合、当該注目画素には、撮像画像周辺差分符号がないとすることができる。

算出した注目画素の撮像画像周辺差分符号を当該注目画素に対応する画素又は当該画素の周囲のマスク画素の背景画像周辺差分符号でマスク処理する。マスク処理は、例えば、撮像画像上の注目画素の撮像画像周辺差分符号が、当該注目画素に対応する背景画像上の画素（マスク画素を含む）の背景画像周辺差分符号と一致（例えば、完全一致又は部分一致など）する場合、当該注目画素の撮像画像周辺差分符号を除去する。また、撮像画像上の注目画素の撮像画像周辺差分符号が、当該注目画素に対応する背景画像上の画素（マスク画素を含む）の背景画像周辺差分符号と一致しない場合、当該注目画素の撮像画像周辺差分符号をそのまま残してマスク処理後撮像画像周辺差分符号とする。マスク処理したマスク処理後撮像画像周辺差分符号に基づいて、移動体候補領域を構成する画素を抽出し、抽出した画素で構成される移動体候補領域に基づいて、移動体を識別する。すなわち、マスク処理後撮像画像周辺差分符号が残存している画素を、移動体候補領域を構成する画素として抽出して、移動体を識別する。これにより、所定の箇所に設置された撮像装置が風などで揺れた場合に、注目画素に対応する背景画像上の画素の座標が変動したときでも、注目画素に対応する画素の背景画像周辺差分符号でマスク処理することができるので、路面の図柄などの移動体でないものを誤って移動体として検出することを防止することができ、高精度で移動体を識別することができる。

第２発明にあっては、撮像画像周辺差分符号は、注目画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有し、背景画像周辺差分符号は、任意の画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する。そして、注目画素の撮像画像周辺差分符号の有効成分と当該注目画素に対応する画素の背景画像周辺差分符号の有効成分とがすべて同一である場合、当該有効成分をすべて除去して、撮像画像周辺差分符号をマスク処理する。例えば、８個の符号成分を（Ａ８、Ａ７、…Ａ１）とした場合に、撮像画像周辺差分符号の有効成分をＡ５、Ａ４、Ａ２とし、背景画像周辺差分符号の有効成分をＡ５、Ａ４、Ａ２としたときには、両者の有効成分がすべて同一であるので、すべての有効成分であるＡ５、Ａ４、Ａ２が除去されるので、マスク処理を行った後のマスク処理後撮像画像周辺差分符号がない。また、撮像画像周辺差分符号の有効成分をＡ５、Ａ４、Ａ２とし、背景画像周辺差分符号の有効成分をＡ４、Ａ３、Ａ１としたときには、両者の有効成分がすべて同一ではないので、有効成分は除去されず、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、Ａ５、Ａ４、Ａ２となる。これにより、撮像画像の特徴量である撮像画像周辺差分符号が除去されにくくなり、マスク処理後の移動体の特徴量を残すことができ、一層精度良く移動体を識別することができる。

第３発明にあっては、撮像画像周辺差分符号は、注目画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有し、背景画像周辺差分符号は、任意の画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する。そして、注目画素の撮像画像周辺差分符号と当該注目画素に対応する画素の背景画像周辺差分符号との共通する有効成分を除去して、撮像画像周辺差分符号をマスク処理する。例えば、８個の符号成分を（Ａ８、Ａ７、…Ａ１）とした場合に、撮像画像周辺差分符号の有効成分をＡ５、Ａ４、Ａ２とし、背景画像周辺差分符号の有効成分をＡ４、Ａ３、Ａ１としたときには、共通する有効成分であるＡ４が除去されるので、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、Ａ５、Ａ２となる。これにより、背景と考えられる符号を除去することができ、環境変化に影響されることなく、移動体を高精度で識別することが可能となる。

第４発明にあっては、抽出手段は、注目画素のマスク処理後撮像画像周辺差分符号の有効成分の残存数が閾値以上である場合、当該注目画素を、移動体候補領域を構成する画素として抽出する。閾値は、適宜設定することができ、例えば、２とすることができる。これにより、ノイズ等の影響により、注目画素の周辺画素の１つの画素値が大きく変化した場合でも、かかるノイズの影響を抑制することができ、移動体の誤検出を防止することができる。

第５発明にあっては、任意の画素の周辺画素の組み合わせ数に応じた複数の組の背景画像周辺差分符号を記憶する。例えば、周辺画素の数を８とした場合、背景画像周辺差分符号の符号成分は（Ａ８、Ａ７、…Ａ１）の８個となり、Ａ８〜Ａ１のいずれが有効成分であるかは、２５５通り存在する。Ａ８を最上位ビット、Ａ１を最下位ビットと考えたときに、背景画像周辺差分符号は、８ビットの組み合わせ、すなわち１から２５５までの数値として表すことができる。このように、背景画像周辺差分符号は、複数のパターン（組）を用いることができ、マスク処理を確実に行うことができ、移動体の識別精度を向上させることができる。

第６発明にあっては、マスク画素で構成されるマスク領域の大きさは、撮像装置の撮像レンズの光軸の揺れ幅に関連付けてある。例えば、最大の揺れ幅に相当する画素数でマスク領域の縦又は横の画素数を設定することができる。これにより、撮像装置の揺れによる影響を排除して移動体を精度良く識別することができる。

第７発明にあっては、道路上の地点の距離の遠近に応じて、当該地点に対応する背景画像上の画素のマスク領域は小又は大にする。撮像装置が揺れた場合、道路上の地点が遠方になるほど、撮像画像上での注目画素の位置の変動は小さくなるので、マスク領域を小さくする。また、道路上の地点が近くになるほど、撮像画像上での注目画素の位置の変動は大きくなるので、マスク領域を大きくする。これにより、撮像画像上の広い範囲で撮像装置の揺れによる移動体の誤検出を防止することができる。

第８発明にあっては、任意の画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を、当該任意の画素及び当該画素のマスク画素の背景画像周辺差分符号として生成し、生成した背景画像周辺差分符号を記憶手段に記憶する。マスク画素の数（マスク領域の大きさ）を適宜設定することにより、撮像装置の揺れの度合いが異なる場合でも、揺れ度合いに応じた背景画像周辺差分符号を用いることができる。

本発明によれば、所定の箇所に設置された撮像装置が風などで揺れた場合に、注目画素に対応する背景画像上の画素の座標が変動したときでも、注目画素に対応する画素の背景画像周辺差分符号でマスク処理することができるので、路面の図柄などの移動体でないものを誤って移動体として検出することを防止することができ、高精度で移動体を識別することができる。

本実施の形態に係る移動体識別装置の構成の一例を示すブロック図である。 撮像画像の一例を示す説明図である。 撮像画像の一部を示す説明図である。 注目画素を含む周辺画素の輝度値の一例を示す説明図である。 注目画素の周辺増分符号の算出例を示す説明図である。 注目画素の周辺増分符号を模式的に表した説明図である。 マスク処理の一例を示す説明図である。 マスク処理の他の例を示す説明図である。 マスク画素の一例を示す説明図である。 マスク画素の他の例を示す説明図である。 背景画像上の複数のマスク符号に対応するマスク画素の一例を示す説明図である。 揺れ対策用のマスク符号画像の一例を示す模式図である。 揺れ対策を施した場合のマスク処理の一例を示す説明図である。 感知ループ内での車両の識別方法の一例を示す説明図である。 車両の識別方法の他の例を示す説明図である。 車両の影が発生した状態の撮像画像の一例を示す説明図である。 路面上の影の境界部分の周辺増分符号の一例を示す説明図である。 マスク符号の選択方法の一例を示す説明図である。 周辺画素の構成例を示す説明図である。 周辺増分符号を特徴点としたブロックマッチング法の概要を示す説明図である。 昼間車両が走行する様子を示す撮像画像の一例である。 昼間車両が走行する様子を示す撮像画像の一例である。 路面反射がない場合の撮像画像の周辺増分符号の様子を示す説明図である。 夜間車両が走行する様子を示す撮像画像の一例である。 夜間車両が走行する様子を示す撮像画像の一例である。 路面反射がある場合の撮像画像の周辺増分符号の様子を示す説明図である。 本実施の形態に係る移動体識別装置の揺れ対策及び影対策を含む処理手順の一例を示すフローチャートである。 本実施の形態に係る移動体識別装置の揺れ対策及び影対策を含む処理手順の一例を示すフローチャートである。 本実施の形態に係る移動体識別装置の路面反射対策を含む処理手順の一例を示すフローチャートである。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態に係る移動体識別装置１００の構成の一例を示すブロック図である。移動体識別装置１００は、車両又は歩行者などの移動体の有無、移動体の位置、速度、種別などを識別することができる。移動体識別装置１００は、装置全体を制御するための制御部１０、ビデオカメラなどの撮像装置１で撮像して得られた撮像画像を取得するためのインタフェース部１１、撮像画像周辺差分符号を算出する周辺差分符号算出手段としての周辺増分符号算出部１２、撮像画像周辺差分符号を背景画像周辺差分符号でマスク処理するマスク処理部１３、移動体候補領域を構成する画素を抽出する抽出手段としての候補領域抽出部１４、移動体を識別する識別手段としての移動体識別部１５、背景画像周辺差分符号を生成する生成手段としてのマスク符号生成部１６、画素（注目画素）が移動したか否かを判定する判定手段としての画素判定部１７、背景画像周辺差分符号などを記憶する記憶部１８などを備えている。なお、撮像装置１は、移動体識別装置１００とは別個の装置であってもよく、あるいは、両者が一体をなす構成であってもよい。

撮像装置１は、道路を視野として、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。撮像装置１は、撮像して得られた撮像データを映像信号（アナログ信号）としてインタフェース部１１へ送出する。

インタフェース部１１は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を撮像画像（入力画像データ）として記憶部１８に記憶する。インタフェース部１１を介して撮像装置１から入力された撮像画像は、撮像装置１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位の画像データとして記憶部１８に記憶される。

図２は撮像画像の一例を示す説明図である。図２の例では、撮像装置１を交差点付近の所要の高さに設けてあり、交差点に向かって走行する車両を撮像することができる。また、撮像画像上には、車両（移動体）の識別用領域（感知領域）としての感知ループＳが設けられている。感知ループＳ内の路面には、車両の進行方向を示す図柄が描かれている。撮像画像の大きさは、例えば、２４０×３２０画素であるが、撮像画像の大きさはこれに限定されるものではない。また、撮像装置１の設置場所は、図２の例に限定されない。

周辺増分符号算出部１２は、周辺差分符号算出手段としての機能を備える。周辺増分符号算出部１２は、撮像画像の注目画素毎に、注目画素とその注目画素の周辺にある複数の周辺画素との画素値の差分（例えば、増分）を符号化した撮像画像周辺差分符号（例えば、周辺増分符号）を算出する。以下、周辺増分符号の算出方法について説明する。

図３は撮像画像の一部を示す説明図であり、図４は注目画素を含む周辺画素の輝度値の一例を示す説明図であり、図５は注目画素の周辺増分符号の算出例を示す説明図であり、図６は注目画素の周辺増分符号を模式的に表した説明図である。図３は、図２に示す感知ループＳ内の撮像画像の一部を取り出したものである。図中、斜線部は路面であり、白抜きの部分は路面に描かれた図柄の一部である。また、図３中の中央の画素を注目画素とする。

図４は、注目画素とその周辺画素の輝度値を示す。図４の例では、周辺画素は、注目画素に隣接する８画素（注目画素を中心とする３×３画素から注目画素を除いた画素）である。輝度値は、例えば、０から２５５までの数値で表すことができ、数値が大きいほど輝度が高い。図４の例では、注目画素の輝度値が１４０であり、その周辺画素の輝度値は、右隣接画素から反時計周りの順に、２１７、８９、１１０、１３４、１２９、１３０、１１９、２２１である。なお、輝度値は一例であって、これに限定されるものではない。

周辺増分符号の算出は、注目画素の輝度値と、注目画素の８近傍の周辺画素の輝度値とを比較し、それぞれの周辺画素の輝度値ａが、注目画素の輝度値ｗとの間で、ｗ＋α＜ａであれば、その周辺画素の位置に対応する符号成分を１（有効）とする。また、ｗ＋α≧ａであれば、その周辺画素の位置に対応する符号成分を０（無効）とする。ここで、αは差分閾値であって適宜設定することができ、例えば、α＝２０とすることができる。

上述の算出方法に従った場合、図４の例で示す注目画素の周辺増分符号は、図５に示すようになる。すなわち、注目画素の８近傍の周辺画素を右隣接画素から反時計周りの順に、Ａ１、Ａ２、…Ａ８とする。図４及び図５から、周辺画素Ａ１の輝度値ａは２１７であり、注目画素ｗの輝度値は１４０であるから、ｗ＋α＜ａの関係を満たす。従って、周辺画素Ａ１に対応する符号成分は１（有効）となる。同様にして他の周辺画素の符号成分を求めると、注目画素の周辺増分符号（Ａ８ Ａ７ …Ａ１）は、（１００００００１）となり、８ビットの情報を用いて符号化したものとなる。８ビットの二進符号を１０進符号に変換することで、周辺増分符号は、１２９として表すこともできる。

図５に示すように、８近傍の周辺画素のうち、右隣の周辺画素Ａ１と、右下の周辺画素Ａ８の符号成分が１（有効）であるので、これを模式的に表すと、図６のようになる。すなわち、周辺増分符号を、注目画素を中心として、符号成分が有効である周辺画素の方向に放射状に伸びた線分で表すこともできる。このようにして、撮像画像上の注目画素を順番に走査することで、撮像画像上のすべての画素を符号化することができる。

上述のように、撮像画像差分符号としての周辺増分符号は、注目画素とその周辺の各周辺画素との差分（輝度値の差分）の大小に応じた有効又は無効を示す符号成分を有する。そして、差分の符号化は、周辺画素のそれぞれに対応させて、差分（ａ−ｗ）が所定の差分閾値αより大きい場合には、有効（例えば、１）、差分（ａ−ｗ）が差分閾値α以下の場合には、無効（例えば、０）というようにすることができる。なお、上述の例では、差分（ａ−ｗ）を増分として符号化したものであるが、これに限定されるものではなく、差分（ｗ−ａ）を減分として符号化することもできる。

記憶部１８は、背景画像差分符号としてのマスク符号を記憶している。マスク符号は、周辺増分符号と同様の方法で生成することができる。すなわち、マスク符号は、車両が存在しないときに撮像された背景画像の任意の画素毎に、当該任意の画素とその周辺の周辺画素との画素値の差分を符号化したものである。そして、マスク符号は、周辺増分符号と同様に、任意の画素と各周辺画素との差分の大小に応じた有効又は無効を示す符号成分を有する。

マスク処理部１３は、注目画素の周辺増分符号（撮像画像周辺差分符号）を、当該注目画素に対応する背景画像上の画素のマスク符号（背景画像周辺差分符号）でマスク処理するマスク処理手段としての機能を有する。以下、マスク処理の方法について説明する。

図７はマスク処理の一例を示す説明図である。図７（ａ）は入力画像の周辺増分符号の一例を示し、図７（ｂ）は背景画像（マスク符号画像）のマスク符号の一例を示し、図７（ｃ）はマスク処理後画像の周辺増分符号を示す。また、図中、各画素に記載された放射状の線分は、図６で例示した周辺増分符号を模式化したものである。図７の例では、入力画像（撮像画像）の注目画素の周辺増分符号と、当該注目画素に対応する背景画像上の画素のマスク符号との共通する有効成分を除去して（部分一致に相当する）、入力画像の各注目画素の周辺増分符号をマスク処理する。例えば、８個の符号成分を（Ａ８、Ａ７、…Ａ１）とした場合に、周辺増分符号の有効成分をＡ４、Ａ３、Ａ２、Ａ１とし、マスク符号の有効成分をＡ４、Ａ３、Ａ２としたときには、共通する有効成分であるＡ４、Ａ３、Ａ２が除去されるので、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、Ａ１となる。これにより、背景と考えられる符号を除去することができ、環境変化に影響されることなく、車両などの移動体を高精度で識別することが可能となる。

図８はマスク処理の他の例を示す説明図である。図８（ａ）は入力画像の周辺増分符号の一例を示し、図８（ｂ）は背景画像（マスク符号画像）のマスク符号の一例を示し、図８（ｃ）はマスク処理後画像の周辺増分符号を示す。また、図中、各画素に記載された放射状の線分は、図６で例示した周辺増分符号を模式化したものである。図８の例では、入力画像（撮像画像）注目画素の周辺増分符号の有効成分と、当該注目画素に対応する背景画像上の画素のマスク符号の有効成分とがすべて同一である場合（完全一致に相当する）、当該有効成分をすべて除去して、入力画像の各注目画素の周辺増分符号をマスク処理する。例えば、８個の符号成分を（Ａ８、Ａ７、…Ａ１）とした場合に、周辺増分符号の有効成分をＡ４、Ａ３、Ａ２、Ａ１とし、マスク符号の有効成分をＡ４、Ａ３、Ａ２としたときには、両者の有効成分がすべて一致しないので、周辺増分符号は除去されず、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、Ａ４、Ａ３、Ａ２、Ａ１すべてが残る。これにより、撮像画像の特徴量である周辺増分符号が除去されにくくなり、マスク処理後の移動体の特徴量を残すことができ、一層精度良く移動体を識別することができる。

このように、本実施の形態のマスク処理は、入力画像中に、背景と考えられる周辺増分符号が存在する場合に、当該周辺増分符号を除外（無効、又は有効でないものと）する。背景画像そのものではなく背景画像のマスク符号を用いることにより、従来の差分処理に比べて、車両などの移動体の識別の精度が向上する。また、背景画像が誤って更新された場合、あるいは本来使用すべき背景画像と異なる背景画像を使用した場合であっても、背景画像そのものではなく背景画像のマスク符号を用いるので、そのマスク符号と一致（部分一致又は完全一致）する周辺増分符号だけが無視されるだけであり、移動体の検出結果に影響を及ぼすことも少ない。

次に、撮像装置１が風などで揺れた場合でも、車両などの移動体の誤検出を防止する方法について説明する。本実施の形態では、撮像装置１の揺れに対して、背景画像のマスク符号を、例えば、撮像装置１の撮像レンズの光軸の揺れ幅に相当する画素数だけ膨張（拡張）させたマスク画素を用いる。

図９はマスク画素の一例を示す説明図である。図９（ａ）は、注目画素に対応する背景画像の画素のマスク符号が、５６（００１１１０００）であることを示す。図９（ｂ）に示すように、マスク画素は、背景画像の任意の画素のマスク符号と同じマスク符号を対応付けた、当該画素の周囲の７×７画素である。マスク画素で構成されるマスク領域の大きさは、設置された撮像装置１の撮像レンズの光軸の揺れ幅に関連付けてある。例えば、揺れ幅が大きい場合には、マスク画素の画素数も多くすればよい。また、最大の揺れ幅に相当する画素数でマスク領域の縦又は横の画素数を設定することができる。これにより、撮像装置１の揺れによる影響を排除して移動体を精度良く識別することができる。

また、背景画像の任意の画素に対応する道路上の地点が遠距離になるに応じて、当該任意の画素のマスク領域を小さくする。撮像装置１が揺れた場合、道路上の地点が遠方になるほど、撮像画像上での注目画素の位置の変動は小さくなるので、マスク領域を小さくする。また、道路上の地点が近くになるほど、撮像画像上での注目画素の位置の変動は大きくなるので、マスク領域を大きくする。これにより、撮像画像上の広い範囲で撮像装置１の揺れによる移動体の誤検出を防止することができる。

図１０はマスク画素の他の例を示す説明図である。図１０（ａ）は、注目画素に対応する背景画像の画素のマスク符号が、５６（００１１１０００）であり、マスク符号が３つある場合を示す。図１０（ｂ）に示すように、マスク画素は、背景画像の任意の画素のマスク符号と同じマスク符号を対応付けた、当該画素の周囲の７×７画素である。図１０（ｂ）の例では、３つのマスク符号が存在しているので、マスク画素は、それぞれのマスク符号に対応して７×７画素で構成される。この場合も、図９の例と同様に、マスク画素で構成されるマスク領域の大きさは、設置された撮像装置１の撮像レンズの光軸の揺れ幅に関連付けてある。例えば、揺れ幅が大きい場合には、マスク画素の画素数も多くすればよい。また、最大の揺れ幅に相当する画素数でマスク領域の縦又は横の画素数を設定することができる。これにより、撮像装置１の揺れによる影響を排除して移動体を精度良く識別することができる。

図１１は背景画像上の複数のマスク符号に対応するマスク画素の一例を示す説明図である。図１１に示すように、背景画像上で、例えば、マスク符号が５０、６０、７０の画素が存在する場合（図１１では連続して隣接しているが、離隔して存在してもよい）、マスク符号が５０、６０、７０の画素のマスク画素Ｍ１、Ｍ２、Ｍ３は、各画素の位置に対応して横方向にずれるが、部分的に重複する。例えば、図１１中の矩形で示す画素は、マスク画素Ｍ１、Ｍ２、Ｍ３の中に存在するので、当該画素のマスク符号は、５０、６０及び７０となる。

図１２は揺れ対策用のマスク符号画像の一例を示す模式図である。マスク符号画像は、模式的に背景画像にマスク符号を付したものである。揺れ対策を行わない場合には、背景画像の各画素にマスク符号が一対一に対応して割り当てられるので、マスク符号画像は１つで足りる。しかし、揺れ対策を施す場合には、背景画像上の各画素のマスク符号を周囲のマスク画素にも割り当てる（対応付ける）。マスク符号は、周辺増分符号と同様に、１から２５５までの値を取り得るので、マスク符号毎にマスク符号画像を別々に準備する。

図１２の例では、マスク符号が１、２、２５５のマスク符号画像を示す。図１２において、マスク符号画像は、簡略化のためにマスク符号の画素が３×３画素で構成されているが、図９、図１０の例のように、７×７画素であってもよい。マスク符号が１のマスク符号画像は、３×３画素が１つである場合を示す。また、マスク符号が２、２５５のマスク符号画像は、３×３画素が複数（図１２の例では２つ）である場合を示す。複数のマスク符号が存在する画素では、それぞれのマスク符号がマスク処理に用いられる。

また、背景画像の任意の画素の周辺画素の組み合わせ数に応じた複数の組のマスク符号画像（マスク符号）を記憶部１８に記憶する。このように、マスク符号画像は、複数のパターン（組）を用いることにより、撮像装置１が揺れた場合でも、マスク処理を確実に行うことができ、移動体の識別精度を向上させることができる。

図１３は揺れ対策を施した場合のマスク処理の一例を示す説明図である。この場合、マスク処理部１３は、撮像画像上の注目画素の周辺増分符号を当該注目画素に対応する背景画像上の画素又は当該画素の周囲のマスク画素のマスク符号でマスク処理する。なお、マスク処理の具体的方法は、図７及び図８と同様である。相違点は、注目画素の対応する画素のマスク符号だけを用いるか、マスク画素のマスク符号も加味するかである。

このように、設置された撮像装置１が風などで揺れた場合に、注目画素に対応する背景画像上の画素の座標が変動したときでも、注目画素に対応する画素のマスク符号でマスク処理することができるので、路面の図柄などの移動体でないものを誤って移動体として検出することを防止することができ、高精度で移動体を識別することができる。

候補領域抽出部１４は、マスク処理したマスク処理後撮像画像周辺差分符号（入力画像の残存した周辺増分符号）に基づいて、移動体候補領域を構成する画素を抽出する抽出手段としての機能を有する。すなわち、候補領域抽出部１４は、マスク処理後撮像画像周辺差分符号が残存している画素を、移動体候補領域を構成する画素として抽出する。

また、候補領域抽出部１４は、注目画素のマスク処理後撮像画像周辺差分符号の有効成分の残存数が閾値以上である場合、当該注目画素を、移動体候補領域を構成する画素として抽出する。閾値は、適宜設定することができ、例えば、２とすることができる。例えば、マスク処理した後の入力画像の画素の周辺増加符号の有効成分の数が１である場合、当該画素はノイズとして除外する。これにより、ノイズ等の影響により、注目画素の周辺画素の１つの画素値が大きく変化した場合でも、このようなノイズの影響を抑制することができ、移動体の誤検出を防止することができる。

移動体識別部１５は、候補領域抽出部１４で抽出した候補領域を構成する画素に基づいて、移動体を識別する。以下、移動体の識別方法について説明する。

図１４は感知ループＳ内での車両の識別方法の一例を示す説明図である。図１４は、感知ループＳ内の画像を示し、升目の１つは画素を示す。また、横線が付された画素は、周辺増分符号が除去されずに残存している画素を示す。移動体識別部１５は、感知ループＳ内の画素のうち、周辺増分符号が除去されずに残存する画素の数に応じて、車両の有無を識別する。例えば、図１４（ａ）に示すように、周辺増分符号が残っている画素の数が所定の画素閾値以下である場合には、車両は存在しないとする。また、図１４（ｂ）に示すように、周辺増分符号が残っている画素の数が所定の画素閾値を超える場合には、感知ループＳに車両が進入したと判定することができ、車両が存在するとする。これにより、感知ループＳに図柄等が描かれている場合でも、移動体の有無を確実に行うことができる。

移動体を識別する場合、感知ループＳを使用することなく、撮像画像全体から移動体を識別することもできる。図１５は車両の識別方法の他の例を示す説明図である。図１５に示す例は、マスク符号によるマスク処理の後に、周辺増分符号が残っている画素のうち、隣接する画素を同じ番号（ラベル）でラベリングし、同じラベルが付与された連結領域を車両候補領域として抽出する。抽出した車両候補領域に外接する矩形領域を車両として識別する。この場合、矩形領域の撮像画像上の座標、異なる撮像時点間での座標の変位、矩形領域の大きさなどにより、車両の位置、速度、種別などを判定することができる。図１４の例では、車両が１台識別されているが、複数台同時に識別される場合もある。

上述のように、移動体の識別方法は、図１４の例、あるいは図１５の例のいずれを採用してもよい。特に、車両の有無を感知する感知器として使用する場合には、図１４の例を用いることができ、交通量などを計測する場合には、図１５の例を用いることができる。

マスク符号生成部１６は、背景画像のマスク符号を生成し、生成したマスク符号を記憶部１８に記憶する。また、マスク符号生成部１６は、背景画像の任意の画素のマスク符号を、当該任意の画素及び当該画素のマスク画素のマスク符号として生成し、生成したマスク符号を記憶部１８に記憶する。マスク画素の数（マスク領域の大きさ）を適宜設定することにより、撮像装置１の揺れの度合いが異なる場合でも、揺れ度合いに応じたマスク符号を用いることができる。

次に、路面上に影が発生した場合でも、車両などの移動体の誤検出を防止する方法について説明する。路面上の影は、例えば、昼間の時間帯、天候や季節などにより、車両の前あるいは横の路面上に車両の影が発生し、車両の移動に伴って影も移動する場合がある。また、道路付近に存在する支柱、木、看板、建物などの影が時間帯に応じて路面上で変化する場合もある。影の部分と影でない部分との輝度差もあるので、差分画像に基づいて車両を検出する場合、影の部分を車両として誤って検出する事態が生じる。

図１６は車両の影が発生した状態の撮像画像の一例を示す説明図であり、図１７は路面上の影の境界部分の周辺増分符号の一例を示す説明図である。なお、図１６の例では、車両の横に発生した影が同じ車線上にある状態を示しているが、車線を走行する車両の影が隣の車線上に発生する場合もある。図１７において、斜線部分は影の部分を示し、白抜きの部分は影のない路面を示す。

図１７に示すように、車両の影が感知ループＳ内を通過する場合、撮像画像の周辺増分符号は、影の境界線付近に顕著に現われる。すなわち、路面上の影の部分と影でない部分との境界線では、輝度値の大きい領域と輝度値の小さい領域が境界線で隣接しているため、境界線に接する画素の周辺増分符号は、固有の符号を持つ場合が多い。例えば、図５に示すように、周辺画素を３×３画素とする場合、図１７に示すように、周辺増分符号の有効成分の数は、３となる場合が多い。

また、影の境界線付近を除く領域では、輝度値の変化の割合が少ないので、周辺増分符号の有効成分は存在しない場合が多い。

マスク処理部１３は、撮像画像の周辺増分符号を背景画像のマスク符号でマスク処理した後に残った周辺増分符号の有効成分の数が所定値である場合、その周辺増分符号を影として除去する除去手段としての機能を有する。すなわち、マスク処理部１３は、マスク符号でマスク処理した後の周辺増分符号の有効成分の数が所定値である場合、当該周辺増分符号を除去する。周辺画素を３×３画素とする場合、所定値は、例えば、３とすることができる。これにより、影の境界線部分の画素を除外することができる。

候補領域抽出部１４は、影として除去された後の周辺増分符号に基づいて、移動体候補領域を構成する画素を抽出する。移動体識別部１５は、抽出された画素で構成される移動体候補領域に基づいて、移動体を識別する。これにより、車両の周囲に影が発生した場合でも、影の部分を除去することができるので、影の部分を誤って移動体として検出することを防止することができ、高精度で移動体を識別することができる。

次に、時間の経過とともに影が移動する場合の対策について説明する。マスク符号生成部１６は、撮像時点を変えて撮像して得られた背景画像に基づいて、マスク符号（背景画像周辺差分符号）を複数生成し、生成したマスク符号を記憶部１８に記憶しておく。これにより、道路付近に存在する支柱、木、看板、建物などの影が時間帯に応じて変化するような場合でも、時間帯による影の変化を考慮したマスク符号を選択して用いることにより、時間帯の影響を排除して移動体を精度良く識別することができる。あるいは、マスク処理を行う場合に、撮像画像の周辺増分符号に対して、複数のマスク符号を同時に用いることもできる。

また、マスク符号生成部１６で、所定時間の間に撮像して得られた背景画像に基づいてマスク符号を複数生成しておき、生成頻度に応じてマスク符号を選択して用いることもできる。

図１８はマスク符号の選択方法の一例を示す説明図である。所定時間（例えば、１０分など）の間に適宜の時間間隔で撮像した背景画像のマスク符号を生成し、マスク符号（例えば、１〜２５５）毎に生成された頻度（度数）を集計して記録する。例えば、最大で３０［回／秒］×６０［秒／分］×１０［分］＝１８０００［回／１０分］となる。図１８はマスク符号毎の生成頻度をヒストグラムとして表したものである。そして、生成頻度が所定の閾値以上（例えば、１０００［回／１０分］のマスク符号を抽出（選択）し、抽出したマスク符号を、最大ゆれ分隣接する画素に拡大（例えば、７×７画素）する。所定時間経過の都度この処理を繰り返し、所定時間経過の都度異なるマスク符号を生成することにより、時間の経過に応じて影の部分が変化する場合でも、最も可能性の高い影の状態を表すマスク符号を用いることにより、時間経過の影響を排除して移動体を精度良く識別することができる。

上述の図１７の例では、影を除去するための周辺増分符号の有効成分の所定値は、３としたが、これに限定されるものではない。

図１９は周辺画素の構成例を示す説明図である。撮像画像の注目画素及び該注目画素に対応する背景画像上の画素の周辺画素は、ｍ×ｎの画素ブロックとすることができる。ここで、ｍ及びｎは整数である。この場合、影を除去するための周辺増分符号の有効成分の所定値は、ｍ及びｎを超えない値とすることができる。例えば、図１９（ａ）に示すように、周辺画素が、３×３画素である場合、所定値を３とすることができる。影の境界線は、直線状に現われる場合が多く、例えば、車両の横に発生する影の境界線は、３×３画素の周辺画素の場合、縦又は横の連続する３画素で輝度値の差分が大きくなり、撮像画像の影の境界線付近の周辺増分符号の有効成分の数が３となることが多い。

また、図１９（ｂ）に示すように、周辺画素を５×５の画素ブロックとすることもできる。この場合も同様に、所定値を５、又は４とすることができる。影の境界線は、直線状に現われる場合が多く、例えば、車両の横に発生する影の境界線は、５×５画素の周辺画素の場合、縦又は横に沿った４画素又は５画素で輝度値の差分が大きくなり、周辺増分符号の有効成分の数が４、５などになることが多い。これにより、影を除去して移動体を精度良く識別することができる。

また、図１９（ｃ）に示すように、周辺画素を５×３の画素ブロックとすることもできる。この場合も同様に、所定値を５、４又は３とすることができる。影の境界線は、直線状に現われる場合が多く、例えば、車両の横に発生する影の境界線は、５×３画素の周辺画素の場合、縦又は横に沿った３画素、４画素又は５画素で輝度値の差分が大きくなり、周辺増分符号の有効成分の数が３、４、５などになることが多い。これにより、影を除去して移動体を精度良く識別することができる。

次に、夜間などに車両のヘッドライトによる路面反射が発生した場合でも、車両などの移動体の誤検出を防止する方法について説明する。夜間の背景画像には、路面に描かれた図柄等（例えば、進行方向を示す矢印など）は反映されていない。しかし、ヘッドライトを点灯した車両が路面上の図柄に接近しながら走行する場合、ヘッドライトの光が路面で反射して路面上の図柄等が撮像されることが多く、従来の技術では路面上の図柄等を誤って車両として検出する場合がある。

そこで、マスク処理されて残った周辺増分符号を特徴点としたオプティカルフローにより、車両であるか路面の図柄であるかを判定する方法について説明する。オプティカルフローには、ブロックマッチング法、あるいは勾配法などの手法があるが、以下ではブロックマッチング法を用いて説明する。

図２０は周辺増分符号を特徴点としたブロックマッチング法の概要を示す説明図である。図２０は、フレームが（ｔ−１）（前フレーム）のマスク処理後画像と、フレームがｔ（後フレーム）のマスク処理後画像とを示す。マスク処理後画像には、マスク処理後に残った周辺増分符号が特徴点として存在する。周辺増分符号を特徴点としたブロックマッチング法は、フレームｔのマスク処理後画像の注目画素を中心とするブロックＢをテンプレートとし、フレーム（ｔ−１）のマスク処理後画像の探索範囲Ｇ中を探索し、周辺増分符号を特徴点とする差分評価関数の値を最小とする領域を注目画素の対応点とする手法である。

差分評価関数は、例えば、ブロックＢ内の各画素の周辺増分符号と探索範囲Ｇ内の各画素の周辺増分符号との差分の２乗を画素毎に加算し、加算値が最も小さくなる（相関が最も大きい）ときの位置を注目画素の対応点とすることができる。

画素判定部１７は、第１撮像時点（例えば、フレーム（ｔ−１））で撮像した撮像画像の注目画素の第１周辺増分符号をマスク符号でマスク処理した第１マスク処理後周辺増分符号、及び第２撮像時点（例えば、フレームｔ）で撮像した撮像画像の注目画素の第２周辺増分符号をマスク符号でマスク処理した第２マスク処理後周辺増分符号に基づいて、注目画素が移動したか否かを判定する判定手段としての機能を有する。

画素判定部１７は、フレーム（ｔ−１）の第１マスク処理後周辺増分符号及びフレームｔの第２マスク処理後周辺増分符号を特徴点としたブロックマッチング法により、注目画素が、２つの撮像時点間で移動したか否かを判定する。なお、２つの撮像時点のフレームとしては、隣り合うフレームでもよく、いくつかのフレームが間引きされた、複数のフレーム分だけ時間が離れたフレームでもよい。

ヘッドライトの光による路面反射で図柄等が撮像された場合でも、撮像画像上の図柄等の位置には変化がないので、２つの撮像時点間で移動していない画素は、図柄等として除外することができ、路面の図柄などの移動体でないものを誤って移動体として検出することを防止することができ、高精度で移動体を識別することができる。

候補領域抽出部１４は、画素判定部１７で移動していないと判定した注目画素を除外し、除外した後の画素で構成される移動体候補領域を抽出する。

移動体識別部１５は、抽出した移動体候補領域に基づいて、移動体を識別する。路面反射などにより映し出された図柄等を除外することができ、移動している画素で構成される移動体候補領域だけを抽出することができるので、精度良く移動体を識別することができる。

また、移動体識別部１５は、画素判定部１７で移動したと判定した注目画素の感知ループＳでの数に基づいて、移動体を識別する。感知ループＳ内で移動したと判定された画素数が、所定の画素閾値を超えた場合には、道路上の感知領域に車両が進入したと判定することができ、感知領域に図柄等が描かれている場合でも、移動体の有無を確実に行うことができる。

図２１及び図２２は昼間車両が走行する様子を示す撮像画像の一例であり、図２３は路面反射がない場合の撮像画像の周辺増分符号の様子を示す説明図である。図２１はフレーム（ｔ−１）での撮像画像を示し、車両が感知ループＳ内に進入し始めた状態を示す。また、図２２はフレーム（ｔ−１）より後のフレームｔでの撮像画像を示し、車両が感知ループＳ内にほぼ入った状態を示す。また、図２３は、それぞれフレーム（ｔ−１）、フレームｔでのマスク処理後の撮像画像の周辺増分符号の状態を示す。図２３において、升目の１つは画素を示す。また、横線が付された画素は、周辺増分符号が除去されずに残存している画素を示す。

図２３に示すように、ブロックマッチング法により、フレーム（ｔ−１）、フレームｔの間で移動していると判定された画素に基づいて、車両が存在すると識別することができる。

図２４及び図２５は夜間車両が走行する様子を示す撮像画像の一例であり、図２６は路面反射がある場合の撮像画像の周辺増分符号の様子を示す説明図である。図２４はフレーム（ｔ−１）での撮像画像を示し、車両のヘッドライトが路面上の図柄を照らしている状態を示す。また、図２５はフレーム（ｔ−１）より後のフレームｔでの撮像画像を示し、車両のヘッドライトが路面上の図柄を照らしている状態を示す。また、図２６は、それぞれフレーム（ｔ−１）、フレームｔでのマスク処理後の撮像画像の周辺増分符号の状態を示す。図２６において、升目の１つは画素を示す。また、横線が付された画素は、周辺増分符号が除去されずに残存している画素を示す。

図２６に示すように、路面上の図柄は、ヘッドライトの光により照らされて映し出されたとしても、ブロックマッチング法により、フレーム（ｔ−１）、フレームｔの間で移動しないと判定されるので、車両であると誤検出されることがなく、車両が存在しないと識別することができる。

次に、本実施の形態に係る移動体識別装置１００の動作について説明する。移動体識別装置１００は、上述したように、周辺増分符号をマスク符号でマスク処理して移動体を識別する処理、撮像装置１の揺れを防止するための揺れ対策処理、車両やその他の物体による影を除去するための影対策処理、ヘッドライトによる路面反射による図柄等を除去するための路面反射対策処理などを行う。

図２７及び図２８は本実施の形態に係る移動体識別装置１００の揺れ対策及び影対策を含む処理手順の一例を示すフローチャートである。図２７及び図２８の例では、感知ループＳを用いて移動体の識別を行う。制御部１０は、入力画像を取得し（Ｓ１１）、取得した入力画像上で注目画素を順次走査して、周辺増分符号を算出する（Ｓ１２）。

制御部１０は、算出した周辺増分符号を、マスク符号画像を用いてマスク処理を行う（Ｓ１３）。この場合、マスク符号画像は、図１１、図１２、図１３に示した揺れ幅に相当するマスク画素にマスク符号を膨張（拡散）させたものを用いる。なお、撮像装置１の揺れが発生しない場合には、マスク符号をマスク画素に膨張させていないものを用いることもできる。

制御部１０は、マスク処理後画像の注目画素の周辺増分符号の有効成分の残存数が閾値（例えば、２）以上であるか否かを判定し（Ｓ１４）、周辺増分符号の有効成分の残存数が閾値以上である場合（Ｓ１４でＹＥＳ）、周辺増分符号の有効成分の残存数が所定値（例えば、３）に等しいか否かを判定する（Ｓ１５）。なお、ステップＳ１５では、注目画素が影の境界線の画素であるかを判定する。

マスク処理後画像の注目画素の周辺増分符号の有効成分の残存数が所定値に等しくない場合（Ｓ１５でＮＯ）、制御部１０は、注目画素が影の境界線ではないとして、当該注目画素を、車両候補領域を構成する画素として抽出する（Ｓ１６）。

注目画素の周辺増分符号の有効成分の残存数が閾値以上でない場合（Ｓ１４でＮＯ）、制御部１０は、当該注目画素をノイズとして除外する（Ｓ１７）。すなわち、制御部１０は、当該注目画素の周辺増分符号を除去（無効に）する。

マスク処理後画像の注目画素の周辺増分符号の有効成分の残存数が所定値に等しい場合（Ｓ１５でＹＥＳ）、制御部１０は、当該注目画素を影（影の境界）として除外する（Ｓ１８）。すなわち、制御部１０は、当該注目画素の周辺増分符号を除去（無効に）する。

制御部１０は、入力画像のすべての画素について処理が終了したか否かを判定し（Ｓ１９）、すべての画素の処理を終了していない場合（Ｓ１９でＮＯ）、ステップＳ１４以降の処理を繰り返す。

入力画像のすべての画素について処理が終了した場合（Ｓ１９でＹＥＳ）、制御部１０は、感知ループＳ内における抽出画素（周辺増分符号が存在する画素）の画素数が下限値以上であるか否かを判定する（Ｓ２０）。抽出画素数が下限値以上である場合（Ｓ２０でＹＥＳ）、制御部１０は、抽出した画素で構成される車両候補領域を車両として識別する（Ｓ２１）。すなわち、制御部１０は、車両ありと判定する。

感知ループＳ内における抽出画素（周辺増分符号が存在する画素）の画素数が下限値以上でない場合（Ｓ２０でＮＯ）、制御部１０は、車両なしと判定する（Ｓ２２）。制御部１０は、処理を終了するか否かを判定し（Ｓ２３）、処理を終了しないと判定した場合（Ｓ２３でＮＯ）、ステップＳ１１以降の処理を行い、処理を終了すると判定した場合（Ｓ２３でＹＥＳ）、処理を終了する。

なお、感知ループＳ内での車両の検出ではなく、撮像画像全体で車両を識別する場合には、図２８のステップＳ２０以降の処理に代えて、例えば、制御部１０は、抽出した画素に対してラベリング処理を行い、同じラベルが付与された連結領域の外接矩形領域を車両候補領域として抽出し、抽出した車両候補領域と予め記憶しておいたパターンとのパターンマッチングなどの手法により、車両か否かを判定するようにすればよい。

図２９は本実施の形態に係る移動体識別装置１００の路面反射対策を含む処理手順の一例を示すフローチャートである。制御部１０は、入力画像を取得し（Ｓ５１）、取得した入力画像上で注目画素を順次走査して、周辺増分符号を算出する（Ｓ５２）。

制御部１０は、算出した周辺増分符号を、マスク符号画像を用いてマスク処理を行う（Ｓ５３）。これにより、マスク処理後画像を得る。この場合、マスク符号画像は、図１１、図１２、図１３に示した揺れ幅に相当するマスク画素にマスク符号を膨張（拡散）させたものを用いてもよく、あるいは、撮像装置１の揺れが発生しない場合には、マスク符号をマスク画素に膨張させていないものを用いることもできる。

制御部１０は、１フレーム前のマスク処理後画像があるか否かを判定し（Ｓ５４）、１フレーム前のマスク処理後画像がない場合（Ｓ５４でＮＯ）、ステップＳ５１以降の処理を行う。１フレーム前のマスク処理後画像がある場合（Ｓ５４でＹＥＳ）、制御部１０は、２つのフレームにおけるマスク処理後画像の周辺増分符号を特徴点として、ブロックマッチング処理を行う（Ｓ５５）。なお、ブロックマッチング法に代えて勾配法など他のオプティカルフローを用いることもできる。

制御部１０は、２つのフレーム間で移動しない画素があるか否かを判定し（Ｓ５６）、移動しない画素がある場合（Ｓ５６でＹＥＳ）、当該画素を路面反射として除外する（Ｓ５７）。すなわち、この場合、制御部１０は、当該画素を車両ではなく、路面反射の影響による路面上の模様や図柄として除外する。

２つのフレーム間で移動しない画素がない場合（Ｓ５６でＮＯ）、すなわち、移動する画素がある場合、制御部１０は、移動した画素を抽出し（Ｓ５８）、抽出した画素で構成される領域を車両として識別する（Ｓ５９）。なお、車両を識別する方法は、上述したように、感知ループＳを用いてもよく、撮像画像全体で車両を識別してもよい。

制御部１０は、処理を終了するか否かを判定し（Ｓ６０）、処理を終了しないと判定した場合（Ｓ６０でＮＯ）、ステップＳ５１以降の処理を行い、処理を終了すると判定した場合（Ｓ６０でＹＥＳ）、処理を終了する。

本実施の形態に係る移動体識別装置１００は、上述の図２７及び図２８の処理だけを行うこともでき、あるいは、図２９の処理だけを行うこともでき、あるいは、図２７から図２９までの処理を含めた処理を行うこともできる。

移動体識別装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図２７、図２８及び図２９に示すような、各処理手順を定めたプログラムコードをコンピュータに備えられたＲＡＭにロードし、プログラムコードをＣＰＵで実行することにより、コンピュータ上で移動体域別装置を実現することができる。

従来、撮像装置の揺れ対策は、例えば、撮像装置の揺れ量を予め計算しておき、揺れ分を補正する方法があったが、画像全体に対して補正処理を行う必要があり、このためには特殊な専用のハードウェアを準備する必要があり計算コストが高くなる場合があった。本実施の形態では、従来のような補正処理を行う必要がなく、想定される揺れ幅を定数として設定するだけで安価に揺れ対策を行うことができる。また、従来の揺れ対策は、路面上の図柄部分をマスクする方法もあるが、図柄部分に車両の一部が存在する場合、車両を構成する画素までマスクされてしまい、車両としての特徴量が減少するので車両の識別精度が低下する場合があった。本実施の形態では、従来のようなマスクが不要であり、車両の識別精度を向上させるとともに、リアルタイムで識別処理を行うことができる。

上述の実施の形態では、環境変化にロバストなマスク符号を用いて、入力画像の周辺増分符号からマスク符号を除去するマスク処理を行うので、環境変化にロバストな移動体識別装置を実現することができる。また、背景画像のマスク符号としては、時間によって変化しない固定のマスク符号と、時間経過に応じて変化する可変マスク符号とを用いるので、固定のマスク符号で路面表記又は道路標識を除去することができるとともに、可変のマスク符号により建物の影、あるいは木の影など時間とともに移動するような影も除去することができる。

上述の実施の形態では、影の境界上における周辺増分符号が特有の値を持つことに着目して、効果的に影を除去することができ、車両などの移動体が存在すると誤検出することを防止して、移動体の識別精度を向上させることができる。

また、従来、路面反射の対策として、車両のヘッドライトをモデル化し、入力画像の中からヘッドライトのモデルを探索する手法があったが、撮像装置のカメラ画角又はカメラ絞り値などによってヘッドライトの映り方は様々となり、モデル化しても必ずしも正確にヘッドライトを探索することができない。本実施の形態では、ヘッドライトのモデル化は全く不要であり、ヘッドライトの路面反射には移動フローが少ないことを利用して、精度よく路面反射か移動体かを判定することができる。

以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。

１ 撮像装置
１０ 制御部
１１ インタフェース部
１２ 周辺増分符号算出部（周辺差分符号算出手段）
１３ マスク処理部（マスク処理手段）
１４ 候補領域抽出部（抽出手段）
１５ 移動体識別部（識別手段）
１６ マスク符号生成部（生成手段）
１７ 画素判定部
１８ 記憶部（記憶手段）

Claims (10)

1. 道路を視野として設けられた撮像装置で道路を含む領域を撮像して得られた撮像画像を用いて移動体を識別する移動体識別装置において、
   前記領域を撮像して得られた背景画像の任意の画素毎の該画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を前記任意の画素及び該画素の周囲のマスク画素に対応付けて予め記憶する記憶手段と、
   撮像画像の注目画素毎に該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を算出する周辺差分符号算出手段と、
   前記周辺差分符号算出手段で算出した注目画素の撮像画像周辺差分符号を該注目画素に対応する画素又は該画素の周囲のマスク画素の背景画像周辺差分符号でマスク処理するマスク処理手段と、
   該マスク処理手段でマスク処理したマスク処理後撮像画像周辺差分符号に基づいて移動体候補領域を構成する画素を抽出する抽出手段と、
   該抽出手段で抽出した画素で構成される移動体候補領域に基づいて移動体を識別する識別手段と
   を備えることを特徴とする移動体識別装置。
2. 前記記憶手段は、
   任意の画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する背景画像周辺差分符号を記憶してあり、
   前記周辺差分符号算出手段は、
   注目画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する撮像画像周辺差分符号を算出するようにしてあり、
   前記マスク処理手段は、
   注目画素の撮像画像周辺差分符号の有効成分と前記注目画素に対応する画素の背景画像周辺差分符号の有効成分とがすべて同一である場合、該有効成分をすべて除去して、前記撮像画像周辺差分符号をマスク処理するように構成してあることを特徴とする請求項１に記載の移動体識別装置。
3. 前記記憶手段は、
   任意の画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する背景画像周辺差分符号を記憶してあり、
   前記周辺差分符号算出手段は、
   注目画素と各周辺画素との差分の大小に応じて有効か否かを示す符号成分を有する撮像画像周辺差分符号を算出するようにしてあり、
   前記マスク処理手段は、
   注目画素の撮像画像周辺差分符号と前記注目画素に対応する画素の背景画像周辺差分符号との共通する有効成分を除去して、前記撮像画像周辺差分符号をマスク処理するように構成してあることを特徴とする請求項１に記載の移動体識別装置。
4. 前記抽出手段は、
   注目画素のマスク処理後撮像画像周辺差分符号の有効成分の残存数が閾値以上である場合、前記注目画素を移動体候補領域を構成する画素として抽出するように構成してあることを特徴とする請求項２又は請求項３に記載の移動体識別装置。
5. 前記記憶手段は、
   任意の画素の周辺画素の組み合わせ数に応じた複数の組の背景画像周辺差分符号を記憶してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体識別装置。
6. 前記マスク画素で構成されるマスク領域の大きさは、前記撮像装置の撮像レンズの光軸の揺れ幅に関連付けてあることを特徴とする請求項１乃至請求項５のいずれか１項に記載の移動体識別装置。
7. 道路上の地点の距離の遠近に応じて、該地点に対応する背景画像上の画素のマスク領域を小又は大にすることを特徴とする請求項６に記載の移動体識別装置。
8. 前記任意の画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を、前記任意の画素及び該画素のマスク画素の背景画像周辺差分符号として生成する生成手段とを備え、
   該生成手段で生成した背景画像周辺差分符号を前記記憶手段に記憶してあることを特徴とする請求項６又は請求項７に記載の移動体識別装置。
9. コンピュータに、道路を視野として設けられた撮像装置で道路を含む領域を撮像して得られた撮像画像を用いて移動体を識別するステップを実行させるためのコンピュータプログラムにおいて、
   コンピュータに、
   撮像画像の注目画素毎に該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を算出するステップと、
   算出した注目画素の撮像画像周辺差分符号を、前記領域を撮像して得られた背景画像の前記注目画素に対応する画素と複数の周辺画素との画素値の差分を符号化し前記画素又は該画素の周囲のマスク画素に対応付けられた背景画像周辺差分符号でマスク処理するステップと、
   マスク処理したマスク処理後撮像画像周辺差分符号に基づいて移動体候補領域を構成する画素を抽出するステップと、
   抽出した画素で構成される移動体候補領域に基づいて移動体を識別するステップと
   を実行させることを特徴とするコンピュータプログラム。
10. 道路を視野として設けられた撮像装置で道路を含む領域を撮像して得られた撮像画像を用いて移動体を識別する移動体識別装置による移動体識別方法おいて、
    前記領域を撮像して得られた背景画像の任意の画素毎の該画素と複数の周辺画素との画素値の差分を符号化した背景画像周辺差分符号を前記任意の画素及び該画素の周囲のマスク画素に対応付けて記憶手段に予め記憶しておき、
    撮像画像の注目画素毎に該注目画素と複数の周辺画素との画素値の差分を符号化した撮像画像周辺差分符号を周辺差分符号算出手段により算出するステップと、
    算出した注目画素の撮像画像周辺差分符号を該注目画素に対応する画素又は該画素の周囲のマスク画素の背景画像周辺差分符号でマスク処理手段によりマスク処理するステップと、
    マスク処理されたマスク処理後撮像画像周辺差分符号に基づいて移動体候補領域を構成する画素を抽出手段により抽出するステップと、
    抽出された画素で構成される移動体候補領域に基づいて識別手段により移動体を識別するステップと
    を含むことを特徴とする移動体識別方法。

Images