しかしながら、特許文献1〜3のシステムにあっては、撮像装置で撮像した映像を車両の車載装置へ伝送するだけであり、映像上の移動物体が低コントラストである場合、移動物体の視認は困難なままである。また、映像上の移動物体を見落としてしまう虞もあり、車両の運転者に、交差点の死角より接近する車両、二輪車若しくは歩行者等、又は見通しの悪いカーブの前方より接近する車両、二輪車若しくは歩行者等を確実に認識することができるシステムが望まれていた。また、近年では、車両間通信を行い、GPSで取得した車両位置、進行方向、又は速度等を情報交換し、事故を回避するシステムも提案されているが、これを実現するためには、全ての車両に車両間通信を行うための通信装置を設ける必要があり、実用化は困難である。
本発明は、斯かる事情に鑑みてなされたものであり、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出し、算出した撮像画像の画素の動きベクトルの角度差が第1閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックに対応する移動体を強調表示するための表示情報を生成し、生成された表示情報を撮像画像に合成して出力する出力手段を備えることにより、交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、接近する移動体を従来よりも容易かつ確実に判定するとともに、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる移動体判定システム、移動体判定方法、該移動体判定方法をコンピュータで実現するためのコンピュータプログラムを提供することを目的とする。
また、本発明の他の目的は、前記連結ブロックの動きベクトルの方向と移動体が撮像装置に接近する方向に対応する撮像画像上の接近方向との角度差を算出する算出手段を備え、算出された角度差が第2閾値以下である場合、表示情報を生成することにより、衝突の可能性のある移動体のみの視認性を高めることができる移動体判定システムを提供することにある。
また、本発明の他の目的は、送信方向に指向性を有する送信手段、及び前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、判定された方向に移動する車載装置へ送信することにより、衝突の可能性のある移動体を確実に判定することができる移動体判定システムを提供することにある。
また、本発明の他の目的は、一の道路に設置された送信手段、及び前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、前記一の道路を判定された方向に移動する車載装置へ送信することにより、衝突の可能性のある移動体を確実に判定することができる移動体判定システムを提供することにある。
また、本発明の他の目的は、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて第1の動きベクトルを算出し、算出された第1の動きベクトルに対応して移動して得られた新たな撮像画像及び撮像時点が異なる他の撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第2の動きベクトルを算出し、算出された第1及び第2の動きベクトルを合成することにより、移動体の動きの大小に拘わらず、精度良く移動体の存在を判定することができる移動体判定システムを提供することにある。
また、本発明の他の目的は、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる移動体判定システムを提供することにある。
また、本発明の他の目的は、前記画素ブロック又は局所領域を横長の矩形状にすることにより、移動体の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く移動体の存在を判定することができる移動体判定システムを提供することにある。
また、本発明の他の目的は、撮像画像の画素の動きベクトルを取得する手段を備えることにより、多地点又は遠隔地点における移動体の存在を集中的に判定することができる移動体判定システムを提供することにある。
第1発明に係る移動体判定システムは、道路を含む領域を撮像する撮像装置と、該撮像装置で撮像して得られた撮像画像に基づいて、移動体の存在を判定する移動体判定装置とを備える移動体判定システムにおいて、前記移動体判定装置は、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と、前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差が第1閾値以下である画素を連結してなる連結ブロックを特定するとともに、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差が前記第1閾値以下である画素を連結してなる連結ブロックを特定する特定手段と、特定された連結ブロックに基づいて、移動体の存在を判定する手段と、判定された移動体を強調表示するための表示情報を生成する生成手段と、生成された表示情報を撮像画像に合成して出力する出力手段とを備えることを特徴とする。
第2発明に係る移動体判定システムは、第1発明において、移動体が前記撮像装置に接近する方向に対応する撮像画像上の接近方向を記憶する記憶手段と、前記連結ブロックの動きベクトルの方向と前記接近方向との角度差を算出する算出手段とを備え、前記生成手段は、前記算出手段で算出された角度差が第2閾値以下である場合、表示情報を生成すべくなしてあることを特徴とする。
第3発明に係る移動体判定システムは、第2発明において、送信方向に指向性を有する送信手段と、前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段とを備え、前記送信手段は、表示情報を合成した撮像画像を、前記判定手段で判定された方向に移動する車載装置へ送信すべくなしてあることを特徴とする。
第4発明に係る移動体判定システムは、第2発明において、一の道路に設置された送信手段と、前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段とを備え、前記送信手段は、表示情報を合成した撮像画像を、前記一の道路を前記判定手段で判定された方向に移動する車載装置へ送信すべくなしてあることを特徴とする。
第5発明に係る移動体判定システムは、第1発明乃至第4発明のいずれかにおいて、撮像時点が異なる第1の撮像時点及び第2の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第1の撮像時点における撮像画像の画素の第1の動きベクトルを算出する手段と、該手段で算出された第1の動きベクトルに応じて前記第1の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第2の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第2の動きベクトルを算出する手段とを備え、両手段で算出された第1及び第2の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする。
第6発明に係る移動体判定システムは、第5発明において、前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする。
第7発明に係る移動体判定システムは、第5発明又は第6発明において、前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする。
第8発明に係る移動体判定システムは、第1発明乃至第4発明のいずれかにおいて、撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする。
第9発明に係る移動体判定方法は、撮像して得られた撮像画像に基づいて移動体の存在を判定する移動体判定方法において、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出し、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出し、前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差が第1閾値以下である画素を連結してなる連結ブロックを特定するとともに、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差が前記第1閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックに基づいて、移動体の存在を判定し、判定された移動体を強調表示するための表示情報を生成し、生成された表示情報を撮像画像に合成して出力することを特徴とする。
第10発明に係るコンピュータプログラムは、コンピュータに、撮像して得られた撮像画像に基づいて、移動体の存在を判定させるためのコンピュータプログラムにおいて、コンピュータを、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と、前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差を算出する手段と、該手段で算出された角度差が第1閾値以下であるか否かを判定する手段と、前記勾配法に基づいて算出された角度差が前記第1閾値以下である画素を連結してなる連結ブロックを特定するとともに、前記ブロックマッチング法に基づいて算出された角度差が前記第1閾値以下である画素を連結してなる連結ブロックを特定する特定手段と、特定された連結ブロックに基づいて、移動体の存在を判定する手段と、判定された移動体を強調表示するための表示情報を生成する手段と、生成された表示情報を撮像画像に合成する手段として機能させることを特徴とする。
第1発明、第9発明、及び第10発明にあっては、撮像画像の遠距離に対応する領域では、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きが小さく、例えば、1画素未満の微小な動きであっても動きベクトルを算出する。一方、撮像画像の近距離に対応する領域では、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きがより大きい動きベクトルを算出する。算出した撮像画像の画素毎の動きベクトルの角度差が第1閾値以下である画素を連結した連結ブロックを特定する。これにより、位置変化がない道路上の影、路面標記などを排除して、道路を走行する移動体を特定する。なお、連結ブロックを特定する場合、動きベクトルの角度差が第1閾値以下であり、かつ隣接した画素を連結することもできる。特定された連結ブロックに基づいて、移動体の存在を判定し、生成手段は、判定された移動体を強調表示するための表示情報を生成する。表示情報としては、例えば、連結ブロックを囲む矩形状の枠を点滅させる場合、枠の色を所定の周期で変更する場合、枠の大きさを所定の周期で変更する場合などである。出力手段は、表示情報が合成された撮像画像を出力する。これにより、移動体の存在が判定された場合、判定された移動体を強調表示させる。
第2発明にあっては、算出手段は、特定された連結ブロックの動きベクトルの方向と移動体が撮像装置に接近する方向に対応する撮像画像上の接近方向との角度差を算出する。前記生成手段は、算出された角度差が第2閾値以下である場合、表示情報を生成する。これにより、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動する場合、該移動体を強調表示する。また、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動しない場合、強調表示をしない。
第3発明にあっては、判定手段は、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動する場合、前記移動体に対して衝突可能な道路上の方向を判定する。送信方向に指向性を有する送信手段は、表示情報が合成された撮像画像を、判定された方向に移動する車載装置へ送信する。これにより、接近方向に移動する移動体に衝突する可能性のある(車載装置が搭載された)車両に対して、表示情報が合成された撮像画像を提供する。
第4発明にあっては、判定手段は、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動する場合、前記移動体に対して衝突可能な道路上の方向を判定する。一の道路に設置された送信手段は、表示情報が合成された撮像画像を、前記一の道路を判定された方向に移動する車載装置へ送信する。これにより、接近方向に移動する移動体に衝突する可能性のある(車載装置が搭載された)車両に対して、表示情報が合成された撮像画像を提供する。
第5発明にあっては、撮像時点の異なる第1の撮像時点及び第2の撮像時点における撮像画像夫々で画素ブロック(例えば、注目画素とその周辺の画素で構成される)を用いたブロックマッチング法に基づいて、画素ブロックの撮像画像での位置変化を求め、前記第1の撮像時点における撮像画像の画素の第1の動きベクトルを算出する。算出された第1の動きベクトルに応じて、前記第1の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第2の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、局所領域でのオプティカルフローが一定という拘束条件のもと、前記新たな撮像画像の画素の第2の動きベクトルを算出し、ブロックマッチング法及び勾配法により算出された第1及び第2の動きベクトルを合成して動きベクトルを算出する。
第6発明にあっては、撮像画像の遠距離に対応する領域(すなわち、撮像画像において車両までの距離が遠い領域)では、前記画素ブロック又は局所領域の大きさを小さくし、撮像画像の近距離に対応する領域(すなわち、撮像画像において車両までの距離が近い領域)では、前記画素ブロック又は局所領域の大きさを大きくする。これにより、前記画素ブロック又は局所領域の大きさを撮像画像での移動体の大きさに近づける。
第7発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にする。これにより、連結ブロック内の動きベクトルを算出する場合に、前記画素ブロック又は局所領域の縦方向に応じて変動する移動体部分の路面からの高さ、又は移動体部分までの距離の影響を少なくしつつ、所要の画素ブロック又は局所領域の大きさを確保する。
第8発明にあっては、予め算出された動きベクトルを取得する。
第1発明、第9発明、及び第10発明にあっては、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出し、算出された撮像画像の画素の動きベクトルの角度差が第1閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックに基づいて、移動体の存在を判定し、判定された移動体を強調表示するための表示情報を生成し、生成された表示情報を撮像画像に合成して出力する出力手段を備えることにより、交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、低コントラストな移動体であっても精度良く判定することができるとともに、判定した移動体を強調表示させることにより、移動体の見落としなどを低減させることができ、移動体を確実に判定することができる。また、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる。
第2発明にあっては、前記連結ブロックの動きベクトルの方向と移動体が撮像装置に接近する方向に対応する撮像画像上の接近方向との角度差を算出する算出手段を備え、算出された角度差が第2閾値以下である場合、表示情報を生成することにより、接近する移動体のみを強調表示して見落としを低減することができるとともに、離れていくような衝突する恐れのない移動体は、強調表示しないことにより、無用な警告を抑えることができ、衝突の可能性のある移動体のみの視認性を高めることができる。
第3発明にあっては、送信方向に指向性を有する送信手段、及び撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、判定された方向に移動する車載装置へ送信することにより、例えば、死角のある交差路又は見通しの悪いカーブなどに設置された凸面鏡の像を視認できる位置に接近するまでに、接近する移動体の有無を判定することができ、衝突の可能性のある移動体を確実に判定して、より安全な危険回避が可能となる。
第4発明にあっては、一の道路に設置された送信手段、及び撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、前記一の道路を判定された方向に移動する車載装置へ送信することにより、例えば、死角のある交差路又は見通しの悪いカーブなどに設置された凸面鏡の像を視認できる位置に接近するまでに、接近する移動体の有無を判定することができ、衝突の可能性のある移動体を確実に判定して、より安全な危険回避が可能となる。
第5発明にあっては、撮像時点が異なる第1の撮像時点及び第2の撮像時点における撮像画像の画素ブロックを用いたブロックマッチング法に基づいて第1の動きベクトルを算出し、算出された第1の動きベクトルに対応して前記第1の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第2の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第2の動きベクトルを算出し、算出した第1及び第2の動きベクトルを合成して動きベクトルとすることにより、移動体の動きが大きい場合でも、微小な動きである場合でも、精度良く移動体の存在を判定することができる。
第6発明にあっては、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる。
第7発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にすることにより、移動体の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く移動体の存在を判定することができる。
第8発明にあっては、撮像画像の画素の動きベクトルを取得する手段を備えることにより、死角のある交差点又は見通しの悪いカーブなどが遠隔地点にある場合、又は多くの地点にある場合であっても、それらの地点における移動体の存在を集中的に判定することができる。また、ビデオカメラの画角等の調整やビデオカメラの保守も集中的に対応できる。このため、システム全体のコスト低減を実現できる。
実施の形態1
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本発明に係る移動体判定システムの概要を示す模式図である。図において、移動体判定システムは、ビデオカメラ1、移動体判定装置2、無線発信装置3などを備えている。ビデオカメラ1は、交差点近傍に設置された凸面鏡4の鏡面内、下部、側面などに設置され、道路を含む領域を撮像する。図に示すように、交差点Eは、例えば、道路A、B、C、Dが交わっているものとする。ビデオカメラ1の光軸は、例えば、道路A、及びBの交差点Eから約50mの範囲(移動体判定範囲)に存在する移動体(車両、二輪車、歩行者等)を撮像するように道路方向に沿って配置してある。なお、凸面鏡4が設置されていない場合でも、ビデオカメラ1は、所要の移動体判定範囲を撮像できるように設置することができる。
ビデオカメラ1には、移動体判定装置2を接続してある。移動体判定装置2は、ビデオカメラ1で撮像して得られた撮像画像を処理して移動体の存在を判定するとともに、判定した移動体に強調表示を付した撮像画像を出力する。移動体判定装置2には、無線発信装置3を接続してある。無線発信装置3は、電波の送信方向に指向性を有しており、例えば、交差点Eに交わる道路Cの交差点Eから約50m程度の範囲にある車両に対して、情報を伝送することができる。
図2は移動体判定装置2の構成を示すブロック図である。図において、1はビデオカメラである。ビデオカメラ1は撮像して得られた撮像画像を映像信号(アナログ信号)として画像入力部21へ出力する。画像入力部21は、取得した映像信号をA/D変換部22へ出力し、A/D変換部22は、入力された映像信号をデジタル信号に変換し、CPU28の制御のもと、変換されたデジタル信号を画像データとして画像メモリ23へ記憶する。CPU28は、画像入力部21を介してビデオカメラ1から入力された撮像画像を画像データとして、ビデオカメラ1のフレームレート(撮像時点の間隔、例えば、1秒間に30フレーム)と同期して、1フレーム単位(例えば、480×640画素)で画像メモリ23に記憶する。
補助記憶部27は、本発明のコンピュータプログラムPGを記録したCD−ROM29が挿入されることにより、CD−ROM29に記録されたコンピュータプログラムPGをRAM24に記憶する。CPU28は、RAM24に記憶されたコンピュータプログラムPGを実行する。移動体判定装置2は、CD−ROM29に記録したコンピュータプログラムPGがRAM24に読み込まれ、読み込まれたコンピュータプログラムPGをCPU28で実行することにより、後述する動きベクトル算出処理、移動体判定処理などを実現する。なお、CPU28は、移動体が移動体判定範囲に存在する間、所定の処理を繰り返すことができる。
画像メモリ23は、画像入力部21を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。
記憶部26は、コンピュータプログラムPGをCPU28で実行することにより、得られた動きベクトルの算出結果、移動体の判定処理結果を各フレームに対応して記憶している。また、記憶部26は、移動体が交差点Eに接近する方向を撮像画像上で特定するための接近方向を記憶している。
通信部25は、移動体判定装置2で判定した移動体に関する情報、より具体的には、移動体を強調表示する表示情報を合成した撮像画像に関する情報を、無線発信装置3へ出力する。なお、撮像画像を無線発信装置3へ出力する際に、撮像画像を圧縮して出力することもできる。
無線発信装置3は、電波の送信方向に所定の指向性を有しており、移動体判定装置2から出力された撮像画像に関する情報をアンテナを介して車両の車載装置(不図示)へ伝送する。
図3は撮像画像の一例を示す説明図である。図に示すように、移動体判定装置2は、例えば、道路Cから交差点Eに向かって走行する車両の運転者又は搭乗者から死角となる道路A、Bの交差点Eから約50mの範囲を走行する移動体をビデオカメラ1で撮像して得られた撮像画像に基づいて、移動体の存在を判定する。
図4は画素の動きベクトルを示す説明図である。図(a)(b)に示すように、撮像時点tkの撮像画像における画素Pjの座標が(xk、yk)、撮像時点tk+1の撮像画像における画素Pjの座標が(xk+1、yk+1)である場合、動きベクトルPVjは、(xk+1−xk、yk+1−yk)となる。異なる撮像時点の時間間隔は、1フレーム間隔でもよく、また、数フレーム間隔であってもよい。なお、上述の画素は、複数の画素で構成される画素ブロックであってもよい。この場合は、画素ブロック毎に動きベクトルが決定される。
図5は移動体判定装置2の動きベクトルの算出例を示す説明図である。動きベクトルの算出方法は、ブロックマッチング法と勾配法とがある。本発明においては、ブロックマッチング法及び勾配法で算出した動きベクトル(第1及び第2の動きベクトル)を合成して最終的な動きベクトルを算出する。
まず、ブロックマッチング法について説明する。ブロックマッチング法は、異なる撮像時点(例えば、時刻tと時刻t+1)の撮像画像を用いる。ブロックマッチング法は、時刻tの撮像画像において、注目画素P1を中心とする横長の矩形領域をテンプレートとして登録し、時刻t+1の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素位置P2を検出するものである。
相関値は、数1の式(1)で表される。
ここで、矩形領域のサイズをUxW(U、Wは整数)、時刻tにおける撮像画像の座標(x、y)の画素の輝度値をI(x、y、t)、−W/2≦i≦W/2、−U/2≦j≦U/2(i、jは整数)であり、−1≦相関値≦1である。また、数2の式(2)は矩形領域内の平均輝度値である。
上述の通り、ブロックマッチング法は、横長の矩形領域(画素ブロック)の大きさを適宜変更することにより、動き量が大きい場合の動きベクトルを算出することができる。
次に、勾配法について説明する。勾配法は、動画像の各フレームのオプティカルフロー(動きベクトルの場)を求める方法として、各画素における輝度(明るさ)の空間的勾配と時間的勾配の関係を用いるものである。すなわち、勾配法は、撮像画像の輝度分布が動きに際して不変に保たれると仮定した勾配拘束式(すなわち、輝度の空間的勾配と時間的勾配の関係式)に基づいて、オプティカルフローを求める方法である。勾配法のうち、空間的局所最適化法は、特に計算量が少なく精度良好な方法であり、以下に説明する。
勾配法は、異なる撮像時点(例えば、時刻tと時刻t+1)の撮像画像を用いる。時刻tにおける撮像画像の座標(x、y)の画素の輝度をI(x、y、t)とする。時刻t+1(時刻tに対してδtだけ時間が経過したとする)において、座標(x、y)の画素が座標(x+δx、y+δy)に移動したとする。ここで、輝度は変化しないと仮定すると、I(x、y、t)=I(x+δx、y+δy、t+δt)の関係式が成立する。
上式の右辺をテイラー展開すると、数3の式(3)が得られる。
ε(x、y、t)は、2次以上の高次の項であり、微小であるためこれを無視するとともに、数3の式(3)の両辺をδtで割り、δtを0に近づけると、数4の式(4)を得る。この式は、オプティカルフローの勾配拘束式と呼ばれる。
ここで、輝度勾配をIx=∂I/∂x、Iy=∂I/∂y、時間勾配をIt=∂I/∂tとし、オプティカルフローをu=δx/δt、v=δy/δtとする。
所要の横長の局所領域(M×N)(M、Nは整数)でオプティカルフローが一定であるという拘束条件を付加すると、前記局所領域で得られるオプティカルフローは、同一の解を持つと仮定するので、誤差Eは数5の式(5)で表される。ここで、−M/2≦i≦M/2、−N/2≦j≦N/2(i、jは整数)は前記局所領域内の座標である。
最小2乗法の考え方から、∂E/∂u=0、∂E/∂v=0を算出し、前記局所領域内で重み付け平滑化すると、数6の(6)式及び(7)式を得る。ここでwi,jは重み付けマトリクスであり、前記局所領域の中央部ほど重み付けが大きくなるような分布を持つマトリクスを使用することができる。
数6の式(6)、(7)を解くことにより、オプティカルフロー(u、v)、すなわち、動きベクトルが数7の(8)式、(9)式、及び(10)式のように得られる。
上述の通り、勾配法は、ブロックマッチング法のように画素ブロックを用いる必要がないため、1画素未満の微小な動きベクトルであっても算出することができる。
図5に示すように、本発明に係る移動体判定装置2の動きベクトルの算出法は、まずブロックマッチング法により、撮像時点が異なる第1の撮像時点及び第2の撮像時点における撮像画像夫々で画素ブロックを用いて前記第1の撮像時点における撮像画像の画素の大きな動きベクトル(第1の動きベクトル)を算出する。算出した動きベクトルに応じて、前記第1の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第2の撮像時点における撮像画像夫々で局所領域を用いた勾配法により動きベクトル(第2の動きベクトル)を算出し、夫々の方法で算出した動きベクトル(第1及び第2の動きベクトル)を合成して最終的な動きベクトルを算出する。これにより、ブロックマッチング法により、大きな動きベクトルを算出するとともに、ブロックマッチング法では、算出することができない1画素未満の微小な動きベクトルも算出し、両者の動きベクトルを合成することにより、精度良く動きベクトルを求めることが可能になる。
次に、本発明に係る移動体判定装置2の処理手順について説明する。図6は移動体判定装置2の動きベクトル算出の処理手順を示すフローチャートである。CPU28は、撮像時点の異なる2つの撮像画像(例えば、撮像時点tのフレームft、撮像時点t+1のフレームft+1)を画像メモリ23から取得する(S10)。
CPU28は、取得した一方の撮像画像の画素ブロック(例えば、7×15画素)毎に、画素ブロック内画素が有する輝度値(又は階調値など)に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する(S11)。2つの撮像画像間で一致する画素ブロックを特定する場合、上述した相関値を用いることができる。
CPU28は、2つの撮像画像で一致する画素ブロックの撮像画像における座標(位置)変化に基づいて、ブロックマッチング法による各画素の動きベクトルを算出する(S12)。なお、座標変化が無い場合は、動きベクトルはゼロである。
CPU28は、撮像時点tにおける撮像画像の画素毎に算出した動きベクトルに応じて、各画素を動きベクトル分(大きさ及び方向)だけ移動させた撮像画像を生成する(S13)。
CPU28は、生成した撮像画像及び撮像時点t+1における撮像画像に対して、勾配法により動きベクトルを算出し(S14)、ブロックマッチング法により算出した動きベクトルと勾配法により算出した動きベクトルを合成して最終的な動きベクトルを算出する(S15)。
CPU28は、算出された動きベクトルの角度差を算出し(S16)、算出した角度差が第1閾値以下であるか否かを判定し(S17)、算出された角度差が第1閾値以下である場合(S17でYES)、すべての動きベクトルについて処理したか否かを判定し(S18)、すべての動きベクトルについて処理した場合(S18でYES)、角度差が第1閾値以下である画素であって、隣接する画素を連結した連結ブロックを特定する(S19)。
一方、算出された角度差が第1閾値以下でない場合(S17でNO)、又はすべての動きベクトルについて処理していない場合(S18でNO)、CPU28は、ステップS16以降の処理を続ける。
これにより、動きベクトルの方向が異なる画素は、ノイズとして除去する。また、連結ブロックは移動体に対応する。なお、連結ブロックを特定する場合に、連結ブロックを構成する画素の数が、予め定めた閾値より小さい場合は、ノイズとして除去することもできる。
CPU28は、動きベクトルの算出処理の終了要求を受け付けたか否かを判定し(S20)、処理終了でない場合(S20でNO)には、ステップS10以降の処理を続ける。処理終了である場合(S20でYES)、CPU28は、処理を終了する。
図7は移動体判定装置2の移動体判定の処理手順を示すフローチャートである。CPU28は、連結ブロック内の画素の動きベクトルを検索する(S30)。CPU28は、検索した動きベクトル方向の平均値を算出する(S31)。CPU28は、算出した平均値を連結ブロックの移動方向として特定し(S32)、特定した移動方向と予め定めた接近方向との角度差を算出する(S33)。この場合、接近方向は、道路A、Bを移動する移動体が交差点E(すなわち、移動体判定装置2)に接近する方向をいう。
CPU28は、算出した角度差が第2閾値以下であるか否かを判定する(S34)。算出した角度差が第2閾値以下である場合(S34でYES)、CPU28は、表示情報を生成し(S35)、生成した表示情報を撮像画像に合成する(S36)。これにより、撮像画像上の移動体であって接近方向に移動する移動体が存在すると判定された場合には、該移動体を強調表示する表示情報が付される。強調表示のための表示情報としては、例えば、撮像画像上の移動体を矩形状の枠で囲み、該枠を点滅させる(例えば、0.5秒ごと)、枠の色を所定の周期で変更する、枠の大きさを所定の周期で変更することができる。
CPU28は、1フレーム内のすべての連結ブロックについて処理を行ったか否かを判定し(S37)、すべての連結ブロックの処理が終了した場合(S37でYES)、CPU28は、表示情報を合成した撮像画像を出力し(S38)、処理を終了する。すべての連結ブロックの処理が終了していない場合(S37でNO)、ステップS30以降の処理を続ける。一方、算出した角度差が第2閾値以下でない場合(S34でNO)、CPU28は、ステップS37以降の処理を続ける。
上述の処理は、撮像画像1フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。
図8は連結ブロックの例を示す説明図である。図に示すように、撮像画像を所定の画素で分割し、各画素の動きベクトルを算出し、算出した動きベクトルの角度差が第1閾値以下である画素であって、隣接する画素のみを連結することにより、連結ブロックを特定する。動きベクトルの角度差が第1閾値以下の画素であっても、離隔している画素はノイズとして除去する。また、連結された画素の数が所定の閾値以下の場合も、ノイズとして除去することにより、連結ブロックにより移動体を精度良く判定することができる。なお、特定された連結ブロックの大きさ又は形状などに基づいて、車両、二輪車、歩行者などの移動体を区別することもできる。
図9は連結ブロックにより特定された移動体の例を示す説明図である。上述の通り、ビデオカメラ1は、交差点Eに交わる道路A、Bを撮像するように配置してある。ある撮像時点における撮像画像の移動体は、連結ブロックにより特定される。
図10は移動体判定装置2で算出される算出情報を示す説明図である。図10(a)に示すように、1フレームの撮像画像は、例えば、480×640の画素P1、P2、…Pnに分割される。図10(b)に示すように、画素毎に算出された動きベクトルPV1、PV2、…PVnが記録される。動きが検出されなかった画素の動きベクトルはゼロである。図10(c)に示すように、1フレームの撮像画像毎に、判定された移動体のうち、接近する移動体(例えば、接近車両V1、V2、…)などを記録する。
図11は表示情報が合成された撮像画像の例を示す説明図である。図に示すように、移動体判定装置2は、例えば、道路Cから交差点Eに向かって走行する車両の運転者又は搭乗者から死角となる道路A、Bの交差点Eから約50mの範囲を走行する移動体であって、交差点Eに接近する方向に移動する移動体に矩形状の枠を付した撮像画像を出力する。無線発信装置3を介してこの撮像画像を受け付けた車載装置は、車両に搭載された表示装置に表示する。
これにより、車両の運転者又は搭乗者は、交差点の死角から交差点に向かって接近してくる移動体の存在を従来よりも容易かつ確実に判定することができる。特に、動きベクトル検出技術を用いることにより、交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、低コントラストな移動体であっても精度良く判定することができる。また、本発明に係る移動体判定システムは、撮像画像を受信して表示する装置を搭載しない車両の運転者又は搭乗者の安全性を低下させることなく、かつ撮像画像を受信して表示する装置を搭載した車両の運転者又は搭乗者には、事故回避情報を提供することができるため、社会全体として、確実に安全性の向上が見込まれる。
上述の実施の形態では、交差点Eに、道路A、B、C、Dが交わるものであったが、交差点における道路形態は、これに限定されるものではなく、T字路のような場合など、一方の道路を走行する車両にとって死角となる曲がり角が存在するような場所にも、本発明を適用することができる。
実施の形態2
上述の実施の形態1においては、動きベクトルを算出する場合に、ブロックマッチング法及び勾配法で算出した動きベクトルを合成して最終的な動きベクトルを算出するものであったが、これに限定されるものではなく、例えば、移動体までの距離に応じてブロックマッチング法及び勾配法を使い分けることもできる。
図12は撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。図に示すように、移動体までの距離が遠い場合、すなわち、撮像画像上の右側及び左側の領域においては、勾配法により動きベクトルを算出する。一方、移動体までの距離が近い場合、すなわち、撮像画像上の中央部の領域においては、ブロックマッチング法により動きベクトルを算出する。
移動体が交差点から遠距離にある場合、動きベクトルの大きさは比較的小さく、1画素未満の微小な動きベクトルも算出することができる勾配法が優れている。一方、移動体が近距離にある場合、動きベクトルは大きく変化するため、効率よく大きな動きベクトルを算出できるブロックマッチング法が優れている。なお、ブロックマッチング法及び勾配法での動きベクトル算出手順は、実施の形態1と同様であるので、説明は省略する。
実施の形態3
上述の実施の形態では、動きベクトルを算出するための画素ブロック(ブロックマッチング法の場合)、又は局所領域(勾配法の場合)は、横長の所定の大きさの矩形状であったが、これに限定されるものではなく、例えば、移動体までの距離に応じて大きさを変えることもできる。
図13は画素ブロック又は局所領域の例を示す説明図である。図に示すように、移動体までの距離が遠い場合、すなわち、撮像画像上の右側及び左側の領域においては、横長の画素ブロック又は局所領域を小さくし(例えば、4×8)する。一方、移動体までの距離が近い場合、すなわち、撮像画像上の中央部の領域においては、横長の画素ブロック又は局所領域を大きく(例えば、8×16)する。
移動体までの距離に応じて、撮像画像上での移動体の大きさも異なり、前記画素ブロック又は局所領域の大きさを、移動体(例えば、車両、二輪車、歩行者)の大きさの1/2〜1/10程度の大きさになるようにすることで、移動体以外の路面上の不要な情報を除外するとともに、動きベクトル算出のための処理労力を低減しつつ、精度良く動きベクトルを算出することができる。
実施の形態4
上述の実施の形態では、ビデオカメラを交差点近傍に設置し、死角のある交差点に接近する移動体を判定するものであったが、ビデオカメラの設置場所は、これに限定されるものではなく、例えば、見通しの悪いカーブに接近してくる移動体を判定する場合にも、本発明を適用することができる。
図14は実施の形態4の移動体判定システムの概要を示す模式図である。図において、移動体判定システムは、ビデオカメラ1、移動体判定装置2、無線発信装置3などを備えている。ビデオカメラ1は、見通しの悪いカーブのほぼ中間に設置され、道路を含む領域を撮像する。図に示すように、カーブは、例えば、ビデオカメラ1の設置場所を中央にして、その両側に道路F、Gが繋がっているものとする。ビデオカメラ1の光軸は、例えば、道路F、Gのビデオカメラ1の設置場所から約50mの範囲(移動体判定範囲)に存在する移動体(車両、二輪車、歩行者等)を撮像するように道路方向に沿って配置してある。
ビデオカメラ1には、移動体判定装置2を接続してある。移動体判定装置2は、ビデオカメラ1で撮像して得られた撮像画像を処理して移動体の存在を判定するとともに、判定した移動体に強調表示を付した撮像画像を出力する。移動体判定装置2には、無線発信装置3を接続してある。無線発信装置3は、電波の送信方向に2方向の指向性を有しており、例えば、無線発信装置3から道路Fの約50m程度の範囲にある車両に対して、情報を伝送することができるとともに、無線発信装置3から道路Gの約50m程度の範囲にある車両に対して、情報を伝送することができ、いずれの方向に電波を発信するかを切り換えることができる。
移動体判定装置2の記憶部26には、移動体が(移動体判定装置2に)接近する方向を撮像画像上で特定するための接近方向と、無線発信装置3の電波の発信方向とを対応させて記憶している。CPU28は、例えば、移動体が道路Gから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Fから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を道路Fの方向へ送信するように無線発信装置3を制御する。また、CPU28は、移動体が道路Fから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Gから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を道路Gの方向へ送信するように無線発信装置3を制御する。なお、その他の箇所は、実施の形態1〜3と同様であるので、説明は省略する。
無線発信装置3を介して、接近する移動体を強調表示する表示情報が合成された撮像画像を受け付けた車載装置は、車両に搭載された表示装置に表示する。これにより、車両の運転者又は搭乗者は、見通しの悪いカーブの前方から接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。
実施の形態5
上述の実施の形態4では、電波の発信方向に指向性を有する無線発信装置を用いる構成であったが、これに限定されるものではなく、例えば、ビデオカメラから離れた道路に無線発信装置を設置する場合にも、本発明を適用することができる。
図15は実施の形態5の移動体判定システムの概要を示す模式図である。図において、移動体判定システムは、ビデオカメラ1、移動体判定装置2、無線発信装置3a、3bなどを備えている。ビデオカメラ1は、見通しの悪いカーブのほぼ中間に設置され、道路を含む領域を撮像する。図に示すように、カーブは、例えば、ビデオカメラ1の設置場所を中央にして、その両側に道路F、Gが繋がっているものとする。ビデオカメラ1の光軸は、例えば、道路F、Gのビデオカメラ1の設置場所から約50mの範囲(移動体判定範囲)に存在する移動体(車両、二輪車、歩行者等)を撮像するように道路方向に沿って配置してある。
ビデオカメラ1には、移動体判定装置2を接続してある。移動体判定装置2は、ビデオカメラ1で撮像して得られた撮像画像を処理して移動体の存在を判定するとともに、判定した移動体に強調表示を付した撮像画像を出力する。移動体判定装置2には、通信線5を通じて無線発信装置3a、3bを接続してある。なお、移動体判定装置2と無線発進装置3a、3bとの間は、有線に限らず無線により接続される構成でもよい。図15に示すように、無線発信装置3a、3b夫々は、道路F、Gの斜線で示す領域内を走行する車両に対して情報を伝送することができる。無線発信装置3a、3bとしては、例えば、光ビーコン、電波ビーコンなどを用いることができる。
移動体判定装置2の記憶部26には、移動体が(移動体判定装置2に)接近する方向を撮像画像上で特定するための接近方向と、無線発信装置3a、3bとを対応させて記憶している。CPU28は、例えば、移動体が道路Gから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Fから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を無線発信装置3aから道路Fを走行する車両の車載装置へ送信するように制御する。また、CPU28は、移動体が道路Fから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Gから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を無線発信装置3bから道路Gを走行する車両の車載装置へ送信するように制御する。なお、その他の箇所は、実施の形態1〜4と同様であるので、説明は省略する。
無線発信装置3a、3bを介して、接近する移動体を強調表示する表示情報が合成された撮像画像を受け付けた車載装置は、車両に搭載された表示装置に表示する。これにより、車両の運転者又は搭乗者は、見通しの悪いカーブの前方から接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。なお、上述の実施の形態5の構成は、交差点に交わる道路においても、同様に構成することができる。
上述の実施の形態5では、無線発信装置3a、3bをビデオカメラ1を挟んで、見通しの悪いカーブに1台設置する構成であったが、これに限定されるものではなく、無線発信装置3a、3bと車載装置との通信可能距離に応じて、カーブに沿って所要の離隔距離を設けて複数台設置することもできる。これにより、対向して走行してくる移動体を見通しの悪いカーブの十分手前から認識することが可能となる。
実施の形態6
上述の実施の形態1〜5では、ビデオカメラに使用するレンズは、標準レンズ又は広角レンズを用いる構成であったが、これに限定されるものではなく、より広い範囲で移動体の存在を判定するために魚眼レンズ(超広角レンズ)を用いることもできる。魚眼レンズを用いる場合、撮像画像に歪みが生じるため、動きベクトルを算出する前に、撮像画像を補正する必要がある。
図16は魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。実空間(X、Y、Z)上の点Pの像が、入力角θで魚眼レンズ中心を通り、撮像面上(中心をoとする)の点q(u、v)に射影されたとする。標準レンズによる場合の射影点をq´(u´、v´)とすると、F:q(u、v)→q´(u´、v´)が補正画像への変換式となる。魚眼レンズの焦点距離をfとすると、魚眼レンズが等距離射影方式である場合、r=f・θの式が成立する。また、標準レンズの場合、入力角と出力角は等しいので、r´=f・tanθの式も成立する。q(u、v)、q´(u´、v´)は、数8の式(11)、(12)で表される。これにより、θは、数8の式(13)で表され、変換係数aが数8の式(14)で表される。上述の結果及びqは直線oq´上にあることから、u´=a・u、v´=a・vにより、魚眼レンズ画像から補正画像への変換を行うことができる。
図17は魚眼レンズを用いた場合の表示情報が合成された撮像画像の例を示す説明図である。魚眼レンズを交差点付近に設置し、交差点に交わる4つの道路の交差点付近から約50m程度を撮像し、撮像して得られた魚眼レンズ画像を補正画像に変換する。これにより、交差点付近を鳥瞰した撮像画像を得ることができる。移動体判定装置2は、例えば、一の道路から交差点に向かって接近する移動体に矩形状の枠を付した撮像画像を出力する。また、移動体判定装置2は、他の道路を交差点から離れる方向に移動する移動体には矩形状の枠を付さないで撮像画像を出力する。これにより、車両の運転者又は搭乗者は、交差点の死角から交差点に向かって接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。
上述の例では、魚眼レンズを備えたビデオカメラを交差点付近に設置するものであったが、これに限定されることはなく、見通しの悪いカーブに設置することもできる。これにより、車両の運転者又は搭乗者は、見通しの悪いカーブの前方から接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。
実施の形態7
上述の実施の形態1〜6においては、ビデオカメラで撮像して得られた撮像画像から各画素ブロックの動きベクトルを算出する構成であったが、これに限定されるものではなく、ビデオカメラで撮像してMPEG、MPEG2、MPEG4、H.264等の符号化映像の形式に変換された映像データに含まれる各画素ブロックの動きベクトル情報を用いてもよい。例えば、複数の交差点近傍、見通しの悪いカーブに設置されたビデオカメラ1、1、…で撮像して得られた撮像画像に基づいて、予め動きベクトルを算出しておき、算出した動きベクトルを通信回線に接続された移動体判定装置で取得して、死角のある交差点又は見通しの悪いカーブなどが遠隔地点にある場合、又は多くの地点にある場合であっても、それらの地点における移動体の存在を集中的に判定することができる。
図18は本発明の実施の形態7に係る移動体判定システムの概要を示す模式図である。図において、1は道路を含む領域を撮像するビデオカメラである。ビデオカメラ1は、複数の交差点近傍又は見通しの悪いカーブなどに設置され、ビデオカメラ1の光軸は、例えば、交差点付近から50mの範囲にある道路、又はビデオカメラが設置された位置から約50mの範囲のカーブに存在する移動体(車両、二輪車、歩行者等)を撮像するように道路方向に沿って配置してある。
ビデオカメラ1には、制御装置6を接続してあり、制御装置6には、無線発信装置3を接続してある。制御装置6は、ビデオカメラ1で撮像して得られた画像データを所定の方式(例えば、MPEG、MPEG2、MPEG4、H.264など)に基づいて符号化処理するとともに、画像データに基づいて算出した動きベクトルを符号化処理し、符号化処理後のデータ及び動きベクトルを、通信回線7を介して接続された移動体判定装置2へ送信する。
ここで、MPEG、MPEG2、MPEG4、H.264等の符号化映像とは、画像の中の動く部分だけを検出し保存するなどして映像データを圧縮しているものであって、この形式に変換する際に、画素の動きベクトルの算出が行われる。
制御装置6は、後述するように、移動体判定装置2から通信回線7を介して出力された撮像画像(移動体の存在が判定された場合、その移動体を強調表示する表示情報が合成された撮像画像)を、無線発信装置3を通じて、車両の車載装置へ送信する。これにより、死角のある交差点又は見通しの悪いカーブなどが遠隔地点にある場合、又は多くの地点にある場合であっても、それらの地点における移動体の存在を集中的に判定して、衝突事故を防止することができる。
移動体判定装置2は、画像入力部21に代えて、通信部25で制御装置6、6、…から送信された符号化処理後のデータを取得し、取得したデータ元の画像データを復元するとともに、動きベクトルなどを抽出する。移動体判定装置2は、抽出した動きベクトルに基づいて、連結ブロックを特定し、移動体の存在を判定するとともに、移動体の移動方向が予め定められた接近方向である場合、その移動体を強調表示した撮像画像を通信回線7を介して、夫々の制御装置6、6、…へ出力する。
図19は制御装置6の構成を示すブロック図である。ビデオカメラ1は撮像して得られた撮像画像を映像信号(アナログ信号)として画像入力部61へ出力する。画像入力部61は、取得した映像信号をA/D変換部62へ出力し、A/D変換部62は、入力された映像信号をデジタル信号に変換し、CPU68の制御のもと、変換されたデジタル信号を画像データとして画像メモリ63へ記憶する。CPU68は、画像入力部61を介してビデオカメラ1から入力された撮像画像を画像データとして、ビデオカメラ1のフレームレート(撮像時点の間隔、例えば、1秒間に30フレーム)と同期して、1フレーム単位(例えば、480×640画素)で画像メモリ63に記憶する。
CPU68は、画像メモリ63に記憶した画像データを所定の方式(例えば、MPEG、MPEG2、MPEG4、H.264など)に基づいて符号化処理し、符号化処理後のデータを通信部65から移動体判定装置2へ送信する。CPU68は、符号化処理を行う際に画像データに基づいて動きベクトルを算出し、算出した動きベクトルを符号化処理する。
補助記憶部67は、コンピュータプログラムPGを読み込み、CPU68は、読み込まれたコンピュータプログラムをRAM64にロードし、ロードされたコンピュータプログラムPGを実行することにより、動きベクトル算出処理などを行う。なお、動きベクトル算出処理は、実施の形態1と同様であるので、説明は省略する。
図20は実施の形態7における移動体判定装置2の処理手順を示すフローチャートである。CPU28は、制御装置6から送信された符号化画像データを受信する(S50)。CPU28は、受信した符号化画像データから動きベクトルを抽出する(S51)。
CPU28は、算出された動きベクトルの方向が略一致する画素であって、隣接する画素を連結した連結ブロックを特定する(S52)。CPU28は、連結ブロック内の画素の動きベクトルを検索する(S53)。CPU28は、検索した動きベクトル方向の平均値を算出する(S54)。CPU28は、算出した平均値を連結ブロックの移動方向として特定し(S55)、特定した移動方向と予め定めた接近方向との角度差を算出する(S56)。
CPU28は、算出した角度差が第2閾値以下であるか否かを判定する(S57)。算出した角度差が第2閾値以下である場合(S57でYES)、CPU28は、表示情報を生成し(S58)、生成した表示情報を撮像画像に合成する(S59)。これにより、撮像画像上の移動体であって接近方向に移動する移動体が存在すると判定された場合には、該移動体を強調表示する表示情報が付される。強調表示のための表示情報としては、例えば、撮像画像上の移動体を矩形状の枠で囲み、該枠を点滅させる、枠の色を所定の周期で変更する、枠の大きさを所定の周期で変更することができる。
CPU28は、1フレーム内のすべての連結ブロックについて処理を行ったか否かを判定し(S60)、すべての連結ブロックの処理が終了した場合(S60でYES)、CPU28は、表示情報を合成した撮像画像を制御装置6へ出力し(S61)、処理を終了する。すべての連結ブロックの処理が終了していない場合(S60でNO)、ステップS53以降の処理を続ける。一方、算出した角度差が第2閾値以下でない場合(S57でNO)、CPU28は、ステップS60以降の処理を続ける。
上述の処理は、撮像画像1フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。これにより、交差点の死角となっている道路、又は見通しの悪いカーブから接近してくる移動体の存在の判定を広範囲、かつ多地点・遠隔地点において安定的に実現することができる。
上述の実施の形態1〜3においては、交差点Eに交わる道路A、Bから接近する移動体の存在を判定して、移動体を強調表示した撮像画像を、道路Cを走行する車両に送信する構成であったが、これに限定されるものではなく、指向性を有する無線発信装置3をさらに1台設けるか、又は2つの指向性を有する無線発信装置3を設けることにより、接近する移動体を強調表示した撮像画像を、道路Dを走行する車両に送信することもできる。さらに、道路C、Dを撮像するためのビデオカメラ1等を設けることにより、道路C、Dから接近する移動体の存在を判定することもできる。
上述の実施の形態において、夜間の衝突事故を安全に回避するため、赤外線ビデオカメラを用いることもできる。
上述の実施の形態1〜6においては、ビデオカメラ1と移動体判定装置2とは、別個の装置で構成されていたが、ビデオカメラ1と移動体判定装置2とを統合して、ひとつの装置として構成してもよい。
上述の実施の形態においては、撮像画像のすべての画素に対して動きベクトルを算出する構成であったが、複数の画素で構成されるブロック毎に動きベクトルを算出する構成であってもよい。
上述の実施の形態においては、ブロックマッチング法で動きベクトルを算出する場合に、数1の式で表される相関値を用いる構成であったが、これに限定されるものではなく、画素ブロック内画素の差分階調値の絶対値の和、画素の平均階調値の差の絶対値、画素の階調値の標準偏差の差の絶対値など、いずれの方法を用いてもよい。
上述の実施の形態において、異なる撮像時点の撮像画像を取得する場合、撮像時点の時間間隔は、道路の交通状況に応じて、適宜設定することができる。移動体が比較的高速で走行する道路の場合は、時間間隔を短くし、低速走行車両が多い道路では、時間間隔を長くすることができる。
上述の実施の形態においては、接近する移動体を強調表示した撮像画像を車両に搭載された表示装置に表示させる構成であったが、これに限定されるものではなく、HUD(Head Up display)などを用いて、フロントガラスなどに撮像画像を表示させることもできる。