JP4892965B2 - 移動体判定システム、移動体判定方法、及びコンピュータプログラム - Google Patents

Description

本発明は、道路を含む領域を撮像装置で撮像して得られた撮像画像に基づいて、移動体の存在を判定する移動体判定システム、移動体判定方法、該移動体判定方法をコンピュータで実現するためのコンピュータプログラムに関する。

交差点の死角又は見通しの悪いカーブに接近する車両、二輪車又は歩行者等と車両が衝突する事故の主原因の１つとして、車両、二輪車又は歩行者等の対象物体が認識しにくい道路状況が挙げられる。この対策として、従来、交差点には、左右より接近する物体を運転者が認識できるように凸面鏡が設置され、また、見通しの悪いカーブでも、前方から来る物体を運転者が認識できるように凸面鏡が設置されている。

しかし、歩行者が黒っぽい衣服を着用している場合、凸面鏡に映った像が低コントラストであるため、視認が困難であるとき、又は注意散漫のため接近する物体を見落としてしまうときなど、事故が少なからず発生する。このため、これらの要因による事故を低減するため、見通しの悪いカーブ又は交差路に接近し、衝突の恐れがある物体の存在を運転者に対して認識し易くする装置又はシステムが求められている。

例えば、複数の監視地点に設置された撮像装置で、各監視地点の交通状況を撮像し、撮像して得られた画像情報を情報センタへ送信する。情報センタは、路上ビーコン装置を介して画像情報を車両の車載装置へ伝送する。車載装置では、運転者が表示すべき画像を任意に選択して、確認したい交差点又は道路の状況を確認することができる交通情報提供システムが提案されている（特許文献１参照）。

また、優先道路及び非優先道路からなる交差点において、優先道路を撮影するカメラを設置し、非優先道路において交差点へ進入する車両へ映像情報を提供するための投受光器を設置する。カメラで撮影した映像を投受光器から映像情報として車両の車載装置へ送信し、車載装置にて受信された映像情報を表示部で表示することにより、見通しの悪い交差点における車両対車両、車両対自転車、車両対人などの車両事故を防止し、交通の利便を図ることができる車両事故防止システムが提案されている（特許文献２参照）。

また、交差点に設置される路側装置、及び車両に搭載される車載装置を備え、路側装置は、交差点の周囲を撮影する撮影部、撮影された映像を符号化する符号化部、及び符号化された映像を車載装置に無線で送信する送信部を有し、車載装置は、路側装置から送信された映像を無線で受信する受信部、受信された映像を復号化する復号化部、及び復号化された映像を表示する表示部を有する。これにより、見通しが悪い交差点において、交差点に進入するより前から交差点の周囲の状況を車両の搭乗者が明確に把握することができる交通映像提示システムが提案されている（特許文献３参照）。
特開平９−１８００８７号公報 特開２００３−１０９１９９号公報 特開２００４−９４８６２号公報

しかしながら、特許文献１〜３のシステムにあっては、撮像装置で撮像した映像を車両の車載装置へ伝送するだけであり、映像上の移動物体が低コントラストである場合、移動物体の視認は困難なままである。また、映像上の移動物体を見落としてしまう虞もあり、車両の運転者に、交差点の死角より接近する車両、二輪車若しくは歩行者等、又は見通しの悪いカーブの前方より接近する車両、二輪車若しくは歩行者等を確実に認識することができるシステムが望まれていた。また、近年では、車両間通信を行い、ＧＰＳで取得した車両位置、進行方向、又は速度等を情報交換し、事故を回避するシステムも提案されているが、これを実現するためには、全ての車両に車両間通信を行うための通信装置を設ける必要があり、実用化は困難である。

本発明は、斯かる事情に鑑みてなされたものであり、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出し、算出した撮像画像の画素の動きベクトルの角度差が第１閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックに対応する移動体を強調表示するための表示情報を生成し、生成された表示情報を撮像画像に合成して出力する出力手段を備えることにより、交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、接近する移動体を従来よりも容易かつ確実に判定するとともに、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる移動体判定システム、移動体判定方法、該移動体判定方法をコンピュータで実現するためのコンピュータプログラムを提供することを目的とする。

また、本発明の他の目的は、前記連結ブロックの動きベクトルの方向と移動体が撮像装置に接近する方向に対応する撮像画像上の接近方向との角度差を算出する算出手段を備え、算出された角度差が第２閾値以下である場合、表示情報を生成することにより、衝突の可能性のある移動体のみの視認性を高めることができる移動体判定システムを提供することにある。

また、本発明の他の目的は、送信方向に指向性を有する送信手段、及び前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、判定された方向に移動する車載装置へ送信することにより、衝突の可能性のある移動体を確実に判定することができる移動体判定システムを提供することにある。

また、本発明の他の目的は、一の道路に設置された送信手段、及び前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、前記一の道路を判定された方向に移動する車載装置へ送信することにより、衝突の可能性のある移動体を確実に判定することができる移動体判定システムを提供することにある。

また、本発明の他の目的は、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて第１の動きベクトルを算出し、算出された第１の動きベクトルに対応して移動して得られた新たな撮像画像及び撮像時点が異なる他の撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第２の動きベクトルを算出し、算出された第１及び第２の動きベクトルを合成することにより、移動体の動きの大小に拘わらず、精度良く移動体の存在を判定することができる移動体判定システムを提供することにある。

また、本発明の他の目的は、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる移動体判定システムを提供することにある。

また、本発明の他の目的は、前記画素ブロック又は局所領域を横長の矩形状にすることにより、移動体の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く移動体の存在を判定することができる移動体判定システムを提供することにある。

また、本発明の他の目的は、撮像画像の画素の動きベクトルを取得する手段を備えることにより、多地点又は遠隔地点における移動体の存在を集中的に判定することができる移動体判定システムを提供することにある。

第１発明に係る移動体判定システムは、道路を含む領域を撮像する撮像装置と、該撮像装置で撮像して得られた撮像画像に基づいて、移動体の存在を判定する移動体判定装置とを備える移動体判定システムにおいて、前記移動体判定装置は、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と、前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差が第１閾値以下である画素を連結してなる連結ブロックを特定するとともに、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定する特定手段と、特定された連結ブロックに基づいて、移動体の存在を判定する手段と、判定された移動体を強調表示するための表示情報を生成する生成手段と、生成された表示情報を撮像画像に合成して出力する出力手段とを備えることを特徴とする。

第２発明に係る移動体判定システムは、第１発明において、移動体が前記撮像装置に接近する方向に対応する撮像画像上の接近方向を記憶する記憶手段と、前記連結ブロックの動きベクトルの方向と前記接近方向との角度差を算出する算出手段とを備え、前記生成手段は、前記算出手段で算出された角度差が第２閾値以下である場合、表示情報を生成すべくなしてあることを特徴とする。

第３発明に係る移動体判定システムは、第２発明において、送信方向に指向性を有する送信手段と、前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段とを備え、前記送信手段は、表示情報を合成した撮像画像を、前記判定手段で判定された方向に移動する車載装置へ送信すべくなしてあることを特徴とする。

第４発明に係る移動体判定システムは、第２発明において、一の道路に設置された送信手段と、前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段とを備え、前記送信手段は、表示情報を合成した撮像画像を、前記一の道路を前記判定手段で判定された方向に移動する車載装置へ送信すべくなしてあることを特徴とする。

第５発明に係る移動体判定システムは、第１発明乃至第４発明のいずれかにおいて、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する手段と、該手段で算出された第１の動きベクトルに応じて前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第２の動きベクトルを算出する手段とを備え、両手段で算出された第１及び第２の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする。

第６発明に係る移動体判定システムは、第５発明において、前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする。

第７発明に係る移動体判定システムは、第５発明又は第６発明において、前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする。

第８発明に係る移動体判定システムは、第１発明乃至第４発明のいずれかにおいて、撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする。

第９発明に係る移動体判定方法は、撮像して得られた撮像画像に基づいて移動体の存在を判定する移動体判定方法において、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出し、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出し、前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差が第１閾値以下である画素を連結してなる連結ブロックを特定するとともに、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックに基づいて、移動体の存在を判定し、判定された移動体を強調表示するための表示情報を生成し、生成された表示情報を撮像画像に合成して出力することを特徴とする。

第１０発明に係るコンピュータプログラムは、コンピュータに、撮像して得られた撮像画像に基づいて、移動体の存在を判定させるためのコンピュータプログラムにおいて、コンピュータを、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と、前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差を算出する手段と、該手段で算出された角度差が第１閾値以下であるか否かを判定する手段と、前記勾配法に基づいて算出された角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定するとともに、前記ブロックマッチング法に基づいて算出された角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定する特定手段と、特定された連結ブロックに基づいて、移動体の存在を判定する手段と、判定された移動体を強調表示するための表示情報を生成する手段と、生成された表示情報を撮像画像に合成する手段として機能させることを特徴とする。

第１発明、第９発明、及び第１０発明にあっては、撮像画像の遠距離に対応する領域では、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きが小さく、例えば、１画素未満の微小な動きであっても動きベクトルを算出する。一方、撮像画像の近距離に対応する領域では、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きがより大きい動きベクトルを算出する。算出した撮像画像の画素毎の動きベクトルの角度差が第１閾値以下である画素を連結した連結ブロックを特定する。これにより、位置変化がない道路上の影、路面標記などを排除して、道路を走行する移動体を特定する。なお、連結ブロックを特定する場合、動きベクトルの角度差が第１閾値以下であり、かつ隣接した画素を連結することもできる。特定された連結ブロックに基づいて、移動体の存在を判定し、生成手段は、判定された移動体を強調表示するための表示情報を生成する。表示情報としては、例えば、連結ブロックを囲む矩形状の枠を点滅させる場合、枠の色を所定の周期で変更する場合、枠の大きさを所定の周期で変更する場合などである。出力手段は、表示情報が合成された撮像画像を出力する。これにより、移動体の存在が判定された場合、判定された移動体を強調表示させる。

第２発明にあっては、算出手段は、特定された連結ブロックの動きベクトルの方向と移動体が撮像装置に接近する方向に対応する撮像画像上の接近方向との角度差を算出する。前記生成手段は、算出された角度差が第２閾値以下である場合、表示情報を生成する。これにより、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動する場合、該移動体を強調表示する。また、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動しない場合、強調表示をしない。

第３発明にあっては、判定手段は、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動する場合、前記移動体に対して衝突可能な道路上の方向を判定する。送信方向に指向性を有する送信手段は、表示情報が合成された撮像画像を、判定された方向に移動する車載装置へ送信する。これにより、接近方向に移動する移動体に衝突する可能性のある（車載装置が搭載された）車両に対して、表示情報が合成された撮像画像を提供する。

第４発明にあっては、判定手段は、特定された連結ブロックに対応する移動体が、予め定められた接近方向に移動する場合、前記移動体に対して衝突可能な道路上の方向を判定する。一の道路に設置された送信手段は、表示情報が合成された撮像画像を、前記一の道路を判定された方向に移動する車載装置へ送信する。これにより、接近方向に移動する移動体に衝突する可能性のある（車載装置が搭載された）車両に対して、表示情報が合成された撮像画像を提供する。

第５発明にあっては、撮像時点の異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロック（例えば、注目画素とその周辺の画素で構成される）を用いたブロックマッチング法に基づいて、画素ブロックの撮像画像での位置変化を求め、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する。算出された第１の動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、局所領域でのオプティカルフローが一定という拘束条件のもと、前記新たな撮像画像の画素の第２の動きベクトルを算出し、ブロックマッチング法及び勾配法により算出された第１及び第２の動きベクトルを合成して動きベクトルを算出する。

第６発明にあっては、撮像画像の遠距離に対応する領域（すなわち、撮像画像において車両までの距離が遠い領域）では、前記画素ブロック又は局所領域の大きさを小さくし、撮像画像の近距離に対応する領域（すなわち、撮像画像において車両までの距離が近い領域）では、前記画素ブロック又は局所領域の大きさを大きくする。これにより、前記画素ブロック又は局所領域の大きさを撮像画像での移動体の大きさに近づける。

第７発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にする。これにより、連結ブロック内の動きベクトルを算出する場合に、前記画素ブロック又は局所領域の縦方向に応じて変動する移動体部分の路面からの高さ、又は移動体部分までの距離の影響を少なくしつつ、所要の画素ブロック又は局所領域の大きさを確保する。

第８発明にあっては、予め算出された動きベクトルを取得する。

第１発明、第９発明、及び第１０発明にあっては、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出し、算出された撮像画像の画素の動きベクトルの角度差が第１閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックに基づいて、移動体の存在を判定し、判定された移動体を強調表示するための表示情報を生成し、生成された表示情報を撮像画像に合成して出力する出力手段を備えることにより、交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、低コントラストな移動体であっても精度良く判定することができるとともに、判定した移動体を強調表示させることにより、移動体の見落としなどを低減させることができ、移動体を確実に判定することができる。また、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる。

第２発明にあっては、前記連結ブロックの動きベクトルの方向と移動体が撮像装置に接近する方向に対応する撮像画像上の接近方向との角度差を算出する算出手段を備え、算出された角度差が第２閾値以下である場合、表示情報を生成することにより、接近する移動体のみを強調表示して見落としを低減することができるとともに、離れていくような衝突する恐れのない移動体は、強調表示しないことにより、無用な警告を抑えることができ、衝突の可能性のある移動体のみの視認性を高めることができる。

第３発明にあっては、送信方向に指向性を有する送信手段、及び撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、判定された方向に移動する車載装置へ送信することにより、例えば、死角のある交差路又は見通しの悪いカーブなどに設置された凸面鏡の像を視認できる位置に接近するまでに、接近する移動体の有無を判定することができ、衝突の可能性のある移動体を確実に判定して、より安全な危険回避が可能となる。

第４発明にあっては、一の道路に設置された送信手段、及び撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段を備え、表示情報が合成された撮像画像を、前記一の道路を判定された方向に移動する車載装置へ送信することにより、例えば、死角のある交差路又は見通しの悪いカーブなどに設置された凸面鏡の像を視認できる位置に接近するまでに、接近する移動体の有無を判定することができ、衝突の可能性のある移動体を確実に判定して、より安全な危険回避が可能となる。

第５発明にあっては、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像の画素ブロックを用いたブロックマッチング法に基づいて第１の動きベクトルを算出し、算出された第１の動きベクトルに対応して前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第２の動きベクトルを算出し、算出した第１及び第２の動きベクトルを合成して動きベクトルとすることにより、移動体の動きが大きい場合でも、微小な動きである場合でも、精度良く移動体の存在を判定することができる。

第６発明にあっては、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、移動体までの距離にかかわらず広範囲に亘って、精度良く移動体の存在を判定することができる。

第７発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にすることにより、移動体の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く移動体の存在を判定することができる。

第８発明にあっては、撮像画像の画素の動きベクトルを取得する手段を備えることにより、死角のある交差点又は見通しの悪いカーブなどが遠隔地点にある場合、又は多くの地点にある場合であっても、それらの地点における移動体の存在を集中的に判定することができる。また、ビデオカメラの画角等の調整やビデオカメラの保守も集中的に対応できる。このため、システム全体のコスト低減を実現できる。

実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る移動体判定システムの概要を示す模式図である。図において、移動体判定システムは、ビデオカメラ１、移動体判定装置２、無線発信装置３などを備えている。ビデオカメラ１は、交差点近傍に設置された凸面鏡４の鏡面内、下部、側面などに設置され、道路を含む領域を撮像する。図に示すように、交差点Ｅは、例えば、道路Ａ、Ｂ、Ｃ、Ｄが交わっているものとする。ビデオカメラ１の光軸は、例えば、道路Ａ、及びＢの交差点Ｅから約５０ｍの範囲（移動体判定範囲）に存在する移動体（車両、二輪車、歩行者等）を撮像するように道路方向に沿って配置してある。なお、凸面鏡４が設置されていない場合でも、ビデオカメラ１は、所要の移動体判定範囲を撮像できるように設置することができる。

ビデオカメラ１には、移動体判定装置２を接続してある。移動体判定装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して移動体の存在を判定するとともに、判定した移動体に強調表示を付した撮像画像を出力する。移動体判定装置２には、無線発信装置３を接続してある。無線発信装置３は、電波の送信方向に指向性を有しており、例えば、交差点Ｅに交わる道路Ｃの交差点Ｅから約５０ｍ程度の範囲にある車両に対して、情報を伝送することができる。

図２は移動体判定装置２の構成を示すブロック図である。図において、１はビデオカメラである。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ２３へ記憶する。ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ２３に記憶する。

補助記憶部２７は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。移動体判定装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述する動きベクトル算出処理、移動体判定処理などを実現する。なお、ＣＰＵ２８は、移動体が移動体判定範囲に存在する間、所定の処理を繰り返すことができる。

画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。

記憶部２６は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた動きベクトルの算出結果、移動体の判定処理結果を各フレームに対応して記憶している。また、記憶部２６は、移動体が交差点Ｅに接近する方向を撮像画像上で特定するための接近方向を記憶している。

通信部２５は、移動体判定装置２で判定した移動体に関する情報、より具体的には、移動体を強調表示する表示情報を合成した撮像画像に関する情報を、無線発信装置３へ出力する。なお、撮像画像を無線発信装置３へ出力する際に、撮像画像を圧縮して出力することもできる。

無線発信装置３は、電波の送信方向に所定の指向性を有しており、移動体判定装置２から出力された撮像画像に関する情報をアンテナを介して車両の車載装置（不図示）へ伝送する。

図３は撮像画像の一例を示す説明図である。図に示すように、移動体判定装置２は、例えば、道路Ｃから交差点Ｅに向かって走行する車両の運転者又は搭乗者から死角となる道路Ａ、Ｂの交差点Ｅから約５０ｍの範囲を走行する移動体をビデオカメラ１で撮像して得られた撮像画像に基づいて、移動体の存在を判定する。

図４は画素の動きベクトルを示す説明図である。図（ａ）（ｂ）に示すように、撮像時点ｔ_kの撮像画像における画素Ｐ_jの座標が（ｘ_k、ｙ_k）、撮像時点ｔ_k+1の撮像画像における画素Ｐ_jの座標が（ｘ_k+1、ｙ_k+1）である場合、動きベクトルＰＶ_jは、（ｘ_k+1−ｘ_k、ｙ_k+1−ｙ_k）となる。異なる撮像時点の時間間隔は、１フレーム間隔でもよく、また、数フレーム間隔であってもよい。なお、上述の画素は、複数の画素で構成される画素ブロックであってもよい。この場合は、画素ブロック毎に動きベクトルが決定される。

図５は移動体判定装置２の動きベクトルの算出例を示す説明図である。動きベクトルの算出方法は、ブロックマッチング法と勾配法とがある。本発明においては、ブロックマッチング法及び勾配法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。

まず、ブロックマッチング法について説明する。ブロックマッチング法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。ブロックマッチング法は、時刻ｔの撮像画像において、注目画素Ｐ１を中心とする横長の矩形領域をテンプレートとして登録し、時刻ｔ＋１の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素位置Ｐ２を検出するものである。

相関値は、数１の式（１）で表される。

ここで、矩形領域のサイズをＵｘＷ（Ｕ、Ｗは整数）、時刻ｔにおける撮像画像の座標（ｘ、ｙ）の画素の輝度値をＩ（ｘ、ｙ、ｔ）、−Ｗ／２≦ｉ≦Ｗ／２、−Ｕ／２≦ｊ≦Ｕ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、数２の式（２）は矩形領域内の平均輝度値である。

上述の通り、ブロックマッチング法は、横長の矩形領域（画素ブロック）の大きさを適宜変更することにより、動き量が大きい場合の動きベクトルを算出することができる。

次に、勾配法について説明する。勾配法は、動画像の各フレームのオプティカルフロー（動きベクトルの場）を求める方法として、各画素における輝度（明るさ）の空間的勾配と時間的勾配の関係を用いるものである。すなわち、勾配法は、撮像画像の輝度分布が動きに際して不変に保たれると仮定した勾配拘束式（すなわち、輝度の空間的勾配と時間的勾配の関係式）に基づいて、オプティカルフローを求める方法である。勾配法のうち、空間的局所最適化法は、特に計算量が少なく精度良好な方法であり、以下に説明する。

勾配法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。時刻ｔにおける撮像画像の座標（ｘ、ｙ）の画素の輝度をＩ（ｘ、ｙ、ｔ）とする。時刻ｔ＋１（時刻ｔに対してδｔだけ時間が経過したとする）において、座標（ｘ、ｙ）の画素が座標（ｘ＋δｘ、ｙ＋δｙ）に移動したとする。ここで、輝度は変化しないと仮定すると、Ｉ（ｘ、ｙ、ｔ）＝Ｉ（ｘ＋δｘ、ｙ＋δｙ、ｔ＋δｔ）の関係式が成立する。

上式の右辺をテイラー展開すると、数３の式（３）が得られる。

ε（ｘ、ｙ、ｔ）は、２次以上の高次の項であり、微小であるためこれを無視するとともに、数３の式（３）の両辺をδｔで割り、δｔを０に近づけると、数４の式（４）を得る。この式は、オプティカルフローの勾配拘束式と呼ばれる。

ここで、輝度勾配をＩｘ＝∂Ｉ／∂ｘ、Ｉｙ＝∂Ｉ／∂ｙ、時間勾配をＩｔ＝∂Ｉ／∂ｔとし、オプティカルフローをｕ＝δｘ／δｔ、ｖ＝δｙ／δｔとする。

所要の横長の局所領域（Ｍ×Ｎ）（Ｍ、Ｎは整数）でオプティカルフローが一定であるという拘束条件を付加すると、前記局所領域で得られるオプティカルフローは、同一の解を持つと仮定するので、誤差Ｅは数５の式（５）で表される。ここで、−Ｍ／２≦ｉ≦Ｍ／２、−Ｎ／２≦ｊ≦Ｎ／２（ｉ、ｊは整数）は前記局所領域内の座標である。

最小２乗法の考え方から、∂Ｅ／∂ｕ＝０、∂Ｅ／∂ｖ＝０を算出し、前記局所領域内で重み付け平滑化すると、数６の（６）式及び（７）式を得る。ここでｗ_i,jは重み付けマトリクスであり、前記局所領域の中央部ほど重み付けが大きくなるような分布を持つマトリクスを使用することができる。

数６の式（６）、（７）を解くことにより、オプティカルフロー（ｕ、ｖ）、すなわち、動きベクトルが数７の（８）式、（９）式、及び（１０）式のように得られる。

上述の通り、勾配法は、ブロックマッチング法のように画素ブロックを用いる必要がないため、１画素未満の微小な動きベクトルであっても算出することができる。

図５に示すように、本発明に係る移動体判定装置２の動きベクトルの算出法は、まずブロックマッチング法により、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いて前記第１の撮像時点における撮像画像の画素の大きな動きベクトル（第１の動きベクトル）を算出する。算出した動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法により動きベクトル（第２の動きベクトル）を算出し、夫々の方法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。これにより、ブロックマッチング法により、大きな動きベクトルを算出するとともに、ブロックマッチング法では、算出することができない１画素未満の微小な動きベクトルも算出し、両者の動きベクトルを合成することにより、精度良く動きベクトルを求めることが可能になる。

次に、本発明に係る移動体判定装置２の処理手順について説明する。図６は移動体判定装置２の動きベクトル算出の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔのフレームｆ_t、撮像時点ｔ＋１のフレームｆ_t+1）を画像メモリ２３から取得する（Ｓ１０）。

ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、７×１５画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ１１）。２つの撮像画像間で一致する画素ブロックを特定する場合、上述した相関値を用いることができる。

ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、ブロックマッチング法による各画素の動きベクトルを算出する（Ｓ１２）。なお、座標変化が無い場合は、動きベクトルはゼロである。

ＣＰＵ２８は、撮像時点ｔにおける撮像画像の画素毎に算出した動きベクトルに応じて、各画素を動きベクトル分（大きさ及び方向）だけ移動させた撮像画像を生成する（Ｓ１３）。

ＣＰＵ２８は、生成した撮像画像及び撮像時点ｔ＋１における撮像画像に対して、勾配法により動きベクトルを算出し（Ｓ１４）、ブロックマッチング法により算出した動きベクトルと勾配法により算出した動きベクトルを合成して最終的な動きベクトルを算出する（Ｓ１５）。

ＣＰＵ２８は、算出された動きベクトルの角度差を算出し（Ｓ１６）、算出した角度差が第１閾値以下であるか否かを判定し（Ｓ１７）、算出された角度差が第１閾値以下である場合（Ｓ１７でＹＥＳ）、すべての動きベクトルについて処理したか否かを判定し（Ｓ１８）、すべての動きベクトルについて処理した場合（Ｓ１８でＹＥＳ）、角度差が第１閾値以下である画素であって、隣接する画素を連結した連結ブロックを特定する（Ｓ１９）。

一方、算出された角度差が第１閾値以下でない場合（Ｓ１７でＮＯ）、又はすべての動きベクトルについて処理していない場合（Ｓ１８でＮＯ）、ＣＰＵ２８は、ステップＳ１６以降の処理を続ける。

これにより、動きベクトルの方向が異なる画素は、ノイズとして除去する。また、連結ブロックは移動体に対応する。なお、連結ブロックを特定する場合に、連結ブロックを構成する画素の数が、予め定めた閾値より小さい場合は、ノイズとして除去することもできる。

ＣＰＵ２８は、動きベクトルの算出処理の終了要求を受け付けたか否かを判定し（Ｓ２０）、処理終了でない場合（Ｓ２０でＮＯ）には、ステップＳ１０以降の処理を続ける。処理終了である場合（Ｓ２０でＹＥＳ）、ＣＰＵ２８は、処理を終了する。

図７は移動体判定装置２の移動体判定の処理手順を示すフローチャートである。ＣＰＵ２８は、連結ブロック内の画素の動きベクトルを検索する（Ｓ３０）。ＣＰＵ２８は、検索した動きベクトル方向の平均値を算出する（Ｓ３１）。ＣＰＵ２８は、算出した平均値を連結ブロックの移動方向として特定し（Ｓ３２）、特定した移動方向と予め定めた接近方向との角度差を算出する（Ｓ３３）。この場合、接近方向は、道路Ａ、Ｂを移動する移動体が交差点Ｅ（すなわち、移動体判定装置２）に接近する方向をいう。

ＣＰＵ２８は、算出した角度差が第２閾値以下であるか否かを判定する（Ｓ３４）。算出した角度差が第２閾値以下である場合（Ｓ３４でＹＥＳ）、ＣＰＵ２８は、表示情報を生成し（Ｓ３５）、生成した表示情報を撮像画像に合成する（Ｓ３６）。これにより、撮像画像上の移動体であって接近方向に移動する移動体が存在すると判定された場合には、該移動体を強調表示する表示情報が付される。強調表示のための表示情報としては、例えば、撮像画像上の移動体を矩形状の枠で囲み、該枠を点滅させる（例えば、０．５秒ごと）、枠の色を所定の周期で変更する、枠の大きさを所定の周期で変更することができる。

ＣＰＵ２８は、１フレーム内のすべての連結ブロックについて処理を行ったか否かを判定し（Ｓ３７）、すべての連結ブロックの処理が終了した場合（Ｓ３７でＹＥＳ）、ＣＰＵ２８は、表示情報を合成した撮像画像を出力し（Ｓ３８）、処理を終了する。すべての連結ブロックの処理が終了していない場合（Ｓ３７でＮＯ）、ステップＳ３０以降の処理を続ける。一方、算出した角度差が第２閾値以下でない場合（Ｓ３４でＮＯ）、ＣＰＵ２８は、ステップＳ３７以降の処理を続ける。

上述の処理は、撮像画像１フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。

図８は連結ブロックの例を示す説明図である。図に示すように、撮像画像を所定の画素で分割し、各画素の動きベクトルを算出し、算出した動きベクトルの角度差が第１閾値以下である画素であって、隣接する画素のみを連結することにより、連結ブロックを特定する。動きベクトルの角度差が第１閾値以下の画素であっても、離隔している画素はノイズとして除去する。また、連結された画素の数が所定の閾値以下の場合も、ノイズとして除去することにより、連結ブロックにより移動体を精度良く判定することができる。なお、特定された連結ブロックの大きさ又は形状などに基づいて、車両、二輪車、歩行者などの移動体を区別することもできる。

図９は連結ブロックにより特定された移動体の例を示す説明図である。上述の通り、ビデオカメラ１は、交差点Ｅに交わる道路Ａ、Ｂを撮像するように配置してある。ある撮像時点における撮像画像の移動体は、連結ブロックにより特定される。

図１０は移動体判定装置２で算出される算出情報を示す説明図である。図１０（ａ）に示すように、１フレームの撮像画像は、例えば、４８０×６４０の画素Ｐ₁、Ｐ₂、…Ｐ_nに分割される。図１０（ｂ）に示すように、画素毎に算出された動きベクトルＰＶ₁、ＰＶ₂、…ＰＶ_nが記録される。動きが検出されなかった画素の動きベクトルはゼロである。図１０（ｃ）に示すように、１フレームの撮像画像毎に、判定された移動体のうち、接近する移動体（例えば、接近車両Ｖ１、Ｖ２、…）などを記録する。

図１１は表示情報が合成された撮像画像の例を示す説明図である。図に示すように、移動体判定装置２は、例えば、道路Ｃから交差点Ｅに向かって走行する車両の運転者又は搭乗者から死角となる道路Ａ、Ｂの交差点Ｅから約５０ｍの範囲を走行する移動体であって、交差点Ｅに接近する方向に移動する移動体に矩形状の枠を付した撮像画像を出力する。無線発信装置３を介してこの撮像画像を受け付けた車載装置は、車両に搭載された表示装置に表示する。

これにより、車両の運転者又は搭乗者は、交差点の死角から交差点に向かって接近してくる移動体の存在を従来よりも容易かつ確実に判定することができる。特に、動きベクトル検出技術を用いることにより、交差点の死角又は見通しの悪いカーブなど視認性が低い道路において、低コントラストな移動体であっても精度良く判定することができる。また、本発明に係る移動体判定システムは、撮像画像を受信して表示する装置を搭載しない車両の運転者又は搭乗者の安全性を低下させることなく、かつ撮像画像を受信して表示する装置を搭載した車両の運転者又は搭乗者には、事故回避情報を提供することができるため、社会全体として、確実に安全性の向上が見込まれる。

上述の実施の形態では、交差点Ｅに、道路Ａ、Ｂ、Ｃ、Ｄが交わるものであったが、交差点における道路形態は、これに限定されるものではなく、Ｔ字路のような場合など、一方の道路を走行する車両にとって死角となる曲がり角が存在するような場所にも、本発明を適用することができる。

実施の形態２
上述の実施の形態１においては、動きベクトルを算出する場合に、ブロックマッチング法及び勾配法で算出した動きベクトルを合成して最終的な動きベクトルを算出するものであったが、これに限定されるものではなく、例えば、移動体までの距離に応じてブロックマッチング法及び勾配法を使い分けることもできる。

図１２は撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。図に示すように、移動体までの距離が遠い場合、すなわち、撮像画像上の右側及び左側の領域においては、勾配法により動きベクトルを算出する。一方、移動体までの距離が近い場合、すなわち、撮像画像上の中央部の領域においては、ブロックマッチング法により動きベクトルを算出する。

移動体が交差点から遠距離にある場合、動きベクトルの大きさは比較的小さく、１画素未満の微小な動きベクトルも算出することができる勾配法が優れている。一方、移動体が近距離にある場合、動きベクトルは大きく変化するため、効率よく大きな動きベクトルを算出できるブロックマッチング法が優れている。なお、ブロックマッチング法及び勾配法での動きベクトル算出手順は、実施の形態１と同様であるので、説明は省略する。

実施の形態３
上述の実施の形態では、動きベクトルを算出するための画素ブロック（ブロックマッチング法の場合）、又は局所領域（勾配法の場合）は、横長の所定の大きさの矩形状であったが、これに限定されるものではなく、例えば、移動体までの距離に応じて大きさを変えることもできる。

図１３は画素ブロック又は局所領域の例を示す説明図である。図に示すように、移動体までの距離が遠い場合、すなわち、撮像画像上の右側及び左側の領域においては、横長の画素ブロック又は局所領域を小さくし（例えば、４×８）する。一方、移動体までの距離が近い場合、すなわち、撮像画像上の中央部の領域においては、横長の画素ブロック又は局所領域を大きく（例えば、８×１６）する。

移動体までの距離に応じて、撮像画像上での移動体の大きさも異なり、前記画素ブロック又は局所領域の大きさを、移動体（例えば、車両、二輪車、歩行者）の大きさの１／２〜１／１０程度の大きさになるようにすることで、移動体以外の路面上の不要な情報を除外するとともに、動きベクトル算出のための処理労力を低減しつつ、精度良く動きベクトルを算出することができる。

実施の形態４
上述の実施の形態では、ビデオカメラを交差点近傍に設置し、死角のある交差点に接近する移動体を判定するものであったが、ビデオカメラの設置場所は、これに限定されるものではなく、例えば、見通しの悪いカーブに接近してくる移動体を判定する場合にも、本発明を適用することができる。

図１４は実施の形態４の移動体判定システムの概要を示す模式図である。図において、移動体判定システムは、ビデオカメラ１、移動体判定装置２、無線発信装置３などを備えている。ビデオカメラ１は、見通しの悪いカーブのほぼ中間に設置され、道路を含む領域を撮像する。図に示すように、カーブは、例えば、ビデオカメラ１の設置場所を中央にして、その両側に道路Ｆ、Ｇが繋がっているものとする。ビデオカメラ１の光軸は、例えば、道路Ｆ、Ｇのビデオカメラ１の設置場所から約５０ｍの範囲（移動体判定範囲）に存在する移動体（車両、二輪車、歩行者等）を撮像するように道路方向に沿って配置してある。

ビデオカメラ１には、移動体判定装置２を接続してある。移動体判定装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して移動体の存在を判定するとともに、判定した移動体に強調表示を付した撮像画像を出力する。移動体判定装置２には、無線発信装置３を接続してある。無線発信装置３は、電波の送信方向に２方向の指向性を有しており、例えば、無線発信装置３から道路Ｆの約５０ｍ程度の範囲にある車両に対して、情報を伝送することができるとともに、無線発信装置３から道路Ｇの約５０ｍ程度の範囲にある車両に対して、情報を伝送することができ、いずれの方向に電波を発信するかを切り換えることができる。

移動体判定装置２の記憶部２６には、移動体が（移動体判定装置２に）接近する方向を撮像画像上で特定するための接近方向と、無線発信装置３の電波の発信方向とを対応させて記憶している。ＣＰＵ２８は、例えば、移動体が道路Ｇから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Ｆから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を道路Ｆの方向へ送信するように無線発信装置３を制御する。また、ＣＰＵ２８は、移動体が道路Ｆから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Ｇから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を道路Ｇの方向へ送信するように無線発信装置３を制御する。なお、その他の箇所は、実施の形態１〜３と同様であるので、説明は省略する。

無線発信装置３を介して、接近する移動体を強調表示する表示情報が合成された撮像画像を受け付けた車載装置は、車両に搭載された表示装置に表示する。これにより、車両の運転者又は搭乗者は、見通しの悪いカーブの前方から接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。

実施の形態５
上述の実施の形態４では、電波の発信方向に指向性を有する無線発信装置を用いる構成であったが、これに限定されるものではなく、例えば、ビデオカメラから離れた道路に無線発信装置を設置する場合にも、本発明を適用することができる。

図１５は実施の形態５の移動体判定システムの概要を示す模式図である。図において、移動体判定システムは、ビデオカメラ１、移動体判定装置２、無線発信装置３ａ、３ｂなどを備えている。ビデオカメラ１は、見通しの悪いカーブのほぼ中間に設置され、道路を含む領域を撮像する。図に示すように、カーブは、例えば、ビデオカメラ１の設置場所を中央にして、その両側に道路Ｆ、Ｇが繋がっているものとする。ビデオカメラ１の光軸は、例えば、道路Ｆ、Ｇのビデオカメラ１の設置場所から約５０ｍの範囲（移動体判定範囲）に存在する移動体（車両、二輪車、歩行者等）を撮像するように道路方向に沿って配置してある。

ビデオカメラ１には、移動体判定装置２を接続してある。移動体判定装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して移動体の存在を判定するとともに、判定した移動体に強調表示を付した撮像画像を出力する。移動体判定装置２には、通信線５を通じて無線発信装置３ａ、３ｂを接続してある。なお、移動体判定装置２と無線発進装置３ａ、３ｂとの間は、有線に限らず無線により接続される構成でもよい。図１５に示すように、無線発信装置３ａ、３ｂ夫々は、道路Ｆ、Ｇの斜線で示す領域内を走行する車両に対して情報を伝送することができる。無線発信装置３ａ、３ｂとしては、例えば、光ビーコン、電波ビーコンなどを用いることができる。

移動体判定装置２の記憶部２６には、移動体が（移動体判定装置２に）接近する方向を撮像画像上で特定するための接近方向と、無線発信装置３ａ、３ｂとを対応させて記憶している。ＣＰＵ２８は、例えば、移動体が道路Ｇから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Ｆから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を無線発信装置３ａから道路Ｆを走行する車両の車載装置へ送信するように制御する。また、ＣＰＵ２８は、移動体が道路Ｆから接近していると判定した場合、前記移動体に対して衝突可能な道路方向を道路Ｇから接近してくる方向と判定し、前記移動体のみを強調表示する表示情報を撮像画像に合成し、合成した撮像画像を無線発信装置３ｂから道路Ｇを走行する車両の車載装置へ送信するように制御する。なお、その他の箇所は、実施の形態１〜４と同様であるので、説明は省略する。

無線発信装置３ａ、３ｂを介して、接近する移動体を強調表示する表示情報が合成された撮像画像を受け付けた車載装置は、車両に搭載された表示装置に表示する。これにより、車両の運転者又は搭乗者は、見通しの悪いカーブの前方から接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。なお、上述の実施の形態５の構成は、交差点に交わる道路においても、同様に構成することができる。

上述の実施の形態５では、無線発信装置３ａ、３ｂをビデオカメラ１を挟んで、見通しの悪いカーブに１台設置する構成であったが、これに限定されるものではなく、無線発信装置３ａ、３ｂと車載装置との通信可能距離に応じて、カーブに沿って所要の離隔距離を設けて複数台設置することもできる。これにより、対向して走行してくる移動体を見通しの悪いカーブの十分手前から認識することが可能となる。

実施の形態６
上述の実施の形態１〜５では、ビデオカメラに使用するレンズは、標準レンズ又は広角レンズを用いる構成であったが、これに限定されるものではなく、より広い範囲で移動体の存在を判定するために魚眼レンズ（超広角レンズ）を用いることもできる。魚眼レンズを用いる場合、撮像画像に歪みが生じるため、動きベクトルを算出する前に、撮像画像を補正する必要がある。

図１６は魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。実空間（Ｘ、Ｙ、Ｚ）上の点Ｐの像が、入力角θで魚眼レンズ中心を通り、撮像面上（中心をｏとする）の点ｑ（ｕ、ｖ）に射影されたとする。標準レンズによる場合の射影点をｑ´（ｕ´、ｖ´）とすると、Ｆ：ｑ（ｕ、ｖ）→ｑ´（ｕ´、ｖ´）が補正画像への変換式となる。魚眼レンズの焦点距離をｆとすると、魚眼レンズが等距離射影方式である場合、ｒ＝ｆ・θの式が成立する。また、標準レンズの場合、入力角と出力角は等しいので、ｒ´＝ｆ・tanθの式も成立する。ｑ（ｕ、ｖ）、ｑ´（ｕ´、ｖ´）は、数８の式（１１）、（１２）で表される。これにより、θは、数８の式（１３）で表され、変換係数ａが数８の式（１４）で表される。上述の結果及びｑは直線ｏｑ´上にあることから、ｕ´＝ａ・ｕ、ｖ´＝ａ・ｖにより、魚眼レンズ画像から補正画像への変換を行うことができる。

図１７は魚眼レンズを用いた場合の表示情報が合成された撮像画像の例を示す説明図である。魚眼レンズを交差点付近に設置し、交差点に交わる４つの道路の交差点付近から約５０ｍ程度を撮像し、撮像して得られた魚眼レンズ画像を補正画像に変換する。これにより、交差点付近を鳥瞰した撮像画像を得ることができる。移動体判定装置２は、例えば、一の道路から交差点に向かって接近する移動体に矩形状の枠を付した撮像画像を出力する。また、移動体判定装置２は、他の道路を交差点から離れる方向に移動する移動体には矩形状の枠を付さないで撮像画像を出力する。これにより、車両の運転者又は搭乗者は、交差点の死角から交差点に向かって接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。

上述の例では、魚眼レンズを備えたビデオカメラを交差点付近に設置するものであったが、これに限定されることはなく、見通しの悪いカーブに設置することもできる。これにより、車両の運転者又は搭乗者は、見通しの悪いカーブの前方から接近してくる移動体の存在を従来よりも容易かつ確実に判定することができ、衝突事故を防止することができる。

実施の形態７
上述の実施の形態１〜６においては、ビデオカメラで撮像して得られた撮像画像から各画素ブロックの動きベクトルを算出する構成であったが、これに限定されるものではなく、ビデオカメラで撮像してＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像の形式に変換された映像データに含まれる各画素ブロックの動きベクトル情報を用いてもよい。例えば、複数の交差点近傍、見通しの悪いカーブに設置されたビデオカメラ１、１、…で撮像して得られた撮像画像に基づいて、予め動きベクトルを算出しておき、算出した動きベクトルを通信回線に接続された移動体判定装置で取得して、死角のある交差点又は見通しの悪いカーブなどが遠隔地点にある場合、又は多くの地点にある場合であっても、それらの地点における移動体の存在を集中的に判定することができる。

図１８は本発明の実施の形態７に係る移動体判定システムの概要を示す模式図である。図において、１は道路を含む領域を撮像するビデオカメラである。ビデオカメラ１は、複数の交差点近傍又は見通しの悪いカーブなどに設置され、ビデオカメラ１の光軸は、例えば、交差点付近から５０ｍの範囲にある道路、又はビデオカメラが設置された位置から約５０ｍの範囲のカーブに存在する移動体（車両、二輪車、歩行者等）を撮像するように道路方向に沿って配置してある。

ビデオカメラ１には、制御装置６を接続してあり、制御装置６には、無線発信装置３を接続してある。制御装置６は、ビデオカメラ１で撮像して得られた画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理するとともに、画像データに基づいて算出した動きベクトルを符号化処理し、符号化処理後のデータ及び動きベクトルを、通信回線７を介して接続された移動体判定装置２へ送信する。

ここで、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像とは、画像の中の動く部分だけを検出し保存するなどして映像データを圧縮しているものであって、この形式に変換する際に、画素の動きベクトルの算出が行われる。

制御装置６は、後述するように、移動体判定装置２から通信回線７を介して出力された撮像画像（移動体の存在が判定された場合、その移動体を強調表示する表示情報が合成された撮像画像）を、無線発信装置３を通じて、車両の車載装置へ送信する。これにより、死角のある交差点又は見通しの悪いカーブなどが遠隔地点にある場合、又は多くの地点にある場合であっても、それらの地点における移動体の存在を集中的に判定して、衝突事故を防止することができる。

移動体判定装置２は、画像入力部２１に代えて、通信部２５で制御装置６、６、…から送信された符号化処理後のデータを取得し、取得したデータ元の画像データを復元するとともに、動きベクトルなどを抽出する。移動体判定装置２は、抽出した動きベクトルに基づいて、連結ブロックを特定し、移動体の存在を判定するとともに、移動体の移動方向が予め定められた接近方向である場合、その移動体を強調表示した撮像画像を通信回線７を介して、夫々の制御装置６、６、…へ出力する。

図１９は制御装置６の構成を示すブロック図である。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部６１へ出力する。画像入力部６１は、取得した映像信号をＡ／Ｄ変換部６２へ出力し、Ａ／Ｄ変換部６２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ６８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ６３へ記憶する。ＣＰＵ６８は、画像入力部６１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ６３に記憶する。

ＣＰＵ６８は、画像メモリ６３に記憶した画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理し、符号化処理後のデータを通信部６５から移動体判定装置２へ送信する。ＣＰＵ６８は、符号化処理を行う際に画像データに基づいて動きベクトルを算出し、算出した動きベクトルを符号化処理する。

補助記憶部６７は、コンピュータプログラムＰＧを読み込み、ＣＰＵ６８は、読み込まれたコンピュータプログラムをＲＡＭ６４にロードし、ロードされたコンピュータプログラムＰＧを実行することにより、動きベクトル算出処理などを行う。なお、動きベクトル算出処理は、実施の形態１と同様であるので、説明は省略する。

図２０は実施の形態７における移動体判定装置２の処理手順を示すフローチャートである。ＣＰＵ２８は、制御装置６から送信された符号化画像データを受信する（Ｓ５０）。ＣＰＵ２８は、受信した符号化画像データから動きベクトルを抽出する（Ｓ５１）。

ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素であって、隣接する画素を連結した連結ブロックを特定する（Ｓ５２）。ＣＰＵ２８は、連結ブロック内の画素の動きベクトルを検索する（Ｓ５３）。ＣＰＵ２８は、検索した動きベクトル方向の平均値を算出する（Ｓ５４）。ＣＰＵ２８は、算出した平均値を連結ブロックの移動方向として特定し（Ｓ５５）、特定した移動方向と予め定めた接近方向との角度差を算出する（Ｓ５６）。

ＣＰＵ２８は、算出した角度差が第２閾値以下であるか否かを判定する（Ｓ５７）。算出した角度差が第２閾値以下である場合（Ｓ５７でＹＥＳ）、ＣＰＵ２８は、表示情報を生成し（Ｓ５８）、生成した表示情報を撮像画像に合成する（Ｓ５９）。これにより、撮像画像上の移動体であって接近方向に移動する移動体が存在すると判定された場合には、該移動体を強調表示する表示情報が付される。強調表示のための表示情報としては、例えば、撮像画像上の移動体を矩形状の枠で囲み、該枠を点滅させる、枠の色を所定の周期で変更する、枠の大きさを所定の周期で変更することができる。

ＣＰＵ２８は、１フレーム内のすべての連結ブロックについて処理を行ったか否かを判定し（Ｓ６０）、すべての連結ブロックの処理が終了した場合（Ｓ６０でＹＥＳ）、ＣＰＵ２８は、表示情報を合成した撮像画像を制御装置６へ出力し（Ｓ６１）、処理を終了する。すべての連結ブロックの処理が終了していない場合（Ｓ６０でＮＯ）、ステップＳ５３以降の処理を続ける。一方、算出した角度差が第２閾値以下でない場合（Ｓ５７でＮＯ）、ＣＰＵ２８は、ステップＳ６０以降の処理を続ける。

上述の処理は、撮像画像１フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。これにより、交差点の死角となっている道路、又は見通しの悪いカーブから接近してくる移動体の存在の判定を広範囲、かつ多地点・遠隔地点において安定的に実現することができる。

上述の実施の形態１〜３においては、交差点Ｅに交わる道路Ａ、Ｂから接近する移動体の存在を判定して、移動体を強調表示した撮像画像を、道路Ｃを走行する車両に送信する構成であったが、これに限定されるものではなく、指向性を有する無線発信装置３をさらに１台設けるか、又は２つの指向性を有する無線発信装置３を設けることにより、接近する移動体を強調表示した撮像画像を、道路Ｄを走行する車両に送信することもできる。さらに、道路Ｃ、Ｄを撮像するためのビデオカメラ１等を設けることにより、道路Ｃ、Ｄから接近する移動体の存在を判定することもできる。

上述の実施の形態において、夜間の衝突事故を安全に回避するため、赤外線ビデオカメラを用いることもできる。

上述の実施の形態１〜６においては、ビデオカメラ１と移動体判定装置２とは、別個の装置で構成されていたが、ビデオカメラ１と移動体判定装置２とを統合して、ひとつの装置として構成してもよい。

上述の実施の形態においては、撮像画像のすべての画素に対して動きベクトルを算出する構成であったが、複数の画素で構成されるブロック毎に動きベクトルを算出する構成であってもよい。

上述の実施の形態においては、ブロックマッチング法で動きベクトルを算出する場合に、数１の式で表される相関値を用いる構成であったが、これに限定されるものではなく、画素ブロック内画素の差分階調値の絶対値の和、画素の平均階調値の差の絶対値、画素の階調値の標準偏差の差の絶対値など、いずれの方法を用いてもよい。

上述の実施の形態において、異なる撮像時点の撮像画像を取得する場合、撮像時点の時間間隔は、道路の交通状況に応じて、適宜設定することができる。移動体が比較的高速で走行する道路の場合は、時間間隔を短くし、低速走行車両が多い道路では、時間間隔を長くすることができる。

上述の実施の形態においては、接近する移動体を強調表示した撮像画像を車両に搭載された表示装置に表示させる構成であったが、これに限定されるものではなく、ＨＵＤ（Head Up display）などを用いて、フロントガラスなどに撮像画像を表示させることもできる。

本発明に係る移動体判定システムの概要を示す模式図である。 移動体判定装置の構成を示すブロック図である。 撮像画像の一例を示す説明図である。 画素の動きベクトルを示す説明図である。 移動体判定装置の動きベクトルの算出例を示す説明図である。 移動体判定装置の動きベクトル算出の処理手順を示すフローチャートである。 移動体判定装置の移動体判定の処理手順を示すフローチャートである。 連結ブロックの例を示す説明図である。 連結ブロックにより特定された移動体の例を示す説明図である。 移動体判定装置で算出される算出情報を示す説明図である。 表示情報が合成された撮像画像の例を示す説明図である。 撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。 画素ブロック又は局所領域の例を示す説明図である。 実施の形態４の移動体判定システムの概要を示す模式図である。 実施の形態５の移動体判定システムの概要を示す模式図である。 魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。 魚眼レンズを用いた場合の表示情報が合成された撮像画像の例を示す説明図である。 本発明の実施の形態７に係る移動体判定システムの概要を示す模式図である。 制御装置の構成を示すブロック図である。 実施の形態７における移動体判定装置の処理手順を示すフローチャートである。

符号の説明

１ ビデオカメラ
２ 移動体判定装置
３、３ａ、３ｂ 無線発信装置
４ 凸面鏡
５ 通信線
６ 制御装置
７ 通信回線
２１、６１ 画像入力部
２２、６２ Ａ／Ｄ変換部
２３、６３ 画像メモリ
２４、６４ ＲＡＭ
２５、６５ 通信部
２６、６６ 記憶部
２７、６７ 補助記憶部
２８、６８ ＣＰＵ
２９ ＣＤ−ＲＯＭ

Claims (10)

1. 道路を含む領域を撮像する撮像装置と、該撮像装置で撮像して得られた撮像画像に基づいて、移動体の存在を判定する移動体判定装置とを備える移動体判定システムにおいて、
   前記移動体判定装置は、
   撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、
   撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と、
   前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差が第１閾値以下である画素を連結してなる連結ブロックを特定するとともに、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定する特定手段と、
   特定された連結ブロックに基づいて、移動体の存在を判定する手段と、
   判定された移動体を強調表示するための表示情報を生成する生成手段と、
   生成された表示情報を撮像画像に合成して出力する出力手段と
   を備えることを特徴とする移動体判定システム。
2. 移動体が前記撮像装置に接近する方向に対応する撮像画像上の接近方向を記憶する記憶手段と、
   前記連結ブロックの動きベクトルの方向と前記接近方向との角度差を算出する算出手段と
   を備え、
   前記生成手段は、
   前記算出手段で算出された角度差が第２閾値以下である場合、表示情報を生成すべくなしてあることを特徴とする請求項１に記載の移動体判定システム。
3. 送信方向に指向性を有する送信手段と、
   前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段と
   を備え、
   前記送信手段は、
   表示情報を合成した撮像画像を、前記判定手段で判定された方向に移動する車載装置へ送信すべくなしてあることを特徴とする請求項２に記載の移動体判定システム。
4. 一の道路に設置された送信手段と、
   前記撮像装置に接近する方向に移動する移動体に対して衝突可能な道路上の方向を判定する判定手段と
   を備え、
   前記送信手段は、
   表示情報を合成した撮像画像を、前記一の道路を前記判定手段で判定された方向に移動する車載装置へ送信すべくなしてあることを特徴とする請求項２に記載の移動体判定システム。
5. 撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する手段と、
   該手段で算出された第１の動きベクトルに応じて前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第２の動きベクトルを算出する手段と
   を備え、
   両手段で算出された第１及び第２の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする請求項１乃至請求項４のいずれかに記載の移動体判定システム。
6. 前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする請求項５に記載の移動体判定システム。
7. 前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする請求項５又は請求項６に記載の移動体判定システム。
8. 撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする請求項１乃至請求項４のいずれかに記載の移動体判定システム。
9. 撮像して得られた撮像画像に基づいて移動体の存在を判定する移動体判定方法において、
   撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出し、
   撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出し、
   前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差が第１閾値以下である画素を連結してなる連結ブロックを特定するとともに、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定し、
   特定された連結ブロックに基づいて、移動体の存在を判定し、
   判定された移動体を強調表示するための表示情報を生成し、
   生成された表示情報を撮像画像に合成して出力することを特徴とする移動体判定方法。
10. コンピュータに、撮像して得られた撮像画像に基づいて、移動体の存在を判定させるためのコンピュータプログラムにおいて、
    コンピュータを、
    撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、
    撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と、
    前記勾配法に基づいて算出された撮像画像の画素の動きベクトルの角度差、及び前記ブロックマッチング法に基づいて算出された撮像画像の画素の動きベクトルの角度差を算出する手段と、
    該手段で算出された角度差が第１閾値以下であるか否かを判定する手段と、
    前記勾配法に基づいて算出された角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定するとともに、前記ブロックマッチング法に基づいて算出された角度差が前記第１閾値以下である画素を連結してなる連結ブロックを特定する特定手段と、
    特定された連結ブロックに基づいて、移動体の存在を判定する手段と、
    判定された移動体を強調表示するための表示情報を生成する手段と、
    生成された表示情報を撮像画像に合成する手段と
    して機能させることを特徴とするコンピュータプログラム。

Images