JP3879874B2

JP3879874B2 - 物流計測装置

Info

Publication number: JP3879874B2
Application number: JP34025496A
Authority: JP
Inventors: 賀沢征二気
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-12-19
Filing date: 1996-12-19
Publication date: 2007-02-14
Anticipated expiration: 2016-12-19
Also published as: JPH10187974A

Description

【０００１】
【発明の属する技術分野】
本発明は、監視領域内における移動物体の監視において、監視画像内の観測面上を移動する物体の物流を計測する物流計測装置に関するものである。
【０００２】
【従来の技術】
画像処理によって観測平面上を移動する物体の物流を計測するものの例としては交通流計測装置があり、近年、画像処理によって車両の通過台数、速度、車種等の交通情報を計測する方法および装置が実用に供され始めている。
【０００３】
このような画像処理によって交通流計測を行うものの中で、車両の先頭位置を追跡していく技術の例として、特開平５−３１２８１８号公報記載のものがある。この従来技術は、単眼の画像処理によって車両の先頭位置を検出、追跡して速度を計測するものである。
【０００４】
この従来技術では、図７に示すように、まず、画像の濃度変化率が所定値以上であるエッジ部の画素を輪郭画素として抽出し、この輪郭画素を車両の進行方向と交差する方向に走査し、走査線上に存在する輪郭画素を計数して輪郭プロファイル２７を作成する。そして、輪郭プロファイル中の輪郭画素数が閾値Ａを超え始める位置に車両先頭位置２８があると判定する。
【０００５】
車両の先頭位置が検出されると、一定時間間隔をおいて撮像された次の画像から輪郭プロファイルを作成し、車両先頭位置を検出する。そして、得られた先頭位置の近傍におけるどちらか一方の輪郭プロファイルの一部である部分プロファイルを抽出し、抽出された部分プロファイルと他方の輪郭プロファイルとのパターンマッチングを行い、最も良くマッチングする部分を求め、このシフト量から車両の移動距離を算出する。そして、移動距離を時間間隔で除することで速度を計測する。
【０００６】
また、この従来技術では、一定時間間隔後の画像から車両の先頭位置を検出できなかった場合は、車両の追跡を行わず、再び初めから操作を行うようになっている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、次の画像を撮像するまでの間隔に環境変動等に起因する画像の輝度レベル変動があった場合、輪郭プロファイルが変化するため、車両移動距離算出のためのマッチング処理において誤差が大きくなり、正確な車両の追跡ができず速度算出の精度が低下するというという問題があった。
【０００８】
また、上記従来技術は、画像の濃度変化によって車両の先頭位置を検出しているため、影やヘッドライトの路面反射等の影響により、先頭位置が大きな誤差を含んで速度を正しく算出できなかったり、夜間など車両と背景のコントラストが小さい場合には、先頭位置を検出できず速度を算出できないという問題があった。
【０００９】
本発明は、上記従来の問題を解決し、環境変動等に起因する画像中の輝度レベル変動があった場合でも、正確に車両などの物体の先頭位置を追跡し、精度良く移動速度を算出することのできる物流計測装置を提供することを第１の目的とする。
【００１０】
また、車両などの物体位置の検出精度を向上させ、検出できない場合でも、物体の追跡を継続して種々の物体情報を安定して計測することのできる物流計測装置を提供することを第２の目的とする。
【００１１】
【課題を解決するための手段】
上記第１の目的を達成するために、本発明の物流計測装置は、以下のような構成を備えている。まず、複数の撮像手段により撮像された画像を用いて、距離計測手段により撮像面から撮像されている物体までの距離を計測する。次に、座標変換手段により３次元情報の座標変換を行い、投影手段で物体の投影像を作成した後、物体検出手段ではこの投影像から物体の先頭位置または後端位置を検出する。さらに、移動位置算出手段では、過去の画像中の物体先頭位置または後端位置の近傍における物体投影像と、現在の画像中の物体先頭位置の近傍における物体投影像との間で相関を演算し、この結果に基づいて物体の移動位置を算出する。そして、物体通過判定手段が、物体が画像中の所定の場所を通過したかどうかを判定し、物体情報算出手段により各種物体情報を算出する。これにより、環境変動等に起因する画像の輝度レベル変動があった場合でも、正確に物体先頭位置または後端位置を追跡し精度良く速度を算出できる。
【００１２】
また、第２の目的を達成するために、本発明の物流計測装置は、上記構成における移動位置算出手段において、過去の画像中の物体先頭位置または後端位置の近傍における物体投影像と、現在の画像中の先頭位置または後端位置が存在する可能性のある範囲内の物体投影像との間で相関を演算し、この結果に基づいて物体の移動位置を算出する。これにより、物体位置の検出精度を向上させ、検出できない場合でも、追跡を継続して種々の物体情報を安定して計測することができる。
【００１３】
【発明の実施の形態】
本発明の請求項１に記載の発明は、観測面上の所定領域を撮像する撮像手段により撮像された画像を処理して一定方向に移動する物流を計測する物流計測装置において、複数の撮像手段と、前記撮像手段により撮像された複数の画像間の物体像のずれから、画像を水平方向および垂直方向に複数に分割してなる矩形領域毎に、前記撮像手段から物体までの距離を計測する距離計測手段と、前記距離情報を記憶するための距離記憶手段と、前記距離情報を観測面からの物体の高さ情報に座標変換する座標変換手段と、前記座標変換手段により算出された結果を、物体の進行方向と観測面の垂線方向とが成す平面に物体の投影像を物体投影像として投影する投影手段と、前記投影手段により投影された物体投影像を記憶するための投影像記憶手段と、前記物体投影像から、物体位置を検出する物体検出手段と、前記物体検出手段により検出された物体位置を記憶するための物体位置記憶手段と、前記物体位置記憶手段に記憶された過去の物体位置および前記投影像記憶手段に記憶された過去の物体投影像および前記投影像記憶手段に記憶された現在の物体投影像から、物体位置が移動した位置を算出する移動位置算出手段と、前記物体位置記憶手段に記憶された過去の物体位置と、前記移動位置算出手段によって算出された移動位置から物体が画像中の所定の場所を通過したかどうか判定する物体通過判定手段とを備えた物流計測装置であり、これにより、ステレオ画像処理によって物体や観測面の３次元データをセンシングするので、移動物体以外の輝度変化に影響されることなく、観測面上の物体の位置を精度良く検出することができる。
【００１４】
請求項２に記載の発明は、前記距離記憶手段は、前記距離情報を記録した時刻を前記距離情報と共に記録し、前記物体通過判定手段の判定結果から所定の場所を通過した物体の数を算出し、前記過去の物体位置と移動した位置から得られる観測面上の移動距離と前記時刻から物体の移動速度を算出し、前記物体投影像から物体の高さと長さを算出する物体情報算出手段をさらに備えたことを特徴とする請求項１記載の物流計測装置であり、これにより、撮像している道路上を走行する車両の台数、速度、車種などの交通情報を安定して計測することができる。
【００１５】
請求項３に記載の発明は、前記移動位置算出手段は、前記過去の物体位置の近傍における過去の物体投影像と、前記物体投影像との間で相関を演算し、物体の移動した位置を算出することを特徴とする請求項１記載の物流計測装置であり、これにより、ステレオ画像処理により得られた三次元情報を用いて物体を追跡するので、環境変動等に起因する画像中の輝度レベル変動の影響を受けずに正確に物体を追跡し、精度良く移動速度を算出することができる。
【００１６】
請求項４に記載の発明は、前記過去の物体位置の近傍は、前記物体位置が存在する可能性のある範囲内の物体投影像との間で相関を演算し、前記物体の移動した位置を算出することを特徴とする請求項１記載の物流計測装置であり、これにより、物体位置が検出できない場合でも追跡を継続できるので、種々の物体情報を安定して計測することができる。
【００１７】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なおここでは、観測面を道路面とし、物体を車両とし、空間内の特定領域を車線として交通流計測を行う場合について説明するが、本発明は交通流計測に限定されるものではない。
【００１８】
（実施の形態１）
図１は本発明の第１の実施の形態における画像処理式交通流計測装置である。図１において、１および２は複数の撮像手段、３は距離計測手段、４は距離情報記憶手段、５は座標変換手段、６は投影手段、７は投影像記憶手段、８は物体検出手段、９は物体位置記憶手段、１０は移動位置算出手段、１１は物体通過判定手段、１２は物体情報算出手段である。
【００１９】
次に、本実施の形態における動作について説明する。まず、所定の間隔で配置された撮像手段１と撮像手段２によって撮像された画像は、距離計測手段３に送られ、画像を水平方向および垂直方向に複数に分割してなる矩形領域毎に撮像されている物体までの距離情報が計測される。
【００２０】
以下、距離計測手段３における距離計測方法の一例として、実吉他著「三次元画像認識技術を用いた運転支援システム」、自動車技術会学術講演会前刷９２４、ｐｐ．１６９−１７２（１９９２−１０）に記載の方法について図２を用いて説明する。なお、本発明は以下に説明する距離情報計測方法に限定されるものではない。
【００２１】
撮像手段１と撮像手段２は、水平方向に所定の間隔で配置されており、撮像手段１により撮像された画像を左画像１３、撮像手段２により撮像された画像を右画像とする。まず、左画像１３を、水平方向（図２においてＸ軸方向）にｍ、垂直方向（図２においてＹ軸方向）にｎの合計（ｍ×ｎ）個の画素１４からなる矩形領域１５に分割する。これによって、左画像１３には水平方向にＭ、垂直方向にＮの合計（Ｍ×Ｎ）個の矩形領域１５ができる。
【００２２】
そして、上記画像の矩形領域毎に、右画像中を順次探索し、対応する領域を決定していく。具体的には、右画像の中で左画像１３の矩形領域１５の画像に類似する画像の存在する可能性のある探索範囲において、水平方向にｍ、垂直方向にｎの合計（ｍ×ｎ）個の画素からなる探索矩形領域を水平方向に１画素分移動させる毎に、左画像１３の矩形領域１５の画像と右画像の探索矩形領域の画像との類似度評価値Ｂを求める。
【００２３】
類似度評価値Ｂは、左画像１３の矩形領域１５中のｉ番目の画素における輝度をＬｉ、右画像の探索矩形領域中のｉ番目の画素における輝度をＲｉとしたとき、式（１）によって求めることができる。
【００２４】
【数１】

・・・（１）
【００２５】
その結果、類似度評価値Ｂが最小になったとき右画像における探索矩形領域の位置を画像１３の矩形領域１５に対応する領域（以下「対応領域」という）と判定して、左画像１３の矩形領域１５の座標Ｐと右画像の対応領域の座標ＰＲとのずれから視差ｄを式（２）によって求め、それを出力する。
ｄ＝Ｐ−ＰＲ・・・（２）
【００２６】
なお、左画像１３の矩形領域１５の画像と右画像の探索矩形領域の画像との類似度評価値Ｂを求めた上、左画像１３の矩形領域１５の座標Ｐと右画像の対応領域の座標ＰＲとのずれから視差ｄを求める動作は、左画像１３の全ての矩形領域１５に対して順次行う。
【００２７】
そして、距離計測手段３は、以上のような処理によって左画像１３の矩形領域１５毎に得られた視差ｄ（Ｘ、Ｙ）に基づいて、撮像手段から車両までの光軸方向の距離Ｋ（Ｘ、Ｙ）［但し、０＜Ｘ≦Ｍ、０＜Ｙ≦Ｎ］を、一般的に知られる式（３）によって求め、矩形領域１５毎の距離を計測する。ただし、２ａは撮像手段１の光軸と撮像手段２の光軸との間隔を表し、ｆは撮像手段１および撮像手段２のレンズの焦点距離を表す。
Ｋ（Ｘ、Ｙ）＝２ａｆ／ｄ（Ｘ、Ｙ）・・・（３）
【００２８】
さらに、距離計測手段３は、計測基準時刻ｔ０に撮像手段１および２により撮像された画像から計測した距離情報に対し、計測できた矩形領域１６の距離を用いて、最小二乗法等の方法で撮像された平面の位置を推定し、距離計測できなかった矩形領域１６の距離を補完した後、距離情報記憶手段４へ基準時刻における距離情報として出力する。
【００２９】
計測基準時刻ｔ０以降の計測時刻ｔ（ｔ＞ｔ０）に撮像手段１および２により撮像された画像から計測した距離情報は、そのまま座標変換手段５へ出力される。
【００３０】
座標変換手段５では、距離計測手段３により計測された距離情報と距離情報記憶手段４に記憶されている基準時刻における距離情報を用いて、撮像面と撮像面から物体までの距離という３次元情報を道路面と道路面からの物体の高さという３次元情報に変換する。
【００３１】
座標変換手段５の動作の一例を図３を用いて説明する。図３は、撮像面１６と撮像面１６から車両までの距離を表す３次元座標系（Ｘ，Ｙ，Ｋ）と、道路面１７と道路面１７からの車両の高さを表す３次元座標系（Ｕ，Ｖ，Ｈ）との位置関係を示したものである。
【００３２】
各矩形領域に撮像されている車両の高さＨの算出は、距離計測手段３により計測された各矩形領域までの距離をＫ（Ｘ、Ｙ）、基準時刻における各矩形領域までの距離をＫ０（Ｘ、Ｙ）とすると、式（４）により求めることができる。但し、Ｈｃはカメラの設置高を表す。
【００３３】
【数２】

・・・（４）
【００３４】
また、この矩形領域に撮像されている車両の進行方向の位置Ｖは、式（５）により求めることができる。但し、θはカメラの俯角を表す。
【００３５】
【数３】

・・・（５）
【００３６】
さらに、車両の横方向の位置Ｕは、Ｕ軸とＸ軸を平行に設置すれば、式（６）により求めることができる。但し、ａおよびｂは使用するカメラと設置する位置によって決定される。
Ｕ＝ａＸ＋ｂ・・・（６）
【００３７】
以上のように、式（４）から式（６）を用いることにより、撮像面１６と車両までの距離を表す３次元座標系（Ｘ，Ｙ，Ｋ）を道路面１７と車両の高さを表す３次元座標系（Ｕ，Ｖ，Ｈ）に変換することができる。
【００３８】
投影手段６では、画像中の各矩形領域１５に撮像されている車両がどの車線を走行しているかを判定し、座標変換手段５により算出された（Ｕ，Ｖ，Ｈ）座標系における車両情報を車両の進行方向と道路の垂線方向とが成す平面（Ｖ−Ｈ平面）に車線毎に投影し、車両の投影像を作成する。このようにして作成された車両の投影像の例を図４に示す。
【００３９】
投影手段６により作成された車両の投影像は、処理時間毎に投影像記憶手段７に記憶される。
【００４０】
物体検出手段８では、投影手段６により作成された投影像１８から車両の先頭位置１９または後端位置を検出する。ここで、撮像手段が車両を前方から撮像している場合には先頭位置を、後方から撮影している場合には後端位置を検出する。
【００４１】
車両の先頭位置１９または後端位置の検出方法の一例としては、投影像１８の高さが立ち上がる位置を先頭位置１９または後端位置とするという方法がある。
【００４２】
物体検出手段８により検出された車両の先頭位置１９または後端位置は処理時間毎に物体位置記憶手段９に記憶される。
【００４３】
移動位置算出手段１０は、物体位置記憶手段９に記憶されている過去の車両先頭位置あるいは後端位置が現在の投影像中のどの位置に移動したかを算出する。
【００４４】
移動位置算出手段１０の動作を図５を用いて説明する。ここでは、車両の先頭位置の移動位置算出について説明するが、後端位置の移動位置算出も同様に行うことができる。
【００４５】
投影像記憶手段７に記憶されている過去の車両の投影像２０をＨｏ（ｖ）、物体位置記憶手段９に記憶されている過去の車両先頭位置２１をＶｏ、投影手段６により作成された現在の車両の投影像２２をＨｎ（ｖ）、物体検出手段８によって検出された現在の車両先頭位置２３をＶｎとする。
【００４６】
過去の投影像Ｈｏ（ｖ）からｖ＝Ｖｏ近傍の投影像Ｈｐ（ｖ）を部分投影像２４として切り出し、現在の車両の投影像２２のｖ＝Ｖｎの近傍の投影像と比較し、相関を演算する。
【００４７】
相関の演算方法の一例として差分和を用いる方法を説明する。ただし、本発明は以下に説明する演算方法に限定されるものではない。
【００４８】
まず、部分投影像２４中の先頭位置２５の位置と現在の投影像２２の先頭位置２３を合わせて、差分和Ｓ（ｖ）を算出する。差分和Ｓ（ｖ）は式（７）により算出できる。ただし、Ｖｓは部分投影像のＶ軸方向の大きさである。
【００４９】
【数４】

・・・（７）
【００５０】
次に、部分投影像２４中の先頭位置２５の位置を前後に△ｖずつずらしながら差分和Ｓ（ｖ）を順次算出していく。この操作は、先頭位置のずれ量が予め定められた量Ｖｅを超えるまで行われる。そして、求めた差分和Ｓ（ｖ）が最も小さくなる位置を相関が最も高い位置とする。そして、相関が最も高い位置を真の車両の移動位置として決定する。
【００５１】
物体通過判定手段１１は、過去の車両先頭位置２１または後端位置と移動位置算出手段１０によって算出された移動位置を用いて、予め画像中に設定した所定の場所を車両が通過したかどうかを判定し、物体情報算出手段１２に出力する。
【００５２】
物体情報算出手段１２は、各種交通情報を算出する。車両の台数は、物体通過判定手段１１から車両通過の出力がある度に計数することにより行われる。また、車両の速度は、物体位置記憶手段９に記憶されている過去の車両先頭位置と車両の移動位置との距離差を算出し、各画像が撮像された時刻差で除することによって求められる。さらに、車両の高さと長さは、現在の車両投影像から求められる。
【００５３】
このように、本実施の形態１によれば、複数の撮像手段により撮像された画像から算出された三次元情報を用いて車両先頭位置を検出することで、三次元情報は影やヘッドライトの路面反射などの影響を受けることなく、昼夜を問わず安定して精度良く検出できるようになる。また、車両の投影像を用いて車両先頭位置または後端位置の移動位置を算出することで、環境変動に起因する画像中の輝度レベル変動の影響を受けることなく、正確に移動位置を算出することができ、速度の算出精度を向上させることができる。
【００５４】
なお、本実施の形態１では、交通流計測について説明したが、一定方向に移動する物体ならば同様の実施の形態で物流を計測することができる。
【００５５】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態２における物流計測装置の構成は、図１と同じであり、ここでは、その動作について図６を用いて説明する。なお、ここでは車両の先頭位置の移動位置算出について説明するが、後端位置の移動位置算出も同じようにして行うことができる。
【００５６】
投影像記憶手段７に記憶されている車両の過去の投影像２０をＨｏ（ｖ）、物体位置記憶手段９に記憶されている過去の先頭位置２１をＶｏ、投影手段６により作成された現在の車両の投影像２２をＨｎ（ｖ）とする。
【００５７】
ここで、車両の最高速度を与えれば、各画像が撮像された時刻差をかけることで車両先頭位置の最大移動量２６が算出できるので、過去の車両先頭位置から最大移動量前進した位置までの範囲内に車両先頭位置が移動していることになる。
【００５８】
そこで、過去の投影像２０からｖ＝Ｖｏ近傍の投影像を部分投影像２４として切り出し、現在の車両の投影像２２のうち前記の範囲内において投影像と比較し相関を算出する。相関の演算方法の一例として差分和を求める方法があり、実施の形態１と同様にして求めることができる。そして、相関が最も高い位置を車両の移動位置として決定する。
【００５９】
なお、車両先頭位置に含まれる誤差を考慮して、相関の算出は過去の先頭位置２１より１〜２［ｍ］後方の位置から行うとよい。
【００６０】
このように、本実施の形態２によれば、車両の先頭位置または後端位置が検出できない場合でも、検出車両の投影像を用いて車両先頭位置または後端位置の移動位置を算出することで、追跡を継続できるので、種々の交通情報を安定して計測することができるようになる。
【００６１】
なお、本実施の形態２では、交通流計測について説明したが、一定方向に移動する物体ならば同様の実施の形態で物流を計測することができる。
【００６２】
【発明の効果】
以上のように、本発明によれば、複数の撮像手段により撮像された画像から算出された三次元情報を用いて物体位置を検出することで、三次元情報は影やヘッドライトの路面反射などの影響を受けることなく、昼夜を問わず安定して精度良く検出できるようになる。また、物体の投影像を用いて物体先頭位置または後端位置の移動位置を算出することで、環境変動等に起因する画像中の輝度レベル変動の影響を受けることなく、正確に移動位置を算出することができ、移動速度の算出精度を向上させることができる。
【００６３】
さらに、物体の先頭位置または後端位置が検出できない場合でも、検出物体の投影像を用いて物体の先頭位置または後端位置の移動位置を算出することで、追跡を継続できるので、種々の物体情報を安定して計測することができるという効果を有する。また、空間内の特定領域中に複数の物体が存在する場合でも、それぞれ物体の位置が移動する可能性のある範囲で相関を算出し移動位置を決定することにより、物体を間違えることなく正確に追跡できるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理式物流計測装置の構成を示すブロック図
【図２】実施の形態１における画像中の矩形領域と画素の関係を示す模式図
【図３】実施の形態１における（Ｘ、Ｙ、Ｄ）座標系と（Ｕ、Ｖ、Ｈ）座標系の関係を示す模式図
【図４】実施の形態１における車両高の投影像と車両先頭位置を示す模式図
【図５】実施の形態１における過去の投影像と現在の投影像と部分投影像を示す模式図
【図６】本発明の実施の形態２における過去の投影像と現在の投影像と部分投影像を示す模式図
【図７】従来の技術における輪郭プロファイルを示す模式図
【符号の説明】
１、２撮像手段
３距離情報計測手段
４距離情報記憶手段
５座標変換手段
６投影手段
７投影像記憶手段
８物体検出手段
９物体位置記憶手段
１０移動位置算出手段
１１物体通過判定手段
１２物体情報算出手段
１３左画像
１４画素
１５矩形領域
１６撮像面
１７道路面
１８車両の投影像
１９車両の先頭位置
２０過去の投影像
２１過去の先頭位置
２２現在の投影像
２３現在の先頭位置
２４部分投影像

Claims

観測面上の所定領域を撮像する撮像手段により撮像された画像を処理して一定方向に移動する物流を計測する物流計測装置において、
複数の撮像手段と、
前記撮像手段により撮像された複数の画像間の物体像のずれから、画像を水平方向および垂直方向に複数に分割してなる矩形領域毎に、前記撮像手段から物体までの距離を計測する距離計測手段と、
前記距離情報を記憶するための距離記憶手段と、
前記距離情報を観測面からの物体の高さ情報に座標変換する座標変換手段と、
前記座標変換手段により算出された結果を、物体の進行方向と観測面の垂線方向とが成す平面に物体の投影像を物体投影像として投影する投影手段と、
前記投影手段により投影された物体投影像を記憶するための投影像記憶手段と、
前記物体投影像から、物体位置を検出する物体検出手段と、
前記物体検出手段により検出された物体位置を記憶するための物体位置記憶手段と、
前記物体位置記憶手段に記憶された過去の物体位置および前記投影像記憶手段に記憶された過去の物体投影像および前記投影像記憶手段に記憶された現在の物体投影像から、物体位置が移動した位置を算出する移動位置算出手段と、
前記物体位置記憶手段に記憶された過去の物体位置と、前記移動位置算出手段によって算出された移動位置から物体が画像中の所定の場所を通過したかどうか判定する物体通過判定手段とを備えた物流計測装置。
前記距離記憶手段は、前記距離情報を記録した時刻を前記距離情報と共に記録し、
前記物体通過判定手段の判定結果から所定の場所を通過した物体の数を算出し、前記過去の物体位置と移動した位置から得られる観測面上の移動距離と前記時刻から物体の移動速度を算出し、前記物体投影像から物体の高さと長さを算出する物体情報算出手段をさらに備えたことを特徴とする請求項１記載の物流計測装置。
前記移動位置算出手段は、前記過去の物体位置の近傍における過去の物体投影像と、前記物体投影像との間で相関を演算し、物体の移動した位置を算出することを特徴とする請求項１記載の物流計測装置。
前記過去の物体位置の近傍は、前記物体位置が存在する可能性のある範囲内の物体投影像との間で相関を演算し、前記物体の移動した位置を算出することを特徴とする請求項１記載の物流計測装置。