JP3923870B2

JP3923870B2 - Passing vehicle measuring device, passing vehicle measuring program, and passing vehicle measuring method

Info

Publication number: JP3923870B2
Application number: JP2002236374A
Authority: JP
Inventors: 高洋上床
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-08-14
Filing date: 2002-08-14
Publication date: 2007-06-06
Anticipated expiration: 2022-08-14
Also published as: JP2004078459A

Description

【０００１】
【発明の属する技術分野】
本発明は、道路を通過する車両台数等を計測する通過車両計測装置、通過車両計測プログラム、および通過車両計測方法に関するものである。
【０００２】
【従来の技術】
従来、道路上に設置したカメラに車両の画像を撮影して当該画像上で交通流監視や車両走行挙動解析などを行っている。
【０００３】
【発明が解決しようとする課題】
しかし、道路ではカメラの設置位置に制限があるため、走行車両の車両距離が短くなって当該カメラで撮像した画像上で重なって見えなくなり、特に大型車両の後ろに重なって見えなくなり、追跡が途絶するという問題があった。これに対して、車間距離特性や加速度などの車両の動きをモデル化し、次撮影時の車両の座標値を予測することによって、車両ごとの追跡を行うことが行われているが、これでは、車両の速度や位置の急激な変化に追従できないという問題がある。
【０００４】
本発明は、これらの問題を解決するため、カメラで後方から道路上の車両を撮影した画像をもとに、道路上に投影したときの車両面積の重なりから隠れた車両を判定し、通過車両計測時などに後続車が大型者などで先行する車が隠れてしまって検出できない事態を解消し、隠れ車両を高精度に検出して追跡などすることを目的としている。
【０００５】
【課題を解決するための手段】
図１を参照して課題を解決するための手段を説明する。
【０００６】
図１において、カメラ１０は、道路上の車両の画像を撮影して取り込むためのものである。
【０００７】
画像処理装置１は、道路上の車両の画像をもとに、隠れ車両があるときに当該隠れ車両を検出したりなどするものであって、ここでは、車両検出手段５、隠れ車両有無判定手段６、隠れ車両検出手段７などから構成されるものである。
【０００８】
車両検出手段５は、画像上で車両を検出するものである。
隠れ車両有無判定手段６は、画像上で隠れ車両の有無を判定するものである。
【０００９】
隠れ車両検出手段７は、画像上で隠れ車両を検出するものである。
次に、動作を説明する。
【００１０】
カメラ１０によって道路上を走行する車両を後方から撮影して画像を取り込み、車両検出手段５が取り込んだ画像上で車両を検出し、検出した車両の道路上への投影面積と重心位置を算出し、隠れ車両有無判定手段６が車両の重心位置と前回算出した車両の重心位置との差が所定値以内の車両を見つけることを繰り返し、今回、見つからない車両を隠れ車両と推定し、隠れ車両検出手段７が推定した隠れた車両の前回の道路上への投影面積および今回の推定位置と、今回検出された全ての車両の道路上への投影面積および投影重心位置とから面積差が一定値以上かつ予測位置と投影重心位置との差が一定値以下のときに隠れ車両と判定するようにしている。
【００１１】
従って、カメラで後方から道路上の車両を撮影した画像をもとに、道路上に投影したときの車両面積の重なりから隠れた車両を判定することにより、通過車両計測時などに後続車が大型車などで先行する車が隠れてしまって検出できない事態を解消し、隠れ車両を高精度に検出して追跡などすることが可能となる。
【００１２】
【発明の実施の形態】
次に、図１から図１３を用いて本発明の実施の形態および動作を順次詳細に説明する。
【００１３】
図１は、本発明のシステム構成図を示す。
図１において、カメラ１０は、道路上の車両の画像をリアルタイムに撮影するものである。
【００１４】
画像入力装置１１は、カメラ１０で撮像した車両の画像を画像処理装置１に入力するものである。
【００１５】
画像処理装置１は、プログラムに従い画像処理を行うものであって、ここでは、２ないし９などから構成されるものである。
【００１６】
画像２は、カメラ１０で撮影した道路上に後方から車両を撮影してリアルタイムに取り込んだ多数の画像である。
【００１７】
背景画像作成手段３は、多数の画像２から背景画像４を生成するものであって、例えば多数の画像２を平均化して駐車車両などのように動かない背景を抽出するものである。
【００１８】
背景画像４は、車両のない状態で、カメラ１０で道路上を撮影してもよい。走行車両があるときは、画像から当該背景画像４を引算することで、車両のみが抽出されることとなる。
【００１９】
車両検出部５は、リアルタイムに取り込んだ道路上の車両の写った画像から背景画像４を引算して車両のイメージのみを取り出した画像を生成し、公知のラベリング処理して連続する黒画素について矩形で表してラベルを付与し、当該付与したラベル毎に車両ＩＤ、画像上の矩形の４隅の座標、道路上に投影した投影面積、４隅の座標、および重心位置を検出車両候補テーブル８（図９参照）に登録するものである。
【００２０】
隠れ車両有無判定手段６は、画像上で隠れ車両の有無を判定するものである（図２から図１３を用いて後述する）。
【００２１】
隠れ車両検出手段７は、画像上で隠れ車両を検出するものである（図２から図１３を用いて後述する）。
【００２２】
検出車両候補テーブル８は、画像上で検出した車両ＩＤ，４隅の座標、道路上に投影した投影面積とその４隅の座標などを登録するものである（図９の（ａ）参照）。
【００２３】
検出車両テーブル９は、画像上で隠れ車両として検出した車両ＩＤ、道路上に投影した投影面積、重心位置、速度、隠れ車両のフラグ、区間外フラグなどを設定するものである（図９の（ｂ）参照）。
【００２４】
次に、図２のフローチャートの順番に図１の構成の全体の動作を説明する。
図２は、本発明の動作説明フローチャートを示す。
【００２５】
図２において、Ｓ１で、画像を入力する。これは、図１でカメラ１０でリアルタイムに撮像した道路上の画像を画像処理装置１に入力する。
【００２６】
Ｓ２で、車両検出処理を実行する。これは、Ｓ１で取り込んだ画像から背景画像を引算して車両の画像のみとし、当該画像上でラベリングして矩形で表してラベルを付与、および当該画像上の車両を表す矩形の４隅の座標、当該画像を道路上に投影した投影面積とその４隅の座標、重心位置を後述する図９の（ａ）に示すように登録するという、車両検出処理を行う。
【００２７】
Ｓ３で、隠れ車両有無判定処理を実行する。これは、Ｓ２で検出した車両について、道路上への車両の重心位置と前回算出した道路上への車両の重心位置との差が所定値以内の車両を見つけることを繰り返し、今回、見つからない車両を隠れ車両があると判定する処理を行う。
【００２８】
Ｓ４で、検出終了か判別する。ＮＯの場合には全ての車両についてＳ３を繰り返す。ＹＥＳの場合には、Ｓ５に進む。
【００２９】
Ｓ５で、隠れ車両ありか判別する。ＹＥＳの場合には、Ｓ３の隠れ車両の有無判定で隠れ車両がありと判明したので、Ｓ６に進む。ＮＯの場合には、次の画像について、Ｓ２以降を繰り返す。
【００３０】
Ｓ６で、隠れ車両検出処理を実行する。これは、Ｓ５のＹＥＳで隠れ車両がありと判明したので、判明した隠れた車両の前回の道路上への投影面積および今回の予測位置と、今回検出された全ての車両の道路上への投影面積および投影重心位置とから面積差が一定値以上かつ予測位置と投影重心位置の差が一定値以下のときに隠れ車両と判定する処理を行う。
【００３１】
Ｓ７で、隠れ車両終了か判別する。これは、Ｓ３で判定された隠れ車両について全てＳ６の処理を実行したか判別する。ＹＥＳの場合には、Ｓ２に戻り、次の画像について繰り返す。ＮＯの場合には、Ｓ６を繰り返す。
【００３２】
以上によって、リアルタイムに道路上を走行する後方から撮影した像を取り込み、背景画像を引算して車両の画像のみとし、当該画像上で車両を検出し、検出した車両について前回の道路上に投影した重心位置との差が所定値以下のときは同一車両として認識し、隠れて検出できなくなった車両についてその隠れた車両を検出することにより、画像上で後続の車両により隠れて見えなくなっても当該隠れた車両を精度良好に検出することが可能となる。以下順次詳細に説明する。
【００３３】
次に、図３から図５を用いて上述した図２の動作を詳細に説明する。
図３から図５は、本発明の詳細フローチャートを示す。
【００３４】
図３において、Ｓ１１で、ラベリング付け終了時点からスタートする。これは、既述したように、カメラ１０で道路上の車両を撮影した画像について、背景画像を引算して車両のみの画像にし、隣接する黒画素を連結することを繰り返してラベルを付与し当該連結させた黒画素の領域を外接矩形で表現（後述する図８の（ｃ）参照）する。
【００３５】
Ｓ１２で、画像上で矩形の４頂点を算出する。これは、後述する図８の（ｃ）で矩形の４頂点の座標（４隅の座標）を算出する。
【００３６】
Ｓ１３で、４頂点を仮想的な道路平面へ投影する。これは、後述する図８の（ｄ）に示すように、画像上の車両の４頂点を道路平面上へ投影する。
【００３７】
Ｓ１４で、４頂点の道路平面での重心位置を算出する。これは、例えば４頂点の座標の平均値を求めて重心位置を算出する。
【００３８】
Ｓ１５で、４頂点で囲まれる面積を算出する。
Ｓ１６で、検出車両候補テーブル８に新規車両ＩＤで追加する。
【００３９】
Ｓ１７で、ラベル終わりか判別する。これは、Ｓ１１で画像上でラベリングして内接矩形で表した車両について全てＳ１２からＳ１６の処理を終了したか判別する。ＹＥＳの場合には、Ｓ１８に進む。ＮＯの場合には、Ｓ１２に戻り、次の車両の矩形について繰り返す。
【００４０】
Ｓ１８で、重心位置が検出区間入口から一定値以内か判別する。ＹＥＳの場合には、Ｓ２６で時刻ｔの検出車両テーブル９に新規の車両ＩＤで付け足し、Ｓ２５に進む。一方、ＮＯの場合には、新規車両でないと判明したので、Ｓ１９に進む。
【００４１】
Ｓ１９で、検出車両候補テーブル８の時刻ｔの時（今回）の重心位置を車両１台分取り出す。
【００４２】
Ｓ２０で、検出車両テーブル９の時刻ｔ−１の時（前回）の重心位置を車両１台分取り出す。
【００４３】
Ｓ２１で、時刻ｔと、時刻ｔ−１の時の重心位置の差ΔＤを算出する。これは、Ｓ１９で取り出した時刻ｔのとき（今回）の車両の重心位置と時刻ｔ−１のとき（前回）の車両の重心位置との差ΔＤを算出する。
【００４４】
Ｓ２２で、ΔＤが一定値以下か判別する（図１１）。これは、Ｓ１９で算出した重心位置の差ΔＤ（後述する図１１に示す）が一定値以下かで同一車両か判別する。ＹＥＳの場合には、今回の車両と前回の車両とが同一と判明したので、Ｓ２３で時刻ｔ（今回）の検出車両テーブル９に時刻ｔ−１と同じ車両ＩＤを付け足し、Ｓ２４に進む。一方、Ｓ２２のＮＯの場合には、前回と今回の車両が同一ではないと判明したので、何もすることなくＳ２４に進む。
【００４５】
Ｓ２４で、時刻ｔ−１の検出車両テーブル９の車両終了か判別する。ＹＥＳの場合には、時刻ｔ−１（前回）の検出車両テーブル９の全ての車両について処理を終了したので、Ｓ２５に進む。ＮＯの場合には次の車両についてＳ２０以下を繰り返す。
【００４６】
Ｓ２５で、時刻ｔの検出車両候補テーブル８の車両終了か判別する。ＹＥＳの場合には、図４の（Ａ）のＳ２６に進む。ＮＯの場合には、次の車両について、Ｓ３１以下を繰り返す。
【００４７】
図４のＳ２６で、時刻ｔ−１の検出車両テーブル９にあるＩＤで時刻ｔで検出されなかったＩＤがあるか判別する。ＹＥＳの場合には、隠れ車両がありと判明したので、Ｓ２７に進む。ＮＯの場合には、隠れ車両が無いと判明したので、Ｓ４２で隠れ車両無しと判定し、終了する。
【００４８】
Ｓ２７で、時刻ｔ−１の時の位置、速度から現在の位置を予測する。
Ｓ２８で、予測位置が画像の検出区間外か判別する。ＹＥＳの場合には、検出区間外に出たと判明したので、Ｓ２９で検出区間を出たと判断し、時刻ｔの検出車両テーブル９には追加しないで、Ｓ３１に進む。一方、Ｓ２８のＮＯの場合には、検出区間内と判明したので、Ｓ３０で隠れ車両フラグを立てて、時刻ｔの検出車両テーブル９に時刻ｔ−１の時と同じ車両ＩＤを追加し、Ｓ３１に進む。
【００４９】
Ｓ３１で、隠れフラグが立っている車両の時刻ｔ−１の時の道路平面へ投影した４頂点を囲む面積Ｓ（ｔ−１）と予測位置（時刻ｔのときの予測位置）を取り出す。
【００５０】
Ｓ３２で、時刻ｔの時の検出車両テーブル９から１台分の道路平面への４頂点を取りだし、囲まれた面積Ｓ（ｔ）と投影重心位置を取り出す。
【００５１】
Ｓ３３で、Ｓ（ｔ）−Ｓ（ｔ−１）が一定値よりも大か、かつ投影重心位置−予測位置が一定値よりも小さく近いか判別する。ＹＥＳの場合には、Ｓ３４でＳ（ｔ）の領域内に隠れ車両がいると判定し時刻ｔの検出車両テーブル９に重心位置を書き込む、区間外フラグが立っているときは倒し、Ｓ３６に進む。一方、ＮＯの場合には、Ｓ３５で区間外に出た可能性があるので、区間外フラグを立て、Ｓ３６に進む。
【００５２】
Ｓ３６で、時刻ｔの検出車両テーブル９の車両が全て終わりか判別する。ＹＥＳの場合には、Ｓ３７に進む。ＮＯの場合には、次のＳ３２に戻り繰り返す。
【００５３】
Ｓ３７で、時刻ｔ−１の検出車両テーブル９の車両が全て終了か判別する。ＹＥＳの場合には、図５の（Ｂ）のＳ３８に進む。ＮＯの場合には、Ｓ３１に戻り繰り返す。
【００５４】
図５のＳ３８で、時刻ｔ−１の検出車両テーブル９にあるＩＤで時刻ｔで検出されなかった車両が全て終了したか判別する。ＹＥＳの場合には、Ｓ３９に進む。ＮＯの場合には、図４のＳ２７に戻り繰り返す。
【００５５】
Ｓ３９で、区間外フラグが立っているか判別する。ＹＥＳの場合には、Ｓ４０で区間外に出たと判定し、時刻ｔの検出車両テーブル９から削除し、Ｓ４１に進む。一方、Ｓ３９のＮＯの場合には、Ｓ４１に進む。
【００５６】
Ｓ４１は、時刻ｔの検出車両テーブル９の車両が終了か判別する。ＹＥＳの場合には、終了する。ＮＯの場合には、Ｓ３９に戻り繰り返す。
【００５７】
以上によって、道路上を走行する後方から撮影した画像を順次取り込んで背景画像を引算して車両の画像のみとし、ラベリングして当該画像上で車両を検出し、検出した車両について前回の道路上に投影した重心位置との差が所定値以下のときは同一車両として認識し、隠れて検出できなくなった車両についてその隠れた車両を判定することが可能となる。
【００５８】
図６は、本発明のカメラ、車両、道路の関係説明図を示す。
図６において、カメラの画像面は、道路上に設置されたカメラ１０で道路を撮影したときの当該カメラ１０の画像面上に決像される画像をイメージ的に示したものである。
【００５９】
道路は、車両が走行する道路であって、ここでは、左から右方向に走行し、後方からカメラ１０で撮影するものである。
【００６０】
後続車が図示のように大きいとそれに隠れて先行車が見えなくなってしまうが、既述した図１から図５で説明したように、隠れ車両の有無を検出してその道路面上への投影面積の差をもとに隠れ車両の有無を判定することを可能にしたものである。
【００６１】
図７は、本発明の説明図（その１）を示す。
図７の（ａ）は、座標系の例を示す。ここでは、ワールド座標系上の点（Ｘ，Ｙ，Ｚ）と、画像座標系上の点（ｕ，ｖ）の対応関係は、平行移動、回転、透視投影変換（図７の（ｂ））を用いた図１２の式１で表される。尚、カメラモデルはピンホールモデルを用いる。
【００６２】
図７の（ｂ）は、透視投影変換の説明図を示す。
図８は、本発明の説明図（その２）を示す。
【００６３】
図８の（ｃ）は、矩形のあてはめ方法の例を示す。ここで、図示のように、画像面上で黒の画素がラベルリングして１つの連結領域にまとめられたとすると、当該連結黒画素の内接矩形を当該車両の画像とここでは決める。従って、当該矩形のｕ，ｖ方向の最小値、最大値の組み合わせた下記のように４頂点の位置を表現できる。
【００６４】
・（ＭＩＮ（ｕｉ），ＭＩＮ（ｖｉ））
・（ＭＩＮ（ｕｉ），ＭＡＸ（ｖｉ））
・（ＭＡＸ（ｕｉ），ＭＩＮ（ｖｉ））
・（ＭＡＸ（ｕｉ），ＭＡＸ（ｖｉ））
図８の（ｄ）は、投影後の面積算出方法の例を示す。ここでは、上段のように、画像面の車両を道路平面上に投影し、下段のように当該道路平面上に投影した車両の矩形を求め、当該矩形の道路平面上の４頂点を求める。また、重心は４頂点の座標平均値で算出する。
【００６５】
図９は、本発明のテーブル例を示す。
図９の（ａ）は、検出車両候補テーブル（時刻ｔ）８の例を示す。ここでは、時刻ｔの検出車両候補テーブル８には、図示の下記の情報を対応づけて登録する。
【００６６】
・車両ＩＤ：
・画像上の４頂点
・投影後の４頂点
・投影重心位置
・投影後の面積
ここで、車両ＩＤは画像上でラベリングして内接矩形で表した車両のイメージに付与した一意のＩＤである。画像上の４頂点は画像上の車両に対応する矩形の４頂点の座標である。投影後の４頂点は画像上の矩形を道路平面上に投影した後の矩形の４頂点の座標である。投影重心位置は道路平面上に投影した後の矩形の４頂点を平均した重心位置の座標である。投影後の面積は道路平面上に投影した後の車両に対応する矩形の面積である。
【００６７】
図９の（ｂ）は、検出車両テーブル（時刻ｔ）９の例を示す。ここでは、時刻ｔの検出車両テーブル９には、図示の下記の情報を対応づけて登録する。
【００６８】
・車両ＩＤ：
・投影重心位置
・投影後の面積
・速度
・隠れ車両フラグ
・区間外フラグ
ここで、車両ＩＤは図９の（ａ）で付与して車両ＩＤである。投影重心位置は道路平面上に投影した車両を表す矩形の４頂点の座標を平均した重心位置の座標である。投影後の面積は道路平面上に投影した車両を表す矩形の面積である。速度は当該矩形（車両）の速度である。隠れ車両フラグは、画像上で後続車両により先行車両が隠れたと判明したとき立てるフラグである。区間外フラグは車両を表す矩形が計測範囲外に出たと判断されたときに立てるフラグである。
【００６９】
図１０は、本発明の説明図（投影面の重なり）を示す。道路面上を車両が左から右方向に走行し、後方の上からカメラ１０で撮影した画像上で、後続車により先行車が隠れてしまい、先頭部分がわずかしか出ていない様子を示す。この場合には、斜線で示したように、後続車の道路面上への投影面積と、先行車の道路面上への投影面積との差が一定値以上、かつ後続車の投影重心位置と先行者の今回の予測した予測位置との差が一定値以下のときに先行車が隠れたと判定し、隠れ車両を精度良好に判定することが可能となる。
【００７０】
図１１は、本発明の投影重心位置の移動距離の算出説明図を示す。これは、時刻ｔ０のときの道路平面上の車両を表す矩形が、時刻ｔ１のときに図示のように上方向に移動していた場合、両者の重心の距離差ΔＤを図示の下記の式で算出する。
【００７１】
ΔＤ＝（（Ｘｗ１−Ｘｗ０）^２＋（Ｙｗ１−Ｙｗ０）^２）^１／２
図１２は、本発明の説明図（式１）を示す。これは、既述した図７の画像面上の座標系と、ワールド座標系（道路面上の座標系）と変換する式１を説明するものである。
【００７２】
図１３は、本発明の説明図（式１）を示す。
図１３の（ａ）は、カメラパラメータを求める場合を示す。ここでは、式１において標本点をｎ個とり、残差の２乗和が最小になるようにして求める。
【００７３】
図１３の（ｂ）は、画像面から道路平面への変換を行う場合を示す。ここでは、既述した図１２の式１でｚ＝０と置き、下式に示すように式２として生成する。そして、カメラパラメータ、画像上の点（ｕ，ｖ）を代入し、（Ｘ，Ｙ）の方程式を作り、ガウスの消去法等を用いて解を算出する。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、カメラで後方から道路上の車両を撮影した画像をもとに、道路上に投影したときの車両面積の重なりから隠れた車両を判定する構成を採用しているため、通過車両計測時などに後続車が大型者などで先行する車が隠れてしまって検出できない事態を解消し、隠れ車両を高精度に検出して追跡などすることが可能となる。
【図面の簡単な説明】
【図１】本発明のシステム構成図である。
【図２】本発明の動作説明フローチャートである。
【図３】本発明の詳細フローチャート（その１）である。
【図４】本発明の詳細フローチャート（その２）である。
【図５】本発明の詳細フローチャート（その３）である。
【図６】本発明のカメラ、車両、道路の関係説明図である。
【図７】本発明の説明図（その１）である。
【図８】本発明の説明図（その２）である。
【図９】本発明のテーブル例である。
【図１０】本発明の説明図（投影面の重なり）である。
【図１１】本発明の投影重心位置の移動距離の算出説明図である。
【図１２】本発明の説明図（式１）である。
【図１３】本発明の説明図（式）である。
【符号の説明】
１：画像処理装置
２：画像
３：背景画像作成手段
４：背景画像
５：車両検出手段
６：隠れ車両有無判定手段
７：隠れ車両検出手段
８：検出車両候補テーブル
９：検出車両テーブル
１０：カメラ
１１：画像入力装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a passing vehicle measuring device, a passing vehicle measuring program, and a passing vehicle measuring method for measuring the number of vehicles passing through a road.
[0002]
[Prior art]
Conventionally, an image of a vehicle is captured by a camera installed on a road, and traffic flow monitoring or vehicle running behavior analysis is performed on the image.
[0003]
[Problems to be solved by the invention]
However, because there are restrictions on the camera installation position on the road, the distance of the traveling vehicle becomes short and it can not be seen overlapping on the image captured by the camera, especially it can not be seen behind the large vehicle, and the tracking is interrupted. There was a problem to do. On the other hand, tracking of each vehicle is performed by modeling the movement of the vehicle such as the inter-vehicle distance characteristic and acceleration, and predicting the coordinate value of the vehicle at the next shooting, There is a problem that it cannot follow a rapid change in the speed and position of the vehicle.
[0004]
In order to solve these problems, the present invention determines a hidden vehicle from an overlap of vehicle areas when projected on a road based on an image obtained by photographing a vehicle on the road from behind with a camera, and passes a vehicle. The purpose is to eliminate the situation in which the following vehicle is hidden by a large person or the like and cannot be detected at the time of measurement or the like, and to detect and track the hidden vehicle with high accuracy.
[0005]
[Means for Solving the Problems]
Means for solving the problem will be described with reference to FIG.
[0006]
In FIG. 1, a camera 10 is for capturing and capturing an image of a vehicle on a road.
[0007]
The image processing apparatus 1 detects a hidden vehicle when there is a hidden vehicle based on the image of the vehicle on the road. Here, the vehicle detection means 5 and the hidden vehicle presence / absence determination means 6, the hidden vehicle detection means 7 etc. are comprised.
[0008]
The vehicle detection means 5 detects a vehicle on the image.
The hidden vehicle presence / absence determining means 6 is for determining the presence or absence of a hidden vehicle on the image.
[0009]
The hidden vehicle detection means 7 detects a hidden vehicle on the image.
Next, the operation will be described.
[0010]
The camera 10 captures an image of the vehicle traveling on the road from behind, captures the image, detects the vehicle on the image captured by the vehicle detection means 5, and calculates the projected area of the detected vehicle on the road and the position of the center of gravity. The hidden vehicle presence / absence determination means 6 repeatedly finds a vehicle whose difference between the center of gravity position of the vehicle and the previously calculated center of gravity of the vehicle is within a predetermined value. The area difference between the projected area of the hidden vehicle on the previous road estimated by the means 7 and the current estimated position, and the projected area and projected barycenter position of all the vehicles detected this time on the road is a certain value or more. In addition, the vehicle is determined to be a hidden vehicle when the difference between the predicted position and the projected center of gravity position is equal to or less than a certain value.
[0011]
Therefore, by determining the hidden vehicle from the overlap of the vehicle area when projected on the road based on the image of the vehicle on the road from the rear by the camera, the succeeding vehicle is large when measuring passing vehicles. It is possible to eliminate the situation in which the preceding vehicle is hidden and cannot be detected, and the hidden vehicle can be detected and tracked with high accuracy.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments and operations of the present invention will be described in detail sequentially with reference to FIGS.
[0013]
FIG. 1 shows a system configuration diagram of the present invention.
In FIG. 1, a camera 10 captures an image of a vehicle on a road in real time.
[0014]
The image input device 11 inputs a vehicle image captured by the camera 10 to the image processing device 1.
[0015]
The image processing apparatus 1 performs image processing according to a program, and is composed of 2 to 9 in this example.
[0016]
Image 2 is a large number of images captured in real time by photographing a vehicle from behind on a road photographed by the camera 10.
[0017]
The background image creating means 3 generates a background image 4 from a large number of images 2 and, for example, averages the large number of images 2 and extracts a non-moving background such as a parked vehicle.
[0018]
The background image 4 may be taken on the road with the camera 10 without a vehicle. When there is a traveling vehicle, only the vehicle is extracted by subtracting the background image 4 from the image.
[0019]
The vehicle detection unit 5 generates an image obtained by subtracting the background image 4 from the image of the vehicle on the road captured in real time to extract only the vehicle image, and performs a known labeling process for continuous black pixels. A label represented by a rectangle is assigned, and a vehicle ID, coordinates of the four corners of the rectangle on the image, projected areas projected on the road, coordinates of the four corners, and the position of the center of gravity are detected for each given label. (See FIG. 9).
[0020]
The hidden vehicle presence / absence determining means 6 determines whether or not there is a hidden vehicle on the image (described later with reference to FIGS. 2 to 13).
[0021]
The hidden vehicle detection means 7 detects a hidden vehicle on the image (described later with reference to FIGS. 2 to 13).
[0022]
The detected vehicle candidate table 8 registers the vehicle ID detected on the image, the coordinates of the four corners, the projected area projected on the road, the coordinates of the four corners, and the like (see FIG. 9A).
[0023]
The detected vehicle table 9 is for setting a vehicle ID detected as a hidden vehicle on the image, a projected area projected on the road, a center of gravity position, a speed, a hidden vehicle flag, an out-of-section flag, and the like (FIG. 9 ( b)).
[0024]
Next, the overall operation of the configuration of FIG. 1 will be described in the order of the flowchart of FIG.
FIG. 2 shows a flowchart for explaining the operation of the present invention.
[0025]
In FIG. 2, an image is input in S1. This inputs an image on the road imaged in real time by the camera 10 in FIG.
[0026]
In S2, vehicle detection processing is executed. This is because the background image is subtracted from the image captured in S1 to obtain only the vehicle image, labeling is performed on the image, and the label is represented by a rectangle, and the four corners of the rectangle representing the vehicle on the image are displayed. A vehicle detection process is performed in which the coordinates, the projected area of the image projected onto the road, the coordinates of the four corners, and the position of the center of gravity are registered as shown in FIG.
[0027]
In S3, a hidden vehicle presence / absence determination process is executed. This means that for the vehicle detected in S2, it repeatedly finds a vehicle whose difference between the center of gravity of the vehicle on the road and the center of gravity of the vehicle on the road calculated previously is within a predetermined value, and this time To determine that there is a hidden vehicle.
[0028]
In S4, it is determined whether the detection is finished. If NO, repeat S3 for all vehicles. If YES, the process proceeds to S5.
[0029]
In S5, it is determined whether there is a hidden vehicle. In the case of YES, since it is determined that there is a hidden vehicle in the presence / absence determination of the hidden vehicle in S3, the process proceeds to S6. In the case of NO, S2 and subsequent steps are repeated for the next image.
[0030]
In S6, a hidden vehicle detection process is executed. This is because it was determined that there was a hidden vehicle in S5 YES, so the projected area of the hidden vehicle found on the previous road and the current predicted position, and the projection of all the vehicles detected this time onto the road When the area difference from the area and the projected centroid position is equal to or greater than a certain value and the difference between the predicted position and the projected centroid position is equal to or less than a certain value, a process of determining a hidden vehicle is performed.
[0031]
In S7, it is determined whether the hidden vehicle is finished. This determines whether the process of S6 was performed about all the hidden vehicles determined by S3. If yes, return to S2 and repeat for the next image. If NO, repeat S6.
[0032]
As described above, an image taken from behind traveling on the road in real time is captured, the background image is subtracted to obtain only the vehicle image, the vehicle is detected on the image, and the detected vehicle is projected onto the previous road. When the difference from the center of gravity position is less than or equal to a predetermined value, it is recognized as the same vehicle, and by detecting the hidden vehicle for the vehicle that is hidden and cannot be detected, The hidden vehicle can be detected with good accuracy. Details will be sequentially described below.
[0033]
Next, the operation of FIG. 2 described above will be described in detail with reference to FIGS.
3 to 5 show detailed flowcharts of the present invention.
[0034]
In FIG. 3, at S11, the process starts from the end of labeling. As described above, for the image obtained by photographing the vehicle on the road with the camera 10, the background image is subtracted to make the image of only the vehicle, and the labeling is performed by repeatedly connecting adjacent black pixels. The connected black pixel region is expressed by a circumscribed rectangle (see FIG. 8C described later).
[0035]
In S12, four vertices of a rectangle on the image are calculated. This calculates the coordinates of the four vertices of the rectangle (coordinates of the four corners) in FIG.
[0036]
In S13, the four vertices are projected onto a virtual road plane. This projects four vertices of the vehicle on the image onto the road plane as shown in FIG.
[0037]
In S14, the position of the center of gravity on the road plane at the four vertices is calculated. For example, an average value of coordinates of four vertices is obtained to calculate the position of the center of gravity.
[0038]
In S15, the area surrounded by the four vertices is calculated.
In S16, the new vehicle ID is added to the detected vehicle candidate table 8.
[0039]
In S17, it is determined whether the label is over. For this, it is determined whether or not the processing from S12 to S16 has been completed for all the vehicles that have been labeled on the image in S11 and represented by the inscribed rectangle. If YES, the process proceeds to S18. If NO, return to S12 and repeat for the next vehicle rectangle.
[0040]
In S18, it is determined whether the center of gravity is within a certain value from the detection section entrance. If YES, the new vehicle ID is added to the detected vehicle table 9 at time t in S26, and the process proceeds to S25. On the other hand, in the case of NO, since it is determined that the vehicle is not a new vehicle, the process proceeds to S19.
[0041]
In S19, the position of the center of gravity at the time t (this time) in the detected vehicle candidate table 8 is extracted for one vehicle.
[0042]
In S20, the position of the center of gravity of the detected vehicle table 9 at time t-1 (previous) is taken out for one vehicle.
[0043]
In S21, a difference ΔD between the center of gravity position at time t and time t−1 is calculated. This calculates a difference ΔD between the center of gravity position of the vehicle at time t (current) taken out in S19 and the center of gravity position of the vehicle at time t-1 (previous).
[0044]
In S22, it is determined whether ΔD is equal to or smaller than a certain value (FIG. 11). This is determined as the same vehicle based on whether or not the difference ΔD (shown in FIG. 11 described later) of the center of gravity calculated in S19 is equal to or less than a certain value. In the case of YES, since it has been found that the current vehicle and the previous vehicle are the same, in S23, the same vehicle ID as time t-1 is added to the detected vehicle table 9 at time t (current time), and the process proceeds to S24. On the other hand, in the case of NO in S22, since it has been found that the previous and current vehicles are not the same, the process proceeds to S24 without doing anything.
[0045]
In S24, it is determined whether the vehicle ends in the detected vehicle table 9 at time t-1. In the case of YES, since the process is completed for all the vehicles in the detected vehicle table 9 at time t-1 (previous), the process proceeds to S25. In the case of NO, S20 and subsequent steps are repeated for the next vehicle.
[0046]
In S25, it is determined whether the vehicle ends in the detected vehicle candidate table 8 at time t. In the case of YES, the process proceeds to S26 of FIG. In the case of NO, S31 and subsequent steps are repeated for the next vehicle.
[0047]
In S26 of FIG. 4, it is determined whether there is an ID that is not detected at time t among the IDs in the detected vehicle table 9 at time t-1. If YES, it is determined that there is a hidden vehicle, so the process proceeds to S27. In the case of NO, since it has been found that there is no hidden vehicle, it is determined in S42 that there is no hidden vehicle, and the process ends.
[0048]
In S27, the current position is predicted from the position and speed at time t-1.
In S28, it is determined whether the predicted position is outside the image detection section. In the case of YES, since it is determined that the vehicle has gone out of the detection zone, it is determined that the detection zone has been exited in S29, and the process proceeds to S31 without being added to the detected vehicle table 9 at time t. On the other hand, in the case of NO in S28, since it is found that it is within the detection zone, a hidden vehicle flag is set in S30, and the same vehicle ID as at time t-1 is added to the detected vehicle table 9 at time t, and S31 Proceed to
[0049]
In S31, an area S (t-1) and a predicted position (predicted position at time t) surrounding the four vertices projected on the road plane at time t-1 of the vehicle with the hidden flag standing are extracted.
[0050]
In S32, four vertices on the road plane for one vehicle are extracted from the detected vehicle table 9 at time t, and the enclosed area S (t) and the projected barycenter position are extracted.
[0051]
In S33, it is determined whether S (t) -S (t-1) is larger than a certain value and whether the projected gravity center position-predicted position is smaller than the certain value. In the case of YES, it is determined in S34 that there is a hidden vehicle in the area of S (t), and the position of the center of gravity is written in the detected vehicle table 9 at time t. . On the other hand, in the case of NO, there is a possibility that the vehicle has gone out of the section in S35.
[0052]
In S36, it is determined whether or not all the vehicles in the detected vehicle table 9 at time t are finished. If YES, the process proceeds to S37. If NO, the process returns to S32 and repeats.
[0053]
In S37, it is determined whether or not all the vehicles in the detected vehicle table 9 at time t-1 are finished. In the case of YES, the process proceeds to S38 in FIG. If NO, return to S31 and repeat.
[0054]
In S38 of FIG. 5, it is determined whether all the vehicles that have not been detected at time t with the ID in the detected vehicle table 9 at time t-1 have been completed. If YES, the process proceeds to S39. If NO, the process returns to S27 in FIG. 4 and is repeated.
[0055]
In S39, it is determined whether an out-of-section flag is set. In the case of YES, it determines with having come out of the area by S40, deletes from the detection vehicle table 9 of the time t, and progresses to S41. On the other hand, if NO in S39, the process proceeds to S41.
[0056]
S41 discriminate | determines whether the vehicle of the detection vehicle table 9 of the time t is complete | finished. If YES, the process ends. If NO, the process returns to S39 and repeats.
[0057]
As described above, images taken from behind traveling on the road are sequentially captured, the background image is subtracted to obtain only the vehicle image, and the vehicle is labeled and detected on the image, and the detected vehicle is detected on the previous road. When the difference from the center of gravity projected onto the vehicle is equal to or smaller than a predetermined value, the vehicle is recognized as the same vehicle, and the hidden vehicle can be determined for the vehicle that is hidden and cannot be detected.
[0058]
FIG. 6 is a diagram illustrating the relationship between the camera, the vehicle, and the road according to the present invention.
In FIG. 6, the image plane of the camera is an image showing an image determined on the image plane of the camera 10 when the road 10 is photographed with the camera 10 installed on the road.
[0059]
The road is a road on which the vehicle travels. Here, the road travels from the left to the right and is photographed by the camera 10 from the rear.
[0060]
If the following vehicle is large as shown in the figure, it will be hidden behind it and the preceding vehicle will not be visible. However, as described with reference to FIGS. 1 to 5, the presence or absence of the hidden vehicle is detected and projected onto the road surface. It is possible to determine the presence or absence of a hidden vehicle based on the difference in area.
[0061]
FIG. 7 shows an explanatory diagram (part 1) of the present invention.
FIG. 7A shows an example of a coordinate system. Here, the correspondence between the point (X, Y, Z) on the world coordinate system and the point (u, v) on the image coordinate system is parallel translation, rotation, perspective projection transformation ((b) in FIG. 7). This is expressed by Equation 1 in FIG. The camera model is a pinhole model.
[0062]
FIG. 7B is an explanatory diagram of perspective projection conversion.
FIG. 8 shows an explanatory diagram (part 2) of the present invention.
[0063]
FIG. 8C shows an example of a rectangular fitting method. Here, as shown in the figure, assuming that black pixels are labeled on the image plane and grouped into one connected area, an inscribed rectangle of the connected black pixels is determined here as an image of the vehicle. Accordingly, the positions of the four vertices can be expressed as follows by combining the minimum and maximum values in the u and v directions of the rectangle.
[0064]
・ (MIN (ui), MIN (vi))
・ (MIN (ui), MAX (vi))
・ (MAX (ui), MIN (vi))
・ (MAX (ui), MAX (vi))
FIG. 8D shows an example of an area calculation method after projection. Here, the vehicle on the image plane is projected onto the road plane as in the upper stage, the rectangle of the vehicle projected onto the road plane as in the lower stage is obtained, and the four vertices on the road plane of the rectangle are obtained. The center of gravity is calculated by the coordinate average value of four vertices.
[0065]
FIG. 9 shows an example table of the present invention.
FIG. 9A shows an example of the detected vehicle candidate table (time t) 8. Here, the following information shown in the figure is registered in association with the detected vehicle candidate table 8 at time t.
[0066]
・ Vehicle ID:
・ 4 vertices on the image ・ 4 vertices after projection ・ projected barycenter position ・ area after projection Here, the vehicle ID is a unique ID assigned to the image of the vehicle that is labeled on the image and represented by an inscribed rectangle. . The four vertices on the image are the coordinates of the four vertices of the rectangle corresponding to the vehicle on the image. The four vertices after projection are the coordinates of the four vertices of the rectangle after the rectangle on the image is projected onto the road plane. The projected centroid position is the coordinates of the centroid position obtained by averaging the four vertices of the rectangle after being projected on the road plane. The area after the projection is a rectangular area corresponding to the vehicle after being projected onto the road plane.
[0067]
FIG. 9B shows an example of the detected vehicle table (time t) 9. Here, the following information shown in the figure is registered in association with the detected vehicle table 9 at time t.
[0068]
・ Vehicle ID:
Projected center of gravity position Area after projection, speed, hidden vehicle flag, out-of-section flag Here, the vehicle ID is the vehicle ID given in FIG. The projected barycentric position is the coordinates of the barycentric position obtained by averaging the coordinates of the four vertices of a rectangle representing the vehicle projected on the road plane. The projected area is a rectangular area representing the vehicle projected on the road plane. The speed is the speed of the rectangle (vehicle). The hidden vehicle flag is a flag that is set when it is determined that the preceding vehicle is hidden by the following vehicle on the image. The out-of-section flag is a flag that is set when it is determined that the rectangle representing the vehicle is out of the measurement range.
[0069]
FIG. 10 is an explanatory diagram of the present invention (overlapping projection planes). The vehicle travels from the left to the right on the road surface, and the preceding vehicle is hidden by the succeeding vehicle on the image taken by the camera 10 from above the rear, and only the leading portion appears. In this case, as indicated by the oblique lines, the difference between the projected area of the following vehicle on the road surface and the projected area of the preceding vehicle on the road surface is a certain value or more, and the projected center of gravity position of the following vehicle is It is possible to determine that the preceding vehicle is hidden when the difference between the predicted position of the preceding person and the current predicted position is equal to or less than a certain value, and to determine the hidden vehicle with good accuracy.
[0070]
FIG. 11 is a diagram for explaining the calculation of the movement distance of the projected centroid position according to the present invention. This is because, when the rectangle representing the vehicle on the road plane at time t0 is moving upward as shown in the figure at time t1, the distance difference ΔD between the centers of gravity of both is expressed by the following equation shown in the figure. calculate.
[0071]
ΔD = ((Xw1−Xw0) ² + (Yw1−Yw0) ² ) ^1/2
FIG. 12 shows an explanatory diagram (Equation 1) of the present invention. This explains Equation 1 for conversion between the above-described coordinate system on the image plane in FIG. 7 and the world coordinate system (coordinate system on the road plane).
[0072]
FIG. 13 shows an explanatory diagram (Equation 1) of the present invention.
FIG. 13A shows a case where camera parameters are obtained. Here, n sample points are taken in Equation 1 and the residual sum of squares is determined to be minimum.
[0073]
FIG. 13B shows a case where conversion from an image plane to a road plane is performed. Here, z = 0 is set in the above-described formula 1 in FIG. 12, and the formula 2 is generated as shown in the following formula. Then, the camera parameters and the point (u, v) on the image are substituted, an equation of (X, Y) is created, and a solution is calculated using a Gaussian elimination method or the like.
[0074]
【The invention's effect】
As described above, according to the present invention, a configuration is adopted in which a hidden vehicle is determined from an overlap of vehicle areas when projected onto a road based on an image obtained by photographing the vehicle on the road from behind with a camera. Therefore, it is possible to eliminate the situation that the following vehicle is hidden by a large person etc. and can not be detected when passing vehicles are measured, etc., and it is possible to detect and track the hidden vehicle with high accuracy .
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of the present invention.
FIG. 2 is a flowchart explaining the operation of the present invention.
FIG. 3 is a detailed flowchart (part 1) of the present invention.
FIG. 4 is a detailed flowchart (part 2) of the present invention.
FIG. 5 is a detailed flowchart (part 3) of the present invention;
FIG. 6 is a diagram illustrating the relationship between the camera, vehicle, and road according to the present invention.
FIG. 7 is an explanatory diagram (part 1) of the present invention.
FIG. 8 is an explanatory diagram (part 2) of the present invention.
FIG. 9 is an example table of the present invention.
FIG. 10 is an explanatory diagram of the present invention (overlapping projection planes).
FIG. 11 is an explanatory diagram for calculating a moving distance of the projected barycentric position according to the present invention.
FIG. 12 is an explanatory diagram (Equation 1) of the present invention.
FIG. 13 is an explanatory diagram (formula) of the present invention.
[Explanation of symbols]
1: Image processing device 2: Image 3: Background image creation means 4: Background image 5: Vehicle detection means 6: Hidden vehicle presence / absence determination means 7: Hidden vehicle detection means 8: Detected vehicle candidate table 9: Detected vehicle table 10: Camera 11: Image input device

Claims

In a passing vehicle measuring device that measures a vehicle passing through a road,
A camera installed on the road and taking a picture of the vehicle from behind to generate an image;
Means for detecting a vehicle on the image;
Means for calculating the projected area of the detected vehicle on the road and the position of its center of gravity;
Means for repeatedly finding a vehicle whose difference between the calculated center of gravity of the vehicle and the previously calculated center of gravity of the vehicle is within a predetermined value, and estimating a hidden vehicle not found this time;
The area difference from the projected area of the estimated hidden vehicle on the previous road and the current predicted position, and the projected area and projected center of gravity position of all the vehicles detected this time on the road, A passing vehicle measuring apparatus comprising: means for determining that the vehicle is a hidden vehicle when a difference between the predicted position and the projected center of gravity position is a predetermined value or less.

In a passing vehicle measurement program for measuring a vehicle passing on a road,
Computer
Means for generating an image installed on the road and taking a picture of the vehicle from behind with a camera;
Means for detecting a vehicle on the image;
Means for calculating the projected area of the detected vehicle on the road and the position of its center of gravity;
Means for repeatedly finding a vehicle whose difference between the calculated center of gravity of the vehicle and the previously calculated center of gravity of the vehicle is within a predetermined value, and estimating a hidden vehicle not found this time;
The area difference from the projected area of the estimated hidden vehicle on the previous road and the current predicted position, and the projected area and projected center of gravity position of all the vehicles detected this time on the road, A passing vehicle measurement program for causing a vehicle to function as a hidden vehicle when a difference between the predicted position and the projected center of gravity position is a predetermined value or less.

In a passing vehicle measurement method for measuring a vehicle passing on a road,
Installing on the road and generating an image of the vehicle taken from behind with a camera;
Detecting a vehicle on the image;
Calculating the projected area of the detected vehicle on the road and the position of its center of gravity;
Repeatedly finding a vehicle whose difference between the calculated center of gravity of the vehicle and the previously calculated center of gravity of the vehicle is within a predetermined value, and estimating a hidden vehicle not found this time;
The area difference from the projected area of the estimated hidden vehicle on the previous road and the current predicted position, and the projected area and projected center of gravity position of all the vehicles detected this time on the road, A passing vehicle measurement method comprising: determining a hidden vehicle when a difference between the predicted position and the projected center of gravity position is a predetermined value or less.