JPH11110564A - 移動体計測装置 - Google Patents

Abstract

(57)【要約】 【課題】移動体に係る情報を精確に得る。 【解決手段】撮像された各画像から所定領域を読み込む
連続画像入力手段（１）と、手段（１）からの画像にお
ける背景画像との振動ぶれを検出し補正する画像ぶれ検
出・補正手段（２）と、手段（２）からの画像と背景画
像との差分をとり、移動体部分を抽出する背景差分手段
（３）と、手段（３）からの差分画像を平滑化する平滑
化手段（４）と、手段（４）からの平滑化差分画像から
２値化しきい値を計算し平滑化差分画像を２値化する２
値化手段（５）と、手段（５）からの２値画像のノイズ
除去及び整形を行なうノイズ除去・整形手段（６）と、
手段（６）からの２値画像を移動体の移動方向に射影す
る射影変換手段（７）と、手段（７）からの射影ベクト
ルを時間方向に展開する射影展開手段と（８）、手段
（８）の情報を基に移動体に係る情報を求める情報計算
手段（９）とを具備。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体の移動検知
や速度測定、特に車両台数、車両速度、車両占有率等の
交通量を測定する装置に適用可能な移動体計測装置に関
する。

【０００２】

【従来の技術】従来、撮像装置により撮像した連続画像
から車両等の移動体による変化領域を自動抽出する場合
には、一般的に以下の如き方法が用いられていた。 (1) 入力画像と背景画像との差分から変化領域を抽出す
る。 (2) 連続画像の各時間画像の差分をとり、輝度変化の大
きな箇所を変化領域とみなす。 (3) 入力画像から、輝度値が急激に変化するエッジ部分
を抽出する。 また、移動体の速度を自動計測する場合には、移動領域
すなわち移動体を抽出した後、その移動領域をトラッキ
ングする方法が一般的に用いられていた。

【０００３】

【発明が解決しようとする課題】図６は、撮像装置であ
るカメラの振動ぶれがないと仮定した場合の処理と問題
点を説明するための図である。図６に示すように、背景
画像６１と時間ｔの画像ぶれ画像６２との差分をとる
と、画像６３に示すように本来余分である背景も変化領
域として抽出される。このように上記した従来の方法
(1),(2) の場合、カメラの振動ぶれがないと仮定してい
るため、実際に振動が起こる場所にカメラを設置した場
合、差分処理により真の移動体以外にも振動ぶれにより
移動したとみなされる領域が抽出される危険性がある。

【０００４】また、従来の方法(2) の場合、移動体の変
化量を抽出することはできるが、移動体全体を抽出する
ことができない場合があるとともに、停止している物体
を抽出できないという不具合がある。また、従来の方法
(3) の場合、高速で移動する移動体を撮像したとき、背
景と移動体との境界がぼけて、移動体のエッジが抽出で
きない場合がある。

【０００５】また、前述した移動体の速度を自動計測す
る場合に、移動領域すなわち移動体を抽出した後、その
移動領域をトラッキングする方法は、トラッキングに２
次元相関画像処理を行なう。このため、移動体の移動方
向が一定でない場合には有効であるが、移動体の移動方
向がほぼ一定である場合には、処理量が多く高速処理に
適しない。本発明の目的は、移動体に係る情報を精確に
得ることができる移動体計測装置を提供することにあ
る。

【０００６】

【課題を解決するための手段】上記課題を解決し目的を
達成するために、本発明の移動体計測装置は以下の如く
構成されている。 （１）本発明の移動体計測装置は、撮像された連続画像
を入力し、各画像から所定領域を読み込む連続画像入力
手段と、この連続画像入力手段から出力された画像にお
ける所定の背景画像との振動ぶれを検出し補正する画像
ぶれ検出・補正手段と、この画像ぶれ検出・補正手段か
ら出力された画像と前記背景画像との差分をとり、移動
体部分を抽出する背景差分手段と、この背景差分手段か
ら出力された差分画像を平滑化する平滑化手段と、この
平滑化手段から出力された平滑化差分画像から２値化し
きい値を計算し、前記平滑化差分画像を２値化する２値
化手段と、この２値化手段から出力された２値画像のノ
イズ除去及び整形を行なうノイズ除去・整形手段と、こ
のノイズ除去・整形手段から出力された２値画像を前記
移動体の移動方向に射影する射影変換手段と、この射影
変換手段から出力された射影ベクトルを時間方向に展開
する射影展開手段と、この射影展開手段の情報を基に前
記移動体に係る情報を求める情報計算手段と、から構成
されている。 （２）本発明の移動体計測装置は上記（１）に記載の装
置であり、かつ前記背景画像を更新する背景画像更新手
段を備えている。

【０００７】

【発明の実施の形態】図１は、本発明の実施の形態に係
る移動体計測装置の撮像系概略を示す図である。図１に
示すように、当該移動体計測装置１００はＣＣＤカメラ
１０２とともに、道路の分離帯に立設された照明ポール
１０３の上部に設置されている。なお、ＣＣＤカメラ１
０２は前記道路を走行する車両（移動体）の前部（ある
いは後部）をほぼ斜め上方から撮像できるよう、その向
きが前記道路とほぼ平行をなしている。

【０００８】図２は、当該移動体計測装置の構成を示す
ブロック図である。連続画像入力装置１は、上記カメラ
（撮像装置）１０２にて撮像された連続画像を入力し、
各画像から所定領域を読み込む。画像ぶれ検出・補正装
置２は、連続画像入力装置１から出力された画像と背景
更新装置１０から出力された背景画像（参照画像）を入
力し、連続画像入力装置１から入力した画像を、前記背
景画像との振動ぶれを考慮し補正する。背景差分装置３
は、画像ぶれ検出・補正装置２から出力された画像と背
景更新装置１０から出力された背景画像を入力し、画像
ぶれ検出・補正装置２から入力した画像と前記背景画像
との差分をとり、移動体部分を抽出する。

【０００９】平滑化フィルタ装置４は、背景差分装置３
から出力された差分画像を平滑化し、２値化装置５は平
滑化フィルタ装置４から出力された平滑化差分画像から
２値化しきい値を計算し、前記平滑化差分画像を２値化
する。ノイズ除去・整形フィルタ装置６は、２値化装置
５から出力された２値画像のノイズ除去及び整形を行な
う。

【００１０】１次元射影変換装置７は、ノイズ除去・整
形フィルタ装置６から出力された２値画像を移動体の移
動方向に射影し、１次元射影展開装置８は１次元射影変
換装置７から出力された射影ベクトルを時間方向に展開
し、記憶する。情報計算装置９は、１次元射影展開装置
８の情報をもとに、移動体数、移動速度、移動体占有率
等を計算する。

【００１１】背景画像更新装置１０は、既に入力されて
いる背景画像を画像ぶれ検出・補正装置２と背景差分装
置３へ出力するとともに、連続画像入力装置１が入力し
た画像中の背景画像を連続画像入力装置１から入力し、
背景画像を更新する。制御装置１１は、上記各装置１〜
１０の動作制御を行なう。

【００１２】次に、以上のような構成をなす移動体計測
装置の動作を、移動体である車両がカメラ１０２の視野
に侵入したときに該車両による変化領域と速度を自動抽
出する場合を例に説明する。

【００１３】まず、連続画像入力装置１により、入力画
像｛Ｉ（ｘ，ｙ，ｔ0 ），Ｉ（ｘ，ｙ，ｔ1 ），…｝を
取り込む。次に、先に出願されている特願平９−１３２
２７８号公報や特願平９−９６０４７号公報に開示され
ている如き処理を行なう画像ぶれ検出・補正装置２によ
り、カメラ１０２の視野内で移動体が無い領域を監視
し、振動等によるぶれを補正する。

【００１４】例えば、画像ぶれ検出・補正装置２は、連
続画像の一定期間（ｔ0 ，ｔ1 ，…，ｔn ）の各画像に
対して、連続して撮られた２枚の画像に対する最適重ね
合わせ状態からのズレ量Δｘ（ｔi ），Δｙ（ｔi ）を
公知の手法である正規化相互相関を用いて求める。具体
的には、静止領域である背景画像において次式（１）の
正規相互相関相関ｓを計算する。

【００１５】

【数１】 そして、求められた正規相互相関相関ｓから、次式
（２）を用いてズレ量Δｘ（ｔi ），Δｙ（ｔi ）を求
める。

【００１６】

【数２】

【００１７】そして、求められたズレ量Δｘ（ｔ），Δ
ｙ（ｔ）から、縦（ｙ）方向及び横（ｘ）方向の振動振
幅（Ａx ，Ａy ），周期Ｔ及び初期位相ａの振動ぶれ情
報を推定する。例えば、縦方向（ｙ方向）、横方向（ｘ
方向）の振動を、 ｘ（ｔ）＝Ａx ｓｉｎ（ωｔ＋ａ） … （３）， ｙ（ｔ）＝Ａy ｓｉｎ（ωｔ＋ａ） … （４）， ω＝２π／Ｔ， と表すと、ズレ量Δｘ（ｔ），Δｙ（ｔ）はそれぞれ

【００１８】

【数３】 となる。上式より、振動ぶれ情報Ａx ，Ａy ，Ｔ，ａ
を、公知の手法である逐次２次計画法やフーリエ変換等
の公知手法の段階的組み合わせ法により求めることがで
きる。

【００１９】そして、求められた振動ぶれ情報Ａx ，Ａ
y ，Ｔ，ａと上記（５），（６）式から、任意の時間ｔ
i に撮影された画像Ｉ（ｘ，ｙ，ｔi ）のずれ量Δｘ
（ｔi），Δｙ（ｔi ）を求める。ここでは、正規相互
相関計算に用いた時刻以外の画像についてもズレ量を求
めることができる。

【００２０】さらに、求められたΔｘ（ｔi ），Δｙ
（ｔｉ）を用いて、画像Ｉ（ｘ，ｙ，ｔi ）から、ぶれ
のない画像Ｊ（ｘ，ｙ，ｔi ）を生成する。振動ぶれ補
正済みの画像Ｊ（ｘ，ｙ，ｔi ）は、時刻ｔi における
現画像をＩ（ｘ，ｙ，ｔi ）とすると、

【００２１】

【数４】 となる。

【００２２】なお、このぶれ補正により、真の移動体以
外に振動ぶれにより移動したとみなされる領域が抽出さ
れないようになる。次に背景差分装置３により、下式
（８）に示すように、画像ぶれ検出・補正装置２から入
力した入力画像Ｉ（ｘ，ｙ，ｔ）と背景更新画像１０か
ら入力した背景画像Ｂ（ｘ，ｙ，ｔ−１）との絶対差分
Ｓ（ｘ，ｙ，ｔ）をとり、移動体全体を抽出する。

【００２３】 Ｓ（ｘ，ｙ，ｔ）＝｜Ｉ（ｘ，ｙ，ｔ）−Ｂ（ｘ，ｙ，ｔ−１）｜ …（８） 図３は、画像ぶれ検出・補正をした場合の背景差分を示
す図である。時間ｔにおける入力画像４１から背景画像
４２を引くことにより、ぶれ補正がなされ、差分画像４
３のように移動体が正しく抽出される。この背景差分装
置３における差分演算はノイズに弱いので、差分画像に
対して平滑化フィルタ装置４を適用して、差分画像を整
形する。

【００２４】次に２値化装置５により、平滑化フィルタ
装置４にて平滑化された差分画像にである平滑化差分画
像の２値化しきい値を計算し、計算された２値化しきい
値で前記平滑化差分画像を２値化する。前記２値化しき
い値は、２値化装置５にて判別分析法等により自動計算
されるか、あるいは２値化装置５にて固定されているし
きい値である。そしてノイズ除去・整形フィルタ装置６
により、２値画像レベルでノイズ除去及び整形を行な
う。

【００２５】このように、画像に表れる一様なノイズ
を、平滑化フィルタ装置４及びノイズ除去・整形フィル
タ装置６により除去し、さらにノイズ除去・整形フィル
タ装置６により画像における移動体領域内のホールを穴
埋めする。

【００２６】次に、ノイズ除去・整形フィルタ装置６に
より整形された２値画像を、一次元射影変換装置７で移
動体の移動方向に射影することにより、２次元情報を１
次元情報に変換する。射影する際、カメラと路面の位置
関係より、画像中の画素が絶対距離と比例するように、
具体的には、手前側（近方）を短く、奥側（遠方）を長
く射影する。

【００２７】図４は、１次元射影変換装置７による１次
元射影変換を示す図である。図４に示すように、ほぼ一
定な移動体の移動方向と直交する方向の長さがカメラの
近方側で長く遠方側で短い移動体の２値画像を、移動方
向に沿って射影することで、移動体の前記近方側の長さ
と遠方側の長さがほぼ等しくなる。すなわち、本来近方
側と遠方側とで同じ長さを有する移動体であっても、そ
の２値画像では、カメラの近方側で長く、カメラの遠方
側で短く写り、近方側と遠方側で長さが異なるものにな
る。このようなカメラからの遠近度に起因する画像中で
の大きさを補正するために、射影された画像の単位長さ
が同じになるよう、射影情報を１次元情報に変換する。
すなわち、移動体である車両が、上方から見た形状に合
った画像に射影されることと同じである。

【００２８】このように２次元情報を１次元情報に変換
することにより、画像のデータ量が減るとともに処理負
担が軽くなり、リアルタイム処理が可能になる。また、
１次元情報に変換しても、計測すべき台数や速度の情報
が失われることはない。カメラと路面の位置関係を使用
して射影変換することにより、車両速度や占有率等の車
両情報を精度よく計測できる。

【００２９】次に、１次元射影変換装置７で得られた移
動方向射影変換画像を１次元射影展開装置８で時間方向
に展開することにより、移動方向射影時間展開画像を得
る。この移動方向射影時間展開画像を基に、移動体情報
計算装置９により、車両台数、移動速度、占有率等の交
通量を求める。

【００３０】図５は、１次元の移動方向射影展開画像の
例を示す図である。図５に示す画像中で、帯の数が車両
台数に、帯の傾きが移動速度に、ある時刻での面積充填
率（帯の太さ）が時間占有率に相当する。この移動方向
射影展開画像において、各帯の傾きが９０度付近に落ち
着き面積充填率が高くなれば、複数の車両がほぼ移動速
度０で長時間停滞していることになるため、渋滞を示す
ことになる。

【００３１】また、背景更新装置１０は、例えば以下の
ように背景を更新する。 Ｂ（ｘ，ｙ，ｔ）＝α×Ｉ（ｘ，ｙ，ｔ）＋（１−α） ×Ｂ（ｘ，ｙ，ｔ−１） …（９） α：パラメータ、０≦α≦１ α＜εのとき α＝０ ε：パラメータ 上式（９）のように適応型平滑化モデルを用いて背景更
新を行なえば、画像における急激な輝度変化は移動体を
示すという認識を行ない、急激な輝度変化に対しては背
景の追従をしないか、あるいは背景の追従速度が十分遅
くなる。また、画像における緩やかな輝度変化は日照に
よる輝度変化であるという認識を行ない、緩やかな輝度
変化に対しては背景の速度追従をすることができる。

【００３２】入力画像の輝度変化が小さいときは上記α
が大きくなり背景画像の追従性が高まる。逆に、輝度変
化が大きいときにはαが小さくなり、変化に対しての追
従性が低下する。すなわち、入力画像において背景画像
と比較して急激な輝度変化があった場合、それは移動体
を示すという認識を行ない、αを小さくして、入力画像
に対して背景の追従をしないか、あるいは背景の追従速
度を十分遅くすることができる。入力画像において背景
画像と比較して緩やかな輝度変化があった場合、緩やか
な輝度変化は日照による輝度変化であるとみなして、α
を大きくして、入力画像に対して背景画像の追従を速く
することができる。

【００３３】なお、本発明は上記実施の形態のみに限定
されず、要旨を変更しない範囲で適時変形して実施でき
る。 （実施の形態のまとめ）実施の形態に示された構成及び
作用効果をまとめると次の通りである。 ［１］実施の形態に示された移動体計測装置は、撮像さ
れた連続画像を入力し、各画像から所定領域を読み込む
連続画像入力手段（１）と、この連続画像入力手段
（１）から出力された画像における所定の背景画像との
振動ぶれを検出し補正する画像ぶれ検出・補正手段
（２）と、この画像ぶれ検出・補正手段（２）から出力
された画像と前記背景画像との差分をとり、移動体部分
を抽出する背景差分手段（３）と、この背景差分手段
（３）から出力された差分画像を平滑化する平滑化手段
（４）と、この平滑化手段（４）から出力された平滑化
差分画像から２値化しきい値を計算し、前記平滑化差分
画像を２値化する２値化手段（５）と、この２値化手段
（５）から出力された２値画像のノイズ除去及び整形を
行なうノイズ除去・整形手段（６）と、このノイズ除去
・整形手段（６）から出力された２値画像を前記移動体
の移動方向に射影する射影変換手段（７）と、この射影
変換手段（７）から出力された射影ベクトルを時間方向
に展開する射影展開手段と（８）、この射影展開手段
（８）の情報を基に前記移動体に係る情報を求める情報
計算手段（９）と、から構成されている。

【００３４】したがって上記移動体計測装置によれば、
実際に振動が起こる場所にカメラを設置した場合でも、
振動ぶれにより移動体以外の背景の領域が移動したとみ
なして抽出することがなくなり、前記移動体の変化量と
ともに前記移動体全体を抽出することができ、渋滞等に
より前記移動体が停止している場合にも抽出することで
きる。また、高速で移動する移動体を撮像したとき、背
景と移動体との境界にぼけが生じることはなく、前記移
動体のエッジを抽出することができる。さらに、前記移
動体の移動方向がほぼ一定である場合にも、速やかに前
記移動体に係る情報を求めることができる。 ［２］実施の形態に示された移動体計測装置は上記
［１］に記載の装置であって、かつ前記背景画像を更新
する背景画像更新手段（１０）を備えている。したがっ
て上記移動体計測装置によれば、画像にて輝度変化が生
じた場合に、前記移動体の移動と前記背景の変化とを区
別して処理することができる。

【００３５】

【発明の効果】本発明の移動体計測装置によれば、実際
に振動が起こる場所にカメラを設置した場合でも、振動
ぶれにより移動体以外の背景の領域が移動したとみなし
て抽出することがなくなり、前記移動体の変化量ととも
に前記移動体全体を抽出することができ、渋滞等により
前記移動体が停止している場合にも抽出することでき
る。また、高速で移動する移動体を撮像したとき、背景
と移動体との境界にぼけが生じることはなく、前記移動
体のエッジを抽出することができる。さらに、前記移動
体の移動方向がほぼ一定である場合にも、速やかに前記
移動体に係る情報を求めることができる。

【００３６】本発明の移動体計測装置によれば、画像に
て輝度変化が生じた場合に、前記移動体の移動と前記背
景の変化とを区別して処理することができる。すなわち
本発明によれば、移動体に係る情報を精確に得ることが
できる移動体計測装置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る移動体計測装置の撮
像系概略を示す図。

【図２】本発明の実施の形態に係る移動体計測装置の構
成を示すブロック図。

【図３】本発明の実施の形態に係る画像ぶれ検出・補正
をした場合の背景差分を示す図。

【図４】本発明の実施の形態に係る１次元射影変換装置
による１次元射影変換を示す図。

【図５】本発明の実施の形態に係る１次元の移動方向射
影展開画像の例を示す図。

【図６】従来例に係る撮像装置であるカメラの振動ぶれ
がないと仮定した場合の処理と問題点を説明するための
図。

【符号の説明】

１…連続画像入力装置 ２…画像ぶれ検出・補正装置 ３…背景差分装置 ４…平滑化フィルタ装置 ５…２値化装置 ６…ノイズ除去・整形フィルタ装置 ７…１次元射影変換装置 ８…１次元射影展開装置 ９…移動体情報計算装置 １０…背景更新装置 １１…制御装置

Claims (2)

【特許請求の範囲】
1. 【請求項１】撮像された連続画像を入力し、各画像から
   所定領域を読み込む連続画像入力手段と、 この連続画像入力手段から出力された画像における所定
   の背景画像との振動ぶれを検出し補正する画像ぶれ検出
   ・補正手段と、 この画像ぶれ検出・補正手段から出力された画像と前記
   背景画像との差分をとり、移動体部分を抽出する背景差
   分手段と、 この背景差分手段から出力された差分画像を平滑化する
   平滑化手段と、 この平滑化手段から出力された平滑化差分画像から２値
   化しきい値を計算し、前記平滑化差分画像を２値化する
   ２値化手段と、 この２値化手段から出力された２値画像のノイズ除去及
   び整形を行なうノイズ除去・整形手段と、 このノイズ除去・整形手段から出力された２値画像を前
   記移動体の移動方向に射影する射影変換手段と、 この射影変換手段から出力された射影ベクトルを時間方
   向に展開する射影展開手段と、 この射影展開手段の情報を基に前記移動体に係る情報を
   求める情報計算手段と、 を具備したことを特徴とする移動体計測装置。
2. 【請求項２】前記背景画像を更新する背景画像更新手段
   を備えたことを特徴とする請求項１に記載の移動体計測
   装置。