JPH11175736A - 物体領域追跡装置および物体領域追跡方法 - Google Patents

Abstract

(57)【要約】 【課題】画像中の追跡対象物体の移動軌跡を画像処理に
より抽出するに当たり、車線のぺイントなど背景に存在
する画像特徴量の大きい物体あるいは模様がテンプレー
ト内部または入力画像に含まれると、画像間の照合評価
値に対して背景が支配的になるために、追跡ウィンドウ
が背景に貼り付いてしまうなど、追跡結果の信頼性が低
くなる問題を解消する。 【解決手段】入力画像からぺイント領域を抽出し、物体
の参照画像と入力画像を照合処理する際に、画像データ
照合手段14はどちらかの画像でぺイント領域に対応する
部分は透明化し、照合演算には寄与させないようにする
ことで、白線ぺイントなど路面の背景によらず安定して
物体追跡が可能となるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、得られる画像から
画像処理により画像中の対象物の追跡を行う物体領域追
跡装置及び物体領域追跡方法に関わり、特に、道路に据
え付けられた監視カメラを画像処理によって自動化し、
交通流の自動計測を行ったり、突発事象の自動検出を行
う監視システム等に適用して最適な道路走行中の自動車
の領域を画像中で追跡するための物体領域追跡や、ある
いは、デパート構内、駅構内等の監視カメラなどにおけ
る人物の追跡や、ヒューマンインタフェースに用いられ
る顔や手の追跡などにも広く応用可能な、画像処理によ
る物体領域追跡装置及び物体領域追跡方法に関する。

【０００２】

【従来の技術】近年、高速道路や幹線道路などに据え付
けられた監視カメラの映像を、画像処理することによっ
て交通流を自動計測したり、突発事象を自動的に検出す
ると云った機能を持たせる監視システムの開発が求めら
れている。

【０００３】交通流の計測としては、例えば、車両ごと
の走行速度の測定があり、このためには各時刻（各フレ
ーム）で撮影された画像から各車両の位置を精密に抽出
する必要がある。

【０００４】このような用途、すなわち、車両位置を画
像領域で追跡するといった用途に利用可能な従来の手法
としては、例えば、「高橋、北村、小林、“画像処理に
よる交通流監視方法の研究”電子情報通信学会技術研究
報告、パターン認識・メデイア理解９７−６ ｐｐ．４
１−ｐｐ４８」で利用される参照画像とのマッチング手
法がある。

【０００５】この手法は、前フレームの画像から切り出
された、物体を含む部分画像領域を参照画像として設定
し、現フレームの入力画像の中から参照画像に最もよく
当てはまる領域を抽出する。

【０００６】この処理を時系列的に入力される入力画像
の各フレームごとに実行することで、物体を追跡する。
このとき、各フレームごとに、抽出された領域を次フレ
ームの参照画像として用いることで、参照画像の更新を
繰り返す。

【０００７】抽出された追跡対象物体を含む領域は、追
跡ウィンドウと呼ばれる。参照画像と入力画像の照合評
価値としては、一般に相関値などを用いる。また、一般
に、参照画像はテンプレートと呼ばれ、テンプレートは
処理の高速化や扱い易さから、形状としては矩形がよく
用いられる。

【０００８】監視カメラが広い範囲を撮影している場合
は、パースペクティブが効いている（つまり、奥行き方
向に広がりがある）ために、画像内の車両は平行四辺形
に近い台形状に（つまり、画像中では傾いて）撮影され
る。したがって、矩形のテンプレート内部車両の像がす
っぽりと隙間なく収まることはなく、平行四辺形に近い
台形状で映し込まれることになる結果、テンプレート内
部には車両画像の隙間に車両以外の背景が含まれると云
った状態の画像となることは非常に多い。

【０００９】また、テンプレート（参照画像）は入力画
像内で走査されて、さまざまな位置の画像領域と照合さ
れることになるから、参照画像の比較対象となる領域
（矩形の領域）には、当然、車両の他に背景も多数含ま
れてくることになる。そして、この背景画像などが処理
上の問題の原因をつくる。これを解消するにはテンプレ
ートを車両の形状に沿って忠実に精密に切り出すように
すれば良いわけである。

【００１０】しかし、テンプレートを車両の形状に沿っ
て忠実に精密に切り出すことは現実には非常に困難であ
り、例えば、前後左右の車両と領域がつながってしまっ
たり、車両の影領域を含めて切り出してしまうなど、抽
出誤りは非常に頻繁に発生する。

【００１１】従って、テンプレートの取り方にかかわら
ず、領域内に背景が含まれる状況は十分に考慮していな
ければならない。さて、交通流の監視カメラを想定した
場合、車両を矩形で切り出したときにテンプレート内に
入ってくる背景としては道路面上の白線（車線のぺイン
ト）が多くなる。

【００１２】背景の車線ぺイントは領域の輪郭が明瞭
で、色や明るさも道路面とは明瞭に異なり、画像特徴が
特に明瞭な領域である。明瞭な画像特徴は、テンプレー
ト画像の照合処理の際、画像間の相関の計算値に対する
寄与は大きい。

【００１３】とくに、追跡する車両が画像内で小さく撮
影されている場合や、車両が暗色系で色も明るさも道路
面との差が小さい場合（明瞭でない場合）や、車両の模
様が乏しい場合などは、車両の画像特徴が明瞭でなくな
り、車両の画像間の相関の計算値に対するその寄与は小
さくなる。従って、背景のぺイントがテンプレートに含
まれると、その相関計算値への寄与は非常に大きくな
る。

【００１４】このように背景の車線のぺイントがテンプ
レートに含まれると、画像間の相関の計算値に対して支
配的になり、追跡ウィンドウは背景に貼り付いてしま
い、追跡を誤る。

【００１５】テンプレートに車線のぺイントが含まれる
場合も相関計算値に対して悪影響を与えるが、テンプレ
ートの比較対象となる画像領域に車線のぺイントが含ま
れる場合も同様に、相関計算値に対して悪影響を与え
る。すなわち追跡結果を誤ることがある。以上のよう
に、従来の追跡手法では車両の追跡に失敗することが非
常に頻繁に発生する。

【００１６】

【発明が解決しようとする課題】交通流の監視カメラを
想定した場合、撮影領域に奥行きがあるために、車両は
台形に写る傾向がある。そのため、車両を矩形のテンプ
レートで切り出したときに、その矩形のテンプレート内
に台形の車両部分の像が入っているかたちとなり、この
台形からはみ出す部分が車両以外の背景画像部分とな
る。

【００１７】そして、このとき矩形のテンプレートに入
ってくる背景としては道路面上の白線が多くなる。この
背景の車線ぺイントは、領域の輪郭が明瞭で、色や明る
さも道路面とは明瞭に異なり、画像特徴が特に明瞭な領
域である。そして、明瞭な画像特徴は、テンプレート画
像の照合処理の際、画像間の相関の計算値に対する寄与
は大きく、特に、追跡する車両が画像内で小さく撮影さ
れている場合や、追跡対象車両像と道路面との差が小さ
い場合、あるいは車両の模様が乏しい場合などは、その
車両の画像特徴が不明瞭となり、画像間での車両の相関
の計算を行うにあたり、その車両の画像の寄与は小さく
なる。

【００１８】故に、背景のぺイントがテンプレートに含
まれると、そのペイントの像の相関計算値への寄与は非
常に大きなものとなってしまう。このように車線のぺイ
ントがテンプレートに含まれると、このペイントの像は
画像間の相関の計算値に対して支配的になり、追跡ウィ
ンドウは背景に貼り付いてしまい、追跡を誤る。

【００１９】また、テンプレートの比較対象となる画像
領域に車線のぺイントが含まれる場合も同様に、相関計
算値に対して悪影響を与える。すなわち追跡結果を誤る
ことがある。

【００２０】このように従来の手法は、道路における白
線などのぺイント部分の像などが、テンプレート内部ま
たは入力画像に含まれると、画像間の照合評価値に対し
て背景が支配的になるために、追跡ウインドウが背景に
貼り付いてしまうなど、追跡結果の信頼性が低くなる問
題があった。

【００２１】そこで、この発明の目的とするところは、
逐次得られる画像より車両や人などの追跡対象物をテン
プレート（参照画像）との照合により抽出するにあた
り、画像特徴が明瞭すぎる背景、例えば、道路における
白線などのぺイント部分の像など、が背景に存在した場
合においても、また、画像特徴量の大きい物体や画像特
徴量の大きい模様が、テンプレート内部または入力画像
に含まれていたとしても、高い追跡結果の信頼性を確保
できるようにした物体領域追跡装置および物体領域追跡
方法を提供することにある。

【００２２】

【課題を解決するための手段】上記目的を達成するため
に本発明は、所定の撮像エリアを対象としてそのエリア
における追跡対象物体の画像を入力する画像入力手段
と、この画像入力手段にて入力される画像中の背景情報
の領域を記憶した位置記憶手段と、追跡対象物体の参照
画像および前記入力画像それぞれの画像データの背景領
域を除去する透明化演算を施しつつ、両画像データが一
致する領域を探す照合処理を行う画像データ照合手段
と、画像データ照合手段の照合結果を出力する出力手段
と、を具備することを特徴とする。

【００２３】また、道路の所定撮像エリアを対象として
そのエリアにおける追跡対象物体の画像を入力する画像
入力手段と、前記所定撮像エリアにおける道路上のぺイ
ント領域を記憶したぺイント位置記憶手段と、追跡対象
物体の参照画像および前記入力画像それぞれの画像デー
タのペイント領域を除去する透明化演算を施しつつ、両
画像データが一致する領域を探す照合処理を行う画像デ
ータ照合手段と、画像データ照合手段の照合結果を出力
する出力手段と、を具備することを特徴とする。

【００２４】また、参照画像記憶手段は、入力画像から
画像領域を抽出し参照画像を更新する際に、道路上ペイ
ント領域の画素位置を透明化演算位置として記憶するこ
とを特徴とする。

【００２５】本発明では、まず入力画像から背景画像領
域（例えば、道路である場合では特徴のはっきりした背
景画像であるぺイント領域など）を抽出し、物体の参照
画像と入力画像を照合処理する際に、画像でぺイント領
域に対応する部分は透明化し、照合演算には寄与させな
いようにした。このようにすることで、例えば、特徴の
はっきりし過ぎた白線ぺイントなどが映っていたとして
も、そのような路面の背景に影響されることなく、安定
して物体追跡が可能となる。

【００２６】また、テンプレート（参照画像）を更新す
る際は、テンプレートに含まれるぺイント領域を特別に
記憶しておくことで、次時点の照合においても背景の影
響を受けないようにした。

【００２７】これにより、背景によらず安定して追跡対
象物の追跡が可能な画像処理による車両や人物等の対象
物の追跡ができるようになり、自動化された監視システ
ムの実現に途が開かれる。

【００２８】

【発明の実施の形態】本発明は、白線の画像位置を別途
抽出し、その領域を記憶しておくことで、白線ぺイント
など路面の背景に影響されることなく、安定して追跡対
象物体の追跡できる物体領域追跡装置および物体領域追
跡方法を提供するもので、以下、本発明の具体例につい
て図面を参照して説明する。

【００２９】はじめに、本発明の基本的な考え方につい
て、触れておく。本発明では、例えば道路の交通流監視
を考える。この場合、整備された道路では車線を明確に
するために、白線を引いたりするなど、路面にペイント
を施しており、監視カメラでとらえた画像には、このよ
うなペイント部分の像も含まれてくる。このペイント部
分の像は、本発明ではペイントのエリアとして捉える。

【００３０】ペイントのエリアというのは「位置」の情
報であり、監視カメラの角度が固定なら、環境に依存せ
ず安定して抽出できる。物体追跡のための計算をする場
合には、計算に対して支配的な（つまり、影響力が大き
い）のはこのペイント部分の情報の方であるので、「ペ
イントのエリアは最初から計算するのは止める」という
のがこの発明の重要な考え方である。

【００３１】移動する監視対象物体を画像から追跡する
場合に、邪魔な背景を除去するには、画像間の差分をと
るという手法もあるが、この差分から入力画像中の背景
画像を除去して、対象物だけ抽出する方法は環境変化の
影響を受けて不安定であるが、ペイントのエリアを処理
の対象から外してしまう方法は、このペイントの画像部
分の影響力が大なるが故に効果の大きい手法となる。

【００３２】本発明ではペイントのエリアを透明化する
が、このペイントのエリアの透明化処理は、位置情報だ
けでもあれば可能な処理である。従って、入力された画
像の輝度値のスパイク状のノイズには影響されず、ま
た、環境の変化、例えば、太陽が雲間に隠れたり、出た
りするなどの照明条件等の変化、があって画像全体の明
るさが変化すると云ったことがあっても、このような画
像の乱れに影響されることが無い。つまり、本発明は画
像の輝度に関するノイズには影響を受けないものであ
り、時間や条件が変わっても安定動作が保証される。す
なわち、環境依存度は低く、安定性が高い。

【００３３】本発明は、環境に対する制約が低く一般的
な環境で撮影した画像に適用可能な処理方式を提供す
る。そして、まずはじめに、一般的な状況を想定した具
体例を第１の実施形態で説明し、環境に影響されて追跡
対象物体の切り出しが完全にはできない場合でも、少な
くともペイント領域は計算外とすることにより、処理の
安定性は確保できることを第２の実施形態で説明する。
さらに、透明化演算の対象となる背景はペイントの位置
情報に限らず、他にも考えられることを示す例を、第３
の実施形態で説明する。

【００３４】（第１の実施形態）図１は本発明の第１の
実施形態を示すブロック図である。図１の物体領域追跡
装置は、画像入力手段１１、ペイント位置記憶手段１
２、参照画像記憶手段１３、画像データ照合手段１４、
出力手段１５とから構成される。

【００３５】これらのうち、画像入力手段１１は追跡対
象物を撮像して入力する手段であって、テレビカメラな
どの撮像装置により撮影された画像をＡ／Ｄ変換し、照
合処理用のデータとして記憶するものである。

【００３６】ペイント位置記憶手段１２は画像内の車線
ぺイントの画像領域を記憶するためのものであって、例
えば、カメラの視野が図２（ａ）の如きのものであった
として、この視野から車線の部分を抽出して図２（ｂ）
の如く、車線ぺイントの画像領域を得て当該車線ぺイン
トの画像領域の情報を記憶させている。

【００３７】また、参照画像記憶手段１３は、画像入力
手段１２から入力された画像のうち、追跡対象物体を含
むような部分画像を参照画像Ｐref として記憶するもの
であって、参照画像Ｐref は一般的には前時刻（前フレ
ーム）における入力画像Ｐin中の追跡対象物体の抽出結
果であることから、前フレームにおいて画像内の位置と
領域が抽出されると、その領域の部分画像を切り出して
参照画像Ｐref とするようにしている。

【００３８】画像データ照合手段１４は、入力画像Ｐin
と追跡対象物体の参照画像Ｐref のそれぞれの画像デー
タのペイント領域に対して透明化演算を施しつつ、画像
データの照合を行うものであり、出力手段１５はこの画
像データ照合手段１４の照合結果を出力するためのもの
である。

【００３９】次にこのような構成の本システムの作用を
説明する。本システムにおいては、画像入力手段１１に
よって撮影された画像はＡ／Ｄ変換され、照合処理用の
データとなって画像入力手段１１に記憶され、入力画像
Ｐinとなる（図３参照）。

【００４０】ペイント位置記憶手段１２には入力画像Ｐ
in内の車線ぺイントの画像領域が記憶されている（図２
（ｂ）参照）。一般的な交通流監視システムの場合、画
像入力手段１１はカメラであり、このカメラは通常、監
視対象道路の道路脇などに固定されている。カメラは視
野方向が固定式か、可動式となっており、固定カメラ
（視野方向固定式のカメラ）の映像の場合は画像内の車
線ぺイントの位置も画像内で一定位置になるので、事前
に何らかの方法で以て車線位置を入力し、記憶しておく
ことができる。例えば、最も単純には、人手によって車
線ぺイント位置を教示すればよい。

【００４１】一方、カメラの方向が切り替え方式の場合
は、切り替え方向が有限個であればそれぞれの切り替え
方向に対して、車線位置を教示しておけば良い。また、
カメラの視野方向が一定時間毎に様々に変化するような
場合でも、画像内部の車線位置を逐次抽出して、画像入
力手段１１の記憶内容を更新すれば良く、その場合での
車線位置（車線ペイント）の抽出方法には、例えば次の
５種が考えられる。

【００４２】［車線ペイント抽出方法１］道路上のぺイ
ント位置を３次元情報としてあらかじめ記憶しておき、
カメラパラメータ（カメラの設置位置、カメラの方向、
カメラの焦点距離など）を用いてその画像内の投影位置
を計算し、ぺイント領域を抽出する。

【００４３】［車線ペイント抽出方法２］天候や照明条
件（照明の照度や色など）や路面の濡れ状況などカメラ
の設置環境の情報を用いれば、車線ペイントが画像内で
どの範囲の色あるいは輝度値になるかが推定できる。設
置環境の情報から画像内での車線ぺイントの色や輝度値
を推定し、画像処理により当該範囲の領域を抽出するこ
とで、ぺイント領域を抽出する。

【００４４】［車線ペイント抽出方法３］道路上のぺイ
ントは幅、長さ、曲率などが仕様により定められている
ので、幾何学的特徴がある。これらの幾何学特徴（例え
ば幅と曲率が一定の直線、曲線、破線を抽出するなど）
に適合する領域を画像処理により抽出することで、ぺイ
ント領域を抽出する。

【００４５】［車線ペイント抽出方法４］カメラの視野
方向が設定されてから、例えば、１分間の画像を撮影
し、画像内のそれぞれの画素位置毎に輝度のモード値
（時間内で最も頻繁に現れた輝度値）を抽出する。路上
が渋滞状態でなければ、輝度のモード値は道路面の輝度
値になる。すなわち、車両が映っていない、背景画像が
生成される。

【００４６】車両の無い背景画像が抽出できれば、背景
画像の道路面領域は画像処理によりぺイント領域と非ぺ
イント領域に明確に分離できるので（例えば輝度のヒス
トグラムを生成して暗い領域と明るい領域に分離す
る）、この処理によってぺイント領域を抽出できる。

【００４７】［車線ペイント抽出方法５］上記［車線ペ
イント抽出方法１］乃至［車線ペイント抽出方法４］の
組み合わせ。などである。

【００４８】このように画像処理によって自動的に抽出
する方法は多数存在する。そして、本発明システムで
は、このような処理を事前に、あるいは随時に施すこと
で、入力画像Ｐin内のぺイント位置の情報はペイント位
置記憶手段１２に記憶されている。

【００４９】参照画像記憶手段１３には追跡対象物体を
含むような部分画像が、参照画像Ｐref として記憶され
ている。参照画像Ｐref は一般的には前時刻（前フレー
ム）画像における追跡対象物体の抽出結果である。前フ
レーム（前時刻における入力画像Ｐin）において、追跡
対象物体を含む部分画像の画像内における位置と領域が
抽出されると、その領域の部分画像を切り出して参照画
像Ｐref とする。

【００５０】本発明の特徴は、この際、参照画像Ｐref
内に車線ぺイントの領域があった場合は、当該領域の位
置がペイント位置記憶手段１２の情報よりわかるように
してあることである。

【００５１】画像データ照合手段１４は参照画像Ｐref
を入力画像Ｐin内で走査し、二つの画像のマッチングを
行う。例えば、図４に示すように参照画像Ｐref を入力
画像Ｐin内で左上位置より逐次ＸＹ走査して、参照画像
Ｐref と入力画像Ｐinの画像のマッチングを行う。ここ
でいうマッチングとは、比較する二つの画像（入力画像
Ｐinと参照画像（テンプレート）Ｐref ）の相関が最も
良い位置と領域を、当該入力画像における追跡対象物体
の位置として抽出することを言う。

【００５２】二つの画像の相関の良さの評価方法には、
一般には相関値（最大のところがもっとも良い）や、差
の二乗和（最小のところがもっとも良い）などがある。
以後の説明では評価値として相関値を用いたマッチング
を行うものとして説明する。

【００５３】画像データ照合手段１４の具体的な処理手
順は図６、図７に示すようになる。図６は照合手続きの
手順であり、図７は相関値計算の手順である。図６の照
合手続き手順を説明する。

【００５４】＜画像データ照合手段１４の照合手続手順
＞まず、画像が入力され、画像入力手段１１にデータ
（道路を含む路上の走行車両をとらえたフレーム画像）
が記憶されると（図６のステップＳ４０１）、画像デー
タ照合手段１４は参照画像（テンプレート）Ｐref とフ
レーム画像（入力画像Ｐin）における照合を行う領域を
設定し（例えば、路側帯の植え込みの木の映っている領
域などは照合を行う必要が無い領域であるから、この領
域を照合領域から外すなど）、照合領域の各位置に対し
て相関演算をするために走査を開始する（図６のステッ
プＳ４０２）。

【００５５】照合位置と照合する部分領域を設定すると
（図６のステップＳ４０３）、その部分画像を参照画像
Ｐref に対応するように正規化し、これを比較用データ
とする（図６のステップＳ４０４）。正規化は、例え
ば、領域の形状や大きさを参照画像と同一にしたり、画
像輝度の正規化（画像輝度の二乗和を一定値にスケール
変換する正規化や、画像輝度のヒストグラムを一様化す
る正規化などがある）を行ったりする。正規化を行った
際に領域内の車線ぺイントの位置も画像と同様に変換し
ておき、比較用データのどの位置が車線ペイントの位置
であるか判別できるようにしておく。

【００５６】なお、この正規化は物体追跡装置の仕様に
基づいて適用するものであるから、正規化の無い場合も
考えられる。比較用データ（入力画像Ｐinの部分領域に
正規化を施したデータ）と、参照画像Ｐref のデータ間
で相関演算を行う（図６のステップＳ４０５）。尚、相
関演算ステップであるステップＳ４０５での処理の詳細
は図７で説明する。

【００５７】照合領域内の全ての位置でマッチングが終
了したか判断し（ステップＳ４０６）、未了であれば次
の位置へ進んで上述の処理を繰り返す（図６のステップ
Ｓ４０７）。

【００５８】全ての位置でマッチングが終了していれ
ば、相関値が最も大きくなった位置と領域を結果として
抽出して終了する（図６のステップＳ４０８）。以上は
照合手続き手順であった。次に相関演算ステップである
ステップＳ４０５での相関値計算手順を説明する。

【００５９】＜相関値計算の手順＞相関値計算は、図５
に示す如く行われる。すなわち、図５は、相関計算の演
算範囲を模式図で示したものであって、図５の（ａ）は
参照画像Ｐref 、（ｂ）は比較データ（入力画像の一
部）、（ｃ）は相関計算の演算範囲を示している。そし
て、３０が追跡対象の車両の像、３１ａ，３１ｂが車線
部分、３２が演算対象となる範囲である。

【００６０】図７の手順である相関値計算の手順を説明
する。相関値計算は、まずはじめに透明化演算から行
う。この透明化演算はステップＳ５０３、ステップＳ５
０４、ステップＳ５０５で実現される演算である。な
お、透明化演算とは図５に示すように、例えば、車線位
置３１の画素を計算対象外とする手続きを意味してい
る。

【００６１】照合処理の対象となるのは、比較用データ
と参照画像Ｐref である。比較用データというのは例え
ば図５（ｂ）の如く、参照画像Ｐref （図５（ａ））と
照合しようとしている入力画像Ｐinの一部画像のことで
ある。

【００６２】相関値計算は、まず、相関値の計算のため
に必要なカウンタ（画素数カウンタ）と統計値（相関値
の計算をする場合は、それぞれの画像の輝度値の総和や
輝度値の二乗和や互いの輝度値の積などになる）をクリ
アすることから始める（図７のステップＳ５０１）。

【００６３】上記カウンタと統計値がクリアされたなら
ば、次に領域内を走査を開始する（図７のステップＳ５
０２）。以下に説明する計算ステップＳを領域内の全て
の画素に対して行う。

【００６４】次に計算位置の画素が比較用データ（図５
（ｂ））のぺイント位置３１ｂに対応するか調べ、ぺイ
ント位置に対応する場合はステップＳ５０６に進み、ぺ
イント位置に対応しない場合はステップＳ５０４に進む
（図７のステップＳ５０３）。

【００６５】次に計算位置の画素が参照画像Ｐref （図
５（ａ））のぺイント位置３１ａに対応するか調べ、ぺ
イント位置に対応する場合はステップＳ５０６に進み、
ぺイン卜位置に対応しない場合はステップＳ５０５に進
む（図７のステップＳ５０４）。

【００６６】計算位置が比較用データのペイント位置に
も、参照画像Ｐref のぺイント位置にも対応しない位置
である場合は、相関演算の対象となる（図５（ｃ）参
照）。次に画素数カウンタを１つ進め、統計値の更新を
行う（図７のステップＳ５０５）。

【００６７】更新が済んだならば、つぎに照合領域内の
画素の走査が全て終了したか否かを判断し、その結果、
領域内の走査が終了していなければステップＳ５０７へ
進み、次の計算位置へ進む。

【００６８】一方、領域内の走査が終了していればステ
ップＳ５０８へ進む（図７のステップＳ５０６）。そし
て、画素数カウンタおよび統計値から相関値を計算する
（ステップＳ５０８）。

【００６９】本発明の特徴は、ぺイント位置記憶手段１
２を備えることで、比較用データと参照画像Ｐref のペ
イント位置が既知となり、この参照画像Ｐref のペイン
ト位置が既知となったことで、照合領域の画像のどの部
分が入力画像Ｐinのペイント位置であるのか（ステップ
Ｓ５０３）および参照画像Ｐref のペイント位置である
のか（ステップＳ５０４）の判定処理ができるようにな
った点にある。

【００７０】すなわち、白線のぺイント領域を透明化し
た照合演算を可能としたことが特徴である。この結果、
ペイント領域は除外され、従来のように、「ぺイント領
域が明瞭な画像特徴を持つがために、本来の追跡対象物
体の画像特徴に比べ背景の相関計算値が支配的になり、
追跡に失敗する」という問題を解決できるようになる。

【００７１】上述したように、図５は相関計算の演算範
囲を模式図で示したものであって、図５の（ａ）は参照
画像Ｐref 、（ｂ）は比較データ（入力画像の一部）、
（ｃ）は相関計算の演算範囲を示しており、３０が追跡
対象の車両の像、３１ａ，３１ｂが車線部分、３２が演
算対象となる範囲である。

【００７２】道路がカーブしていたり、車高の高い車が
通過する場合、画像上ではぺイント領域（車線３１ａ，
３１ｂ）を跨いでいる場合があるが、ぺイント領域に含
まれるならば相関演算からは除外し、ぺイントの両側の
車両の領域は相関演算の対象とする。

【００７３】なお、入力画像はカラー画像であっても、
あるいはモノクローム画像であっても良く、いずれの場
合でも、照合評価値の計算が異なるだけで図６と図７で
説明した手順は変わらない。

【００７４】さて、画像データ照合手段１４により以上
のように処理され、最適なマッチング結果が得られる
と、出力手段１５は、当該入力画像における追跡対象物
体の位置と領域を出力する。

【００７５】参照画像Ｐref を更新する場合には、出力
結果として切り出された物体の領域内部における車線位
置をぺイント位置記憶手段１２から読み出し、切り出し
た部分画像と当該部分画像の車線位置を新規参照画像Ｐ
ref として参照画像記憶手段１３に記憶する。（すなわ
ち、ぺイント位置は次の時刻の照合において透明化演算
すべき位置を記憶したことになる。） 以上で、一時刻における動作が終了する。

【００７６】以上、第１の実施形態においては、道路を
走行する車両の追跡を画像から行うにあたり、道路上の
車両をとらえたカメラなどの撮像手段からの画像（入力
画像）より、追跡対象の車両抽出の邪魔となる道路のぺ
イントの領域を抽出し、物体の参照画像Ｐref と入力画
像Ｐinを照合処理する際に、これら参照画像Ｐref と入
力画像Ｐinのいずれかの画像でぺイント領域に対応する
部分は透明化し、照合演算には寄与させないようにし
た。そして、これにより、白線ぺイントなど路面の背景
を除外できるようにした。

【００７７】従って、背景によらず安定して画像処理に
よる車両追跡ができるようになり、自動化された監視シ
ステムの実現に途を開くことができるようなる。以上
は、ペイント領域などの路面の背景情報を透明化し、矩
形状の参照画像である矩形状のテンプレート領域を入力
画像と照合してマッチングを行うにあたり、このマッチ
ング領域から前記透明化により無用な背景情報を除外す
ることで車両の画像を得て追跡を行えるようにしたが、
処理を簡単にし、ソフトウエアなどを簡易化するにはテ
ンプレートを車両の形状にしてマッチングを行うように
した方が有利である。そして、そのテンプレートを如何
にして車両の形状するかが課題となるが、それを簡易に
実現する手法を次の第２の実施形態で説明する。

【００７８】（第２の実施形態）ここでは本発明のもう
一つの応用方法として透明化演算機能を用いて、矩形の
マッチング領域から、事実上、車両だけを切り出したと
同じ状態で照合処理を行う方法を説明する。

【００７９】第１の実施形態では入力画像（撮像手段で
撮像されたフレーム画像）Ｐinと参照画像（テンプレー
ト）Ｐref の双方とも、図３と図５で示したようにマッ
チングを行う領域を矩形とし、車両およびその周囲の背
景が含まれたまま、計算することを想定した。

【００８０】しかしながら、本発明に基づいて構成する
物体領域追跡装置の前段階として、何か別の画像処理を
実行することにより、矩形領域の中から車両だけを切り
出すことができる場合がある。例えば、背景画像を事前
に用意して（この方法は第１の実施形態において画像入
力手段１１のところで［抽出方法４］として一例を説明
した）、入力画像と背景画像の差分処理を画像入力手段
１１により施せば、車両領域だけを抽出することが可能
であり、車両領域のみの画像のフレーム画像を得ること
ができる。

【００８１】このとき、前フレームの車両の位置と、入
力画像の車両位置の対応を正確に求めるためには、本発
明で想定する追跡処理を施す必要がある。このとき、入
力画像の中で背景画像と同じ輝度であった部分（つま
り、車両以外の領域）を、第１の実施形態におけるぺイ
ント領域と同等に見做して、照合処理において透明化す
ることができる。

【００８２】このように、予め用意した背景画像と入力
画像との差分をとった差分入力画像を得、この差分入力
画像の中で背景画像と同じ輝度を持つ画素（つまり、車
両以外の領域の画素）を、ぺイント領域と同等に見做し
て、照合処理において透明化することにより、マッチン
グ領域の形状は矩形のまま、結果的に車両領域だけを照
合したのと同じことになる。

【００８３】これにより、対応位置の精度を向上させる
ことができるようになる他、透明化によって相関計算の
計算量を減らすことができるようになり、処理速度の向
上を図ることができるようになる。また、この例の場
合、照合処理自体は矩形の領域のままであるから、処理
を実現するためのハードウェア構成が簡単で済むという
メリットもある。

【００８４】また、第２の実施形態の適用は別のメリッ
トもある。すなわち、２枚の画像間の差分をとることで
変化のある部分を抽出する手法は、従来より知られた方
法であり、これを応用して背景との差分などをとること
により車両を切り出す手法は、車両抽出の手法として簡
単でよい方法であるが、従来の手法のままの適用である
場合、得られる入力画像の条件が良い場合に限られる。

【００８５】それは実際の画像の場合、車両の影の領域
や周辺のノイズなどを含んだり、車両の一部が欠けるな
どの現象があることが多いからである。つまり、車両の
影の領域や周辺のノイズなどを含んだり、車両の一部が
欠けるなどの現象が見られる画像の場合、形状情報だけ
で位置照合を行っても、その照合方法は車両形状が精密
に切り出されていることを想定しているためであり、こ
の条件が崩れている以上、結果の信頼性は低くなる心配
を残しているからである。

【００８６】しかし、このような状況の画像が対象であ
ったとしても、第２の実施形態に示した本発明を適用す
れば、形状情報だけでなく画像情報を用いて照合を行う
ことになるので、処理の信頼度を劣化させる心配は無
い。

【００８７】以上の、第２の実施形態の発明は、マッチ
ング領域を矩形とし、背景画像との差分を取り、さらに
入力画像の中で背景画像と同じ輝度を持つ画素（つま
り、車両以外の領域）を、ぺイント領域等と同等に見做
して、照合処理において透明化することにより、マッチ
ング領域の形状は矩形のまま、結果として車両領域だけ
を照合する方式であり、これによって、環境の影響によ
り車両の切り出しが完全にはできなかった場合でも、少
なくとも白線領域は計算外となるために、処理の安定性
は保たれ、信頼性を確保できるものであった。

【００８８】次に、透明化処理を行う画像領域として、
路面上のぺイント位置だけでなく、画像特徴量の大きな
背景全てを透明化演算の対象とすることで、ペイント以
外に大きな特徴量を持つ背景画像がある場合でも処理と
精度の向上を図ることができる例を第３の実施形態とし
て説明する。この例でもマッチング領域の形状は矩形の
まま、結果として車両領域だけを照合することができ
る。

【００８９】（第３の実施形態）ここに説明する例は、
本発明の別の具体例の一つとしての例であり、透明化処
理を行う画像領域を、路面上のぺイント位置だけでな
く、画像特徴量の大きな背景に対してすべて透明化演算
の対象とする例である。

【００９０】一般に「画像特徴量の大きな領域」とは、
画像輝度あるいは色相が大きく変化する部分である。従
って、道路面上に模様のある領域（例えば、水道工事や
ガス工事等に伴い、道路を掘り返した後、アスファルト
を打ち直した部分などが良い例である）や、暗い色の上
の明るい車線ぺイントや、「止まれ」などの道路表示、
などが画像特徴量の大きな領域に該当し、これらは相関
演算値に対して支配的になる。

【００９１】同様に道路路面上でなく、道路の近傍に存
在する明るい色の物体（例えば、消火栓の白い箱、白い
立看板）なども、画像特徴量が大きい領域になり、相関
演算に対して支配的になりかねない。

【００９２】本発明の第１の実施形態では、画像特徴量
の大きくなる領域として、道路面上の車線ぺイントに特
に着目して説明しているが、車線ペイント以外にも画像
特徴量が大きく、画像の照合に対して悪影響を与える領
域が存在する場合は、第１の実施形態での車線ぺイント
と同様に、透明化演算の対象とすれば良い。そのために
は、車線ぺイントの領域を事前に人間が教示するのと同
様に、これらの領域を含めて透明化演算の対象領域を教
示すれば良いのである。

【００９３】このように、車線ペイントの他、画像特徴
量が大きく、画像の照合に対して悪影響を与える領域が
存在する場合は、その領域も透明化演算の対象とするよ
うに、予めその対象領域を教示などにより、人為的に設
定しておく。そして、それらの領域を透明化演算する。

【００９４】以上の、第３の実施形態の発明は、入力画
像中に画像特徴量が大きく、画像の照合に対して悪影響
を与える領域が存在する場合に、その領域を予め人為的
に透明化対象領域として設定し、照合処理において当該
透明化対象領域の画素を透明化するようにしたことによ
り、マッチング領域の形状は矩形のまま、結果として車
両領域だけを高信頼性を以て照合することができるよう
になる。

【００９５】なお、この実施形態により、透明化演算の
対象となる背景は白線の位置情報に限らず、他にも考え
られる種々のものを対象にすることことができることが
わかる。そして、この背景の例も位置情報だけに基づけ
ば処理可能であり、環境に依存しない特徴がある。

【００９６】次に相関値計算の手法の別の例を第４の実
施形態として説明する。相関値計算に関して、第１の実
施形態の図７の説明では、参照画像と入力画像のそれぞ
れに画像データの他に透明化演算位置の表（テーブル）
があることを想定して説明した。しかし、透明化演算位
置のテーブルを用いずとも、実現することができる。そ
の例を第４の実施形態として説明する。

【００９７】（第４の実施形態）相関値計算に関して、
第１の実施形態の図７の説明では、参照画像Ｐref と入
力画像Ｐinのそれぞれに画像データの他に透明化演算位
置の表（テーブル）があることを想定していたが、この
第４の実施形態ではテーブルを使用しない。具体的に説
明する。

【００９８】画像データは細かくすればするほど、高画
質の画像となるが、データ量が飛躍的に増大してしまう
ため、リアルタイムに画像処理するには適正なレベルが
自ずから決まる。交通流監視システムなどのようなリア
ルタイムに画像の処理をする必要のあるシステムに用い
られる画像としては、画素当たり、８ビット構成程度が
適正である。

【００９９】そして、ディジタル画像が画素当たり８ビ
ット構成のデータとして記憶される場合、１画素当たり
８ビット構成の画像データは、８ビットを全て輝度値と
して利用する場合、“０”から“２５５”までの２５６
段階のグレースケールを表すことができることになり、
“０”が完全に黒の階調の画素、“２５５”が完全に白
の階調の画素に対応する輝度値になる。“０”または
“２５５”の輝度は入力センサの対応範囲外に対応する
のであるから、通常、画像内の全ての画素は“０”と
“２５５”の中間の値となる。

【０１００】このことを利用して、“輝度０”という値
を透明化演算に対応する位置のフラグとして利用する。
まず、画像入力手段１１が画像を入力した際に、ぺイン
ト位置記憶手段１２に記憶された位置に対応する画素値
を「全て“０”」にする操作を行う。すなわち、ぺイン
ト位置記憶手段１２は画像入力手段１１から入力される
画像内の不要な画像部分である車線ぺイントの画像領域
や、路面の工事補修跡、看板、道路際の特定構造物など
といった画像特徴量の大きな対象物の映っている除外対
象領域の情報を予め記憶させたものであり、フレームメ
モリ対応のメモリを有していて前記除外対象領域を例え
ば、画素単位で記憶させてある。

【０１０１】一方、画像入力手段１１はディジタルデー
タ化した入力画像Ｐinをフレームメモリに一旦記憶させ
るが、その際に、上記除外対象領域に対応する画像の画
素については、全て“０”に設定する（初期化処理）。
これにより、除外対象領域対応の画素はビットデータが
“０”に設定される。

【０１０２】このような処理を入力画像に対して行って
いる結果、参照画像記憶手段１３内の参照画像Ｐref も
透明化演算の位置の画素のデータとしては“０”が入っ
ていることになる。

【０１０３】このようにすると、画像データ照合手段１
４における画像データの相関値計算手続きのステップＳ
５０３と、ステップＳ５０４に対応する部分は、「参照
画像のデータと比較用データのどちらかが、全てビット
“０”であれば演算しない」という論理演算をすれば、
透明化演算位置の表（テーブル）を参照する必要がな
く、テーブルが不要になることとなる。（輝度“０”の
画素として計算するのとは異なる。） ハードウェアによって本発明の追跡装置を実装する場
合、このように論理演算で済ませることができれば、毎
回、大規模なテーブルを検索する方法に比べて、構成が
非常に簡単で済むようになり、処理速度の向上を図るこ
とができるようになる。

【０１０４】尚、本発明は上述した例に限定されるもの
ではなく、種々変形して実施し得ることは勿論である。
そして、本発明は上述の実施例では走行車両の監視など
のために、画像から追跡対象の車両を抽出する例を中心
に説明したが、デパート構内の監視カメラや駅構内の監
視カメラなどにおける人物の追跡や、ヒューマンインタ
フェースに用いられる顔や手の動きの追跡などにも広く
応用可能である。また、実施形態に記載した手法は、コ
ンピュータに実行させることのできるプログラムとし
て、磁気ディスク（フロッピーディスク、ハードディス
クなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、
半導体メモリなどの記録媒体に格納して頒布することも
できる。

【０１０５】以上、種々の実施例を説明したが、要する
に本発明は、所定の撮像エリアを対象としてそのエリア
における追跡対象物体の画像を入力する画像入力手段
と、この画像入力手段にて入力される画像中の背景情報
の領域を記憶した位置記憶手段と、追跡対象物体の参照
画像および前記入力画像それぞれの画像データの背景領
域を除去する透明化演算を施しつつ、両画像データが一
致する領域を探す照合処理を行う画像データ照合手段
と、画像データ照合手段の照合結果を出力する出力手段
とを具備することを特徴とするものである。

【０１０６】また、道路の所定撮像エリアを対象として
そのエリアにおける追跡対象物体の画像を入力する画像
入力手段と、前記所定撮像エリアにおける道路上のぺイ
ント領域を記憶したぺイント位置記憶手段と、追跡対象
物体の参照画像および前記入力画像それぞれの画像デー
タの背景領域を除去する透明化演算を施しつつ、両画像
データが一致する領域を探す照合処理を行う画像データ
照合手段と、画像データ照合手段の照合結果を出力する
出力手段とを具備することを特徴とするものである。

【０１０７】本発明では、まず入力画像から背景画像領
域（例えば、道路である場合では特徴のはっきりした背
景画像であるぺイント領域など）を抽出し、物体の参照
画像と入力画像を照合処理する際に、どちらかの画像で
ぺイント領域に対応する部分は透明化し、照合演算には
寄与させないようにした。このようにすることで、例え
ば、特徴のはっきりし過ぎた白線ぺイントなどが映って
いたとしても、そのような路面の背景影響されることな
く、安定して物体追跡が可能となる。

【０１０８】また、テンプレート（参照画像）を更新す
る際は、テンプレートに含まれるぺイント領域を特別に
記憶しておくことで、次時点の照合においても背景の影
響を受けないようにした。

【０１０９】これにより、背景によらず安定して追跡対
象物の追跡が可能な画像処理による車両や人物等の対象
物の追跡ができるようになり、自動化された監視システ
ムの実現に途が開かれる。

【０１１０】従って、本発明によれば、画像特徴量が大
きい背景の構造物に影響されることなく、画像処理によ
り安定して精密に追跡対象物体の画像領域を抽出するこ
とが可能となり、道路や駅構内に据え付けられた監視カ
メラの自動化に重要な役割を果たすことが可能であり、
多大な実用的効果が期待できる。

【０１１１】

【発明の効果】以上説明したように、本発明によれば、
画像特徴量が大きい背景の構造物に影響されることな
く、画像処理により安定して精密に追跡対象物体の画像
領域を抽出することが可能となるものであり、この結
果、道路や駅構内に据え付けられた監視カメラの自動化
に重要な役割を果たすことが可能な物体領域追跡装置お
よび物体領域追跡方法を提供できる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
一具体例の全体構成を示すブロック図。

【図２】本発明を説明するための図であって、（ａ）は
カメラ視野、（ｂ）はそのカメラ視野中から得た車線ペ
イント領域の情報を示す図。

【図３】本発明の作用を説明するための図。

【図４】本発明の作用を説明するための図。

【図５】本発明を説明するための図であって、相関計算
の演算範囲を模式図で示したものであって、（ａ）は参
照画像Ｐref 、（ｂ）は比較データ（入力画像の一
部）、（ｃ）は相関計算の演算範囲を示す図である。

【図６】本発明を説明するための図であって、本発明の
作用を説明するフローチャート。

【図７】本発明を説明するための図であって、本発明の
作用を説明するためのフローチャート。

【符号の説明】

１１…画像入力手段 １２…ペイント位置記憶手段 １３…参照画像記憶手段 １４…画像データ照合手段 １５…出力手段。

Claims (6)

【特許請求の範囲】
1. 【請求項１】所定の撮像エリアを対象としてそのエリア
   における追跡対象物体の画像を入力する画像入力手段
   と、 この画像入力手段にて入力される画像中の背景情報の領
   域を記憶した位置記憶手段と、 追跡対象物体の参照画像および前記入力画像それぞれの
   画像データの背景領域を除去する透明化演算を施しつ
   つ、両画像データが一致する領域を探す照合処理を行う
   画像データ照合手段と、 画像データ照合手段の照合結果を出力する出力手段と、
   を具備することを特徴とする物体領域追跡装置。
2. 【請求項２】道路の所定撮像エリアを対象としてそのエ
   リアにおける追跡対象物体の画像を入力する画像入力手
   段と、 前記所定撮像エリアにおける道路上のぺイント領域を記
   憶したぺイント位置記憶手段と、 追跡対象物体の参照画像および前記入力画像それぞれの
   画像データのペイント位置領域を除去する透明化演算を
   施しつつ、両画像データが一致する領域を探す照合処理
   を行う画像データ照合手段と、 画像データ照合手段の照合結果を出力する出力手段と、
   を具備することを特徴とする物体領域追跡装置。
3. 【請求項３】請求項２記載の物体領域追跡装置におい
   て、 参照画像記憶手段は、入力画像から画像領域を抽出し参
   照画像を更新する際に、道路上ペイント領域の画素位置
   を透明化演算位置として記憶することを特徴とする物体
   領域追跡装置。
4. 【請求項４】所定の撮像エリアを対象としてそのエリア
   における追跡対象物体の画像を取り込んで入力画像と
   し、 また、前記撮像エリアの背景像を記憶すると共に、 前記入力画像と追跡対象物体の参照画像それぞれの画像
   データの背景像の領域に対してそれを除去するための透
   明化演算を施しつつ、画像データ照合を行って追跡対象
   物体の画像領域を抽出することを特徴とする物体領域追
   跡方法。
5. 【請求項５】道路の所定撮像エリアを対象としてそのエ
   リアにおける追跡対象物体の画像を取り込んで入力画像
   とし、 また、前記撮像エリアにおける道路面上のペイント領域
   を背景像として記憶すると共に、 前記入力画像と追跡対象物体の参照画像それぞれの画像
   データの背景像の領域に対してそれを除去するための透
   明化演算を施しつつ、画像データ照合を行って追跡対象
   物体の画像領域を抽出することを特徴とする物体領域追
   跡方法。
6. 【請求項６】請求項５記載の物体領域追跡方法におい
   て、 入力画像から画像領域を抽出し参照画像を更新する際
   に、道路上ペイント領域の画素位置を透明化演算位置と
   して記憶することを特徴とする物体領域追跡方法。