JP3288474B2 - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP3288474B2 JP3288474B2 JP12256393A JP12256393A JP3288474B2 JP 3288474 B2 JP3288474 B2 JP 3288474B2 JP 12256393 A JP12256393 A JP 12256393A JP 12256393 A JP12256393 A JP 12256393A JP 3288474 B2 JP3288474 B2 JP 3288474B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- speed
- background
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Description
【０００１】
【産業上の利用分野】本発明は、背景画像と、静止物体
またはある速度までの移動物体と背景が含まれる画像を
組み合わせ、差分処理を行うことにより静止物体または
移動物体を同定したり、移動物体の動きを解析できるよ
うにした画像処理装置に関する。
またはある速度までの移動物体と背景が含まれる画像を
組み合わせ、差分処理を行うことにより静止物体または
移動物体を同定したり、移動物体の動きを解析できるよ
うにした画像処理装置に関する。
【０００２】
【０００３】画像中の移動物体を抽出し、解析し、何ら
かの情報を得る技術は様々な産業分野において必要不可
欠である。例えば人間や動物等生物の動きを解析し、そ
れから得た知識を基にして商品の設計等に応用するよう
なことは、より安全で合理的な商品開発に必要である。
かの情報を得る技術は様々な産業分野において必要不可
欠である。例えば人間や動物等生物の動きを解析し、そ
れから得た知識を基にして商品の設計等に応用するよう
なことは、より安全で合理的な商品開発に必要である。
【０００４】また画像を用いた監視処理は種々の場所に
おいて利用されており、事故や災害等の発見に寄与して
いる。しかも近年では単に異常や有事を検知するのみに
とどまらず、事故や災害を未然に防ぐという防災の目的
が強くなってきている。
おいて利用されており、事故や災害等の発見に寄与して
いる。しかも近年では単に異常や有事を検知するのみに
とどまらず、事故や災害を未然に防ぐという防災の目的
が強くなってきている。
【０００５】そのためには事故や災害をもたらす異常な
動きを示す対象物をいち早く検出する必要がある。そこ
で移動物体の動きを捕らえ解析したり、移動物体間の距
離を精度よく算出したりして、その値からいち早く事故
や災害をもたらす異常な動きをする移動物体を検出する
効率的な手法が必要である。
動きを示す対象物をいち早く検出する必要がある。そこ
で移動物体の動きを捕らえ解析したり、移動物体間の距
離を精度よく算出したりして、その値からいち早く事故
や災害をもたらす異常な動きをする移動物体を検出する
効率的な手法が必要である。
【０００６】
【従来の技術】ところで、画像処理を応用した移動物体
の解析として、本特許出願人の出願にかかる例えば特願
平３−３２０５９４号、特願平３−３２０５９７号等が
先行技術としてあるが、これらでは始めに移動物体があ
るかも知れない領域抽出を行い、それらの領域のサイズ
や中心位置等の特徴から対象物を区別し、この対象物の
時間的な変化からその動きを捕らえている。
の解析として、本特許出願人の出願にかかる例えば特願
平３−３２０５９４号、特願平３−３２０５９７号等が
先行技術としてあるが、これらでは始めに移動物体があ
るかも知れない領域抽出を行い、それらの領域のサイズ
や中心位置等の特徴から対象物を区別し、この対象物の
時間的な変化からその動きを捕らえている。
【０００７】例えば人間の運動解析を行う場合、始めに
解析したい部分を抽出する。この抽出した対象に対して
投影値や領域の中心値等の特徴量を算出し、この特徴量
を基にして物体を区別する。次にこのような上記の特徴
量の算出処理を時間的な流れのある画像つまり連続画像
に対して処理を行い、特徴量から画像間での物体の対応
付けを行い、動きを解析している。
解析したい部分を抽出する。この抽出した対象に対して
投影値や領域の中心値等の特徴量を算出し、この特徴量
を基にして物体を区別する。次にこのような上記の特徴
量の算出処理を時間的な流れのある画像つまり連続画像
に対して処理を行い、特徴量から画像間での物体の対応
付けを行い、動きを解析している。
【０００８】
【発明が解決しようとする課題】このような上記の手法
では、時系列画像それぞれに対して、物体全ての領域抽
出・同定処理を行い、且つ画像間での物体の対応付けを
求めなければ、移動物体の属性の抽出、例えば速度を求
めることができない。
では、時系列画像それぞれに対して、物体全ての領域抽
出・同定処理を行い、且つ画像間での物体の対応付けを
求めなければ、移動物体の属性の抽出、例えば速度を求
めることができない。
【０００９】移動物体がただ１つのみであれば画像間の
対応付けは単純であり、比較的簡単にこの時間軸の変化
を含めた、例えば速度の如き属性を求めることができ
る。しかし移動物体が数多く存在する場合においては画
像間の対応付けは難しく、しかも物体が静止していた
り、別々の速度で移動している場合は、それら全てにつ
いてビデオレート処理を行うのは困難である。
対応付けは単純であり、比較的簡単にこの時間軸の変化
を含めた、例えば速度の如き属性を求めることができ
る。しかし移動物体が数多く存在する場合においては画
像間の対応付けは難しく、しかも物体が静止していた
り、別々の速度で移動している場合は、それら全てにつ
いてビデオレート処理を行うのは困難である。
【００１０】従って本発明の目的は、移動物体が数多く
存在する場合でも、静止していたり異なる速度で移動し
ている場合でもビデオレートでこれらの動きが解析でき
る画像処理装置及び画像処理方法を提供することであ
る。
存在する場合でも、静止していたり異なる速度で移動し
ている場合でもビデオレートでこれらの動きが解析でき
る画像処理装置及び画像処理方法を提供することであ
る。
【００１１】
【課題を解決するための手段】前記目的を達成するた
め、本発明では、図１に示す如く、ビデオカメラの如き
画像入力部１と、背景画像抽出部２と、第１平均背景抽
出部３と、第２平均背景抽出部４と、第１差分演算処理
部５と、第２差分演算処理部６と、第３差分演算処理部
７を設ける。
め、本発明では、図１に示す如く、ビデオカメラの如き
画像入力部１と、背景画像抽出部２と、第１平均背景抽
出部３と、第２平均背景抽出部４と、第１差分演算処理
部５と、第２差分演算処理部６と、第３差分演算処理部
７を設ける。
【００１２】背景画像抽出部２は静止物体及び移動物体
を除き背景のみを抽出し、保持するものであり、例えば
静止物体も移動物体も抽出されない時に入力画像を保持
蓄積するものである。この背景は予めシステムに組み込
んでおくこともできる。第１平均背景抽出部３は、停止
物体と低速移動物体及び背景を抽出するもの、第２平均
背景抽出部４は、停止物体と低速移動物体と中速移動物
体及び背景を抽出するものである。
を除き背景のみを抽出し、保持するものであり、例えば
静止物体も移動物体も抽出されない時に入力画像を保持
蓄積するものである。この背景は予めシステムに組み込
んでおくこともできる。第１平均背景抽出部３は、停止
物体と低速移動物体及び背景を抽出するもの、第２平均
背景抽出部４は、停止物体と低速移動物体と中速移動物
体及び背景を抽出するものである。
【００１３】また第１差分演算処理部５は背景画像抽出
部２の保持している背景と、第１平均背景抽出部３の出
力との差分を取るものである。第２差分演算処理部６は
第１平均背景抽出部３の出力と第２平均背景抽出部４の
出力との差分を取るものである。第３差分演算処理部７
は第２平均背景抽出部４の出力と画像入力部１の出力と
の差分を取るものである。
部２の保持している背景と、第１平均背景抽出部３の出
力との差分を取るものである。第２差分演算処理部６は
第１平均背景抽出部３の出力と第２平均背景抽出部４の
出力との差分を取るものである。第３差分演算処理部７
は第２平均背景抽出部４の出力と画像入力部１の出力と
の差分を取るものである。
【００１４】
【作用】いま、図１のａで示すように、道路の左車線に
停止車両が存在しかつ低速車両が走行し、黒印で示す障
害物が存在しており、また右車線に２台の中速車両が走
行している場合について、本発明の動作を説明する。
停止車両が存在しかつ低速車両が走行し、黒印で示す障
害物が存在しており、また右車線に２台の中速車両が走
行している場合について、本発明の動作を説明する。
【００１５】画像入力部１から画像ａが入力されると、
第１平均背景抽出部３からｃで示す画像が出力され、第
２平均背景抽出部４からｄで示す画像が出力される。ま
た背景画像抽出部２ではｂで示す背景画像が保持、出力
されている。
第１平均背景抽出部３からｃで示す画像が出力され、第
２平均背景抽出部４からｄで示す画像が出力される。ま
た背景画像抽出部２ではｂで示す背景画像が保持、出力
されている。
【００１６】したがって、第１差分演算処理部５からは
背景画像ｂと画像ｃとの差分である画像ｅが出力され、
第２差分演算処理部６からは画像ｃと画像ｄとの差分で
ある画像ｆが出力される。そして第３差分演算処理部７
からは画像ｄと画像ａの差分である画像ｇが出力され
る。
背景画像ｂと画像ｃとの差分である画像ｅが出力され、
第２差分演算処理部６からは画像ｃと画像ｄとの差分で
ある画像ｆが出力される。そして第３差分演算処理部７
からは画像ｄと画像ａの差分である画像ｇが出力され
る。
【００１７】これにより、第１差分演算処理部５からは
左車線に存在する２台の停止車両又は低速車両と障害物
が画像ｅとして出力され、第２差分演算処理部６からは
右車線に存在する２台の中速車両が画像ｆとして出力さ
れる。しかし画像ａには中速より速く走行する車両が存
在しないので、第３差分演算処理部６の出力する画像ｇ
には何も出力されないものとなる。
左車線に存在する２台の停止車両又は低速車両と障害物
が画像ｅとして出力され、第２差分演算処理部６からは
右車線に存在する２台の中速車両が画像ｆとして出力さ
れる。しかし画像ａには中速より速く走行する車両が存
在しないので、第３差分演算処理部６の出力する画像ｇ
には何も出力されないものとなる。
【００１８】このようにして異なる速度で移動する複数
の移動物体の動きをビデオレートで処理することができ
る。
の移動物体の動きをビデオレートで処理することができ
る。
【００１９】
【実施例】Ａ．第１実施例 本発明の一実施例を図２〜図１０にもとづき説明する。
図２は本発明の一実施例構成図、図３は本発明における
原画像説明図、図４は本発明における局所領域説明図、
図５は本発明における速度画像抽出説明図、図６は本発
明における局所領域内特徴量抽出部の説明図、図７は停
止物体と低速移動物体の存在する場合の説明図、図８は
中速移動物体説明図、図９は高速移動物体説明図、図１
０は大型移動物体説明図である。
図２は本発明の一実施例構成図、図３は本発明における
原画像説明図、図４は本発明における局所領域説明図、
図５は本発明における速度画像抽出説明図、図６は本発
明における局所領域内特徴量抽出部の説明図、図７は停
止物体と低速移動物体の存在する場合の説明図、図８は
中速移動物体説明図、図９は高速移動物体説明図、図１
０は大型移動物体説明図である。
【００２０】図中他図と同記号は同一部を示し、１は画
像入力部、２は背景画像抽出部、３は第１平均背景抽出
部、４′は第ｎ平均背景抽出部、５は第１差分演算処理
部、６は第２差分演算処理部、７′は第ｎ＋１差分演算
処理部、８は第１局所領域内特徴量抽出部、９は第２局
所領域内特徴量抽出部、１０は第ｎ＋１局所領域内特徴
量抽出部、２０は軌跡算出部である。
像入力部、２は背景画像抽出部、３は第１平均背景抽出
部、４′は第ｎ平均背景抽出部、５は第１差分演算処理
部、６は第２差分演算処理部、７′は第ｎ＋１差分演算
処理部、８は第１局所領域内特徴量抽出部、９は第２局
所領域内特徴量抽出部、１０は第ｎ＋１局所領域内特徴
量抽出部、２０は軌跡算出部である。
【００２１】画像入力部１は監視すべき領域の画像をビ
デオレートで入力するものであり、例えばビデオカメラ
である。背景画像抽出部２は監視すべき領域の背景画像
を入力し、保持するものであり、後述するように移動物
体と静止物体のいずれも抽出されないときに随時入力し
て、後述する図５（Ａ）で示す背景画像メモリ２−１に
蓄積したり、予めシステムに保持しておくこともでき
る。
デオレートで入力するものであり、例えばビデオカメラ
である。背景画像抽出部２は監視すべき領域の背景画像
を入力し、保持するものであり、後述するように移動物
体と静止物体のいずれも抽出されないときに随時入力し
て、後述する図５（Ａ）で示す背景画像メモリ２−１に
蓄積したり、予めシステムに保持しておくこともでき
る。
【００２２】第１平均背景抽出部３は停止物体と低速移
動物体及び背景を抽出するものであり、また第ｎ平均背
景抽出部４′は停止物体と低速〜高速の移動物体及び背
景を抽出するものである。これらの第１平均背景抽出部
３〜第ｎ平均背景抽出部４′により移動物体の速度別画
像を作成することができる。
動物体及び背景を抽出するものであり、また第ｎ平均背
景抽出部４′は停止物体と低速〜高速の移動物体及び背
景を抽出するものである。これらの第１平均背景抽出部
３〜第ｎ平均背景抽出部４′により移動物体の速度別画
像を作成することができる。
【００２３】勿論第１平均背景抽出部３と第ｎ平均背景
抽出部４′との間に、停止物体と低速〜中速の移動物体
及び背景を抽出する他の平均背景抽出部（例えば図１に
おける第２平均背景抽出部４）を設けれることもでき
る。
抽出部４′との間に、停止物体と低速〜中速の移動物体
及び背景を抽出する他の平均背景抽出部（例えば図１に
おける第２平均背景抽出部４）を設けれることもでき
る。
【００２４】第１差分演算処理部５は背景画像抽出部２
の出力と第１平均背景抽出部３の出力との差分を取るも
のであり、第２差分演算処理部６は第１平均背景抽出部
３の出力と第ｎ平均背景抽出部４′の出力との差分を取
るものである。そして第ｎ＋１差分演算処理部７′は第
ｎ平均背景抽出部４′の出力と画像入力部１の出力との
差分を取るものである。
の出力と第１平均背景抽出部３の出力との差分を取るも
のであり、第２差分演算処理部６は第１平均背景抽出部
３の出力と第ｎ平均背景抽出部４′の出力との差分を取
るものである。そして第ｎ＋１差分演算処理部７′は第
ｎ平均背景抽出部４′の出力と画像入力部１の出力との
差分を取るものである。
【００２５】これら差分演算処理部により、目的の速度
で移動している物体のみを抽出することができる。勿論
図１に示す如く、ｎ＝２の状態で構成することもでき
る。差分演算処理部の種類は前段の平均画像抽出部に依
存しており、その種類つまりどの平均画像抽出部間の出
力差を求めるのかということは定まったものではない。
しかし最大数は、平均背景画像抽出部の数と背景画像抽
出部と原画像すなわち画像入力部の出力画像の和をＸ
（図１の場合は４）とすると、Ｘ＊（Ｘ−１）／２（＊
は乗算を示す）だけの種類の差分演算処理部を設定する
ことができる。
で移動している物体のみを抽出することができる。勿論
図１に示す如く、ｎ＝２の状態で構成することもでき
る。差分演算処理部の種類は前段の平均画像抽出部に依
存しており、その種類つまりどの平均画像抽出部間の出
力差を求めるのかということは定まったものではない。
しかし最大数は、平均背景画像抽出部の数と背景画像抽
出部と原画像すなわち画像入力部の出力画像の和をＸ
（図１の場合は４）とすると、Ｘ＊（Ｘ−１）／２（＊
は乗算を示す）だけの種類の差分演算処理部を設定する
ことができる。
【００２６】第１局所領域内特徴量抽出部８は、第１差
分演算処理部５の出力を受けて、後述するように、その
定められた領域内の特徴量の有無や物体の形状特徴等を
求める。ここで求めた特徴量の有無とは位置変化を表
し、形状特徴は例えばバス乗用車等の対象物体の属性を
表すものである。
分演算処理部５の出力を受けて、後述するように、その
定められた領域内の特徴量の有無や物体の形状特徴等を
求める。ここで求めた特徴量の有無とは位置変化を表
し、形状特徴は例えばバス乗用車等の対象物体の属性を
表すものである。
【００２７】第２局所領域内特徴量抽出部９は、第２差
分演算処理部６の出力を受けてその定められた領域内の
特徴の有無や物体の形状特徴等を求めるものである。第
ｎ＋１局所領域内特徴量抽出部１０は、同様に第ｎ＋１
差分演算処理部７′の出力を受けてその定められた領域
内の特徴の有無や物体の形状特徴等を求めるものであ
る。
分演算処理部６の出力を受けてその定められた領域内の
特徴の有無や物体の形状特徴等を求めるものである。第
ｎ＋１局所領域内特徴量抽出部１０は、同様に第ｎ＋１
差分演算処理部７′の出力を受けてその定められた領域
内の特徴の有無や物体の形状特徴等を求めるものであ
る。
【００２８】軌跡算出部２０はこれら第１局所領域内特
徴抽出部９〜第ｎ＋１局所領域内特徴部１０の出力にも
とづき、特徴量の有無の時系列変化から物体の軌跡を算
出したり、さらに形状特徴から同一物体の軌跡を求める
等の処理を行うものであり、物体の形状特徴解析を行う
特徴解析部２０−１、作表を行う作表部２０−２、表の
解析を行う表解析部２０−３等を具備している。
徴抽出部９〜第ｎ＋１局所領域内特徴部１０の出力にも
とづき、特徴量の有無の時系列変化から物体の軌跡を算
出したり、さらに形状特徴から同一物体の軌跡を求める
等の処理を行うものであり、物体の形状特徴解析を行う
特徴解析部２０−１、作表を行う作表部２０−２、表の
解析を行う表解析部２０−３等を具備している。
【００２９】本発明を道路監視用、例えばトンネル内の
監視用に使用した場合について以下に説明する。図３
（Ａ）はトンネル内に設置した画像入力部１で撮影した
ある時刻の画像であり、同（Ｂ）はそれから数秒後に撮
影した画像である。画像入力部１ではビデオレートで連
続して撮影しているので、この２つの画像の間に図示省
略した画像が連続撮影されている。
監視用に使用した場合について以下に説明する。図３
（Ａ）はトンネル内に設置した画像入力部１で撮影した
ある時刻の画像であり、同（Ｂ）はそれから数秒後に撮
影した画像である。画像入力部１ではビデオレートで連
続して撮影しているので、この２つの画像の間に図示省
略した画像が連続撮影されている。
【００３０】図３（Ａ）、（Ｂ）において右車線Ｒは正
常に車両が流れているが、左車線には故障車Ｐ1 が停車
しており尾燈を点滅させている。しかもこの故障車Ｐ1
の後方には障害物Ｐ2 があり、この障害物Ｐ2 に気づい
た後続車両Ｐ3 は減速して低速走行しているものと仮定
する。以後この２枚を用いて説明するが、ビデオレート
で連続して処理を行っているものと仮定する。
常に車両が流れているが、左車線には故障車Ｐ1 が停車
しており尾燈を点滅させている。しかもこの故障車Ｐ1
の後方には障害物Ｐ2 があり、この障害物Ｐ2 に気づい
た後続車両Ｐ3 は減速して低速走行しているものと仮定
する。以後この２枚を用いて説明するが、ビデオレート
で連続して処理を行っているものと仮定する。
【００３１】また画像入力部１で撮影される画像領域
は、図４に示す如く、複数の局所領域に設定される。図
４においてＬ０〜Ｌ４は左車線用の車両追跡用局所領域
であり、このうちＬ０は大型車検出用の局所領域であ
り、Ｌ１〜Ｌ４は追跡用の局所領域である。同様にＲ０
〜Ｒ４は右車線用の車両追跡用局所領域であり、Ｒ０は
右車線での大型車検出用局所領域であり、Ｒ１〜Ｒ４は
追跡用の局所領域である。
は、図４に示す如く、複数の局所領域に設定される。図
４においてＬ０〜Ｌ４は左車線用の車両追跡用局所領域
であり、このうちＬ０は大型車検出用の局所領域であ
り、Ｌ１〜Ｌ４は追跡用の局所領域である。同様にＲ０
〜Ｒ４は右車線用の車両追跡用局所領域であり、Ｒ０は
右車線での大型車検出用局所領域であり、Ｒ１〜Ｒ４は
追跡用の局所領域である。
【００３２】次に図５により本発明における速度画像抽
出状態を説明する。図５は、停止物体と低速移動物体、
中速移動物体、高速移動物体の３種類をそれぞれ出力す
るものであり図１に対応するものであり、また図２に関
して対応させる場合には、ｎ＝２の場合における背景画
像抽出部２、第１平均背景抽出部３、第ｎ平均背景抽出
部４′、第１差分演算処理部５、第２差分演算処理部
６、第ｎ＋１差分演算処理部７′に相当するものであ
る。
出状態を説明する。図５は、停止物体と低速移動物体、
中速移動物体、高速移動物体の３種類をそれぞれ出力す
るものであり図１に対応するものであり、また図２に関
して対応させる場合には、ｎ＝２の場合における背景画
像抽出部２、第１平均背景抽出部３、第ｎ平均背景抽出
部４′、第１差分演算処理部５、第２差分演算処理部
６、第ｎ＋１差分演算処理部７′に相当するものであ
る。
【００３３】背景画像抽出部２の画像メモリ２−１には
背景が保持されており、この背景がルックアップテーブ
ルのｉとして入力される。ルックアップテーブルの
他方の入力ｊは、ルックアップテーブルの出力である
背景＋停止物体＋低速物体が入力される。
背景が保持されており、この背景がルックアップテーブ
ルのｉとして入力される。ルックアップテーブルの
他方の入力ｊは、ルックアップテーブルの出力である
背景＋停止物体＋低速物体が入力される。
【００３４】ルックアップテーブルは、図５（Ｂ）に
示す如く、｜ｉ−ｊ｜の値が閾値ｔｈ２（例えばｔｈ２
＝５０）より大きいとき｜ｉ−ｊ｜を出力する。したが
って背景の部分についてはｉ＝ｊのためルックアップテ
ーブルからの出力ｋはｋ＝０であるので、ルックアッ
プテーブルの出力は停止物体と低速物体の存在する部
分だけ｜ｉ−ｊ｜が出力され、ルックアップテーブル
にｉとして入力される。
示す如く、｜ｉ−ｊ｜の値が閾値ｔｈ２（例えばｔｈ２
＝５０）より大きいとき｜ｉ−ｊ｜を出力する。したが
って背景の部分についてはｉ＝ｊのためルックアップテ
ーブルからの出力ｋはｋ＝０であるので、ルックアッ
プテーブルの出力は停止物体と低速物体の存在する部
分だけ｜ｉ−ｊ｜が出力され、ルックアップテーブル
にｉとして入力される。
【００３５】このときルックアップテーブルの他方の
入力ｊには画像入力部１で撮影された入力画像が入力さ
れる。この入力画像は、背景と停止物体（障害物も含
む）と低速物体と中速物体と高速物体が含まれており、
このうち、停止物体（障害物も含む）と低速物体の存在
する部分にのみ｜ｉ−ｊ｜の値が入力されることにな
る。
入力ｊには画像入力部１で撮影された入力画像が入力さ
れる。この入力画像は、背景と停止物体（障害物も含
む）と低速物体と中速物体と高速物体が含まれており、
このうち、停止物体（障害物も含む）と低速物体の存在
する部分にのみ｜ｉ−ｊ｜の値が入力されることにな
る。
【００３６】なお、ルックアップテーブルは、図５
（Ｂ）に示す如く、ｉの値が閾値ｔｈ１（例えばｔｈ１
＝５）のときｊからの入力を出力ｋとし、それ以外はｋ
＝０となる。それ故、ルックアップテーブルから入力
画像の内の停止物体（障害物も含む）と低速物体のみが
出力される。
（Ｂ）に示す如く、ｉの値が閾値ｔｈ１（例えばｔｈ１
＝５）のときｊからの入力を出力ｋとし、それ以外はｋ
＝０となる。それ故、ルックアップテーブルから入力
画像の内の停止物体（障害物も含む）と低速物体のみが
出力される。
【００３７】ところでルックアップテーブルは画像入
力部１で撮影された入力画像がｉとして入力され、画像
メモリ３−１に保持された画像がｊとして入力される。
そしてｉ＝ｊのとき出力ｋとして画像メモリ３−１に保
持された画像が、そのまま出力されまた画像メモリ３−
１に保持される。
力部１で撮影された入力画像がｉとして入力され、画像
メモリ３−１に保持された画像がｊとして入力される。
そしてｉ＝ｊのとき出力ｋとして画像メモリ３−１に保
持された画像が、そのまま出力されまた画像メモリ３−
１に保持される。
【００３８】この外０≦（ｉ−ｊ）≦ｔｈ３１（例えば
閾値ｔｈ３１＝１０）の場合はｊにオフセット値α３１
（例えばα３１＝１）を加算した値のｋ＝ｊ＋α３１を
出力し、同時に画像メモリ３−１に保持する。０≦（ｊ
−１）≦ｔｈ３１の場合はｊからα３１を減算した値の
ｋ＝ｊ−α３１を出力し、同時に画像メモリ３−１に保
持する。
閾値ｔｈ３１＝１０）の場合はｊにオフセット値α３１
（例えばα３１＝１）を加算した値のｋ＝ｊ＋α３１を
出力し、同時に画像メモリ３−１に保持する。０≦（ｊ
−１）≦ｔｈ３１の場合はｊからα３１を減算した値の
ｋ＝ｊ−α３１を出力し、同時に画像メモリ３−１に保
持する。
【００３９】ｔｈ３１＜（ｉ−ｊ）≦ｔｈ３２（例えば
閾値ｔｈ３２＝２５５）の場合はｊにオフセット値α３
２（例えばα３２＝３）を加算した値のｋ＝ｊ＋α３２
を出力し、同時に画像メモリ３−１に保持する。ｔｈ３
１＜（ｊ−ｉ）≦ｔｈ３２の場合はｊからα３２を減算
した値のｋ＝ｊ−α３２を出力し、同時に画像メモリ３
−１に保持する。
閾値ｔｈ３２＝２５５）の場合はｊにオフセット値α３
２（例えばα３２＝３）を加算した値のｋ＝ｊ＋α３２
を出力し、同時に画像メモリ３−１に保持する。ｔｈ３
１＜（ｊ−ｉ）≦ｔｈ３２の場合はｊからα３２を減算
した値のｋ＝ｊ−α３２を出力し、同時に画像メモリ３
−１に保持する。
【００４０】このようにして後述する理由により背景と
停止物体（これらはいずれもｉ＝ｊ）の外に低速物体の
存在する部分にもルックアップテーブルよりｋが出力
され、ルックアップテーブル′にｉとして入力され
る。
停止物体（これらはいずれもｉ＝ｊ）の外に低速物体の
存在する部分にもルックアップテーブルよりｋが出力
され、ルックアップテーブル′にｉとして入力され
る。
【００４１】ルックアップテーブル′の他方の入力ｊ
は、ルックアップテーブルの出力である背景＋停止物
体＋低速物体＋中速物体が入力される。ルックアップテ
ーブル′は、図５（Ｂ）のに示す如く設定され、｜
ｉ−ｊ｜の値が閾値ｔｈ２より大きいとき｜ｉ−ｊ｜を
出力する。
は、ルックアップテーブルの出力である背景＋停止物
体＋低速物体＋中速物体が入力される。ルックアップテ
ーブル′は、図５（Ｂ）のに示す如く設定され、｜
ｉ−ｊ｜の値が閾値ｔｈ２より大きいとき｜ｉ−ｊ｜を
出力する。
【００４２】したがって、背景と低速の部分については
ｉ＝ｊのためルックアップテーブル′からの出力ｋは
ｋ＝０であり、このためルックアップテーブル′の出
力は入力画像に中速物体の存在する部分だけ｜ｉ−ｊ｜
が出力され、ルックアップテーブル′にｉとして入力
される。
ｉ＝ｊのためルックアップテーブル′からの出力ｋは
ｋ＝０であり、このためルックアップテーブル′の出
力は入力画像に中速物体の存在する部分だけ｜ｉ−ｊ｜
が出力され、ルックアップテーブル′にｉとして入力
される。
【００４３】このときルックアップテーブル′の他方
の入力ｊには画像入力部１で撮影された入力画像が入力
される。この入力画像は、背景と停止物体と低速物体と
中速物体と高速物体が含まれており、このうち中速物体
の存在する部分のみ｜ｉ−ｊ｜の値が入力される。ルッ
クアップテーブル′は図５（Ｂ）に示すと同様に動
作設定されているので、ルックアップテーブル′から
は中速物体のみが出力される。
の入力ｊには画像入力部１で撮影された入力画像が入力
される。この入力画像は、背景と停止物体と低速物体と
中速物体と高速物体が含まれており、このうち中速物体
の存在する部分のみ｜ｉ−ｊ｜の値が入力される。ルッ
クアップテーブル′は図５（Ｂ）に示すと同様に動
作設定されているので、ルックアップテーブル′から
は中速物体のみが出力される。
【００４４】またルックアップテーブルは画像入力部
１で撮影された入力画像がｉとして入力され、画像メモ
リ４−１に保持された画像がｊとして入力される。そし
てｉ＝ｊのとき出力ｋとして画像メモリ４−１に保持さ
れた画像がそのまま出力され、また画像メモリ４−１に
保持される。
１で撮影された入力画像がｉとして入力され、画像メモ
リ４−１に保持された画像がｊとして入力される。そし
てｉ＝ｊのとき出力ｋとして画像メモリ４−１に保持さ
れた画像がそのまま出力され、また画像メモリ４−１に
保持される。
【００４５】この外０≦（ｉ−ｊ）≦ｔｈ４１（例えば
閾値ｔｈ４１＝１０）の場合はｊにオフセット値α４１
（例えばα４１＝１）を加算した値のｋ＝ｊ＋α４１を
出力し、同時に画像メモリ４−１に保持する。０≦（ｊ
−ｉ）≦ｔｈ４１の場合はｊからα４１を減算した値の
ｋ＝ｊ−α４１を出力し、同時に画像メモリ４−１に保
持する。
閾値ｔｈ４１＝１０）の場合はｊにオフセット値α４１
（例えばα４１＝１）を加算した値のｋ＝ｊ＋α４１を
出力し、同時に画像メモリ４−１に保持する。０≦（ｊ
−ｉ）≦ｔｈ４１の場合はｊからα４１を減算した値の
ｋ＝ｊ−α４１を出力し、同時に画像メモリ４−１に保
持する。
【００４６】ｔｈ４１＜（ｉ−ｊ）≦ｔｈ４２（例えば
閾値ｔｈ４２＝２５５）の場合はｊにオフセット値α４
２（例えばα４２＝１０）を加算した値のｋ＝ｊ＋α４
２を出力し、同時にこれを画像メモリ４−１に保持す
る。ｔｈ４１＜（ｊ−ｉ）≦ｔｈ４２の場合はｊからα
４２を減算した値のｋ＝ｊ−α４２を出力し、同時にこ
れを画像メモリ４−１に保持する。
閾値ｔｈ４２＝２５５）の場合はｊにオフセット値α４
２（例えばα４２＝１０）を加算した値のｋ＝ｊ＋α４
２を出力し、同時にこれを画像メモリ４−１に保持す
る。ｔｈ４１＜（ｊ−ｉ）≦ｔｈ４２の場合はｊからα
４２を減算した値のｋ＝ｊ−α４２を出力し、同時にこ
れを画像メモリ４−１に保持する。
【００４７】このようにして後述する理由によりルック
アップテーブルより背景、停止物体、低速物体の外に
中速物体の存在する部分にはｋが出力され、ルックアッ
プテーブル′及び″にｉとして入力される。
アップテーブルより背景、停止物体、低速物体の外に
中速物体の存在する部分にはｋが出力され、ルックアッ
プテーブル′及び″にｉとして入力される。
【００４８】ルックアップテーブル″の他方の入力ｊ
には画像入力部１で撮影された入力画像が入力される。
ルックアップテーブル″は、図５（Ｂ）のに示す如
く設定され、｜ｉ−ｊ｜の値が閾値ｔｈ２より大きい時
｜ｉ−ｊ｜を出力する。従って、背景と低速と中速の部
分についてはｉ＝ｊのため、ルックアップテーブル″
の出力ｋはｋ＝０であり、入力画像に高速物体の存在す
る部分だけルックアップテーブル″から｜ｉ−ｊ｜が
出力され、ルックアップテーブル″にｉとして入力さ
れる。
には画像入力部１で撮影された入力画像が入力される。
ルックアップテーブル″は、図５（Ｂ）のに示す如
く設定され、｜ｉ−ｊ｜の値が閾値ｔｈ２より大きい時
｜ｉ−ｊ｜を出力する。従って、背景と低速と中速の部
分についてはｉ＝ｊのため、ルックアップテーブル″
の出力ｋはｋ＝０であり、入力画像に高速物体の存在す
る部分だけルックアップテーブル″から｜ｉ−ｊ｜が
出力され、ルックアップテーブル″にｉとして入力さ
れる。
【００４９】このときルックアップテーブル″の他方
の入力ｊは画像入力部１で撮影された、背景、停止物
体、低速物体、中速物体、高速物体が含まれており、こ
のうち高速物体の存在する部分のみ｜ｉ−ｊ｜の値が入
力されるので、ルックアップテーブル″からは高速物
体のみが出力されるものとなる。
の入力ｊは画像入力部１で撮影された、背景、停止物
体、低速物体、中速物体、高速物体が含まれており、こ
のうち高速物体の存在する部分のみ｜ｉ−ｊ｜の値が入
力されるので、ルックアップテーブル″からは高速物
体のみが出力されるものとなる。
【００５０】このように、移動物体の速度別に画像を求
め、対象物を抽出することで、監視対象を限定すること
ができる。ところで前記の如くルックアップテーブル
又はの出力にオセフット値を加算または減算して画像
メモリ３−１または画像メモリ４−１のデータを修正
し、保持する理由について説明する。
め、対象物を抽出することで、監視対象を限定すること
ができる。ところで前記の如くルックアップテーブル
又はの出力にオセフット値を加算または減算して画像
メモリ３−１または画像メモリ４−１のデータを修正
し、保持する理由について説明する。
【００５１】これら画像メモリと入力画像の差が閾値以
上の場合、オフセット値を加算又は減算して画像メモリ
を修正する。対象物体の動きが遅い場合には小さなオフ
セット値により何度か修正すれば、画像メモリの保持出
力する値が入力画像と同じになる。しかし動きが早い対
象物の場合少ない修正回数で画像メモリの値を修正しな
いと入力画像の領域外に移動し、消えることになる。
上の場合、オフセット値を加算又は減算して画像メモリ
を修正する。対象物体の動きが遅い場合には小さなオフ
セット値により何度か修正すれば、画像メモリの保持出
力する値が入力画像と同じになる。しかし動きが早い対
象物の場合少ない修正回数で画像メモリの値を修正しな
いと入力画像の領域外に移動し、消えることになる。
【００５２】このため速度の大きな対象物の検出に対し
てはオフセット値を大きくして早く修正し、速度の小さ
な対象物の検出に対してはオフセット値を小さくして修
正回数を多くして、時間をかけることにより行う。この
ようにオフセット値を変えることにより対象物体の速度
の違いを判断し、目的とする対象物のみを検出すること
ができる。
てはオフセット値を大きくして早く修正し、速度の小さ
な対象物の検出に対してはオフセット値を小さくして修
正回数を多くして、時間をかけることにより行う。この
ようにオフセット値を変えることにより対象物体の速度
の違いを判断し、目的とする対象物のみを検出すること
ができる。
【００５３】また、図６により平均背景抽出部による各
物体の移動速度に応じて、物体を分離した画像を抽出す
る他の手法を説明する。図６（Ａ）に示す如く、矢印方
向に移動している移動物体Ａと停止物体Ｂが存在してい
るとき、時刻ｔ1 、ｔ2 ・・・ｔn で移動物体Ａと停止
物体Ｂがそれぞれ図示の状態になるが、これらのｔ1〜
ｔn の各画像を図示省略したメモリに累積する。そして
その累積画像を平均して平均背景を算出する。
物体の移動速度に応じて、物体を分離した画像を抽出す
る他の手法を説明する。図６（Ａ）に示す如く、矢印方
向に移動している移動物体Ａと停止物体Ｂが存在してい
るとき、時刻ｔ1 、ｔ2 ・・・ｔn で移動物体Ａと停止
物体Ｂがそれぞれ図示の状態になるが、これらのｔ1〜
ｔn の各画像を図示省略したメモリに累積する。そして
その累積画像を平均して平均背景を算出する。
【００５４】この場合、停止物体Ｂはｎ個の画像を累積
した値をｎ等分した値で算出されるが、停止物体Ｂは各
時刻において停止、つまり位置変化がないので、物体Ｂ
は変化なく抽出できる。
した値をｎ等分した値で算出されるが、停止物体Ｂは各
時刻において停止、つまり位置変化がないので、物体Ｂ
は変化なく抽出できる。
【００５５】一方、移動物体Ａは、特にこの移動物体Ａ
の移動速度が速い場合には、各時刻の画像間での移動物
体Ａの重なりがなく、１時刻の移動物体Ａと、（ｎ−
１）個の背景との平均をとることになるため、平均の濃
度値が小さく閾値より小さな値になり移動物体Ａは消失
される。かくして平均背景に停止物体Ｂが残り、移動物
体Ａは存在しないものとなる。
の移動速度が速い場合には、各時刻の画像間での移動物
体Ａの重なりがなく、１時刻の移動物体Ａと、（ｎ−
１）個の背景との平均をとることになるため、平均の濃
度値が小さく閾値より小さな値になり移動物体Ａは消失
される。かくして平均背景に停止物体Ｂが残り、移動物
体Ａは存在しないものとなる。
【００５６】なお、移動物体Ａだけを含む画像は、平均
背景と各時刻の画像との差を算出することにより抽出す
ることが可能となる。また図６（Ｂ）に示す如く、停止
物体Ｂに加えて、低速移動物体Ｄと、中速移動物体Ｅが
存在する場合、これらの移動物体Ｄ、Ｅは次のようにし
て区分できる。
背景と各時刻の画像との差を算出することにより抽出す
ることが可能となる。また図６（Ｂ）に示す如く、停止
物体Ｂに加えて、低速移動物体Ｄと、中速移動物体Ｅが
存在する場合、これらの移動物体Ｄ、Ｅは次のようにし
て区分できる。
【００５７】低速の移動物体Ｄは、時刻ｔ2 、ｔ3 、の
時刻ではいずれも、時刻ｔ1 の画像とその一部が重複し
ているが時刻ｔ4 の画像は時刻ｔ1 の画像と重なりがな
くなる。
時刻ではいずれも、時刻ｔ1 の画像とその一部が重複し
ているが時刻ｔ4 の画像は時刻ｔ1 の画像と重なりがな
くなる。
【００５８】また中速の移動物体Ｅは、時刻ｔ2 では時
刻ｔ1 の画像とその一部が重複しているが、時刻ｔ3 の
画像は時刻ｔ1 の画像と重なりがない。したがって時刻
ｔ1 とｔ4 の画像を累積して２等分すれば低速の移動物
体Ｄと中速の移動物体Ｅの値は、いずれも閾値以下とな
り停止物体Ｂが得られる。また時刻ｔ1 とｔ2 とｔ3 の
画像を累積して３等分すれば、同様に中速の移動物体Ｅ
のみの画像濃度値が閾値以下となる。しかし低速の移動
物体Ｄは、これらの時刻の重なり部分が存在するため、
これにもとづき得ることができる。このとき停止物体Ｂ
も得られるが、停止物体Ｂは前記の如く別に得たものと
の差で消去すれば低速の移動物体Ｄを得ることができ
る。
刻ｔ1 の画像とその一部が重複しているが、時刻ｔ3 の
画像は時刻ｔ1 の画像と重なりがない。したがって時刻
ｔ1 とｔ4 の画像を累積して２等分すれば低速の移動物
体Ｄと中速の移動物体Ｅの値は、いずれも閾値以下とな
り停止物体Ｂが得られる。また時刻ｔ1 とｔ2 とｔ3 の
画像を累積して３等分すれば、同様に中速の移動物体Ｅ
のみの画像濃度値が閾値以下となる。しかし低速の移動
物体Ｄは、これらの時刻の重なり部分が存在するため、
これにもとづき得ることができる。このとき停止物体Ｂ
も得られるが、停止物体Ｂは前記の如く別に得たものと
の差で消去すれば低速の移動物体Ｄを得ることができ
る。
【００５９】また低速の移動物体Ｄと停止物体Ｂを原画
像より消去することにより中速の移動物体Ｅを抽出する
ことができる。同様にして、更に高速の移動物体が存在
するとき、これを抽出することができる。なお、停止物
体の背景も、停止物体と一緒に得ることができる。
像より消去することにより中速の移動物体Ｅを抽出する
ことができる。同様にして、更に高速の移動物体が存在
するとき、これを抽出することができる。なお、停止物
体の背景も、停止物体と一緒に得ることができる。
【００６０】このようにして、図５（Ａ）に示すものと
は別の手法により、第１平均背景抽出部から「背景＋停
止物体＋低速移動物体」を出力し、第２平均背景抽出部
から「背景＋停止物体＋低速移動物体＋中速移動物体」
を出力することができる。これらにもとづき、第１差分
演算処理部において、背景画像抽出部から出力される背
景と、第１平均背景抽出部から出力される「背景＋停止
物体＋低速移動物体」との差分を求めることにより、第
１差分演算処理部から「停止物体＋低速移動物体」が得
られる。
は別の手法により、第１平均背景抽出部から「背景＋停
止物体＋低速移動物体」を出力し、第２平均背景抽出部
から「背景＋停止物体＋低速移動物体＋中速移動物体」
を出力することができる。これらにもとづき、第１差分
演算処理部において、背景画像抽出部から出力される背
景と、第１平均背景抽出部から出力される「背景＋停止
物体＋低速移動物体」との差分を求めることにより、第
１差分演算処理部から「停止物体＋低速移動物体」が得
られる。
【００６１】第２差分演算処理部において第１平均背景
抽出部から出力される「背景＋停止物体＋低速移動物
体」と第２平均背景抽出部から出力される「背景＋停止
物体＋低速移動物体＋中速移動物体」との差分を求める
ことにより、第２差分演算処理部から中速移動物体が得
られる。
抽出部から出力される「背景＋停止物体＋低速移動物
体」と第２平均背景抽出部から出力される「背景＋停止
物体＋低速移動物体＋中速移動物体」との差分を求める
ことにより、第２差分演算処理部から中速移動物体が得
られる。
【００６２】さらに第３差分演算処理部において、第２
平均背景抽出部から出力される「背景＋停止物体＋低速
移動物体＋中速移動物体」と入力画像との差分を求める
ことにより、第３差分演算処理部から高速移動物体が得
られる。
平均背景抽出部から出力される「背景＋停止物体＋低速
移動物体＋中速移動物体」と入力画像との差分を求める
ことにより、第３差分演算処理部から高速移動物体が得
られる。
【００６３】例えば図１において、第１平均背景抽出部
３が背景＋停止物体（障害物も含む）＋低速移動物体の
みを抽出し、第２平均背景抽出部４では背景＋停止物体
（障害物も含む）＋低速移動物体＋中速移動物体のみを
抽出する場合、第１平均背景抽出部３より得られるもの
は画像ｃであり、第２平均背景抽出部４から得られるも
のは画像ｄとなる。
３が背景＋停止物体（障害物も含む）＋低速移動物体の
みを抽出し、第２平均背景抽出部４では背景＋停止物体
（障害物も含む）＋低速移動物体＋中速移動物体のみを
抽出する場合、第１平均背景抽出部３より得られるもの
は画像ｃであり、第２平均背景抽出部４から得られるも
のは画像ｄとなる。
【００６４】この結果第１差分演算処理部５から停止物
体＋低速移動物体のみの画像ｅが得られ、第２差分演算
処理部６から中速移動物体のみの画像ｆが得られ、第３
差分演算処理部７から高速移動物体のみの画像ｇが得ら
れる。ただし図１の例では画像入力部１から得られた入
力画像に高速移動物体が存在していない場合であり、こ
のとき画像ｇには何も検出されないものとなる。従っ
て、画像ｅ、ｆ、ｇに何も存在しない時に画像入力部１
の入力を背景画像抽出部２で蓄積保持することにより背
景を更新することができる。
体＋低速移動物体のみの画像ｅが得られ、第２差分演算
処理部６から中速移動物体のみの画像ｆが得られ、第３
差分演算処理部７から高速移動物体のみの画像ｇが得ら
れる。ただし図１の例では画像入力部１から得られた入
力画像に高速移動物体が存在していない場合であり、こ
のとき画像ｇには何も検出されないものとなる。従っ
て、画像ｅ、ｆ、ｇに何も存在しない時に画像入力部１
の入力を背景画像抽出部２で蓄積保持することにより背
景を更新することができる。
【００６５】次に第１局所領域内特徴量抽出部８、第２
局所領域内特徴量抽出部９、第ｎ＋１局所領域内特徴量
抽出部１０については、いずれも同一構成のため、図６
により第１局所領域内特徴量抽出部８について代表的に
説明する。
局所領域内特徴量抽出部９、第ｎ＋１局所領域内特徴量
抽出部１０については、いずれも同一構成のため、図６
により第１局所領域内特徴量抽出部８について代表的に
説明する。
【００６６】本発明では、画像入力部１で撮影される画
像領域を予め複数の局所領域に設定しておく。例えば図
４に示す如く、左車線用の車両追跡用局所領域としてＬ
０〜Ｌ４を設定し、右車線用の車両追跡用局所領域とし
てＲ０〜Ｒ４を設定する。
像領域を予め複数の局所領域に設定しておく。例えば図
４に示す如く、左車線用の車両追跡用局所領域としてＬ
０〜Ｌ４を設定し、右車線用の車両追跡用局所領域とし
てＲ０〜Ｒ４を設定する。
【００６７】そして各車両追跡用局所領域に対して、図
７に示す局所領域内特徴抽出処理部８−１、８−２・・
・８−ｍが用意されている。従って図４に示す如く、車
両追跡用局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４が設定されて
いるときにはｍ＝１０即ち１０個の局所領域内特徴抽出
処理部が必要となる。
７に示す局所領域内特徴抽出処理部８−１、８−２・・
・８−ｍが用意されている。従って図４に示す如く、車
両追跡用局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４が設定されて
いるときにはｍ＝１０即ち１０個の局所領域内特徴抽出
処理部が必要となる。
【００６８】局所領域内特徴量抽出処理部８−１は局所
領域決定部１１−１と、雑音除去部１２−１と、ラベリ
ング処理部１３−１と、特徴量算出部１４−１を有す
る。局所領域決定部１１−１はその局所領域内特徴量抽
出処理部８−１が処理すべき車両追跡用局所領域の１つ
を定義するものであり、Ｌ０についての処理を行うもの
であればＬ０の範囲を定義しておき、この局所領域内の
入力画像を抽出するものである。雑音除去部１２−１は
局所領域決定部１１−１から伝達された信号より雑音を
除去するものであり、例えばロ−パス・フィルタで構成
されている。
領域決定部１１−１と、雑音除去部１２−１と、ラベリ
ング処理部１３−１と、特徴量算出部１４−１を有す
る。局所領域決定部１１−１はその局所領域内特徴量抽
出処理部８−１が処理すべき車両追跡用局所領域の１つ
を定義するものであり、Ｌ０についての処理を行うもの
であればＬ０の範囲を定義しておき、この局所領域内の
入力画像を抽出するものである。雑音除去部１２−１は
局所領域決定部１１−１から伝達された信号より雑音を
除去するものであり、例えばロ−パス・フィルタで構成
されている。
【００６９】ラベリング処理部１３−１は局所領域内の
入力画像に対し同一の物体について同一のラベルを付与
するラベリング処理を行うものである。そして特徴算出
部１４−１は、ラベル付けされた領域の有無を検出し、
ラベル付けされた領域があれば同一ラベルの領域に対し
てそのラベル領域の重心位置や、面積、横方向・縦方向
の投影値等を求め、各ラベル領域毎の特徴量を算出する
ものである。
入力画像に対し同一の物体について同一のラベルを付与
するラベリング処理を行うものである。そして特徴算出
部１４−１は、ラベル付けされた領域の有無を検出し、
ラベル付けされた領域があれば同一ラベルの領域に対し
てそのラベル領域の重心位置や、面積、横方向・縦方向
の投影値等を求め、各ラベル領域毎の特徴量を算出する
ものである。
【００７０】局所領域内特徴量抽出処理部８−２・・・
８−ｍも前記局所領域内特徴量抽出処理部８−１と同様
に構成され、それぞれ局所領域決定部１１−２・・・１
１−ｍ、雑音除去部１２−２・・・１２−ｍ、ラベリン
グ処理部１３−２・・・１３−ｍ、特徴量算出部１４−
２・・・１４−ｍを具備している。
８−ｍも前記局所領域内特徴量抽出処理部８−１と同様
に構成され、それぞれ局所領域決定部１１−２・・・１
１−ｍ、雑音除去部１２−２・・・１２−ｍ、ラベリン
グ処理部１３−２・・・１３−ｍ、特徴量算出部１４−
２・・・１４−ｍを具備している。
【００７１】いま、図８（Ａ）に示す如く、時刻ｔにお
いて、ランプの点滅している停止物体Ｐ1 と障害物Ｐ2
と低速移動物体Ｐ3 が存在する場合、図２に示す第１差
分演算処理部５の出力は図８（Ｃ）に示す如きものとな
り、この車両抽出画像（障害物も含まれる）に、図４に
示す局所領域を重ねると図８（Ｅ）に示す如きものとな
る。この場合、局所領域Ｌ１、Ｌ２、Ｌ４の部分に車両
があり、特徴量を算出することができる。
いて、ランプの点滅している停止物体Ｐ1 と障害物Ｐ2
と低速移動物体Ｐ3 が存在する場合、図２に示す第１差
分演算処理部５の出力は図８（Ｃ）に示す如きものとな
り、この車両抽出画像（障害物も含まれる）に、図４に
示す局所領域を重ねると図８（Ｅ）に示す如きものとな
る。この場合、局所領域Ｌ１、Ｌ２、Ｌ４の部分に車両
があり、特徴量を算出することができる。
【００７２】図８（Ａ）に示す速度画像は、ｔ１＋数秒
後の時点において、同（Ｂ）に示す如き速度画像とな
り、これにより同（Ｄ）に示す如き車両抽出画像が得ら
れる。これに局所領域を重ねると図８（Ｆ）に示す如き
ものとなる。この場合は、局所領域Ｌ２、Ｌ４に車両が
存在するので、これに対して特徴量を計算する。
後の時点において、同（Ｂ）に示す如き速度画像とな
り、これにより同（Ｄ）に示す如き車両抽出画像が得ら
れる。これに局所領域を重ねると図８（Ｆ）に示す如き
ものとなる。この場合は、局所領域Ｌ２、Ｌ４に車両が
存在するので、これに対して特徴量を計算する。
【００７３】これらの結果、図２に示す軌跡算出部２０
の作表部２０−２により時系列的にまとめられた表１が
作成される。表１における○印は、局所領域Ｌ０〜Ｌ
４、Ｒ０〜Ｒ４において各時刻に特徴量が求められたも
の、即ち何らかの物体（障害物も含む）が存在していた
ことを示している。
の作表部２０−２により時系列的にまとめられた表１が
作成される。表１における○印は、局所領域Ｌ０〜Ｌ
４、Ｒ０〜Ｒ４において各時刻に特徴量が求められたも
の、即ち何らかの物体（障害物も含む）が存在していた
ことを示している。
【００７４】
【表１】
【００７５】図９は、中速移動物体が存在する場合の時
刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領
域重ね合わせ状態を示し、図９に対応する時系列的な特
徴量検出状態を表２に示す。
刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領
域重ね合わせ状態を示し、図９に対応する時系列的な特
徴量検出状態を表２に示す。
【００７６】
【表２】
【００７７】また図１０は高速移動物体に関する時刻ｔ
及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重
ね合わせ状態を示すが、この場合高速移動物体が存在し
ていないので、図９には高速移動物体は図示されていな
い。従って、これに対応する表３でも○印はない。
及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重
ね合わせ状態を示すが、この場合高速移動物体が存在し
ていないので、図９には高速移動物体は図示されていな
い。従って、これに対応する表３でも○印はない。
【００７８】
【表３】
【００７９】従って軌跡算出部２０において表解析部２
０−３が表３を解析することにより高速で走行している
車両が、この場合は存在していないと判断することがで
きる。
０−３が表３を解析することにより高速で走行している
車両が、この場合は存在していないと判断することがで
きる。
【００８０】また表２を解析することによりＬ０〜Ｌ４
には○印がないので、左車線には中速で走行中の車両が
この時点では存在しないこと、また右車線には時刻ｔと
ｔ１には○印がＲ１とＲ４の２ヶ所に有ることから中速
で走行中の車両が２台走行していることがわかる。
には○印がないので、左車線には中速で走行中の車両が
この時点では存在しないこと、また右車線には時刻ｔと
ｔ１には○印がＲ１とＲ４の２ヶ所に有ることから中速
で走行中の車両が２台走行していることがわかる。
【００８１】なお時刻ｔ３も○印が２ヶ所有るが、これ
はＲ１とＲ２という隣接局所領域であり、続く時刻ｔ４
には○印が１ヶ所しかないことより、時刻ｔ３における
Ｒ１に存在する対象物とＲ２に存在する対象物とは同一
であると判断できる。
はＲ１とＲ２という隣接局所領域であり、続く時刻ｔ４
には○印が１ヶ所しかないことより、時刻ｔ３における
Ｒ１に存在する対象物とＲ２に存在する対象物とは同一
であると判断できる。
【００８２】停止物体と低速移動物体についてまとめた
前記表１からは、多少複雑であるが以下のことが判断で
きる。Ｒ０〜Ｒ４には○印がないので、右車線に停止ま
たは低速走行している車両が存在していない。しかしＬ
１〜Ｌ４には○印があり停止または低速走行車両が存在
していると判断できる。
前記表１からは、多少複雑であるが以下のことが判断で
きる。Ｒ０〜Ｒ４には○印がないので、右車線に停止ま
たは低速走行している車両が存在していない。しかしＬ
１〜Ｌ４には○印があり停止または低速走行車両が存在
していると判断できる。
【００８３】この場合、局所領域Ｌ４には一定間隔で○
が現れたり消えたりしており、隣接するＬ３には静止物
体が存在しているものと推測できる。一方Ｌ１とＬ２に
おける○印の時間的変化（ｔ〜ｔ３まではＬ１に、ｔ４
〜ｔ７はＬ１とＬ２と、ｔ８以降はＬ２に存在）から、
何か低速で移動している物体が存在していることを判断
できる。
が現れたり消えたりしており、隣接するＬ３には静止物
体が存在しているものと推測できる。一方Ｌ１とＬ２に
おける○印の時間的変化（ｔ〜ｔ３まではＬ１に、ｔ４
〜ｔ７はＬ１とＬ２と、ｔ８以降はＬ２に存在）から、
何か低速で移動している物体が存在していることを判断
できる。
【００８４】なお、前記の解析は時刻と場所の関係にお
いて、対象物体が存在するか否かについてのみ判断した
例について説明したが、これ以外に特徴量として面積や
縦横比等を使用するとより多くの情報を抽出することが
できる。
いて、対象物体が存在するか否かについてのみ判断した
例について説明したが、これ以外に特徴量として面積や
縦横比等を使用するとより多くの情報を抽出することが
できる。
【００８５】表４は、車線変更を行っている車両につい
て示した例であり、いままでの説明から容易に推察でき
る。ある領域にある時刻まで存在していた対象物体が瞬
間的に消える。しかしその時刻と前後して別の領域、特
に隣車線領域に対象物体が出現した場合には車線変更を
行った車両であると判断できる。
て示した例であり、いままでの説明から容易に推察でき
る。ある領域にある時刻まで存在していた対象物体が瞬
間的に消える。しかしその時刻と前後して別の領域、特
に隣車線領域に対象物体が出現した場合には車線変更を
行った車両であると判断できる。
【００８６】
【表４】
【００８７】表４において、時刻ｔ３までＬ１に存在し
た○印が、時刻ｔ４でＬ１、Ｌ２、Ｒ２でも○印が表
れ、以下時刻ｔ５、ｔ６、ｔ７においてＲ２に表れるよ
うなとき、車線変更と判断できる。
た○印が、時刻ｔ４でＬ１、Ｌ２、Ｒ２でも○印が表
れ、以下時刻ｔ５、ｔ６、ｔ７においてＲ２に表れるよ
うなとき、車線変更と判断できる。
【００８８】なお、物体の移動時間と各局所領域の大き
さの実測値がわかれば移動物体の速度も算出することが
できる。例えばある局所領域の長さをＬ、その領域に存
在していた時間をＴとするとＬ／Ｔで速度を求めること
ができる。
さの実測値がわかれば移動物体の速度も算出することが
できる。例えばある局所領域の長さをＬ、その領域に存
在していた時間をＴとするとＬ／Ｔで速度を求めること
ができる。
【００８９】また図１１に示す如く、右車線に大型車Ｐ
L と小型車ＰS が走行しているとき、これに図４で示す
局所領域を重ねると図１１（Ｂ）に示す状態となる。こ
れにより大型車ＰL の走行によりＲ０に○印が連続して
存在するので大型車の存在を検出できる。
L と小型車ＰS が走行しているとき、これに図４で示す
局所領域を重ねると図１１（Ｂ）に示す状態となる。こ
れにより大型車ＰL の走行によりＲ０に○印が連続して
存在するので大型車の存在を検出できる。
【００９０】
【表５】
【００９１】なお、表５、図１１では、小型車ＰS が時
刻ｔ４ではＲ４より外に走行した状態を示し、時刻ｔ５
では大型車がＲ１を走行し終わりＲ２に入ったことを示
している。
刻ｔ４ではＲ４より外に走行した状態を示し、時刻ｔ５
では大型車がＲ１を走行し終わりＲ２に入ったことを示
している。
【００９２】大型車により走行中の車が隠された状態を
表６により説明する。
表６により説明する。
【００９３】
【表６】
【００９４】表６では、時刻ｔ１において大型車が局所
領域Ｒ１を走行し、他の車（例えば小型車）が局所領域
Ｒ３を走行しており、時刻ｔ４において大型車が局所領
域Ｒ２を走行していることを示す。そして時刻ｔ７にお
いて大型車がＲ３を走行しており、このとき大型車がそ
の前を走行中の他の車を隠した状態を示す。なおこの隠
された車は時刻ｔ１１において局所領域Ｒ４を走行し、
大型車の前方に再び出現した状態を示す。このようなこ
とは表解析部２０−３により判断することができる。
領域Ｒ１を走行し、他の車（例えば小型車）が局所領域
Ｒ３を走行しており、時刻ｔ４において大型車が局所領
域Ｒ２を走行していることを示す。そして時刻ｔ７にお
いて大型車がＲ３を走行しており、このとき大型車がそ
の前を走行中の他の車を隠した状態を示す。なおこの隠
された車は時刻ｔ１１において局所領域Ｒ４を走行し、
大型車の前方に再び出現した状態を示す。このようなこ
とは表解析部２０−３により判断することができる。
【００９５】軌跡算出部２０ではその特徴解析部２０−
１が物体の形状特徴を解析して、同一移動物体を判別
し、これにもとづき同一移動物体の軌跡を作表部２０−
２に指示してその軌跡を算出作成することができる。
１が物体の形状特徴を解析して、同一移動物体を判別
し、これにもとづき同一移動物体の軌跡を作表部２０−
２に指示してその軌跡を算出作成することができる。
【００９６】Ｂ．第２実施例 本発明の第２実施例として、空港のスポット監視の場合
について説明する。この例では低速で移動している大き
な移動物体（例えば航空機）と、中速或いは、高速で移
動している小さな物体例えば作業用の特殊車両）とを分
離し、その属性について判断するものである。
について説明する。この例では低速で移動している大き
な移動物体（例えば航空機）と、中速或いは、高速で移
動している小さな物体例えば作業用の特殊車両）とを分
離し、その属性について判断するものである。
【００９７】この例では、図１２（Ａ）に示す状態で局
所領域Ｃ０、Ｌ０〜Ｌ７、Ｒ０〜Ｒ７を設定した。局所
領域Ｃ０は航空機の機体検出を目的としたものであり、
それ以外のＬ０〜Ｌ７、Ｒ０〜Ｒ７は作業用の特殊車両
を検出するための局所領域である。
所領域Ｃ０、Ｌ０〜Ｌ７、Ｒ０〜Ｒ７を設定した。局所
領域Ｃ０は航空機の機体検出を目的としたものであり、
それ以外のＬ０〜Ｌ７、Ｒ０〜Ｒ７は作業用の特殊車両
を検出するための局所領域である。
【００９８】図１２（Ｂ）は航空機Ｊがスポットに停止
している状態を示し、同（Ｃ）は特殊車両ＳＰ１、ＳＰ
２が行き交って走行している状態を示す。そして図１２
（Ｂ）及び（Ｃ）に、同（Ａ）で示す局所領域を被せた
状態を示したのが同（Ｄ）及び（Ｅ）である。
している状態を示し、同（Ｃ）は特殊車両ＳＰ１、ＳＰ
２が行き交って走行している状態を示す。そして図１２
（Ｂ）及び（Ｃ）に、同（Ａ）で示す局所領域を被せた
状態を示したのが同（Ｄ）及び（Ｅ）である。
【００９９】航空機がスポットに近づき低速し、停止す
ると局所領域Ｃ０に航空機Ｊの機体が表れる。この状態
を前記低速移動物体抽出の手法を用いて検出する。この
場合、図１３（Ａ）で示すように、局所領域Ｃ０内の長
辺方向に航空機Ｊの投影を落としてその長さを求める
と、機体の長さを測定することができる。そしてこの機
体の長さから機種を判定することができる。航空機がス
ポットに近づき、停止するまでの投影値の変化を示した
のが表７である。
ると局所領域Ｃ０に航空機Ｊの機体が表れる。この状態
を前記低速移動物体抽出の手法を用いて検出する。この
場合、図１３（Ａ）で示すように、局所領域Ｃ０内の長
辺方向に航空機Ｊの投影を落としてその長さを求める
と、機体の長さを測定することができる。そしてこの機
体の長さから機種を判定することができる。航空機がス
ポットに近づき、停止するまでの投影値の変化を示した
のが表７である。
【０１００】
【表７】
【０１０１】表７より明らかなように、時刻ｔ１、ｔ
２、ｔ３・・・と変化すると共に投影の長さ即ち投影値
が増加し、ある時刻（この例ではｔ４）を越えるとその
増加が停止する。そして投影値の変動が止まり安定した
段階で航空機が停止したと判断する。一方投影値と実際
の長さの関係を求めて変換式を求めておけば航空機の実
際の長さが分かり、長さの違いから航空機の種類が判断
できる。
２、ｔ３・・・と変化すると共に投影の長さ即ち投影値
が増加し、ある時刻（この例ではｔ４）を越えるとその
増加が停止する。そして投影値の変動が止まり安定した
段階で航空機が停止したと判断する。一方投影値と実際
の長さの関係を求めて変換式を求めておけば航空機の実
際の長さが分かり、長さの違いから航空機の種類が判断
できる。
【０１０２】また図１２（Ｃ）、（Ｅ）に示している特
殊車両ＳＰ１、ＳＰ２に関しては、前記中速・高速移動
物体抽出の手法を用いてこれらを検出できる。航空機と
同様に投影値を求めることにより局所領域内に存在して
いる対象物の個数を求めることができる。
殊車両ＳＰ１、ＳＰ２に関しては、前記中速・高速移動
物体抽出の手法を用いてこれらを検出できる。航空機と
同様に投影値を求めることにより局所領域内に存在して
いる対象物の個数を求めることができる。
【０１０３】例えば図１２（Ｅ）において、局所領域Ｌ
５について投影値を求めたものが図１３（Ｂ）である。
これにより投影値がそれぞれ２つ存在するので、局所領
域内に２種類の独立した対象物体が存在していることが
判断できる。
５について投影値を求めたものが図１３（Ｂ）である。
これにより投影値がそれぞれ２つ存在するので、局所領
域内に２種類の独立した対象物体が存在していることが
判断できる。
【０１０４】図１２（Ｅ）の様に特殊車両が移動した場
合の局所領域における対象物体の検出個数の変化を時系
列的に示したのが表８である。
合の局所領域における対象物体の検出個数の変化を時系
列的に示したのが表８である。
【０１０５】
【表８】
【０１０６】この表８により車両の移動とともに局所領
域内の対象物体の数が変動しているのがわかる。これに
もとづき、時刻ｔ５では、局所領域Ｌ６に存在した特殊
車両が局所領域Ｌ７に移動して、その個数が２になった
こと、時刻ｔ７では局所領域Ｌ７を走行していた２個の
うちの１つが局所領域Ｌ５に移動したこと、時刻ｔ９で
は他の１つも局所領域Ｌ５に移動して再びその個数が２
になったこと等が解析できる。
域内の対象物体の数が変動しているのがわかる。これに
もとづき、時刻ｔ５では、局所領域Ｌ６に存在した特殊
車両が局所領域Ｌ７に移動して、その個数が２になった
こと、時刻ｔ７では局所領域Ｌ７を走行していた２個の
うちの１つが局所領域Ｌ５に移動したこと、時刻ｔ９で
は他の１つも局所領域Ｌ５に移動して再びその個数が２
になったこと等が解析できる。
【０１０７】前記説明ではトンネル及び空港の例につい
て説明したが本発明は勿論これのみに限定されるもので
はない。走行速度も低中高の３種類の例について説明し
たが勿論これに限定されるものではなく、例えば０〜３
０ｋｍ、３０〜６０ｋｍ、６０〜９０ｋｍ、９０〜１２
０ｋｍ、１２０〜１５０ｋｍ、１５０ｋｍ以上というよ
うに細かく区分することも勿論できる。
て説明したが本発明は勿論これのみに限定されるもので
はない。走行速度も低中高の３種類の例について説明し
たが勿論これに限定されるものではなく、例えば０〜３
０ｋｍ、３０〜６０ｋｍ、６０〜９０ｋｍ、９０〜１２
０ｋｍ、１２０〜１５０ｋｍ、１５０ｋｍ以上というよ
うに細かく区分することも勿論できる。
【０１０８】
【発明の効果】本発明により以下の如くすぐれた効果が
得られる。本発明では複数の区分の速度画像を生成する
ことができるので、種々の速度で移動している対象物体
が数多く存在する場合に、ある速度範囲で対象物体を分
離することが可能となり、解析処理を容易に行うことが
できる。
得られる。本発明では複数の区分の速度画像を生成する
ことができるので、種々の速度で移動している対象物体
が数多く存在する場合に、ある速度範囲で対象物体を分
離することが可能となり、解析処理を容易に行うことが
できる。
【０１０９】また対象物体の特徴量を求め、特徴量の時
系列変化を求め、特徴量を解析することにより容易に対
象物体の軌跡を求めることができる。さらに局所領域に
おける特徴量を算出し、局所領域毎の特徴量の有無から
時系列変化を求めることにより、これまた対象物体の軌
跡を容易に求めることができる。
系列変化を求め、特徴量を解析することにより容易に対
象物体の軌跡を求めることができる。さらに局所領域に
おける特徴量を算出し、局所領域毎の特徴量の有無から
時系列変化を求めることにより、これまた対象物体の軌
跡を容易に求めることができる。
【０１１０】しかも特徴量の形状情報を用いることによ
り、より詳細な対象物体の軌跡を容易に抽出することも
できる。時刻毎の位置の変化及び面積の変化が極めて少
ない停止物体を容易に抽出することができる。
り、より詳細な対象物体の軌跡を容易に抽出することも
できる。時刻毎の位置の変化及び面積の変化が極めて少
ない停止物体を容易に抽出することができる。
【０１１１】原画像からでは同定が困難な、急激な速度
変化や方向変化を生じた対象物体について特徴量の有無
及び形状特徴の時系列変化または速度画像間変化から軌
跡を算出し移動物体を容易に同定することができる。
変化や方向変化を生じた対象物体について特徴量の有無
及び形状特徴の時系列変化または速度画像間変化から軌
跡を算出し移動物体を容易に同定することができる。
【０１１２】面積の大小のみでは判断できない大型の対
象物体の存在を容易に抽出することができる。しかも小
型物体が大型の対象物体に隠された状態でも、同一物体
の軌跡を抽出することができる。
象物体の存在を容易に抽出することができる。しかも小
型物体が大型の対象物体に隠された状態でも、同一物体
の軌跡を抽出することができる。
【０１１３】速度画像に分離したのち、停止＋低速画像
に対し、局所領域における物体の有無や、ランプの点滅
のような同一形状特徴の周期性を解析することにより点
滅している物体を容易に抽出することができる。
に対し、局所領域における物体の有無や、ランプの点滅
のような同一形状特徴の周期性を解析することにより点
滅している物体を容易に抽出することができる。
【図１】本発明の原理図である。
【図２】本発明一実施例構成図である。
【図３】本発明に使用される原画像説明図である。
【図４】本発明における局所領域説明図の一例である。
【図５】本発明における速度画像抽出説明図である。
【図６】本発明における速度画像抽出の他の例である。
【図７】本発明における局所領域内特徴量抽出部の説明
図である。
図である。
【図８】停止物体と低速移動物体の存在する場合の説明
図である。
図である。
【図９】中速移動物体説明図である。
【図１０】高速移動物体説明図である。
【図１１】大型移動物体説明図である。
【図１２】本発明を空港のスポット監視用に使用した場
合の説明図である。
合の説明図である。
【図１３】本発明における投影値算出説明図である。
１ 画像入力部 ２ 背景画像抽出部 ３ 第１平均背景抽出部 ４ 第２平均背景抽出部 ４′ 第ｎ平均背景抽出部 ５ 第１差分演算処理部 ６ 第２差分演算処理部 ７ 第３差分演算処理部 ７′ 第ｎ＋１差分演算処理部 ８ 第１局所領域内特徴抽出部 ９ 第２局所領域内特徴抽出部 １０ 第ｎ＋１局所領域内特徴抽出部 ２０ 軌跡算出部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−294184（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G01P 3/36 G01P 13/00 - 13/04 G06T 1/00 G08B 13/00 - 15/02 G08G 1/00 - 1/16 H04N 7/18
Claims (9)
- 【請求項１】 背景及び物体を含む画像を入力する画像
入力手段と、 背景を保持、出力する背景画像抽出手段と、 第１の速度までの移動物体と背景が含まれる画像を抽出
する第１平均背景抽出手段と、 第２の速度までの移動物体と背景が含まれる画像を抽出
する第２平均背景抽出手段と、 背景画像抽出手段の出力と、前記第１平均背景抽出手段
の出力との差分を求めて速度画像を生成する第１差分演
算処理手段と、 前記２つの平均背景抽出手段の出力の差分を求めて速度
画像を生成する第２差分演算処理手段と、 前記画像入力手段の出力と、前記第２の平均背景抽出手
段の出力との差分を求めて速度画像を生成する第３差分
演算処理手段を具備したことを特徴とする画像処理装
置。 - 【請求項２】 前記各差分演算処理手段の出力を、複数
の局所領域を設定する局所領域決定手段と、前記局所領
域決定手段で決定された局所領域内の入力画像にラベル
を付与して物体を分離するラベル処理手段と、前記ラベ
ル処理手段において処理された同一ラベル付けされた領
域に対して特徴量を算出する特徴量算出手段を有する局
所領域内特徴量抽出処理手段により処理することを特徴
とする請求項１記載の画像処理装置。 - 【請求項３】 前記第１差分演算処理手段の出力を、複
数の局所領域を設定する局所領域決定手段と、前記局所
領域決定手段で決定された局所領域内の入力画像にラベ
ルを付与して物体を分離するラベル処理手段と、前記ラ
ベル処理手段において処理された同一ラベル付けされた
領域に対して投影をとり、物体の位置を算出し、物体の
縦横の長さ、面積等の特徴量を算出する特徴量算出手段
を有する局所領域内特徴量抽出処理手段により処理し、 時刻毎に物体の位置変化と特徴量の変化を求め、その変
化により停止物体を抽出する軌跡算出手段を具備したこ
とを特徴とする請求項１記載の画像処理装置。 - 【請求項４】 前記各差分演算処理手段から出力される
速度画像毎に、前記局所領域に対応してそれぞれ局所領
域内特徴量抽出処理手段を具備する局所領域内特徴抽出
手段を設けたことを特徴とする請求項２記載の画像処理
装置。 - 【請求項５】 前記各局所領域内特徴抽出手段の出力に
もとづき各局所領域内の物体の存在を時系列的に検知し
て作表する作表手段を有する軌跡算出手段を設けたこと
を特徴とする請求項２記載の画像処理装置。 - 【請求項６】 軌跡算出手段に特徴を抽出する特徴解析
手段を設け、前記特徴算出手段より算出された特徴のう
ち物体の形状特徴により同一移動物体の軌跡を作表する
ようにしたことを特徴とする請求項５記載の画像処理装
置。 - 【請求項７】 複数の局所的な処理領域における物体の
通過の有無と、物体の形状特徴を検知する特徴解析部
と、通過時の時刻を示す作表手段より同一移動物体の軌
跡を算出し、物体の急激な速度変化や方向変化を判別し
移動物体を同定することを特徴とする請求項５記載の画
像処理装置。 - 【請求項８】 複数の局所領域を物体のサイズに応じて
設定し、前記各局所領域内の物体の存在を時系列的に検
知して作表する作表手段を有する軌跡算出手段に同一移
動体を判別する特徴解析部と表を解析する表解析部を設
け、大きい物体が小さい物体を隠す場合でもこれらの局
所領域の軌跡を判別して同一移動物体の軌跡を認識する
ことを特徴とする請求項５記載の画像処理装置。 - 【請求項９】 複数の局所領域を設定し、各局所領域に
おける物体の通過の有無の周期性を調べる表解析部と、
同一形状特徴の周期性を調べる特徴解析手段を設け、現
れたり消えたりしている物体を同定することを特徴とす
る請求項６記載の画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12256393A JP3288474B2 (ja) | 1993-03-31 | 1993-05-25 | 画像処理装置 |
| US08/681,485 US6141435A (en) | 1993-03-31 | 1996-07-23 | Image processing apparatus |
| US09/564,535 US6430303B1 (en) | 1993-03-31 | 2000-05-04 | Image processing apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-73319 | 1993-03-31 | ||
| JP7331993 | 1993-03-31 | ||
| JP12256393A JP3288474B2 (ja) | 1993-03-31 | 1993-05-25 | 画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001345896A Division JP3816785B2 (ja) | 1993-03-31 | 2001-11-12 | 距離測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06337938A JPH06337938A (ja) | 1994-12-06 |
| JP3288474B2 true JP3288474B2 (ja) | 2002-06-04 |
Family
ID=26414468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12256393A Expired - Fee Related JP3288474B2 (ja) | 1993-03-31 | 1993-05-25 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6141435A (ja) |
| JP (1) | JP3288474B2 (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| JP3114668B2 (ja) * | 1997-10-03 | 2000-12-04 | 日本電気株式会社 | 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体 |
| JP4157620B2 (ja) * | 1998-06-19 | 2008-10-01 | 株式会社東芝 | 移動物体検出装置及びその方法 |
| JP3488104B2 (ja) * | 1998-11-18 | 2004-01-19 | 富士通株式会社 | 移動体の特性抽出装置，特性抽出方法およびそのプログラム記録媒体 |
| JP3873554B2 (ja) * | 1999-12-27 | 2007-01-24 | 株式会社日立製作所 | 監視装置、監視プログラムが記録された記録媒体 |
| JP4504503B2 (ja) * | 2000-03-27 | 2010-07-14 | 名古屋電機工業株式会社 | 移動体検出装置 |
| JP4167390B2 (ja) | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| US6819779B1 (en) * | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
| JP2003098424A (ja) * | 2001-09-25 | 2003-04-03 | Fujitsu Ten Ltd | 画像処理測距装置 |
| US7162101B2 (en) * | 2001-11-15 | 2007-01-09 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
| US7760921B2 (en) * | 2002-12-19 | 2010-07-20 | Casio Computer Co., Ltd. | Pressure activated fingerprint input apparatus |
| US20050078873A1 (en) * | 2003-01-31 | 2005-04-14 | Cetin Ahmet Enis | Movement detection and estimation in wavelet compressed video |
| JP4140402B2 (ja) | 2003-03-03 | 2008-08-27 | 松下電工株式会社 | 画像処理装置 |
| US20040223652A1 (en) * | 2003-05-07 | 2004-11-11 | Cetin Ahmet Enis | Characterization of motion of moving objects in video |
| US7747041B2 (en) * | 2003-09-24 | 2010-06-29 | Brigham Young University | Automated estimation of average stopped delay at signalized intersections |
| JP2005215985A (ja) * | 2004-01-29 | 2005-08-11 | Fujitsu Ltd | 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| AU2005241467B2 (en) * | 2004-04-30 | 2008-09-11 | Utc Fire & Security Corp. | Camera tamper detection |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| US8031226B2 (en) | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
| JP4781844B2 (ja) * | 2005-03-01 | 2011-09-28 | 富士フイルム株式会社 | 画像出力装置、画像出力方法、および画像出力プログラム |
| US8139896B1 (en) | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
| WO2006109217A2 (en) * | 2005-04-14 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Video apparatus having an edition function |
| US7920959B1 (en) * | 2005-05-01 | 2011-04-05 | Christopher Reed Williams | Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera |
| JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
| JP4640155B2 (ja) * | 2005-12-15 | 2011-03-02 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| JP4571115B2 (ja) * | 2006-11-06 | 2010-10-27 | 日本電信電話株式会社 | 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP5344608B2 (ja) * | 2009-08-24 | 2013-11-20 | キヤノン株式会社 | 撮影システム |
| US20130265419A1 (en) * | 2012-04-06 | 2013-10-10 | Xerox Corporation | System and method for available parking space estimation for multispace on-street parking |
| KR101747216B1 (ko) | 2012-05-30 | 2017-06-15 | 한화테크윈 주식회사 | 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 |
| JP6051608B2 (ja) * | 2012-06-19 | 2016-12-27 | 市光工業株式会社 | 車両周辺対象物検出装置 |
| JP5895858B2 (ja) * | 2013-01-16 | 2016-03-30 | トヨタ自動車株式会社 | 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法 |
| JP7091673B2 (ja) | 2018-01-25 | 2022-06-28 | 富士通株式会社 | 可動自由度推定装置、及び可動自由度推定プログラム |
| CN114127506A (zh) * | 2019-07-04 | 2022-03-01 | 三菱电机株式会社 | 移动体测位装置和移动体测位系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4449144A (en) * | 1981-06-26 | 1984-05-15 | Omron Tateisi Electronics Co. | Apparatus for detecting moving body |
| CA1287161C (en) * | 1984-09-17 | 1991-07-30 | Akihiro Furukawa | Apparatus for discriminating a moving region and a stationary region in a video signal |
| JPS61243569A (ja) * | 1985-04-19 | 1986-10-29 | Fujitsu Ltd | デイジタル画像領域へのラベル付け方式 |
| JPS6320578A (ja) * | 1986-07-14 | 1988-01-28 | Fujitsu Ltd | 連結領域のラベル付け回路 |
| JPS63314988A (ja) * | 1987-06-18 | 1988-12-22 | Fujitsu Ltd | ビデオレ−ト色抽出装置 |
| US5109435A (en) * | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| US4937878A (en) * | 1988-08-08 | 1990-06-26 | Hughes Aircraft Company | Signal processing for autonomous acquisition of objects in cluttered background |
| US5034986A (en) * | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
| JPH03206574A (ja) * | 1990-01-09 | 1991-09-09 | Fujitsu Ltd | ラスタ走査型ラベリング処理方式 |
| JP2975629B2 (ja) * | 1990-03-26 | 1999-11-10 | 株式会社東芝 | 画像認識装置 |
| US5150426A (en) * | 1990-11-20 | 1992-09-22 | Hughes Aircraft Company | Moving target detection method using two-frame subtraction and a two quadrant multiplier |
| US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
| US5301239A (en) * | 1991-02-18 | 1994-04-05 | Matsushita Electric Industrial Co., Ltd. | Apparatus for measuring the dynamic state of traffic |
| JPH05159058A (ja) * | 1991-12-04 | 1993-06-25 | Fujitsu Ltd | 動的物体の軌跡解析装置 |
| JPH05159057A (ja) * | 1991-12-04 | 1993-06-25 | Fujitsu Ltd | 動的物体の計測装置 |
| US5809161A (en) * | 1992-03-20 | 1998-09-15 | Commonwealth Scientific And Industrial Research Organisation | Vehicle monitoring system |
-
1993
- 1993-05-25 JP JP12256393A patent/JP3288474B2/ja not_active Expired - Fee Related
-
1996
- 1996-07-23 US US08/681,485 patent/US6141435A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06337938A (ja) | 1994-12-06 |
| US6141435A (en) | 2000-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3288474B2 (ja) | 画像処理装置 | |
| Ijjina et al. | Computer vision-based accident detection in traffic surveillance | |
| US20200211395A1 (en) | Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle | |
| JP4480299B2 (ja) | 移動体を含む画像の処理方法及び装置 | |
| Rahman et al. | A real-time wrong-way vehicle detection based on YOLO and centroid tracking | |
| KR102453627B1 (ko) | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 | |
| Ghahremannezhad et al. | Real-time accident detection in traffic surveillance using deep learning | |
| CN112513873A (zh) | 根据摄像机图像识别行人的运动意图 | |
| Terwilliger et al. | Dynamics of pedestrian crossing decisions based on vehicle trajectories in large-scale simulated and real-world data | |
| CN110097571B (zh) | 快速高精度的车辆碰撞预测方法 | |
| Rajendar et al. | Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection | |
| Ortiz et al. | Prediction of driver behavior on a limited sensory setting | |
| KR20210004271A (ko) | 이벤트 태깅 기반 상황인지 방법 및 그 시스템 | |
| CN113538909A (zh) | 一种自动驾驶车辆交通事件预测方法及装置 | |
| Detzer et al. | Analysis of traffic safety for cyclists: The automatic detection of critical traffic situations for cyclists | |
| CN112185103A (zh) | 交通监控方法、装置及电子设备 | |
| Böddeker et al. | Automated driving safety-The art of conscious risk taking-minimum lateral distances to pedestrians | |
| Jyothi et al. | Driver assistance for safe navigation under unstructured traffic environment | |
| CN114954448A (zh) | 一种结合路网信息的车辆障碍物时序轨迹预测方法 | |
| CN111169473B (zh) | 一种基于GroundTruth的车体语言交互数据融合方法及系统 | |
| CN109165591B (zh) | 道路行人分类方法 | |
| CN108961838B (zh) | 道路行人分类系统 | |
| CN109145980B (zh) | 用于道路行人分类的磁力概率算法及系统 | |
| JP3816785B2 (ja) | 距離測定装置 | |
| Foresti et al. | Vehicle detection and tracking for traffic monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080315 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090315 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100315 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100315 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110315 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |