JPH06337938A - 画像処理装置及び距離測定装置 - Google Patents

画像処理装置及び距離測定装置

Info

Publication number
JPH06337938A
JPH06337938A JP5122563A JP12256393A JPH06337938A JP H06337938 A JPH06337938 A JP H06337938A JP 5122563 A JP5122563 A JP 5122563A JP 12256393 A JP12256393 A JP 12256393A JP H06337938 A JPH06337938 A JP H06337938A
Authority
JP
Japan
Prior art keywords
image
marker
background
speed
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5122563A
Other languages
English (en)
Other versions
JP3288474B2 (ja
Inventor
Satoshi Naoi
聡 直井
Koichi Egawa
宏一 江川
Morihito Shiobara
守人 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP12256393A priority Critical patent/JP3288474B2/ja
Publication of JPH06337938A publication Critical patent/JPH06337938A/ja
Priority to US08/681,485 priority patent/US6141435A/en
Priority to US09/564,535 priority patent/US6430303B1/en
Application granted granted Critical
Publication of JP3288474B2 publication Critical patent/JP3288474B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 異なる速度の移動物体が複数存在する場合で
も、静止している物体が存在する場合でも短時間でこれ
らの動きを解析できる画像処理装置を提供する。 【構成】 背景及び物体を含む画像を入力する画像入力
手段1と、背景を保持、出力する背景画像抽出手段2
と、第1の速度までの移動物体と背景が含まれる画像を
抽出する第1平均背景抽出手段3と、第2の速度までの
移動物体と背景が含まれる画像を抽出する第2平均背景
抽出手段4と、背景画像抽出手段2の出力と、前記第1
平均背景抽出手段のいずれかの出力との差分を求めて速
度画像を生成する第1差分演算処理手段5と、前記2つ
の平均背景抽出手段の出力の差分を求めて速度画像を生
成する第2差分演算処理手段6と、前記画像入力手段1
の出力と、前記2つの平均背景抽出手段のいずれかの出
力との差分を求めて速度画像を生成する第3差分演算処
理手段7を具備した。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、背景画像と、静止物体
またはある速度までの移動物体と背景が含まれる画像を
組み合わせ、差分処理を行うことにより静止物体または
移動物体を同定したり、移動物体の動きを解析できるよ
うにした画像処理装置に関する。
【0002】また物体が移動する背景にマーカを設置
し、マーカを画像処理で抽出してマーカが定常状態か否
かを検出することにより、移動体とマーカの重なり部分
を断定し、移動物体間に存在する定常状態のマーカサイ
ズを算出して移動物体間の距離を求めることができるよ
うにした画像処理装置に関する。
【0003】画像中の移動物体を抽出し、解析し、何ら
かの情報を得る技術は様々な産業分野において必要不可
欠である。例えば人間や動物等生物の動きを解析し、そ
れから得た知識を基にして商品の設計等に応用するよう
なことは、より安全で合理的な商品開発に必要である。
【0004】また画像を用いた監視処理は種々の場所に
おいて利用されており、事故や災害等の発見に寄与して
いる。しかも近年では単に異常や有事を検知するのみに
とどまらず、事故や災害を未然に防ぐという防災の目的
が強くなってきている。
【0005】そのためには事故や災害をもたらす異常な
動きを示す対象物をいち早く検出する必要がある。そこ
で移動物体の動きを捕らえ解析したり、移動物体間の距
離を精度よく算出したりして、その値からいち早く事故
や災害をもたらす異常な動きをする移動物体を検出する
効率的な手法が必要である。
【0006】
【従来の技術】ところで、画像処理を応用した移動物体
の解析として、本特許出願人の出願にかかる例えば特願
平3−320594号、特願平3−320597号等が
先行技術としてあるが、これらでは始めに移動物体があ
るかも知れない領域抽出を行い、それらの領域のサイズ
や中心位置等の特徴から対象物を区別し、この対象物の
時間的な変化からその動きを捕らえている。
【0007】例えば人間の運動解析を行う場合、始めに
解析したい部分を抽出する。この抽出した対象に対して
投影値や領域の中心値等の特徴量を算出し、この特徴量
を基にして物体を区別する。次にこのような上記の特徴
量の算出処理を時間的な流れのある画像つまり連続画像
に対して処理を行い、特徴量から画像間での物体の対応
付けを行い、動きを解析している。
【0008】
【発明が解決しようとする課題】このような上記の手法
では、時系列画像それぞれに対して、物体全ての領域抽
出・同定処理を行い、且つ画像間での物体の対応付けを
求めなければ、移動物体の属性の抽出、例えば速度を求
めることができない。
【0009】移動物体がただ1つのみであれば画像間の
対応付けは単純であり、比較的簡単にこの時間軸の変化
を含めた、例えば速度の如き属性を求めることができ
る。しかし移動物体が数多く存在する場合においては画
像間の対応付けは難しく、しかも物体が静止していた
り、別々の速度で移動している場合は、それら全てにつ
いてビデオレート処理を行うのは困難である。
【0010】従って本発明の目的は、移動物体が数多く
存在する場合でも、静止していたり異なる速度で移動し
ている場合でもビデオレートでこれらの動きが解析でき
る画像処理装置を提供することである。
【0011】
【課題を解決するための手段】前記目的を達成するた
め、本発明では、図1に示す如く、ビデオカメラの如き
画像入力部1と、背景画像抽出部2と、第1平均背景抽
出部3と、第2平均背景抽出部4と、第1差分演算処理
部5と、第2差分演算処理部6と、第3差分演算処理部
7を設ける。
【0012】背景画像抽出部2は静止物体及び移動物体
を除き背景のみを抽出し、保持するものであり、例えば
静止物体も移動物体も抽出されない時に入力画像を保持
蓄積するものである。この背景は予めシステムに組み込
んでおくこともできる。第1平均背景抽出部3は、停止
物体と低速移動物体及び背景を抽出するもの、第2平均
背景抽出部4は、停止物体と低速移動物体と中速移動物
体及び背景を抽出するものである。
【0013】また第1差分演算処理部5は背景画像抽出
部2の保持している背景と、第1平均背景抽出部3の出
力との差分を取るものである。第2差分演算処理部6は
第1平均背景抽出部3の出力と第2平均背景抽出部4の
出力との差分を取るものである。第3差分演算処理部7
は第2平均背景抽出部4の出力と画像入力部1の出力と
の差分を取るものである。
【0014】
【作用】いま、図1のaで示すように、道路の左車線に
停止車両が存在しかつ低速車両が走行し、黒印で示す障
害物が存在しており、また右車線に2台の中速車両が走
行している場合について、本発明の動作を説明する。
【0015】画像入力部1から画像aが入力されると、
第1平均背景抽出部3からcで示す画像が出力され、第
2平均背景抽出部4からdで示す画像が出力される。ま
た背景画像抽出部2ではbで示す背景画像が保持、出力
されている。
【0016】したがって、第1差分演算処理部5からは
背景画像bと画像cとの差分である画像eが出力され、
第2差分演算処理部6からは画像cと画像dとの差分で
ある画像fが出力される。そして第3差分演算処理部7
からは画像dと画像aの差分である画像gが出力され
る。
【0017】これにより、第1差分演算処理部5からは
左車線に存在する2台の停止車両又は低速車両と障害物
が画像eとして出力され、第2差分演算処理部6からは
右車線に存在する2台の中速車両が画像fとして出力さ
れる。しかし画像aには中速より速く走行する車両が存
在しないので、第3差分演算処理部6の出力する画像g
には何も出力されないものとなる。
【0018】このようにして異なる速度で移動する複数
の移動物体の動きをビデオレートで処理することができ
る。
【0019】
【実施例】
A.第1実施例 本発明の一実施例を図2〜図10にもとづき説明する。
図2は本発明の一実施例構成図、図3は本発明における
原画像説明図、図4は本発明における局所領域説明図、
図5は本発明における速度画像抽出説明図、図6は本発
明における局所領域内特徴量抽出部の説明図、図7は停
止物体と低速移動物体の存在する場合の説明図、図8は
中速移動物体説明図、図9は高速移動物体説明図、図1
0は大型移動物体説明図である。
【0020】図中他図と同記号は同一部を示し、1は画
像入力部、2は背景画像抽出部、3は第1平均背景抽出
部、4′は第n平均背景抽出部、5は第1差分演算処理
部、6は第2差分演算処理部、7′は第n+1差分演算
処理部、8は第1局所領域内特徴量抽出部、9は第2局
所領域内特徴量抽出部、10は第n+1局所領域内特徴
量抽出部、20は軌跡算出部である。
【0021】画像入力部1は監視すべき領域の画像をビ
デオレートで入力するものであり、例えばビデオカメラ
である。背景画像抽出部2は監視すべき領域の背景画像
を入力し、保持するものであり、後述するように移動物
体と静止物体のいずれも抽出されないときに随時入力し
て、後述する図5(A)で示す背景画像メモリ2−1に
蓄積したり、予めシステムに保持しておくこともでき
る。
【0022】第1平均背景抽出部3は停止物体と低速移
動物体及び背景を抽出するものであり、また第n平均背
景抽出部4′は停止物体と低速〜高速の移動物体及び背
景を抽出するものである。これらの第1平均背景抽出部
3〜第n平均背景抽出部4′により移動物体の速度別画
像を作成することができる。
【0023】勿論第1平均背景抽出部3と第n平均背景
抽出部4′との間に、停止物体と低速〜中速の移動物体
及び背景を抽出する他の平均背景抽出部(例えば図1に
おける第2平均背景抽出部4)を設けれることもでき
る。
【0024】第1差分演算処理部5は背景画像抽出部2
の出力と第1平均背景抽出部3の出力との差分を取るも
のであり、第2差分演算処理部6は第1平均背景抽出部
3の出力と第n平均背景抽出部4′の出力との差分を取
るものである。そして第n+1差分演算処理部7′は第
n平均背景抽出部4′の出力と画像入力部1の出力との
差分を取るものである。
【0025】これら差分演算処理部により、目的の速度
で移動している物体のみを抽出することができる。勿論
図1に示す如く、n=2の状態で構成することもでき
る。差分演算処理部の種類は前段の平均画像抽出部に依
存しており、その種類つまりどの平均画像抽出部間の出
力差を求めるのかということは定まったものではない。
しかし最大数は、平均背景画像抽出部の数と背景画像抽
出部と原画像すなわち画像入力部の出力画像の和をX
(図1の場合は4)とすると、X*(X−1)/2(*
は乗算を示す)だけの種類の差分演算処理部を設定する
ことができる。
【0026】第1局所領域内特徴量抽出部8は、第1差
分演算処理部5の出力を受けて、後述するように、その
定められた領域内の特徴量の有無や物体の形状特徴等を
求める。ここで求めた特徴量の有無とは位置変化を表
し、形状特徴は例えばバス乗用車等の対象物体の属性を
表すものである。
【0027】第2局所領域内特徴量抽出部9は、第2差
分演算処理部6の出力を受けてその定められた領域内の
特徴の有無や物体の形状特徴等を求めるものである。第
n+1局所領域内特徴量抽出部10は、同様に第n+1
差分演算処理部7′の出力を受けてその定められた領域
内の特徴の有無や物体の形状特徴等を求めるものであ
る。
【0028】軌跡算出部20はこれら第1局所領域内特
徴抽出部9〜第n+1局所領域内特徴部10の出力にも
とづき、特徴量の有無の時系列変化から物体の軌跡を算
出したり、さらに形状特徴から同一物体の軌跡を求める
等の処理を行うものであり、物体の形状特徴解析を行う
特徴解析部20−1、作表を行う作表部20−2、表の
解析を行う表解析部20−3等を具備している。
【0029】本発明を道路監視用、例えばトンネル内の
監視用に使用した場合について以下に説明する。図3
(A)はトンネル内に設置した画像入力部1で撮影した
ある時刻の画像であり、同(B)はそれから数秒後に撮
影した画像である。画像入力部1ではビデオレートで連
続して撮影しているので、この2つの画像の間に図示省
略した画像が連続撮影されている。
【0030】図3(A)、(B)において右車線Rは正
常に車両が流れているが、左車線には故障車P1 が停車
しており尾燈を点滅させている。しかもこの故障車P1
の後方には障害物P2 があり、この障害物P2 に気づい
た後続車両P3 は減速して低速走行しているものと仮定
する。以後この2枚を用いて説明するが、ビデオレート
で連続して処理を行っているものと仮定する。
【0031】また画像入力部1で撮影される画像領域
は、図4に示す如く、複数の局所領域に設定される。図
4においてL0〜L4は左車線用の車両追跡用局所領域
であり、このうちL0は大型車検出用の局所領域であ
り、L1〜L4は追跡用の局所領域である。同様にR0
〜R4は右車線用の車両追跡用局所領域であり、R0は
右車線での大型車検出用局所領域であり、R1〜R4は
追跡用の局所領域である。
【0032】次に図5により本発明における速度画像抽
出状態を説明する。図5は、停止物体と低速移動物体、
中速移動物体、高速移動物体の3種類をそれぞれ出力す
るものであり図1に対応するものであり、また図2に関
して対応させる場合には、n=2の場合における背景画
像抽出部2、第1平均背景抽出部3、第n平均背景抽出
部4′、第1差分演算処理部5、第2差分演算処理部
6、第n+1差分演算処理部7′に相当するものであ
る。
【0033】背景画像抽出部2の画像メモリ2−1には
背景が保持されており、この背景がルックアップテーブ
ルのiとして入力される。ルックアップテーブルの
他方の入力jは、ルックアップテーブルの出力である
背景+停止物体+低速物体が入力される。
【0034】ルックアップテーブルは、図5(B)に
示す如く、|i−j|の値が閾値th2(例えばth2
=50)より大きいとき|i−j|を出力する。したが
って背景の部分についてはi=jのためルックアップテ
ーブルからの出力kはk=0であるので、ルックアッ
プテーブルの出力は停止物体と低速物体の存在する部
分だけ|i−j|が出力され、ルックアップテーブル
にiとして入力される。
【0035】このときルックアップテーブルの他方の
入力jには画像入力部1で撮影された入力画像が入力さ
れる。この入力画像は、背景と停止物体(障害物も含
む)と低速物体と中速物体と高速物体が含まれており、
このうち、停止物体(障害物も含む)と低速物体の存在
する部分にのみ|i−j|の値が入力されることにな
る。
【0036】なお、ルックアップテーブルは、図5
(B)に示す如く、iの値が閾値th1(例えばth1
=5)のときjからの入力を出力kとし、それ以外はk
=0となる。それ故、ルックアップテーブルから入力
画像の内の停止物体(障害物も含む)と低速物体のみが
出力される。
【0037】ところでルックアップテーブルは画像入
力部1で撮影された入力画像がiとして入力され、画像
メモリ3−1に保持された画像がjとして入力される。
そしてi=jのとき出力kとして画像メモリ3−1に保
持された画像が、そのまま出力されまた画像メモリ3−
1に保持される。
【0038】この外0≦(i−j)≦th31(例えば
閾値th31=10)の場合はjにオフセット値α31
(例えばα31=1)を加算した値のk=j+α31を
出力し、同時に画像メモリ3−1に保持する。0≦(j
−1)≦th31の場合はjからα31を減算した値の
k=j−α31を出力し、同時に画像メモリ3−1に保
持する。
【0039】th31<(i−j)≦th32(例えば
閾値th32=255)の場合はjにオフセット値α3
2(例えばα32=3)を加算した値のk=j+α32
を出力し、同時に画像メモリ3−1に保持する。th3
1<(j−i)≦th32の場合はjからα32を減算
した値のk=j−α32を出力し、同時に画像メモリ3
−1に保持する。
【0040】このようにして後述する理由により背景と
停止物体(これらはいずれもi=j)の外に低速物体の
存在する部分にもルックアップテーブルよりkが出力
され、ルックアップテーブル′にiとして入力され
る。
【0041】ルックアップテーブル′の他方の入力j
は、ルックアップテーブルの出力である背景+停止物
体+低速物体+中速物体が入力される。ルックアップテ
ーブル′は、図5(B)のに示す如く設定され、|
i−j|の値が閾値th2より大きいとき|i−j|を
出力する。
【0042】したがって、背景と低速の部分については
i=jのためルックアップテーブル′からの出力kは
k=0であり、このためルックアップテーブル′の出
力は入力画像に中速物体の存在する部分だけ|i−j|
が出力され、ルックアップテーブル′にiとして入力
される。
【0043】このときルックアップテーブル′の他方
の入力jには画像入力部1で撮影された入力画像が入力
される。この入力画像は、背景と停止物体と低速物体と
中速物体と高速物体が含まれており、このうち中速物体
の存在する部分のみ|i−j|の値が入力される。ルッ
クアップテーブル′は図5(B)に示すと同様に動
作設定されているので、ルックアップテーブル′から
は中速物体のみが出力される。
【0044】またルックアップテーブルは画像入力部
1で撮影された入力画像がiとして入力され、画像メモ
リ4−1に保持された画像がjとして入力される。そし
てi=jのとき出力kとして画像メモリ4−1に保持さ
れた画像がそのまま出力され、また画像メモリ4−1に
保持される。
【0045】この外0≦(i−j)≦th41(例えば
閾値th41=10)の場合はjにオフセット値α41
(例えばα41=1)を加算した値のk=j+α41を
出力し、同時に画像メモリ4−1に保持する。0≦(j
−i)≦th41の場合はjからα41を減算した値の
k=j−α41を出力し、同時に画像メモリ4−1に保
持する。
【0046】th41<(i−j)≦th42(例えば
閾値th42=255)の場合はjにオフセット値α4
2(例えばα42=10)を加算した値のk=j+α4
2を出力し、同時にこれを画像メモリ4−1に保持す
る。th41<(j−i)≦th42の場合はjからα
42を減算した値のk=j−α42を出力し、同時にこ
れを画像メモリ4−1に保持する。
【0047】このようにして後述する理由によりルック
アップテーブルより背景、停止物体、低速物体の外に
中速物体の存在する部分にはkが出力され、ルックアッ
プテーブル′及び″にiとして入力される。
【0048】ルックアップテーブル″の他方の入力j
には画像入力部1で撮影された入力画像が入力される。
ルックアップテーブル″は、図5(B)のに示す如
く設定され、|i−j|の値が閾値th2より大きい時
|i−j|を出力する。従って、背景と低速と中速の部
分についてはi=jのため、ルックアップテーブル″
の出力kはk=0であり、入力画像に高速物体の存在す
る部分だけルックアップテーブル″から|i−j|が
出力され、ルックアップテーブル″にiとして入力さ
れる。
【0049】このときルックアップテーブル″の他方
の入力jは画像入力部1で撮影された、背景、停止物
体、低速物体、中速物体、高速物体が含まれており、こ
のうち高速物体の存在する部分のみ|i−j|の値が入
力されるので、ルックアップテーブル″からは高速物
体のみが出力されるものとなる。
【0050】このように、移動物体の速度別に画像を求
め、対象物を抽出することで、監視対象を限定すること
ができる。ところで前記の如くルックアップテーブル
又はの出力にオセフット値を加算または減算して画像
メモリ3−1または画像メモリ4−1のデータを修正
し、保持する理由について説明する。
【0051】これら画像メモリと入力画像の差が閾値以
上の場合、オフセット値を加算又は減算して画像メモリ
を修正する。対象物体の動きが遅い場合には小さなオフ
セット値により何度か修正すれば、画像メモリの保持出
力する値が入力画像と同じになる。しかし動きが早い対
象物の場合少ない修正回数で画像メモリの値を修正しな
いと入力画像の領域外に移動し、消えることになる。
【0052】このため速度の大きな対象物の検出に対し
てはオフセット値を大きくして早く修正し、速度の小さ
な対象物の検出に対してはオフセット値を小さくして修
正回数を多くして、時間をかけることにより行う。この
ようにオフセット値を変えることにより対象物体の速度
の違いを判断し、目的とする対象物のみを検出すること
ができる。
【0053】また、図6により平均背景抽出部による各
物体の移動速度に応じて、物体を分離した画像を抽出す
る他の手法を説明する。図6(A)に示す如く、矢印方
向に移動している移動物体Aと停止物体Bが存在してい
るとき、時刻t1 、t2 ・・・tn で移動物体Aと停止
物体Bがそれぞれ図示の状態になるが、これらのt1
n の各画像を図示省略したメモリに累積する。そして
その累積画像を平均して平均背景を算出する。
【0054】この場合、停止物体Bはn個の画像を累積
した値をn等分した値で算出されるが、停止物体Bは各
時刻において停止、つまり位置変化がないので、物体B
は変化なく抽出できる。
【0055】一方、移動物体Aは、特にこの移動物体A
の移動速度が速い場合には、各時刻の画像間での移動物
体Aの重なりがなく、1時刻の移動物体Aと、(n−
1)個の背景との平均をとることになるため、平均の濃
度値が小さく閾値より小さな値になり移動物体Aは消失
される。かくして平均背景に停止物体Bが残り、移動物
体Aは存在しないものとなる。
【0056】なお、移動物体Aだけを含む画像は、平均
背景と各時刻の画像との差を算出することにより抽出す
ることが可能となる。また図6(B)に示す如く、停止
物体Bに加えて、低速移動物体Dと、中速移動物体Eが
存在する場合、これらの移動物体D、Eは次のようにし
て区分できる。
【0057】低速の移動物体Dは、時刻t2 、t3 、の
時刻ではいずれも、時刻t1 の画像とその一部が重複し
ているが時刻t4 の画像は時刻t1 の画像と重なりがな
くなる。
【0058】また中速の移動物体Eは、時刻t2 では時
刻t1 の画像とその一部が重複しているが、時刻t3
画像は時刻t1 の画像と重なりがない。したがって時刻
1 とt4 の画像を累積して2等分すれば低速の移動物
体Dと中速の移動物体Eの値は、いずれも閾値以下とな
り停止物体Bが得られる。また時刻t1 とt2 とt3
画像を累積して3等分すれば、同様に中速の移動物体E
のみの画像濃度値が閾値以下となる。しかし低速の移動
物体Dは、これらの時刻の重なり部分が存在するため、
これにもとづき得ることができる。このとき停止物体B
も得られるが、停止物体Bは前記の如く別に得たものと
の差で消去すれば低速の移動物体Dを得ることができ
る。
【0059】また低速の移動物体Dと停止物体Bを原画
像より消去することにより中速の移動物体Eを抽出する
ことができる。同様にして、更に高速の移動物体が存在
するとき、これを抽出することができる。なお、停止物
体の背景も、停止物体と一緒に得ることができる。
【0060】このようにして、図5(A)に示すものと
は別の手法により、第1平均背景抽出部から「背景+停
止物体+低速移動物体」を出力し、第2平均背景抽出部
から「背景+停止物体+低速移動物体+中速移動物体」
を出力することができる。これらにもとづき、第1差分
演算処理部において、背景画像抽出部から出力される背
景と、第1平均背景抽出部から出力される「背景+停止
物体+低速移動物体」との差分を求めることにより、第
1差分演算処理部から「停止物体+低速移動物体」が得
られる。
【0061】第2差分演算処理部において第1平均背景
抽出部から出力される「背景+停止物体+低速移動物
体」と第2平均背景抽出部から出力される「背景+停止
物体+低速移動物体+中速移動物体」との差分を求める
ことにより、第2差分演算処理部から中速移動物体が得
られる。
【0062】さらに第3差分演算処理部において、第2
平均背景抽出部から出力される「背景+停止物体+低速
移動物体+中速移動物体」と入力画像との差分を求める
ことにより、第3差分演算処理部から高速移動物体が得
られる。
【0063】例えば図1において、第1平均背景抽出部
3が背景+停止物体(障害物も含む)+低速移動物体の
みを抽出し、第2平均背景抽出部4では背景+停止物体
(障害物も含む)+低速移動物体+中速移動物体のみを
抽出する場合、第1平均背景抽出部3より得られるもの
は画像cであり、第2平均背景抽出部4から得られるも
のは画像dとなる。
【0064】この結果第1差分演算処理部5から停止物
体+低速移動物体のみの画像eが得られ、第2差分演算
処理部6から中速移動物体のみの画像fが得られ、第3
差分演算処理部7から高速移動物体のみの画像gが得ら
れる。ただし図1の例では画像入力部1から得られた入
力画像に高速移動物体が存在していない場合であり、こ
のとき画像gには何も検出されないものとなる。従っ
て、画像e、f、gに何も存在しない時に画像入力部1
の入力を背景画像抽出部2で蓄積保持することにより背
景を更新することができる。
【0065】次に第1局所領域内特徴量抽出部8、第2
局所領域内特徴量抽出部9、第n+1局所領域内特徴量
抽出部10については、いずれも同一構成のため、図6
により第1局所領域内特徴量抽出部8について代表的に
説明する。
【0066】本発明では、画像入力部1で撮影される画
像領域を予め複数の局所領域に設定しておく。例えば図
4に示す如く、左車線用の車両追跡用局所領域としてL
0〜L4を設定し、右車線用の車両追跡用局所領域とし
てR0〜R4を設定する。
【0067】そして各車両追跡用局所領域に対して、図
7に示す局所領域内特徴抽出処理部8−1、8−2・・
・8−mが用意されている。従って図4に示す如く、車
両追跡用局所領域L0〜L4、R0〜R4が設定されて
いるときにはm=10即ち10個の局所領域内特徴抽出
処理部が必要となる。
【0068】局所領域内特徴量抽出処理部8−1は局所
領域決定部11−1と、雑音除去部12−1と、ラベリ
ング処理部13−1と、特徴量算出部14−1を有す
る。局所領域決定部11−1はその局所領域内特徴量抽
出処理部8−1が処理すべき車両追跡用局所領域の1つ
を定義するものであり、L0についての処理を行うもの
であればL0の範囲を定義しておき、この局所領域内の
入力画像を抽出するものである。雑音除去部12−1は
局所領域決定部11−1から伝達された信号より雑音を
除去するものであり、例えばロ−パス・フィルタで構成
されている。
【0069】ラベリング処理部13−1は局所領域内の
入力画像に対し同一の物体について同一のラベルを付与
するラベリング処理を行うものである。そして特徴算出
部14−1は、ラベル付けされた領域の有無を検出し、
ラベル付けされた領域があれば同一ラベルの領域に対し
てそのラベル領域の重心位置や、面積、横方向・縦方向
の投影値等を求め、各ラベル領域毎の特徴量を算出する
ものである。
【0070】局所領域内特徴量抽出処理部8−2・・・
8−mも前記局所領域内特徴量抽出処理部8−1と同様
に構成され、それぞれ局所領域決定部11−2・・・1
1−m、雑音除去部12−2・・・12−m、ラベリン
グ処理部13−2・・・13−m、特徴量算出部14−
2・・・14−mを具備している。
【0071】いま、図8(A)に示す如く、時刻tにお
いて、ランプの点滅している停止物体P1 と障害物P2
と低速移動物体P3 が存在する場合、図2に示す第1差
分演算処理部5の出力は図8(C)に示す如きものとな
り、この車両抽出画像(障害物も含まれる)に、図4に
示す局所領域を重ねると図8(E)に示す如きものとな
る。この場合、局所領域L1、L2、L4の部分に車両
があり、特徴量を算出することができる。
【0072】図8(A)に示す速度画像は、t1+数秒
後の時点において、同(B)に示す如き速度画像とな
り、これにより同(D)に示す如き車両抽出画像が得ら
れる。これに局所領域を重ねると図8(F)に示す如き
ものとなる。この場合は、局所領域L2、L4に車両が
存在するので、これに対して特徴量を計算する。
【0073】これらの結果、図2に示す軌跡算出部20
の作表部20−2により時系列的にまとめられた表1が
作成される。表1における○印は、局所領域L0〜L
4、R0〜R4において各時刻に特徴量が求められたも
の、即ち何らかの物体(障害物も含む)が存在していた
ことを示している。
【0074】
【表1】
【0075】図9は、中速移動物体が存在する場合の時
刻t及びt+数秒時の速度画像、車両抽出画像、局所領
域重ね合わせ状態を示し、図9に対応する時系列的な特
徴量検出状態を表2に示す。
【0076】
【表2】
【0077】また図10は高速移動物体に関する時刻t
及びt+数秒時の速度画像、車両抽出画像、局所領域重
ね合わせ状態を示すが、この場合高速移動物体が存在し
ていないので、図9には高速移動物体は図示されていな
い。従って、これに対応する表3でも○印はない。
【0078】
【表3】
【0079】従って軌跡算出部20において表解析部2
0−3が表3を解析することにより高速で走行している
車両が、この場合は存在していないと判断することがで
きる。
【0080】また表2を解析することによりL0〜L4
には○印がないので、左車線には中速で走行中の車両が
この時点では存在しないこと、また右車線には時刻tと
t1には○印がR1とR4の2ヶ所に有ることから中速
で走行中の車両が2台走行していることがわかる。
【0081】なお時刻t3も○印が2ヶ所有るが、これ
はR1とR2という隣接局所領域であり、続く時刻t4
には○印が1ヶ所しかないことより、時刻t3における
R1に存在する対象物とR2に存在する対象物とは同一
であると判断できる。
【0082】停止物体と低速移動物体についてまとめた
前記表1からは、多少複雑であるが以下のことが判断で
きる。R0〜R4には○印がないので、右車線に停止ま
たは低速走行している車両が存在していない。しかしL
1〜L4には○印があり停止または低速走行車両が存在
していると判断できる。
【0083】この場合、局所領域L4には一定間隔で○
が現れたり消えたりしており、隣接するL3には静止物
体が存在しているものと推測できる。一方L1とL2に
おける○印の時間的変化(t〜t3まではL1に、t4
〜t7はL1とL2と、t8以降はL2に存在)から、
何か低速で移動している物体が存在していることを判断
できる。
【0084】なお、前記の解析は時刻と場所の関係にお
いて、対象物体が存在するか否かについてのみ判断した
例について説明したが、これ以外に特徴量として面積や
縦横比等を使用するとより多くの情報を抽出することが
できる。
【0085】表4は、車線変更を行っている車両につい
て示した例であり、いままでの説明から容易に推察でき
る。ある領域にある時刻まで存在していた対象物体が瞬
間的に消える。しかしその時刻と前後して別の領域、特
に隣車線領域に対象物体が出現した場合には車線変更を
行った車両であると判断できる。
【0086】
【表4】
【0087】表4において、時刻t3までL1に存在し
た○印が、時刻t4でL1、L2、R2でも○印が表
れ、以下時刻t5、t6、t7においてR2に表れるよ
うなとき、車線変更と判断できる。
【0088】なお、物体の移動時間と各局所領域の大き
さの実測値がわかれば移動物体の速度も算出することが
できる。例えばある局所領域の長さをL、その領域に存
在していた時間をTとするとL/Tで速度を求めること
ができる。
【0089】また図11に示す如く、右車線に大型車P
L と小型車PS が走行しているとき、これに図4で示す
局所領域を重ねると図11(B)に示す状態となる。こ
れにより大型車PL の走行によりR0に○印が連続して
存在するので大型車の存在を検出できる。
【0090】
【表5】
【0091】なお、表5、図11では、小型車PS が時
刻t4ではR4より外に走行した状態を示し、時刻t5
では大型車がR1を走行し終わりR2に入ったことを示
している。
【0092】大型車により走行中の車が隠された状態を
表6により説明する。
【0093】
【表6】
【0094】表6では、時刻t1において大型車が局所
領域R1を走行し、他の車(例えば小型車)が局所領域
R3を走行しており、時刻t4において大型車が局所領
域R2を走行していることを示す。そして時刻t7にお
いて大型車がR3を走行しており、このとき大型車がそ
の前を走行中の他の車を隠した状態を示す。なおこの隠
された車は時刻t11において局所領域R4を走行し、
大型車の前方に再び出現した状態を示す。このようなこ
とは表解析部20−3により判断することができる。
【0095】軌跡算出部20ではその特徴解析部20−
1が物体の形状特徴を解析して、同一移動物体を判別
し、これにもとづき同一移動物体の軌跡を作表部20−
2に指示してその軌跡を算出作成することができる。
【0096】B.第2実施例 本発明の第2実施例として、空港のスポット監視の場合
について説明する。この例では低速で移動している大き
な移動物体(例えば航空機)と、中速或いは、高速で移
動している小さな物体例えば作業用の特殊車両)とを分
離し、その属性について判断するものである。
【0097】この例では、図12(A)に示す状態で局
所領域C0、L0〜L7、R0〜R7を設定した。局所
領域C0は航空機の機体検出を目的としたものであり、
それ以外のL0〜L7、R0〜R7は作業用の特殊車両
を検出するための局所領域である。
【0098】図12(B)は航空機Jがスポットに停止
している状態を示し、同(C)は特殊車両SP1、SP
2が行き交って走行している状態を示す。そして図12
(B)及び(C)に、同(A)で示す局所領域を被せた
状態を示したのが同(D)及び(E)である。
【0099】航空機がスポットに近づき低速し、停止す
ると局所領域C0に航空機Jの機体が表れる。この状態
を前記低速移動物体抽出の手法を用いて検出する。この
場合、図13(A)で示すように、局所領域C0内の長
辺方向に航空機Jの投影を落としてその長さを求める
と、機体の長さを測定することができる。そしてこの機
体の長さから機種を判定することができる。航空機がス
ポットに近づき、停止するまでの投影値の変化を示した
のが表7である。
【0100】
【表7】
【0101】表7より明らかなように、時刻t1、t
2、t3・・・と変化すると共に投影の長さ即ち投影値
が増加し、ある時刻(この例ではt4)を越えるとその
増加が停止する。そして投影値の変動が止まり安定した
段階で航空機が停止したと判断する。一方投影値と実際
の長さの関係を求めて変換式を求めておけば航空機の実
際の長さが分かり、長さの違いから航空機の種類が判断
できる。
【0102】また図12(C)、(E)に示している特
殊車両SP1、SP2に関しては、前記中速・高速移動
物体抽出の手法を用いてこれらを検出できる。航空機と
同様に投影値を求めることにより局所領域内に存在して
いる対象物の個数を求めることができる。
【0103】例えば図12(E)において、局所領域L
5について投影値を求めたものが図13(B)である。
これにより投影値がそれぞれ2つ存在するので、局所領
域内に2種類の独立した対象物体が存在していることが
判断できる。
【0104】図12(E)の様に特殊車両が移動した場
合の局所領域における対象物体の検出個数の変化を時系
列的に示したのが表8である。
【0105】
【表8】
【0106】この表8により車両の移動とともに局所領
域内の対象物体の数が変動しているのがわかる。これに
もとづき、時刻t5では、局所領域L6に存在した特殊
車両が局所領域L7に移動して、その個数が2になった
こと、時刻t7では局所領域L7を走行していた2個の
うちの1つが局所領域L5に移動したこと、時刻t9で
は他の1つも局所領域L5に移動して再びその個数が2
になったこと等が解析できる。
【0107】前記説明ではトンネル及び空港の例につい
て説明したが本発明は勿論これのみに限定されるもので
はない。走行速度も低中高の3種類の例について説明し
たが勿論これに限定されるものではなく、例えば0〜3
0km、30〜60km、60〜90km、90〜12
0km、120〜150km、150km以上というよ
うに細かく区分することも勿論できる。
【0108】C.第3実施例 本発明の第3実施例について説明する。第3実施例は移
動物体間の距離を精度よく算出するものである。移動物
体間の距離は、前記第1実施例を適用して検出すること
ができる。
【0109】例えば図9及び表2に示す如く、時刻t、
1 に中速の移動物体が領域R1、R4に存在している
ことがわかる。第1実施例により移動物体間の距離を求
めるために、図14(A)に示す如く、前記の手法によ
り移動物体抽出部100にて移動物体を抽出し、移動物
体対応づけ部101において、サンプリング時間毎にこ
れらの移動物体の特徴量を抽出し、それらの値と移動物
体の速度限界から同一の移動物体を対応づける。このと
き、入力画像から濃淡や色の情報を用いて対象となる移
動物体の輪郭や面の移置/傾き等の特徴量を抽出しても
よい。そして移動物体間の距離測定部102により、対
応づけそして移動物体間の距離測定部102により、対
応づけした移動物体から物体間の距離を測定する。この
ようにして画像データから数値データに情報を圧縮し、
これらを用いて移動物体の動きの解析及び予測を行うこ
とができる。
【0110】ところでこのような、第1実施例の手法を
用いて移動物体間の距離を求める場合、入力画像に存在
する移動物体の速度に応じて画像を分離し、分離した画
像ごとに移動物体の対応づけを行っており、速度の違う
移動物体の対応づけの精度が高くなる。
【0111】しかしながら、この手法により移動物体間
の距離を抽出する場合には、移動物体の輪郭や面の位置
の情報を使用しており、図14(B)、(C)に例示す
る如く、距離計算上、同じ輪郭の同一点あるいは同じ面
上の同一点で対応づけができず、距離の誤差が大きくな
るという問題がある。
【0112】図14(B)、(C)は、移動物体間の距
離を求めるために、移動物体の上部にカメラを設置し、
画像を入力したものである。道路の上にカメラを設置
し、その真下を通過する自動車のような移動物体を入力
するとき、道路は黒っぽい色でありその上を走行する移
動物体を入力することになる。
【0113】そのため、図14(B)に示す原画像B1
において、車CA1、CA2が存在する場合、これをエ
ッジ抽出処理すると、B2に示す如く車の色の関係によ
り車CA1、CA2の一部が抜けて検出されることがあ
る。そしてこれにもとづき車頭間距離を計算すると、図
14(B)のB3に示す如く計算され、実際値とは大き
な誤差の存在するものとなる。
【0114】また図14(C)に示す如く、原画像C1
では1台の大型車LCを入力したにもかかわらず、エッ
ジ抽出によりC2に示す如くなって全てのエッジが完全
に抽出できず、1台の大型車を2台の車と誤って認識し
て、図14(C)のC3に示す如く、1台の大型車を2
台の車と誤認識して車間距離の計算値を求めることがあ
る。
【0115】本発明の第3実施例では、このような問題
点を解決するために、図15に示す如く、あらかじめ物
体が動く背景にマーカをマーカ設置部110により設置
しておく。その際、マーカの位置、形状、サイズ等を算
出しておく。第3実施例では、道路に白線をある間隔毎
に画くことによりマーカを設置しておくが、マーカは白
線に限定されるべきものではなく、他の適宜形状のもの
が使用できる。なお図15において、114は画像を入
力する入力部である。
【0116】実際の入力画像に対し、マーカ・移動体抽
出部111が移動物体とマーカが重なっている部分を求
め、移動物体の抽出を行う。そして連続的に入力されて
くる複数の画像に対し、移動物体とマーカの重なり部分
を抽出する。
【0117】このようにして求められた移動物体とマー
カの重なり部分の時系列データに対し、マーカ・移動物
体対応づけ部112が対応づけを行って同一の移動物体
を求める。そしてこの異なる移動物体間に存在するマー
カの数にもとづき、移動物体距離測定部113が移動物
体間の距離を算出する。
【0118】この場合、移動物体の時系列データの代わ
りに、移動物体間に存在するマーカの時系列データを対
応づけ、同一の移動物体間に存在するマーカを捉えて移
動物体間の距離を算出してもよい。このようにして算出
した移動物体間の距離を解析し、異常を予測することが
できる。
【0119】本発明の第3実施例を、図16にもとづき
説明する。図16において他図と同記号は同一部を示
し、110はマーカ設置部、111はマーカ・移動体抽
出部、112はマーカ・移動体対応づけ部、113は移
動物体距離測定部、121は処理領域設定部、122は
2値化部、123は雑音除去部、124は連結領域抽出
部、125は連結領域位置・形状算出部、126はマー
カ照合部、127はマーカ辞書部、128は移動物体抽
出部、129は移動物体間マーカ抽出部、131は移動
物体・マーカ時系列テーブル作成部、132は移動物体
・マーカ対応づけ部である。
【0120】マーカ設置部110は、移動物体の背面に
設置したマーカのデータをマーカ辞書部127に格納す
るものである。マーカとしては、図17(A)に示す如
く、移動物体が車両の場合、道路上に例えば白線P1
2 ・・・P25を等間隔に道路面上に塗装する。図17
の場合は、白線はその幅が50cmであり、これを50
cm間隔で道路面上に例えば25本引いた例を示す。
【0121】いま50cmを画面上で10ドットのサイ
ズで表示するものとし、白線の左端をx座標で50ドッ
トの位置とし、右端をx座標で500ドットの位置とす
れば、白線P25の左上端の座標(x、y)は(50、4
80)で表示され、右下端の座標(x、y)は(50
0、490)で表示される。このようにして、マーカ設
置部110により、マーカ辞書部127に、マーカ
1 、P2 ・・・の左上端の座標と右下端の座標が登録
される。この外マーカの形状が矩形であることも登録さ
れる。
【0122】処理領域設定部121は、白線マーカ設置
内で移動物体が存在したとき測定すべき範囲を設定する
ものである。例えば図18(A)に示す如く、矢印方向
に車が進行する対面通行道路があるとき、斜線した左側
車線範囲及び右側車線範囲だけを処理対象領域と定め、
他は処理対象外領域とするいわゆるマスク処理を行うも
のである。
【0123】例えば図17で、対面走行の場合の処理領
域を図17の斜線部のように設定する。これに応じてマ
ーカ辞書部127も更新する。図18(B)は左側車線
の処理領域を示すものである。勿論あらかじめ、マーカ
の設置を、このように左側車線、右側車線の処理領域を
考慮して行う場合には、処理領域設定は行わなくともよ
い。
【0124】処理領域の矩形サイズが図19(A)に示
す左上端が(x1、y1)で右下端が(x2、y2)の
場合、画素(i、j)の入力画像をINijとし、その
出力画像をOUTijとするとき、次式(数1)で示す
如く、この処理領域のもののみ入力画像がそのまま出力
画像として出力されるが、処理領域外のものは0が出力
される。
【0125】
【数1】
【0126】2値化部122は、図19(B)に示す如
く、入力画像INijがある閾値th1以下で且つ閾値
th2以上であれば出力画像OUTij1を出力し、そ
れ以外は0を出力するものである。ここで閾値th1、
th2は照明環境に応じて適切に設定するが、照明変化
が生じる環境では、濃度ヒストグラムを算出するなどし
て適応的に閾値th1、th2を変える。
【0127】雑音除去部123は、2値化部122の出
力に孤立点が存在する場合これを除去するものであっ
て、4連結等のドットが連続するパターンを抽出するも
のである。このため、図19(C)に示す如く3×3の
論理フィルタFを用いて中心画素(i、j)の上下左右
がいずれも1のとき出力画像OUTij=1を出力する
が、それ以外は0を出力するものである。
【0128】連結領域抽出部124は、例えば8連結で
接続するパターン(中心画素に対し上下左右方向の外
に、斜め方向の合計8方向の少なくとも1つが1の場
合)に同じラベルを付加する処理を行うものであり、図
20(A)におけるパターンA1の入力画像に対して、
A2の如くラベル付け処理を行うものである。
【0129】このラベル付け処理は、例えば図20
(B)に示す如くA〜Fの2×3のパターンで入力画像
を走査し、注目画素Eが1のとき周囲のA〜Fの値に応
じてラベルを更新していく。例えばD≠0のときにはD
のラベルを伝播して注目画素Eに付ける。さらにB≠0
でかつB≠Dのときには、BとDのラベルが同一である
ことをテーブルに格納する。B=0でかつC≠Dのとき
にもCとDのラベルが同一であることをテーブルに格納
する。A〜Dまでがすべて0のとき注目画素Eに新しい
ラベルを付ける。
【0130】このようにして一度入力画像を走査した後
にラベルの対応関係を格納したテーブルを使用して再び
入力画像にラベル付けを行う。これらの詳細は、「ラス
タ走査型ラベリング処理方式」(特願平02−0011
09号、特開平03−206574号公報)を参照する
ことにより明らかとなる。
【0131】これらの処理は、基本的には汎用CPU、
ディジタルシグナルプロセッサ(DSP)で実現できる
方式であるが、ビデオレート(33ms/画像)の専用
パイプライン・プロセッサにもとづく処理については
「ディジタル画像領域へのラベル付け方式」(特願昭6
0−08412号、特開昭61−243569号公報、
特公平03−044349号公報)、または「連結領域
のラベル付け回路」(特願昭61−164955号、特
開昭63−020578号公報)を参照することにより
明らかとなる。
【0132】これらのラベル付与処理により、図20
(C)に示す如く、移動物体が存在しない場合には、処
理対象領域内の各白線には同一のラベルが付与される。
例えば白線P1 にはラベル(1)が付与され、白線P2
にはラベル(2)が付与される。そして白線P25にはラ
ベル(25)が付与される。
【0133】連結領域位置・形状算出部125は、同一
ラベルの部分の位置と形状を算出するものであり、図2
1(A)に示す如く、同一ラベルの付与されたラベル画
像LKの水平方向の投影と垂直方向の投影をとり、その
位置・形状を求める。すなわちラベル毎の投影を求め
る。
【0134】水平方向の投影Hは、水平方向にヒストグ
ラムを求めることにより得ることができ、垂直方向の投
影Vは垂直方向にヒストグラムを求めることができる。
そしてその位置は縦位置及び大きさが(Pjh2、Pj
h1)であり、横位置及び大きさが(Pjv2、Pjv
1)である。このようにしてラベルの形状として縦(P
jh2、Pjh1)、横(Pjv2、Pjv1)及び面
積SUMが得られる。そして縦の大きさ×、横の大きさ
がヒストグラムの面積SUMと等しい場合、このラベル
画像LKは矩形であることが確認できる。
【0135】ラベル画像は濃淡画像であるため、各濃度
ごと、すなわち各ラベル毎に投影を算出する。具体的に
は、図21(B)に示す如く、画像サイズがM×Nの場
合において、ラベルKについてj行目の水平投影値Pj
h〔k〕〔j〕と、i列目の垂直投影値Pjv〔k〕
〔i〕は、入力画像IN(i、j)について式(1)、
式(2)のようにして算出できる。
【0136】
【数2】
【0137】
【数3】
【0138】すなわち、同一ラベルの領域範囲内におい
て、水平方向、垂直方向にそれぞれ+1加算することに
よりそのj行目、i列目の投影値を算出することができ
る。このようにして投影を求めることができる。
【0139】また投影の総和SUM〔k〕は式(3)に
より求めることができる。
【0140】
【数4】
【0141】マーカ照合部126では、連結領域位置・
形状算出部125により算出された同一ラベル領域が、
移動物体と重なっているマーカか否かを判断するため
に、マーカ辞書127を調べるものである。マーカ辞書
部127内の白線マーカの左上端部Pn(x1、y
1)、右下端部Pn(x2、y2)を読み出す。マーカ
辞書部127には、前記の如く、図17(C)に示す白
線データや、図18(B)に示す如き白線データ等が格
納されている。
【0142】移動物体抽出部128はマーカと重なって
いる移動物体を抽出するものである。白線のマーカ上に
黒とか赤とか紺色等の白以外の車両が通過するとき、図
22(A)に示す如く、車両C1 、C2 とマーカ部分が
重なり、これを上よりカメラで画像入力したとき、車両
1 、C2 がマーカ部分を分離するので、これにより移
動物体例えば車両を抽出することができる。すなわち、
図22(B)に示す如く、マーカと車両が重なった部分
は、1本のマーカが車両で分断されてラベルが2つ付与
されることになる。この結果、図22(B)に示す如
く、ラベル(1)、(2)、(3)、(4)、及び
(6)、(7)、(8)、(9)と分断された部分はラ
ベル数が大幅に増加し、またその1つのラベルの領域も
小面積のものとなるので、マーカ辞書部127を照合す
ることにより、車両が重なったマーカか否かを判断して
車両を抽出できる。
【0143】もし、対象とする移動物体つまり車両の色
がマーカの色と異なる場合には、図23(A)の如く、
移動物体よりもはるかに大きなマーカLMを道路上に設
置し、同(B)に示す如く、車両C1 、C2 がこのマー
カ上に移動したとき同(C)に示す如く、水平投影値を
求めることにより車両の位置を抽出できるので、ラベリ
ングせずにこれを求めることができる。
【0144】また、白線のマーカ上に白の車両が通過し
た場合、マーカと車両C1 、C2 の状態は図24(A)
に示す状態となる。しかしこれを入力画像としてラベル
付けする場合、車両C1 とそれが重なるマーカの白線部
分が連結してこれらに同一のラベルが付与され、車両C
2 とそれが重なるマーカの白線部分にも同一のラベルが
付与されるので、、例えば図24(B)に示す如くラベ
ル(1)、(3)が付与されることになる。したがっ
て、連結領域位置・形状算出部125における形状算出
では、各ラベルの面積(投影の総和SUM)がマーカ辞
書部127に格納したマーカ1個の面積よりも大きな値
で算出される。また矩形形状の確認においても縦(Pj
h2−Pjh1)×横(Pjv2−Pjv1)の値がマ
ーカの辞書に格納した値と異なるものとなる。このよう
な判断より車両の抽出が可能となる。白の車両と白線の
マーカが重ならない場合は、図23(B)のラベル
(2)の部分のように、マーカ辞書部127に格納した
面積、形状(矩形)が一致するので、車間距離の検出が
可能となる。
【0145】移動物体間マーカ抽出部129は、移動物
体間のマーカを抽出し、その間の距離を算出するもので
あり、白以外の車両が通過する場合は、図22(B)の
ラベル(5)に示す如く、同一ラベルの付与された領域
の大きさと形状(矩形)がマーカ辞書部127に格納さ
れたものと同一か否かを判断し、同一のものをマーカと
して抽出する。これによりマーカ辞書部127よりその
マーカのサイズ、マーカ間隔を求め、移動物体間、例え
ば車両間の距離を算出する。
【0146】なお、マーカが、図23(A)に示す形状
の場合、同(C)に示す如く、元のマーカの投影値と等
しい連続する領域Pjh1′〜Pjh2′を求めること
により、これを移動物体間の距離として簡単に算出する
ことができる。
【0147】移動物体・マーカ時系列テーブル作成部1
31は移動物体とその存在するマーカの時系列テーブル
を作成するものであって、マーカ上の移動物体の時系列
を作る場合には、図25(A)に示す如く、どのマーカ
上に車両の如き移動物体が存在するのかを示すものであ
る。この場合、移動物体の進行方向はP25→P1 とす
る。
【0148】移動物体だけに注目したとき、図25
(A)に○印で示す如く、移動物体が存在する時刻とマ
ーカ位置を示すマーカの時系列テーブルを作る。また車
両間隔で示すとき、図24(C)に示す如く、移動物体
間に存在するマーカを示すテーブルを作成する。これに
より車間のマーカの軌跡を示すことができる。
【0149】移動物体・マーカ対応づけ部123は、図
25(A)に示す移動物体存在時刻のテーブルから、こ
のテーブル上である距離内にあり、かつ方向性(進行方
向はP25→P1 )を考慮して、同一移動物体と判断され
るものに対して同一の番号を付与し、図24(B)の如
く移動物体の対応づけを行う。
【0150】また図25(C)に示す如く、移動物体間
に存在するマーカの時系列テーブルについては、この時
系列テーブル上である距離内にあり、かつ方向性を考慮
して同一の車両間隔情報については同一の番号を付与
し、図25(B)の如く対応づけを行う。
【0151】このように、移動物体間のマーカだけに着
目してマーカを追跡することにより、対応づけの場合の
数が減り、移動物体そのもので処理する場合に比較して
処理速度が速くなる。勿論この手法は、移動物体間の距
離が計測中に急激に変化しないことを前提として、移動
物体間のマーカの大きさ、即ち移動物体間の距離の変化
の滑らかさの条件も導入して対応づけられ、より正確な
対応づけが可能となる。
【0152】この場合、例えば図25(A)に示す如
く、車両間隔が時刻T2 においてP4、P5 であり時刻
3 においてP3 、P4 の如き場合には、同(E)に示
す如く、複数のマーカにまたがり同一印をつけて車両間
隔を示すこともできる。
【0153】移動物体間距離測定部113は移動物体間
の距離を測定するものである。例えば図25(B)に示
す如く、移動物体の対応づけテーブルから、各時刻の移
動物体間の距離をマーカ、つまり白線間の距離で算出す
る。そしてその最大値、最小値および平均値を算出す
る。平均値は、例えば移動物体を時刻Tn〜Tmで対応
づけ、各時刻の白線番号の差をΔn〜Δmとするとき、
式(4)により得られる。
【0154】
【数5】
【0155】これにより精度の高い移動物体間距離算出
ができる。図16に示す本発明の第3実施例の動作につ
いて説明する。まず実際に道路面に例えば図17に示す
如く、マーカとしての白線を引く。そしてその情報をマ
ーカ設置部110からマーカ辞書部127に記入してお
く。また図17に示す如く、処理領域が設定される場合
には、そのマスク情報も処理領域設定部121にて演算
し、マーカ辞書部127に格納する。
【0156】いま道路上に設置したTVカメラ等の入力
装置から入力画像が伝達されると、処理領域設定部12
1が、図19(A)に示す如く、その処理領域範囲内の
入力画像のみを出力画像として出力する。2値化部12
2は図19(B)に示す如く、これを1または0に2値
化出力する。そして雑音除去部123が、図19(C)
に示す如く、論理フィルタFを用いて孤立点を雑音除去
する。
【0157】そして連結領域抽出部124が、この2値
化された入力画像に対し、図20(A)に示す如く、ラ
ベル付け処理を行う。これにより例えば、白線のマーカ
のみの入力画像に対しては、図20(C)に示す如く、
ラベル(1)〜(25)が付加されることになる。
【0158】このラベル付けされた画像は、連結領域位
置・形状算出部125において、同一ラベルの部分に対
する位置と形状を算出する。マーカ照合部126では、
これをマーカ辞書部127と照合してどれが白線のマー
カであるか否かを判別する。
【0159】これらのデータにより、マーカ部分でない
ところはマーカに移動物体が重ね合わされた部分である
ので、移動物体抽出部128がこれにより移動物体を抽
出する。
【0160】また移動物体間マーカ抽出部129は、移
動物体と重ね合わされていない白線のマーカ部分を抽出
する。これらの情報により移動物体・マーカ時系列テー
ブル作成部131が、例えば図25(A)に示す如き移
動物体存在時刻テーブルを作成する。移動物体・マーカ
対応づけ部132は、この図25(A)に示すテーブル
から、同(B)に示す移動物体の対応づけテーブルを作
成し、これを移動物体間距離測定部113に送出する。
【0161】これにより移動物体間距離測定部113
は、マーカ間つまり白線間の距離をこの対応づけした車
両の白線数に乗算し、移動物体間の距離を算出する。勿
論図25(C)、(D)に示す如く、移動物体間のマー
カつまり白線の時系列テーブルを作成してこれにもとづ
き移動物体間の距離を算出することもできる。
【0162】このようにして移動物体の対応づけ、ある
いは移動物体間のマーカの数の対応づけを対応テーブル
から時系列的に行い、その距離を算出し、それらの最大
値、最小値および平均値を算出することにより、精度の
よい移動物体の運動の解析、予測を行うことが可能とな
る。従ってこれを車両に応用した場合には事故発生の予
防を行うこともできる。
【0163】なお第3実施例において、連結領域抽出部
124及び連結領域位置・形状算出部125の他の例を
図26により説明する。連結領域抽出部124におい
て、2値化されたデータあるいは色抽出(マーカの色)
された、図26(A)に示す如きデータを、その1の部
分又は色抽出された部分の輪郭を抽出する。
【0164】白線の探索開始点及びx、yの最大値、最
小値、周囲長を例えばマーカ辞書部127に格納してお
き、輪郭を一周探索する。探索の際、x、yの最大値、
最小値、周囲長を求める。図26(B)に示す如く、白
線だけの輪郭抽出の場合には、これらの値がマーカ辞書
部127に格納されたものと一致する。しかし移動物体
が白線上に重なっているときは、例えば図26(C)、
(D)に示す如く、これらの値が少なくとも1つは一致
しない。なお色抽出については、例えば「ビデオレート
色抽出装置」(特開昭63−314988号公報)を用
いる。
【0165】連結領域位置・形状算出部125は、これ
らの値をマーカ辞書部127に格納された値と比較した
り、縦横の値を乗算することにより物体が重ね合わされ
た状態か、ラベル付けされた形状が矩形か否かあるいは
マーカそれ自体か等の判断ができる。
【0166】なお輪郭抽出に際しては、図26(E)に
示す、例えば3×3の論理フィルタを用いて走査しその
中心画素(i、j)の周囲の8区分がオール1のとき、
これをマーカ内部と判断して0を出力し、それ以外を境
界として1を出力する。
【0167】
【発明の効果】本発明により以下の如くすぐれた効果が
得られる。本発明では複数の区分の速度画像を生成する
ことができるので、種々の速度で移動している対象物体
が数多く存在する場合に、ある速度範囲で対象物体を分
離することが可能となり、解析処理を容易に行うことが
できる。
【0168】また対象物体の特徴量を求め、特徴量の時
系列変化を求め、特徴量を解析することにより容易に対
象物体の軌跡を求めることができる。さらに局所領域に
おける特徴量を算出し、局所領域毎の特徴量の有無から
時系列変化を求めることにより、これまた対象物体の軌
跡を容易に求めることができる。
【0169】しかも特徴量の形状情報を用いることによ
り、より詳細な対象物体の軌跡を容易に抽出することも
できる。時刻毎の位置の変化及び面積の変化が極めて少
ない停止物体を容易に抽出することができる。
【0170】原画像からでは同定が困難な、急激な速度
変化や方向変化を生じた対象物体について特徴量の有無
及び形状特徴の時系列変化または速度画像間変化から軌
跡を算出し移動物体を容易に同定することができる。
【0171】面積の大小のみでは判断できない大型の対
象物体の存在を容易に抽出することができる。しかも小
型物体が大型の対象物体に隠された状態でも、同一物体
の軌跡を抽出することができる。
【0172】速度画像に分離したのち、停止+低速画像
に対し、局所領域における物体の有無や、ランプの点滅
のような同一形状特徴の周期性を解析することにより点
滅している物体を容易に抽出することができる。
【0173】本発明の第3実施例によれば、画像処理の
しやすいマーカの抽出を基盤としており、移動物体の一
部しか抽出できない場合でも、設置したマーカの抽出に
より、移動物体とマーカが重なった部分を断定できて、
それらの重なった部分間の距離を算出することにより、
物体間の距離を精度の良く算出できる。
【0174】本発明の第3実施例によれば、移動物体の
抽出ではなく、画像処理のしやすいマーカの抽出を基盤
としており、1つの大型の移動物体を2つの小型の移動
物体と誤ることなく、移動物体のサイズに関係なく安定
に移動物体を抽出でき、物体間の距離など精度の良い解
析、動きの予測ができる。
【0175】本発明の第3実施例よれば、複数の連結し
ていないマーカを背景に用い、連結成分ごとにマーカを
抽出する手段を備えており、移動物体とマーカの色が同
じであっても、その連結成分の形状、面積を調べること
により、容易に移動物体とマーカの重なり部分を断定で
き、移動物体間の距離を算出できる。
【0176】本発明の第3実施例によれば、時系列で移
動物体間を対応づけ、物体間の距離の最大値、最小値、
平均距離を算出できることから精度のよい物体間の距離
算出と、それの詳細な解析が可能になる。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】本発明一実施例構成図である。
【図3】本発明に使用される原画像説明図である。
【図4】本発明における局所領域説明図の一例である。
【図5】本発明における速度画像抽出説明図である。
【図6】本発明における速度画像抽出の他の例である。
【図7】本発明における局所領域内特徴量抽出部の説明
図である。
【図8】停止物体と低速移動物体の存在する場合の説明
図である。
【図9】中速移動物体説明図である。
【図10】高速移動物体説明図である。
【図11】大型移動物体説明図である。
【図12】本発明を空港のスポット監視用に使用した場
合の説明図である。
【図13】本発明における投影値算出説明図である。
【図14】移動物体の動きの解析・予測の先行技術説明
図である。
【図15】本発明の第3実施例の概略図である。
【図16】本発明の第3実施例の具体的構成図である。
【図17】マーカ設置状態及びマーカ辞書登録状態説明
図である。
【図18】通行用処理領域設定説明図である。
【図19】処理対象出力、2値化状態及び雑音除去状態
説明図である。
【図20】ラベル付加状態説明図である。
【図21】ラベルの投影状態説明図である。
【図22】白以外の車両が通過する場合の説明図であ
る。
【図23】他の形状のマーカ説明図である。
【図24】白の車両が通過する場合の説明図である。
【図25】テーブル説明図である。
【図26】連結領域の輪郭情報抽出説明図である。
【符号の説明】
1 画像入力部 2 背景画像抽出部 3 第1平均背景抽出部 4 第2平均背景抽出部 4′ 第n平均背景抽出部 5 第1差分演算処理部 6 第2差分演算処理部 7 第3差分演算処理部 7′ 第n+1差分演算処理部 8 第1局所領域内特徴抽出部 9 第2局所領域内特徴抽出部 10 第n+1局所領域内特徴抽出部 20 軌跡算出部

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 背景及び物体を含む画像を入力する画像
    入力手段(1)と、 背景を保持、出力する背景画像抽出手段(2)と、 第1の速度までの移動物体と背景が含まれる画像を抽出
    する第1平均背景抽出手段(3)と、 第2の速度までの移動物体と背景が含まれる画像を抽出
    する第2平均背景抽出手段(4)と、 背景画像抽出手段(2)の出力と、前記第1平均背景抽
    出手段のいずれかの出力との差分を求めて速度画像を生
    成する第1差分演算処理手段(5)と、 前記2つの平均背景抽出手段の出力の差分を求めて速度
    画像を生成する第2差分演算処理手段(6)と、 前記画像入力手段(1)の出力と、前記2つの平均背景
    抽出手段のいずれかの出力との差分を求めて速度画像を
    生成する第3差分演算処理手段(7)を具備したことを
    特徴とする画像処理装置。
  2. 【請求項2】 前記画像入力手段(1)の出力を、複数
    の局所領域に設定する局所領域決定手段(11)と、物
    体を分離するラベル処理手段(13)と、特徴量を算出
    する特徴量算出手段(14)を有する局所領域内特徴量
    抽出処理手段により処理することを特徴とする請求項1
    記載の画像処理装置。
  3. 【請求項3】 背景と低速の平均背景画像との差分をと
    り、差分画像に対し連結領域を抽出し、連結領域毎に投
    影をとり、物体の位置を算出し、物体の縦横の長さ、面
    積等の特徴量を算出し、時刻毎に物体の位置変化と特徴
    量の変化を求め、その変化が少ないことにより停止物体
    を抽出するようにしたことを特徴とする請求項1記載の
    画像処理装置。
  4. 【請求項4】 前記差分演算処理手段から出力される速
    度画像毎に、前記局所領域に対応してそれぞれ局所領域
    内特徴量抽出処理手段を具備する局所領域内特徴抽出手
    段を設けたことを特徴とする請求項2記載の画像処理装
    置。
  5. 【請求項5】 前記各局所領域内特徴抽出手段の出力に
    もとづき各局所領域内の物体の存在を時系列的に検知し
    て作表する作表手段(20−2)を有する軌跡算出手段
    (20)を設けたことを特徴とする請求項2記載の画像
    処理装置。
  6. 【請求項6】 軌跡算出手段(20)に特徴を抽出する
    特徴解析手段(20−1)を設け、前記特徴算出手段
    (14)より算出された特徴のうち物体の形状特徴によ
    り同一移動物体の軌跡を作表するようにしたことを特徴
    とする請求項5記載の画像処理装置。
  7. 【請求項7】 複数の局所的な処理領域を設定し、各処
    理領域における物体の通過の有無と、物体の形状特徴、
    通過時の時刻より同一移動物体の軌跡を算出し、物体の
    急激な速度変化や方向変化を判別し移動物体を同定する
    ことを特徴とする請求項5記載の画像処理装置。
  8. 【請求項8】 複数の局所領域を物体のサイズに応じて
    設定し、前記軌跡算出手段に表解析部(20−3)を設
    け、大きい物体が小さい物体を隠す場合でもこれらの局
    所領域の軌跡を判別して同一移動物体の軌跡を認識する
    ことを特徴とする請求項5記載の画像処理装置。
  9. 【請求項9】 複数の局所領域を設定し、各局所領域に
    おける物体の通過の有無の周期性と同一形状特徴の周期
    性を調べ、点滅している物体を同定することを特徴とす
    る請求項6記載の画像処理装置。
  10. 【請求項10】 2つの移動物体間の距離を算出する装
    置において、 画像を入力する画像入力手段(114)と、 背景にマーカを設置するマーカ設置手段(110)と、 移動物体を抽出する移動物体抽出手段(128)と、 移動物体を追跡する追跡手段(131)と、 異なる移動物体間に存在するマーカを抽出するマーカ抽
    出手段(129)と、 マーカのサイズにもとづき移動物体間の距離を算出する
    距離測定手段(113)を具備したことを特徴とする距
    離測定装置。
  11. 【請求項11】 前記マーカ設置手段(110)により
    連結していない複数個のマーカを背景に設置するととも
    に、マーカのサイズ、形状、個数を算出する連結領域位
    置・形状算出手段(125)と、マーカの形状、サイズ
    をあらかじめ保持するマーカ辞書手段(127)と、異
    なる移動物体間に存在するマーカの形状と辞書を参照す
    るマーカ照合手段(126)と、照合によりマーカと確
    認できたマーカ数を算出して移動物体間の距離を算出す
    ることを特徴とする請求項10記載の距離測定装置。
  12. 【請求項12】 移動物体間に存在するマーカの数を追
    跡して異なる移動物体間の距離を算出することを特徴と
    する請求項11記載の距離測定装置。
  13. 【請求項13】 2つの車両間の距離を算出する装置に
    おいて、 背景となる道路上において車両の進行方向に垂直な白線
    を等間隔に引く設置手段(110)と、 あらかじめこの白線の縦横の長さを計測してこれを保持
    するマーカ辞書手段(127)と、 連結領域の抽出を行う連結領域抽出手段(124)と、 白線領域と同じラベル領域の面積、形状を算出し、縦横
    の長さより白線の面積や矩形サイズの確認を行う連結領
    域位置・形状算出手段(125)と、 連続する白線領域を追跡する対応づけ部(132)と、 確認した白線の中で連続する白線の本数を求め白線の間
    隔より移動車両間の距離を算出する距離測定手段(11
    3)を具備することを特徴とする車両間の距離測定装
    置。
  14. 【請求項14】 前記連結領域・形状算出手段(12
    5)を、ラベリングにより連結成分に分離し、連結成分
    毎に投影値を求め、投影値により連結成分の縦と横の長
    さを算出し、縦横の積と投影値の総和を比較して、矩形
    か否かを判別するようにしたことを特徴とする請求項1
    3記載の車両間の距離測定装置。
  15. 【請求項15】 前記連結領域位置・形状算出手段(1
    25)を、2値化又は色抽出した2次元XY画像に対し
    て輪郭抽出を行い、そのX、Yの最大値及び最小値と周
    囲長を求め、これらの値があらかじめ保持されているも
    のと一致するか否かを比較して一致したとき矩形と判断
    することを特徴とする請求項13記載の車両間の距離測
    定装置。
JP12256393A 1993-03-31 1993-05-25 画像処理装置 Expired - Fee Related JP3288474B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP12256393A JP3288474B2 (ja) 1993-03-31 1993-05-25 画像処理装置
US08/681,485 US6141435A (en) 1993-03-31 1996-07-23 Image processing apparatus
US09/564,535 US6430303B1 (en) 1993-03-31 2000-05-04 Image processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-73319 1993-03-31
JP7331993 1993-03-31
JP12256393A JP3288474B2 (ja) 1993-03-31 1993-05-25 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001345896A Division JP3816785B2 (ja) 1993-03-31 2001-11-12 距離測定装置

Publications (2)

Publication Number Publication Date
JPH06337938A true JPH06337938A (ja) 1994-12-06
JP3288474B2 JP3288474B2 (ja) 2002-06-04

Family

ID=26414468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12256393A Expired - Fee Related JP3288474B2 (ja) 1993-03-31 1993-05-25 画像処理装置

Country Status (2)

Country Link
US (1) US6141435A (ja)
JP (1) JP3288474B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273499A (ja) * 2000-03-27 2001-10-05 Nagoya Electric Works Co Ltd 移動体検出方法およびその装置
JP2006277729A (ja) * 2005-03-01 2006-10-12 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラム
JP2007064894A (ja) * 2005-09-01 2007-03-15 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出プログラム
US7372994B2 (en) 2003-03-03 2008-05-13 Matsushita Electric Works, Ltd. Image processing device for recognizing outline of moving target and method therefor
JP2008117228A (ja) * 2006-11-06 2008-05-22 Nippon Telegr & Teleph Corp <Ntt> 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2011044970A (ja) * 2009-08-24 2011-03-03 Canon Inc 撮影システム
US8031226B2 (en) 2005-03-01 2011-10-04 Fujifilm Corporation Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program
WO2013191078A1 (ja) * 2012-06-19 2013-12-27 市光工業株式会社 車両周辺対象物検出装置
JP2014137689A (ja) * 2013-01-16 2014-07-28 Toyota Motor Corp 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9440535B2 (en) 2006-08-11 2016-09-13 Magna Electronics Inc. Vision system for vehicle
US10823851B2 (en) 2018-01-25 2020-11-03 Fujitsu Limited Device and method for estimating degree of freedom for movement
WO2021002001A1 (ja) * 2019-07-04 2021-01-07 三菱電機株式会社 移動体測位装置および移動体測位システム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114668B2 (ja) * 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
JP4157620B2 (ja) * 1998-06-19 2008-10-01 株式会社東芝 移動物体検出装置及びその方法
JP3488104B2 (ja) * 1998-11-18 2004-01-19 富士通株式会社 移動体の特性抽出装置,特性抽出方法およびそのプログラム記録媒体
JP3873554B2 (ja) * 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
JP4167390B2 (ja) * 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
US7162101B2 (en) * 2001-11-15 2007-01-09 Canon Kabushiki Kaisha Image processing apparatus and method
US7760921B2 (en) * 2002-12-19 2010-07-20 Casio Computer Co., Ltd. Pressure activated fingerprint input apparatus
US20050078873A1 (en) * 2003-01-31 2005-04-14 Cetin Ahmet Enis Movement detection and estimation in wavelet compressed video
US20040223652A1 (en) * 2003-05-07 2004-11-11 Cetin Ahmet Enis Characterization of motion of moving objects in video
US7747041B2 (en) * 2003-09-24 2010-06-29 Brigham Young University Automated estimation of average stopped delay at signalized intersections
JP2005215985A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法
EP1751619A4 (en) * 2004-04-30 2010-04-14 Utc Fire & Security Corp DETECTION OF FRAUDULENT ATTEMPTS MADE ON A CAMERA
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US8139896B1 (en) 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
WO2006109217A2 (en) * 2005-04-14 2006-10-19 Koninklijke Philips Electronics N.V. Video apparatus having an edition function
US7920959B1 (en) * 2005-05-01 2011-04-05 Christopher Reed Williams Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20130265419A1 (en) 2012-04-06 2013-10-10 Xerox Corporation System and method for available parking space estimation for multispace on-street parking
KR101747216B1 (ko) * 2012-05-30 2017-06-15 한화테크윈 주식회사 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4449144A (en) * 1981-06-26 1984-05-15 Omron Tateisi Electronics Co. Apparatus for detecting moving body
CA1287161C (en) * 1984-09-17 1991-07-30 Akihiro Furukawa Apparatus for discriminating a moving region and a stationary region in a video signal
JPS61243569A (ja) * 1985-04-19 1986-10-29 Fujitsu Ltd デイジタル画像領域へのラベル付け方式
JPS6320578A (ja) * 1986-07-14 1988-01-28 Fujitsu Ltd 連結領域のラベル付け回路
JPS63314988A (ja) * 1987-06-18 1988-12-22 Fujitsu Ltd ビデオレ−ト色抽出装置
US4937878A (en) * 1988-08-08 1990-06-26 Hughes Aircraft Company Signal processing for autonomous acquisition of objects in cluttered background
US5109435A (en) * 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JPH03206574A (ja) * 1990-01-09 1991-09-09 Fujitsu Ltd ラスタ走査型ラベリング処理方式
JP2975629B2 (ja) * 1990-03-26 1999-11-10 株式会社東芝 画像認識装置
US5150426A (en) * 1990-11-20 1992-09-22 Hughes Aircraft Company Moving target detection method using two-frame subtraction and a two quadrant multiplier
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
US5301239A (en) * 1991-02-18 1994-04-05 Matsushita Electric Industrial Co., Ltd. Apparatus for measuring the dynamic state of traffic
JPH05159057A (ja) * 1991-12-04 1993-06-25 Fujitsu Ltd 動的物体の計測装置
JPH05159058A (ja) * 1991-12-04 1993-06-25 Fujitsu Ltd 動的物体の軌跡解析装置
EP0631683B1 (en) * 1992-03-20 2001-08-01 Commonwealth Scientific And Industrial Research Organisation An object monitoring system

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
JP2001273499A (ja) * 2000-03-27 2001-10-05 Nagoya Electric Works Co Ltd 移動体検出方法およびその装置
JP4504503B2 (ja) * 2000-03-27 2010-07-14 名古屋電機工業株式会社 移動体検出装置
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US7372994B2 (en) 2003-03-03 2008-05-13 Matsushita Electric Works, Ltd. Image processing device for recognizing outline of moving target and method therefor
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US8031226B2 (en) 2005-03-01 2011-10-04 Fujifilm Corporation Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program
JP2006277729A (ja) * 2005-03-01 2006-10-12 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラム
JP2007064894A (ja) * 2005-09-01 2007-03-15 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出プログラム
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US9440535B2 (en) 2006-08-11 2016-09-13 Magna Electronics Inc. Vision system for vehicle
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
JP4571115B2 (ja) * 2006-11-06 2010-10-27 日本電信電話株式会社 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2008117228A (ja) * 2006-11-06 2008-05-22 Nippon Telegr & Teleph Corp <Ntt> 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2011044970A (ja) * 2009-08-24 2011-03-03 Canon Inc 撮影システム
WO2013191078A1 (ja) * 2012-06-19 2013-12-27 市光工業株式会社 車両周辺対象物検出装置
JP2014002577A (ja) * 2012-06-19 2014-01-09 Ichikoh Ind Ltd 車両周辺対象物検出装置
US9367751B2 (en) 2012-06-19 2016-06-14 Ichikoh Industries, Ltd. Object detection device for area around vehicle
JP2014137689A (ja) * 2013-01-16 2014-07-28 Toyota Motor Corp 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法
US10823851B2 (en) 2018-01-25 2020-11-03 Fujitsu Limited Device and method for estimating degree of freedom for movement
WO2021002001A1 (ja) * 2019-07-04 2021-01-07 三菱電機株式会社 移動体測位装置および移動体測位システム

Also Published As

Publication number Publication date
JP3288474B2 (ja) 2002-06-04
US6141435A (en) 2000-10-31

Similar Documents

Publication Publication Date Title
JPH06337938A (ja) 画像処理装置及び距離測定装置
Rahman et al. A real-time wrong-way vehicle detection based on YOLO and centroid tracking
US20020126875A1 (en) Image processing apparatus
Ghahremannezhad et al. Real-time accident detection in traffic surveillance using deep learning
Kim et al. Deep traffic light detection for self-driving cars from a large-scale dataset
US20090309966A1 (en) Method of detecting moving objects
JP2016148962A (ja) 物体検知装置
CN105550632A (zh) 交通标志牌识别装置及其工作方法
JPH05307695A (ja) 交通流計測処理方法及び装置
JP6226368B2 (ja) 車両監視装置、および車両監視方法
Messelodi et al. Vision-based bicycle/motorcycle classification
KR102318586B1 (ko) 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법
Widyantoro et al. Traffic lights detection and recognition based on color segmentation and circle hough transform
Mulyanto et al. Real-time human detection and tracking using two sequential frames for advanced driver assistance system
Wu et al. Traffic monitoring and vehicle tracking using roadside cameras
EP3557529A1 (en) Lane marking recognition device
Anandhalli et al. Improvised approach using background subtraction for vehicle detection
Sirbu et al. Real-time line matching based speed bump detection algorithm
Arul et al. Modelling and Simulation of Smart Traffic Light System for Emergency Vehicle using Image Processing Techniques
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
Nayak et al. Vision-based techniques for identifying emergency vehicles
Cao et al. Vehicle motion analysis based on a monocular vision system
JP3816785B2 (ja) 距離測定装置
CN110736465B (zh) 导航方法、装置、机器人及计算机可读存储介质
Kovačić et al. Real time vehicle detection and tracking on multiple lanes

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080315

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees