JPH08249471A - 動画像処理装置 - Google Patents

動画像処理装置

Info

Publication number
JPH08249471A
JPH08249471A JP7051595A JP5159595A JPH08249471A JP H08249471 A JPH08249471 A JP H08249471A JP 7051595 A JP7051595 A JP 7051595A JP 5159595 A JP5159595 A JP 5159595A JP H08249471 A JPH08249471 A JP H08249471A
Authority
JP
Japan
Prior art keywords
moving
feature amount
moving object
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7051595A
Other languages
English (en)
Other versions
JP4020982B2 (ja
Inventor
Kenji Kitamura
村 健 児 北
Hiko Nakamoto
基 孫 中
Takehisa Tanaka
中 武 久 田
Kazufumi Mizusawa
澤 和 史 水
Toshikazu Fujioka
岡 利 和 藤
Masato Mori
真 人 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Tokyo Electric Power Company Holdings Inc
Original Assignee
Tokyo Electric Power Co Inc
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electric Power Co Inc, Matsushita Electric Industrial Co Ltd filed Critical Tokyo Electric Power Co Inc
Priority to JP05159595A priority Critical patent/JP4020982B2/ja
Publication of JPH08249471A publication Critical patent/JPH08249471A/ja
Application granted granted Critical
Publication of JP4020982B2 publication Critical patent/JP4020982B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【目的】 移動物体の特徴量を検出することで移動物体
を評価判定し、かつ必要に応じて処理パラメータを最適
化して移動物体の正確な追跡を実現する。 【構成】 画像入力部1から入力され画像格納部2に格
納された画像に対し、画像間演算処理部3はフレーム間
差分処理を行い動領域を検出し、動領域整形部4はノイ
ズ除去及び領域統合をして動領域を決定する。特徴量検
出部5は動領域内から移動物体の特徴量を検出し、位置
検出部6は移動物体の位置情報を算出し、時系列処理部
7は特徴量検出部5から送られてきた特徴量及び位置検
出部6からの位置情報を時系列に処理して時系列特徴量
を算出する。移動物体識別部8はこれらの情報を統合し
て判定処理を行い移動物体を識別してその正確な追跡を
実現し、必要に応じて各処理部に対し最適パラメータを
指示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像入力装置から入
力された画像データを連続的に処理し、そこから得られ
た情報から移動物体の検出及び移動経路追跡を行うこと
により人物や自動車といった移動物体の動作監視を行う
動画像処理装置に関するものである。
【0002】
【従来の技術】動画像を連続的に処理して移動物体を検
出するシステムは、既に研究開発が行われており、いく
つか実用化されている。これら動画像処理装置における
移動物体検出処理を図8を用いて説明する。図8は従来
の動画像処理装置のブロック結線図である。図8におい
て、81は画像入力部、82は画像格納部、83は画像
前処理部、84は動領域整形部、85は移動物体追跡部
である。
【0003】以下、上記従来の動画像処理装置の動作に
ついて説明する。画像入力部81から入力された動画像
は、画像格納部82に格納され、画像前処理部83によ
って前処理が行われる。前処理としては、Kフレーム前
(Kは正の整数)の画像と現画像との差分処理を行うフ
レーム間差分処理や背景画像を作成して現画像との差分
処理を行う背景差分処理、或いは単一画像の空間微分処
理が用いられる。前処理によって検出された動領域は、
動領域整形部84においてノイズ除去等の領域整形処理
が行われ、動領域が確定する。動領域が確定すると、移
動物体追跡部85において、動領域情報及びその履歴情
報を用いて以前に検出された動領域との同定を行い、同
一移動物体を追跡する。これらの処理を動画像に対して
連続的に行うことで、移動物体を検出し、追跡して行く
ことができる。
【0004】画像前処理部83の前処理においては閾値
処理が行われる。また、動領域整形部84のノイズ除去
や領域統合等の処理においても、その判定パラメータを
用いる。従来、これらのパラメータは、視野範囲や俯角
等の撮像条件に整合した最適値が予め画像処理装置に提
供されていた。屋外の明るさのように変化する環境条件
に適応させる必要のある差分閾値のような動的パラメー
タについては、画像処理によって処理画像内の輝度変化
を検出する方法もしくは他センサを用いて環境変化を検
出する方法が行われ、この結果によって画像処理装置が
最適パラメータを選択していた。
【0005】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理システムにおいては、以下の問題
点が指摘されていた。まず、フレーム間差分処理におい
ては移動物体が静止した際には差分が検出されず、追跡
が困難になることである。また、背景差分処理において
は、常に最適な背景画像を作成することが必要であり、
環境変化の急峻な屋外等では、背景画像作成及び更新が
大きな問題になる。空間微分処理は、動領域のみが検出
される処理ではないので、移動物体検出に用いる場合
は、物体の存在領域を予め設定する必要がある。或いは
空間微分画像の差分処理によって動領域を検出する、も
しくは静止物体も含めて認識し移動物体を検出する、と
いった手法が考えられるが、空間微分画像の単純な差分
処理では、動領域を正確に検出することは難しく、また
上記フレーム間差分処理及び背景差分処理と同様の問題
点が存在する。一方、静止物体認識は、認識対象物体が
特定できる環境でなければ実現は難しく、適応できる範
囲は限定せざるを得ない。したがって、これら前処理法
を用いて正確な移動物体を検出し、追跡するためには、
以上に対する解決策が必要であった。
【0006】また画像前処理部83及び動領域整形部8
4においては、パラメータが用いられるが、予め与えら
れたパラメータが十分ではないため、移動物体がうまく
検出できない場合や、ノイズや影の除去処理がうまく行
かない場合が、また環境条件をうまく検出できずに適し
たパラメータを選択することができない場合が存在し
た。或いは環境条件がうまく検出できても、その環境条
件のみで最適パラメータが決定できない場合も存在して
いた。
【0007】本発明は、上記従来の問題点を解決するも
ので、移動物体の特徴量を検出し、評価判定すること
で、フレーム間差分処理を用いても移動物体の静止状態
も含めた追跡を実現し、かつ環境条件により決定された
パラメータが不十分であった場合に、即座に最適なパラ
メータに変更して正確な移動物体検出を実現することの
できる動画像処理装置を提供することを目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像処理装置は、移動物体の特徴量を検
出する特徴量検出部と、移動物体の位置の特徴量を検出
する位置検出部と、上記特徴量に対して時系列処理を行
って各特徴量の時系列特徴量を算出する時系列処理部
と、上記特徴量検出部及び位置検出部で検出された特徴
量及び時系列処理部で算出された時系列特徴量の結果を
統合して移動物体の識別処理を行い、識別結果によって
は画像間演算処理部、動領域整形部、特徴量検出部、位
置検出部に対して処理条件を変更する指令を提供する移
動物体識別部を有している。
【0009】
【作用】上記構成によって、本発明の動画像処理装置
は、移動物体の特徴量を検出し、評価判定することによ
り、移動物体を同定し追跡することができる。また、フ
レーム間差分処理を用いた場合に、移動物体が静止して
動領域が検出不可能な場合でも、再度動作を開始して動
領域が検出されたときに、移動物体を特徴量によって同
定することにより、同一物体と識別して追跡することが
できる。また、移動物体識別部は、特徴量それ自体と時
系列特徴量を用いて移動物体検出の評価を行い、結果が
不十分であった場合は、その特徴量検出に相当する処理
部に対して処理条件の変更を指令することができ、ある
程度十分な結果が得られた特徴量については、その特徴
量を基にその移動物体を検出する最適条件を検出し、そ
れを画像間演算処理部、動領域整形部、特徴量検出部、
位置検出部に伝達することもできる。
【0010】
【実施例】
(実施例1) (全体の構成)以下、本発明の第1の実施例について、
図1を参照して説明する。図1は動画像処理装置のブロ
ック結線図である。図1において、1は画像入力部、2
は画像格納部、3は画像間演算処理部、4は動領域整形
部、5は特徴量検出部、6は位置検出部、7は時系列処
理部、8は移動物体識別部である。
【0011】次に上記実施例の動作について説明する。
画像入力部1から入力された動画像は、画像格納部2に
格納される。画像格納部2は、Nフレーム分(Nは正の
整数)の画像が格納可能である。画像間演算処理部3
は、これらN枚の画像を用いて、設定されている時間間
隔によるフレーム間差分演算が行われ、ある閾値以上の
差が検出された画素を抽出する。これは、Nフレーム累
積加算によって背景画像を作成し、これを用いた差分演
算処理であっても良い。動領域整形部4は、この差分結
果を基に、ノイズや影の除去処理及び領域統合処理を行
って動領域を決定する。特徴量検出部5は、動領域整形
部4によって決定された動領域内の画像データを処理
し、特徴量を検出する。位置検出部6は、動領域検出情
報から画面上の位置座標の特徴量を移動物体位置情報と
して算出する。特徴量検出部5及び位置検出部6によっ
て検出された情報は、時系列処理部7に送られ、履歴情
報に基づいて時系列特徴量が算出される。特徴量検出部
5、位置検出部6及び時系列処理部7の出力情報は、移
動物体識別部8へと送られ、移動物体識別部8は、これ
ら送られてきた情報を統合処理し、移動物体を識別す
る。識別処理は、特徴量の評価と判定処理により行われ
る。特徴量評価は、検出対象に基づく特徴量それ自体の
評価、現フレーム特徴量と前フレーム特徴量との距離に
よる評価、時系列特徴量の評価、そして位置情報を用い
た複数の移動物体が画面上で交差したというような特殊
事象認識による評価を行う。次に、これら評価結果を用
いた判定処理を行う。この判定処理では、複数の移動物
体交差という特殊事象の発生により特徴量評価結果が判
定条件を満たさないという結果を許容する。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。
【0012】以上のように、本実施例によれば、画像間
演算処理部3によって検出され、動領域整形部4によっ
て領域整形された動領域から特徴量検出部5及び位置検
出部6によって移動物体の特徴量を検出し、この特徴量
及び時系列処理部7によって作成された時系列特徴量を
移動物体識別部8によって統合して処理することによ
り、移動物体を識別し追跡することができるという点で
優れた効果が得られる。
【0013】(実施例2) (動領域整形部)次に、本発明の第2の実施例について
説明する。本実施例における動画像処理装置は、図1に
示した第1の実施例と同じ構成を備え、異なるのは動領
域整形部4以降における動作である。以下、本実施例の
動作について説明する。
【0014】図1において、入力部1から画像間演算処
理部3迄の処理の流れは、実施例1における説明と同様
である。画像間演算処理部3によって検出された動領域
に対し、動領域整形部4は、動領域内画像データの輝度
に対する空間微分処理を行い、エッジ特徴点を検出す
る。空間微分処理は、勾配オペレータを用いることも可
能であり、また二次差分法を用いて零交差点を検出する
方法でも可能である。エッジ特徴点を輪郭と見なして動
領域を補正する。以下、この処理を図2を用いて説明す
る。
【0015】図2において、21は画像間演算処理部3
によって検出された動領域、22は検出対象移動物体領
域である。画像間演算処理部3によって検出された動領
域21内のエッジ特徴点データを走査線方向に加算処理
し、輪郭上限A及び下限Bを検出する。AからBの間を
処理領域とする。まず動領域左側輪郭線L1上から右方
向にエッジ特徴点を検索する。特徴点が検出されたら輪
郭候補点として登録する。右側輪郭線L2も同様にして
左方向に検索する。次に動領域21内のエッジ特徴点デ
ータを走査線に垂直方向に加算処理し、輪郭左限C及び
右限Dを検出する。CからDの間を処理領域とし上下輪
郭線を検出する。L3上を下方向にエッジ特徴点を検索
して上輪郭線を、L4上を上方向にエッジ特徴点を検索
して下輪郭線を検出する。これら輪郭抽出処理において
は、ノイズやエッジの欠落が発生すると正しい輪郭点は
検出されないので、輪郭抽出処理の前にノイズ除去処理
や平滑化処理を行っても良い。こうして検出された輪郭
線を動領域として、以下、実施例1と同様にして同一移
動物体を追跡する。
【0016】以上のように、本実施例によれば、動領域
整形部4によって移動物体の正確な輪郭抽出を実現する
ことにより、移動物体の的確な特徴量の検出が可能な動
領域を決定することができるという点で優れた効果が得
られる。
【0017】(実施例3)次に、本発明の第3の実施例
について説明する。本実施例における動画像処理装置
は、図1に示した第1の実施例と同じ構成を備え、異な
るのは動領域整形部4以降における動作である。以下、
本実施例の動作について説明する。
【0018】図1において、入力部1から画像間演算処
理部3迄の処理の流れは、実施例1における説明と同様
である。画像間演算処理部3によって検出された動領域
に対し、動領域整形部4は、動領域整形処理を行う。以
下、この処理を図3を用いて説明する。
【0019】図3において、31はNフレーム(Nは正
の整数)前の動領域及び外接長方形、32及び33は現
フレームの動領域及び外接長方形、34はこれら外接長
方形を統合したもの、35は全ての外接長方形34を包
含する統合外接長方形内に現フレーム動領域をプロット
したもの、そして36は統合外接長方形35を現フレー
ム動領域に外接するように新たに整形した外接長方形を
示したものである。動領域整形部4は、現フレームにお
ける動領域に対する外接長方形32、33とNフレーム
前の外接長方形31を34のように統合し、その全てを
包含する外接長方形35を作成する。そして外接長方形
35の中から現フレーム動領域に外接する唯一の外接長
方形36を検出する。これを現フレームにおける外接長
方形と決定し、この外接長方形内の動領域を同一移動物
体の動領域とする。
【0020】以上のように、本実施例によれば、動領域
整形部4によって移動物体を包含する正確な外接長方形
の検出を実現することにより、移動物体を的確に識別し
追跡して行くことができるという点で優れた効果が得ら
れる。
【0021】(実施例4) (特徴量検出部)以下、本発明の第4の実施例について
説明する。本実施例における動画像処理装置は、図1に
示した第1の実施例と同じ構成を備え、異なるのは特徴
量検出部5以降における動作である。以下、本実施例の
動作について説明する。
【0022】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの輝度情報を処
理し、動領域内の輝度平均値及び分散値を算出する。こ
れを移動物体の特徴量として時系列処理部7及び移動物
体識別部8に送出する。時系列処理部7は、履歴情報に
基づいて時系列特徴量を算出する。移動物体識別部8
は、これら送られてきた特徴量の評価を行う。特徴量評
価は、現フレーム平均値及び分散値と前フレーム平均値
及び分散値の差の評価、時系列処理部7において算出さ
れた平均値及び分散値との差の評価、移動物体の画面上
での交差等特殊事象認識による評価を行う。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。
【0023】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として輝度平均値及
び分散値を検出し、これら特徴量及びその時系列特徴量
を用いることにより、移動物体の識別を実現することが
できるという点で優れた効果が得られる。
【0024】(実施例5)以下、本発明の第5の実施例
について説明する。本実施例における動画像処理装置
は、図1に示した第1の実施例と同じ構成を備え、異な
るのは特徴量検出部5以降における動作である。以下、
本実施例の動作について説明する。
【0025】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの輝度情報を処
理し、動領域内の輝度の度数分布を算出する。度数分布
は、256階調のデータの場合、8階調、16階調もし
くは32階調毎に度数を計算し分布を求める。求められ
た度数分布には、動領域全画素数もしくは最頻度度数を
基に正規化処理を行う。これを移動物体の特徴量として
移動物体識別部8に送出する。移動物体識別部8は、前
フレームの輝度度数分布を保持しており、これと現フレ
ームの度数分布との距離を算出する。距離算出方法とし
ては、市街地距離(city block distance 、各度数の差
の絶対値の総和、実施例16参照のこと。)やユークリ
ッド距離(各度数の差の自乗の総和)を用いても良い
が、ここではDPマッチング法を用いる。現フレームの
度数分布列をci 、前フレームの度数分布列をp
j (i,j=1〜N、Nは正の整数)としたとき,距離
Dは下記式(1)により算出される。
【0026】
【数1】 ここで、この距離算出の際には整合窓の制約条件として
下記式(2)を課すものとする。
【0027】 |i−j|≦r(rは予め設定されていた正の整数) ・・・(2) 距離Dが予め設定されていた閾値以下となったとき、こ
れらの動領域を同一の移動物体のものとする。これらの
処理を動画像に対して連続的に行い、前処理画面と同一
移動物体と判断された動領域を同一動領域と決定するこ
とにより、同一移動物体を追跡する。
【0028】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として輝度の度数分
布を算出し、これを特徴量として用いることにより、移
動物体の識別を実現することができるという点で優れた
効果が得られる。
【0029】(実施例6)以下、本発明の第6の実施例
について説明する。本実施例における動画像処理装置
は、図1に示した第1の実施例と同じ構成を備え、異な
るのは特徴量検出部5以降における動作である。以下、
本実施例の動作について説明する。
【0030】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの輝度情報を処
理し、動領域内の輝度をM個(Mは正の整数)に分割す
る。M=2の場合、閾値として平均値を用いることがで
きる。その他にクラス間分散が最大となる閾値を用いる
方法が考えられ、この場合は、Mが2以上であっても分
割数が決定できれば用いることが可能である。さらに、
度数分布を用いて分割数を決定し、分割する方法も考え
られる。以下、この処理を図4を用いて説明する。
【0031】図4は度数分布である。度数分布は、25
6階調のデータの場合、8階調、16階調もしくは32
階調毎に度数を計算し分布を求める。このような度数分
布となった場合、極大極小点検出により度数分布の分割
を行う。ここでは度数分布に対して微分処理を行う。こ
こで微係数が正から負に変化した数を領域分割数と考え
ることができる。図4では点A、点B、点Cの3極大点
が存在するため、分割数は3である。更に微係数が負か
ら正に変化した時の階調値が領域分割閾値と考えること
ができる。図4では点D及び点Eが相当する。但し輝度
分布の主成分を検出するために、微分処理の際には必要
であれば平滑化処理を行う。こうして領域分割数M及び
分割閾値が決定したならばこれら閾値を用いて領域分割
を行い、M個の分割領域におけるそれぞれの輝度の代表
値を求める。代表値としては、各分割領域毎の輝度の平
均値でも良いし、また各分割領域における最頻度となる
輝度値でも良い。これらを特徴量として、時系列処理部
7及び移動物体識別部8に送出する。時系列処理部7
は、履歴情報に基づいて時系列特徴量を算出する。移動
物体識別部8は、これら送られてきた特徴量の評価を行
う。特徴量評価は、現フレームと前フレームの領域分割
数Mの比較、各代表値の差の評価、時系列処理部7にお
いて算出された分割数及び代表値との差の評価、移動物
体の画面上での交差等特殊事象認識による評価を行う。
これらの処理を動画像に対して連続的に行い、前処理画
面と同一移動物体と判断された動領域を同一動領域と決
定することにより、同一移動物体を追跡する。
【0032】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として動領域を輝度
分布を基にM個に分割し、各分割領域の代表値となる輝
度を検出し、これら特徴量及びその時系列特徴量を用い
ることにより、移動物体の識別を実現することができる
という点で優れた効果が得られる。
【0033】(実施例7)以下、本発明の第7の実施例
について説明する。本実施例における動画像処理装置
は、図1に示した第1の実施例と同じ構成を備え、異な
るのは特徴量検出部5以降における動作である。以下、
本実施例の動作について説明する。
【0034】図1において、入力部1から動領域整形部
4までの処理の流れは、実施例1における説明と同様で
ある。動領域整形部4によって整形された動領域に対
し、特徴量検出部5は実施例6と同様に、輝度の度数分
布を算出して輝度分割閾値を検出し、この閾値を基に度
数分布をM個(Mは正の整数)に分割する。そして各分
割領域の大きさの比率を検出する。領域の大きさとして
は、各分割領域に属する全画素数でも良いし、各分割領
域における最頻度の度数を用いても良い。これらを特徴
量として、時系列処理部7及び移動物体識別部8に送出
する。時系列処理部7は、履歴情報に基づいて時系列特
徴量を算出する。移動物体識別部8は、これら送られて
きた特徴量の評価を行う。特徴量評価は、現フレームと
前フレームにおけるこの特徴量の差の評価、時系列処理
部7において算出された評価値との差の評価、移動物体
の画面上での交差等特殊事象認識による評価を行う。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。
【0035】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として動領域を輝度
分布を基にM個に分割し、その分割領域の大きさの比率
を検出し、これを特徴量として用いることにより、移動
物体の識別を実現することができるという点で優れた効
果が得られる。
【0036】(実施例8)以下、本発明の第8の実施例
について説明する。本実施例における動画像処理装置
は、図1に示した第1の実施例と同じ構成を備え、異な
るのは特徴量検出部5以降における動作である。以下、
本実施例の動作について説明する。
【0037】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例6で示したように動領域内画
像データを輝度情報を基にM個(Mは正の整数)に分割
する。更に分割された各分割領域の位置情報を検出す
る。以下、この処理を図5を用いて説明する。
【0038】図5において、51〜53は分割領域であ
り、この中から領域51の位置情報を検出する。まず動
領域の中から分割領域51に属する画像データを検出す
る。このとき各画素の輝度情報は検出する必要なく、各
画素の位置情報のみ検出すれば良い。次にこの検出した
画像データを走査線に対して垂直及び水平方向に加算処
理して分割領域の上限座標yU 、下限座標yL 、左限座
標xL 、右限座標xRを検出する。これらの座標決定の
際には、ノイズを除去するために閾値以上の加算値が得
られた点を求める座標として判定する。これらを位置情
報としても良いが、上限と下限の中点yC 及び左限と右
限の中点xC の座標Pを計算し、それをこの分割領域の
位置情報とする。図5においては1個の領域として検出
されたが、2個以上の領域に分割された場合はその全体
の中心の座標を位置情報としても良いし、予め設定して
ある閾値以上の大きさとなる領域についてそれぞれの中
心座標を位置情報として検出しても良い。この処理を全
ての分割領域について行う。これらを特徴量として時系
列処理部7及び移動物体識別部8に送出する。時系列処
理部7は、履歴情報に基づいて時系列特徴量を算出す
る。移動物体識別部8は,これら送られてきた特徴量の
評価を行う。特徴量評価は、実施例6の評価に加えて、
各分割領域の位置情報から対応する現フレームと前フレ
ームの分割領域間の距離を算出し、その総和値を全分割
領域の差として評価する。これらの処理を動画像に対し
て連続的に行い、前処理画面と同一移動物体と判断され
た動領域を同一動領域と決定することにより、同一移動
物体を追跡する。
【0039】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として動領域を輝度
分布を基にM個に分割し、各分割領域の位置を検出して
それら特徴量及びその時系列特徴量を用いることによ
り、移動物体の識別を実現することができるという点で
優れた効果が得られる。
【0040】(実施例9)以下、本発明の第9の実施例
について説明する。本実施例における動画像処理装置
は、図1に示した第1の実施例と同じ構成を備え、異な
るのは特徴量検出部5以降における動作である。以下、
本実施例の動作について説明する。
【0041】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの色情報として
彩度を処理し、動領域内の彩度の平均値を算出する。こ
れを移動物体の特徴量として、時系列処理部7及び移動
物体識別部8に送出する。時系列処理部7は、履歴情報
に基づいて時系列特徴量を算出する。移動物体識別部8
は、これら送られてきた特徴量の評価を行う。特徴量評
価は、現フレーム平均値と前フレーム平均値の差の評
価、時系列処理部7において算出された平均値との差、
移動物体の画面上での交差等特殊事象認識による評価を
行う。これらの処理を動画像に対して連続的に行い、前
処理画面と同一移動物体と判断された動領域を同一動領
域と決定することにより、同一移動物体を追跡する。
【0042】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として彩度の平均値
を検出し、これら特徴量及びその時系列特徴量を用いる
ことにより、移動物体の識別を実現することができると
いう点で優れた効果が得られる。
【0043】(実施例10)以下、本発明の第10の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0044】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの色情報として
彩度を処理し、動領域内の彩度の度数分布を算出する。
度数分布は、彩度の値を基に8分割、16分割もしくは
32分割し、その分割毎に度数を計算して分布を求め
る。求められた度数分布には、動領域全画素数もしくは
最頻度度数を基に正規化処理を行う。これを移動物体の
特徴量として移動物体識別部8に送出する。移動物体識
別部8は、前フレームの彩度度数分布を保持しており、
これと現フレームの度数分布との距離を算出する。距離
算出方法としては、市街地距離やユークリッド距離を用
いても良いが、ここではDPマッチング法を用いる。現
フレームの度数分布列をci 、前フレームの度数分布列
をpj (i,j=1〜N、Nは正の整数)としたとき,
距離Dは前記式(1)により算出される。ここでこの距
離算出の際には、整合窓の制約条件として前記式(2)
を課すものとする。距離Dが予め設定されていた閾値以
下となったとき、これらの動領域を同一の移動物体のも
のとする。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。
【0045】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として彩度の度数分
布を算出し、これを特徴量として用いることにより、移
動物体の識別を実現することができるという点で優れた
効果が得られる。
【0046】(実施例11)以下、本発明の第11の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0047】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの色情報として
彩度を処理し、彩度が予め与えられた閾値未満になる画
素数を計測し、その動領域全体に占める割合を低彩度率
として算出する。これを移動物体の特徴量として、時系
列処理部7及び移動物体識別部8に送出する。時系列処
理部7は、履歴情報に基づいて時系列特徴量を算出す
る。移動物体識別部8は、これら送られてきた特徴量の
評価を行う。特徴量評価は、現フレーム低彩度率と前フ
レーム低彩度率の差の評価、時系列処理部7において算
出された低彩度率との差の評価、移動物体の画面上での
交差等特殊事象認識による評価を行う。これらの処理を
動画像に対して連続的に行い、前処理画面と同一移動物
体と判断された動領域を同一動領域と決定することによ
り、同一移動物体を追跡する。
【0048】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として低彩度の画素
の全体に占める割合を検出し、これら特徴量及びその時
系列特徴量を用いることにより、移動物体の識別を実現
することができるという点で優れた効果が得られる。
【0049】(実施例12)以下、本発明の第12の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0050】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの色情報として
彩度と色相を処理し、彩度が予め与えられた閾値以上に
なる画素の色相値の度数分布を算出する。度数分布を求
める色相幅は、10度、20度もしくは30度毎とす
る。求められた度数分布には、動領域全画素数もしくは
最頻度度数を基に正規化処理を行う。これを移動物体の
特徴量として移動物体識別部8に送出する。移動物体識
別部8は、前フレームの色相度数分布を保持しており、
これと現フレームの度数分布との距離を算出する。距離
算出方法としては、市街地距離やユークリッド距離を用
いても良いが、ここではDPマッチング法を用いる。現
フレームの度数分布列をci 、前フレームの度数分布列
をpj (i,j=1〜N、Nは正の整数)としたとき、
距離Dは前記式(1)により算出される。ここでこの距
離算出の際には、整合窓の制約条件として前記式(2)
を課すものとする。距離Dが予め設定されていた閾値以
下となったとき、これらの動領域を同一の移動物体のも
のとする。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。
【0051】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として色相の度数分
布を算出し、これを特徴量として用いることにより、移
動物体の識別を実現することができるという点で優れた
効果が得られる。
【0052】(実施例13)以下、本発明の第13の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0053】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの色情報として
彩度と色相を処理し、彩度が予め与えられた閾値以上に
なる画素の色相値の度数分布を算出する。度数分布を求
める色相幅は、10度、20度もしくは30度毎とす
る。そしてその度数分布を、実施例6と同様に、M個
(Mは正の整数)に領域分割し、各分割領域毎の色相値
の代表値を求める。代表値としては各分割領域毎の平均
値でも良いし、また各分割領域における最頻度となる色
相値でも良い。これを移動物体の特徴量として、時系列
処理部7及び移動物体識別部8に送出する。時系列処理
部7は、履歴情報に基づいて時系列特徴量を算出する。
移動物体識別部8は、これら送られてきた特徴量の評価
を行う。特徴量評価は、現フレームと前フレームの領域
分割数Mの比較、各代表値の差の評価、時系列処理部7
において算出された分割数及び代表値との差の評価、移
動物体の画面上での交差等特殊事象認識による評価を行
う。これらの処理を動画像に対して連続的に行い、前処
理画面と同一移動物体と判断された動領域を同一動領域
と決定することにより、同一移動物体を追跡する。
【0054】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として動領域を色相
値の度数分布を基にM個に分割し、各分割領域の代表値
となる色相値を検出し、これを特徴量として用いること
により、移動物体の識別を実現することができるという
点で優れた効果が得られる。
【0055】(実施例14)以下、本発明の第14の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0056】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例13と同様に、色相値の度数
分布を算出して色相分割閾値を検出し、この閾値を基に
度数分布をM個(Mは正の整数)に分割する。そして各
分割領域の大きさの比率を検出する。領域の大きさとし
ては、各分割領域に属する全画素数でも良いし、各分割
領域における最頻度の度数を用いても良い。これを移動
物体の特徴量として、時系列処理部7及び移動物体識別
部8に送出する。時系列処理部7は、履歴情報に基づい
て時系列特徴量を算出する。移動物体識別部8は、これ
ら送られてきた特徴量の評価を行う。特徴量評価は、現
フレームと前フレームにおけるこの特徴量の差の評価、
時系列処理部7において算出された評価値との差の評
価、移動物体の画面上での交差等特殊事象認識による評
価を行う。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。
【0057】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域を色
相値の度数分布を基にM個に分割し、その分割領域の大
きさの比率を検出し、これを特徴量として用いることに
より、移動物体の識別を実現することができるという点
で優れた効果が得られる。
【0058】(実施例15)以下、本発明の第15の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0059】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例13と同様に、色相値の度数
分布を算出して色相分割閾値を検出し、この閾値を基に
度数分布をM個(Mは正の整数)に分割する。そして各
分割領域に属する画像データを検出する。検出した画像
データから位置情報を検出する方法は、実施例8と同様
に行う。これを移動物体の特徴量として、時系列処理部
7及び移動物体識別部8に送出する。時系列処理部7
は、履歴情報に基づいて時系列特徴量を算出する。移動
物体識別部8は、これら送られてきた特徴量の評価を行
う。特徴量評価は、実施例13の評価に加えて、各分割
領域の位置情報より対応する現フレームと前フレームの
分割領域間の距離を算出し、その総和値を全分割領域の
差として評価する。これらの処理を動画像に対して連続
的に行い、前処理画面と同一移動物体と判断された動領
域を同一動領域と決定することにより、同一移動物体を
追跡する。
【0060】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域を色
相値の度数分布を基にM個に分割し、各分割領域の位置
を検出し、これら特徴量及びその時系列特徴量を用いる
ことにより、移動物体の識別を実現することができると
いう点で優れた効果が得られる。
【0061】(実施例16)以下、本発明の第16の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0062】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データから輝度及び色
情報を検出する。情報はRGB座標系或いはYUV座標
系を用いて検出する方法が考えられるが、ここでは輝
度、彩度及び色相という3つの物理量によって検出す
る。そしてこれら3つの物理量を成分とする3次元のベ
クトル空間を定義し、この空間における動領域内画像デ
ータの度数分布を求める。度数分布を求める際には、各
成分を8分割、16分割もしくは32分割し、その分割
されたベクトル空間毎に度数を計算する。こうして求め
られた3次元ベクトル空間における度数分布は、動領域
全画素数もしくは最頻度度数を基に正規化処理を行う。
これを移動物体の特徴量として、移動物体識別部8に送
出する。移動物体識別部8は、前フレームの3次元ベク
トル空間における度数分布を保持しており、これと現フ
レームの度数分布との距離を算出する。距離算出方法と
しては、DPマッチング法を用いる方法も考えられる
が、データ量が多いことを考慮し、簡略化した手法とし
て市街地距離を用いる。もちろんこれ以外にユークリッ
ド距離を用いて距離を算出する方法も考えられる。現フ
レームの度数分布をci 、前フレームの度数分布をpi
(i=1〜N、Nは正の整数)としたとき、距離Dは下
記式(3)により算出される。
【0063】
【数2】 距離Dが予め設定されていた閾値以下となったとき、こ
れらの動領域を同一の移動物体のものする。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。
【0064】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、輝度、彩度
及び色相の3つの物理量を成分とする3次元ベクトル空
間の度数分布を算出し、これを特徴量として用いること
により、移動物体の識別を実現することができるという
点で優れた効果が得られる。
【0065】(実施例17)以下、本発明の第17の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0066】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの形状情報とし
て動領域を包含する外接長方形を作成し、この縦横の辺
の長さを検出する。更に縦横比率を算出し、これらを移
動物体の特徴量として、時系列処理部7及び移動物体識
別部8に送出する。時系列処理部7は、履歴情報に基づ
いて時系列特徴量を算出する。移動物体識別部8は、こ
れら送られてきた特徴量の評価を行う。特徴量評価は、
現フレームの辺の長さと前フレームの辺の長さの差及び
縦横比率の差の評価、時系列処理部7において算出され
た辺の長さ及び縦横比率との差の評価、移動物体の画面
上での交差等特殊事象認識による評価を行う。これらの
処理を動画像に対して連続的に行い、前処理画面と同一
移動物体と判断された動領域を同一動領域と決定するこ
とにより、同一移動物体を追跡する。
【0067】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域外接
長方形の縦横辺の長さ及びその比率を検出し、これら特
徴量及びその時系列特徴量を用いることにより、移動物
体の識別を実現することができるという点で優れた効果
が得られる。
【0068】(実施例18)以下、本発明の第18の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0069】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、その動領域を形成する画素数を計測
する。これを移動物体の特徴量として、時系列処理部7
及び移動物体識別部8に送出する。時系列処理部7は、
履歴情報に基づいて時系列特徴量を算出する。移動物体
識別部8は、これら送られてきた特徴量の評価を行う。
特徴量評価は、現フレームの動領域画素数と前フレーム
の動領域画素数の差の評価、時系列処理部7において算
出された動領域画素数との差の評価、移動物体の画面上
での交差等特殊事象認識による評価を行う。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。
【0070】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域を形
成する画素数を検出し、この特徴量及びその時系列特徴
量を用いることにより、移動物体の識別を実現すること
ができるという点で優れた効果が得られる。
【0071】(実施例19)以下、本発明の第19の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0072】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、その動領域を形成する画素数を計測
し、その動領域の外接長方形を作成する。そして動領域
の画素数の外接長方形の画素数に占める割合を算出す
る。これを移動物体の特徴量として、時系列処理部7及
び移動物体識別部8に送出する。時系列処理部7は、履
歴情報に基づいて時系列特徴量を算出する。移動物体識
別部8は、これら送られてきた特徴量の評価を行う。特
徴量評価は、現フレームの特徴量と前フレームの特徴量
の差の評価、時系列処理部7において算出された時系列
特徴量との差の評価、移動物体の画面上での交差等特殊
事象認識による評価を行う。これらの処理を動画像に対
して連続的に行い、前処理画面と同一移動物体と判断さ
れた動領域を同一動領域と決定することにより、同一移
動物体を追跡する。
【0073】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域を形
成する画素数の外接長方形の画素数に占める割合を検出
し、この特徴量及びその時系列特徴量を用いることによ
り、移動物体の識別を実現することができるという点で
優れた効果が得られる。
【0074】(実施例20)以下、本発明の第20の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0075】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、その動領域内の画像データの輝度に
対する空間微分処理を行い、輝度変化値を検出する。そ
して全輝度変化値の平均値を求め、画像データのテクス
チャ情報とする。これを移動物体の特徴量として、時系
列処理部7及び移動物体識別部8に送出する。時系列処
理部7は、履歴情報に基づいて時系列特徴量を算出す
る。移動物体識別部8は、これら送られてきた特徴量の
評価を行う。特徴量評価は、現フレームのテクスチャ情
報と前フレームのテクスチャ情報の差の評価、時系列処
理部7において算出されたテクスチャ情報との差の評
価、移動物体の画面上での交差等特殊事象認識による評
価を行う。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。
【0076】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域内輝
度変化値の平均値をテクスチャ情報として検出し、この
特徴量及びその時系列特徴量を用いることにより、移動
物体の識別を実現することができるという点で優れた効
果が得られる。
【0077】(実施例21)以下、本発明の第21の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0078】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例20と同様に、その動領域内
の輝度変化値をテクスチャ情報として検出する。そして
その度数分布をテクスチャ度数分布として算出する。求
められた度数分布には、動領域全画素数もしくは最頻度
度数を基に正規化処理を行う。これを移動物体の特徴量
として、移動物体識別部8に送出する。移動物体識別部
8は、前フレームのテクスチャ度数分布を保持してお
り、これと現フレームの度数分布との距離を算出する。
距離算出方法としては、市街地距離やユークリッド距離
を用いても良いが、ここではDPマッチング法を用い
る。現フレームの度数分布列をci 、前フレームの度数
分布列をpj (i,j=1〜N、Nは正の整数)とした
とき、距離Dは前記式(1)により算出される。ここで
この距離算出の際には、整合窓の制約条件として前記式
(2)を課すものとする。距離Dが予め設定されていた
閾値以下となったとき、これらの動領域を同一の移動物
体のものとする。これらの処理を動画像に対して連続的
に行い、前処理画面と同一移動物体と判断された動領域
を同一動領域と決定することにより、同一移動物体を追
跡する。
【0079】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域内輝
度変化値の度数分布をテクスチャ度数分布として検出
し、この特徴量及びその時系列特徴量を用いることによ
り、移動物体の識別を実現することができるという点で
優れた効果が得られる。
【0080】(実施例22)以下、本発明の第22の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0081】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例20と同様に、その動領域内
の輝度変化値をテクスチャ情報として検出し、その度数
分布をテクスチャ度数分布として算出する。そしてその
度数分布を、実施例6と同様に、M個(Mは正の整数)
に領域分割し、各分割領域毎の輝度変化値の代表値を求
める。代表値としては、各分割領域毎の輝度変化値の平
均値でも良いし、また各分割領域における最頻度となる
輝度変化値でも良い。これらを移動物体の特徴量とし
て、時系列処理部7及び移動物体識別部8に送出する。
時系列処理部7は、履歴情報に基づいて時系列特徴量を
算出する。移動物体識別部8は、これら送られてきた特
徴量の評価を行う。特徴量評価は、現フレームと前フレ
ームの領域分割数Mの比較、各代表値の差の評価、時系
列処理部7において算出された分割数及び代表値との差
の評価、移動物体の画面上での交差等特殊事象認識によ
る評価を行う。これらの処理を動画像に対して連続的に
行い、前処理画面と同一移動物体と判断された動領域を
同一動領域と決定することにより、同一移動物体を追跡
する。
【0082】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域をテ
クスチャ度数分布を基にM個に分割し各分割領域のテク
スチャの代表値を検出し、これら特徴量及びその時系列
特徴量を用いることにより、移動物体の識別を実現する
ことができるという点で優れた効果が得られる。
【0083】(実施例23)以下、本発明の第23の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0084】図1において、入力部1から動領域整形部
4までの処理の流れは、実施例1における説明と同様で
ある。動領域整形部4によって整形された動領域に対
し、特徴量検出部5は実施例22と同様に、輝度変化値
をテクスチャ情報としてその度数分布を算出して分割閾
値を検出し、この閾値を基に度数分布をM個(Mは正の
整数)に分割する。そして各分割領域の大きさの比率を
検出する。領域の大きさとしては、各分割領域に属する
全画素数でも良いし、各分割領域における最頻度の度数
を用いても良い。これらを特徴量として、時系列処理部
7及び移動物体識別部8に送出する。時系列処理部7
は、履歴情報に基づいて時系列特徴量を算出する。移動
物体識別部8は、これら送られてきた特徴量の評価を行
う。特徴量評価は、現フレームと前フレームにおけるこ
の特徴量の差の評価、時系列処理部7において算出され
た評価値との差の評価、移動物体の画面上での交差等特
殊事象認識による評価を行う。これらの処理を動画像に
対して連続的に行い、前処理画面と同一移動物体と判断
された動領域を同一動領域と決定することにより、同一
移動物体を追跡する。
【0085】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域をテ
クスチャ度数分布を基にM個に分割しその分割領域の大
きさの比率を検出し、これを特徴量として用いることに
より、移動物体の識別を実現することができるという点
で優れた効果が得られる。
【0086】(実施例24)以下、本発明の第24の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0087】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例22と同様に、輝度変化値を
テクスチャ情報としてその度数分布を算出して分割閾値
を検出し、この閾値を基に度数分布を分割し、M個(M
は正の整数)の分割領域を検出する。そして各分割領域
に属する画像データを検出する。検出した画像データか
ら位置情報を検出する方法は、実施例8と同様に行う。
これを移動物体の特徴量として時系列処理部7及び移動
物体識別部8に送出する。時系列処理部7は、履歴情報
に基づいて時系列特徴量を算出する。移動物体識別部8
は、これら送られてきた特徴量の評価を行う。特徴量評
価は、実施例22の評価に加えて、各分割領域の位置情
報より対応する現フレームと前フレームの分割領域間の
距離を算出し、その総和値を全分割領域の差として評価
する。これらの処理を動画像に対して連続的に行い、前
処理画面と同一移動物体と判断された動領域を同一動領
域と決定することにより、同一移動物体を追跡する。
【0088】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として、動領域をテ
クスチャ度数分布を基にM個に分割し、各分割領域の位
置を検出し、これら特徴量及びその時系列特徴量を用い
ることにより、移動物体の識別を実現することができる
という点で優れた効果が得られる。
【0089】(実施例25)以下、本発明の第25の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは特徴量検出部5以降における動作である。以
下、本実施例の動作について説明する。
【0090】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、動領域内画像データの輪郭線を検出
する。輪郭線検出の際にはノイズの影響を除去するため
にノイズ除去処理や平滑化処理を行っても良い。以下、
輪郭線検出処理を図6を用いて説明する。
【0091】図6(a)において、輪郭線検出処理は、
A点から開始して動領域を一回りしてA点に戻ってく
る。A点の決定方法は、一番最初に動領域を検出した時
点において、その動領域の最左上点をA点とする。次の
処理からは、直前に検出されたA点の近傍領域E内に存
在する動領域を検出し、その最左上点を処理開始点Aと
する。輪郭線が検出されたならば、その輪郭線から輪郭
線ベクトルを検出する。いま、輪郭線ベクトルを検出し
たいi個目の輪郭線座標をPi (xi ,yi )、そのk
個後(i,kは1以上の整数)の輪郭線座標をP
i+k (xi+k ,yi+k )とすると、その点の輪郭線ベク
トルは、下記式(4)として算出される。
【0092】 Vi (vxi,vyi)=Vi (xi+k −xi ,yi+k −yi ) ・・・(4) 次に、この輪郭線ベクトルの特徴点を検出するため、下
記式(5)を用いて評価値Rとして算出する。 R=(vxi−vxi-12 +(vyi−vyi-12 ・・・(5) 但し、Vi-i (vxi-1,vyi-1)はi−1番目の輪郭線
ベクトル
【0093】図6(a)におけるRの度数分布を図6
(b)に示す。直線部分の輪郭ベクトルの評価値Rは、
原点付近に集まるため、それ以外の度数分布が集積した
部分を輪郭線における特徴点とし、その座標を輪郭線の
特徴点座標とする。図6(c)のような端点は唯一の特
徴点として検出される。また、図6(d)のように複数
の特徴点が連続して検出された場合は評価値R最大の一
点のみを特徴点とする。図6(a)においては、点A、
点B、点C、点Dが特徴点として検出される。こうして
検出された特徴点は、Nフレーム前(Nは正の整数)の
特徴点と対応付け処理を行い、移動ベクトルとして検出
する。対応付け処理では、特徴点座標及び輪郭線ベクト
ルの類似度より対応点を検索し、該当する特徴点が存在
しない場合は、その特徴点における輪郭線ベクトルは検
出しないものとする。移動ベクトルのx及びy方向成分
分布を図6(e)及び図6(f)に示す。このそれぞれ
の最頻度値xv 及びyv を成分とするベクトルV
(xv ,yv )を現在着目している移動物体の移動ベク
トルとして算出する。但し、移動物体の形状よっては特
徴点が余り検出されない場合があり、十分な移動ベクト
ルの成分分布が得られない。このときは、各移動ベクト
ル成分の平均値やメジアンを成分とする移動ベクトルを
算出し、移動物体の移動ベクトルとする。これを移動物
体の特徴量として、時系列処理部7及び移動物体識別部
8に送出する。時系列処理部7は、履歴情報に基づいて
時系列特徴量を算出する。移動物体識別部8は、これら
送られてきた特徴量の評価を行う。特徴量評価は、現フ
レームの特徴量と前フレームの特徴量の差の評価、時系
列処理部7において算出された時系列特徴量との差の評
価、移動物体の画面上での交差等特殊事象認識による評
価を行う。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。
【0094】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として移動物体の移
動ベクトルを検出し、この特徴量及びその時系列特徴量
を用いることにより、移動物体の識別を実現することが
できるという点で優れた効果が得られる。
【0095】(実施例26) (位置検出部)以下、本発明の第26の実施例について
説明する。本実施例における動画像処理装置は、図1に
示した第1の実施例と同じ構成を備え、異なるのは位置
検出部6以降における動作である。以下、本実施例の動
作について説明する。
【0096】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって検出された動領域を包含す
る外接長方形を図7に示す。
【0097】図7において、Wは外接長方形の幅であ
る。位置検出部6は移動物体の運動平面との接点の最上
点の画像上の座標Qを算出し、これを位置情報とする。
点Pの画像上位置座標をP(x,y)とすると、点Qの
位置座標は下記式(6)として算出される。 Q=(x+W/2,y) ・・・(6)
【0098】こうして算出された移動物体位置情報は、
時系列処理部7及び移動物体識別部8へと送られる。時
系列処理部7は、履歴情報に基づいて時系列処理された
位置情報を算出する。移動物体識別部8は、これら送ら
れてきた位置情報の評価を行う。評価は、現フレームと
前フレームの位置情報の差の比較、時系列処理部7にお
いて算出された位置情報との差の比較により行う。また
この位置情報と動領域の大きさから、複数の移動物体が
画面上で交差したというような特殊事象認識を行う。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。
【0099】以上のように、本実施例によれば、位置検
出部6によって移動物体の位置の特徴量として移動物体
の運動平面との接点の最上点の座標を検出し、この特徴
量及びその時系列特徴量を用いることにより、移動物体
を識別し追跡することができるという点で優れた効果が
得られる。
【0100】(実施例27)以下、本発明の第27の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは位置検出部6以降における動作である。以下、
本実施例の動作について説明する。
【0101】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって検出された動領域を包含す
る外接長方形を図7に示す。
【0102】図7において、Hは外接長方形の高さであ
る。位置検出部6は、移動物体の運動平面との接点の画
像上の座標Rを算出し、これを位置情報とする。点Pの
画像上位置座標をP(x,y)とすると、点Rの位置座
標は下記式(7)として算出される。 R=(x+W/2,y+H) ・・・(7)
【0103】こうして算出された移動物体位置情報は、
時系列処理部7及び移動物体識別部8へと送られる。時
系列処理部7は、履歴情報に基づいて時系列処理された
位置情報を算出する。移動物体識別部8は、これら送ら
れてきた位置情報の評価を行う。評価は、現フレームと
前フレームの位置情報の差の比較、時系列処理部7にお
いて算出された位置情報との差の比較により行う。また
この位置情報と動領域の大きさから、複数の移動物体が
画面上で交差したというような特殊事象認識を行う。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。
【0104】以上のように、本実施例によれば、位置検
出部6によって移動物体の位置の特徴量として移動物体
の運動平面との接点座標を検出し、この特徴量及びその
時系列特徴量を用いることにより、移動物体を識別し追
跡することができるという点で優れた効果が得られる。
【0105】(実施例28)以下、本発明の第28の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは位置検出部6以降における動作である。以下、
本実施例の動作について説明する。
【0106】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって検出された動領域を包含す
る外接長方形を図7に示す。
【0107】位置検出部6は、移動物体の運動平面との
接点の最上点の画像上の座標Q及び運動平面との接点の
画像上の座標Rを算出し、これらを位置情報とする。点
Pの画像上位置座標をP(x,y)とすると、点Qの位
置座標は上記式(6)、点Rの位置座標は上記式(7)
として算出される。こうして算出された移動物体位置情
報は時系列処理部7及び移動物体識別部8へと送られ
る。時系列処理部7は、履歴情報に基づいて時系列処理
された位置情報を算出する。移動物体の運動平面との接
点が障害物によって遮蔽された場合、移動物体識別部8
は、これら位置情報において座標Qとその時系列処理に
よって算出された座標Q’との差、座標Rとその時系列
処理によって算出された座標R’との差、外接長方形等
の特徴量及び移動物体の画面上での交差等特殊事象認識
による評価結果を基に総合的に判断し、移動物体の運動
平面との接点が障害物によって遮蔽されているものと判
断する。この判断がなされたならば、移動物体識別部8
は、座標Q及び移動物体の推定高He を用いて推定座標
e を下記式(8)として算出し、移動物体の運動平面
との接点座標とする。 Re (x+W/2,y+He ) ・・・(8)
【0108】移動物体推定高He は、動領域外接長方形
の前フレーム特徴量及びその時系列特徴量を用いて算出
する。移動物体識別部8は、こうして求められた運動平
面との接点座標を特徴量として、移動物体の識別追跡の
ために用いる。
【0109】以上のように、本実施例によれば、位置検
出部6によって検出された移動物体の特徴量として、検
出された移動物体の運動平面との接点及びその最上点の
座標を用いて、移動物体の運動平面との接点が障害物に
よって遮蔽されていることを検出し、移動物体の運動平
面との接点座標を特徴量として推定算出することによ
り、移動物体を識別し追跡することができるという点で
優れた効果が得られる。
【0110】(実施例29) (時系列処理部)以下、本発明の第29の実施例につい
て説明する。本実施例における動画像処理装置は、図1
に示した第1の実施例と同じ構成を備え、異なるのは時
系列処理部7以降における動作である。以下、本実施例
の動作について説明する。
【0111】図1において、入力部1から特徴量検出部
5及び位置検出部6迄の処理の流れは、実施例1におけ
る説明と同様である。特徴量検出部5及び位置検出部6
によって検出された情報は、時系列処理部7に送られ
る。時系列処理部7は、現フレーム処理において検出さ
れた特徴量Tc とそれ以前のフレーム処理において算出
されていた時系列特徴量Tp に対し、下記式(9)を用
いて現フレームにおける時系列特徴量として算出する。 (M×Tc +N×Tp )/(M+N) (但しM,Nは正の整数) ・・・(9)
【0112】処理開始の一番最初は、現フレーム処理に
おいて検出された特徴量を時系列特徴量として登録し、
時間が経過するにつれて更新して行く。算出された時系
列特徴量は、移動物体識別部8へと送出され、実施例1
と同様に、特徴量と統合されて識別処理が行われる。識
別処理は、現フレーム特徴量と前フレーム特徴量との
差、時系列特徴量との差、移動物体の画面上での交差等
特殊事象認識による評価を行う。これらの処理を動画像
に対して連続的に行い、前処理画面と同一移動物体と判
断された動領域を同一動領域と決定することにより、同
一移動物体を追跡する。
【0113】以上のように、本実施例によれば、時系列
処理部7によって移動物体の特徴量の時系列特徴量を算
出し、これを特徴量として用いることにより、ノイズ等
の影響による特徴量の急峻な変化を吸収し、時間的に変
化している特徴量については追従して行く特徴量を算出
することにより、移動物体の識別を実現することができ
るという点で優れた効果が得られる。
【0114】(実施例30)以下、本発明の第30の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは時系列処理部7以降における動作である。以
下、本実施例の動作について説明する。
【0115】図1において、入力部1から特徴量検出部
5及び位置検出部6迄の処理の流れは、実施例1におけ
る説明と同様である。特徴量検出部5及び位置検出部6
によって検出された情報は、時系列処理部7に送られ
る。時系列処理部7は、現フレーム処理において検出さ
れた特徴量とKフレーム前(Kは正の整数)の処理に検
出された特徴量との差の絶対値dTc と、それ以前のフ
レーム処理において算出されていたKフレーム間の差の
絶対値の時系列特徴量dTp に対し、下記式(10)を
用いて現フレームにおける時系列特徴量として算出す
る。 (M×dTc +N×dTp )/(M+N) (但しM,Nは正の整数) ・・・(10)
【0116】この処理は、Kフレーム経過する迄実行さ
れない。処理開始の一番最初は現フレーム処理において
検出された特徴量の差を時系列特徴量として登録し、時
間が経過するにつれて更新して行く。算出された時系列
特徴量は、移動物体識別部8へと送出され、実施例1と
同様に、特徴量と統合されて識別処理が行われる。識別
処理は、現フレーム特徴量とKフレーム前の特徴量の差
と、この時系列特徴量との差を評価して行う。この処理
を動画像に対して連続的に行い、前処理画面と同一移動
物体と判断された動領域を同一動領域と決定することに
より、同一移動物体を追跡する。
【0117】以上のように、本実施例によれば、時系列
処理部7によって移動物体の特徴量のKフレーム間の差
の絶対値及びその時系列特徴量を算出し、これを特徴量
として用いることにより、時間的に一定の変化をしてい
る特徴量の特性を検出することができると共に、ノイズ
等の影響による特徴量の急峻な変化を吸収しながら、時
間的に変化している特徴量については追従して行く特徴
量を算出することにより、移動物体の識別を実現するこ
とができるという点で優れた効果が得られる。
【0118】(実施例31) (移動物体識別部)以下、本発明の第31の実施例につ
いて説明する。本実施例における動画像処理装置は、図
1に示した第1の実施例と同じ構成を備え、異なるのは
主に移動物体識別部8における動作である。以下、本実
施例の動作について説明する。
【0119】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例25と同様に、移動物体の移
動ベクトルを検出する。そして最頻度値xv 及びyv
成分とするベクトルV(xv ,yv )を現在着目してい
る移動物体の移動ベクトルとして算出する。ここでベク
トル群Vg(xv ±dx,yv ±dy)に属する移動ベ
クトルを生成する特徴点の数の、全特徴点数に占める割
合を移動ベクトルが検出できなかった特徴点も含めて算
出する。dx及びdyは予め設定しておく。そしてこの
割合が予め与えられた閾値以上の場合に剛体、未満の場
合に非剛体として判定する。この判定結果を移動物体識
別部8に送出し、移動物体識別部8は、その判定結果を
移動物体の属性として、移動物体追跡処理に用いる。
【0120】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として移動物体の移
動ベクトルを検出し、この特徴量を用いて移動物体が剛
体であるか非剛体であるかを判定することにより、移動
物体の識別を実現することができるという点で優れた効
果が得られる。
【0121】(実施例32)以下、本発明の第32の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは主に移動物体識別部8における動作である。以
下、本実施例の動作について説明する。
【0122】図1において、入力部1から動領域整形部
4迄の処理の流れは、実施例1における説明と同様であ
る。動領域整形部4によって整形された動領域に対し、
特徴量検出部5は、実施例25と同様に、移動物体の移
動ベクトルを検出する。そして実施例31と同様の方法
により、その移動物体が剛体であるか非剛体であるかを
判定し、その判定結果を時系列処理部7及び移動物体識
別部8に送出する。非剛体と判定された場合、時系列処
理部7は、履歴情報に基づいて移動物体の形状特徴量の
時間変化の固有周期を求める。2×Nフレーム(Nは正
の整数)の特徴量の数列を格納しておき、そのうち手前
のNフレームの特徴量数列を0からN−1フレーム迄シ
フトさせて各特徴量毎の差の自乗を計算し、その総和の
最小値を相関値Rとして下記式(11)を用いて算出す
る。
【0123】
【数3】
【0124】処理の簡単化を図るために、特徴量の差の
絶対値の総和を相関値Rとしても良い。導かれた相関値
Rが予め設定されていた閾値に比べて小さいときは、特
徴量に周期性があったと判定し、そのときのシフト数K
を特徴量の固有周期とする。この判定結果を移動物体識
別部8に送り、移動物体識別部8は、この判定結果を移
動物体の属性として、移動物体追跡処理に用いる。
【0125】以上のように、本実施例によれば、特徴量
検出部5によって移動物体の特徴量として移動物体の移
動ベクトルを検出し、この特徴量を用いて移動物体が剛
体であるか非剛体であるかを判定し、非剛体であると判
定された場合に、その移動物体の形状特徴量の時間的変
化の固有周期を検出することにより、移動物体の識別を
実現することができるという点で優れた効果が得られ
る。
【0126】(実施例33)以下、本発明の第33の実
施例について説明する。本実施例における動画像処理装
置は、図1に示した第1の実施例と同じ構成を備え、異
なるのは移動物体識別部8以降における動作である。以
下、本実施例の動作について説明する。
【0127】図1において、入力部1から特徴量検出部
5、位置検出部6及び時系列処理部7迄の処理の流れ
は、実施例1における説明と同様である。これらの処理
結果は移動物体識別部8へと送られ、移動物体識別部8
は、これら送られてきた情報を統合処理し、移動物体を
識別する。識別処理は、特徴量の評価と判定処理により
行われる。特徴量評価は、検出対象に基づく特徴量それ
自体の評価、現フレーム特徴量と前フレーム特徴量との
距離による評価、時系列特徴量の評価、そして位置情報
を用いた複数の移動物体が画面上で交差したというよう
な特殊事象認識による評価を行う。例えば現フレーム処
理において検出された特徴量をTc 、時系列特徴量をT
p 、判定閾値をαとした時、下記式(12)が満足され
ない場合、移動物体識別部8は特徴量の信頼度が低いと
判断する。 |Tc −Tp |≦α ・・・(12)
【0128】次に、これら評価結果を用いた判定処理を
行う。この判定処理では、複数の移動物体交差という特
殊事象の発生により、特徴量評価結果が判定条件を満た
さないという結果を許容する。特殊事象の発生が検出さ
れず、特徴量評価結果が不十分である場合は、その特徴
量検出に相当する特徴量検出部5或いは位置検出部6に
パラメータ変更指令を与える。更に移動物体識別部8
は、ある程度十分な結果が得られた特徴量については、
その特徴量を基にその移動物体を検出する最適パラメー
タを検出し、それを前記画像間演算処理部3、動領域整
形部4、特徴量検出部5、位置検出部6に伝達すること
もできる。例えば、特徴量を統合することによって移動
物体の移動速度及び方向が算出されたならば、その条件
を画像間演算処理部3及び動領域整形部4に送り、これ
らの処理部は、この条件に最も適した時間間隔で画像間
演算処理や動領域整形処理を行うことが可能である。ま
た移動物体の大きさからノイズ除去処理の最適パラメー
タを動的に決定し、動領域整形部4に送出することも可
能である。或いは高信頼度の時系列特徴量Tp を特徴量
検出部5及び位置検出部6に送出し、各検出部はこの情
報を自分自身の処理に反映させることも可能である。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。
【0129】以上のように、本実施例によれば、移動物
体識別部8が、特徴量検出部5、位置検出部6及び時系
列処理部7から送られてきた情報を統合して移動物体を
識別し、評価結果が不十分である場合は、それを画像間
演算処理部3、動領域整形部4、特徴量検出部5、位置
検出部6に伝達することによってパラメータの最適化を
図り、正確な移動物体の識別を実現することができると
いう点で優れた効果が得られる。
【0130】
【発明の効果】以上のように、本発明は、移動物体の特
徴量を検出する特徴量検出部を設けることにより、移動
物体を特徴量により評価判定することで移動物体を識別
し追跡することができる。また、フレーム間差分処理を
用いた場合に、移動物体が静止して動領域が検出不可能
な場合においても、再度動作を開始して動領域が検出さ
れた時に、移動物体を特徴量によって同定することによ
り、同一物体と識別して追跡することができる。さら
に、移動物体識別部は、特徴量それ自体と時系列特徴量
を用いて移動物体検出の評価を行うため、特徴量のノイ
ズ等による急峻な変化を吸収して正確な移動物体の追跡
を実現することができ、また移動物体の識別結果が不十
分であった場合は、その特徴量検出に相当する処理部に
対して処理条件の変更を指令することができ、ある程度
十分な結果が得られた特徴量については、その特徴量を
基にその移動物体を検出する最適条件を検出し、それを
画像間演算処理部、動領域整形部、特徴量検出部、位置
検出部に伝達することにより、優れた動画像処理装置を
実現できるものである。
【図面の簡単な説明】
【図1】本発明の第1から第33の実施例における動画
像処理装置のブロック結線図
【図2】本発明の第2の実施例における動領域内からの
移動物体検出を示す概念図
【図3】本発明の第3の実施例における動領域整形法を
示す概念図
【図4】本発明の第6の実施例における度数分布図
【図5】本発明の第8の実施例における分割領域の位置
座標決定法を示す概念図
【図6】(a)本発明の第25の実施例における輪郭線
検出法を示す概念図 (b)本発明の第25の実施例における輪郭ベクトル評
価値の度数分布 (c)本発明の第25の実施例における輪郭線特徴点 (d)本発明の第25の実施例における輪郭線特徴点 (e)本発明の第25の実施例における移動ベクトルx
成分分布 (f)本発明の第25の実施例における移動ベクトルy
成分分布
【図7】本発明の第26〜第28の実施例における動領
域位置情報を示す概念図
【図8】従来の実施例における動画像処理装置のブロッ
ク結線図
【符号の説明】
1 画像入力部 2 画像格納部 3 画像間演算処理部 4 動領域整形部 5 特徴量検出部 6 位置検出部 7 時系列処理部 8 移動物体識別部 21 画像間演算処理部によって検出された動領域 22 検出対象移動物体領域 31 Nフレーム(Nは正の整数)前の動領域及び外接
長方形 32 現フレームの動領域 33 現フレームの動領域 34 31〜33の外接長方形を統合した状態 35 34を包含する外接長方形に現フレーム動領域を
プロットした状態 36 整形された外接長方形 51 動領域の分割領域 52 動領域の分割領域 53 動領域の分割領域 81 画像入力部 82 画像格納部 83 画像前処理部 84 動領域整形部 85 移動物体追跡部
フロントページの続き (72)発明者 田 中 武 久 神奈川県川崎市多摩区東三田3丁目10番1 号 松下技研株式会社内 (72)発明者 水 澤 和 史 神奈川県川崎市多摩区東三田3丁目10番1 号 松下技研株式会社内 (72)発明者 藤 岡 利 和 神奈川県川崎市多摩区東三田3丁目10番1 号 松下技研株式会社内 (72)発明者 森 真 人 神奈川県横浜市鶴見区江ケ崎町4番1号 東京電力株式会社システム研究所内

Claims (33)

    【特許請求の範囲】
  1. 【請求項1】 動画像を入力する画像入力部と、前記画
    像入力部からの画像データを格納する画像格納部と、前
    記画像格納部に格納されている画像データに対して連続
    的に画像データ間演算処理を行う画像間演算処理部と、
    前記画像間演算処理部によって検出された動領域に対し
    ノイズや影によって検出された領域を除去して移動物体
    の存在している領域のみを検出する動領域整形部と、前
    記動領域整形部によって検出された動領域内の画像デー
    タを処理して移動物体の特徴量を検出する特徴量検出部
    と、前記動領域整形部によって検出された動領域情報を
    基に移動物体の位置の特徴量を検出する位置検出部と、
    前記特徴量に対して時系列処理を行って各特徴量の時系
    列特徴量を算出する時系列処理部と、前記特徴量検出部
    及び位置検出部で検出された特徴量及び前記時系列処理
    部で算出された時系列特徴量の結果を統合して移動物体
    の識別を行う移動物体識別部とを備えた動画像処理装
    置。
  2. 【請求項2】 動領域整形部が、動領域内の画像データ
    のエッジ特徴点を検出することによって移動物体の輪郭
    抽出を行い、前記輪郭抽出結果から動領域整形を行う請
    求項1記載の動画像処理装置。
  3. 【請求項3】 動領域整形部が、画像間演算処理部によ
    って検出された動領域を時間方向に統合することによっ
    て整形し、動領域を補正する請求項1記載の動画像処理
    装置。
  4. 【請求項4】 特徴量検出部が、動領域内の画像データ
    の輝度情報を、移動物体の特徴量として検出する請求項
    1から3のいずれかに記載の動画像処理装置。
  5. 【請求項5】 特徴量検出部が、動領域内の画像データ
    の輝度情報として、動領域内画像データの輝度の度数分
    布を移動物体の特徴量として検出する請求項4記載の動
    画像処理装置。
  6. 【請求項6】 特徴量検出部が、動領域内の画像データ
    の輝度情報として、動領域内画像データの輝度分布を基
    に動領域をM個(Mは正の整数)に分割し、分割された
    分割動領域の代表値となる輝度を移動物体の特徴量とし
    て検出する請求項4記載の動画像処理装置。
  7. 【請求項7】 特徴量検出部が、輝度によって分割され
    た分割動領域の大きさの比率を移動物体の特徴量として
    検出する請求項6記載の動画像処理装置。
  8. 【請求項8】 特徴量検出部が、分割された分割動領域
    の各位置情報を求め、移動物体の特徴量として検出する
    請求項6記載の動画像処理装置。
  9. 【請求項9】 特徴量検出部が、動領域内の画像データ
    の色情報を、移動物体の特徴量として検出する請求項1
    から3のいずれかに記載の動画像処理装置。
  10. 【請求項10】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度の度数分
    布を移動物体の特徴量として検出する請求項9記載の動
    画像処理装置。
  11. 【請求項11】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度がある閾
    値未満となる画素数の全体に占める割合を移動物体の特
    徴量として検出する請求項9記載の動画像処理装置。
  12. 【請求項12】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度がある閾
    値以上となる画素の色相値の度数分布を移動物体の特徴
    量として検出する請求項9記載の動画像処理装置。
  13. 【請求項13】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度がある閾
    値以上となる画素の色相値の度数分布を基に動領域をM
    個(Mは正の整数)に分割し、分割された分割動領域の
    代表値となる色相値を移動物体の特徴量として検出する
    請求項9記載の動画像処理装置。
  14. 【請求項14】 特徴量検出部が、色相値によって分割
    された分割動領域の大きさの比率を移動物体の特徴量と
    して検出する請求項13記載の動画像処理装置。
  15. 【請求項15】 特徴量検出部が、分割された分割動領
    域の各位置情報を求め、これを移動物体の特徴量として
    検出する請求項13記載の動画像処理装置。
  16. 【請求項16】 特徴量検出部が、動領域内の画像デー
    タの輝度及び色情報を処理して輝度及び色情報ベクトル
    空間における度数分布を求め、移動物体の特徴量として
    検出する請求項1から3のいずれかに記載の動画像処理
    装置。
  17. 【請求項17】 特徴量検出部が、動領域内の画像デー
    タの形状情報を求め、それを移動物体の特徴量として検
    出する請求項1から3のいずれかに記載の動画像処理装
    置。
  18. 【請求項18】 特徴量検出部が、動領域の画素数をそ
    の動領域に対応する移動物体の形状情報として検出し、
    移動物体の特徴量とする請求項17記載の動画像処理装
    置。
  19. 【請求項19】 特徴量検出部が、動領域の外接長方形
    を作成し、動領域の画素数の外接長方形の画素数に占め
    る割合を動領域の画像データの形状情報として検出し、
    移動物体の特徴量とする請求項17記載の動画像処理装
    置。
  20. 【請求項20】 特徴量検出部が、動領域内の画像デー
    タのテクスチャ情報を求め、それを移動物体の特徴量と
    して検出する請求項1から3のいずれかに記載の動画像
    処理装置。
  21. 【請求項21】 特徴量検出部が、動領域内の画像デー
    タのテクスチャ情報として動領域内の輝度微分値を求
    め、その度数分布を移動物体の特徴量として検出する請
    求項20記載の動画像処理装置。
  22. 【請求項22】 特徴量検出部が、動領域内の画像デー
    タのテクスチャ情報として動領域内の輝度微分値を求
    め、その分布を基に動領域をM個(Mは正の整数)に分
    割し、分割された分割動領域の代表値となる輝度微分値
    を移動物体の特徴量として検出する請求項20記載の動
    画像処理装置。
  23. 【請求項23】 特徴量検出部が、テクスチャ情報によ
    って分割された分割動領域の大きさの比率を移動物体の
    特徴量として検出する請求項22記載の動画像処理装
    置。
  24. 【請求項24】 特徴量検出部が、分割された分割動領
    域の各位置情報を求め、移動物体の特徴量として検出す
    る請求項22記載の動画像処理装置。
  25. 【請求項25】 特徴量検出部が、移動物体の特徴点に
    おける移動ベクトル検出部を有する請求項1から3のい
    ずれかに記載の動画処理装置。
  26. 【請求項26】 位置検出部が、移動物体の運動平面と
    の接点の最上点を検出して位置情報とする請求項1から
    25のいずれかに記載の動画像処理装置。
  27. 【請求項27】 位置検出部が、移動物体の運動平面と
    の接点を検出して位置情報とする請求項1から25のい
    ずれかに記載の動画像処理装置。
  28. 【請求項28】 位置検出部が、移動物体の運動平面と
    の接点を検出して位置情報とし、遮蔽物で運動平面との
    接点が隠れた場合移動物体の接点からの最上点を検出
    し、その位置から移動物体の推定高により運動平面との
    接点位置を求め位置情報とする請求項27記載の動画像
    処理装置。
  29. 【請求項29】 時系列処理部が、各特徴量検出部によ
    って検出された特徴量の時系列特徴量として、現フレー
    ム処理において検出された特徴量とそれ以前のフレーム
    処理において算出されていた時系列特徴量を基に新たな
    時系列特徴量を算出し、現フレームにおける時系列特徴
    量とする請求項1から28のいずれかに記載の動画像処
    理装置。
  30. 【請求項30】 時系列処理部が、各特徴量検出部によ
    って検出された特徴量の時系列特徴量として、現フレー
    ム処理において検出された特徴量とKフレーム前(Kは
    正の整数)の処理に検出された特徴量との差の絶対値と
    それ以前のフレーム処理において算出されていたフレー
    ム間の差の絶対値の時系列特徴量を基に新たな時系列特
    徴量を算出し、現フレームにおけるフレーム間時系列特
    徴量として算出する請求項1から28のいずれかに記載
    の動画像処理装置。
  31. 【請求項31】 移動物体識別部が、移動物体の特徴点
    において検出された動領域内の複数の移動ベクトルによ
    って、移動物体が剛体であるか非剛体であるかを識別す
    る請求項25記載の動画像処理装置。
  32. 【請求項32】 移動物体識別部が、非剛体の形状特徴
    量の時間的変化の固有周期により、非剛体の運動の特徴
    を抽出し識別を行う請求項31記載の動画像処理装置。
  33. 【請求項33】 移動物体識別部が、識別結果に応じて
    画像間演算処理部、動領域整形部、特徴量検出部、位置
    検出部に対し処理パラメータ変更指令を指示する請求項
    1から32のいずれかに記載の動画像処理装置。
JP05159595A 1995-03-10 1995-03-10 動画像処理装置 Expired - Lifetime JP4020982B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05159595A JP4020982B2 (ja) 1995-03-10 1995-03-10 動画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05159595A JP4020982B2 (ja) 1995-03-10 1995-03-10 動画像処理装置

Publications (2)

Publication Number Publication Date
JPH08249471A true JPH08249471A (ja) 1996-09-27
JP4020982B2 JP4020982B2 (ja) 2007-12-12

Family

ID=12891271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05159595A Expired - Lifetime JP4020982B2 (ja) 1995-03-10 1995-03-10 動画像処理装置

Country Status (1)

Country Link
JP (1) JP4020982B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120363A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 動物体検出方法
JP2002175531A (ja) * 2000-12-06 2002-06-21 Secom Co Ltd 画像センサ
US6931146B2 (en) 1999-12-20 2005-08-16 Fujitsu Limited Method and apparatus for detecting moving object
JP2006259899A (ja) * 2005-03-15 2006-09-28 Omron Corp 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2008533892A (ja) * 2005-03-17 2008-08-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオシーケンスにおけるオブジェクト追跡の方法
JP2013122763A (ja) * 2011-12-12 2013-06-20 Samsung Electronics Co Ltd 映像処理装置及び映像処理方法
JP2013137701A (ja) * 2011-12-28 2013-07-11 Secom Co Ltd 画像監視装置
JP2014236312A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 設定装置および設定方法
JP2015537417A (ja) * 2012-10-22 2015-12-24 ムン キ イ, 差分カメラを利用した映像処理装置
JP2016009448A (ja) * 2014-06-26 2016-01-18 富士通株式会社 判定装置、判定方法及び判定プログラム
US9778755B2 (en) 2012-10-11 2017-10-03 Moon Key Lee Image processing system using polarization difference camera

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120363A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 動物体検出方法
US6931146B2 (en) 1999-12-20 2005-08-16 Fujitsu Limited Method and apparatus for detecting moving object
JP2002175531A (ja) * 2000-12-06 2002-06-21 Secom Co Ltd 画像センサ
JP2006259899A (ja) * 2005-03-15 2006-09-28 Omron Corp 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2008533892A (ja) * 2005-03-17 2008-08-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオシーケンスにおけるオブジェクト追跡の方法
JP2013122763A (ja) * 2011-12-12 2013-06-20 Samsung Electronics Co Ltd 映像処理装置及び映像処理方法
JP2013137701A (ja) * 2011-12-28 2013-07-11 Secom Co Ltd 画像監視装置
US9778755B2 (en) 2012-10-11 2017-10-03 Moon Key Lee Image processing system using polarization difference camera
JP2015537417A (ja) * 2012-10-22 2015-12-24 ムン キ イ, 差分カメラを利用した映像処理装置
US9727973B2 (en) 2012-10-22 2017-08-08 Moon Key Lee Image processing device using difference camera
JP2014236312A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 設定装置および設定方法
JP2016009448A (ja) * 2014-06-26 2016-01-18 富士通株式会社 判定装置、判定方法及び判定プログラム

Also Published As

Publication number Publication date
JP4020982B2 (ja) 2007-12-12

Similar Documents

Publication Publication Date Title
JP2915894B2 (ja) ターゲット追跡方法及び装置
US5757287A (en) Object recognition system and abnormality detection system using image processing
Zhu et al. VISATRAM: A real-time vision system for automatic traffic monitoring
US7787656B2 (en) Method for counting people passing through a gate
US9196043B2 (en) Image processing apparatus and method
US7684592B2 (en) Realtime object tracking system
CA2692424C (en) System and process for detecting, tracking and counting human objects of interest
US7321668B2 (en) Object detection apparatus, object detection method and computer program product
US8320682B2 (en) Evaluation of edge direction information
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
US7536035B2 (en) Object velocity measuring apparatus and object velocity measuring method
JP4156084B2 (ja) 移動物体追跡装置
US20020071595A1 (en) Image processing apparatus and method
CN101383005A (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
JPH08249471A (ja) 動画像処理装置
JPH10255057A (ja) 移動物体抽出装置
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)
CN112446913A (zh) 一种通道闸行人数量统计与尾随判断方法、装置和设备
CN115683109A (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
JPH08138057A (ja) 物体監視装置
JP7062611B2 (ja) 領域抽出装置及びプログラム
JP2001175845A (ja) 車両端検出装置
Hyodo et al. Pedestrian tracking across Panning camera network
CN112894810A (zh) 一种基于kcf算法的移动机器人目标防丢失跟随方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050301

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050304

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5