JPH08249471A - 動画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 移動物体の特徴量を検出することで移動物体
を評価判定し、かつ必要に応じて処理パラメータを最適
化して移動物体の正確な追跡を実現する。 【構成】 画像入力部１から入力され画像格納部２に格
納された画像に対し、画像間演算処理部３はフレーム間
差分処理を行い動領域を検出し、動領域整形部４はノイ
ズ除去及び領域統合をして動領域を決定する。特徴量検
出部５は動領域内から移動物体の特徴量を検出し、位置
検出部６は移動物体の位置情報を算出し、時系列処理部
７は特徴量検出部５から送られてきた特徴量及び位置検
出部６からの位置情報を時系列に処理して時系列特徴量
を算出する。移動物体識別部８はこれらの情報を統合し
て判定処理を行い移動物体を識別してその正確な追跡を
実現し、必要に応じて各処理部に対し最適パラメータを
指示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像入力装置から入
力された画像データを連続的に処理し、そこから得られ
た情報から移動物体の検出及び移動経路追跡を行うこと
により人物や自動車といった移動物体の動作監視を行う
動画像処理装置に関するものである。

【０００２】

【従来の技術】動画像を連続的に処理して移動物体を検
出するシステムは、既に研究開発が行われており、いく
つか実用化されている。これら動画像処理装置における
移動物体検出処理を図８を用いて説明する。図８は従来
の動画像処理装置のブロック結線図である。図８におい
て、８１は画像入力部、８２は画像格納部、８３は画像
前処理部、８４は動領域整形部、８５は移動物体追跡部
である。

【０００３】以下、上記従来の動画像処理装置の動作に
ついて説明する。画像入力部８１から入力された動画像
は、画像格納部８２に格納され、画像前処理部８３によ
って前処理が行われる。前処理としては、Ｋフレーム前
（Ｋは正の整数）の画像と現画像との差分処理を行うフ
レーム間差分処理や背景画像を作成して現画像との差分
処理を行う背景差分処理、或いは単一画像の空間微分処
理が用いられる。前処理によって検出された動領域は、
動領域整形部８４においてノイズ除去等の領域整形処理
が行われ、動領域が確定する。動領域が確定すると、移
動物体追跡部８５において、動領域情報及びその履歴情
報を用いて以前に検出された動領域との同定を行い、同
一移動物体を追跡する。これらの処理を動画像に対して
連続的に行うことで、移動物体を検出し、追跡して行く
ことができる。

【０００４】画像前処理部８３の前処理においては閾値
処理が行われる。また、動領域整形部８４のノイズ除去
や領域統合等の処理においても、その判定パラメータを
用いる。従来、これらのパラメータは、視野範囲や俯角
等の撮像条件に整合した最適値が予め画像処理装置に提
供されていた。屋外の明るさのように変化する環境条件
に適応させる必要のある差分閾値のような動的パラメー
タについては、画像処理によって処理画像内の輝度変化
を検出する方法もしくは他センサを用いて環境変化を検
出する方法が行われ、この結果によって画像処理装置が
最適パラメータを選択していた。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理システムにおいては、以下の問題
点が指摘されていた。まず、フレーム間差分処理におい
ては移動物体が静止した際には差分が検出されず、追跡
が困難になることである。また、背景差分処理において
は、常に最適な背景画像を作成することが必要であり、
環境変化の急峻な屋外等では、背景画像作成及び更新が
大きな問題になる。空間微分処理は、動領域のみが検出
される処理ではないので、移動物体検出に用いる場合
は、物体の存在領域を予め設定する必要がある。或いは
空間微分画像の差分処理によって動領域を検出する、も
しくは静止物体も含めて認識し移動物体を検出する、と
いった手法が考えられるが、空間微分画像の単純な差分
処理では、動領域を正確に検出することは難しく、また
上記フレーム間差分処理及び背景差分処理と同様の問題
点が存在する。一方、静止物体認識は、認識対象物体が
特定できる環境でなければ実現は難しく、適応できる範
囲は限定せざるを得ない。したがって、これら前処理法
を用いて正確な移動物体を検出し、追跡するためには、
以上に対する解決策が必要であった。

【０００６】また画像前処理部８３及び動領域整形部８
４においては、パラメータが用いられるが、予め与えら
れたパラメータが十分ではないため、移動物体がうまく
検出できない場合や、ノイズや影の除去処理がうまく行
かない場合が、また環境条件をうまく検出できずに適し
たパラメータを選択することができない場合が存在し
た。或いは環境条件がうまく検出できても、その環境条
件のみで最適パラメータが決定できない場合も存在して
いた。

【０００７】本発明は、上記従来の問題点を解決するも
ので、移動物体の特徴量を検出し、評価判定すること
で、フレーム間差分処理を用いても移動物体の静止状態
も含めた追跡を実現し、かつ環境条件により決定された
パラメータが不十分であった場合に、即座に最適なパラ
メータに変更して正確な移動物体検出を実現することの
できる動画像処理装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像処理装置は、移動物体の特徴量を検
出する特徴量検出部と、移動物体の位置の特徴量を検出
する位置検出部と、上記特徴量に対して時系列処理を行
って各特徴量の時系列特徴量を算出する時系列処理部
と、上記特徴量検出部及び位置検出部で検出された特徴
量及び時系列処理部で算出された時系列特徴量の結果を
統合して移動物体の識別処理を行い、識別結果によって
は画像間演算処理部、動領域整形部、特徴量検出部、位
置検出部に対して処理条件を変更する指令を提供する移
動物体識別部を有している。

【０００９】

【作用】上記構成によって、本発明の動画像処理装置
は、移動物体の特徴量を検出し、評価判定することによ
り、移動物体を同定し追跡することができる。また、フ
レーム間差分処理を用いた場合に、移動物体が静止して
動領域が検出不可能な場合でも、再度動作を開始して動
領域が検出されたときに、移動物体を特徴量によって同
定することにより、同一物体と識別して追跡することが
できる。また、移動物体識別部は、特徴量それ自体と時
系列特徴量を用いて移動物体検出の評価を行い、結果が
不十分であった場合は、その特徴量検出に相当する処理
部に対して処理条件の変更を指令することができ、ある
程度十分な結果が得られた特徴量については、その特徴
量を基にその移動物体を検出する最適条件を検出し、そ
れを画像間演算処理部、動領域整形部、特徴量検出部、
位置検出部に伝達することもできる。

【００１０】

【実施例】

（実施例１） （全体の構成）以下、本発明の第１の実施例について、
図１を参照して説明する。図１は動画像処理装置のブロ
ック結線図である。図１において、１は画像入力部、２
は画像格納部、３は画像間演算処理部、４は動領域整形
部、５は特徴量検出部、６は位置検出部、７は時系列処
理部、８は移動物体識別部である。

【００１１】次に上記実施例の動作について説明する。
画像入力部１から入力された動画像は、画像格納部２に
格納される。画像格納部２は、Ｎフレーム分（Ｎは正の
整数）の画像が格納可能である。画像間演算処理部３
は、これらＮ枚の画像を用いて、設定されている時間間
隔によるフレーム間差分演算が行われ、ある閾値以上の
差が検出された画素を抽出する。これは、Ｎフレーム累
積加算によって背景画像を作成し、これを用いた差分演
算処理であっても良い。動領域整形部４は、この差分結
果を基に、ノイズや影の除去処理及び領域統合処理を行
って動領域を決定する。特徴量検出部５は、動領域整形
部４によって決定された動領域内の画像データを処理
し、特徴量を検出する。位置検出部６は、動領域検出情
報から画面上の位置座標の特徴量を移動物体位置情報と
して算出する。特徴量検出部５及び位置検出部６によっ
て検出された情報は、時系列処理部７に送られ、履歴情
報に基づいて時系列特徴量が算出される。特徴量検出部
５、位置検出部６及び時系列処理部７の出力情報は、移
動物体識別部８へと送られ、移動物体識別部８は、これ
ら送られてきた情報を統合処理し、移動物体を識別す
る。識別処理は、特徴量の評価と判定処理により行われ
る。特徴量評価は、検出対象に基づく特徴量それ自体の
評価、現フレーム特徴量と前フレーム特徴量との距離に
よる評価、時系列特徴量の評価、そして位置情報を用い
た複数の移動物体が画面上で交差したというような特殊
事象認識による評価を行う。次に、これら評価結果を用
いた判定処理を行う。この判定処理では、複数の移動物
体交差という特殊事象の発生により特徴量評価結果が判
定条件を満たさないという結果を許容する。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。

【００１２】以上のように、本実施例によれば、画像間
演算処理部３によって検出され、動領域整形部４によっ
て領域整形された動領域から特徴量検出部５及び位置検
出部６によって移動物体の特徴量を検出し、この特徴量
及び時系列処理部７によって作成された時系列特徴量を
移動物体識別部８によって統合して処理することによ
り、移動物体を識別し追跡することができるという点で
優れた効果が得られる。

【００１３】（実施例２） （動領域整形部）次に、本発明の第２の実施例について
説明する。本実施例における動画像処理装置は、図１に
示した第１の実施例と同じ構成を備え、異なるのは動領
域整形部４以降における動作である。以下、本実施例の
動作について説明する。

【００１４】図１において、入力部１から画像間演算処
理部３迄の処理の流れは、実施例１における説明と同様
である。画像間演算処理部３によって検出された動領域
に対し、動領域整形部４は、動領域内画像データの輝度
に対する空間微分処理を行い、エッジ特徴点を検出す
る。空間微分処理は、勾配オペレータを用いることも可
能であり、また二次差分法を用いて零交差点を検出する
方法でも可能である。エッジ特徴点を輪郭と見なして動
領域を補正する。以下、この処理を図２を用いて説明す
る。

【００１５】図２において、２１は画像間演算処理部３
によって検出された動領域、２２は検出対象移動物体領
域である。画像間演算処理部３によって検出された動領
域２１内のエッジ特徴点データを走査線方向に加算処理
し、輪郭上限Ａ及び下限Ｂを検出する。ＡからＢの間を
処理領域とする。まず動領域左側輪郭線Ｌ１上から右方
向にエッジ特徴点を検索する。特徴点が検出されたら輪
郭候補点として登録する。右側輪郭線Ｌ２も同様にして
左方向に検索する。次に動領域２１内のエッジ特徴点デ
ータを走査線に垂直方向に加算処理し、輪郭左限Ｃ及び
右限Ｄを検出する。ＣからＤの間を処理領域とし上下輪
郭線を検出する。Ｌ３上を下方向にエッジ特徴点を検索
して上輪郭線を、Ｌ４上を上方向にエッジ特徴点を検索
して下輪郭線を検出する。これら輪郭抽出処理において
は、ノイズやエッジの欠落が発生すると正しい輪郭点は
検出されないので、輪郭抽出処理の前にノイズ除去処理
や平滑化処理を行っても良い。こうして検出された輪郭
線を動領域として、以下、実施例１と同様にして同一移
動物体を追跡する。

【００１６】以上のように、本実施例によれば、動領域
整形部４によって移動物体の正確な輪郭抽出を実現する
ことにより、移動物体の的確な特徴量の検出が可能な動
領域を決定することができるという点で優れた効果が得
られる。

【００１７】（実施例３）次に、本発明の第３の実施例
について説明する。本実施例における動画像処理装置
は、図１に示した第１の実施例と同じ構成を備え、異な
るのは動領域整形部４以降における動作である。以下、
本実施例の動作について説明する。

【００１８】図１において、入力部１から画像間演算処
理部３迄の処理の流れは、実施例１における説明と同様
である。画像間演算処理部３によって検出された動領域
に対し、動領域整形部４は、動領域整形処理を行う。以
下、この処理を図３を用いて説明する。

【００１９】図３において、３１はＮフレーム（Ｎは正
の整数）前の動領域及び外接長方形、３２及び３３は現
フレームの動領域及び外接長方形、３４はこれら外接長
方形を統合したもの、３５は全ての外接長方形３４を包
含する統合外接長方形内に現フレーム動領域をプロット
したもの、そして３６は統合外接長方形３５を現フレー
ム動領域に外接するように新たに整形した外接長方形を
示したものである。動領域整形部４は、現フレームにお
ける動領域に対する外接長方形３２、３３とＮフレーム
前の外接長方形３１を３４のように統合し、その全てを
包含する外接長方形３５を作成する。そして外接長方形
３５の中から現フレーム動領域に外接する唯一の外接長
方形３６を検出する。これを現フレームにおける外接長
方形と決定し、この外接長方形内の動領域を同一移動物
体の動領域とする。

【００２０】以上のように、本実施例によれば、動領域
整形部４によって移動物体を包含する正確な外接長方形
の検出を実現することにより、移動物体を的確に識別し
追跡して行くことができるという点で優れた効果が得ら
れる。

【００２１】（実施例４） （特徴量検出部）以下、本発明の第４の実施例について
説明する。本実施例における動画像処理装置は、図１に
示した第１の実施例と同じ構成を備え、異なるのは特徴
量検出部５以降における動作である。以下、本実施例の
動作について説明する。

【００２２】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの輝度情報を処
理し、動領域内の輝度平均値及び分散値を算出する。こ
れを移動物体の特徴量として時系列処理部７及び移動物
体識別部８に送出する。時系列処理部７は、履歴情報に
基づいて時系列特徴量を算出する。移動物体識別部８
は、これら送られてきた特徴量の評価を行う。特徴量評
価は、現フレーム平均値及び分散値と前フレーム平均値
及び分散値の差の評価、時系列処理部７において算出さ
れた平均値及び分散値との差の評価、移動物体の画面上
での交差等特殊事象認識による評価を行う。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。

【００２３】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として輝度平均値及
び分散値を検出し、これら特徴量及びその時系列特徴量
を用いることにより、移動物体の識別を実現することが
できるという点で優れた効果が得られる。

【００２４】（実施例５）以下、本発明の第５の実施例
について説明する。本実施例における動画像処理装置
は、図１に示した第１の実施例と同じ構成を備え、異な
るのは特徴量検出部５以降における動作である。以下、
本実施例の動作について説明する。

【００２５】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの輝度情報を処
理し、動領域内の輝度の度数分布を算出する。度数分布
は、２５６階調のデータの場合、８階調、１６階調もし
くは３２階調毎に度数を計算し分布を求める。求められ
た度数分布には、動領域全画素数もしくは最頻度度数を
基に正規化処理を行う。これを移動物体の特徴量として
移動物体識別部８に送出する。移動物体識別部８は、前
フレームの輝度度数分布を保持しており、これと現フレ
ームの度数分布との距離を算出する。距離算出方法とし
ては、市街地距離（city block distance 、各度数の差
の絶対値の総和、実施例１６参照のこと。）やユークリ
ッド距離（各度数の差の自乗の総和）を用いても良い
が、ここではＤＰマッチング法を用いる。現フレームの
度数分布列をｃ_i 、前フレームの度数分布列をｐ
_j （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき，距離
Ｄは下記式（１）により算出される。

【００２６】

【数１】 ここで、この距離算出の際には整合窓の制約条件として
下記式（２）を課すものとする。

【００２７】 ｜ｉ−ｊ｜≦ｒ（ｒは予め設定されていた正の整数） ・・・（２） 距離Ｄが予め設定されていた閾値以下となったとき、こ
れらの動領域を同一の移動物体のものとする。これらの
処理を動画像に対して連続的に行い、前処理画面と同一
移動物体と判断された動領域を同一動領域と決定するこ
とにより、同一移動物体を追跡する。

【００２８】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として輝度の度数分
布を算出し、これを特徴量として用いることにより、移
動物体の識別を実現することができるという点で優れた
効果が得られる。

【００２９】（実施例６）以下、本発明の第６の実施例
について説明する。本実施例における動画像処理装置
は、図１に示した第１の実施例と同じ構成を備え、異な
るのは特徴量検出部５以降における動作である。以下、
本実施例の動作について説明する。

【００３０】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの輝度情報を処
理し、動領域内の輝度をＭ個（Ｍは正の整数）に分割す
る。Ｍ＝２の場合、閾値として平均値を用いることがで
きる。その他にクラス間分散が最大となる閾値を用いる
方法が考えられ、この場合は、Ｍが２以上であっても分
割数が決定できれば用いることが可能である。さらに、
度数分布を用いて分割数を決定し、分割する方法も考え
られる。以下、この処理を図４を用いて説明する。

【００３１】図４は度数分布である。度数分布は、２５
６階調のデータの場合、８階調、１６階調もしくは３２
階調毎に度数を計算し分布を求める。このような度数分
布となった場合、極大極小点検出により度数分布の分割
を行う。ここでは度数分布に対して微分処理を行う。こ
こで微係数が正から負に変化した数を領域分割数と考え
ることができる。図４では点Ａ、点Ｂ、点Ｃの３極大点
が存在するため、分割数は３である。更に微係数が負か
ら正に変化した時の階調値が領域分割閾値と考えること
ができる。図４では点Ｄ及び点Ｅが相当する。但し輝度
分布の主成分を検出するために、微分処理の際には必要
であれば平滑化処理を行う。こうして領域分割数Ｍ及び
分割閾値が決定したならばこれら閾値を用いて領域分割
を行い、Ｍ個の分割領域におけるそれぞれの輝度の代表
値を求める。代表値としては、各分割領域毎の輝度の平
均値でも良いし、また各分割領域における最頻度となる
輝度値でも良い。これらを特徴量として、時系列処理部
７及び移動物体識別部８に送出する。時系列処理部７
は、履歴情報に基づいて時系列特徴量を算出する。移動
物体識別部８は、これら送られてきた特徴量の評価を行
う。特徴量評価は、現フレームと前フレームの領域分割
数Ｍの比較、各代表値の差の評価、時系列処理部７にお
いて算出された分割数及び代表値との差の評価、移動物
体の画面上での交差等特殊事象認識による評価を行う。
これらの処理を動画像に対して連続的に行い、前処理画
面と同一移動物体と判断された動領域を同一動領域と決
定することにより、同一移動物体を追跡する。

【００３２】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として動領域を輝度
分布を基にＭ個に分割し、各分割領域の代表値となる輝
度を検出し、これら特徴量及びその時系列特徴量を用い
ることにより、移動物体の識別を実現することができる
という点で優れた効果が得られる。

【００３３】（実施例７）以下、本発明の第７の実施例
について説明する。本実施例における動画像処理装置
は、図１に示した第１の実施例と同じ構成を備え、異な
るのは特徴量検出部５以降における動作である。以下、
本実施例の動作について説明する。

【００３４】図１において、入力部１から動領域整形部
４までの処理の流れは、実施例１における説明と同様で
ある。動領域整形部４によって整形された動領域に対
し、特徴量検出部５は実施例６と同様に、輝度の度数分
布を算出して輝度分割閾値を検出し、この閾値を基に度
数分布をＭ個（Ｍは正の整数）に分割する。そして各分
割領域の大きさの比率を検出する。領域の大きさとして
は、各分割領域に属する全画素数でも良いし、各分割領
域における最頻度の度数を用いても良い。これらを特徴
量として、時系列処理部７及び移動物体識別部８に送出
する。時系列処理部７は、履歴情報に基づいて時系列特
徴量を算出する。移動物体識別部８は、これら送られて
きた特徴量の評価を行う。特徴量評価は、現フレームと
前フレームにおけるこの特徴量の差の評価、時系列処理
部７において算出された評価値との差の評価、移動物体
の画面上での交差等特殊事象認識による評価を行う。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。

【００３５】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として動領域を輝度
分布を基にＭ個に分割し、その分割領域の大きさの比率
を検出し、これを特徴量として用いることにより、移動
物体の識別を実現することができるという点で優れた効
果が得られる。

【００３６】（実施例８）以下、本発明の第８の実施例
について説明する。本実施例における動画像処理装置
は、図１に示した第１の実施例と同じ構成を備え、異な
るのは特徴量検出部５以降における動作である。以下、
本実施例の動作について説明する。

【００３７】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例６で示したように動領域内画
像データを輝度情報を基にＭ個（Ｍは正の整数）に分割
する。更に分割された各分割領域の位置情報を検出す
る。以下、この処理を図５を用いて説明する。

【００３８】図５において、５１〜５３は分割領域であ
り、この中から領域５１の位置情報を検出する。まず動
領域の中から分割領域５１に属する画像データを検出す
る。このとき各画素の輝度情報は検出する必要なく、各
画素の位置情報のみ検出すれば良い。次にこの検出した
画像データを走査線に対して垂直及び水平方向に加算処
理して分割領域の上限座標ｙ_U 、下限座標ｙ_L 、左限座
標ｘ_L 、右限座標ｘ_Rを検出する。これらの座標決定の
際には、ノイズを除去するために閾値以上の加算値が得
られた点を求める座標として判定する。これらを位置情
報としても良いが、上限と下限の中点ｙ_C 及び左限と右
限の中点ｘ_C の座標Ｐを計算し、それをこの分割領域の
位置情報とする。図５においては１個の領域として検出
されたが、２個以上の領域に分割された場合はその全体
の中心の座標を位置情報としても良いし、予め設定して
ある閾値以上の大きさとなる領域についてそれぞれの中
心座標を位置情報として検出しても良い。この処理を全
ての分割領域について行う。これらを特徴量として時系
列処理部７及び移動物体識別部８に送出する。時系列処
理部７は、履歴情報に基づいて時系列特徴量を算出す
る。移動物体識別部８は，これら送られてきた特徴量の
評価を行う。特徴量評価は、実施例６の評価に加えて、
各分割領域の位置情報から対応する現フレームと前フレ
ームの分割領域間の距離を算出し、その総和値を全分割
領域の差として評価する。これらの処理を動画像に対し
て連続的に行い、前処理画面と同一移動物体と判断され
た動領域を同一動領域と決定することにより、同一移動
物体を追跡する。

【００３９】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として動領域を輝度
分布を基にＭ個に分割し、各分割領域の位置を検出して
それら特徴量及びその時系列特徴量を用いることによ
り、移動物体の識別を実現することができるという点で
優れた効果が得られる。

【００４０】（実施例９）以下、本発明の第９の実施例
について説明する。本実施例における動画像処理装置
は、図１に示した第１の実施例と同じ構成を備え、異な
るのは特徴量検出部５以降における動作である。以下、
本実施例の動作について説明する。

【００４１】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの色情報として
彩度を処理し、動領域内の彩度の平均値を算出する。こ
れを移動物体の特徴量として、時系列処理部７及び移動
物体識別部８に送出する。時系列処理部７は、履歴情報
に基づいて時系列特徴量を算出する。移動物体識別部８
は、これら送られてきた特徴量の評価を行う。特徴量評
価は、現フレーム平均値と前フレーム平均値の差の評
価、時系列処理部７において算出された平均値との差、
移動物体の画面上での交差等特殊事象認識による評価を
行う。これらの処理を動画像に対して連続的に行い、前
処理画面と同一移動物体と判断された動領域を同一動領
域と決定することにより、同一移動物体を追跡する。

【００４２】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として彩度の平均値
を検出し、これら特徴量及びその時系列特徴量を用いる
ことにより、移動物体の識別を実現することができると
いう点で優れた効果が得られる。

【００４３】（実施例１０）以下、本発明の第１０の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００４４】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの色情報として
彩度を処理し、動領域内の彩度の度数分布を算出する。
度数分布は、彩度の値を基に８分割、１６分割もしくは
３２分割し、その分割毎に度数を計算して分布を求め
る。求められた度数分布には、動領域全画素数もしくは
最頻度度数を基に正規化処理を行う。これを移動物体の
特徴量として移動物体識別部８に送出する。移動物体識
別部８は、前フレームの彩度度数分布を保持しており、
これと現フレームの度数分布との距離を算出する。距離
算出方法としては、市街地距離やユークリッド距離を用
いても良いが、ここではＤＰマッチング法を用いる。現
フレームの度数分布列をｃ_i 、前フレームの度数分布列
をｐ_j （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき，
距離Ｄは前記式（１）により算出される。ここでこの距
離算出の際には、整合窓の制約条件として前記式（２）
を課すものとする。距離Ｄが予め設定されていた閾値以
下となったとき、これらの動領域を同一の移動物体のも
のとする。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。

【００４５】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として彩度の度数分
布を算出し、これを特徴量として用いることにより、移
動物体の識別を実現することができるという点で優れた
効果が得られる。

【００４６】（実施例１１）以下、本発明の第１１の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００４７】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの色情報として
彩度を処理し、彩度が予め与えられた閾値未満になる画
素数を計測し、その動領域全体に占める割合を低彩度率
として算出する。これを移動物体の特徴量として、時系
列処理部７及び移動物体識別部８に送出する。時系列処
理部７は、履歴情報に基づいて時系列特徴量を算出す
る。移動物体識別部８は、これら送られてきた特徴量の
評価を行う。特徴量評価は、現フレーム低彩度率と前フ
レーム低彩度率の差の評価、時系列処理部７において算
出された低彩度率との差の評価、移動物体の画面上での
交差等特殊事象認識による評価を行う。これらの処理を
動画像に対して連続的に行い、前処理画面と同一移動物
体と判断された動領域を同一動領域と決定することによ
り、同一移動物体を追跡する。

【００４８】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として低彩度の画素
の全体に占める割合を検出し、これら特徴量及びその時
系列特徴量を用いることにより、移動物体の識別を実現
することができるという点で優れた効果が得られる。

【００４９】（実施例１２）以下、本発明の第１２の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００５０】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの色情報として
彩度と色相を処理し、彩度が予め与えられた閾値以上に
なる画素の色相値の度数分布を算出する。度数分布を求
める色相幅は、１０度、２０度もしくは３０度毎とす
る。求められた度数分布には、動領域全画素数もしくは
最頻度度数を基に正規化処理を行う。これを移動物体の
特徴量として移動物体識別部８に送出する。移動物体識
別部８は、前フレームの色相度数分布を保持しており、
これと現フレームの度数分布との距離を算出する。距離
算出方法としては、市街地距離やユークリッド距離を用
いても良いが、ここではＤＰマッチング法を用いる。現
フレームの度数分布列をｃ_i 、前フレームの度数分布列
をｐ_j （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき、
距離Ｄは前記式（１）により算出される。ここでこの距
離算出の際には、整合窓の制約条件として前記式（２）
を課すものとする。距離Ｄが予め設定されていた閾値以
下となったとき、これらの動領域を同一の移動物体のも
のとする。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。

【００５１】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として色相の度数分
布を算出し、これを特徴量として用いることにより、移
動物体の識別を実現することができるという点で優れた
効果が得られる。

【００５２】（実施例１３）以下、本発明の第１３の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００５３】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの色情報として
彩度と色相を処理し、彩度が予め与えられた閾値以上に
なる画素の色相値の度数分布を算出する。度数分布を求
める色相幅は、１０度、２０度もしくは３０度毎とす
る。そしてその度数分布を、実施例６と同様に、Ｍ個
（Ｍは正の整数）に領域分割し、各分割領域毎の色相値
の代表値を求める。代表値としては各分割領域毎の平均
値でも良いし、また各分割領域における最頻度となる色
相値でも良い。これを移動物体の特徴量として、時系列
処理部７及び移動物体識別部８に送出する。時系列処理
部７は、履歴情報に基づいて時系列特徴量を算出する。
移動物体識別部８は、これら送られてきた特徴量の評価
を行う。特徴量評価は、現フレームと前フレームの領域
分割数Ｍの比較、各代表値の差の評価、時系列処理部７
において算出された分割数及び代表値との差の評価、移
動物体の画面上での交差等特殊事象認識による評価を行
う。これらの処理を動画像に対して連続的に行い、前処
理画面と同一移動物体と判断された動領域を同一動領域
と決定することにより、同一移動物体を追跡する。

【００５４】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として動領域を色相
値の度数分布を基にＭ個に分割し、各分割領域の代表値
となる色相値を検出し、これを特徴量として用いること
により、移動物体の識別を実現することができるという
点で優れた効果が得られる。

【００５５】（実施例１４）以下、本発明の第１４の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００５６】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例１３と同様に、色相値の度数
分布を算出して色相分割閾値を検出し、この閾値を基に
度数分布をＭ個（Ｍは正の整数）に分割する。そして各
分割領域の大きさの比率を検出する。領域の大きさとし
ては、各分割領域に属する全画素数でも良いし、各分割
領域における最頻度の度数を用いても良い。これを移動
物体の特徴量として、時系列処理部７及び移動物体識別
部８に送出する。時系列処理部７は、履歴情報に基づい
て時系列特徴量を算出する。移動物体識別部８は、これ
ら送られてきた特徴量の評価を行う。特徴量評価は、現
フレームと前フレームにおけるこの特徴量の差の評価、
時系列処理部７において算出された評価値との差の評
価、移動物体の画面上での交差等特殊事象認識による評
価を行う。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。

【００５７】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域を色
相値の度数分布を基にＭ個に分割し、その分割領域の大
きさの比率を検出し、これを特徴量として用いることに
より、移動物体の識別を実現することができるという点
で優れた効果が得られる。

【００５８】（実施例１５）以下、本発明の第１５の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００５９】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例１３と同様に、色相値の度数
分布を算出して色相分割閾値を検出し、この閾値を基に
度数分布をＭ個（Ｍは正の整数）に分割する。そして各
分割領域に属する画像データを検出する。検出した画像
データから位置情報を検出する方法は、実施例８と同様
に行う。これを移動物体の特徴量として、時系列処理部
７及び移動物体識別部８に送出する。時系列処理部７
は、履歴情報に基づいて時系列特徴量を算出する。移動
物体識別部８は、これら送られてきた特徴量の評価を行
う。特徴量評価は、実施例１３の評価に加えて、各分割
領域の位置情報より対応する現フレームと前フレームの
分割領域間の距離を算出し、その総和値を全分割領域の
差として評価する。これらの処理を動画像に対して連続
的に行い、前処理画面と同一移動物体と判断された動領
域を同一動領域と決定することにより、同一移動物体を
追跡する。

【００６０】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域を色
相値の度数分布を基にＭ個に分割し、各分割領域の位置
を検出し、これら特徴量及びその時系列特徴量を用いる
ことにより、移動物体の識別を実現することができると
いう点で優れた効果が得られる。

【００６１】（実施例１６）以下、本発明の第１６の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００６２】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データから輝度及び色
情報を検出する。情報はＲＧＢ座標系或いはＹＵＶ座標
系を用いて検出する方法が考えられるが、ここでは輝
度、彩度及び色相という３つの物理量によって検出す
る。そしてこれら３つの物理量を成分とする３次元のベ
クトル空間を定義し、この空間における動領域内画像デ
ータの度数分布を求める。度数分布を求める際には、各
成分を８分割、１６分割もしくは３２分割し、その分割
されたベクトル空間毎に度数を計算する。こうして求め
られた３次元ベクトル空間における度数分布は、動領域
全画素数もしくは最頻度度数を基に正規化処理を行う。
これを移動物体の特徴量として、移動物体識別部８に送
出する。移動物体識別部８は、前フレームの３次元ベク
トル空間における度数分布を保持しており、これと現フ
レームの度数分布との距離を算出する。距離算出方法と
しては、ＤＰマッチング法を用いる方法も考えられる
が、データ量が多いことを考慮し、簡略化した手法とし
て市街地距離を用いる。もちろんこれ以外にユークリッ
ド距離を用いて距離を算出する方法も考えられる。現フ
レームの度数分布をｃ_i 、前フレームの度数分布をｐ_i
（ｉ＝１〜Ｎ、Ｎは正の整数）としたとき、距離Ｄは下
記式（３）により算出される。

【００６３】

【数２】 距離Ｄが予め設定されていた閾値以下となったとき、こ
れらの動領域を同一の移動物体のものする。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。

【００６４】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、輝度、彩度
及び色相の３つの物理量を成分とする３次元ベクトル空
間の度数分布を算出し、これを特徴量として用いること
により、移動物体の識別を実現することができるという
点で優れた効果が得られる。

【００６５】（実施例１７）以下、本発明の第１７の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００６６】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの形状情報とし
て動領域を包含する外接長方形を作成し、この縦横の辺
の長さを検出する。更に縦横比率を算出し、これらを移
動物体の特徴量として、時系列処理部７及び移動物体識
別部８に送出する。時系列処理部７は、履歴情報に基づ
いて時系列特徴量を算出する。移動物体識別部８は、こ
れら送られてきた特徴量の評価を行う。特徴量評価は、
現フレームの辺の長さと前フレームの辺の長さの差及び
縦横比率の差の評価、時系列処理部７において算出され
た辺の長さ及び縦横比率との差の評価、移動物体の画面
上での交差等特殊事象認識による評価を行う。これらの
処理を動画像に対して連続的に行い、前処理画面と同一
移動物体と判断された動領域を同一動領域と決定するこ
とにより、同一移動物体を追跡する。

【００６７】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域外接
長方形の縦横辺の長さ及びその比率を検出し、これら特
徴量及びその時系列特徴量を用いることにより、移動物
体の識別を実現することができるという点で優れた効果
が得られる。

【００６８】（実施例１８）以下、本発明の第１８の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００６９】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、その動領域を形成する画素数を計測
する。これを移動物体の特徴量として、時系列処理部７
及び移動物体識別部８に送出する。時系列処理部７は、
履歴情報に基づいて時系列特徴量を算出する。移動物体
識別部８は、これら送られてきた特徴量の評価を行う。
特徴量評価は、現フレームの動領域画素数と前フレーム
の動領域画素数の差の評価、時系列処理部７において算
出された動領域画素数との差の評価、移動物体の画面上
での交差等特殊事象認識による評価を行う。これらの処
理を動画像に対して連続的に行い、前処理画面と同一移
動物体と判断された動領域を同一動領域と決定すること
により、同一移動物体を追跡する。

【００７０】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域を形
成する画素数を検出し、この特徴量及びその時系列特徴
量を用いることにより、移動物体の識別を実現すること
ができるという点で優れた効果が得られる。

【００７１】（実施例１９）以下、本発明の第１９の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００７２】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、その動領域を形成する画素数を計測
し、その動領域の外接長方形を作成する。そして動領域
の画素数の外接長方形の画素数に占める割合を算出す
る。これを移動物体の特徴量として、時系列処理部７及
び移動物体識別部８に送出する。時系列処理部７は、履
歴情報に基づいて時系列特徴量を算出する。移動物体識
別部８は、これら送られてきた特徴量の評価を行う。特
徴量評価は、現フレームの特徴量と前フレームの特徴量
の差の評価、時系列処理部７において算出された時系列
特徴量との差の評価、移動物体の画面上での交差等特殊
事象認識による評価を行う。これらの処理を動画像に対
して連続的に行い、前処理画面と同一移動物体と判断さ
れた動領域を同一動領域と決定することにより、同一移
動物体を追跡する。

【００７３】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域を形
成する画素数の外接長方形の画素数に占める割合を検出
し、この特徴量及びその時系列特徴量を用いることによ
り、移動物体の識別を実現することができるという点で
優れた効果が得られる。

【００７４】（実施例２０）以下、本発明の第２０の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００７５】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、その動領域内の画像データの輝度に
対する空間微分処理を行い、輝度変化値を検出する。そ
して全輝度変化値の平均値を求め、画像データのテクス
チャ情報とする。これを移動物体の特徴量として、時系
列処理部７及び移動物体識別部８に送出する。時系列処
理部７は、履歴情報に基づいて時系列特徴量を算出す
る。移動物体識別部８は、これら送られてきた特徴量の
評価を行う。特徴量評価は、現フレームのテクスチャ情
報と前フレームのテクスチャ情報の差の評価、時系列処
理部７において算出されたテクスチャ情報との差の評
価、移動物体の画面上での交差等特殊事象認識による評
価を行う。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。

【００７６】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域内輝
度変化値の平均値をテクスチャ情報として検出し、この
特徴量及びその時系列特徴量を用いることにより、移動
物体の識別を実現することができるという点で優れた効
果が得られる。

【００７７】（実施例２１）以下、本発明の第２１の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００７８】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例２０と同様に、その動領域内
の輝度変化値をテクスチャ情報として検出する。そして
その度数分布をテクスチャ度数分布として算出する。求
められた度数分布には、動領域全画素数もしくは最頻度
度数を基に正規化処理を行う。これを移動物体の特徴量
として、移動物体識別部８に送出する。移動物体識別部
８は、前フレームのテクスチャ度数分布を保持してお
り、これと現フレームの度数分布との距離を算出する。
距離算出方法としては、市街地距離やユークリッド距離
を用いても良いが、ここではＤＰマッチング法を用い
る。現フレームの度数分布列をｃ_i 、前フレームの度数
分布列をｐ_j （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）とした
とき、距離Ｄは前記式（１）により算出される。ここで
この距離算出の際には、整合窓の制約条件として前記式
（２）を課すものとする。距離Ｄが予め設定されていた
閾値以下となったとき、これらの動領域を同一の移動物
体のものとする。これらの処理を動画像に対して連続的
に行い、前処理画面と同一移動物体と判断された動領域
を同一動領域と決定することにより、同一移動物体を追
跡する。

【００７９】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域内輝
度変化値の度数分布をテクスチャ度数分布として検出
し、この特徴量及びその時系列特徴量を用いることによ
り、移動物体の識別を実現することができるという点で
優れた効果が得られる。

【００８０】（実施例２２）以下、本発明の第２２の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００８１】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例２０と同様に、その動領域内
の輝度変化値をテクスチャ情報として検出し、その度数
分布をテクスチャ度数分布として算出する。そしてその
度数分布を、実施例６と同様に、Ｍ個（Ｍは正の整数）
に領域分割し、各分割領域毎の輝度変化値の代表値を求
める。代表値としては、各分割領域毎の輝度変化値の平
均値でも良いし、また各分割領域における最頻度となる
輝度変化値でも良い。これらを移動物体の特徴量とし
て、時系列処理部７及び移動物体識別部８に送出する。
時系列処理部７は、履歴情報に基づいて時系列特徴量を
算出する。移動物体識別部８は、これら送られてきた特
徴量の評価を行う。特徴量評価は、現フレームと前フレ
ームの領域分割数Ｍの比較、各代表値の差の評価、時系
列処理部７において算出された分割数及び代表値との差
の評価、移動物体の画面上での交差等特殊事象認識によ
る評価を行う。これらの処理を動画像に対して連続的に
行い、前処理画面と同一移動物体と判断された動領域を
同一動領域と決定することにより、同一移動物体を追跡
する。

【００８２】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域をテ
クスチャ度数分布を基にＭ個に分割し各分割領域のテク
スチャの代表値を検出し、これら特徴量及びその時系列
特徴量を用いることにより、移動物体の識別を実現する
ことができるという点で優れた効果が得られる。

【００８３】（実施例２３）以下、本発明の第２３の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００８４】図１において、入力部１から動領域整形部
４までの処理の流れは、実施例１における説明と同様で
ある。動領域整形部４によって整形された動領域に対
し、特徴量検出部５は実施例２２と同様に、輝度変化値
をテクスチャ情報としてその度数分布を算出して分割閾
値を検出し、この閾値を基に度数分布をＭ個（Ｍは正の
整数）に分割する。そして各分割領域の大きさの比率を
検出する。領域の大きさとしては、各分割領域に属する
全画素数でも良いし、各分割領域における最頻度の度数
を用いても良い。これらを特徴量として、時系列処理部
７及び移動物体識別部８に送出する。時系列処理部７
は、履歴情報に基づいて時系列特徴量を算出する。移動
物体識別部８は、これら送られてきた特徴量の評価を行
う。特徴量評価は、現フレームと前フレームにおけるこ
の特徴量の差の評価、時系列処理部７において算出され
た評価値との差の評価、移動物体の画面上での交差等特
殊事象認識による評価を行う。これらの処理を動画像に
対して連続的に行い、前処理画面と同一移動物体と判断
された動領域を同一動領域と決定することにより、同一
移動物体を追跡する。

【００８５】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域をテ
クスチャ度数分布を基にＭ個に分割しその分割領域の大
きさの比率を検出し、これを特徴量として用いることに
より、移動物体の識別を実現することができるという点
で優れた効果が得られる。

【００８６】（実施例２４）以下、本発明の第２４の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００８７】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例２２と同様に、輝度変化値を
テクスチャ情報としてその度数分布を算出して分割閾値
を検出し、この閾値を基に度数分布を分割し、Ｍ個（Ｍ
は正の整数）の分割領域を検出する。そして各分割領域
に属する画像データを検出する。検出した画像データか
ら位置情報を検出する方法は、実施例８と同様に行う。
これを移動物体の特徴量として時系列処理部７及び移動
物体識別部８に送出する。時系列処理部７は、履歴情報
に基づいて時系列特徴量を算出する。移動物体識別部８
は、これら送られてきた特徴量の評価を行う。特徴量評
価は、実施例２２の評価に加えて、各分割領域の位置情
報より対応する現フレームと前フレームの分割領域間の
距離を算出し、その総和値を全分割領域の差として評価
する。これらの処理を動画像に対して連続的に行い、前
処理画面と同一移動物体と判断された動領域を同一動領
域と決定することにより、同一移動物体を追跡する。

【００８８】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として、動領域をテ
クスチャ度数分布を基にＭ個に分割し、各分割領域の位
置を検出し、これら特徴量及びその時系列特徴量を用い
ることにより、移動物体の識別を実現することができる
という点で優れた効果が得られる。

【００８９】（実施例２５）以下、本発明の第２５の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは特徴量検出部５以降における動作である。以
下、本実施例の動作について説明する。

【００９０】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、動領域内画像データの輪郭線を検出
する。輪郭線検出の際にはノイズの影響を除去するため
にノイズ除去処理や平滑化処理を行っても良い。以下、
輪郭線検出処理を図６を用いて説明する。

【００９１】図６（ａ）において、輪郭線検出処理は、
Ａ点から開始して動領域を一回りしてＡ点に戻ってく
る。Ａ点の決定方法は、一番最初に動領域を検出した時
点において、その動領域の最左上点をＡ点とする。次の
処理からは、直前に検出されたＡ点の近傍領域Ｅ内に存
在する動領域を検出し、その最左上点を処理開始点Ａと
する。輪郭線が検出されたならば、その輪郭線から輪郭
線ベクトルを検出する。いま、輪郭線ベクトルを検出し
たいｉ個目の輪郭線座標をＰ_i （ｘ_i ，ｙ_i ）、そのｋ
個後（ｉ，ｋは１以上の整数）の輪郭線座標をＰ
_i+k （ｘ_i+k ，ｙ_i+k ）とすると、その点の輪郭線ベク
トルは、下記式（４）として算出される。

【００９２】 Ｖ_i （ｖ_xi，ｖ_yi）＝Ｖ_i （ｘ_i+k −ｘ_i ，ｙ_i+k −ｙ_i ） ・・・（４） 次に、この輪郭線ベクトルの特徴点を検出するため、下
記式（５）を用いて評価値Ｒとして算出する。 Ｒ＝（ｖ_xi−ｖ_xi-1）² ＋（ｖ_yi−ｖ_yi-1）² ・・・（５） 但し、Ｖ_i-i （ｖ_xi-1，ｖ_yi-1）はｉ−１番目の輪郭線
ベクトル

【００９３】図６（ａ）におけるＲの度数分布を図６
（ｂ）に示す。直線部分の輪郭ベクトルの評価値Ｒは、
原点付近に集まるため、それ以外の度数分布が集積した
部分を輪郭線における特徴点とし、その座標を輪郭線の
特徴点座標とする。図６（ｃ）のような端点は唯一の特
徴点として検出される。また、図６（ｄ）のように複数
の特徴点が連続して検出された場合は評価値Ｒ最大の一
点のみを特徴点とする。図６（ａ）においては、点Ａ、
点Ｂ、点Ｃ、点Ｄが特徴点として検出される。こうして
検出された特徴点は、Ｎフレーム前（Ｎは正の整数）の
特徴点と対応付け処理を行い、移動ベクトルとして検出
する。対応付け処理では、特徴点座標及び輪郭線ベクト
ルの類似度より対応点を検索し、該当する特徴点が存在
しない場合は、その特徴点における輪郭線ベクトルは検
出しないものとする。移動ベクトルのｘ及びｙ方向成分
分布を図６（ｅ）及び図６（ｆ）に示す。このそれぞれ
の最頻度値ｘ_v 及びｙ_v を成分とするベクトルＶ
（ｘ_v ，ｙ_v ）を現在着目している移動物体の移動ベク
トルとして算出する。但し、移動物体の形状よっては特
徴点が余り検出されない場合があり、十分な移動ベクト
ルの成分分布が得られない。このときは、各移動ベクト
ル成分の平均値やメジアンを成分とする移動ベクトルを
算出し、移動物体の移動ベクトルとする。これを移動物
体の特徴量として、時系列処理部７及び移動物体識別部
８に送出する。時系列処理部７は、履歴情報に基づいて
時系列特徴量を算出する。移動物体識別部８は、これら
送られてきた特徴量の評価を行う。特徴量評価は、現フ
レームの特徴量と前フレームの特徴量の差の評価、時系
列処理部７において算出された時系列特徴量との差の評
価、移動物体の画面上での交差等特殊事象認識による評
価を行う。これらの処理を動画像に対して連続的に行
い、前処理画面と同一移動物体と判断された動領域を同
一動領域と決定することにより、同一移動物体を追跡す
る。

【００９４】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として移動物体の移
動ベクトルを検出し、この特徴量及びその時系列特徴量
を用いることにより、移動物体の識別を実現することが
できるという点で優れた効果が得られる。

【００９５】（実施例２６） （位置検出部）以下、本発明の第２６の実施例について
説明する。本実施例における動画像処理装置は、図１に
示した第１の実施例と同じ構成を備え、異なるのは位置
検出部６以降における動作である。以下、本実施例の動
作について説明する。

【００９６】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって検出された動領域を包含す
る外接長方形を図７に示す。

【００９７】図７において、Ｗは外接長方形の幅であ
る。位置検出部６は移動物体の運動平面との接点の最上
点の画像上の座標Ｑを算出し、これを位置情報とする。
点Ｐの画像上位置座標をＰ（ｘ，ｙ）とすると、点Ｑの
位置座標は下記式（６）として算出される。 Ｑ＝（ｘ＋Ｗ／２，ｙ） ・・・（６）

【００９８】こうして算出された移動物体位置情報は、
時系列処理部７及び移動物体識別部８へと送られる。時
系列処理部７は、履歴情報に基づいて時系列処理された
位置情報を算出する。移動物体識別部８は、これら送ら
れてきた位置情報の評価を行う。評価は、現フレームと
前フレームの位置情報の差の比較、時系列処理部７にお
いて算出された位置情報との差の比較により行う。また
この位置情報と動領域の大きさから、複数の移動物体が
画面上で交差したというような特殊事象認識を行う。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。

【００９９】以上のように、本実施例によれば、位置検
出部６によって移動物体の位置の特徴量として移動物体
の運動平面との接点の最上点の座標を検出し、この特徴
量及びその時系列特徴量を用いることにより、移動物体
を識別し追跡することができるという点で優れた効果が
得られる。

【０１００】（実施例２７）以下、本発明の第２７の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは位置検出部６以降における動作である。以下、
本実施例の動作について説明する。

【０１０１】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって検出された動領域を包含す
る外接長方形を図７に示す。

【０１０２】図７において、Ｈは外接長方形の高さであ
る。位置検出部６は、移動物体の運動平面との接点の画
像上の座標Ｒを算出し、これを位置情報とする。点Ｐの
画像上位置座標をＰ（ｘ，ｙ）とすると、点Ｒの位置座
標は下記式（７）として算出される。 Ｒ＝（ｘ＋Ｗ／２，ｙ＋Ｈ） ・・・（７）

【０１０３】こうして算出された移動物体位置情報は、
時系列処理部７及び移動物体識別部８へと送られる。時
系列処理部７は、履歴情報に基づいて時系列処理された
位置情報を算出する。移動物体識別部８は、これら送ら
れてきた位置情報の評価を行う。評価は、現フレームと
前フレームの位置情報の差の比較、時系列処理部７にお
いて算出された位置情報との差の比較により行う。また
この位置情報と動領域の大きさから、複数の移動物体が
画面上で交差したというような特殊事象認識を行う。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。

【０１０４】以上のように、本実施例によれば、位置検
出部６によって移動物体の位置の特徴量として移動物体
の運動平面との接点座標を検出し、この特徴量及びその
時系列特徴量を用いることにより、移動物体を識別し追
跡することができるという点で優れた効果が得られる。

【０１０５】（実施例２８）以下、本発明の第２８の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは位置検出部６以降における動作である。以下、
本実施例の動作について説明する。

【０１０６】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって検出された動領域を包含す
る外接長方形を図７に示す。

【０１０７】位置検出部６は、移動物体の運動平面との
接点の最上点の画像上の座標Ｑ及び運動平面との接点の
画像上の座標Ｒを算出し、これらを位置情報とする。点
Ｐの画像上位置座標をＰ（ｘ，ｙ）とすると、点Ｑの位
置座標は上記式（６）、点Ｒの位置座標は上記式（７）
として算出される。こうして算出された移動物体位置情
報は時系列処理部７及び移動物体識別部８へと送られ
る。時系列処理部７は、履歴情報に基づいて時系列処理
された位置情報を算出する。移動物体の運動平面との接
点が障害物によって遮蔽された場合、移動物体識別部８
は、これら位置情報において座標Ｑとその時系列処理に
よって算出された座標Ｑ’との差、座標Ｒとその時系列
処理によって算出された座標Ｒ’との差、外接長方形等
の特徴量及び移動物体の画面上での交差等特殊事象認識
による評価結果を基に総合的に判断し、移動物体の運動
平面との接点が障害物によって遮蔽されているものと判
断する。この判断がなされたならば、移動物体識別部８
は、座標Ｑ及び移動物体の推定高Ｈ_e を用いて推定座標
Ｒ_e を下記式（８）として算出し、移動物体の運動平面
との接点座標とする。 Ｒ_e （ｘ＋Ｗ／２，ｙ＋Ｈ_e ） ・・・（８）

【０１０８】移動物体推定高Ｈ_e は、動領域外接長方形
の前フレーム特徴量及びその時系列特徴量を用いて算出
する。移動物体識別部８は、こうして求められた運動平
面との接点座標を特徴量として、移動物体の識別追跡の
ために用いる。

【０１０９】以上のように、本実施例によれば、位置検
出部６によって検出された移動物体の特徴量として、検
出された移動物体の運動平面との接点及びその最上点の
座標を用いて、移動物体の運動平面との接点が障害物に
よって遮蔽されていることを検出し、移動物体の運動平
面との接点座標を特徴量として推定算出することによ
り、移動物体を識別し追跡することができるという点で
優れた効果が得られる。

【０１１０】（実施例２９） （時系列処理部）以下、本発明の第２９の実施例につい
て説明する。本実施例における動画像処理装置は、図１
に示した第１の実施例と同じ構成を備え、異なるのは時
系列処理部７以降における動作である。以下、本実施例
の動作について説明する。

【０１１１】図１において、入力部１から特徴量検出部
５及び位置検出部６迄の処理の流れは、実施例１におけ
る説明と同様である。特徴量検出部５及び位置検出部６
によって検出された情報は、時系列処理部７に送られ
る。時系列処理部７は、現フレーム処理において検出さ
れた特徴量Ｔ_c とそれ以前のフレーム処理において算出
されていた時系列特徴量Ｔ_p に対し、下記式（９）を用
いて現フレームにおける時系列特徴量として算出する。 （Ｍ×Ｔ_c ＋Ｎ×Ｔ_p ）／（Ｍ＋Ｎ） （但しＭ，Ｎは正の整数） ・・・（９）

【０１１２】処理開始の一番最初は、現フレーム処理に
おいて検出された特徴量を時系列特徴量として登録し、
時間が経過するにつれて更新して行く。算出された時系
列特徴量は、移動物体識別部８へと送出され、実施例１
と同様に、特徴量と統合されて識別処理が行われる。識
別処理は、現フレーム特徴量と前フレーム特徴量との
差、時系列特徴量との差、移動物体の画面上での交差等
特殊事象認識による評価を行う。これらの処理を動画像
に対して連続的に行い、前処理画面と同一移動物体と判
断された動領域を同一動領域と決定することにより、同
一移動物体を追跡する。

【０１１３】以上のように、本実施例によれば、時系列
処理部７によって移動物体の特徴量の時系列特徴量を算
出し、これを特徴量として用いることにより、ノイズ等
の影響による特徴量の急峻な変化を吸収し、時間的に変
化している特徴量については追従して行く特徴量を算出
することにより、移動物体の識別を実現することができ
るという点で優れた効果が得られる。

【０１１４】（実施例３０）以下、本発明の第３０の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは時系列処理部７以降における動作である。以
下、本実施例の動作について説明する。

【０１１５】図１において、入力部１から特徴量検出部
５及び位置検出部６迄の処理の流れは、実施例１におけ
る説明と同様である。特徴量検出部５及び位置検出部６
によって検出された情報は、時系列処理部７に送られ
る。時系列処理部７は、現フレーム処理において検出さ
れた特徴量とＫフレーム前（Ｋは正の整数）の処理に検
出された特徴量との差の絶対値ｄＴ_c と、それ以前のフ
レーム処理において算出されていたＫフレーム間の差の
絶対値の時系列特徴量ｄＴ_p に対し、下記式（１０）を
用いて現フレームにおける時系列特徴量として算出す
る。 （Ｍ×ｄＴ_c ＋Ｎ×ｄＴ_p ）／（Ｍ＋Ｎ） （但しＭ，Ｎは正の整数） ・・・（１０）

【０１１６】この処理は、Ｋフレーム経過する迄実行さ
れない。処理開始の一番最初は現フレーム処理において
検出された特徴量の差を時系列特徴量として登録し、時
間が経過するにつれて更新して行く。算出された時系列
特徴量は、移動物体識別部８へと送出され、実施例１と
同様に、特徴量と統合されて識別処理が行われる。識別
処理は、現フレーム特徴量とＫフレーム前の特徴量の差
と、この時系列特徴量との差を評価して行う。この処理
を動画像に対して連続的に行い、前処理画面と同一移動
物体と判断された動領域を同一動領域と決定することに
より、同一移動物体を追跡する。

【０１１７】以上のように、本実施例によれば、時系列
処理部７によって移動物体の特徴量のＫフレーム間の差
の絶対値及びその時系列特徴量を算出し、これを特徴量
として用いることにより、時間的に一定の変化をしてい
る特徴量の特性を検出することができると共に、ノイズ
等の影響による特徴量の急峻な変化を吸収しながら、時
間的に変化している特徴量については追従して行く特徴
量を算出することにより、移動物体の識別を実現するこ
とができるという点で優れた効果が得られる。

【０１１８】（実施例３１） （移動物体識別部）以下、本発明の第３１の実施例につ
いて説明する。本実施例における動画像処理装置は、図
１に示した第１の実施例と同じ構成を備え、異なるのは
主に移動物体識別部８における動作である。以下、本実
施例の動作について説明する。

【０１１９】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例２５と同様に、移動物体の移
動ベクトルを検出する。そして最頻度値ｘ_v 及びｙ_v を
成分とするベクトルＶ（ｘ_v ，ｙ_v ）を現在着目してい
る移動物体の移動ベクトルとして算出する。ここでベク
トル群Ｖｇ（ｘ_v ±ｄｘ，ｙ_v ±ｄｙ）に属する移動ベ
クトルを生成する特徴点の数の、全特徴点数に占める割
合を移動ベクトルが検出できなかった特徴点も含めて算
出する。ｄｘ及びｄｙは予め設定しておく。そしてこの
割合が予め与えられた閾値以上の場合に剛体、未満の場
合に非剛体として判定する。この判定結果を移動物体識
別部８に送出し、移動物体識別部８は、その判定結果を
移動物体の属性として、移動物体追跡処理に用いる。

【０１２０】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として移動物体の移
動ベクトルを検出し、この特徴量を用いて移動物体が剛
体であるか非剛体であるかを判定することにより、移動
物体の識別を実現することができるという点で優れた効
果が得られる。

【０１２１】（実施例３２）以下、本発明の第３２の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは主に移動物体識別部８における動作である。以
下、本実施例の動作について説明する。

【０１２２】図１において、入力部１から動領域整形部
４迄の処理の流れは、実施例１における説明と同様であ
る。動領域整形部４によって整形された動領域に対し、
特徴量検出部５は、実施例２５と同様に、移動物体の移
動ベクトルを検出する。そして実施例３１と同様の方法
により、その移動物体が剛体であるか非剛体であるかを
判定し、その判定結果を時系列処理部７及び移動物体識
別部８に送出する。非剛体と判定された場合、時系列処
理部７は、履歴情報に基づいて移動物体の形状特徴量の
時間変化の固有周期を求める。２×Ｎフレーム（Ｎは正
の整数）の特徴量の数列を格納しておき、そのうち手前
のＮフレームの特徴量数列を０からＮ−１フレーム迄シ
フトさせて各特徴量毎の差の自乗を計算し、その総和の
最小値を相関値Ｒとして下記式（１１）を用いて算出す
る。

【０１２３】

【数３】

【０１２４】処理の簡単化を図るために、特徴量の差の
絶対値の総和を相関値Ｒとしても良い。導かれた相関値
Ｒが予め設定されていた閾値に比べて小さいときは、特
徴量に周期性があったと判定し、そのときのシフト数Ｋ
を特徴量の固有周期とする。この判定結果を移動物体識
別部８に送り、移動物体識別部８は、この判定結果を移
動物体の属性として、移動物体追跡処理に用いる。

【０１２５】以上のように、本実施例によれば、特徴量
検出部５によって移動物体の特徴量として移動物体の移
動ベクトルを検出し、この特徴量を用いて移動物体が剛
体であるか非剛体であるかを判定し、非剛体であると判
定された場合に、その移動物体の形状特徴量の時間的変
化の固有周期を検出することにより、移動物体の識別を
実現することができるという点で優れた効果が得られ
る。

【０１２６】（実施例３３）以下、本発明の第３３の実
施例について説明する。本実施例における動画像処理装
置は、図１に示した第１の実施例と同じ構成を備え、異
なるのは移動物体識別部８以降における動作である。以
下、本実施例の動作について説明する。

【０１２７】図１において、入力部１から特徴量検出部
５、位置検出部６及び時系列処理部７迄の処理の流れ
は、実施例１における説明と同様である。これらの処理
結果は移動物体識別部８へと送られ、移動物体識別部８
は、これら送られてきた情報を統合処理し、移動物体を
識別する。識別処理は、特徴量の評価と判定処理により
行われる。特徴量評価は、検出対象に基づく特徴量それ
自体の評価、現フレーム特徴量と前フレーム特徴量との
距離による評価、時系列特徴量の評価、そして位置情報
を用いた複数の移動物体が画面上で交差したというよう
な特殊事象認識による評価を行う。例えば現フレーム処
理において検出された特徴量をＴ_c 、時系列特徴量をＴ
_p 、判定閾値をαとした時、下記式（１２）が満足され
ない場合、移動物体識別部８は特徴量の信頼度が低いと
判断する。 ｜Ｔ_c −Ｔ_p ｜≦α ・・・（１２）

【０１２８】次に、これら評価結果を用いた判定処理を
行う。この判定処理では、複数の移動物体交差という特
殊事象の発生により、特徴量評価結果が判定条件を満た
さないという結果を許容する。特殊事象の発生が検出さ
れず、特徴量評価結果が不十分である場合は、その特徴
量検出に相当する特徴量検出部５或いは位置検出部６に
パラメータ変更指令を与える。更に移動物体識別部８
は、ある程度十分な結果が得られた特徴量については、
その特徴量を基にその移動物体を検出する最適パラメー
タを検出し、それを前記画像間演算処理部３、動領域整
形部４、特徴量検出部５、位置検出部６に伝達すること
もできる。例えば、特徴量を統合することによって移動
物体の移動速度及び方向が算出されたならば、その条件
を画像間演算処理部３及び動領域整形部４に送り、これ
らの処理部は、この条件に最も適した時間間隔で画像間
演算処理や動領域整形処理を行うことが可能である。ま
た移動物体の大きさからノイズ除去処理の最適パラメー
タを動的に決定し、動領域整形部４に送出することも可
能である。或いは高信頼度の時系列特徴量Ｔ_p を特徴量
検出部５及び位置検出部６に送出し、各検出部はこの情
報を自分自身の処理に反映させることも可能である。こ
れらの処理を動画像に対して連続的に行い、前処理画面
と同一移動物体と判断された動領域を同一動領域と決定
することにより、同一移動物体を追跡する。

【０１２９】以上のように、本実施例によれば、移動物
体識別部８が、特徴量検出部５、位置検出部６及び時系
列処理部７から送られてきた情報を統合して移動物体を
識別し、評価結果が不十分である場合は、それを画像間
演算処理部３、動領域整形部４、特徴量検出部５、位置
検出部６に伝達することによってパラメータの最適化を
図り、正確な移動物体の識別を実現することができると
いう点で優れた効果が得られる。

【０１３０】

【発明の効果】以上のように、本発明は、移動物体の特
徴量を検出する特徴量検出部を設けることにより、移動
物体を特徴量により評価判定することで移動物体を識別
し追跡することができる。また、フレーム間差分処理を
用いた場合に、移動物体が静止して動領域が検出不可能
な場合においても、再度動作を開始して動領域が検出さ
れた時に、移動物体を特徴量によって同定することによ
り、同一物体と識別して追跡することができる。さら
に、移動物体識別部は、特徴量それ自体と時系列特徴量
を用いて移動物体検出の評価を行うため、特徴量のノイ
ズ等による急峻な変化を吸収して正確な移動物体の追跡
を実現することができ、また移動物体の識別結果が不十
分であった場合は、その特徴量検出に相当する処理部に
対して処理条件の変更を指令することができ、ある程度
十分な結果が得られた特徴量については、その特徴量を
基にその移動物体を検出する最適条件を検出し、それを
画像間演算処理部、動領域整形部、特徴量検出部、位置
検出部に伝達することにより、優れた動画像処理装置を
実現できるものである。

【図面の簡単な説明】

【図１】本発明の第１から第３３の実施例における動画
像処理装置のブロック結線図

【図２】本発明の第２の実施例における動領域内からの
移動物体検出を示す概念図

【図３】本発明の第３の実施例における動領域整形法を
示す概念図

【図４】本発明の第６の実施例における度数分布図

【図５】本発明の第８の実施例における分割領域の位置
座標決定法を示す概念図

【図６】（ａ）本発明の第２５の実施例における輪郭線
検出法を示す概念図 （ｂ）本発明の第２５の実施例における輪郭ベクトル評
価値の度数分布 （ｃ）本発明の第２５の実施例における輪郭線特徴点 （ｄ）本発明の第２５の実施例における輪郭線特徴点 （ｅ）本発明の第２５の実施例における移動ベクトルｘ
成分分布 （ｆ）本発明の第２５の実施例における移動ベクトルｙ
成分分布

【図７】本発明の第２６〜第２８の実施例における動領
域位置情報を示す概念図

【図８】従来の実施例における動画像処理装置のブロッ
ク結線図

【符号の説明】

１ 画像入力部 ２ 画像格納部 ３ 画像間演算処理部 ４ 動領域整形部 ５ 特徴量検出部 ６ 位置検出部 ７ 時系列処理部 ８ 移動物体識別部 ２１ 画像間演算処理部によって検出された動領域 ２２ 検出対象移動物体領域 ３１ Ｎフレーム（Ｎは正の整数）前の動領域及び外接
長方形 ３２ 現フレームの動領域 ３３ 現フレームの動領域 ３４ ３１〜３３の外接長方形を統合した状態 ３５ ３４を包含する外接長方形に現フレーム動領域を
プロットした状態 ３６ 整形された外接長方形 ５１ 動領域の分割領域 ５２ 動領域の分割領域 ５３ 動領域の分割領域 ８１ 画像入力部 ８２ 画像格納部 ８３ 画像前処理部 ８４ 動領域整形部 ８５ 移動物体追跡部

フロントページの続き (72)発明者 田 中 武 久 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 水 澤 和 史 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 藤 岡 利 和 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 森 真 人 神奈川県横浜市鶴見区江ケ崎町４番１号 東京電力株式会社システム研究所内

Claims (33)

【特許請求の範囲】
1. 【請求項１】 動画像を入力する画像入力部と、前記画
   像入力部からの画像データを格納する画像格納部と、前
   記画像格納部に格納されている画像データに対して連続
   的に画像データ間演算処理を行う画像間演算処理部と、
   前記画像間演算処理部によって検出された動領域に対し
   ノイズや影によって検出された領域を除去して移動物体
   の存在している領域のみを検出する動領域整形部と、前
   記動領域整形部によって検出された動領域内の画像デー
   タを処理して移動物体の特徴量を検出する特徴量検出部
   と、前記動領域整形部によって検出された動領域情報を
   基に移動物体の位置の特徴量を検出する位置検出部と、
   前記特徴量に対して時系列処理を行って各特徴量の時系
   列特徴量を算出する時系列処理部と、前記特徴量検出部
   及び位置検出部で検出された特徴量及び前記時系列処理
   部で算出された時系列特徴量の結果を統合して移動物体
   の識別を行う移動物体識別部とを備えた動画像処理装
   置。
2. 【請求項２】 動領域整形部が、動領域内の画像データ
   のエッジ特徴点を検出することによって移動物体の輪郭
   抽出を行い、前記輪郭抽出結果から動領域整形を行う請
   求項１記載の動画像処理装置。
3. 【請求項３】 動領域整形部が、画像間演算処理部によ
   って検出された動領域を時間方向に統合することによっ
   て整形し、動領域を補正する請求項１記載の動画像処理
   装置。
4. 【請求項４】 特徴量検出部が、動領域内の画像データ
   の輝度情報を、移動物体の特徴量として検出する請求項
   １から３のいずれかに記載の動画像処理装置。
5. 【請求項５】 特徴量検出部が、動領域内の画像データ
   の輝度情報として、動領域内画像データの輝度の度数分
   布を移動物体の特徴量として検出する請求項４記載の動
   画像処理装置。
6. 【請求項６】 特徴量検出部が、動領域内の画像データ
   の輝度情報として、動領域内画像データの輝度分布を基
   に動領域をＭ個（Ｍは正の整数）に分割し、分割された
   分割動領域の代表値となる輝度を移動物体の特徴量とし
   て検出する請求項４記載の動画像処理装置。
7. 【請求項７】 特徴量検出部が、輝度によって分割され
   た分割動領域の大きさの比率を移動物体の特徴量として
   検出する請求項６記載の動画像処理装置。
8. 【請求項８】 特徴量検出部が、分割された分割動領域
   の各位置情報を求め、移動物体の特徴量として検出する
   請求項６記載の動画像処理装置。
9. 【請求項９】 特徴量検出部が、動領域内の画像データ
   の色情報を、移動物体の特徴量として検出する請求項１
   から３のいずれかに記載の動画像処理装置。
10. 【請求項１０】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度の度数分
    布を移動物体の特徴量として検出する請求項９記載の動
    画像処理装置。
11. 【請求項１１】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度がある閾
    値未満となる画素数の全体に占める割合を移動物体の特
    徴量として検出する請求項９記載の動画像処理装置。
12. 【請求項１２】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度がある閾
    値以上となる画素の色相値の度数分布を移動物体の特徴
    量として検出する請求項９記載の動画像処理装置。
13. 【請求項１３】 特徴量検出部が、動領域内の画像デー
    タの色情報として、動領域内画像データの彩度がある閾
    値以上となる画素の色相値の度数分布を基に動領域をＭ
    個（Ｍは正の整数）に分割し、分割された分割動領域の
    代表値となる色相値を移動物体の特徴量として検出する
    請求項９記載の動画像処理装置。
14. 【請求項１４】 特徴量検出部が、色相値によって分割
    された分割動領域の大きさの比率を移動物体の特徴量と
    して検出する請求項１３記載の動画像処理装置。
15. 【請求項１５】 特徴量検出部が、分割された分割動領
    域の各位置情報を求め、これを移動物体の特徴量として
    検出する請求項１３記載の動画像処理装置。
16. 【請求項１６】 特徴量検出部が、動領域内の画像デー
    タの輝度及び色情報を処理して輝度及び色情報ベクトル
    空間における度数分布を求め、移動物体の特徴量として
    検出する請求項１から３のいずれかに記載の動画像処理
    装置。
17. 【請求項１７】 特徴量検出部が、動領域内の画像デー
    タの形状情報を求め、それを移動物体の特徴量として検
    出する請求項１から３のいずれかに記載の動画像処理装
    置。
18. 【請求項１８】 特徴量検出部が、動領域の画素数をそ
    の動領域に対応する移動物体の形状情報として検出し、
    移動物体の特徴量とする請求項１７記載の動画像処理装
    置。
19. 【請求項１９】 特徴量検出部が、動領域の外接長方形
    を作成し、動領域の画素数の外接長方形の画素数に占め
    る割合を動領域の画像データの形状情報として検出し、
    移動物体の特徴量とする請求項１７記載の動画像処理装
    置。
20. 【請求項２０】 特徴量検出部が、動領域内の画像デー
    タのテクスチャ情報を求め、それを移動物体の特徴量と
    して検出する請求項１から３のいずれかに記載の動画像
    処理装置。
21. 【請求項２１】 特徴量検出部が、動領域内の画像デー
    タのテクスチャ情報として動領域内の輝度微分値を求
    め、その度数分布を移動物体の特徴量として検出する請
    求項２０記載の動画像処理装置。
22. 【請求項２２】 特徴量検出部が、動領域内の画像デー
    タのテクスチャ情報として動領域内の輝度微分値を求
    め、その分布を基に動領域をＭ個（Ｍは正の整数）に分
    割し、分割された分割動領域の代表値となる輝度微分値
    を移動物体の特徴量として検出する請求項２０記載の動
    画像処理装置。
23. 【請求項２３】 特徴量検出部が、テクスチャ情報によ
    って分割された分割動領域の大きさの比率を移動物体の
    特徴量として検出する請求項２２記載の動画像処理装
    置。
24. 【請求項２４】 特徴量検出部が、分割された分割動領
    域の各位置情報を求め、移動物体の特徴量として検出す
    る請求項２２記載の動画像処理装置。
25. 【請求項２５】 特徴量検出部が、移動物体の特徴点に
    おける移動ベクトル検出部を有する請求項１から３のい
    ずれかに記載の動画処理装置。
26. 【請求項２６】 位置検出部が、移動物体の運動平面と
    の接点の最上点を検出して位置情報とする請求項１から
    ２５のいずれかに記載の動画像処理装置。
27. 【請求項２７】 位置検出部が、移動物体の運動平面と
    の接点を検出して位置情報とする請求項１から２５のい
    ずれかに記載の動画像処理装置。
28. 【請求項２８】 位置検出部が、移動物体の運動平面と
    の接点を検出して位置情報とし、遮蔽物で運動平面との
    接点が隠れた場合移動物体の接点からの最上点を検出
    し、その位置から移動物体の推定高により運動平面との
    接点位置を求め位置情報とする請求項２７記載の動画像
    処理装置。
29. 【請求項２９】 時系列処理部が、各特徴量検出部によ
    って検出された特徴量の時系列特徴量として、現フレー
    ム処理において検出された特徴量とそれ以前のフレーム
    処理において算出されていた時系列特徴量を基に新たな
    時系列特徴量を算出し、現フレームにおける時系列特徴
    量とする請求項１から２８のいずれかに記載の動画像処
    理装置。
30. 【請求項３０】 時系列処理部が、各特徴量検出部によ
    って検出された特徴量の時系列特徴量として、現フレー
    ム処理において検出された特徴量とＫフレーム前（Ｋは
    正の整数）の処理に検出された特徴量との差の絶対値と
    それ以前のフレーム処理において算出されていたフレー
    ム間の差の絶対値の時系列特徴量を基に新たな時系列特
    徴量を算出し、現フレームにおけるフレーム間時系列特
    徴量として算出する請求項１から２８のいずれかに記載
    の動画像処理装置。
31. 【請求項３１】 移動物体識別部が、移動物体の特徴点
    において検出された動領域内の複数の移動ベクトルによ
    って、移動物体が剛体であるか非剛体であるかを識別す
    る請求項２５記載の動画像処理装置。
32. 【請求項３２】 移動物体識別部が、非剛体の形状特徴
    量の時間的変化の固有周期により、非剛体の運動の特徴
    を抽出し識別を行う請求項３１記載の動画像処理装置。
33. 【請求項３３】 移動物体識別部が、識別結果に応じて
    画像間演算処理部、動領域整形部、特徴量検出部、位置
    検出部に対し処理パラメータ変更指令を指示する請求項
    １から３２のいずれかに記載の動画像処理装置。