JPH0981753A - 移動物体抽出装置 - Google Patents
移動物体抽出装置Info
- Publication number
- JPH0981753A JPH0981753A JP23269995A JP23269995A JPH0981753A JP H0981753 A JPH0981753 A JP H0981753A JP 23269995 A JP23269995 A JP 23269995A JP 23269995 A JP23269995 A JP 23269995A JP H0981753 A JPH0981753 A JP H0981753A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- image
- shape pattern
- moving object
- pattern image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 監視装置等で移動物体を抽出するに際し、検
出動領域の分断や影等による変形、移動物体どうしの遮
蔽及び遮蔽の解消検知して正しい対象物体像を抽出で
き、かつ迅速に遮蔽解消時点を特定できるようにする。 【構成】 サンプリング手段１０１と動領域検出手段１
０２とで動領域２値画像を得、これを動領域対応付け手
段１０３でラベリングし前後フレーム間のラベルの重な
り合い情報をグラフとして保持し、このグラフに基づき
ラベルの時間軸順方向グルーピング・時間軸逆方向グル
ーピングを行うことによって動領域の分断・融合・分離
によらず正しい対象物体像を抽出することができる。
出動領域の分断や影等による変形、移動物体どうしの遮
蔽及び遮蔽の解消検知して正しい対象物体像を抽出で
き、かつ迅速に遮蔽解消時点を特定できるようにする。 【構成】 サンプリング手段１０１と動領域検出手段１
０２とで動領域２値画像を得、これを動領域対応付け手
段１０３でラベリングし前後フレーム間のラベルの重な
り合い情報をグラフとして保持し、このグラフに基づき
ラベルの時間軸順方向グルーピング・時間軸逆方向グル
ーピングを行うことによって動領域の分断・融合・分離
によらず正しい対象物体像を抽出することができる。
Description
【０００１】
【産業上の利用分野】本発明は、監視装置等において動
画像から動領域を検出して正確に移動物体を抽出するた
めの技術に関する。
画像から動領域を検出して正確に移動物体を抽出するた
めの技術に関する。
【０００２】
【従来の技術】動画像から、フレーム間または背景画像
との差分を用いて移動物体を抽出する際に特に問題とな
るのは、一つには移動物体と背景との間の輝度・色度信
号差が出ないことによる検出動領域の分断であり、もう
一つには移動物体どうしまたは移動物体と静止物体との
間で起こる遮蔽である。これら両者の問題について解決
を試みた従来例として『時系列差分画像を用いた複数移
動物体の抽出及び追跡』（嶺・八木・谷内田、情報処理
学会研究報告、CV-81-7 、51-55)がある。この方式の処
理の流れについて図面を参照しながら説明する。図１５
において、ステップ１２０１は時系列画像から動きのあ
った領域を検出して変化領域を抽出する処理であり、ス
テップ１２０２は変化領域を画像内および時間方向でラ
ベリングする時空間ラベリング処理であり、ステップ１
２０３はラベリングされた各領域を時間方向にグルーピ
ングするグルーピング処理であり、ステップ１２０４は
グルーピングされた各移動物体に時間方向に対応付けて
同定する、移動物体の対応付け処理である。前記方式
は、このようにして検出動領域の分断並びに遮蔽の問題
を解決することを試みたものである。
との差分を用いて移動物体を抽出する際に特に問題とな
るのは、一つには移動物体と背景との間の輝度・色度信
号差が出ないことによる検出動領域の分断であり、もう
一つには移動物体どうしまたは移動物体と静止物体との
間で起こる遮蔽である。これら両者の問題について解決
を試みた従来例として『時系列差分画像を用いた複数移
動物体の抽出及び追跡』（嶺・八木・谷内田、情報処理
学会研究報告、CV-81-7 、51-55)がある。この方式の処
理の流れについて図面を参照しながら説明する。図１５
において、ステップ１２０１は時系列画像から動きのあ
った領域を検出して変化領域を抽出する処理であり、ス
テップ１２０２は変化領域を画像内および時間方向でラ
ベリングする時空間ラベリング処理であり、ステップ１
２０３はラベリングされた各領域を時間方向にグルーピ
ングするグルーピング処理であり、ステップ１２０４は
グルーピングされた各移動物体に時間方向に対応付けて
同定する、移動物体の対応付け処理である。前記方式
は、このようにして検出動領域の分断並びに遮蔽の問題
を解決することを試みたものである。
【０００３】
【発明が解決しようとする課題】しかしながら、前記従
来の技術では、第一に、検出された動領域に対して一定
のフレーム数にわたってグルーピングを行うため、実際
に遮蔽が解消された時点を特定できないという欠点があ
った。また第二に、対象物体の影などによる検出動領域
の変形を考慮しておらず、検出動領域に影などが含まれ
た場合に正しい対象物体像を追跡できないという欠点が
あった。
来の技術では、第一に、検出された動領域に対して一定
のフレーム数にわたってグルーピングを行うため、実際
に遮蔽が解消された時点を特定できないという欠点があ
った。また第二に、対象物体の影などによる検出動領域
の変形を考慮しておらず、検出動領域に影などが含まれ
た場合に正しい対象物体像を追跡できないという欠点が
あった。
【０００４】本発明は前記従来の問題点に鑑みてなされ
たもので、その第一の目的は、背景との十分な輝度・色
度差がない等の原因で同一移動物体内で動領域の分断が
生じても正しく同一物体と認識することができる移動物
体抽出装置を提供することである。
たもので、その第一の目的は、背景との十分な輝度・色
度差がない等の原因で同一移動物体内で動領域の分断が
生じても正しく同一物体と認識することができる移動物
体抽出装置を提供することである。
【０００５】本発明の第二の目的は、移動物体どうしの
遮蔽が起こった際にこれを検知することができる移動物
体抽出装置を提供することである。
遮蔽が起こった際にこれを検知することができる移動物
体抽出装置を提供することである。
【０００６】本発明の第三の目的は、遮蔽が解消した場
合に迅速にこれを認識して遮蔽解消時点を特定できる移
動物体抽出装置を提供することである。
合に迅速にこれを認識して遮蔽解消時点を特定できる移
動物体抽出装置を提供することである。
【０００７】本発明の第四の目的は、検出動領域から対
象物体の影等の部分を除去して正しい対象物体像を抽出
できる移動物体抽出装置を提供することである。
象物体の影等の部分を除去して正しい対象物体像を抽出
できる移動物体抽出装置を提供することである。
【０００８】
【課題を解決するための手段】前記目的を達成するため
に本発明の移動物体抽出装置は、第一に、映像信号をサ
ンプリングして原画像を出力するサンプリング手段と、
原画像から動領域を検出して動領域２値画像を出力する
動領域検出手段と、動領域２値画像の中で同一の移動物
体に相当する動領域に対応付けを行なって移動物体画像
を出力する動領域対応付け手段とを備え、前記動領域対
応付け手段が、時間的に相前後するフレームの動領域２
値画像の間で同一の移動物体に相当する動領域の対応関
係をグラフ化し、前記グラフに基づき時間軸の順方向に
動領域をグルーピングするとともに、前記グラフに基づ
き時間軸逆方向に動領域を再グルーピングすることによ
って移動物体画像を生成することを特徴とした構成とな
っている。
に本発明の移動物体抽出装置は、第一に、映像信号をサ
ンプリングして原画像を出力するサンプリング手段と、
原画像から動領域を検出して動領域２値画像を出力する
動領域検出手段と、動領域２値画像の中で同一の移動物
体に相当する動領域に対応付けを行なって移動物体画像
を出力する動領域対応付け手段とを備え、前記動領域対
応付け手段が、時間的に相前後するフレームの動領域２
値画像の間で同一の移動物体に相当する動領域の対応関
係をグラフ化し、前記グラフに基づき時間軸の順方向に
動領域をグルーピングするとともに、前記グラフに基づ
き時間軸逆方向に動領域を再グルーピングすることによ
って移動物体画像を生成することを特徴とした構成とな
っている。
【０００９】また前記目的を達成するために本発明の移
動物体抽出装置は、第二に、映像信号をサンプリングし
て原画像を出力するサンプリング手段と、原画像から動
領域を検出して動領域２値画像を出力する動領域検出手
段と、動領域２値画像の連結成分をラベリングして動領
域ラベル画像を出力するラベリング手段と、動領域整形
手段から出力される移動物体画像を用いて各移動物体の
形状パターン画像を形成及び更新する形状パターン画像
生成手段と、形状パターン画像を用いて動領域ラベル画
像を整形して移動物体画像を出力する動領域整形手段と
を備えた構成となっている。
動物体抽出装置は、第二に、映像信号をサンプリングし
て原画像を出力するサンプリング手段と、原画像から動
領域を検出して動領域２値画像を出力する動領域検出手
段と、動領域２値画像の連結成分をラベリングして動領
域ラベル画像を出力するラベリング手段と、動領域整形
手段から出力される移動物体画像を用いて各移動物体の
形状パターン画像を形成及び更新する形状パターン画像
生成手段と、形状パターン画像を用いて動領域ラベル画
像を整形して移動物体画像を出力する動領域整形手段と
を備えた構成となっている。
【００１０】また前記目的を達成するために本発明の移
動物体抽出装置は、第三に、映像信号をサンプリングし
て原画像を出力するサンプリング手段と、原画像から動
領域を検出して動領域２値画像を出力する動領域検出手
段と、動領域２値画像の連結成分をラベリングして動領
域ラベル画像を出力するラベリング手段と、動領域ラベ
ル画像を用いて各移動物体の形状パターン画像を形成及
び更新する形状パターン画像生成手段と、形状パターン
画像を用いて動領域ラベル画像を整形して移動物体画像
を出力する動領域整形手段とを備えた構成となってい
る。
動物体抽出装置は、第三に、映像信号をサンプリングし
て原画像を出力するサンプリング手段と、原画像から動
領域を検出して動領域２値画像を出力する動領域検出手
段と、動領域２値画像の連結成分をラベリングして動領
域ラベル画像を出力するラベリング手段と、動領域ラベ
ル画像を用いて各移動物体の形状パターン画像を形成及
び更新する形状パターン画像生成手段と、形状パターン
画像を用いて動領域ラベル画像を整形して移動物体画像
を出力する動領域整形手段とを備えた構成となってい
る。
【００１１】
【作用】前記第一の構成により、背景との十分な輝度・
色度差がない場合に同一移動物体内で動領域の分断が生
じても同一物体と認識し、かつ移動物体どうしの遮蔽が
起こった際にこれを検知し、さらに遮蔽が解消した場合
に迅速にこれを認識して遮蔽解消時点を特定する移動物
体抽出装置を提供できる。また前記第二または第三の構
成により、検出動領域から対象物体の影等の部分を除去
して正しい対象物体像を抽出する移動物体抽出装置を提
供できる。
色度差がない場合に同一移動物体内で動領域の分断が生
じても同一物体と認識し、かつ移動物体どうしの遮蔽が
起こった際にこれを検知し、さらに遮蔽が解消した場合
に迅速にこれを認識して遮蔽解消時点を特定する移動物
体抽出装置を提供できる。また前記第二または第三の構
成により、検出動領域から対象物体の影等の部分を除去
して正しい対象物体像を抽出する移動物体抽出装置を提
供できる。
【００１２】
（実施例１）以下、本発明の第一の実施例について図面
を参照しながら説明する。まず、本発明の第一の実施例
の基本構成について図１ならびに図２を用いて説明す
る。図１は本発明の第一の実施例の基本構成を表したブ
ロック図である。図１において、１０１は映像信号２１
１をサンプリングして原画像２１２を出力するサンプリ
ング手段であり、１０２は原画像２１２から動領域を検
出して動領域２値画像２１３を出力する動領域検出手段
であり、１０３は時間的に相前後するフレームの動領域
２値画像の間で同一の移動物体に相当する動領域の対応
関係をグラフ化し、前記グラフに基づき時間軸の順方向
に動領域をグルーピングするとともに、前記グラフに基
づき時間軸の逆方向に動領域を再グルーピングすること
によって、原画像中で移動物体に相当する領域を正確に
ラベリングした移動物体画像２１４を生成する動領域対
応付け手段である。
を参照しながら説明する。まず、本発明の第一の実施例
の基本構成について図１ならびに図２を用いて説明す
る。図１は本発明の第一の実施例の基本構成を表したブ
ロック図である。図１において、１０１は映像信号２１
１をサンプリングして原画像２１２を出力するサンプリ
ング手段であり、１０２は原画像２１２から動領域を検
出して動領域２値画像２１３を出力する動領域検出手段
であり、１０３は時間的に相前後するフレームの動領域
２値画像の間で同一の移動物体に相当する動領域の対応
関係をグラフ化し、前記グラフに基づき時間軸の順方向
に動領域をグルーピングするとともに、前記グラフに基
づき時間軸の逆方向に動領域を再グルーピングすること
によって、原画像中で移動物体に相当する領域を正確に
ラベリングした移動物体画像２１４を生成する動領域対
応付け手段である。
【００１３】次に、図２は本発明の第一の実施例の基本
構成を、特に動領域対応付け手段についてより細かく表
したブロック図である。図２において、１０１は映像信
号２１１をサンプリングして原画像２１２を出力するサ
ンプリング手段であり、１０２は原画像２１２から動領
域を検出して動領域２値画像２１３を出力する動領域検
出手段であり、１０３は動領域２値画像２１３の中で同
一の移動物体に相当する動領域に対応付けを行なって移
動物体画像２１４を出力する動領域対応付け手段であ
り、１０４は動領域２値画像２１３の連結成分をラベリ
ングして動領域ラベル画像２１５を出力するラベリング
手段であり、１０５は時間的に相前後する動領域ラベル
画像２１５の各連結成分の間の対応関係を検出して対応
関係グラフ２１６を出力する対応関係グラフ生成手段で
あり、１０６は対応関係グラフ２１６を時間軸の順方向
に追跡することで動領域ラベル画像２１５と移動物体画
像２１４との各連結成分のうち同じ動物体に相当すると
みなされるものに同じラベルを振り直して動物体グルー
プ画像２１７を出力する順方向グルーピング手段であ
り、１０７は対応関係グラフ２１６を時間軸の逆方向に
追跡することで動物体グループ画像２１７の各グループ
内の連結成分のうち異なる動物体に相当するとみなされ
るものに再度異なるラベルを振り直して移動物体画像２
１４を出力する逆方向グルーピング手段である。
構成を、特に動領域対応付け手段についてより細かく表
したブロック図である。図２において、１０１は映像信
号２１１をサンプリングして原画像２１２を出力するサ
ンプリング手段であり、１０２は原画像２１２から動領
域を検出して動領域２値画像２１３を出力する動領域検
出手段であり、１０３は動領域２値画像２１３の中で同
一の移動物体に相当する動領域に対応付けを行なって移
動物体画像２１４を出力する動領域対応付け手段であ
り、１０４は動領域２値画像２１３の連結成分をラベリ
ングして動領域ラベル画像２１５を出力するラベリング
手段であり、１０５は時間的に相前後する動領域ラベル
画像２１５の各連結成分の間の対応関係を検出して対応
関係グラフ２１６を出力する対応関係グラフ生成手段で
あり、１０６は対応関係グラフ２１６を時間軸の順方向
に追跡することで動領域ラベル画像２１５と移動物体画
像２１４との各連結成分のうち同じ動物体に相当すると
みなされるものに同じラベルを振り直して動物体グルー
プ画像２１７を出力する順方向グルーピング手段であ
り、１０７は対応関係グラフ２１６を時間軸の逆方向に
追跡することで動物体グループ画像２１７の各グループ
内の連結成分のうち異なる動物体に相当するとみなされ
るものに再度異なるラベルを振り直して移動物体画像２
１４を出力する逆方向グルーピング手段である。
【００１４】次に、本発明の第一の実施例の具体的構成
について図３を参照しながら説明する。図３において、
１０１は映像信号２１１をサンプリングして原画像２１
２を出力するサンプリング手段であり、１０２は原画像
２１２から動領域を検出して動領域２値画像２１３を出
力する動領域検出手段であり、１０３は動領域２値画像
２１３の中で同一の移動物体に相当する動領域に対応付
けを行なって移動物体画像２１４を出力する動領域対応
付け手段であり、１０４は動領域２値画像２１３の連結
成分をラベリングして動領域ラベル画像２１５を出力す
るラベリング手段であり、１０５は時間的に相前後する
動領域ラベル画像２１５の各連結成分の間の対応関係を
検出して対応関係グラフ２１６を出力する対応関係グラ
フ生成手段であり、これらの各手段（機能部）は前記図
２中で説明されているものと同様である。
について図３を参照しながら説明する。図３において、
１０１は映像信号２１１をサンプリングして原画像２１
２を出力するサンプリング手段であり、１０２は原画像
２１２から動領域を検出して動領域２値画像２１３を出
力する動領域検出手段であり、１０３は動領域２値画像
２１３の中で同一の移動物体に相当する動領域に対応付
けを行なって移動物体画像２１４を出力する動領域対応
付け手段であり、１０４は動領域２値画像２１３の連結
成分をラベリングして動領域ラベル画像２１５を出力す
るラベリング手段であり、１０５は時間的に相前後する
動領域ラベル画像２１５の各連結成分の間の対応関係を
検出して対応関係グラフ２１６を出力する対応関係グラ
フ生成手段であり、これらの各手段（機能部）は前記図
２中で説明されているものと同様である。
【００１５】対応関係グラフ生成手段１０５の内部構造
として、１０８は１フレームまたはそれ以上の枚数の動
領域ラベル画像２１５を記憶する動領域ラベル画像記憶
手段であり、１０９は動領域ラベル画像記憶手段１０８
から時間的に相前後する２フレームの動領域ラベル画像
２１５を入力し両者にそれぞれ含まれる各連結成分どう
しの全ての組み合わせについて対応の有無を判定し出力
する対応検出手段であり、１１０は対応検出手段１０９
の判定に基づき対応関係グラフ２１６を生成及び更新・
記憶・出力する対応関係グラフ記憶手段である。１０６
は対応関係グラフ２１６を時間軸の順方向に追跡するこ
とで動領域ラベル画像２１５と移動物体画像２１４との
各連結成分のうち同じ動物体に相当するとみなされるも
のに同じラベルを振り直して動物体グループ画像２１７
を出力する順方向グルーピング手段である。
として、１０８は１フレームまたはそれ以上の枚数の動
領域ラベル画像２１５を記憶する動領域ラベル画像記憶
手段であり、１０９は動領域ラベル画像記憶手段１０８
から時間的に相前後する２フレームの動領域ラベル画像
２１５を入力し両者にそれぞれ含まれる各連結成分どう
しの全ての組み合わせについて対応の有無を判定し出力
する対応検出手段であり、１１０は対応検出手段１０９
の判定に基づき対応関係グラフ２１６を生成及び更新・
記憶・出力する対応関係グラフ記憶手段である。１０６
は対応関係グラフ２１６を時間軸の順方向に追跡するこ
とで動領域ラベル画像２１５と移動物体画像２１４との
各連結成分のうち同じ動物体に相当するとみなされるも
のに同じラベルを振り直して動物体グループ画像２１７
を出力する順方向グルーピング手段である。
【００１６】この順方向グルーピング手段１０６を構成
する機能部として、１１１は逆方向グルーピング手段１
０７が出力する前フレームの移動物体画像２１４を記憶
しかつ出力する移動物体画像記憶手段であり、１１２
は、対応関係グラフ２１６に基づき、動領域ラベル画像
２１５の各連結成分のうち、移動物体画像記憶手段１１
１が出力する移動物体画像２１４のいずれかの移動物体
領域との間に対応関係のあるものには前記移動物体領域
と同じラベル番号を振り直し、かつ前記移動物体画像２
１４のどの移動物体領域とも対応関係のないものには新
しいラベル番号を振り直すことによって動物体グループ
画像２１７を作成して出力する第一の再ラベリング手段
である。１０７は対応関係グラフ２１６を時間軸の逆方
向に追跡することで動物体グループ画像２１７の各グル
ープ内の連結成分のうち異なる動物体に相当するとみな
されるものに再度異なるラベルを振り直して移動物体画
像２１４を出力する逆方向グルーピング手段である。１
１３は動物体グループ画像２１７の各連結成分で同じラ
ベル番号を持つものの全ての組み合わせについて対応関
係グラフ２１６を一定フレーム数時間だけ時間軸の逆方
向に遡ることにより異なる物体であるかどうかを判定す
る動物体判定手段である。また、１１４は動物体判定手
段１１３により異なる物体と判定された組み合わせにつ
いて異なるラベル番号を振り直すことによって移動物体
画像２１４を作成して出力する第二の再ラベリング手段
である。
する機能部として、１１１は逆方向グルーピング手段１
０７が出力する前フレームの移動物体画像２１４を記憶
しかつ出力する移動物体画像記憶手段であり、１１２
は、対応関係グラフ２１６に基づき、動領域ラベル画像
２１５の各連結成分のうち、移動物体画像記憶手段１１
１が出力する移動物体画像２１４のいずれかの移動物体
領域との間に対応関係のあるものには前記移動物体領域
と同じラベル番号を振り直し、かつ前記移動物体画像２
１４のどの移動物体領域とも対応関係のないものには新
しいラベル番号を振り直すことによって動物体グループ
画像２１７を作成して出力する第一の再ラベリング手段
である。１０７は対応関係グラフ２１６を時間軸の逆方
向に追跡することで動物体グループ画像２１７の各グル
ープ内の連結成分のうち異なる動物体に相当するとみな
されるものに再度異なるラベルを振り直して移動物体画
像２１４を出力する逆方向グルーピング手段である。１
１３は動物体グループ画像２１７の各連結成分で同じラ
ベル番号を持つものの全ての組み合わせについて対応関
係グラフ２１６を一定フレーム数時間だけ時間軸の逆方
向に遡ることにより異なる物体であるかどうかを判定す
る動物体判定手段である。また、１１４は動物体判定手
段１１３により異なる物体と判定された組み合わせにつ
いて異なるラベル番号を振り直すことによって移動物体
画像２１４を作成して出力する第二の再ラベリング手段
である。
【００１７】このように構成された本発明の移動物体抽
出装置の実施例の動作について、図面を参照しながら説
明する。まず、対応関係グラフについて図１１を用いて
説明する。図１１において、９０１、９０２、９０３は
３つの連続したフレーム（１）〜（３）を表す。各フレ
ーム内に記された「１」「２」などの数字は、当該フレ
ームで検出された動領域の連結領域をラベリング・付番
した数字を示す。９０４、９０５はそれぞれ、フレーム
（１）と（２）と、フレーム（２）と（３）とを、重ね
合わせた画像を模式的に示したものである。９０４にお
いて、フレーム（１）のラベル１( 人物頭部) とフレー
ム（２）のラベル１( 人物上半身) とが重なり合い、ま
たフレーム（１）のラベル２( 人物胴体・脚部) とフレ
ーム（２）のラベル１及び２とが重なり合っている。同
様にフレーム（２）とフレーム（３）の各ラベルの重な
り合いを９０５に示した。９０６は、これらの重なり合
い関係をリンクとし、各ラベルをノードとして、各フレ
ーム間のラベルの対応関係をグラフで表したものであ
る。これを対応関係グラフと呼ぶことにする。
出装置の実施例の動作について、図面を参照しながら説
明する。まず、対応関係グラフについて図１１を用いて
説明する。図１１において、９０１、９０２、９０３は
３つの連続したフレーム（１）〜（３）を表す。各フレ
ーム内に記された「１」「２」などの数字は、当該フレ
ームで検出された動領域の連結領域をラベリング・付番
した数字を示す。９０４、９０５はそれぞれ、フレーム
（１）と（２）と、フレーム（２）と（３）とを、重ね
合わせた画像を模式的に示したものである。９０４にお
いて、フレーム（１）のラベル１( 人物頭部) とフレー
ム（２）のラベル１( 人物上半身) とが重なり合い、ま
たフレーム（１）のラベル２( 人物胴体・脚部) とフレ
ーム（２）のラベル１及び２とが重なり合っている。同
様にフレーム（２）とフレーム（３）の各ラベルの重な
り合いを９０５に示した。９０６は、これらの重なり合
い関係をリンクとし、各ラベルをノードとして、各フレ
ーム間のラベルの対応関係をグラフで表したものであ
る。これを対応関係グラフと呼ぶことにする。
【００１８】次に、順方向並びに逆方向グルーピングに
ついて、図面を参照しながら説明する。図１２、図１３
は前記対応関係グラフの一例を示したものである。図１
２、図１３において、（１）−１、（２）−１等の符号
を付して示したマークはいずれも各フレームに含まれる
ラベルを示す。
ついて、図面を参照しながら説明する。図１２、図１３
は前記対応関係グラフの一例を示したものである。図１
２、図１３において、（１）−１、（２）−１等の符号
を付して示したマークはいずれも各フレームに含まれる
ラベルを示す。
【００１９】まず、順方向グルーピングについて図１２
を参照しながら説明する。図１２は、移動物体の追尾中
にフレーム（３）で一時的な分断が起こりその後フレー
ム（５）で再び回復した場合に想定される対応関係グラ
フの一例を模式的に表したものである。順方向グルーピ
ングでは、対応関係グラフに基づき、リンクで結ばれた
ラベルは同一移動物体に相当するものとみなす。従っ
て、図１２において、フレーム（１）〜フレーム（２）
までの間は［（１）−１、（２）−１］を一つの移動物
体に相当するグループと判定し、同じラベル番号をもっ
て再ラベリングを行なう。フレーム（３）において前記
グループは二つのラベルとリンクを持つ。このとき、順
方向グルーピングにおいては動物体の分断が起こったも
のとみなし、ラベル（３）−１及び（３）−２を前記グ
ループと同一の移動物体に相当するものと判定して前記
グループに加え、同じラベル番号をもって再ラベリング
を行なう。
を参照しながら説明する。図１２は、移動物体の追尾中
にフレーム（３）で一時的な分断が起こりその後フレー
ム（５）で再び回復した場合に想定される対応関係グラ
フの一例を模式的に表したものである。順方向グルーピ
ングでは、対応関係グラフに基づき、リンクで結ばれた
ラベルは同一移動物体に相当するものとみなす。従っ
て、図１２において、フレーム（１）〜フレーム（２）
までの間は［（１）−１、（２）−１］を一つの移動物
体に相当するグループと判定し、同じラベル番号をもっ
て再ラベリングを行なう。フレーム（３）において前記
グループは二つのラベルとリンクを持つ。このとき、順
方向グルーピングにおいては動物体の分断が起こったも
のとみなし、ラベル（３）−１及び（３）−２を前記グ
ループと同一の移動物体に相当するものと判定して前記
グループに加え、同じラベル番号をもって再ラベリング
を行なう。
【００２０】フレーム（４）においても同様に、ラベル
（４）−１及び（４）−２を前記グループと同一の移動
物体に相当するものと判定して前記グループに加え、同
じラベル番号をもって再ラベリングを行なう。フレーム
（５）以降は再び単一のラベルに戻り、ラベル（５）−
１、（６）−１を前記グループに加え、同じラベル番号
をもって再ラベリングを行なう。このようにして、順方
向グルーピング手順を経ることにより、同一移動物体に
相当する動領域に一時的な分断が起こってもこれらの動
領域を一つの移動物体として同じラベル番号をもって再
ラベリングを行なうことが可能となる。
（４）−１及び（４）−２を前記グループと同一の移動
物体に相当するものと判定して前記グループに加え、同
じラベル番号をもって再ラベリングを行なう。フレーム
（５）以降は再び単一のラベルに戻り、ラベル（５）−
１、（６）−１を前記グループに加え、同じラベル番号
をもって再ラベリングを行なう。このようにして、順方
向グルーピング手順を経ることにより、同一移動物体に
相当する動領域に一時的な分断が起こってもこれらの動
領域を一つの移動物体として同じラベル番号をもって再
ラベリングを行なうことが可能となる。
【００２１】次に、逆方向グルーピングについて図１３
を参照しながら説明する。図１３は、離れた位置にあっ
た二つの移動物体がフレーム（４）からフレーム（６）
にかけて重なり合いながらすれ違い、その後再び離れた
場合に想定される対応関係グラフの一例を模式的に表し
たものである。この場合に、前記順方向グルーピング手
順では、フレーム（１）からフレーム（３）まで二つの
移動物体と判定されていた二つのグループがフレーム
（４）で一つの移動物体に相当するグループと判定さ
れ、フレーム（７）以降移動物体が離れた後も引き続き
一つの移動物体に相当するものと判定され、同じラベル
番号で再ラベリングされ続けてしまう。
を参照しながら説明する。図１３は、離れた位置にあっ
た二つの移動物体がフレーム（４）からフレーム（６）
にかけて重なり合いながらすれ違い、その後再び離れた
場合に想定される対応関係グラフの一例を模式的に表し
たものである。この場合に、前記順方向グルーピング手
順では、フレーム（１）からフレーム（３）まで二つの
移動物体と判定されていた二つのグループがフレーム
（４）で一つの移動物体に相当するグループと判定さ
れ、フレーム（７）以降移動物体が離れた後も引き続き
一つの移動物体に相当するものと判定され、同じラベル
番号で再ラベリングされ続けてしまう。
【００２２】逆方向グルーピングはこの不具合を回避す
るためのもので、最新（つまり、直近）のフレームから
時間軸を逆方向に一定フレーム数（例えば２フレーム）
さかのぼってグルーピングを行なうものである。さかの
ぼるフレーム数は撮影環境や想定される対象移動物体の
標準的な大きさや速度などによって適切に決定する。時
間軸を逆方向に２フレームさかのぼってグルーピングす
ることにより、フレーム（９）において逆方向グルーピ
ングを行えば、［（９）−１、（８）−１、（７）−
１］及び［（９）−２、（８）−２、（７）−２］をそ
れぞれ別の移動物体に相当するグループとして分割し、
異なるラベル番号をもって再ラベリングを行なうことが
できる。従って、順方向グルーピングに並行して逆方向
グルーピングを行なうことで、移動物体が重なり合った
後に離れた場合に、一定のタイムラグの後にこれを検出
し、異なるラベル番号をもって再ラベリングを行なうこ
とが可能となる。
るためのもので、最新（つまり、直近）のフレームから
時間軸を逆方向に一定フレーム数（例えば２フレーム）
さかのぼってグルーピングを行なうものである。さかの
ぼるフレーム数は撮影環境や想定される対象移動物体の
標準的な大きさや速度などによって適切に決定する。時
間軸を逆方向に２フレームさかのぼってグルーピングす
ることにより、フレーム（９）において逆方向グルーピ
ングを行えば、［（９）−１、（８）−１、（７）−
１］及び［（９）−２、（８）−２、（７）−２］をそ
れぞれ別の移動物体に相当するグループとして分割し、
異なるラベル番号をもって再ラベリングを行なうことが
できる。従って、順方向グルーピングに並行して逆方向
グルーピングを行なうことで、移動物体が重なり合った
後に離れた場合に、一定のタイムラグの後にこれを検出
し、異なるラベル番号をもって再ラベリングを行なうこ
とが可能となる。
【００２３】以下、本発明の移動物体抽出装置の実施例
の動作について、図４を参照しながら説明する。図４に
示す通り、本実施例の移動物体抽出装置は、まず処理ス
テップ（以下単にステップという）４０１でサンプリン
グされた画像から動画像を検出する処理を行なう。この
処理内容については、例えば前後する二つまたはそれ以
上のフレーム間での差分信号を２値化して検出すること
もできるし、また予め別に撮影ないし形成された背景画
像との差分信号を２値化して検出することもできる。こ
のようにして形成された動領域２値画像に対して、ステ
ップ４０２で連結成分のラベリング処理を行なう。この
際に、画素数が一定のしきい値に満たない連結成分をノ
イズと見なして除去するなどの処理を併せて行なっても
よい。次にステップ４０３で、時間的に前後する動領域
２値画像を比較して、対応関係グラフを作成する。ステ
ップ４０３で形成された対応関係グラフおよび過去のラ
ベリング結果をもとにステップ４０４で順方向グルーピ
ングを、またステップ４０３で形成された対応関係グラ
フをもとにステップ４０５で逆方向グルーピングを行な
う。
の動作について、図４を参照しながら説明する。図４に
示す通り、本実施例の移動物体抽出装置は、まず処理ス
テップ（以下単にステップという）４０１でサンプリン
グされた画像から動画像を検出する処理を行なう。この
処理内容については、例えば前後する二つまたはそれ以
上のフレーム間での差分信号を２値化して検出すること
もできるし、また予め別に撮影ないし形成された背景画
像との差分信号を２値化して検出することもできる。こ
のようにして形成された動領域２値画像に対して、ステ
ップ４０２で連結成分のラベリング処理を行なう。この
際に、画素数が一定のしきい値に満たない連結成分をノ
イズと見なして除去するなどの処理を併せて行なっても
よい。次にステップ４０３で、時間的に前後する動領域
２値画像を比較して、対応関係グラフを作成する。ステ
ップ４０３で形成された対応関係グラフおよび過去のラ
ベリング結果をもとにステップ４０４で順方向グルーピ
ングを、またステップ４０３で形成された対応関係グラ
フをもとにステップ４０５で逆方向グルーピングを行な
う。
【００２４】次のステップ４０６では、逆方向グルーピ
ングの結果にもとづき、順方向グルーピングの結果に既
に分離した移動物体を一つの移動物体にグルーピングし
ているなどの過剰なグループ化が行なわれていないかを
判定する。その結果、過剰なグループ化が行なわれてい
ると判定されれば、逆方向グルーピングの結果に従って
ステップ４０６で再グルーピングを行なう。過剰なグル
ープ化が行なわれていないと判定されれば、順方向グル
ーピングの結果をそのまま出力する。グルーピングの結
果に基づいてステップ４０７で再ラベリングを行ない、
前記ラベリング結果記憶手段にラベリング結果を記憶す
る。このラベリング結果は次フレームにおいてステップ
４０４の順方向ラベリングにフィードバックされる。
ングの結果にもとづき、順方向グルーピングの結果に既
に分離した移動物体を一つの移動物体にグルーピングし
ているなどの過剰なグループ化が行なわれていないかを
判定する。その結果、過剰なグループ化が行なわれてい
ると判定されれば、逆方向グルーピングの結果に従って
ステップ４０６で再グルーピングを行なう。過剰なグル
ープ化が行なわれていないと判定されれば、順方向グル
ーピングの結果をそのまま出力する。グルーピングの結
果に基づいてステップ４０７で再ラベリングを行ない、
前記ラベリング結果記憶手段にラベリング結果を記憶す
る。このラベリング結果は次フレームにおいてステップ
４０４の順方向ラベリングにフィードバックされる。
【００２５】以上のような構成及び動作で、動物体に分
断がある場合にも同一の移動物体として追跡を行なうこ
とができ、かつ、一時的に重なり合った二つの移動物体
が分離した場合にも、分離が起こった時刻を一定フレー
ムのタイムラグの後に正確に検出でき、本発明が解決し
ようとする第一の課題を解決し、本発明の第一から第三
の目的を達成することができる。
断がある場合にも同一の移動物体として追跡を行なうこ
とができ、かつ、一時的に重なり合った二つの移動物体
が分離した場合にも、分離が起こった時刻を一定フレー
ムのタイムラグの後に正確に検出でき、本発明が解決し
ようとする第一の課題を解決し、本発明の第一から第三
の目的を達成することができる。
【００２６】（実施例２）以下、本発明の第二の実施例
について図面を参照しながら説明する。まず、形状パタ
ーン画像について図面を参照しながら説明する。図１４
において、１３０１、１３０２、１３０３は連続する適
当な数のフレームを表しており、１３０４、１３０５、
１３０６はそれぞれのフレームの中で検出された動領域
を表している。形状パターン画像は、1 に示すように同
一移動物体に対応する各フレームの動領域を平行移動に
よって最新フレームでの位置に合わせて重ね合わせ、１
３０８に示すように各画素の出現頻度を画像にしたもの
である。位置合わせのための基準点としては、動領域の
重心を用いてもよいし、また動領域の外接矩形の中心も
しくは四隅のいずれかを用いてもよいし、また重心のＸ
座標もしくはＹ座標と外接矩形の四隅のいずれかのＹ座
標もしくはＸ座標とをそれぞれ組み合わせた点を用いて
もよいし、また動領域と形状パターン画像とから算出し
た移動ベクトル分だけ動領域の重心をずらした点を用い
てもよい。出現頻度としては、例えば移動物体出現時か
らの出現回数の平均値を用いてもよいし、また各フレー
ム毎に重み付けをした平均値を用いてもよい。
について図面を参照しながら説明する。まず、形状パタ
ーン画像について図面を参照しながら説明する。図１４
において、１３０１、１３０２、１３０３は連続する適
当な数のフレームを表しており、１３０４、１３０５、
１３０６はそれぞれのフレームの中で検出された動領域
を表している。形状パターン画像は、1 に示すように同
一移動物体に対応する各フレームの動領域を平行移動に
よって最新フレームでの位置に合わせて重ね合わせ、１
３０８に示すように各画素の出現頻度を画像にしたもの
である。位置合わせのための基準点としては、動領域の
重心を用いてもよいし、また動領域の外接矩形の中心も
しくは四隅のいずれかを用いてもよいし、また重心のＸ
座標もしくはＹ座標と外接矩形の四隅のいずれかのＹ座
標もしくはＸ座標とをそれぞれ組み合わせた点を用いて
もよいし、また動領域と形状パターン画像とから算出し
た移動ベクトル分だけ動領域の重心をずらした点を用い
てもよい。出現頻度としては、例えば移動物体出現時か
らの出現回数の平均値を用いてもよいし、また各フレー
ム毎に重み付けをした平均値を用いてもよい。
【００２７】１３０８において濃淡のハッチングで示し
たのは出現頻度を模式的に表したものである。１３０８
に一例として示したのは人物の例であるが、この場合一
般に、相対的な動きの激しい手や足の部分は出現頻度が
比較的低く、相対的な動きの少ない頭や胴体など人物像
の中心軸付近では出現頻度が比較的高くなる。また、移
動物体とともに動く影や床面による鏡面反射像などは現
れたり消えたりを繰り返すため、出現頻度は低くなる。
このように、形状パターン画像を形成することにより、
影や床面による鏡面反射像、あるいは移動物体の偶発的
な変形などによらず、対象移動物体の形状を安定して抽
出することが可能となる。
たのは出現頻度を模式的に表したものである。１３０８
に一例として示したのは人物の例であるが、この場合一
般に、相対的な動きの激しい手や足の部分は出現頻度が
比較的低く、相対的な動きの少ない頭や胴体など人物像
の中心軸付近では出現頻度が比較的高くなる。また、移
動物体とともに動く影や床面による鏡面反射像などは現
れたり消えたりを繰り返すため、出現頻度は低くなる。
このように、形状パターン画像を形成することにより、
影や床面による鏡面反射像、あるいは移動物体の偶発的
な変形などによらず、対象移動物体の形状を安定して抽
出することが可能となる。
【００２８】以下、前記形状パターン画像を用いた本発
明の第二の実施例の基本構成について図５及び図６を参
照しながら説明する。図５は本発明の第二の実施例の基
本的な一構成例を示し、また図６は第二の実施例の構成
を一部変更した例を示すブロック図である。図５におい
て、サンプリング手段１０１は入力された映像信号２１
１をサンプリングして原画像信号２１２を出力する。
明の第二の実施例の基本構成について図５及び図６を参
照しながら説明する。図５は本発明の第二の実施例の基
本的な一構成例を示し、また図６は第二の実施例の構成
を一部変更した例を示すブロック図である。図５におい
て、サンプリング手段１０１は入力された映像信号２１
１をサンプリングして原画像信号２１２を出力する。
【００２９】動領域検出手段１０２は前記原画像信号２
１２を受けて動領域を検出し、動領域２値画像２１３を
出力する。動領域検出方式としては、前フレームまたは
数フレーム前と現フレームとの差分をとる方式でもよい
し、予め用意された背景画像との差分をとる方式でもよ
い。またこれらを組み合わせた方式でもよいし、フレー
ム間差分を数フレーム時間にわたり累積する方式でもよ
い。ラベリング手段１０４は、前記動領域２値画像２１
３を受けてその連結成分をラベリングし、動領域ラベル
画像２１５を出力する。
１２を受けて動領域を検出し、動領域２値画像２１３を
出力する。動領域検出方式としては、前フレームまたは
数フレーム前と現フレームとの差分をとる方式でもよい
し、予め用意された背景画像との差分をとる方式でもよ
い。またこれらを組み合わせた方式でもよいし、フレー
ム間差分を数フレーム時間にわたり累積する方式でもよ
い。ラベリング手段１０４は、前記動領域２値画像２１
３を受けてその連結成分をラベリングし、動領域ラベル
画像２１５を出力する。
【００３０】動領域整形手段１１５は、前記動領域ラベ
ル画像２１５と後述する形状パターン画像生成手段１１
５が各動物体毎に出力する形状パターン画像２１８とを
受けて、動領域ラベル画像２１５の各動領域に整形を施
して移動物体画像２１４を出力する。なお、対応する形
状パターン画像の存在しない動領域に対しては、新しく
出現した移動物体としてそのまま出力する構成としても
よい。形状パターン画像生成手段１１６は、前記動領域
整形手段１１５からの移動物体画像２１４を受けて、各
移動物体の形状パターン画像２１８を形成及び更新、出
力する。
ル画像２１５と後述する形状パターン画像生成手段１１
５が各動物体毎に出力する形状パターン画像２１８とを
受けて、動領域ラベル画像２１５の各動領域に整形を施
して移動物体画像２１４を出力する。なお、対応する形
状パターン画像の存在しない動領域に対しては、新しく
出現した移動物体としてそのまま出力する構成としても
よい。形状パターン画像生成手段１１６は、前記動領域
整形手段１１５からの移動物体画像２１４を受けて、各
移動物体の形状パターン画像２１８を形成及び更新、出
力する。
【００３１】なお、本実施例では動領域整形手段１１５
からの動領域整形画像を形状パターン画像生成手段１１
６に入力し、動領域整形画像を用いて形状パターン画像
を更新する構成としたが、図６の変更例に示すように、
ラベリング手段１０４からの動領域ラベル画像を形状パ
ターン画像生成手段１１６に入力し、動領域ラベル画像
を用いて形状パターン画像２１８を生成および更新する
構成としてもよい。
からの動領域整形画像を形状パターン画像生成手段１１
６に入力し、動領域整形画像を用いて形状パターン画像
を更新する構成としたが、図６の変更例に示すように、
ラベリング手段１０４からの動領域ラベル画像を形状パ
ターン画像生成手段１１６に入力し、動領域ラベル画像
を用いて形状パターン画像２１８を生成および更新する
構成としてもよい。
【００３２】次に、前記形状パターン画像を用いた本発
明の第二の実施例の具体的構成について図７を参照しな
がら説明する。図７において、サンプリング手段１０１
は入力された映像信号２１１をサンプリングして原画像
信号２１２を出力する。動領域検出手段１０２は前記原
画像信号２１２を受けて動領域を検出し、動領域２値画
像２１３を出力する。動領域検出方式としては、前フレ
ームまたは数フレーム前と現フレームとの差分をとる方
式でもよいし、予め用意された背景画像との差分をとる
方式でもよい。またこれらを組み合わせた方式でもよい
し、フレーム間差分を数フレーム時間にわたり累積する
方式でもよい。ラベリング手段１０４は、前記動領域２
値画像２１３を受けてその連結成分をラベリングし、動
領域ラベル画像２１５を出力する。
明の第二の実施例の具体的構成について図７を参照しな
がら説明する。図７において、サンプリング手段１０１
は入力された映像信号２１１をサンプリングして原画像
信号２１２を出力する。動領域検出手段１０２は前記原
画像信号２１２を受けて動領域を検出し、動領域２値画
像２１３を出力する。動領域検出方式としては、前フレ
ームまたは数フレーム前と現フレームとの差分をとる方
式でもよいし、予め用意された背景画像との差分をとる
方式でもよい。またこれらを組み合わせた方式でもよい
し、フレーム間差分を数フレーム時間にわたり累積する
方式でもよい。ラベリング手段１０４は、前記動領域２
値画像２１３を受けてその連結成分をラベリングし、動
領域ラベル画像２１５を出力する。
【００３３】動領域整形手段１１５は、形状パターン画
像検索手段１１７と、形状パターン画像選択手段１１８
と、動領域ラベル整形手段１１９とから成り、前記動領
域ラベル画像２１５と形状パターン画像生成手段１１６
が各動物体毎に出力する形状パターン画像２１８とを受
けて、動領域ラベル画像２１５の各動領域に整形を施し
て移動物体画像２１４を出力する。動領域ラベル整形手
段１１９は、形状パターン２値化手段１２０と、ＡＮＤ
回路１２１とから構成されている。なお、対応する形状
パターン画像２１８の存在しない動領域に対しては、新
しく出現した移動物体としてそのまま出力する構成とし
てもよい。
像検索手段１１７と、形状パターン画像選択手段１１８
と、動領域ラベル整形手段１１９とから成り、前記動領
域ラベル画像２１５と形状パターン画像生成手段１１６
が各動物体毎に出力する形状パターン画像２１８とを受
けて、動領域ラベル画像２１５の各動領域に整形を施し
て移動物体画像２１４を出力する。動領域ラベル整形手
段１１９は、形状パターン２値化手段１２０と、ＡＮＤ
回路１２１とから構成されている。なお、対応する形状
パターン画像２１８の存在しない動領域に対しては、新
しく出現した移動物体としてそのまま出力する構成とし
てもよい。
【００３４】本実施例では１２１をＡＮＤ回路としてい
るが、これをＯＲ回路とする構成でもよい。図８には、
動領域ラベル整形手段１１９を形状パターン２値化手段
１２０と、ＯＲ回路１２４とから構成した例を示す。ま
た、ＡＮＤ回路１２１とＯＲ回路１２４とを並列に併せ
備え、これらＡＮＤ回路１２１とＯＲ回路１２４のうち
いずれかの出力を切り替え出力するようにしてもよい。
すなわち、図９に示すように、動領域ラベル整形手段１
１９を形状パターン２値化手段１２０と、ＡＮＤ回路１
２１と、ＯＲ回路１２４と、セレクタ１２５とから構成
し、各形状パターン画像に対応する移動物体が初めて出
現してからの時間情報２１９に応じてＡＮＤ回路１２１
とＯＲ回路１２４とを切り替える構成としてもよい。
るが、これをＯＲ回路とする構成でもよい。図８には、
動領域ラベル整形手段１１９を形状パターン２値化手段
１２０と、ＯＲ回路１２４とから構成した例を示す。ま
た、ＡＮＤ回路１２１とＯＲ回路１２４とを並列に併せ
備え、これらＡＮＤ回路１２１とＯＲ回路１２４のうち
いずれかの出力を切り替え出力するようにしてもよい。
すなわち、図９に示すように、動領域ラベル整形手段１
１９を形状パターン２値化手段１２０と、ＡＮＤ回路１
２１と、ＯＲ回路１２４と、セレクタ１２５とから構成
し、各形状パターン画像に対応する移動物体が初めて出
現してからの時間情報２１９に応じてＡＮＤ回路１２１
とＯＲ回路１２４とを切り替える構成としてもよい。
【００３５】形状パターン画像検索手段１１７は、前記
動領域ラベル画像２１５に含まれる各動領域毎に、形状
パターン画像生成手段１１６で生成された形状パターン
画像２１８の中から前記動領域に対応するものを検索す
る。検索方法としては、一例として、動領域の重心にお
ける各移動物体の形状パターン画像の画素値、すなわち
出現頻度が一定のしきい値を越えるものを選ぶ方式を採
ってもよい。また、形状パターン画像の重心が動領域に
含まれるものを選ぶ方式を採ってもよい。
動領域ラベル画像２１５に含まれる各動領域毎に、形状
パターン画像生成手段１１６で生成された形状パターン
画像２１８の中から前記動領域に対応するものを検索す
る。検索方法としては、一例として、動領域の重心にお
ける各移動物体の形状パターン画像の画素値、すなわち
出現頻度が一定のしきい値を越えるものを選ぶ方式を採
ってもよい。また、形状パターン画像の重心が動領域に
含まれるものを選ぶ方式を採ってもよい。
【００３６】形状パターン画像選択手段１１８は、前記
動領域ラベル画像２１５に含まれる各動領域毎に、前記
形状パターン画像検索手段１１７の出力する一つまたは
複数の形状パターン画像２１８の中から、前記動領域と
同一の移動物体に相当するものを選択して出力する。選
択方法としては、一例として動領域の重心と形状パター
ン画像２１８の重心とが最も近いものを選ぶ方式を採っ
てもよい。また、動領域と各形状パターン画像２１８と
をパターンマッチングして、最も近い形状であると判定
されたものを選ぶ方式を採ってもよい。また、一時的に
分断されていた動領域が再統合された場合など、複数の
形状パターン画像２１８が単一の動領域対応する場合に
前記複数の形状パターン画像を重ね合わせたものを新た
な形状パターン画像２１８として生成して出力する方式
を採ってもよい。また、一時的に重なり合っていた移動
物体が再び離れた場合など、複数の動領域が単一の形状
パターン画像に対応し、かつその状態が一定フレーム数
以上にわたって継続する場合には、前記複数の動領域を
各々新たな形状パターン画像２１８として生成して出力
する方式としてもよい。
動領域ラベル画像２１５に含まれる各動領域毎に、前記
形状パターン画像検索手段１１７の出力する一つまたは
複数の形状パターン画像２１８の中から、前記動領域と
同一の移動物体に相当するものを選択して出力する。選
択方法としては、一例として動領域の重心と形状パター
ン画像２１８の重心とが最も近いものを選ぶ方式を採っ
てもよい。また、動領域と各形状パターン画像２１８と
をパターンマッチングして、最も近い形状であると判定
されたものを選ぶ方式を採ってもよい。また、一時的に
分断されていた動領域が再統合された場合など、複数の
形状パターン画像２１８が単一の動領域対応する場合に
前記複数の形状パターン画像を重ね合わせたものを新た
な形状パターン画像２１８として生成して出力する方式
を採ってもよい。また、一時的に重なり合っていた移動
物体が再び離れた場合など、複数の動領域が単一の形状
パターン画像に対応し、かつその状態が一定フレーム数
以上にわたって継続する場合には、前記複数の動領域を
各々新たな形状パターン画像２１８として生成して出力
する方式としてもよい。
【００３７】形状パターン画像２値化手段１２０は、前
記形状パターン画像選択手段１１８が出力する画像情報
を受けて、これに２値化処理を施し、形状パターン２値
画像を出力する。２値化処理のしきい値は撮影環境によ
って予め決定しておいてもよいし、前記形状パターン画
像に相当する移動物体の輝度や監視領域の照度によって
変動させる構成としてもよい。
記形状パターン画像選択手段１１８が出力する画像情報
を受けて、これに２値化処理を施し、形状パターン２値
画像を出力する。２値化処理のしきい値は撮影環境によ
って予め決定しておいてもよいし、前記形状パターン画
像に相当する移動物体の輝度や監視領域の照度によって
変動させる構成としてもよい。
【００３８】動領域ラベル整形手段１１９を構成するＡ
ＮＤ回路１２１は、前記動領域ラベル画像２１５と前記
形状パターン画像２値化手段１２０からの形状パターン
２値画像とを受けて、動領域ラベル画像２１５の各ラベ
ル毎に対応する形状パターン２値画像とのＡＮＤをと
り、移動物体画像２１４を出力する。
ＮＤ回路１２１は、前記動領域ラベル画像２１５と前記
形状パターン画像２値化手段１２０からの形状パターン
２値画像とを受けて、動領域ラベル画像２１５の各ラベ
ル毎に対応する形状パターン２値画像とのＡＮＤをと
り、移動物体画像２１４を出力する。
【００３９】形状パターン画像生成手段１１６は、形状
パターン画像記憶手段１２２と形状パターン画像更新手
段１２３とから成り、前記動領域整形手段１１５からの
移動物体画像２１４を受けて、各移動物体の形状パター
ン画像２１８を形成及び更新、出力する。形状パターン
画像更新手段１２３は、前記動領域整形手段１１５が出
力する移動物体画像２１４と形状パターン画像記憶手段
１２２に記憶された形状パターン画像２１８とを受け
て、前記形状パターン画像２１８を更新する。更新の方
式としては、一例として次のような方式を採用してもよ
い。前記動領域整形画像の中の各動領域ごとに、対応す
る形状パターン画像が存在しない場合は動領域自体を新
しく出現した移動物体に相当する形状パターン画像とし
て出力し、そうでない場合には形状パターン画像と動領
域とを両者の重心で位置合わせして重み付け加算したも
のを出力する。
パターン画像記憶手段１２２と形状パターン画像更新手
段１２３とから成り、前記動領域整形手段１１５からの
移動物体画像２１４を受けて、各移動物体の形状パター
ン画像２１８を形成及び更新、出力する。形状パターン
画像更新手段１２３は、前記動領域整形手段１１５が出
力する移動物体画像２１４と形状パターン画像記憶手段
１２２に記憶された形状パターン画像２１８とを受け
て、前記形状パターン画像２１８を更新する。更新の方
式としては、一例として次のような方式を採用してもよ
い。前記動領域整形画像の中の各動領域ごとに、対応す
る形状パターン画像が存在しない場合は動領域自体を新
しく出現した移動物体に相当する形状パターン画像とし
て出力し、そうでない場合には形状パターン画像と動領
域とを両者の重心で位置合わせして重み付け加算したも
のを出力する。
【００４０】形状パターン画像記憶手段１２２は、前記
形状パターン画像更新手段１２３から出力される各移動
物体ごとの形状パターン画像２１８を記憶し、次フレー
ムで再び動領域整形手段１１５に出力する。なお、長時
間にわたる監視などで多数の移動物体が検出される場合
などに記憶容量を節約するため、記憶された形状パター
ン画像２１８が定められた時間以上にわたって更新され
なかった場合に、この形状パターン画像２１８に相当す
る移動物体が監視領域から外に出たものとしてこの形状
パターン画像を消去する構成としてもよい。
形状パターン画像更新手段１２３から出力される各移動
物体ごとの形状パターン画像２１８を記憶し、次フレー
ムで再び動領域整形手段１１５に出力する。なお、長時
間にわたる監視などで多数の移動物体が検出される場合
などに記憶容量を節約するため、記憶された形状パター
ン画像２１８が定められた時間以上にわたって更新され
なかった場合に、この形状パターン画像２１８に相当す
る移動物体が監視領域から外に出たものとしてこの形状
パターン画像を消去する構成としてもよい。
【００４１】なお、本実施例では動領域整形手段１１５
からの動領域整形画像を形状パターン画像生成手段１１
６に入力し、動領域整形画像を用いて形状パターン画像
を更新する構成としたが、図１０に示すように、ラベリ
ング手段１０４からの動領域ラベル画像２１５を形状パ
ターン画像生成手段１１６に入力し、動領域ラベル画像
２１５を用いて形状パターン画像２１８を更新する構成
としてもよい。このように、図１０に示した構成は、図
７に示した構成に対して形状パターン画像生成手段１１
６を構成する形状パターン画像記憶手段１２２および形
状パターン画像更新手段１２３への画像信号の入力のし
方を変更した点が異なるのみである。したがって図７の
構成の動領域整形手段１１５に対してなされた図８およ
び図９に示す変更は、図１０の構成に対してもそのまま
適用することができる。
からの動領域整形画像を形状パターン画像生成手段１１
６に入力し、動領域整形画像を用いて形状パターン画像
を更新する構成としたが、図１０に示すように、ラベリ
ング手段１０４からの動領域ラベル画像２１５を形状パ
ターン画像生成手段１１６に入力し、動領域ラベル画像
２１５を用いて形状パターン画像２１８を更新する構成
としてもよい。このように、図１０に示した構成は、図
７に示した構成に対して形状パターン画像生成手段１１
６を構成する形状パターン画像記憶手段１２２および形
状パターン画像更新手段１２３への画像信号の入力のし
方を変更した点が異なるのみである。したがって図７の
構成の動領域整形手段１１５に対してなされた図８およ
び図９に示す変更は、図１０の構成に対してもそのまま
適用することができる。
【００４２】以上のような構成及び動作で、検出動領域
に影や床面による鏡面反射像、もしくは持ち物等による
偶発的な変形などが生じた場合にも正しい対象物体像を
抽出・追跡でき、本発明が解決しようとする第二の課題
を解決し、さらに検出動領域と移動物体との対応関係を
常に記憶・更新しつつ処理を行なうことができ、本発明
の第一から第四の目的を達成することができる。
に影や床面による鏡面反射像、もしくは持ち物等による
偶発的な変形などが生じた場合にも正しい対象物体像を
抽出・追跡でき、本発明が解決しようとする第二の課題
を解決し、さらに検出動領域と移動物体との対応関係を
常に記憶・更新しつつ処理を行なうことができ、本発明
の第一から第四の目的を達成することができる。
【００４３】
【発明の効果】以上説明したように、本発明によって、
第一に、背景との十分な輝度・色度差がない等の原因で
同一移動物体内で動領域の分断が生じても同一物体と認
識し、第二に、移動物体どうしの遮蔽が起こった際にこ
れを検知し、第三に、遮蔽が解消した場合に迅速にこれ
を認識して遮蔽解消時点を特定でき、第四に、検出動領
域から対象物体の影等の部分を除去して正しい対象物体
像を抽出できる優れた移動物体抽出装置を提供すること
ができる。
第一に、背景との十分な輝度・色度差がない等の原因で
同一移動物体内で動領域の分断が生じても同一物体と認
識し、第二に、移動物体どうしの遮蔽が起こった際にこ
れを検知し、第三に、遮蔽が解消した場合に迅速にこれ
を認識して遮蔽解消時点を特定でき、第四に、検出動領
域から対象物体の影等の部分を除去して正しい対象物体
像を抽出できる優れた移動物体抽出装置を提供すること
ができる。
【図１】本発明の移動物体抽出装置の第一の実施例の基
本構成を示すブロック図
本構成を示すブロック図
【図２】本発明の移動物体抽出装置の第一の実施例の構
成の概略を示すブロック図
成の概略を示すブロック図
【図３】本発明の移動物体抽出装置の第一の実施例の構
成を示すブロック図
成を示すブロック図
【図４】本発明の移動物体抽出装置の第一の実施例の動
作機序を示すフロー図
作機序を示すフロー図
【図５】本発明の移動物体抽出装置の第二の実施例の基
本構成を示すブロック図
本構成を示すブロック図
【図６】本発明の移動物体抽出装置の第二の実施例の構
成を一部変更した例を示すブロック図
成を一部変更した例を示すブロック図
【図７】本発明の移動物体抽出装置の第二の実施例につ
いて図５の構成に対して一部の機能部をより詳細に示し
たブロック図
いて図５の構成に対して一部の機能部をより詳細に示し
たブロック図
【図８】図７に示す構成の動領域整形手段に対してなさ
れた変更例を示すブロック図
れた変更例を示すブロック図
【図９】図７に示す構成の動領域整形手段に対してなさ
れた他の変更例を示すブロック図
れた他の変更例を示すブロック図
【図１０】本発明の移動物体抽出装置の第二の実施例に
ついて図６の構成に対して一部の機能部をより詳細に示
したブロック図
ついて図６の構成に対して一部の機能部をより詳細に示
したブロック図
【図１１】対応関係グラフの説明図
【図１２】本発明の移動物体抽出装置の第一の実施例に
おける順方向グルーピングの説明図
おける順方向グルーピングの説明図
【図１３】本発明の移動物体抽出装置の第一の実施例に
おける逆方向グルーピングの説明図
おける逆方向グルーピングの説明図
【図１４】形状パターン画像の説明図
【図１５】従来の移動物体抽出装置の一例の処理の流れ
を示すフロー図
を示すフロー図
１０１ サンプリング手段 １０２ 動領域検出手段 １０３ 動領域対応付け手段 １０４ ラベリング手段 １０５ 対応関係グラフ生成手段 １０６ 順方向グルーピング手段 １０７ 逆方向グルーピング手段 １０８ 動領域ラベル画像記憶手段 １０９ 対応検出手段 １１０ 対応関係グラフ記憶手段 １１１ 移動物体画像記憶手段 １１２ 第１の再ラベリング手段 １１３ 動物体判定手段 １１４ 第２の再ラベリング手段 １１５ 動領域整形手段 １１６ 形状パターン画像生成手段 １１７ 形状パターン画像検索手段 １１８ 形状パターン画像選択手段 １１９ 動領域ラベル整形手段 １２０ 形状パターン画像２値化手段 １２１ ＡＮＤ回路 １２２ 形状パターン画像記憶手段 １２３ 形状パターン画像更新手段 １２４ ＯＲ回路 １２５ セレクタ ９０１、９０２、９０３ ３つの連続したフレーム画像
の一例 ９０４ フレーム９０１とフレーム９０２とを重ね合わ
せた画像 ９０５ フレーム９０２とフレーム９０３とを重ね合わ
せた画像 ９０６ フレーム９０１、９０２、９０３から得られる
対応関係グラフ １３０１、１３０２、１３０３ 複数の連続したフレー
ム画像の一例 １３０４ フレーム１３０１で検出された動領域 １３０５ フレーム１３０２で検出された動領域 １３０６ フレーム１３０３で検出された動領域 1 ３０７ 一連のフレーム１３０１〜１３０３で検出さ
れた動領域をフレーム１３０３の動領域１３０６に重ね
合わせて得られる画像 １３０８ フレーム１３０１〜１３０３で検出された動
領域から形成される形状パターン画像
の一例 ９０４ フレーム９０１とフレーム９０２とを重ね合わ
せた画像 ９０５ フレーム９０２とフレーム９０３とを重ね合わ
せた画像 ９０６ フレーム９０１、９０２、９０３から得られる
対応関係グラフ １３０１、１３０２、１３０３ 複数の連続したフレー
ム画像の一例 １３０４ フレーム１３０１で検出された動領域 １３０５ フレーム１３０２で検出された動領域 １３０６ フレーム１３０３で検出された動領域 1 ３０７ 一連のフレーム１３０１〜１３０３で検出さ
れた動領域をフレーム１３０３の動領域１３０６に重ね
合わせて得られる画像 １３０８ フレーム１３０１〜１３０３で検出された動
領域から形成される形状パターン画像
フロントページの続き (72)発明者 北 村 健 児 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 田 中 武 久 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 水 澤 和 史 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 森 真 人 神奈川県横浜市鶴見区江ケ崎町４番１号 東京電力株式会社システム研究所内
Claims (48)
- 【請求項１】映像信号をサンプリングして原画像を出力
するサンプリング手段と、原画像から動領域を検出して
動領域２値画像を出力する動領域検出手段と、動領域２
値画像の中で同一の移動物体に相当する動領域に対応付
けを行って移動物体画像を出力する動領域対応付け手段
とを備え、前記動領域対応付け手段は、時間的に相前後
するフレームの動領域２値画像の間で同一の移動物体に
相当する動領域の対応関係をグラフ化し、前記グラフに
基づき時間軸の順方向に動領域をグルーピングするとと
もに、前記グラフに基づき時間軸の逆方向に動領域を再
グルーピングすることによって、原画像中で移動物体に
相当する領域を正確にラベリングした移動物体画像を生
成することを特徴とする移動物体抽出装置。 - 【請求項２】動領域対応付け手段は、動領域２値画像の
連結成分をラベリングして動領域ラベル画像を出力する
ラベリング手段と、時間的に相前後する動領域ラベル画
像の各連結成分の間の対応関係を検出して対応関係グラ
フを出力する対応関係グラフ生成手段と、順方向グルー
ピング手段と、逆方向グルーピング手段とを備えて成
り、順方向グルーピング手段は、前記対応関係グラフを
時間軸の順方向に追跡することで前記動領域ラベル画像
と、逆方向グルーピング手段からの移動物体画像とを受
けて両者の各連結成分のうち同じ動物体に相当するとみ
なされるものに同じラベルを振り直して動物体グループ
画像を出力する一方、逆方向グルーピング手段は、前記
対応関係グラフを時間軸の逆方向に追跡することで前記
動物体グループ画像の各グループ内の連結成分のうち異
なる動物体に相当するとみなされるものに再度異なるラ
ベルを振り直して移動物体画像を出力することを特徴と
する請求項１記載の移動物体抽出装置。 - 【請求項３】対応関係グラフ生成手段は、前記ラベリン
グ手段からの１フレームまたはそれ以上の枚数の動領域
ラベル画像を記憶する動領域画像記憶手段と、時間的に
相前後する２フレームの動領域ラベル画像にそれぞれ含
まれる各連結成分どうしの全ての組み合わせについて対
応の有無を判定し出力する対応検出手段と、前記対応検
出手段の判定に基づき対応関係グラフを生成及び更新・
記憶・出力する対応関係グラフ記憶手段とから成ること
を特徴とする請求項２記載の移動物体抽出装置。 - 【請求項４】順方向グルーピング手段は、逆方向グルー
ピング手段が出力する前フレームの移動物体画像を記憶
しかつ出力する移動物体画像記憶手段と、前記対応関係
グラフに基づき、前記動領域ラベル画像の各連結成分の
うち、前記移動物体画像記憶手段が出力する移動物体画
像のいずれかの移動物体領域との間に対応関係のあるも
のには前記移動物体領域と同じラベル番号を振り直し、
かつ前記移動物体画像のどの移動物体領域とも対応関係
のないものには新しいラベル番号を振り直すことによっ
て動物体グループ画像を作成して出力する第一の再ラベ
リング手段とを備えて成ることを特徴とする請求項２ま
たは請求項３記載の移動物体抽出装置。 - 【請求項５】逆方向グルーピング手段は、前記動物体グ
ループ画像の各連結成分で同じラベル番号を持つものの
全ての組み合わせについて前記対応関係グラフを一定フ
レーム数時間だけ時間軸逆方向に遡ることにより異なる
物体であるかどうかを判定する動物体判定手段と、前記
動物体判定手段により異なる物体と判定された組み合わ
せについて異なるラベル番号を振り直すことによって移
動物体画像を作成して出力する第二の再ラベリング手段
とを備えて成ることを特徴とする請求項２乃至４のいず
れかに記載の移動物体抽出装置。 - 【請求項６】対応検出手段が、時間的に前後する２つの
フレームに含まれる両連結成分が定められた数以上の画
素を共有していれば対応ありという判定を出力し、そう
でなければ対応なしという判定を出力することを特徴と
する請求項３乃至５のいずれかに記載の移動物体抽出装
置。 - 【請求項７】対応検出手段が、時間的に前後する２つの
フレームに含まれる両連結成分の間で、時間的に前のフ
レームの連結成分の代表点が時間的に後のフレームの連
結成分に含まれていれば対応ありという判定を出力し、
そうでなければ対応なしという判定を出力することを特
徴とする請求項３乃至５のいずれかに記載の移動物体抽
出装置。 - 【請求項８】対応検出手段が、時間的に前後する２つの
フレームに含まれる両連結成分の間で、時間的に後のフ
レームの連結成分の代表点が時間的に前のフレームの連
結成分に含まれていれば対応ありという判定を出力し、
そうでなければ対応なしという判定を出力することを特
徴とする請求項３乃至５のいずれかに記載の移動物体抽
出装置。 - 【請求項９】対応検出手段が、時間的に前後する２つの
フレームに含まれる両連結成分の間で、時間的に前のフ
レームの連結成分の代表点が時間的に後のフレームの連
結成分に含まれているか、もしくは時間的に後のフレー
ムの連結成分の代表点が時間的に前のフレームの連結成
分に含まれていれば対応ありという判定を出力し、そう
でなければ対応なしという判定を出力することを特徴と
する請求項３乃至５のいずれかに記載の移動物体抽出装
置。 - 【請求項１０】連結成分の代表点として、連結成分の重
心を用いることを特徴とする請求項７乃至９のいずれか
に記載の移動物体抽出装置。 - 【請求項１１】連結成分の代表点として、連結成分の外
接矩形の中心を用いることを特徴とする請求項７乃至９
のいずれかに記載の移動物体抽出装置。 - 【請求項１２】映像信号をサンプリングして原画像を出
力するサンプリング手段と、原画像から動領域を検出し
て動領域２値画像を出力する動領域検出手段と、動領域
２値画像の連結成分をラベリングして動領域ラベル画像
を出力するラベリング手段と、形状パターン画像生成手
段と、動領域整形手段とを備えて成り、形状パターン画
像生成手段は、動領域整形手段から出力される移動物体
画像を用いて各移動物体の形状パターン画像を形成及び
更新する一方、動領域整形手段は、形状パターン画像を
用いて動領域ラベル画像を整形して移動物体画像を出力
することを特徴とする移動物体抽出装置。 - 【請求項１３】各移動物体の形状パターン画像が、移動
物体画像の各ラベルのうち前記移動物体に対応するもの
を前記移動物体の最新フレームでの位置に合わせて重ね
合わせた場合の、フレーム内での各画素におけるラベル
の出現頻度を画素値とする画像であることを特徴とする
請求項１２記載の移動物体抽出装置。 - 【請求項１４】映像信号をサンプリングして原画像を出
力するサンプリング手段と、原画像から動領域を検出し
て動領域２値画像を出力する動領域検出手段と、動領域
２値画像の連結成分をラベリングして動領域ラベル画像
を出力するラベリング手段と、動領域ラベル画像を用い
て各移動物体の形状パターン画像を形成及び更新する形
状パターン画像生成手段と、形状パターン画像を用いて
動領域ラベル画像を整形して移動物体画像を出力する動
領域整形手段とを備えて成る移動物体抽出装置。 - 【請求項１５】各移動物体の形状パターン画像が、逐次
入力される動領域ラベル画像の各ラベルのうち前記移動
物体に対応するものを前記移動物体の最新フレームでの
位置に合わせて重ね合わせた場合の、フレーム内での各
画素におけるラベルの出現頻度を画素値とする画像であ
ることを特徴とする請求項１４記載の移動物体抽出装
置。 - 【請求項１６】形状パターン画像生成手段が、各動物体
毎に形状パターン画像を記憶する形状パターン画像記憶
手段と、形状パターン画像記憶手段に記憶された形状パ
ターン画像に対して動領域整形手段からの移動物体画像
の各動領域を用いて更新処理を施す形状パターン画像更
新手段とを備えて成ることを特徴とする請求項１２また
は１３記載の移動物体抽出装置。 - 【請求項１７】形状パターン画像生成手段が、各動物体
毎に形状パターン画像を記憶する形状パターン画像記憶
手段と、形状パターン画像記憶手段に記憶された形状パ
ターン画像に対してラベリング手段からの動領域ラベル
画像の各動領域ラベルを用いて更新処理を施す形状パタ
ーン画像更新手段とを備えて成ることを特徴とする請求
項１４または１５記載の移動物体抽出装置。 - 【請求項１８】形状パターン画像更新手段が、動領域整
形手段からの移動物体画像の各動領域に対応する形状パ
ターン画像が存在しない場合は動領域自体を形状パター
ン画像として出力し、存在する場合は形状パターン画像
と動領域とを両者の位置合わせ点で位置合わせして加算
した結果を出力することを特徴とする請求項１６記載の
移動物体抽出装置。 - 【請求項１９】形状パターン画像更新手段が、動領域整
形手段からの移動物体画像の各動領域に対応する形状パ
ターン画像が存在しない場合は動領域自体を形状パター
ン画像として出力し、存在する場合は形状パターン画像
と動領域とを両者の位置合わせ点で位置合わせして重み
付け加算した結果を出力することを特徴とする請求項１
６記載の移動物体抽出装置。 - 【請求項２０】形状パターン画像更新手段が、ラベリン
グ手段からの動領域ラベル画像の各動領域に対応する形
状パターン画像が存在しない場合は動領域自体を形状パ
ターン画像として出力し、存在する場合は形状パターン
画像と動領域とを両者の位置合わせ点で位置合わせして
加算した結果を出力することを特徴とする請求項１７記
載の移動物体抽出装置。 - 【請求項２１】形状パターン画像更新手段が、ラベリン
グ手段からの動領域ラベル画像の各動領域に対応する形
状パターン画像が存在しない場合は動領域自体を形状パ
ターン画像として出力し、存在する場合は形状パターン
画像と動領域とを両者の位置合わせ点で位置合わせして
重み付け加算した結果を出力することを特徴とする請求
項１７記載の移動物体抽出装置。 - 【請求項２２】形状パターン画像記憶手段が、記憶され
た形状パターン画像が定められた時間以上にわたって更
新されなかった場合にこの形状パターン画像を消去する
ことを特徴とする請求項１６乃至２１のいずれかに記載
の移動物体抽出装置。 - 【請求項２３】動領域位置合わせ点として、動領域の重
心を用いることを特徴とする請求項１８乃至２２のいず
れかに記載の移動物体抽出装置。 - 【請求項２４】動領域位置合わせ点として、動領域の外
接矩形の中心を用いることを特徴とする請求項１８乃至
２２のいずれかに記載の移動物体抽出装置。 - 【請求項２５】動領域位置合わせ点として、動領域の外
接矩形の上辺の中点を用いることを特徴とする請求項１
８乃至２２のいずれかに記載の移動物体抽出装置。 - 【請求項２６】動領域位置合わせ点として、動領域の外
接矩形の上辺の中点のＹ座標と動領域の重心のＸ座標と
を持つ点を用いることを特徴とする請求項１８乃至２２
のいずれかに記載の移動物体抽出装置。 - 【請求項２７】動領域位置合わせ点として、動領域およ
びこれに対応する形状パターン画像とから対応する移動
物体の移動ベクトルを求め、形状パターン画像の重心点
を前記移動ベクトルだけずらした点を用いることを特徴
とする請求項１８乃至２２のいずれかに記載の移動物体
抽出装置。 - 【請求項２８】形状パターン画像位置合わせ点として、
形状パターン画像の重心を用いることを特徴とする請求
項１８乃至２４のいずれかに記載の移動物体抽出装置。 - 【請求項２９】形状パターン画像位置合わせ点として、
形状パターン画像の外接矩形の中心を用いることを特徴
とする請求項１８乃至２４のいずれかに記載の移動物体
抽出装置。 - 【請求項３０】形状パターン画像位置合わせ点として、
形状パターン画像の外接矩形の上辺の中点を用いること
を特徴とする請求項１８乃至２２、請求項２５または請
求項２６のいずれかに記載の移動物体抽出装置。 - 【請求項３１】形状パターン画像位置合わせ点として、
形状パターン画像の外接矩形の上辺の中点のＹ座標と形
状パターン画像の重心のＸ座標とを持つ点を用いること
を特徴とする請求項１８乃至２２、請求項２５または請
求項２６のいずれかに記載の移動物体抽出装置。 - 【請求項３２】形状パターン画像位置合わせ点として、
形状パターン画像と対応する動領域とから対応する移動
物体の移動ベクトルを求め、前記動領域の重心点を前記
移動ベクトルだけ戻した点を用いることを特徴とする請
求項１８乃至２４または請求項２７のいずれかに記載の
移動物体抽出装置。 - 【請求項３３】動領域整形手段が、形状パターン画像生
成手段からの一つまたはそれ以上の形状パターン画像と
ラベリング手段からの動領域ラベル画像とを受け、前記
形状パターン画像の中から前記動領域ラベル画像の各動
領域に対応するものが存在するかどうかを検索してその
結果を出力する形状パターン画像検索手段と、対応する
形状パターン画像が存在する場合にこれを選択して出力
する形状パターン画像選択手段と、前記動領域ラベル画
像の各動領域のうち対応する形状パターン画像が存在す
る動領域に対し形状パターン画像を用いて整形を行って
移動物体画像を出力する動領域ラベル整形手段とを備え
て成ることを特徴とする請求項１２乃至３２のいずれか
に記載の移動物体抽出装置。 - 【請求項３４】動領域ラベル整形手段が、形状パターン
画像をしきい値処理して形状２値パターンを出力する形
状パターン画像２値化手段と、形状２値パターンと動領
域とのＡＮＤをとった結果を出力するＡＮＤ回路とを備
えて成ることを特徴とする請求項３３記載の移動物体抽
出装置。 - 【請求項３５】動領域ラベル整形手段が、形状パターン
画像をしきい値処理して形状２値パターンを出力する形
状パターン画像２値化手段と、形状２値パターンと動領
域とのＯＲをとった結果を出力するＯＲ回路とを備えて
成ることを特徴とする請求項３３記載の移動物体抽出装
置。 - 【請求項３６】動領域ラベル整形手段が、形状パターン
画像をしきい値処理して形状２値パターンを出力する形
状パターン画像２値化手段と、形状２値パターンと動領
域とのＯＲをとった結果を出力するＯＲ回路と、形状２
値パターンと動領域とのＡＮＤをとった結果を出力する
ＡＮＤ回路とを備え、前記形状パターン画像に対応する
移動物体が初めて出現してからの時間に応じて前記ＯＲ
回路と前記ＡＮＤ回路とを切り替えることを特徴とする
請求項３３記載の移動物体抽出装置。 - 【請求項３７】形状パターン画像２値化手段が、予め記
憶されたしきい値によって２値化処理を行うことを特徴
とする請求項３３乃至３６のいずれかに記載の移動物体
抽出装置。 - 【請求項３８】形状パターン画像２値化手段が、入力さ
れた形状パターンに対応する移動物体の輝度及び監視領
域の照度に応じて変動するしきい値によって２値化処理
を行うことを特徴とする請求項３３乃至３６のいずれか
に記載の移動物体抽出装置。 - 【請求項３９】形状パターン画像検索手段が、形状パタ
ーン画像記憶手段に記憶されている各形状パターン画像
の中で、動領域代表点における形状パターン画像の画素
値が一定のしきい値以上である画像を出力することを特
徴とする請求項３３乃至３８のいずれかに記載の移動物
体抽出装置。 - 【請求項４０】形状パターン画像検索手段が、形状パタ
ーン画像記憶手段に記憶されている各形状パターン画像
の中で、形状パターン画像代表点が動領域の内部に含ま
れている画像を出力することを特徴とする請求項３３乃
至３８のいずれかに記載の移動物体抽出装置。 - 【請求項４１】形状パターン画像検索手段が、形状パタ
ーン画像記憶手段に記憶されている各形状パターン画像
の中で、動領域代表点における形状パターン画像の画素
値が一定のしきい値以上であるか、もしくは形状パター
ン画像代表点が動領域の内部に含まれているかのいずれ
かである画像を出力することを特徴とする請求項３３乃
至３８のいずれかに記載の移動物体抽出装置。 - 【請求項４２】形状パターン画像検索手段が、形状パタ
ーン画像記憶手段に記憶されている各形状パターン画像
の中で、動領域代表点における形状パターン画像の画素
値が一定のしきい値以上であり、かつ形状パターン画像
代表点が動領域の内部に含まれている画像を出力するこ
とを特徴とする請求項３３乃至３８のいずれかに記載の
移動物体抽出装置。 - 【請求項４３】形状パターン画像検索手段が、形状パタ
ーン画像記憶手段に記憶されている各形状パターン画像
の中で、動領域に含まれる一定数以上の画素において形
状パターン画像の画素値が一定のしきい値以上である画
像を出力することを特徴とする請求項３３乃至３８のい
ずれかに記載の移動物体抽出装置。 - 【請求項４４】形状パターン画像検索手段が、形状パタ
ーン画像記憶手段に記憶されている各形状パターン画像
と動領域とのパターンマッチングを行い、最も近いパタ
ーンであると判定された形状パターン画像を出力するこ
とを特徴とする請求項３３乃至３８のいずれかに記載の
移動物体抽出装置。 - 【請求項４５】形状パターン画像選択手段が、形状パタ
ーン画像検索手段の出力する形状パターン画像のうち、
形状パターン画像代表点が動領域代表点に画像上の距離
で最も近い画像を選択して出力することを特徴とする請
求項３３乃至４４のいずれかに記載の移動物体抽出装
置。 - 【請求項４６】形状パターン画像選択手段が、形状パタ
ーン画像検索手段の出力する形状パターン画像のうち、
動領域代表点における形状パターン画像の画素値が最も
大きい画像を選択して出力することを特徴とする請求項
３３乃至４４のいずれかに記載の移動物体抽出装置。 - 【請求項４７】動領域代表点として、動領域の重心を用
いることを特徴とする請求項３９、請求項４１、請求項
４２、請求項４５または請求項４６のいずれかに記載の
移動物体抽出装置。 - 【請求項４８】形状パターン画像代表点として、形状パ
ターン画像の重心を用いることを特徴とする請求項４０
乃至４２、請求項４５または請求項４７のいずれかに記
載の移動物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23269995A JP3625910B2 (ja) | 1995-09-11 | 1995-09-11 | 移動物体抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23269995A JP3625910B2 (ja) | 1995-09-11 | 1995-09-11 | 移動物体抽出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004151283A Division JP3917148B2 (ja) | 2004-05-21 | 2004-05-21 | 移動物体抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0981753A true JPH0981753A (ja) | 1997-03-28 |
| JP3625910B2 JP3625910B2 (ja) | 2005-03-02 |
Family
ID=16943393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23269995A Expired - Fee Related JP3625910B2 (ja) | 1995-09-11 | 1995-09-11 | 移動物体抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3625910B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004513442A (ja) * | 2000-11-01 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 外観及び幾何学的配置特質に基づき統計モデルを活用する画像処理システムでの人物の札付け |
| JP2004258927A (ja) * | 2003-02-25 | 2004-09-16 | Matsushita Electric Works Ltd | 人検出方法及び人検出装置 |
| US6931146B2 (en) | 1999-12-20 | 2005-08-16 | Fujitsu Limited | Method and apparatus for detecting moving object |
| JP2005293576A (ja) * | 2004-03-31 | 2005-10-20 | Fuji Xerox Co Ltd | ビデオにおける重要度の高い領域を判別する方法、装置及びプログラム |
| JP2008117196A (ja) * | 2006-11-06 | 2008-05-22 | Toshiba Corp | 誘導装置の動画像処理装置、誘導装置の目標追跡システム及び誘導装置の動画像処理装置における目標追跡方法 |
| JP2009294983A (ja) * | 2008-06-06 | 2009-12-17 | Sony Corp | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| CN102483849A (zh) * | 2009-08-12 | 2012-05-30 | 汤姆森许可贸易公司 | 基于感兴趣区域来减少图像序列中的伪像的系统和方法 |
| JP2014146164A (ja) * | 2013-01-29 | 2014-08-14 | Toyota Motor Corp | 物体検出装置 |
| JP2017027246A (ja) * | 2015-07-17 | 2017-02-02 | 株式会社日立製作所 | 監視システム及び監視方法 |
| CN110555839A (zh) * | 2019-09-06 | 2019-12-10 | 腾讯云计算（北京）有限责任公司 | 缺陷检测识别方法、装置、计算机设备及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4627711B2 (ja) * | 2005-10-07 | 2011-02-09 | 日本電信電話株式会社 | 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム |
-
1995
- 1995-09-11 JP JP23269995A patent/JP3625910B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6931146B2 (en) | 1999-12-20 | 2005-08-16 | Fujitsu Limited | Method and apparatus for detecting moving object |
| JP2004513442A (ja) * | 2000-11-01 | 2004-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 外観及び幾何学的配置特質に基づき統計モデルを活用する画像処理システムでの人物の札付け |
| JP2004258927A (ja) * | 2003-02-25 | 2004-09-16 | Matsushita Electric Works Ltd | 人検出方法及び人検出装置 |
| JP2005293576A (ja) * | 2004-03-31 | 2005-10-20 | Fuji Xerox Co Ltd | ビデオにおける重要度の高い領域を判別する方法、装置及びプログラム |
| JP2008117196A (ja) * | 2006-11-06 | 2008-05-22 | Toshiba Corp | 誘導装置の動画像処理装置、誘導装置の目標追跡システム及び誘導装置の動画像処理装置における目標追跡方法 |
| JP2009294983A (ja) * | 2008-06-06 | 2009-12-17 | Sony Corp | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| CN102483849A (zh) * | 2009-08-12 | 2012-05-30 | 汤姆森许可贸易公司 | 基于感兴趣区域来减少图像序列中的伪像的系统和方法 |
| JP2013502147A (ja) * | 2009-08-12 | 2013-01-17 | トムソン ライセンシング | 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法 |
| JP2014146164A (ja) * | 2013-01-29 | 2014-08-14 | Toyota Motor Corp | 物体検出装置 |
| JP2017027246A (ja) * | 2015-07-17 | 2017-02-02 | 株式会社日立製作所 | 監視システム及び監視方法 |
| CN110555839A (zh) * | 2019-09-06 | 2019-12-10 | 腾讯云计算（北京）有限责任公司 | 缺陷检测识别方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3625910B2 (ja) | 2005-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154520B (zh) | 一种基于光流与帧间匹配的运动目标检测方法 | |
| US6337917B1 (en) | Rule-based moving object segmentation | |
| JP4668921B2 (ja) | 画像中のオブジェクト検出 | |
| CN105868708B (zh) | 一种图像目标识别方法及装置 | |
| JP3892059B2 (ja) | 動物体追跡装置 | |
| KR101130963B1 (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
| Li et al. | Detection of vehicles from traffic scenes using fuzzy integrals | |
| JPH0981753A (ja) | 移動物体抽出装置 | |
| Mirabi et al. | People tracking in outdoor environment using Kalman filter | |
| Tesei et al. | Long memory matching of interacting complex objects from real image sequences | |
| JP2002150295A (ja) | 物体検出方法及び物体検出装置 | |
| JP2001061152A (ja) | 動き検出方法および動き検出装置 | |
| JP2006048238A (ja) | 画像処理装置及び画像処理プログラム | |
| Foresti | Real‐time detection of multiple moving objects in complex image sequences | |
| Qiu et al. | A methodology review on multi-view pedestrian detection | |
| JP3197633B2 (ja) | 移動体の自動追尾装置 | |
| JPH04345396A (ja) | 移動物体追跡方法 | |
| Micheloni et al. | Fast good features selection for wide area monitoring | |
| JP2002042140A (ja) | 移動物体計測装置及び交通流計測画像処理装置 | |
| KR20000054784A (ko) | 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법 | |
| JP3848709B2 (ja) | 監視用画像処理装置 | |
| JP2016152467A (ja) | 追尾装置、追尾方法及び追尾プログラム | |
| Fuentes et al. | Assessment of image processing techniques as a means of improving personal security in public transport | |
| JPH05165950A (ja) | 概略画像作成方法及び装置 | |
| JPH1010222A (ja) | 複数目標連続追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |