JPH06111018A - イメージ処理システム - Google Patents
イメージ処理システムInfo
- Publication number
- JPH06111018A JPH06111018A JP5156442A JP15644293A JPH06111018A JP H06111018 A JPH06111018 A JP H06111018A JP 5156442 A JP5156442 A JP 5156442A JP 15644293 A JP15644293 A JP 15644293A JP H06111018 A JPH06111018 A JP H06111018A
- Authority
- JP
- Japan
- Prior art keywords
- image
- location
- next image
- prediction
- descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 移動オブジェクト或いは対象を表すイメージ
のシーケンスを処理するシステム及び方法を提供する。 【構成】 このシステムはシーケンスからの次のイメー
ジをシステムに入力する入力手段、対象の現記述を提供
する記述子手段、次のイメージにおける対象のロケーシ
ョンの予測を提供するロケーション手段を含む。対象抽
出手段はロケーション手段により提供される予測にもと
づき、上記次のイメージからデータ領域を抽出する。対
象識別手段は抽出データを現対象記述子と比較し、上記
次のイメージにおける対象のロケーションを決定するよ
うにプログラムされる。提示手段は対象の過去のロケー
ションを記述する履歴データ７０を提示する。予測装置
は続くイメージにおける対象の位置を予測し、この予測
は上記対象識別手段により決定される対象のロケーショ
ン、及び上記提示手段により提供される上記履歴データ
７０にもとづき実行される。
のシーケンスを処理するシステム及び方法を提供する。 【構成】 このシステムはシーケンスからの次のイメー
ジをシステムに入力する入力手段、対象の現記述を提供
する記述子手段、次のイメージにおける対象のロケーシ
ョンの予測を提供するロケーション手段を含む。対象抽
出手段はロケーション手段により提供される予測にもと
づき、上記次のイメージからデータ領域を抽出する。対
象識別手段は抽出データを現対象記述子と比較し、上記
次のイメージにおける対象のロケーションを決定するよ
うにプログラムされる。提示手段は対象の過去のロケー
ションを記述する履歴データ７０を提示する。予測装置
は続くイメージにおける対象の位置を予測し、この予測
は上記対象識別手段により決定される対象のロケーショ
ン、及び上記提示手段により提供される上記履歴データ
７０にもとづき実行される。
Description
【０００１】
【産業上の利用分野】本発明は移動オブジェクトの研究
として定義される運動分析の分野に関し、特に、人間の
運動の研究である生物力学の分野に関する。
として定義される運動分析の分野に関し、特に、人間の
運動の研究である生物力学の分野に関する。
【０００２】
【従来の技術】科学としての運動分析は、移動オブジェ
クトのイメージのシーケンスを獲得する機能に依存す
る。従来、これは映画撮影機及び写真用フィルムを用い
て行われた。しかしながら、最近ではデータの獲得はビ
デオ・カムコーダ或いは特殊目的の固体イメージング・
システムを用いて実施される。これらの機器はイメージ
をデジタル的に獲得し、その出力データを磁気テープ上
に格納する。
クトのイメージのシーケンスを獲得する機能に依存す
る。従来、これは映画撮影機及び写真用フィルムを用い
て行われた。しかしながら、最近ではデータの獲得はビ
デオ・カムコーダ或いは特殊目的の固体イメージング・
システムを用いて実施される。これらの機器はイメージ
をデジタル的に獲得し、その出力データを磁気テープ上
に格納する。
【０００３】こうした技術により獲得されるイメージは
広範な事象に及び、その範囲は自動車の衝突テストのフ
ィルム或いは航空力学的風洞研究のフィルムから、遊ん
でいる子供達のフィルムにまで至る。本発明の実施例で
は、そのスポーツに求められる様々な過程及び技を実行
する運動家、体育家、及び潜水夫のイメージを扱う。
広範な事象に及び、その範囲は自動車の衝突テストのフ
ィルム或いは航空力学的風洞研究のフィルムから、遊ん
でいる子供達のフィルムにまで至る。本発明の実施例で
は、そのスポーツに求められる様々な過程及び技を実行
する運動家、体育家、及び潜水夫のイメージを扱う。
【０００４】獲得されなければならない毎秒当たりのイ
メージ数は、フレーム・レートとして知られる。これは
アプリケーションに依存して変化し、ビデオ・フレーム
・レートは１カメラにつき（毎秒２５フレーム乃至３０
フレームから）最大１２０００フレーム或いはそれ以上
である。
メージ数は、フレーム・レートとして知られる。これは
アプリケーションに依存して変化し、ビデオ・フレーム
・レートは１カメラにつき（毎秒２５フレーム乃至３０
フレームから）最大１２０００フレーム或いはそれ以上
である。
【０００５】現運動分析システムの１つの大きな欠点
は、収集されたイメージがマニュアル式に分析されなけ
ればならない点である。通常、これはイメージが順次的
に投影され、人が対象物の形状或いは位置をデジタル化
することを意味する。この処理は非常に時間を要し、特
定のアプリケーションでは、専用のシステム・オペレー
タが１日につきおおよそ６０イメージをデジタル化す
る。従って、毎秒１０００フレームのフレーム・レート
においては、１秒のフィルミングから生じる出力をデジ
タル化するために、おおよそ１７オペレータ日が必要と
なる。これはおそらく高速運動分析システムの広範な利
用を制限する最大の欠点と思われる。
は、収集されたイメージがマニュアル式に分析されなけ
ればならない点である。通常、これはイメージが順次的
に投影され、人が対象物の形状或いは位置をデジタル化
することを意味する。この処理は非常に時間を要し、特
定のアプリケーションでは、専用のシステム・オペレー
タが１日につきおおよそ６０イメージをデジタル化す
る。従って、毎秒１０００フレームのフレーム・レート
においては、１秒のフィルミングから生じる出力をデジ
タル化するために、おおよそ１７オペレータ日が必要と
なる。これはおそらく高速運動分析システムの広範な利
用を制限する最大の欠点と思われる。
【０００６】時間の消費に加え、大量の類似のイメージ
を繰返しデジタル化する作業は退屈であり、人間による
誤りを引起こす可能性が高い。これらの誤りはデータ分
析の品質を悪化させるが、その検出が困難である。
を繰返しデジタル化する作業は退屈であり、人間による
誤りを引起こす可能性が高い。これらの誤りはデータ分
析の品質を悪化させるが、その検出が困難である。
【０００７】従って、コンピュータ・システムを用いる
ことにより、この分析処理を自動化することが望まし
い。しかしながら、今日までこの実現を妨げてきたいく
つかの問題が存在する。これらの問題は２つの異なるタ
イプに分類される。その第１のタイプの問題は追跡され
るオブジェクトの運動に起因し、第２のタイプの問題は
主に種々のノイズによる低イメージ品質に起因する。
ことにより、この分析処理を自動化することが望まし
い。しかしながら、今日までこの実現を妨げてきたいく
つかの問題が存在する。これらの問題は２つの異なるタ
イプに分類される。その第１のタイプの問題は追跡され
るオブジェクトの運動に起因し、第２のタイプの問題は
主に種々のノイズによる低イメージ品質に起因する。
【０００８】オブジェクトの運動による問題：運動分析
システムから獲得されたイメージは基本的なトレードオ
フを示す。すなわち、フレーム・レートが高速であれば
あるほど、フレーム間のオブジェクトの移動量は少ない
がその品質は劣る。オブジェクトが各フレーム間で小量
しか移動しない場合、明らかにオブジェクトを追跡する
タスクの困難度は緩和される。従って、高速フレーム・
レートを使用することは有利である。しかしながら、分
析はイメージ品質が向上される場合にも単純化される
が、高速なフレーム・レートはイメージの品質の劣化を
招く傾向を示す。より低速なフレーム・レートではより
高品質なイメージを生成するが、追跡される対象物がフ
レーム間で相当の距離を移動する可能性がある。更に、
遅いフレームは高速に移動するオブジェクトのボケを招
く可能性がある。従って、ある適切な妥協点が取られる
ことが必要となる。
システムから獲得されたイメージは基本的なトレードオ
フを示す。すなわち、フレーム・レートが高速であれば
あるほど、フレーム間のオブジェクトの移動量は少ない
がその品質は劣る。オブジェクトが各フレーム間で小量
しか移動しない場合、明らかにオブジェクトを追跡する
タスクの困難度は緩和される。従って、高速フレーム・
レートを使用することは有利である。しかしながら、分
析はイメージ品質が向上される場合にも単純化される
が、高速なフレーム・レートはイメージの品質の劣化を
招く傾向を示す。より低速なフレーム・レートではより
高品質なイメージを生成するが、追跡される対象物がフ
レーム間で相当の距離を移動する可能性がある。更に、
遅いフレームは高速に移動するオブジェクトのボケを招
く可能性がある。従って、ある適切な妥協点が取られる
ことが必要となる。
【０００９】オブジェクトは移動するため、その位置は
時間と共に変化し、従ってイメージを横断する。オブジ
ェクトが加速或いは減速する場合、その速度は時間と共
に変化し、従って、連続イメージ間の運動量もまた変化
する。
時間と共に変化し、従ってイメージを横断する。オブジ
ェクトが加速或いは減速する場合、その速度は時間と共
に変化し、従って、連続イメージ間の運動量もまた変化
する。
【００１０】オブジェクトが非対称の場合、その形状は
オブジェクトがカメラに対し移動するときに変化する。
例として、自分に近づいてくる自動車をその前方から見
る場合を考えてみる。これが脇を通過する時には、その
側面を捕らえ、自分から遠ざかる時には、後ろ姿を捕ら
える。時間と共にその形状を変化するオブジェクトの別
の例として、ひねり宙返りを行う体育家の場合が挙げら
れる。
オブジェクトがカメラに対し移動するときに変化する。
例として、自分に近づいてくる自動車をその前方から見
る場合を考えてみる。これが脇を通過する時には、その
側面を捕らえ、自分から遠ざかる時には、後ろ姿を捕ら
える。時間と共にその形状を変化するオブジェクトの別
の例として、ひねり宙返りを行う体育家の場合が挙げら
れる。
【００１１】イメージ品質による問題：獲得イメージの
品質問題の主な要因はノイズである。これは下記に示す
ようないくつかの要因を含む。 １）実際のカメラ・センサの欠陥或いは局所的問題によ
るセンサの画素ノイズ。これにより典型的には、イメー
ジ全体に渡り、小量のスケール強度変化が発生する。 ２）センサ画素がブロック形式で読出される時に発生す
るセンサ読出しノイズ。これにより全体的イメージが^
ブロッキな^（blocky）外観を呈する。 ３）データが磁気テープに（から）書込まれる（読出さ
れる）時に発生するテープ・ノイズ。 ４）イメージ内に明るい或いは暗い画素として現れるラ
ンダム（スパイク）ノイズ。 ５）不均一な照明により引起こされるイメージに渡る大
域的輝度変化。これは例えば運動家が明るく照明される
フィルミング領域を通過するときに発生する。 ６）バックグランド照明により引起こされる周囲の照度
変化。５０Ｈｚの主幹照明が存在し、５０の倍数に相当
するフレーム・レートが使用される場合、主幹照明の^
ストローブ^（strobe）効果が現れる。
品質問題の主な要因はノイズである。これは下記に示す
ようないくつかの要因を含む。 １）実際のカメラ・センサの欠陥或いは局所的問題によ
るセンサの画素ノイズ。これにより典型的には、イメー
ジ全体に渡り、小量のスケール強度変化が発生する。 ２）センサ画素がブロック形式で読出される時に発生す
るセンサ読出しノイズ。これにより全体的イメージが^
ブロッキな^（blocky）外観を呈する。 ３）データが磁気テープに（から）書込まれる（読出さ
れる）時に発生するテープ・ノイズ。 ４）イメージ内に明るい或いは暗い画素として現れるラ
ンダム（スパイク）ノイズ。 ５）不均一な照明により引起こされるイメージに渡る大
域的輝度変化。これは例えば運動家が明るく照明される
フィルミング領域を通過するときに発生する。 ６）バックグランド照明により引起こされる周囲の照度
変化。５０Ｈｚの主幹照明が存在し、５０の倍数に相当
するフレーム・レートが使用される場合、主幹照明の^
ストローブ^（strobe）効果が現れる。
【００１２】フレーム・レートが増加すると、イメージ
品質は劣化する（ノイズ量が増加する）。これはセンサ
がその性能の限界に近づくこと、及び照明効果がよりク
リティカルになることに起因する。フレーム・レートが
増加すると、各イメージの露光時間は短縮され、その結
果、獲得する光量は減少する。従って、少しの変動が獲
得光量の総量に対して大きな割合を占めることとなり、
信号対ノイズ比率が低下する。
品質は劣化する（ノイズ量が増加する）。これはセンサ
がその性能の限界に近づくこと、及び照明効果がよりク
リティカルになることに起因する。フレーム・レートが
増加すると、各イメージの露光時間は短縮され、その結
果、獲得する光量は減少する。従って、少しの変動が獲
得光量の総量に対して大きな割合を占めることとなり、
信号対ノイズ比率が低下する。
【００１３】
【発明が解決しようとする課題】本発明の目的は上述の
問題を鑑み、非常に多数のイメージ・フレームを高速に
処理するイメージ処理システムを提供することである。
問題を鑑み、非常に多数のイメージ・フレームを高速に
処理するイメージ処理システムを提供することである。
【００１４】
【課題を解決するための手段】従って、本発明は移動対
象を表すイメージのシーケンスを処理するイメージ処理
システムを提供し、このシステムはシーケンスからの次
のイメージをシステムに入力する入力手段、対象の現記
述を提供する記述子手段、次のイメージにおける対象の
ロケーションの予測を提供するロケーション手段、ロケ
ーション手段により提供される予測にもとづき選択され
るデータ領域を上記次のイメージから抽出する対象抽出
手段、抽出データを現対象記述子と比較し、上記次のイ
メージにおける対象のロケーションを決定するようにプ
ログラムされる対象識別手段、対象の過去のロケーショ
ンを記述する履歴データを提示する提示手段、及び続く
イメージにおける対象の位置を予測するようにプログラ
ムされる予測装置を含み、この予測は上記対象識別手段
により決定される対象のロケーション、及び上記提示手
段により提供される上記履歴データにもとづき実行され
る。
象を表すイメージのシーケンスを処理するイメージ処理
システムを提供し、このシステムはシーケンスからの次
のイメージをシステムに入力する入力手段、対象の現記
述を提供する記述子手段、次のイメージにおける対象の
ロケーションの予測を提供するロケーション手段、ロケ
ーション手段により提供される予測にもとづき選択され
るデータ領域を上記次のイメージから抽出する対象抽出
手段、抽出データを現対象記述子と比較し、上記次のイ
メージにおける対象のロケーションを決定するようにプ
ログラムされる対象識別手段、対象の過去のロケーショ
ンを記述する履歴データを提示する提示手段、及び続く
イメージにおける対象の位置を予測するようにプログラ
ムされる予測装置を含み、この予測は上記対象識別手段
により決定される対象のロケーション、及び上記提示手
段により提供される上記履歴データにもとづき実行され
る。
【００１５】本発明の第２の側面によれば、本発明は移
動対象を表すイメージのシーケンスを処理する方法を提
供する。この方法は（ａ）シーケンスからの次のイメー
ジをシステムに入力するステップ、（ｂ）対象の現記述
を提供するステップ、（ｃ）次のイメージにおける対象
のロケーションの予測を提供するステップ、（ｄ）ステ
ップ（ｃ）で提供される予測にもとづき選択されるデー
タ領域を上記次のイメージから抽出するステップ、
（ｅ）抽出データを現対象記述子と比較し、上記次のイ
メージにおける対象のロケーションを決定するステッ
プ、（ｆ）対象の過去のロケーションを記述する履歴デ
ータを提示するステップ、及び（ｇ）続くイメージにお
ける対象の位置を予測するステップを含み、この予測は
上記ステップ（ｅ）で決定される対象のロケーション、
及び上記ステップ（ｆ）で提供される上記履歴データに
もとづき実行される。
動対象を表すイメージのシーケンスを処理する方法を提
供する。この方法は（ａ）シーケンスからの次のイメー
ジをシステムに入力するステップ、（ｂ）対象の現記述
を提供するステップ、（ｃ）次のイメージにおける対象
のロケーションの予測を提供するステップ、（ｄ）ステ
ップ（ｃ）で提供される予測にもとづき選択されるデー
タ領域を上記次のイメージから抽出するステップ、
（ｅ）抽出データを現対象記述子と比較し、上記次のイ
メージにおける対象のロケーションを決定するステッ
プ、（ｆ）対象の過去のロケーションを記述する履歴デ
ータを提示するステップ、及び（ｇ）続くイメージにお
ける対象の位置を予測するステップを含み、この予測は
上記ステップ（ｅ）で決定される対象のロケーション、
及び上記ステップ（ｆ）で提供される上記履歴データに
もとづき実行される。
【００１６】本発明は技術の組合わせにより上述の問題
を克服する。これらの問題を解決するために、健強な対
象抽出及び識別アルゴリズムが複雑なトラッキング・ア
ルゴリズムと組合わされる。
を克服する。これらの問題を解決するために、健強な対
象抽出及び識別アルゴリズムが複雑なトラッキング・ア
ルゴリズムと組合わされる。
【００１７】
【実施例】本発明は図１に示される実施例を参照して説
明され、これは実施例のシステムがどのように動作する
かを示す流れ図である。
明され、これは実施例のシステムがどのように動作する
かを示す流れ図である。
【００１８】図１から理解されるように、システムはル
ープ内の多数の処理を実行することにより動作する。ル
ープの各繰返しにおいて、３つの処理が実行される。
ープ内の多数の処理を実行することにより動作する。ル
ープの各繰返しにおいて、３つの処理が実行される。
【００１９】第１に対象の抽出及び識別ステップ４０が
実行される。これは以下の３つの入力を要求する。 １）追跡されるオブジェクト或いはオブジェクトの姿の
記述３０。実施例ではオブジェクトの形状をそのエッジ
及びその相対位置により記述するモデルが使用される。 ２）イメージのシーケンスにおける次のイメージ１０。 ３）追跡される対象の次のイメージにおける位置の予測
２０。
実行される。これは以下の３つの入力を要求する。 １）追跡されるオブジェクト或いはオブジェクトの姿の
記述３０。実施例ではオブジェクトの形状をそのエッジ
及びその相対位置により記述するモデルが使用される。 ２）イメージのシーケンスにおける次のイメージ１０。 ３）追跡される対象の次のイメージにおける位置の予測
２０。
【００２０】対象抽出が次に以下に示すように実行され
る。 １．次のイメージ１０が現データ・セットとして使用さ
れるように、システムにロードされる。対象抽出手段が
次にこのデータから小さなサブイメージ（ウィンドウ）
を抽出し、イメージ内における対象の予測位置２０に置
かれる。 ２．この抽出されたサブイメージが、次に対象抽出手段
内にプログラムされる確率的キャニー・エッジ検出アル
ゴリズムを用いて処理される。これは ^エッジェル^
（edgels）（小エッジ・フラグメント）のリストを生成
する。キャニー・エッジ検出アルゴリズムは周知のアル
ゴリズムであり、従来、マシン・ビジョン・アプリケー
ション及びメディカル・イメージ・アプリケーションに
おいて使用されており、ここでは触れないことにする。 ３．エッジェルが処理され、キャニー・アルゴリズムに
より見い出されるエッジだけを示すイメージが構成され
る。強いエッジが大きく重み付けされるように、エッジ
が重み付けされる。特定のエッジに与えられる正確な重
みは、研究される対象、イメージの品質などに依存して
変化する。 ４．この時点で、生成されたエッジ・イメージは対象抽
出手段により対象識別手段に受渡され、同時に次のイメ
ージのオブジェクト記述子３０として使用されるように
格納される。
る。 １．次のイメージ１０が現データ・セットとして使用さ
れるように、システムにロードされる。対象抽出手段が
次にこのデータから小さなサブイメージ（ウィンドウ）
を抽出し、イメージ内における対象の予測位置２０に置
かれる。 ２．この抽出されたサブイメージが、次に対象抽出手段
内にプログラムされる確率的キャニー・エッジ検出アル
ゴリズムを用いて処理される。これは ^エッジェル^
（edgels）（小エッジ・フラグメント）のリストを生成
する。キャニー・エッジ検出アルゴリズムは周知のアル
ゴリズムであり、従来、マシン・ビジョン・アプリケー
ション及びメディカル・イメージ・アプリケーションに
おいて使用されており、ここでは触れないことにする。 ３．エッジェルが処理され、キャニー・アルゴリズムに
より見い出されるエッジだけを示すイメージが構成され
る。強いエッジが大きく重み付けされるように、エッジ
が重み付けされる。特定のエッジに与えられる正確な重
みは、研究される対象、イメージの品質などに依存して
変化する。 ４．この時点で、生成されたエッジ・イメージは対象抽
出手段により対象識別手段に受渡され、同時に次のイメ
ージのオブジェクト記述子３０として使用されるように
格納される。
【００２１】対象識別が次に以下に示すように実行され
る。 １．以前のイメージに対応して上記ステップ３で獲得さ
れる処理済みエッジ・イメージが検索される。これはオ
ブジェクト記述イメージ３０である。 ２．オブジェクト記述イメージ３０及び現エッジ・イメ
ージが対象抽出手段により比較される。この比較はイメ
ージが小さい場合には直接相互相関、或いは論理整合に
より実行され、イメージが大きい場合にはフーリエ・ド
メイン相互相関により実行される。概念的には、これは
現エッジ・イメージを記述イメージ３０を横断してスラ
イドすることにより実施される。各相対位置において、
イメージが比較され、２つのイメージがどの程度類似す
るかを示す測定値に対応する数値が計算される。これら
の技法は当業者には容易に理解されるため、ここではこ
れ以上触れないことにする。 ３．ステップ２からの出力は数値の配列であり、全ての
有効位置におけるイメージの類似性を示す。最大数は最
大の類似性を示し、その位置は現イメージにおける追跡
オブジェクトのロケーション５０として出力される。
る。 １．以前のイメージに対応して上記ステップ３で獲得さ
れる処理済みエッジ・イメージが検索される。これはオ
ブジェクト記述イメージ３０である。 ２．オブジェクト記述イメージ３０及び現エッジ・イメ
ージが対象抽出手段により比較される。この比較はイメ
ージが小さい場合には直接相互相関、或いは論理整合に
より実行され、イメージが大きい場合にはフーリエ・ド
メイン相互相関により実行される。概念的には、これは
現エッジ・イメージを記述イメージ３０を横断してスラ
イドすることにより実施される。各相対位置において、
イメージが比較され、２つのイメージがどの程度類似す
るかを示す測定値に対応する数値が計算される。これら
の技法は当業者には容易に理解されるため、ここではこ
れ以上触れないことにする。 ３．ステップ２からの出力は数値の配列であり、全ての
有効位置におけるイメージの類似性を示す。最大数は最
大の類似性を示し、その位置は現イメージにおける追跡
オブジェクトのロケーション５０として出力される。
【００２２】対象識別ステップにより出力されるロケー
ション情報５０は、システムの追跡セクション６０への
１つの入力として使用される。実施例では、追跡に関し
て単純なケースに対応して線形予測アルゴリズムが使用
され、より複雑なケース或いはイメージ品質が問題とな
るケースに対応してカルマン（Kalman）フィルタが使用
される。カルマン・フィルタはその使用が主に軍事的応
用例に制限されているが、周知のフィルタである。Yaak
ov Bar-Shalom及びThomas E．Fortmann による論説"Tra
cking and Data Association"（Academic Press 1988）
の中でカルマン・フィルタについて詳しく述べている。
ション情報５０は、システムの追跡セクション６０への
１つの入力として使用される。実施例では、追跡に関し
て単純なケースに対応して線形予測アルゴリズムが使用
され、より複雑なケース或いはイメージ品質が問題とな
るケースに対応してカルマン（Kalman）フィルタが使用
される。カルマン・フィルタはその使用が主に軍事的応
用例に制限されているが、周知のフィルタである。Yaak
ov Bar-Shalom及びThomas E．Fortmann による論説"Tra
cking and Data Association"（Academic Press 1988）
の中でカルマン・フィルタについて詳しく述べている。
【００２３】追跡セクション６０への他の入力として履
歴データ７０があり、この場合、以前のイメージにおけ
る追跡オブジェクトの位置に相当する。使用される以前
の位置の数は変化し、更に複雑な運動では容認できる正
確な予測を得るために、より多くの以前の入力が必要と
なる。一般に、１個乃至５個の以前の位置が使用され
る。ロケーション情報５０及び履歴データ７０は、次の
イメージにおける対象の位置予測を生成するために、追
跡オブジェクトによって使用される。カルマン・フィル
タでは位置誤差予測も出力され、これもまた履歴情報の
一部を形成し、追跡アルゴリズムにおける後の繰返しに
おいて使用される。
歴データ７０があり、この場合、以前のイメージにおけ
る追跡オブジェクトの位置に相当する。使用される以前
の位置の数は変化し、更に複雑な運動では容認できる正
確な予測を得るために、より多くの以前の入力が必要と
なる。一般に、１個乃至５個の以前の位置が使用され
る。ロケーション情報５０及び履歴データ７０は、次の
イメージにおける対象の位置予測を生成するために、追
跡オブジェクトによって使用される。カルマン・フィル
タでは位置誤差予測も出力され、これもまた履歴情報の
一部を形成し、追跡アルゴリズムにおける後の繰返しに
おいて使用される。
【００２４】オブジェクト記述３０が対象抽出アルゴリ
ズムにより、各イメージに対して格納されるという事実
は、その形状が変化するオブジェクトを追跡するシステ
ムの能力を表す。オブジェクトがその形状を変える時、
記述が連続的に更新される。
ズムにより、各イメージに対して格納されるという事実
は、その形状が変化するオブジェクトを追跡するシステ
ムの能力を表す。オブジェクトがその形状を変える時、
記述が連続的に更新される。
【００２５】このアルゴリズムにより示されるノイズ許
容偏差は、一部は対象抽出用のキャニー・エッジ検出器
の使用により、一部は追跡用のカルマン・フィルタの使
用による。キャニー・エッジ検出器はノイズによる擬似
エッジを除去するために、確率法及びヒステリシス法の
両方を使用する。
容偏差は、一部は対象抽出用のキャニー・エッジ検出器
の使用により、一部は追跡用のカルマン・フィルタの使
用による。キャニー・エッジ検出器はノイズによる擬似
エッジを除去するために、確率法及びヒステリシス法の
両方を使用する。
【００２６】カルマン・フィルタは確率法を使用して、
対象位置のロケーションにおける小量の誤差により引起
こされる追跡誤差を除去する。これは効果的に、見い出
される位置の適応スムージングとなる。類似の確率法が
この段階において、ノイズ及び測定の不確実性により引
起こされる誤差を最小化するために使用される。フィル
タは予測位置及びシステム状態（ "この運動を予測する
ために現在使用中のモデルがどの程度良好であるか" を
意味する）の両方における誤差測定を計算し、これらも
また格納され、続くイメージにおける追跡ステップへの
入力として使用される。
対象位置のロケーションにおける小量の誤差により引起
こされる追跡誤差を除去する。これは効果的に、見い出
される位置の適応スムージングとなる。類似の確率法が
この段階において、ノイズ及び測定の不確実性により引
起こされる誤差を最小化するために使用される。フィル
タは予測位置及びシステム状態（ "この運動を予測する
ために現在使用中のモデルがどの程度良好であるか" を
意味する）の両方における誤差測定を計算し、これらも
また格納され、続くイメージにおける追跡ステップへの
入力として使用される。
【００２７】本発明の実施例によるシステムを使用する
ことにより、非常に多数のイメージが高速、且つ正確に
処理可能となる。
ことにより、非常に多数のイメージが高速、且つ正確に
処理可能となる。
【００２８】本発明の実施例のシステムは、マニュアル
式の従来技術を越える以下のような多数の利点を有す
る。 １）大量のイメージを処理する自動化技術が提供され
る。 ２）フィルミング中にオブジェクトの形状が変化したと
しても、オブジェクトの追跡を継続可能な技術を用い
る。既述のように、これは処理の毎繰返しの度に更新さ
れるオブジェクトの現記述３０にもとづく。 ３）複数のオブジェクトを同時に追跡可能である。これ
は性能を拡張するために、並列コンピュータ・システム
の使用を可能とする。 ４）ある時間周期、オブジェクトが不明確或いは隠れた
としても、オブジェクトの追跡を継続可能とするアルゴ
リズムを用いる。これは対象ロケーション及び以前のロ
ケーションを用いる対象追跡の組合わせによる。 ５）既述のようにノイズ許容が提供され、低品質のイメ
ージ・データを処理可能である。
式の従来技術を越える以下のような多数の利点を有す
る。 １）大量のイメージを処理する自動化技術が提供され
る。 ２）フィルミング中にオブジェクトの形状が変化したと
しても、オブジェクトの追跡を継続可能な技術を用い
る。既述のように、これは処理の毎繰返しの度に更新さ
れるオブジェクトの現記述３０にもとづく。 ３）複数のオブジェクトを同時に追跡可能である。これ
は性能を拡張するために、並列コンピュータ・システム
の使用を可能とする。 ４）ある時間周期、オブジェクトが不明確或いは隠れた
としても、オブジェクトの追跡を継続可能とするアルゴ
リズムを用いる。これは対象ロケーション及び以前のロ
ケーションを用いる対象追跡の組合わせによる。 ５）既述のようにノイズ許容が提供され、低品質のイメ
ージ・データを処理可能である。
【００２９】
【発明の効果】以上説明したように、本発明によれば、
非常に多数のイメージ・フレームを高速に処理するイメ
ージ処理システムが提供される。
非常に多数のイメージ・フレームを高速に処理するイメ
ージ処理システムが提供される。
【図１】本発明の実施例の動作流れ図である。
３０ オブジェクト記述 ４０ 識別ステップ ５０ ロケーション情報 ６０ 追跡セクション ７０ 履歴データ
Claims (8)
- 【請求項１】移動対象を表すイメージのシーケンスを処
理するイメージ処理システムであって、 シーケンスからの次のイメージをシステムに入力する入
力手段と、 対象の現記述を提供する記述子手段と、 次のイメージにおける対象のロケーションの予測を提供
するロケーション手段と、 上記ロケーション手段により提供される予測にもとづき
選択されるデータ領域を上記次のイメージから抽出する
対象抽出手段と、 抽出データを現対象記述子と比較し、上記次のイメージ
における対象のロケーションを決定するようにプログラ
ムされる対象識別手段と、 対象の過去のロケーションを記述する履歴データを提示
する提示手段と、 続くイメージにおける対象の位置を予測するようにプロ
グラムされる予測装置とを含み、 予測が上記対象識別手段により決定される対象のロケー
ション、及び上記提示手段により提供される上記履歴デ
ータにもとづき実行されることを特徴とする上記システ
ム。 - 【請求項２】上記対象抽出手段が確率的キャニー・エッ
ジ検出アルゴリズムを使用し、キャニー・アルゴリズム
により見い出されるエッジだけを示すイメージを生成す
るように、上記抽出データを処理するようにプログラム
される請求項１記載のシステム。 - 【請求項３】上記対象抽出手段からの出力がメモリに格
納され、上記続くイメージに対応する対象記述子として
使用される請求項１或いは２記載のシステム。 - 【請求項４】上記対象識別手段がフーリエ・ドメイン相
互相関により、上記抽出データを現対象記述子と比較す
る請求項１乃至３記載のシステム。 - 【請求項５】移動対象を表すイメージのシーケンスを処
理する方法であって、 （ａ）シーケンスからの次のイメージをシステムに入力
するステップと、 （ｂ）対象の現記述を提供するステップと、 （ｃ）次のイメージにおける対象のロケーションの予測
を提供するステップと、 （ｄ）ステップ（ｃ）において提供される予測にもとづ
き選択されるデータ領域を、上記次のイメージから抽出
するステップと、 （ｅ）抽出データを現対象記述子と比較し、上記次のイ
メージにおける対象のロケーションを決定するステップ
と、 （ｆ）対象の過去のロケーションを記述する履歴データ
を提示するステップと、 （ｇ）続くイメージにおける対象の位置を予測するステ
ップとを含み、 予測がステップ（ｅ）において決定される対象のロケー
ション、及びステップ（ｆ）において提供される上記履
歴データにもとづき実行されることを特徴とする方法。 - 【請求項６】ステップ（ｄ）が確率的キャニー・エッジ
検出アルゴリズムを使用し、キャニー・アルゴリズムに
より見い出されるエッジだけを示すイメージを生成する
ように、上記抽出データを処理するステップを含む請求
項５記載の方法。 - 【請求項７】ステップ（ｄ）からの出力がメモリに格納
され、上記続くイメージに対応する対象記述子として使
用される請求項５或いは６記載の方法。 - 【請求項８】ステップ（ｅ）がフーリエ・ドメイン相互
相関により、上記抽出データを現対象記述子と比較する
請求項５乃至７記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9218862.2 | 1992-09-05 | ||
| GB9218862A GB2270436A (en) | 1992-09-05 | 1992-09-05 | Target tracking system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06111018A true JPH06111018A (ja) | 1994-04-22 |
Family
ID=10721492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5156442A Pending JPH06111018A (ja) | 1992-09-05 | 1993-06-28 | イメージ処理システム |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0587329A3 (ja) |
| JP (1) | JPH06111018A (ja) |
| GB (1) | GB2270436A (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5390133A (en) * | 1992-09-30 | 1995-02-14 | Martin Marietta Corporation | Image processor for target detection and tracking |
| US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| WO2000018128A1 (en) * | 1998-09-24 | 2000-03-30 | The Trustees Of Columbia University In The City Of New York | System and method for semantic video object segmentation |
| US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| US7339992B2 (en) | 2001-12-06 | 2008-03-04 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
| US8594370B2 (en) | 2004-07-26 | 2013-11-26 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
| WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60209104A (ja) * | 1984-04-02 | 1985-10-21 | Komatsu Ltd | 移動体の追跡方法 |
| JPS63305477A (ja) * | 1987-06-06 | 1988-12-13 | Hitachi Ltd | 移動物体像抽出方式 |
| JPH0237481A (ja) * | 1988-07-27 | 1990-02-07 | Toshiba Corp | 被写体色判別装置 |
| JPH02123877A (ja) * | 1988-11-01 | 1990-05-11 | Sumitomo Heavy Ind Ltd | 移動物体の自動追尾装置 |
| JPH0514807A (ja) * | 1991-06-28 | 1993-01-22 | Nippon Hoso Kyokai <Nhk> | 動画像領域抽出装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE411400B (sv) * | 1977-11-02 | 1979-12-17 | Saab Scania Ab | For foljning av ett objekt avsedd korrelationsfoljare |
| GB2105941B (en) * | 1978-10-11 | 1983-09-01 | Emi Ltd | Correlation of representations of a reference and a scene |
| EP0020795A1 (en) * | 1979-06-09 | 1981-01-07 | Hughes Aircraft Company | An infrared tracking system |
| US4631676A (en) * | 1983-05-25 | 1986-12-23 | Hospital For Joint Diseases Or | Computerized video gait and motion analysis system and method |
| US5031049A (en) * | 1984-05-25 | 1991-07-09 | Canon Kabushiki Kaisha | Automatic object image follow-up device |
| US4719584A (en) * | 1985-04-01 | 1988-01-12 | Hughes Aircraft Company | Dual mode video tracker |
| JP2953712B2 (ja) * | 1989-09-27 | 1999-09-27 | 株式会社東芝 | 移動物体検知装置 |
| US5062056A (en) * | 1989-10-18 | 1991-10-29 | Hughes Aircraft Company | Apparatus and method for tracking a target |
| GB2242590A (en) * | 1989-11-22 | 1991-10-02 | Marconi Gec Ltd | Visual tracking apparatus |
-
1992
- 1992-09-05 GB GB9218862A patent/GB2270436A/en not_active Withdrawn
-
1993
- 1993-06-28 JP JP5156442A patent/JPH06111018A/ja active Pending
- 1993-08-18 EP EP19930306537 patent/EP0587329A3/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60209104A (ja) * | 1984-04-02 | 1985-10-21 | Komatsu Ltd | 移動体の追跡方法 |
| JPS63305477A (ja) * | 1987-06-06 | 1988-12-13 | Hitachi Ltd | 移動物体像抽出方式 |
| JPH0237481A (ja) * | 1988-07-27 | 1990-02-07 | Toshiba Corp | 被写体色判別装置 |
| JPH02123877A (ja) * | 1988-11-01 | 1990-05-11 | Sumitomo Heavy Ind Ltd | 移動物体の自動追尾装置 |
| JPH0514807A (ja) * | 1991-06-28 | 1993-01-22 | Nippon Hoso Kyokai <Nhk> | 動画像領域抽出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0587329A2 (en) | 1994-03-16 |
| EP0587329A3 (en) | 1994-11-30 |
| GB9218862D0 (en) | 1992-10-21 |
| GB2270436A (en) | 1994-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106096577B (zh) | 一种摄像头分布地图中的目标追踪方法 | |
| KR101441333B1 (ko) | 인체 부분 검출 장치 및 그 방법 | |
| US9400935B2 (en) | Detecting apparatus of human component and method thereof | |
| CN104378582B (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| Subburaman et al. | Counting people in the crowd using a generic head detector | |
| JP2008026974A (ja) | 人物追跡装置 | |
| CN108961312A (zh) | 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统 | |
| US9177229B2 (en) | Kalman filter approach to augment object tracking | |
| CN105930822A (zh) | 一种人脸抓拍方法及系统 | |
| US8107714B2 (en) | Methods for detecting and tagging scene changes | |
| JPH06111018A (ja) | イメージ処理システム | |
| Abbott et al. | Multiple target tracking with lazy background subtraction and connected components analysis | |
| CN116402852A (zh) | 基于事件相机的动态高速目标追踪方法及装置 | |
| JP2014149716A (ja) | 物体追跡装置及びその方法 | |
| KR101032098B1 (ko) | 열적외선을 이용한 환경독립형 교통검지시스템 | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| Wu et al. | Real-time airport security checkpoint surveillance using a camera network | |
| US20070098220A1 (en) | Method of triggering a detector to detect a moving feature within a video stream | |
| CN108288283A (zh) | 一种基于相关滤波的视频跟踪方法 | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| CN111339934A (zh) | 一种融合图像预处理与深度学习目标检测的人头检测方法 | |
| Huang et al. | Motion characteristics estimation of animals in video surveillance | |
| JPH05300516A (ja) | 動画処理装置 | |
| Wibowo et al. | Implementation of Background Subtraction for Counting Vehicle Using Mixture of Gaussians with ROI Optimization | |
| Davis et al. | Building adaptive camera models for video surveillance |