JP3079196B2 - フィードバックループ装置およびイメージデータピクセルの繰返し動作処理方法 - Google Patents
フィードバックループ装置およびイメージデータピクセルの繰返し動作処理方法Info
- Publication number
- JP3079196B2 JP3079196B2 JP03502989A JP50298991A JP3079196B2 JP 3079196 B2 JP3079196 B2 JP 3079196B2 JP 03502989 A JP03502989 A JP 03502989A JP 50298991 A JP50298991 A JP 50298991A JP 3079196 B2 JP3079196 B2 JP 3079196B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image data
- generation
- pattern
- movement pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 発明の背景 撮像シーンの動画の連続フレームの各々に含まれる単
一移動物体（コヒーレント動作を行なう）を配置する技
術として、２個の連続イメージフレームのうちの一方に
おける空間対応する各イメージデータピクセルのレベル
値を他方の値から差し引き、これによって所定シーン中
で静止物体を定めるピクセルを除去すると共に、差イメ
ージデータ中における所定シーン中の単一移動物体を定
めるピクセルのみを残すという方法が周知である。更
に、差イメージデータ中における単一移動物体の対応ピ
クセルのフレームレート及び変位を知ることにより、単
一移動物体の速度を演算することが可能である。連続す
る各フレーム中におけるイメージデータのそうした処理
を容易化するため、まずこれをデジタル形式に変換する
ことが通常行われる。
一移動物体（コヒーレント動作を行なう）を配置する技
術として、２個の連続イメージフレームのうちの一方に
おける空間対応する各イメージデータピクセルのレベル
値を他方の値から差し引き、これによって所定シーン中
で静止物体を定めるピクセルを除去すると共に、差イメ
ージデータ中における所定シーン中の単一移動物体を定
めるピクセルのみを残すという方法が周知である。更
に、差イメージデータ中における単一移動物体の対応ピ
クセルのフレームレート及び変位を知ることにより、単
一移動物体の速度を演算することが可能である。連続す
る各フレーム中におけるイメージデータのそうした処理
を容易化するため、まずこれをデジタル形式に変換する
ことが通常行われる。
しかし、動画連続フレームのイメージデータが２動作
を定める時には、問題が難しくなる。シーンを記録する
動画撮像カメラの動作（変換，回転及びズーム）に従っ
て、所定の全体速度のパターンで移動する背景領域を含
む。この場合、背景領域に対して局部的に移動する前景
物体の占めるシーン領域は、動画中を所定速度で移動す
る。この移動速度は、背景領域に対するそれ自体の速度
及び背景領域自体の全体速度パターン双方の関数であ
る。
を定める時には、問題が難しくなる。シーンを記録する
動画撮像カメラの動作（変換，回転及びズーム）に従っ
て、所定の全体速度のパターンで移動する背景領域を含
む。この場合、背景領域に対して局部的に移動する前景
物体の占めるシーン領域は、動画中を所定速度で移動す
る。この移動速度は、背景領域に対するそれ自体の速度
及び背景領域自体の全体速度パターン双方の関数であ
る。
このような動画をリアルタイムで連続派生させるため
にビデオカメラが使用されていると想定すると、（１）
全体動作の影響（視差によるものを含む）を除去するた
め、及び（２）局部移動前景物体を検出そしてトラック
してこの全体動作を排除するため、に動画の連続フレー
ム列中のイメージデータをリアルタイムで用いることが
問題となる。
にビデオカメラが使用されていると想定すると、（１）
全体動作の影響（視差によるものを含む）を除去するた
め、及び（２）局部移動前景物体を検出そしてトラック
してこの全体動作を排除するため、に動画の連続フレー
ム列中のイメージデータをリアルタイムで用いることが
問題となる。
従来の一般的イメージ動作解析技術は、ビデオシーケ
ンスの各フレームにおけるそれぞれのイメージピクセル
に対し、個別の変位ベクトルを演算するというものであ
る。これは、各ピクセルが互いに異なる動きをする各フ
レーム間におけるパターンマッチングを必要とするの
で、演算上極めて困難な作業を伴う。
ンスの各フレームにおけるそれぞれのイメージピクセル
に対し、個別の変位ベクトルを演算するというものであ
る。これは、各ピクセルが互いに異なる動きをする各フ
レーム間におけるパターンマッチングを必要とするの
で、演算上極めて困難な作業を伴う。
最近では、上記問題をリアルタイムで解決するための
方法として、いわゆる「多数決動作」アプローチが開発
されている。この「多数決動作」アプローチ及びその実
施方法に関しては、The Computer Society of the
IEEEにより発行された1989年３月20−22日にカリフォ
ルニア州イルビンで開催された会議「ビジュアル動作に
関するワークショプの議事録」に掲載されたBurt他によ
る記事「移動カメラを用いた物体トラッキング−動的動
作解析の応用」に詳しく開示されている。更に、この
「多数決動作」アプローチの改善例が、1988年11月14−
15日にハンツビユで開催された「先進ミサイルシステム
のためのパターン認識会議」でのBurt他による記事「ナ
ビゲーション及びターゲットトラッキングのための実用
リアルタイム動作解析」に詳しく開示されている。
方法として、いわゆる「多数決動作」アプローチが開発
されている。この「多数決動作」アプローチ及びその実
施方法に関しては、The Computer Society of the
IEEEにより発行された1989年３月20−22日にカリフォ
ルニア州イルビンで開催された会議「ビジュアル動作に
関するワークショプの議事録」に掲載されたBurt他によ
る記事「移動カメラを用いた物体トラッキング−動的動
作解析の応用」に詳しく開示されている。更に、この
「多数決動作」アプローチの改善例が、1988年11月14−
15日にハンツビユで開催された「先進ミサイルシステム
のためのパターン認識会議」でのBurt他による記事「ナ
ビゲーション及びターゲットトラッキングのための実用
リアルタイム動作解析」に詳しく開示されている。
上記２つのBurt他による記事に開示された全ての特定
アプローチは、各フレームのほぼ全領域中に含まれるイ
メージデータを多数の個別隣接小型局部解析ウィンドウ
領域に分節することにより行われる。この分節は、各局
部解析ウィンドウがそれ自体の演算された単一変換動作
速度のみを持つように仮定される限りにおいては望まし
い。各局部解析ウィンドウの大きさが単一ピクセルの占
める大きさに近づけば近づくほど（分節が大きくなれば
なるほど）、この仮定が真に近づく。しかし、実際上は
各局部解析ウィンドウの大きさは単一イメージピクセル
の占める大きさをかなり越えており、このために局部解
析ウィンドウの演算された単一変換動作速度は、現実に
はそのウィンドウ内の全イメージピクセルの平均速度と
なる。この分節アプローチは、連続する各フレームにお
ける局部移動撮像物体の周囲が、そのフレーム中で該物
体が占めるこれら局部解析ウィンドウの各境界とは関連
していないという点で極めて人工的方法である。もし、
特定ウィンドウの全領域が占有されるという状態が発生
すれば、そのウィンドウに対して演算された単一変換移
動速度が正しい値となる。しかし、もし特定ウィンドウ
の未解決部分領域のみを占めるような場合には、そのウ
ィンドウに対して演算された単一変換移動速度は不正確
な値となる。とはいえ、このような問題にかかわらず、
前記バート他による記事に開示された分節を用いた「多
数決移動」及び他のアプローチは、或る種の動的２動作
イメージ解析、例えば全体動作の影響排除等に有効であ
り、局部移動前景物体を検出、トラックしてこの全体動
作を排除することが可能である。
アプローチは、各フレームのほぼ全領域中に含まれるイ
メージデータを多数の個別隣接小型局部解析ウィンドウ
領域に分節することにより行われる。この分節は、各局
部解析ウィンドウがそれ自体の演算された単一変換動作
速度のみを持つように仮定される限りにおいては望まし
い。各局部解析ウィンドウの大きさが単一ピクセルの占
める大きさに近づけば近づくほど（分節が大きくなれば
なるほど）、この仮定が真に近づく。しかし、実際上は
各局部解析ウィンドウの大きさは単一イメージピクセル
の占める大きさをかなり越えており、このために局部解
析ウィンドウの演算された単一変換動作速度は、現実に
はそのウィンドウ内の全イメージピクセルの平均速度と
なる。この分節アプローチは、連続する各フレームにお
ける局部移動撮像物体の周囲が、そのフレーム中で該物
体が占めるこれら局部解析ウィンドウの各境界とは関連
していないという点で極めて人工的方法である。もし、
特定ウィンドウの全領域が占有されるという状態が発生
すれば、そのウィンドウに対して演算された単一変換移
動速度が正しい値となる。しかし、もし特定ウィンドウ
の未解決部分領域のみを占めるような場合には、そのウ
ィンドウに対して演算された単一変換移動速度は不正確
な値となる。とはいえ、このような問題にかかわらず、
前記バート他による記事に開示された分節を用いた「多
数決移動」及び他のアプローチは、或る種の動的２動作
イメージ解析、例えば全体動作の影響排除等に有効であ
り、局部移動前景物体を検出、トラックしてこの全体動
作を排除することが可能である。
発明の概要 撮像シーンの動画の連続フレーム列に応答する本発明
は、単一動作解析及び多くのタイプの２動作解析に概ね
適用できる。また、本発明は、フレーム領域が複数の小
型個別局部解析ウィンドウに分節されることを必要とせ
ず、比較的大きな解析領域（フレーム領域全体の場合も
ある）を用いることを可能とするものである。
は、単一動作解析及び多くのタイプの２動作解析に概ね
適用できる。また、本発明は、フレーム領域が複数の小
型個別局部解析ウィンドウに分節されることを必要とせ
ず、比較的大きな解析領域（フレーム領域全体の場合も
ある）を用いることを可能とするものである。
更に、本発明は、連続する各運転サイクル中におい
て、動画の第１発生フレーム、第２発生フレーム、及び
第３発生フレームの各解析領域中のイメージデータピク
セルを反復的に動作処理するために、フィードバックル
ープにより実行される方法に関する。この方法におい
て、これら動画フレームの前記解析領域中におけるイメ
ージデータピクセルは、第１及び第２の互いに異なる移
動パターンを定めることができる。
て、動画の第１発生フレーム、第２発生フレーム、及び
第３発生フレームの各解析領域中のイメージデータピク
セルを反復的に動作処理するために、フィードバックル
ープにより実行される方法に関する。この方法におい
て、これら動画フレームの前記解析領域中におけるイメ
ージデータピクセルは、第１及び第２の互いに異なる移
動パターンを定めることができる。
フィードバックループは、第１発生フレーム及び第２
発生フレームの各解析領域内における第１移動パターン
の位置を、第２発生フレーム及び第３発生フレームの各
解析領域内の第１移動パターンの位置へそれぞれシフト
させるための第１及び第２ワープ手段を含む。このシフ
ト量は、フィールドバックループの反復作用の任意のあ
るサイクル中に第１及び第２ワープ手段へ供給されたワ
ープ制御信号値により定められる。第１及び第２ワープ
手段へそれぞれ接続された第１及び第２演算手段は、第
２発生フレーム及び他からのパターンシフトされた第１
発生フレームのうち一の対応イメージデータピクセル値
に対して所定の演算を実行して第１演算イメージデータ
を導き出し、また第３発生フレーム及び他からのパター
ンシフトされた第２発生フレームのうち一の対応イメー
ジデータピクセル値に対して所定の演算を実行して第２
演算イメージデータを発生させる。繰返し運転の前記奇
数サイクル中に導かれた第１及び第２差イメージデータ
双方に応答する動作推定手段は、繰返し作用のその直後
の偶数サイクル中に第１及び第２ワープ手段へ供給され
る第１ワープ制御信号値を演算する。この第１演算値に
より、各第１発生及び第２発生フレーム解析領域内にお
ける移動パターンの第２の位置が、各第２発生及び第３
発生フレーム解析領域内における移動パターンの第２の
位置へ向けて、第１演算値により定められる量だけ移動
する結果になる。
発生フレームの各解析領域内における第１移動パターン
の位置を、第２発生フレーム及び第３発生フレームの各
解析領域内の第１移動パターンの位置へそれぞれシフト
させるための第１及び第２ワープ手段を含む。このシフ
ト量は、フィールドバックループの反復作用の任意のあ
るサイクル中に第１及び第２ワープ手段へ供給されたワ
ープ制御信号値により定められる。第１及び第２ワープ
手段へそれぞれ接続された第１及び第２演算手段は、第
２発生フレーム及び他からのパターンシフトされた第１
発生フレームのうち一の対応イメージデータピクセル値
に対して所定の演算を実行して第１演算イメージデータ
を導き出し、また第３発生フレーム及び他からのパター
ンシフトされた第２発生フレームのうち一の対応イメー
ジデータピクセル値に対して所定の演算を実行して第２
演算イメージデータを発生させる。繰返し運転の前記奇
数サイクル中に導かれた第１及び第２差イメージデータ
双方に応答する動作推定手段は、繰返し作用のその直後
の偶数サイクル中に第１及び第２ワープ手段へ供給され
る第１ワープ制御信号値を演算する。この第１演算値に
より、各第１発生及び第２発生フレーム解析領域内にお
ける移動パターンの第２の位置が、各第２発生及び第３
発生フレーム解析領域内における移動パターンの第２の
位置へ向けて、第１演算値により定められる量だけ移動
する結果になる。
図面の簡単な説明 図１は、従来技術の「多数決動作」アプローチ及びそ
の改良において、飛行機に搭載された移動カメラから見
た自動車等の移動物体の地面上の局部移動を解析するた
めに用いられる局部解析ウィンドウにフレーム領域を分
節した状態を示す図； 図２は、従来技術の「多数決動作」アプローチ及びそ
の改良を実行するための従来のフィードバックループを
示すブロック図； 図3a−3fは、本発明の動作解析アプローチにより効率
的に解析される異なるタイプの動作形態にそれぞれが関
する、フレーム領域の解析領域の６個の例を示す図； 図４は、本発明の動作解析アプローチを実行するため
の本発明の図示例を組み込んだフィードバックループの
ブロック図である。
の改良において、飛行機に搭載された移動カメラから見
た自動車等の移動物体の地面上の局部移動を解析するた
めに用いられる局部解析ウィンドウにフレーム領域を分
節した状態を示す図； 図２は、従来技術の「多数決動作」アプローチ及びそ
の改良を実行するための従来のフィードバックループを
示すブロック図； 図3a−3fは、本発明の動作解析アプローチにより効率
的に解析される異なるタイプの動作形態にそれぞれが関
する、フレーム領域の解析領域の６個の例を示す図； 図４は、本発明の動作解析アプローチを実行するため
の本発明の図示例を組み込んだフィードバックループの
ブロック図である。
好適な実施例の説明 図１の従来技術アプローチにおいて、移動撮像カメラ
（例：ビデオカメラ）は、飛行機内から、自動車等の物
体を追って下方を見たものである。該カメラは、局部移
動物体を検出し地面に対するその動作をリアルタイムで
トラッキングするため、地面に対して局部的に移動して
いる。この場合、カメラは、そのときカメラに写されて
いる地上領域の連続イメージフレーム列を備える動画を
導き出す。連続イメージフレームは比較的高い割合
（例:30フレーム／秒）で発生し、これにより、視認さ
れた地上領域は、任意の２つの連続フレームの対間のわ
ずかな量だけ変化する。従来技術アプローチに従い、連
続イメージフレームの各々のフレーム領域100は、多数
領域へ分割される。この多数領域は、飛行機のコヒーレ
ント動作により決定される全体速度で移動し、少数領域
は地上の局部移動自動車101により占められる。
（例：ビデオカメラ）は、飛行機内から、自動車等の物
体を追って下方を見たものである。該カメラは、局部移
動物体を検出し地面に対するその動作をリアルタイムで
トラッキングするため、地面に対して局部的に移動して
いる。この場合、カメラは、そのときカメラに写されて
いる地上領域の連続イメージフレーム列を備える動画を
導き出す。連続イメージフレームは比較的高い割合
（例:30フレーム／秒）で発生し、これにより、視認さ
れた地上領域は、任意の２つの連続フレームの対間のわ
ずかな量だけ変化する。従来技術アプローチに従い、連
続イメージフレームの各々のフレーム領域100は、多数
領域へ分割される。この多数領域は、飛行機のコヒーレ
ント動作により決定される全体速度で移動し、少数領域
は地上の局部移動自動車101により占められる。
図１に示すように、連続するフレーム対の各フレーム
のフレーム領域100は、境界領域102を除き、サブ領域ウ
ィンドウ104−11……104−mnのアレイに分割され、これ
ら各サブ領域ウィンドウに対する局部速度（図１にその
ベクトルで指定された）が演算される。これは、連続フ
レームの対の各々の各サブ領域ウィンドウにおけるイメ
ージデータを、連続フレームの他の対におけるその対応
サブ領域ウィンドウにおけるイメージデータに対して移
動することにより行われ、この結果両者間のマッチング
が達成される。境界領域102は、境界問題を回避するた
めに排除される。更に、フレームのサブ領域ウィンドウ
に含まれるイメージデータは、そのフレームの近隣サブ
領域ウィンドウに含まれるイメージデータとある程度重
なる。いずれにしても、各サブ領域ウィンドウの大きさ
は、連続フレームの一の対間におけるイメージデータの
最大変位よりも大きくなる。
のフレーム領域100は、境界領域102を除き、サブ領域ウ
ィンドウ104−11……104−mnのアレイに分割され、これ
ら各サブ領域ウィンドウに対する局部速度（図１にその
ベクトルで指定された）が演算される。これは、連続フ
レームの対の各々の各サブ領域ウィンドウにおけるイメ
ージデータを、連続フレームの他の対におけるその対応
サブ領域ウィンドウにおけるイメージデータに対して移
動することにより行われ、この結果両者間のマッチング
が達成される。境界領域102は、境界問題を回避するた
めに排除される。更に、フレームのサブ領域ウィンドウ
に含まれるイメージデータは、そのフレームの近隣サブ
領域ウィンドウに含まれるイメージデータとある程度重
なる。いずれにしても、各サブ領域ウィンドウの大きさ
は、連続フレームの一の対間におけるイメージデータの
最大変位よりも大きくなる。
次のステップは、全ての局部速度の平均速度を演算
し、その後各局部速度とこの平均速度との間の差エラー
の大きさを定めることである。一般に、これらのエラー
は小さく、視差としてのそのような作用及び移動カメラ
により視認された地面が平坦でないという事実により生
ずる。しかし、図１に示すように、局部移動自動車101
を含むそれらの２つのサブ領域ウィンドウに対するエラ
ーは極めて大きい。これは、それに対して演算された速
度が、飛行機上の移動カメラの全体速度及び地面上の局
部移動速度の双方を含むことによる。従って、局部移動
自動車101を含む２つのサブ領域ウィンドウは、それら
の各エラーが所定のスレッショルドを越えるということ
及び平均速度がその後残存サブ領域ウィンドウのみから
再演算されることにより、排除される。この再演算され
た平均速度は、カメラの移動による動画の全体速度の初
期評価を構成する。全体速度の初期評価のみが導き出さ
れているので、その演算のために用いられる各サブ領域
ウィンドウ104−11……104−mnのイメージデータは、比
較的低解像度であることが好ましい。これにより、連続
フレーム対の多数の各対応サブ領域ウィンドウ104−11
……104−mnにおけるイメージデータの要求されるマッ
チングが容易化される。
し、その後各局部速度とこの平均速度との間の差エラー
の大きさを定めることである。一般に、これらのエラー
は小さく、視差としてのそのような作用及び移動カメラ
により視認された地面が平坦でないという事実により生
ずる。しかし、図１に示すように、局部移動自動車101
を含むそれらの２つのサブ領域ウィンドウに対するエラ
ーは極めて大きい。これは、それに対して演算された速
度が、飛行機上の移動カメラの全体速度及び地面上の局
部移動速度の双方を含むことによる。従って、局部移動
自動車101を含む２つのサブ領域ウィンドウは、それら
の各エラーが所定のスレッショルドを越えるということ
及び平均速度がその後残存サブ領域ウィンドウのみから
再演算されることにより、排除される。この再演算され
た平均速度は、カメラの移動による動画の全体速度の初
期評価を構成する。全体速度の初期評価のみが導き出さ
れているので、その演算のために用いられる各サブ領域
ウィンドウ104−11……104−mnのイメージデータは、比
較的低解像度であることが好ましい。これにより、連続
フレーム対の多数の各対応サブ領域ウィンドウ104−11
……104−mnにおけるイメージデータの要求されるマッ
チングが容易化される。
図２において、前記従来技術アプローチを実行するた
めのフィードバックループが一般化された形態で示され
ている。フィードバックループは、動作モデル200（フ
ィードバックループの運転によって全体的又は少なくと
も部分的に導き出される）、残存動作推定器202、加算
器204、イメージワーパー206、、フレーム遅延器208及
び210、及び現フレーム及びイメージワーパー206により
シフトされた前フレームからのイメージデータ、を含
む。残存動作推定器202は、その入力として加えられた
現フレーム及びシフトされた前フレームからのイメージ
データに応答して、現残存推定を導き出す。これは、加
算器204により動作モデル200からの前評価出力へ加えら
れ、その後イメージワーパー206へのワープ制御入力と
して供給される。現フレームイメージデータは、フレー
ム遅延器208により遅延された後、イメージワーパー206
への入力として供給される。イメージワーパー206は、
そのワープ制御入力に従ってフレーム遅延された現フレ
ームイメージデータをシフトし、その後その出力をフレ
ーム遅延器210によってフレーム遅延し次のシフトされ
た前フレームを導き出す。
めのフィードバックループが一般化された形態で示され
ている。フィードバックループは、動作モデル200（フ
ィードバックループの運転によって全体的又は少なくと
も部分的に導き出される）、残存動作推定器202、加算
器204、イメージワーパー206、、フレーム遅延器208及
び210、及び現フレーム及びイメージワーパー206により
シフトされた前フレームからのイメージデータ、を含
む。残存動作推定器202は、その入力として加えられた
現フレーム及びシフトされた前フレームからのイメージ
データに応答して、現残存推定を導き出す。これは、加
算器204により動作モデル200からの前評価出力へ加えら
れ、その後イメージワーパー206へのワープ制御入力と
して供給される。現フレームイメージデータは、フレー
ム遅延器208により遅延された後、イメージワーパー206
への入力として供給される。イメージワーパー206は、
そのワープ制御入力に従ってフレーム遅延された現フレ
ームイメージデータをシフトし、その後その出力をフレ
ーム遅延器210によってフレーム遅延し次のシフトされ
た前フレームを導き出す。
図２のフィードバックループは、全体速度による少数
領域の各演算されたサブ領域ウィンドウ速度の全てのそ
の部分が除去されるまで、全体速度の初期推定を精製す
るための繰返し処理を実行する。この繰返し処理は、連
続フレームの各連続発生対のサブ領域ウィンドウ104−1
1……104−mnのそれぞれの局部残存速度を導き出し、そ
の後にこれらの残存速度の各々を用いて残存全体速度の
現推定を導く。
領域の各演算されたサブ領域ウィンドウ速度の全てのそ
の部分が除去されるまで、全体速度の初期推定を精製す
るための繰返し処理を実行する。この繰返し処理は、連
続フレームの各連続発生対のサブ領域ウィンドウ104−1
1……104−mnのそれぞれの局部残存速度を導き出し、そ
の後にこれらの残存速度の各々を用いて残存全体速度の
現推定を導く。
更に具体的に言えば、連続フレームの各対のおのおの
の局部速度が演算され、また残存全体速度の現推定は、
全体速度の前推定が実際にさし引かれた後に上述した方
法にて繰返し処理の各サイクル中に行われる。第１サイ
クルの場合、全体速度の前推定はゼロになる。これは、
全体速度の前推定が存在しないからである。従って、こ
の場合には残存速度それ自体が上述した全体速度の初期
推定を構成することとなる。
の局部速度が演算され、また残存全体速度の現推定は、
全体速度の前推定が実際にさし引かれた後に上述した方
法にて繰返し処理の各サイクル中に行われる。第１サイ
クルの場合、全体速度の前推定はゼロになる。これは、
全体速度の前推定が存在しないからである。従って、こ
の場合には残存速度それ自体が上述した全体速度の初期
推定を構成することとなる。
この繰返し処理の効果は、残存速度の大きさが、発生
サイクルが後になればなるほど小さくなるということで
ある。従って、残存動作推定器202が繰返し処理の第１
サイクル中に最も解像度の低いイメージデータを用い、
連続する各サイクル中はその直前のサイクルで用いられ
たデータよりも高い解像度のデータを使用し、これによ
って連続した各サイクル中におけるイメージデータのマ
ッチングに必要とされる精度は最小限で済む。
サイクルが後になればなるほど小さくなるということで
ある。従って、残存動作推定器202が繰返し処理の第１
サイクル中に最も解像度の低いイメージデータを用い、
連続する各サイクル中はその直前のサイクルで用いられ
たデータよりも高い解像度のデータを使用し、これによ
って連続した各サイクル中におけるイメージデータのマ
ッチングに必要とされる精度は最小限で済む。
残存移動推定器202は、ハードウェア及び／又はソフ
トウェアで構成できる。残存移動推定器202の、いくつ
かの異なる実施形態は、前記Burt他による記事に開示さ
れている。これらの各種形態は、汎用の演算素子と、特
定目的演算素子と、の間で演算負荷を効果的に分離させ
る。各サブ領域ウィンドウ中における局部位置を確認す
る第１ステップは、カスタムハードウェア中で実施する
のに理想的に適合する。解析はリアルタイムビデオレー
トイメージデータに基づき行われるのでデータレートは
高いが、推定する必要があるのは局部変換だけであるの
で、処理は簡単で均一である。第２のステップでは、全
体モデルが全サブ領域ウィンドウの局部移動ベクトルの
セット全体に適合しなければならない。この第２ステッ
プは、その演算は比較的複雑でグローバルであるが局部
移動ベクトルデータセットは比較的小さいので、マイク
ロプロセッサ内でのソフトウェア実行に適している。更
に、前記Burt他による記事でも述べられているように、
繰返し処理の異なるサイクル中で好適に使用されている
イメージデータ解像度の調節は、イメージ処理技術分野
では周知のラプラス及びガウスピラミッド技術により効
率的に行うことができる。
トウェアで構成できる。残存移動推定器202の、いくつ
かの異なる実施形態は、前記Burt他による記事に開示さ
れている。これらの各種形態は、汎用の演算素子と、特
定目的演算素子と、の間で演算負荷を効果的に分離させ
る。各サブ領域ウィンドウ中における局部位置を確認す
る第１ステップは、カスタムハードウェア中で実施する
のに理想的に適合する。解析はリアルタイムビデオレー
トイメージデータに基づき行われるのでデータレートは
高いが、推定する必要があるのは局部変換だけであるの
で、処理は簡単で均一である。第２のステップでは、全
体モデルが全サブ領域ウィンドウの局部移動ベクトルの
セット全体に適合しなければならない。この第２ステッ
プは、その演算は比較的複雑でグローバルであるが局部
移動ベクトルデータセットは比較的小さいので、マイク
ロプロセッサ内でのソフトウェア実行に適している。更
に、前記Burt他による記事でも述べられているように、
繰返し処理の異なるサイクル中で好適に使用されている
イメージデータ解像度の調節は、イメージ処理技術分野
では周知のラプラス及びガウスピラミッド技術により効
率的に行うことができる。
更に、前記Burt他による記事には、フォベーション技
術を用いる「多数決動作」アプローチの改善が開示され
ている。このフォベーション技術により、上記繰返し処
理の各サイクルが完了した後、全体動作を定めないその
サイクル中に決定された全体解析領域の少数領域（すな
わち、自動車101はこの少数領域に含まれている）が、
繰返し処理の次サイクル中の全体解析領域として用いら
れる。更に、各サブ領域の大きさは連続する各サイクル
中で減少し、これにより連続する各サイクル中のより小
さな解析領域が更に同数のサブ領域ウィンドウへ尚分割
可能となる。
術を用いる「多数決動作」アプローチの改善が開示され
ている。このフォベーション技術により、上記繰返し処
理の各サイクルが完了した後、全体動作を定めないその
サイクル中に決定された全体解析領域の少数領域（すな
わち、自動車101はこの少数領域に含まれている）が、
繰返し処理の次サイクル中の全体解析領域として用いら
れる。更に、各サブ領域の大きさは連続する各サイクル
中で減少し、これにより連続する各サイクル中のより小
さな解析領域が更に同数のサブ領域ウィンドウへ尚分割
可能となる。
従来技術の分節を用いた「多数決動作」アプローチ及
びその改良は、局部イメージ動作の「単一成分」モデル
に基づく。このモデルは、複合移動シーンは、十分に短
い時間インターバルに亘ってかなり小さいウィンドウか
ら視認された時に、単純変換を受ける単一パターンから
識別可能である。しかし、分節を使用すると、いくつか
の問題が生ずる。例えば、分節の基礎となる情報が観察
されたイメージ動作自体のみである場合がしばしばであ
る。このように良質な動作解析はイメージ分節に依存
し、一方この分節は良質な動作情報に依存するものであ
る。更に、動作推定（例：平行エラーを最小限に抑制す
る動作を見出す標準「最小平方エラー」を用いるもの）
の精度は、セグメント化（分節）された局所解析ウィン
ドウの大きさが小さくなるにつれて減少する（すなわ
ち、より小さなウィンドウであるほど、動作推定に使用
できるピクセルレベル値の最大数が少なくなるからであ
る。
びその改良は、局部イメージ動作の「単一成分」モデル
に基づく。このモデルは、複合移動シーンは、十分に短
い時間インターバルに亘ってかなり小さいウィンドウか
ら視認された時に、単純変換を受ける単一パターンから
識別可能である。しかし、分節を使用すると、いくつか
の問題が生ずる。例えば、分節の基礎となる情報が観察
されたイメージ動作自体のみである場合がしばしばであ
る。このように良質な動作解析はイメージ分節に依存
し、一方この分節は良質な動作情報に依存するものであ
る。更に、動作推定（例：平行エラーを最小限に抑制す
る動作を見出す標準「最小平方エラー」を用いるもの）
の精度は、セグメント化（分節）された局所解析ウィン
ドウの大きさが小さくなるにつれて減少する（すなわ
ち、より小さなウィンドウであるほど、動作推定に使用
できるピクセルレベル値の最大数が少なくなるからであ
る。
更に重要なことは、「単一成分」モデルは、現実の多
くの移動イメージの形態には適合しないということであ
る。例えば、互いにつづいて移動する透過性表面では、
一の点で２つの動作成分を生成する。「単一成分」モデ
ルが適合しない他の例では、異なる移動面上を移動する
光移動パターン及び影移動パターン、そしてシーン中の
２つの異なる移動領域間の境界を含む。
くの移動イメージの形態には適合しないということであ
る。例えば、互いにつづいて移動する透過性表面では、
一の点で２つの動作成分を生成する。「単一成分」モデ
ルが適合しない他の例では、異なる移動面上を移動する
光移動パターン及び影移動パターン、そしてシーン中の
２つの異なる移動領域間の境界を含む。
本発明は、この「単一成分」モデルに内在する問題及
び大イメージ領域を多数の小局部解析ウィンドウに分節
する必要性を排除したものである。具体的には、本発明
は図3a−3fにそれぞれ示した全ての異なるタイプの移動
形態に適用可能である。
び大イメージ領域を多数の小局部解析ウィンドウに分節
する必要性を排除したものである。具体的には、本発明
は図3a−3fにそれぞれ示した全ての異なるタイプの移動
形態に適用可能である。
図3aにおいて、全解析領域300は、ベクトル304−ａに
より示された均一速度でのコヒーレント動作を行う単一
パターン302−ａを含む。
より示された均一速度でのコヒーレント動作を行う単一
パターン302−ａを含む。
図3bにおいて、解析領域300は、２つの異なる移動パ
ターン302−b1及び302−b2を含む。該両パターンは、異
なる境界306−ｂにより分離されている。パターン302−
b1は、ベクトル304−b1により示された均一速度でコヒ
ーレント動作を行い、パターン302−b2はベクトル304−
b2により示された均一速度でのコヒーレント動作を受け
る。
ターン302−b1及び302−b2を含む。該両パターンは、異
なる境界306−ｂにより分離されている。パターン302−
b1は、ベクトル304−b1により示された均一速度でコヒ
ーレント動作を行い、パターン302−b2はベクトル304−
b2により示された均一速度でのコヒーレント動作を受け
る。
図3cにおいて、解析領域300は、互いに重畳された２
つの異なる移動パターン302−c1及び302−c2を含む。そ
の例として、移動影、スポットライト、池の反射等、そ
して現実の透過性物体の像が含まれる。パターン302−c
1は、ベクトル304−c1により示された均一速度でのコヒ
ーレント動作を受け、パターン302−c2はベクトル304−
c2により示された均一速度でのコヒーレント動作を行
う。
つの異なる移動パターン302−c1及び302−c2を含む。そ
の例として、移動影、スポットライト、池の反射等、そ
して現実の透過性物体の像が含まれる。パターン302−c
1は、ベクトル304−c1により示された均一速度でのコヒ
ーレント動作を受け、パターン302−c2はベクトル304−
c2により示された均一速度でのコヒーレント動作を行
う。
図3dにおいて、互いに「ピケットフェンス」関係を持
つ２つの異なる移動パターン302−d1及び302−d2を含む
解析領域300が示されている（即ち、解析領域300は、異
なる動きをする背景の前方で移動する小型又は薄型の前
景物体の像を含む）。パターン302−d1は、ベクトル304
−d1で示された均一速度でのコヒーレント動作を行い、
パターン302−d2はベクトル304−d2により示された均一
速度でのコヒーレント動作を受ける。
つ２つの異なる移動パターン302−d1及び302−d2を含む
解析領域300が示されている（即ち、解析領域300は、異
なる動きをする背景の前方で移動する小型又は薄型の前
景物体の像を含む）。パターン302−d1は、ベクトル304
−d1で示された均一速度でのコヒーレント動作を行い、
パターン302−d2はベクトル304−d2により示された均一
速度でのコヒーレント動作を受ける。
図3eにおいて、解析領域300は、異なる動きをする２
つのパターン302−e1及び302−e2を含む。支配移動パタ
ーン302−e1は、小型及び／又は低コントラスト移動パ
ターン302−e2（例：スポーツ放送における移動カメラ
によって部分的に追跡されるフットボールのイメージ）
をマスクする傾向がある。パターン302−e1は、ベクト
ル304−e1により示された均一速度でのコヒーレント動
作を行い、パターン302−e2は、ベクトル304−e2により
示される均一速度でコヒーレント動作を行える。
つのパターン302−e1及び302−e2を含む。支配移動パタ
ーン302−e1は、小型及び／又は低コントラスト移動パ
ターン302−e2（例：スポーツ放送における移動カメラ
によって部分的に追跡されるフットボールのイメージ）
をマスクする傾向がある。パターン302−e1は、ベクト
ル304−e1により示された均一速度でのコヒーレント動
作を行い、パターン302−e2は、ベクトル304−e2により
示される均一速度でコヒーレント動作を行える。
図3fにおいて、解析領域300は２つの異なる動きをす
る部分的重畳パターン302−f1及び302−f2を含む。該両
パターンの一方が、領域300の背景308−ｆに関する対象
移動物体の像であり、これがその後背景308−ｆに関す
る他の異なる移動物体のパターンイメージと部分的に重
畳した関係におかれる。パターン302−f1は、ベクトル3
04−f1により示された均一速度でのコヒーレント動作を
行い、パターン302−f2は、ベクトル304−f2により示さ
れた均一速度でコヒーレント動作を行う。
る部分的重畳パターン302−f1及び302−f2を含む。該両
パターンの一方が、領域300の背景308−ｆに関する対象
移動物体の像であり、これがその後背景308−ｆに関す
る他の異なる移動物体のパターンイメージと部分的に重
畳した関係におかれる。パターン302−f1は、ベクトル3
04−f1により示された均一速度でのコヒーレント動作を
行い、パターン302−f2は、ベクトル304−f2により示さ
れた均一速度でコヒーレント動作を行う。
本発明は、図４に示されたフィードバックループによ
り実行される繰返し処理を用い、図3a−3fに示された単
一動作及び２動作形態のいずれかの動作速度を解決す
る。本発明アプローチの実行において、図3a−3fの各々
における解析領域300は極めて大きくなることがある。
例えば、実際上、256×256のピクセルから成るフレーム
領域全体のイメージデータは、解析領域として用いら
れ、これによって、従来技術の小分節局部解析ウィンド
ウを用いて行われた評価よりも高精度の移動速度推定が
可能となる。
り実行される繰返し処理を用い、図3a−3fに示された単
一動作及び２動作形態のいずれかの動作速度を解決す
る。本発明アプローチの実行において、図3a−3fの各々
における解析領域300は極めて大きくなることがある。
例えば、実際上、256×256のピクセルから成るフレーム
領域全体のイメージデータは、解析領域として用いら
れ、これによって、従来技術の小分節局部解析ウィンド
ウを用いて行われた評価よりも高精度の移動速度推定が
可能となる。
図４は、上映されている連続フレーム列の、第１発
生、第２発生、第３発生の３個のフレーム群を含む。こ
れらの３フレームは連続フレームである必要はないが
（例：その速度がフレームレートに比して極めて小さい
場合には、実際上この群の３フレームが、上映中の連続
フレーム列の各３列のうちの他の一又はこの３列外の各
一から構成されることが望ましい）、図示上の目的だけ
のために、群が３個の連続フレームを含むものと仮定す
る。この仮定に基づき、フレームＩ（３）は上映されて
いる連続フレーム列の現在の一に対応し；フレームＩ
（２）はフレームＩ（３）の直前のフレームに対応し、
そしてフレームＩ（１）はフレームＩ（２）の直前フレ
ームに対応する。このようにして、任意の現フレーム期
間の直後のフレーム期間中、フレームＩ（２）がフレー
ムＩ（１）に差し替わり、フレームＩ（３）がフレーム
Ｉ（２）に差し替わり、そして上映されている連続フレ
ーム列の次（即ち第４発生）の一がフレームＩ（３）に
差し替わる。図示目的のため、これらの解析領域の各々
は、そのフレーム領域全体中にほぼ全てのイメージデー
タをデジタル形態で包合する。しかし、実際上は、望ま
れた場合には、イメージ解析領域全体の選択された比較
的大きなサブ領域に限定することもできる。更に、図４
には詳細に示されていないが、図２に示されたものと同
様のフレーム遅延が、もともと第３発生解析領域Ｉ
（３）、１フレーム周期後の第２発生解析領域（２）、
２フレーム周期後の第１発生解析領域Ｉ（１）である、
イメージデータ解析領域を生成するために行われること
を理解する必要がある。
生、第２発生、第３発生の３個のフレーム群を含む。こ
れらの３フレームは連続フレームである必要はないが
（例：その速度がフレームレートに比して極めて小さい
場合には、実際上この群の３フレームが、上映中の連続
フレーム列の各３列のうちの他の一又はこの３列外の各
一から構成されることが望ましい）、図示上の目的だけ
のために、群が３個の連続フレームを含むものと仮定す
る。この仮定に基づき、フレームＩ（３）は上映されて
いる連続フレーム列の現在の一に対応し；フレームＩ
（２）はフレームＩ（３）の直前のフレームに対応し、
そしてフレームＩ（１）はフレームＩ（２）の直前フレ
ームに対応する。このようにして、任意の現フレーム期
間の直後のフレーム期間中、フレームＩ（２）がフレー
ムＩ（１）に差し替わり、フレームＩ（３）がフレーム
Ｉ（２）に差し替わり、そして上映されている連続フレ
ーム列の次（即ち第４発生）の一がフレームＩ（３）に
差し替わる。図示目的のため、これらの解析領域の各々
は、そのフレーム領域全体中にほぼ全てのイメージデー
タをデジタル形態で包合する。しかし、実際上は、望ま
れた場合には、イメージ解析領域全体の選択された比較
的大きなサブ領域に限定することもできる。更に、図４
には詳細に示されていないが、図２に示されたものと同
様のフレーム遅延が、もともと第３発生解析領域Ｉ
（３）、１フレーム周期後の第２発生解析領域（２）、
２フレーム周期後の第１発生解析領域Ｉ（１）である、
イメージデータ解析領域を生成するために行われること
を理解する必要がある。
図４に示すように、ブロック400は、第１ワープ手段4
02−１、第２ワープ手段402−２、第１減算手段404−１
及び第２減算手段404−２を含む。第１発生解析領域Ｉ
（１）のイメージデータピクセルは、第１ワープ手段40
2−１への入力として供給される。第１ワープ手段402−
１から出力されたイメージデータピクセルは、第１減算
手段404−１への第１入力として供給される。第２発生
解析領域Ｉ（２）のイメージデータピクセルは、第２ワ
ープ手段402−２への入力及び第１減算手段404−１への
第２入力、の双方として供給される。第２ワープ手段40
2−２から出力されたイメージデータピクセルは、第２
減算手段404−２への第２入力として供給される。第１
減算手段404−１への第２入力として供給される各イメ
ージデータピクセルレベル値D1とその第１入力として供
給される対応イメージデータピクセルのレベル値との間
の差は、第１減算手段404−１の出力に現れ、動作推定
器406への第１入力として供給される。第２減算手段404
−２への第２入力として供給される各イメージデータピ
クセルレベル値とその第１入力として供給される対応イ
メージデータピクセルレベル値との差D2は、第２減算手
段404−２の出力に現れ、動作推定器406への第２入力と
して供給される。動作推定器406は、その第１及び第２
入力として供給されたイメージデータピクセル差レベル
値D1及びD2に応答して、ワープ制御信号pn又はqnのいず
れかを交互に導く（ここで、ｎは、そのワープ制御信号
を導いた図４のフィードバックループの運転の繰返しサ
イクルの序数を示す）。この導かれたワープ信号は、推
定されたイメージ動作に起因してフレーム周期中に生じ
るイメージデータピクセルレベル値における期待される
変化量を事実上予測するものであり、各ワープ手段402
−１及び402−２に対して、その入力イメージを、その
評価されたイメージ動作を補償する量だけシフトさせ
る。
02−１、第２ワープ手段402−２、第１減算手段404−１
及び第２減算手段404−２を含む。第１発生解析領域Ｉ
（１）のイメージデータピクセルは、第１ワープ手段40
2−１への入力として供給される。第１ワープ手段402−
１から出力されたイメージデータピクセルは、第１減算
手段404−１への第１入力として供給される。第２発生
解析領域Ｉ（２）のイメージデータピクセルは、第２ワ
ープ手段402−２への入力及び第１減算手段404−１への
第２入力、の双方として供給される。第２ワープ手段40
2−２から出力されたイメージデータピクセルは、第２
減算手段404−２への第２入力として供給される。第１
減算手段404−１への第２入力として供給される各イメ
ージデータピクセルレベル値D1とその第１入力として供
給される対応イメージデータピクセルのレベル値との間
の差は、第１減算手段404−１の出力に現れ、動作推定
器406への第１入力として供給される。第２減算手段404
−２への第２入力として供給される各イメージデータピ
クセルレベル値とその第１入力として供給される対応イ
メージデータピクセルレベル値との差D2は、第２減算手
段404−２の出力に現れ、動作推定器406への第２入力と
して供給される。動作推定器406は、その第１及び第２
入力として供給されたイメージデータピクセル差レベル
値D1及びD2に応答して、ワープ制御信号pn又はqnのいず
れかを交互に導く（ここで、ｎは、そのワープ制御信号
を導いた図４のフィードバックループの運転の繰返しサ
イクルの序数を示す）。この導かれたワープ信号は、推
定されたイメージ動作に起因してフレーム周期中に生じ
るイメージデータピクセルレベル値における期待される
変化量を事実上予測するものであり、各ワープ手段402
−１及び402−２に対して、その入力イメージを、その
評価されたイメージ動作を補償する量だけシフトさせ
る。
図４の動作推定器406は、図２の従来技術において、
動作モデル200、残存動作推定器202及び加算器204が互
いに協働して実行するものと概ね同様の機能を果たす。
具体的には、図４において、（１）残存動作の推定は、
フィードバックループの各繰返しサイクル中におけるD1
及びD2の現イメージデータピクセル差レベル値により行
われ、そして（２）この残存動作の推定は、フィードバ
ックループの全ての前繰返しサイクル中に蓄積された記
憶されている動作推定へ付加される。これにより、現繰
返しサイクル中においてワープ制御信号Pn又はqnとして
使用するための現動作推定を導き出し、またこの現動作
推定は記憶されてフィードバックループの次繰返しサイ
クル中に使用される。しかし、図４中の動作推定器406
は、上述した従来技術における２フレーム、１動作、小
局部解析ウィンドウアプローチを実行するのではなく、
本発明の３フレーム、２動作、大解析領域アプローチを
実行するためにプログラムされている点で、図２の動作
推定器とは異なる。具体的には、動作推定器406は、２
つのイメージ動作の各々の現推定を個別に記憶し、これ
らは図４のフィードバックループの次繰返しサイクル中
に使用される。
動作モデル200、残存動作推定器202及び加算器204が互
いに協働して実行するものと概ね同様の機能を果たす。
具体的には、図４において、（１）残存動作の推定は、
フィードバックループの各繰返しサイクル中におけるD1
及びD2の現イメージデータピクセル差レベル値により行
われ、そして（２）この残存動作の推定は、フィードバ
ックループの全ての前繰返しサイクル中に蓄積された記
憶されている動作推定へ付加される。これにより、現繰
返しサイクル中においてワープ制御信号Pn又はqnとして
使用するための現動作推定を導き出し、またこの現動作
推定は記憶されてフィードバックループの次繰返しサイ
クル中に使用される。しかし、図４中の動作推定器406
は、上述した従来技術における２フレーム、１動作、小
局部解析ウィンドウアプローチを実行するのではなく、
本発明の３フレーム、２動作、大解析領域アプローチを
実行するためにプログラムされている点で、図２の動作
推定器とは異なる。具体的には、動作推定器406は、２
つのイメージ動作の各々の現推定を個別に記憶し、これ
らは図４のフィードバックループの次繰返しサイクル中
に使用される。
もし解析領域中における２つのイメージパターンの一
方の動作ｑが知られている場合には、他方のイメージパ
ターンの動作ｐが復活することが示されている。更に具
体的には、各動作ｐ及びｑが加算組合せされた時にの
み、動作ｐが正確に回復する。これは、表面に反射の存
在する場合であって、影（その上に落ちるイメージ物体
と乗算組合せされる）又は不透明な前景物体（背景イメ
ージ構成物を隠す）が存在する場合ではない。この後者
の場合、差演算によって動作ｐを削除することだけで
は、完全とはならない。部分的に削除された動作ｑの存
在下で動作ｐが正確に推定できるようになるが、それは
動作推定器の具体的な特性に依存する。
方の動作ｑが知られている場合には、他方のイメージパ
ターンの動作ｐが復活することが示されている。更に具
体的には、各動作ｐ及びｑが加算組合せされた時にの
み、動作ｐが正確に回復する。これは、表面に反射の存
在する場合であって、影（その上に落ちるイメージ物体
と乗算組合せされる）又は不透明な前景物体（背景イメ
ージ構成物を隠す）が存在する場合ではない。この後者
の場合、差演算によって動作ｐを削除することだけで
は、完全とはならない。部分的に削除された動作ｑの存
在下で動作ｐが正確に推定できるようになるが、それは
動作推定器の具体的な特性に依存する。
残念ながら、実際には動作ｐも動作ｑも知られていな
い。しかし、本発明の原理によれば、２つの動作ｐ及び
ｑのいずれか一方の値（図3a−3fのいずれかにおける解
析ウィンドウ300に示された各パターンの速度等）は、
図４のフィードバックループにより実行される次の繰返
し処理により、所望の精度となるよう推定できる： 1.第１及び第２ワープ手段402−１及び402−２へのワー
プ制御信号として供給される２パターンのうち選択され
た一方の動作poの初期推定を設定する。
い。しかし、本発明の原理によれば、２つの動作ｐ及び
ｑのいずれか一方の値（図3a−3fのいずれかにおける解
析ウィンドウ300に示された各パターンの速度等）は、
図４のフィードバックループにより実行される次の繰返
し処理により、所望の精度となるよう推定できる： 1.第１及び第２ワープ手段402−１及び402−２へのワー
プ制御信号として供給される２パターンのうち選択され
た一方の動作poの初期推定を設定する。
2.動作pnの最新の推定を用い、第１及び第２減算手段40
4−１及び404−２の出力で差イメージD1及びD2を形成す
る。
4−１及び404−２の出力で差イメージD1及びD2を形成す
る。
3.動作推定器406中のD1及びD2を用いて２つのパターン
のうち他方の動作qn+1の評価を求め、このqn+1をワープ
制御信号として第１及び第２減算ワープ手段402−１及
び402−２へ供給する。
のうち他方の動作qn+1の評価を求め、このqn+1をワープ
制御信号として第１及び第２減算ワープ手段402−１及
び402−２へ供給する。
4.動作qn+1の最新の推定を用い、第１及び第２減算手段
404−１及び404−２の出力に差イメージD1及びD2を形成
する。
404−１及び404−２の出力に差イメージD1及びD2を形成
する。
5.動作推定器406中のD1及びD2を用い、２つのパターン
の他方の動作pn+2の最新の推定を求め、このpn+2をワー
プ制御信号として第１及び第２ワープ手段402−１及び4
02−２へ供給する。
の他方の動作pn+2の最新の推定を求め、このpn+2をワー
プ制御信号として第１及び第２ワープ手段402−１及び4
02−２へ供給する。
6.ステップ２でスタートを繰り返す。
図４のフィードバックループにより実行される本発明
の上記３フレーム、６ステップ繰返し処理は、極めて収
束性がよい。即ち、２つのパターンの選択された一方の
動作poの初期推定値を動作ｐの実際の値からどれだけ除
去したかにかかわりなく、動作ｐの実際の値が、この３
フレーム、６ステップ処理の５回繰り返しサイクル中に
概ね１％の精度で回復されるのである（最終繰返しサイ
クルのステップ５終了後に得られる動作ｐの回復された
実際値は、動作推定器406内に個別に記憶される。明ら
かに、動作poの初期推定値が動作ｐの実際値に近づけば
近づくほど、動作ｐの実際値を所定の精度に回復させる
ために必要な繰返しサイクル数は少なくてすむ。同様、
最終繰返しサイクルのステップ３完了後に所望の所定精
度に回復した動作ｑの実際値は、動作推定器406内に個
別に記憶される。動作ｐの個別記憶され回復された実際
値を第１及び第２ワープ手段402−１及び402−２へワー
プ制御信号として供給することにより、これらのワープ
手段のいずれかからの出力イメージは、実質上動作ゼロ
の上映されている動画フレーム列の解析領域における２
つのパターンのうちの選択された一方のみを明示する
（動作ｑを行っている２つの解析領域パターンのうちの
他方は、上映中の動画フレーム列の解析領域中における
実質的に解決不能背景へと分解される）。同様に、動作
ｑの個別に記憶され回復された実際値をワープ制御信号
として第１及び第２ワープ手段402−１及び402−２へ供
給することにより、これらのワープ手段のいずれかから
の出力イメージは、実質上動作ゼロの上映中の動画フレ
ーム列の解析領域中における２つのパターンのうち他方
のみを明らかにする（動作ｐを受ける、２つの解析領域
パターンのうちの選択された一方は、上映中の動画フレ
ームの実質上解決不能な背景ノイズへと分解される）。
の上記３フレーム、６ステップ繰返し処理は、極めて収
束性がよい。即ち、２つのパターンの選択された一方の
動作poの初期推定値を動作ｐの実際の値からどれだけ除
去したかにかかわりなく、動作ｐの実際の値が、この３
フレーム、６ステップ処理の５回繰り返しサイクル中に
概ね１％の精度で回復されるのである（最終繰返しサイ
クルのステップ５終了後に得られる動作ｐの回復された
実際値は、動作推定器406内に個別に記憶される。明ら
かに、動作poの初期推定値が動作ｐの実際値に近づけば
近づくほど、動作ｐの実際値を所定の精度に回復させる
ために必要な繰返しサイクル数は少なくてすむ。同様、
最終繰返しサイクルのステップ３完了後に所望の所定精
度に回復した動作ｑの実際値は、動作推定器406内に個
別に記憶される。動作ｐの個別記憶され回復された実際
値を第１及び第２ワープ手段402−１及び402−２へワー
プ制御信号として供給することにより、これらのワープ
手段のいずれかからの出力イメージは、実質上動作ゼロ
の上映されている動画フレーム列の解析領域における２
つのパターンのうちの選択された一方のみを明示する
（動作ｑを行っている２つの解析領域パターンのうちの
他方は、上映中の動画フレーム列の解析領域中における
実質的に解決不能背景へと分解される）。同様に、動作
ｑの個別に記憶され回復された実際値をワープ制御信号
として第１及び第２ワープ手段402−１及び402−２へ供
給することにより、これらのワープ手段のいずれかから
の出力イメージは、実質上動作ゼロの上映中の動画フレ
ーム列の解析領域中における２つのパターンのうち他方
のみを明らかにする（動作ｐを受ける、２つの解析領域
パターンのうちの選択された一方は、上映中の動画フレ
ームの実質上解決不能な背景ノイズへと分解される）。
図４のフィードバックループにより作動されるイメー
ジデータ解析領域は極めて大きいことが好ましいという
事実は、動作推定解析がより大きなピクセル近隣で行わ
れ得ることを意味する。これによって動作推定器406中
における動作推定演算の信号／ノイズの様相が改善さ
れ、より正確で安定した動作推定が行なえる。これによ
って高速集中処理が可能となり、少数の繰返しサイクル
完了後に0.01/フレームの精度にまでｐ及びｑ双方が回
復される結果となる。
ジデータ解析領域は極めて大きいことが好ましいという
事実は、動作推定解析がより大きなピクセル近隣で行わ
れ得ることを意味する。これによって動作推定器406中
における動作推定演算の信号／ノイズの様相が改善さ
れ、より正確で安定した動作推定が行なえる。これによ
って高速集中処理が可能となり、少数の繰返しサイクル
完了後に0.01/フレームの精度にまでｐ及びｑ双方が回
復される結果となる。
図４に示した実施例において、他の動作成分の動作推
定による単一動作成分の繰返し分離及びその成分の除去
は、第１及び第２減算手段404−１及び404−２による減
算作用のみによって達成される。しかし、この通りであ
る必要はない。例えば、成分が他の方法で（例えば、乗
算的に）組み合わされることが知られている（又は推測
できる場合、この組合せ規則を（例えば、除算により）
逆向きにすることを試みることによって除去が行われ
る。更に多くのこのようなケースは、第１及び第２減算
手段404−１及び404−２の入力及び出力に非線形変形
（「検索テーブル」）が導入されるアーキテクチャを用
いることにより処理可能である。この変形の特性は、除
去を改善するために、適応的に変更されることができ、
或いは予め設定されることができる。例えば、もし入力
変形が対数的になるように設定され、出力変形が指数的
にされると、乗算合成された成分は、正しく取り扱われ
ることになる。このようにして、一般的には、図４に示
した実施例における第１及び第２減算手段404−１及び4
04−２は、第１及び第２演算手段と交換することができ
る。第１及び第２演算手段の各々は、その入力に対して
適切な所定の演算を行なう。
定による単一動作成分の繰返し分離及びその成分の除去
は、第１及び第２減算手段404−１及び404−２による減
算作用のみによって達成される。しかし、この通りであ
る必要はない。例えば、成分が他の方法で（例えば、乗
算的に）組み合わされることが知られている（又は推測
できる場合、この組合せ規則を（例えば、除算により）
逆向きにすることを試みることによって除去が行われ
る。更に多くのこのようなケースは、第１及び第２減算
手段404−１及び404−２の入力及び出力に非線形変形
（「検索テーブル」）が導入されるアーキテクチャを用
いることにより処理可能である。この変形の特性は、除
去を改善するために、適応的に変更されることができ、
或いは予め設定されることができる。例えば、もし入力
変形が対数的になるように設定され、出力変形が指数的
にされると、乗算合成された成分は、正しく取り扱われ
ることになる。このようにして、一般的には、図４に示
した実施例における第１及び第２減算手段404−１及び4
04−２は、第１及び第２演算手段と交換することができ
る。第１及び第２演算手段の各々は、その入力に対して
適切な所定の演算を行なう。
本発明は、図3b−3fの各々の各異なる２動作構成によ
り例示されるような２動作の問題を解決するように設計
されているわけであるが、図3aの１動作構成により例示
されるような１動作問題をも本来解決するものである。
後者の場合、不存在の他のパターンの各振幅値はゼロと
なる。従って、単一存在パターンの１動作がｐである
か、それともｑであるかは問題ではなくなる。
り例示されるような２動作の問題を解決するように設計
されているわけであるが、図3aの１動作構成により例示
されるような１動作問題をも本来解決するものである。
後者の場合、不存在の他のパターンの各振幅値はゼロと
なる。従って、単一存在パターンの１動作がｐである
か、それともｑであるかは問題ではなくなる。
上記好適な実施例では、３個の連続フレームイメージ
データ解析領域Ｉ（１）,I（２）及びＩ（３）はフレー
ムの進行中列の一部であり、これにより領域Ｉ（１）,I
（２）及びＩ（３）の各一におけるイメージデータが各
フレーム周期を微妙に変化させる。これは一般的な場合
であるが、必須であるわけではない。或いは、同じ不変
の３領域Ｉ（１）,I（２）及びＩ（３）の群におけるイ
メージデータは、図４に示したフィードバックループの
全繰返しサイクル中において何度もくり返し用いること
が可能である。
データ解析領域Ｉ（１）,I（２）及びＩ（３）はフレー
ムの進行中列の一部であり、これにより領域Ｉ（１）,I
（２）及びＩ（３）の各一におけるイメージデータが各
フレーム周期を微妙に変化させる。これは一般的な場合
であるが、必須であるわけではない。或いは、同じ不変
の３領域Ｉ（１）,I（２）及びＩ（３）の群におけるイ
メージデータは、図４に示したフィードバックループの
全繰返しサイクル中において何度もくり返し用いること
が可能である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヒンゴレイニ，ラジエツシユ アメリカ合衆国ニユージヤージー州 08536、ミドルセツクス、プレインスボ ロ、アスペン・ドライヴ 104 (72)発明者 ペレグ，サムエル イスラエル国 97 892 エルサレム、 バール―コクウヴア・ストリート 45 (56)参考文献 特開 平３−92979（ＪＰ，Ａ) 米国特許4870692（ＵＳ，Ａ) 米国特許4965666（ＵＳ，Ａ) 米国特許4864394（ＵＳ，Ａ) 米国特許4847688（ＵＳ，Ａ) 米国特許4685146（ＵＳ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/20 G06T 1/00
Claims (18)
- 【請求項１】連続した各運転サイクル中において動画の
第１発生フレーム、第２発生フレーム、及び第３発生フ
レームの各解析領域内におけるイメージデータピクセル
を繰返し動作処理するためのフィードバックループ装置
であって、これらの動画フレームの前記解析領域内にお
けるイメージデータピクセルによって、動きの異なる第
１及び第２の移動パターンが定義され、 前記第１発生フレーム解析領域内における前記第１の移
動パターンの位置を、ワープ制御信号の値により定めら
れる量だけ、前記第２発生フレーム解析領域内における
前記第１の移動パターンの位置へ向けてシフトさせるた
めの第１ワープ手段を含み、前記ワープ制御信号は当該
フィードバックループ装置における繰返し運転の任意の
奇数サイクル中に当該第１ワープ手段へ供給され、 前記第２発生フレーム解析領域内における前記第１の移
動パターンの位置を、前記ワープ制御信号の値により定
められる量だけ、前記第３発生フレーム解析領域内にお
ける前記第１の移動パターンの位置に向けてシフトさせ
るための第２ワープ手段を含み、前記ワープ制御信号は
当該フィールドバックループ装置の繰返し運転のその奇
数サイクル中に前記第２ワープ手段へ供給され、 前記第１ワープ手段に接続され、第１演算イメージデー
タを導くために前記第２発生フレーム及びパターンシフ
トされた前記第１発生フレームの対応イメージデータピ
クセル値を求める所定演算を実行するための第１演算手
段を含み、 前記第２ワープ手段に接続され、第２演算イメージデー
タを導くために前記第３発生フレーム及びパターンシフ
トされた前記第２発生フレームの対応イメージデータピ
クセル値を求める所定演算を実行するための第２演算手
段を含み、 繰返し運転のその奇数サイクル中において導かれた前記
第１及び第２演算イメージデータ双方に応答を示し、繰
返し運転のその直後の偶数サイクル中に前記第１及び第
２ワープ手段へ加えるための第１のワープ制御信号値を
演算するための動作推定手段を含み、この演算された第
１のワープ制御信号値は、前記第１発生及び第２発生フ
レームそれぞれの解析領域内における前記第２の移動パ
ターンの位置が、演算された前記第１のワープ制御信号
値により定められる量だけ、前記第２発生及び第３発生
フレームそれぞれの解析領域内における前記第２の移動
パターンの位置へ向けてシフトされる、という結果をも
たらす、ことを特徴とするフィードバックループ装置。 - 【請求項２】前記動作推定手段は、繰返し運転のその直
後の奇数サイクル中において前記第１及び第２ワープ手
段に加えるための第２のワープ制御信号値を演算するた
めに、繰返し運転の任意の偶数サイクル中において導か
れた前記第１及び第２演算イメージデータ双方に応答を
示し、この演算された第２のワープ制御信号値は、前記
第１発生及び第２発生フレームそれぞれの解析領域内に
おける前記第１の移動パターンの位置が、繰返し運転の
その直前の奇数サイクル中において前記第１の移動パタ
ーンがシフトされたよりも、前記各第２発生及び第３発
生フレーム解析領域内における前記第１の移動パターン
の位置により近くシフトされる、という結果をもたら
す、ことを特徴とする請求項１に記載のフィードバック
ループ装置。 - 【請求項３】繰返し運転の第１番目サイクル中に前記第
１及び第２ワープ手段へ加えられる前記ワープ制御信号
は、前記第２発生及び第３発生フレームそれぞれの解析
領域内における前記第１の移動パターンの位置へ向け
て、前記第１発生及び第２発生フレームそれぞれの解析
領域内における前記第１の移動パターンの位置がシフト
される、という結果をもたらす任意値を有する、ことを
特徴とする請求項２に記載のフィードバックループ装
置。 - 【請求項４】前記動作推定手段は、繰返し運転のその直
後の偶数サイクル中において前記第１及び第２ワープ手
段に加えられる特定の第１のワープ制御信号値を演算す
るために、第１番目のサイクルを越える繰返し運転の各
奇数サイクル中において導かれた前記第１及び第２演算
イメージデータ双方に応答を示し、この特定の演算され
た第１のワープ制御信号値は、前記第１発生及び第２発
生フレームそれぞれの解析領域内における前記第２の移
動パターンの位置が、繰返し運転の直前の偶数サイクル
中において前記第２の移動パターンがシフトされるより
も、前記第２発生及び第３発生フレームそれぞれの解析
領域内における前記第２の移動パターンの位置へより近
くにシフトされる、という結果をもたらす、ことを特徴
とする請求項２に記載のフィードバックループ装置。 - 【請求項５】繰返し運転の第１番目サイクル中に前記第
１及び第２ワープ手段へ加えられる前記ワープ制御信号
は、前記第２発生及ぴ第３発生フレームそれぞれの解析
領域内における前記第１の移動パターンの位置へ向け
て、前記第１発生及び第２発生フレームそれぞれの解析
領域内における前記第１の移動パターンの位置がシフト
される、という結果をもたらす任意値を有する、ことを
特徴とする請求項４に記載のフィードバックループ装
置。 - 【請求項６】前記第１発生、第２発生、及び第３発生フ
レームは、リアルタイムで発生する前記動画の進行中の
連続フレームの現在の３連続フレームの群を含み、これ
により、前記群を構成する３フレームは、前記動画の各
フレーム期間毎に１フレーム更新される、ことを特徴と
する請求項５に記載のフィードバックループ装置。 - 【請求項７】前記第１発生、第２発生、及び第３発生フ
レームの各解析領域は、フレームのほぼ全フレーム領域
を占める、ことを特徴とする請求項５に記載のフィード
バックループ装置。 - 【請求項８】前記第１発生、第２発生、及び第３発生フ
レームは、リアルタイムで発生する前記動画の進行中の
連続フレームの現在の３連続フレームの群を含み、これ
により、前記群を構成する３フレームは、前記動画の各
フレーム周期毎に１フレーム更新される、ことを特徴と
する請求項１に記載のフィードバックループ装置。 - 【請求項９】前記各第１発生、第２発生、及び第３発生
フレームの各解析領域は、フレームのほぼ全フレーム領
域を占めることを特徴とする請求項１に記載のフィード
バックループ装置。 - 【請求項１０】前記第１演算手段は第１減算手段を備
え、前記第２演算手段は第２減算手段を備える、ことを
特徴とする請求項１に記載のフィードバックループ装
置。 - 【請求項１１】前記第１演算手段は第１減算手段から成
り、これにより前記第１演算イメージデータは第１差イ
メージデータを構成し、 前記第２演算手段は第２減算手段から成り、これにより
前記第２演算イメージデータは第２差イメージデータを
構成する、 ことを特徴とする請求項１に記載のフィードバックルー
プ装置。 - 【請求項１２】連続した各運転サイクル中において、動
画の第１発生フレーム、第２発生フレーム、及び第３発
生フレームの各解析領域内におけるイメージデータピク
セルを繰返し動作処理する方法であって、これらの動画
フレームの前記解析領域内のイメージデータピクセルに
よって、動作ｐをもつ第１の移動パターンおよび動作ｐ
とは異なる動作ｑをもつ第２の移動パターンが定義さ
れ、 ａ）前記第１の移動パターンの動作ｐの初期推定をp0に
設定するステップと、 ｂ）前記各第１発生及び第２発生フレーム解析領域内に
おける第１の移動パターンの位置を、前記第１の移動パ
ターンの動作ｐの最新の推定pn（ｎは、当該推定を導い
た繰返し運転サイクルの序数を示す）に応じた量だけ、
前記各第２発生及び第３発生フレーム解析領域内におけ
る前記第１の移動パターンの位置へ向けてシフトさせる
ステップであって、動作ｐの前記推定pnは第１の所定精
度を有し、 ｃ）第１演算イメージデータを導くために前記第２発生
フレーム及び前記ステップ（ｂ）のパターンシフトされ
た前記第１発生フレームの対応イメージデータピクセル
値を求める所定演算を実行し、また第２演算イメージデ
ータを導くために前記第３発生フレーム及び前記ステッ
プ（ｂ）のパターンシフトされた前記第２発生フレーム
の対応イメージデータピクセル値を求める所定演算を実
行するステップと、 ｄ）前記第１および第２演算イメージデータを用い、繰
返し運転サイクルの任意の先行サイクルで成された動作
ｑの推定の精度よりも高い第２の所定精度で、前記第２
の移動パターンの動作ｑの推定qn+1を導くステップと、 ｅ）前記各第１発生及び第２発生フレーム解析領域内に
おける前記第２の移動パターンの位置を、前記第２の移
動パターンの動作ｑの推定qn+1に応じた量だけ、前記各
第２発生及び第３発生フレーム解析領域内における前記
第２の移動パターンの位置へ向けてシフトさせるステッ
プと、 ｆ）第３演算イメージデータを導くために前記第２発生
フレーム及び前記ステップ（ｅ）のパターンシフトされ
た前記第１発生フレームの対応イメージデータピクセル
値を求める所定演算を実行し、また第４演算イメージデ
ータを導くために前記第３発生フレーム及び前記ステッ
プ（ｅ）のパターンシフトされた前記第２発生フレーム
の対応イメージデータピクセル値を求める所定演算を実
行するステップと、 ｇ）前記第３および第４演算イメージデータを用い、動
作ｐの推定pnの該第１の所定精度よりも高い精度で、前
記第１の移動パターンの動作ｐの推定pn+2を導くステッ
プと、 を含むことを特徴とするイメージデータピクセルの繰返
し動作処理方法。 - 【請求項１３】ｈ）前記ステップ（ｂ）〜（ｇ）のうち
の少なくともいくつかのステップを順次繰返すステッ
プ、を更に含むことを特徴とする請求項12に記載のイメ
ージデータピクセルの繰返し動作処理方法。 - 【請求項１４】前記第１の移動パターンの動作ｐの、前
記ステップ（ａ）で設定された該初期推定p0は任意の値
をもつ、ことを特徴とする請求項12に記載のイメージデ
ータピクセルの繰返し動作処理方法。 - 【請求項１５】前記第１発生フレーム、第２発生フレー
ム、及び第３発生フレームは、リアルタイムで発生する
前記動画の進行中の連続フレームの現在の３連続フレー
ムの群を含み、これにより、前記群を構成する３フレー
ムは、前記動画の各フレーム周期毎に１フレーム更新さ
れる、ことを特徴とする請求項12に記載のイメージデー
タピクセルの繰返し動作処理方法。 - 【請求項１６】前記第１発生フレーム、第２発生フレー
ム、及び第３発生フレームの各解析領域は、フレームの
ほぼ全フレーム領域を占める、ことを特徴とする請求項
12に記載のイメージデータピクセルの繰返し動作処理方
法。 - 【請求項１７】前記ステップｃ）は、前記第１演算イメ
ージデータを導くために前記第２発生フレーム及び前記
ステップ（ｂ）のパターンシフトされた前記第１発生フ
レームの対応イメージデータピクセル値を減算し、また
前記第２演算イメージデータを導くために前記第３発生
フレーム及び前記ステップ（ｂ）のパターンシフトされ
た前記第２発生フレームの対応イメージデータピクセル
値を減算するステップから成り、 前記ステップｆ）は、前記第３演算イメージデータを導
くために前記第２発生フレーム及び前記ステップ（ｅ）
のパターンシフトされた前記第１発生フレームの対応イ
メージデータピクセル値を減算し、また前記第４演算イ
メージデータを導くために前記第３発生フレーム及び前
記ステップ（ｅ）のパターンシフトされた前記第２発生
フレームの対応イメージデータピクセル値を減算するス
テップから成る、ことを特徴とする請求項12に記載のイ
メージデータピクセルの繰返し動作処理方法。 - 【請求項１８】ｈ）前記各ステップ（ｂ）〜（ｇ）のう
ちの少なくともいくつかを順次繰り返す追加のステッ
プ、を含む請求項17に記載のイメージデータピクセルの
繰返し動作処理方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB909001468A GB9001468D0 (en) | 1990-01-23 | 1990-01-23 | Computing multiple motions within an image region |
| GB9001468.9 | 1990-01-23 | ||
| US07/624,343 US5067014A (en) | 1990-01-23 | 1990-12-13 | Three-frame technique for analyzing two motions in successive image frames dynamically |
| US9001468.9 | 1990-12-13 | ||
| US624,343 | 1990-12-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05503796A JPH05503796A (ja) | 1993-06-17 |
| JP3079196B2 true JP3079196B2 (ja) | 2000-08-21 |
Family
ID=26296539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03502989A Expired - Fee Related JP3079196B2 (ja) | 1990-01-23 | 1991-01-14 | フィードバックループ装置およびイメージデータピクセルの繰返し動作処理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5067014A (ja) |
| EP (1) | EP0513047B1 (ja) |
| JP (1) | JP3079196B2 (ja) |
| DE (1) | DE69127809T2 (ja) |
| GB (1) | GB9001468D0 (ja) |
| WO (1) | WO1991011782A1 (ja) |
Families Citing this family (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2677312B2 (ja) * | 1991-03-11 | 1997-11-17 | 工業技術院長 | カメラワーク検出方法 |
| GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
| US5251271A (en) * | 1991-10-21 | 1993-10-05 | R. R. Donnelley & Sons Co. | Method for automatic registration of digitized multi-plane images |
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
| JPH05181970A (ja) * | 1991-12-27 | 1993-07-23 | Toshiba Corp | 動画像処理装置 |
| JP3093409B2 (ja) * | 1992-01-10 | 2000-10-03 | 富士通株式会社 | ３次元計測装置 |
| US5991459A (en) * | 1992-01-22 | 1999-11-23 | Eastman Kodak Company | Method of modifying a time-varying image sequence by estimation of velocity vector fields |
| US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
| US5276513A (en) * | 1992-06-10 | 1994-01-04 | Rca Thomson Licensing Corporation | Implementation architecture for performing hierarchical motion analysis of video images in real time |
| EP0701758B1 (en) * | 1993-06-04 | 2000-11-02 | Sarnoff Corporation | System and method for electronic image stabilization |
| AU7603894A (en) * | 1993-08-27 | 1995-03-21 | Massachusetts Institute Of Technology | Example-based image analysis and synthesis using pixelwise correspondence |
| AU7975094A (en) * | 1993-10-12 | 1995-05-04 | Orad, Inc. | Sports event video |
| JPH07200833A (ja) * | 1993-12-08 | 1995-08-04 | Nec Corp | 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法 |
| EP0697788A3 (en) * | 1994-08-19 | 1997-03-26 | Eastman Kodak Co | Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing |
| US5572596A (en) * | 1994-09-02 | 1996-11-05 | David Sarnoff Research Center, Inc. | Automated, non-invasive iris recognition system and method |
| US5627905A (en) * | 1994-12-12 | 1997-05-06 | Lockheed Martin Tactical Defense Systems | Optical flow detection system |
| US5594853A (en) * | 1995-01-03 | 1997-01-14 | University Of Washington | Method and system for editing the general sweep and detail of a figure with a curve |
| EP0721287A1 (en) * | 1995-01-09 | 1996-07-10 | Daewoo Electronics Co., Ltd | Method and apparatus for encoding a video signal |
| US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
| JP3823333B2 (ja) * | 1995-02-21 | 2006-09-20 | 株式会社日立製作所 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
| IL114839A0 (en) * | 1995-08-04 | 1997-02-18 | Spiegel Ehud | Apparatus and method for object tracking |
| US6026182A (en) * | 1995-10-05 | 2000-02-15 | Microsoft Corporation | Feature segmentation |
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| US5799113A (en) * | 1996-01-19 | 1998-08-25 | Microsoft Corporation | Method for expanding contracted video images |
| US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
| US5787203A (en) * | 1996-01-19 | 1998-07-28 | Microsoft Corporation | Method and system for filtering compressed video images |
| US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| US5764814A (en) * | 1996-03-22 | 1998-06-09 | Microsoft Corporation | Representation and encoding of general arbitrary shapes |
| US5778098A (en) * | 1996-03-22 | 1998-07-07 | Microsoft Corporation | Sprite coding |
| US5801778A (en) * | 1996-05-23 | 1998-09-01 | C-Cube Microsystems, Inc. | Video encoding with multi-stage projection motion estimation |
| US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
| US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
| US6169966B1 (en) * | 1996-12-27 | 2001-01-02 | Kabushiki Kaisha Toshiba | Apparatus for detecting a moving state of an object |
| US6160907A (en) * | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
| US6124864A (en) * | 1997-04-07 | 2000-09-26 | Synapix, Inc. | Adaptive modeling and segmentation of visual image streams |
| US6084590A (en) * | 1997-04-07 | 2000-07-04 | Synapix, Inc. | Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage |
| US6211913B1 (en) * | 1998-03-23 | 2001-04-03 | Sarnoff Corporation | Apparatus and method for removing blank areas from real-time stabilized images by inserting background information |
| US6522325B1 (en) | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6535226B1 (en) | 1998-04-02 | 2003-03-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
| US6266053B1 (en) | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
| US6249285B1 (en) | 1998-04-06 | 2001-06-19 | Synapix, Inc. | Computer assisted mark-up and parameterization for scene analysis |
| US6297825B1 (en) | 1998-04-06 | 2001-10-02 | Synapix, Inc. | Temporal smoothing of scene analysis data for image sequence generation |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| DE69942157D1 (de) * | 1999-05-13 | 2010-04-29 | St Microelectronics Asia | Adaptiver bewegungsschätzer |
| US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| US7071914B1 (en) | 2000-09-01 | 2006-07-04 | Sony Computer Entertainment Inc. | User input device and method for interaction with graphic images |
| EP1363243B1 (en) * | 2001-02-19 | 2010-10-27 | Honda Giken Kogyo Kabushiki Kaisha | Automatic target recognition by template matching |
| US7084910B2 (en) * | 2002-02-08 | 2006-08-01 | Hewlett-Packard Development Company, L.P. | System and method for using multiple images in a digital image capture device |
| US7602848B2 (en) * | 2002-03-26 | 2009-10-13 | General Instrument Corporation | Methods and apparatus for efficient global motion compensation encoding and associated decoding |
| US7447380B2 (en) * | 2002-09-12 | 2008-11-04 | Inoe Technologies, Llc | Efficient method for creating a viewpoint from plurality of images |
| AU2003261923C1 (en) | 2002-11-20 | 2009-07-16 | Godo Kaisha Ip Bridge 1 | Moving image predicting method, moving image encoding method and device, and moving image decoding method and device |
| US8133115B2 (en) | 2003-10-22 | 2012-03-13 | Sony Computer Entertainment America Llc | System and method for recording and displaying a graphical path in a video game |
| US7418156B1 (en) * | 2004-04-16 | 2008-08-26 | Apple Inc. | Domain of definition in warper/morpher |
| US20060071933A1 (en) | 2004-10-06 | 2006-04-06 | Sony Computer Entertainment Inc. | Application binary interface for multi-pass shaders |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| US20060215036A1 (en) * | 2005-03-25 | 2006-09-28 | Multivision Intelligent Surveillance (Hk) Ltd. | Method and apparatus for video stabilization |
| US20060245618A1 (en) * | 2005-04-29 | 2006-11-02 | Honeywell International Inc. | Motion detection in a video stream |
| FR2886020B1 (fr) * | 2005-05-19 | 2007-10-19 | Eurocopter France | Systeme d'estimation de la vitesse d'un aeronef et son application a la detection d'obstacles |
| US7636126B2 (en) | 2005-06-22 | 2009-12-22 | Sony Computer Entertainment Inc. | Delay matching in audio/video systems |
| JP4613724B2 (ja) * | 2005-07-15 | 2011-01-19 | ソニー株式会社 | 撮像装置および撮像方法 |
| US7965859B2 (en) | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
| US7880746B2 (en) | 2006-05-04 | 2011-02-01 | Sony Computer Entertainment Inc. | Bandwidth management through lighting control of a user environment via a display device |
| US7907217B2 (en) * | 2006-10-31 | 2011-03-15 | Siemens Medical Solutions Usa, Inc. | Systems and methods of subtraction angiography utilizing motion prediction |
| EP1923834A1 (en) * | 2006-11-20 | 2008-05-21 | Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO | Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product |
| US7936945B2 (en) * | 2006-12-18 | 2011-05-03 | Nokia Corporation | System, method, device, and computer program product for providing image correction |
| KR100800804B1 (ko) * | 2006-12-27 | 2008-02-04 | 삼성전자주식회사 | 파노라마 영상 촬영 방법 |
| US20090262986A1 (en) * | 2008-04-22 | 2009-10-22 | International Business Machines Corporation | Gesture recognition from co-ordinate data |
| JP4507129B2 (ja) * | 2008-06-06 | 2010-07-21 | ソニー株式会社 | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
| US9342817B2 (en) | 2011-07-07 | 2016-05-17 | Sony Interactive Entertainment LLC | Auto-creating groups for sharing photos |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL69327A (en) * | 1983-07-26 | 1986-11-30 | Elscint Ltd | Automatic misregistration correction |
| NL8603059A (nl) * | 1986-12-01 | 1988-07-01 | Philips Nv | Inrichting en werkwijze met bewegingsartefactreductie voor verschilbeeldbepaling. |
| US4847688A (en) * | 1987-04-17 | 1989-07-11 | Matsushita Electric Industrial Co., Ltd. | Moving body recognition circuit using luminance signal and moving body tracking apparatus using the moving body recognition circuit |
| EP0294961B1 (en) * | 1987-06-09 | 1994-10-12 | Sony Corporation | Motion vector selection in television images |
| FR2623955B1 (fr) * | 1987-11-27 | 1990-04-27 | Labo Electronique Physique | Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition |
-
1990
- 1990-01-23 GB GB909001468A patent/GB9001468D0/en active Pending
- 1990-12-13 US US07/624,343 patent/US5067014A/en not_active Expired - Lifetime
-
1991
- 1991-01-14 WO PCT/US1991/000099 patent/WO1991011782A1/en active IP Right Grant
- 1991-01-14 DE DE69127809T patent/DE69127809T2/de not_active Expired - Fee Related
- 1991-01-14 JP JP03502989A patent/JP3079196B2/ja not_active Expired - Fee Related
- 1991-01-14 EP EP91902579A patent/EP0513047B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5067014A (en) | 1991-11-19 |
| DE69127809T2 (de) | 1998-03-05 |
| EP0513047A4 (en) | 1994-06-15 |
| WO1991011782A1 (en) | 1991-08-08 |
| EP0513047B1 (en) | 1997-10-01 |
| DE69127809D1 (de) | 1997-11-06 |
| JPH05503796A (ja) | 1993-06-17 |
| EP0513047A1 (en) | 1992-11-19 |
| GB9001468D0 (en) | 1990-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3079196B2 (ja) | フィードバックループ装置およびイメージデータピクセルの繰返し動作処理方法 | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| KR102563750B1 (ko) | 영상 블러링 제거 방법 및 장치 | |
| EP0986252B1 (en) | System and method for electronic image stabilization | |
| EP0606385B1 (en) | Method for determining sensor motion and scene structure and image processing system therefor | |
| JP6226876B2 (ja) | 非同期光センサに基づいてオプティカルフローを推定する方法 | |
| CN110148159B (zh) | 一种基于事件相机的异步目标跟踪方法 | |
| US7912248B2 (en) | Hierarchical feature tracking using optical flow | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| JP3930935B2 (ja) | 画像処理装置 | |
| JPH07505749A (ja) | ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法 | |
| US20180005039A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| CN110689554B (zh) | 用于红外图像序列的背景运动估计方法、装置及存储介质 | |
| Ng et al. | Aggregation functions for simultaneous attitude and image estimation with event cameras at high angular rates | |
| Sappa et al. | An edge-based approach to motion detection | |
| KR101438451B1 (ko) | 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| US6873395B2 (en) | Motion picture analyzing system | |
| JPS63194477A (ja) | 背景画像抽出方法 | |
| KR102372988B1 (ko) | 시계열 이벤트를 이용하여 카메라의 자세 변화 결과를 추정하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| Ye et al. | Towards Anytime Optical Flow Estimation with Event Cameras | |
| JP3774028B2 (ja) | 動画像の動き量推定装置 | |
| Schanz et al. | 3D particle position determination and correction at high particle densities | |
| JP7439006B2 (ja) | 距離推定装置及び距離推定方法 | |
| EP4060983A1 (en) | A method for accumulating events using an event-based vision sensor and overlapping time windows |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080623 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |