JP3207461B2 - ３次元対象物のトラッキング方法及び装置 - Google Patents

３次元対象物のトラッキング方法及び装置

Info

Publication number
JP3207461B2
JP3207461B2 JP22753391A JP22753391A JP3207461B2 JP 3207461 B2 JP3207461 B2 JP 3207461B2 JP 22753391 A JP22753391 A JP 22753391A JP 22753391 A JP22753391 A JP 22753391A JP 3207461 B2 JP3207461 B2 JP 3207461B2
Authority
JP
Japan
Prior art keywords
template
sub
dimensional object
templates
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22753391A
Other languages
English (en)
Other versions
JPH04281688A (ja
Inventor
イアン パターソン トゥリュー ティモシィ
カロラ シーリング ガブリエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JPH04281688A publication Critical patent/JPH04281688A/ja
Application granted granted Critical
Publication of JP3207461B2 publication Critical patent/JP3207461B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、一連の２次元画像フレ
ームとして捕獲される被写体中の動３次元対象物のトラ
ッキング方法及び装置に関するものである。本発明は、
医療、工業オートメーション、検査、CD-I（コンパクト
ディスクインターアクティブ）オーサリング、ディス
クのフィルム、デジタルテレビジョン放送などの多くの
用途に用いられるが、ここでは特に、ビデオ電話及びCD
-I適用について説明をおこなう。
【０００２】
【従来の技術】顔をトラッキングする方法は、1989年7
月18-20 日にワーウィックで行われた画像処理及びその
応用に関する第３回国際会議で発表され、IEE 会議刊行
物No.307の531-535 ページにおいて刊行物発表された”
A Feature Tracking Method for Motion Parameter Est
imation In A Model-Based Coding Applicatioｎ”とい
うタイトルのユー（J.F.S.Yau)及びデュフィー（N.D.Du
ffy)による論文に開示されている。この論文では、モデ
ルベースの画像コーディング計画に応用するための顔の
動きの変動をパラメータ処理するための方法を公開して
いる。トラッキングアルゴリズムが記述されており、こ
れによって、まず被写体の目、鼻及び口のバウンディン
グボックス（bounding box) を配置し、その後ブロック
マッチング及びコードブックサーチ技術の両方を用い
て、連続するフレームにわたってトラッキングする。動
きパラメータ評価アルゴリズムによって、頭部の位置及
び方向を規定するのに必要とされる６個の自由度が、ト
ラッキングされたボックス位置から得られる。このアル
ゴリズムを実現するために、ボックス位置の空間的配置
を判断するとともに、これらを、簡略化された顔の位相
数学的３次元モデルに関連づける。
【０００３】分析された画像シーケンスの各フレーム毎
に、位置及び方位の評価を２段階で行う。第１段階は、
画像シーケンスにわたって目、鼻及び口をトラッキング
する段を具えている。このことは、顔の特徴を第１フレ
ーム内に配置し、その後ブロックサーチ及びコードブッ
ク技術の両方を用いて、連続するフレームにわたってこ
れらをトラッキングすることによって達成された。初期
の特徴の配置は、マニュアルで行われたが、その後のす
べての処理は、ソフトウェアアルゴリズムによって行わ
れていた。特徴の配置は、関連する顔の特徴を完全に取
り囲んでいるボックスによって表現される。したがっ
て、画像シーケンス分析の第１段階、すなわちトラッキ
ング段の結果、時間軸に沿った画像シーケンスにわたっ
て顔の特徴ボックスの奇跡が記述される。動きパラメー
タ評価段と称する第２段階は、各フレームの顔の特徴ボ
ックスの空間的配置を判断し、位置及び方位の評価を行
う。顔の特徴ボックスの位置を顔の簡略化された位相数
学的モデルに当てはめることによって、２次元データか
ら３次元情報を回復させる。
【０００４】画像電話に応用する場合、画像シーケンス
分析から３次元情報を得るのに、ロボットの視覚に応用
する場合と同程度の正確性及び精密性は必要とされな
い。ロボットに応用する場合には、角度及び距離の正確
かつ絶対的な測定が必要とされる。顔の画像の場合、位
置及び方位パラメータを近似すれば十分である。更に重
要なことは、元の画像シーケンスの変動との完全な同期
がとられ、顔の動きの変動が再生されることである。こ
の理由は、チャンネルを介しての通信に関して、視覚的
に微妙な差異が生じるのは、絶対的な位置及び方位の変
動よりもむしろ顔の動きの変動である。
【０００５】
【発明が解決しようとする課題】しかし、ユー及びデュ
フィーによる方法には、多くの欠点がある。まず第一
に、一方の目あるいは口が妨害される（occluded) 場
合、すなわち対象物が目や口の前を通過する場合、顔を
トラッキングすることができないことである。第二に、
頭部がかなり回転して、一方の目がカメラの視界から外
れる場合に、顔をトラッキングできないことである。第
三に、顔の特定の特徴、すなわち目、鼻、口の識別を必
要とすることである。本発明の目的は、改良された対象
物トラッキング方法を提供するとともに、該方法をトラ
ッキングすべき対象物の妨害（occlusion)に対して強く
せんとするにある。
【０００６】
【課題を解決するための手段】本発明は、被写体中の３
次元対象物を、 一連の２次元画像フレームにわたってト
ラッキングする方法であって、該方法が： ａ）トラッキングすべき前記対象物を含む初期テンプレ
ートを形成する工程と； ｂ）トラッキングすべき前記対象物の輪郭を形成するマ
スクを抽出する工程と； ｃ）前記初期テンプレートを、前記対象物の特定の特徴
とは無関係な複数のサブテンプレートに分割する工程
と； ｄ）連続する各々のフレームをサーチし、先行するフレ
ームのテンプレートとのマッチングを見いだす工程と； ｅ）連続する各々のフレームをサーチし、先行するフレ
ームのサブテンプレートの各々とのマッチングを見いだ
す工程と； ｆ）連続する各々のフレームにおいて、テンプレートの
位置に対する各々のサブテンプレートの位置の変位を決
定する工程と； ｇ）前記変位を用いて、変位した位置を写像することの
できる２変量変換の係数を決定する工程と； ｈ）前記変換を行い、更新されたテンプレートと更新さ
れたマスクとを供給する工程；とを具えていることを特
徴とする。
【０００７】テンプレートを多くのサブテンプレートに
分割し、局所的マッチング処理をサブテンプレートの各
々に適用することによって、対象物の方位が変化する際
の対象物のひずみを検出することができる。このことを
用いて、アフィン変換のような２変量変換の係数を規定
し、対象物の新しい外観を予測することができる。用い
ることのできる他の変換は、より高次の多項式関数又は
フーリエ係数を有している。サブテンプレートは、対象
物の特定の特徴と関係していないので、本発明を用いて
任意の対象物をトラッキングすることができ、顔や他の
規定される対象物のトラッキングには限定されない。形
成すべきサブテンプレート数の選択には、更に大きな自
由度があり、一定の冗長度を組み込み、対象物が部分的
に妨害されても、トラッキングを継続できるようにして
いる。この方法は、画像中に見ることのできる特定の対
象物の特徴に依存していない。このため、特定の対象物
の特徴を視覚可能な状態に保持するために、対象物の回
転の自由度が制約されることはない。サブテンプレート
の各々に対するサーチ領域を、テンプレートマッチング
位置の周囲のある限定された領域とすることができる。
このサーチ領域を限定することによって、サーチに要す
る時間を最小にするとともに、特徴に依存しないサブテ
ンプレートを用いて、サブテンプレートと、対象物の類
似する遠隔部分とのマッチングの可能性を減少させてい
る。例えば、この制約がないと、あるサーチ領域制約が
課されなければ、顔の左ほおをカバーしているサブテン
プレートが、右ほおとマッチングしうる。
【０００８】本発明による方法は更に ｉ）前記対象物の境界に前記初期テンプレートの隣接画
素と同じ値を有する画素を追加することによって前記初
期テンプレートを拡張する工程を具えることができる。
【０００９】本発明による方法は、更に ｊ）マスクの内側の各画素の輝度を第１一定値に設定す
るとともに、マスクの外側の各画素の輝度を第２一定値
に設定する工程を具えることができる。このことによっ
て、テンプレートが拡張される際に失われる対象物の輪
郭を決定することができ、例えば、境界の外側を黒、内
側を白に輝度を設定することによって、境界において明
確なしきい値処理を保持することができる。
【００１０】本発明による方法は、更に ｋ）トラッキングすべき前記対象物の領域占有率が所定
の値より小さいサブテンプレートの各々を切り捨てる工
程を具えることができる。前記所定の値を20％〜30％の
間に設定することができる。このことによって、サブテ
ンプレートに含まれる対象物に関する情報がほとんどな
い場合であっても、誤ったサブテンプレートの局所的マ
ッチングを見いだす可能性が減少する。実際に選択され
る対象物の領域占有率は、テンプレートが分割されるサ
ブテンプレートの数と、一般的な適用の場合における誤
ったマッチングが見いだされる範囲とに依存している。
【００１１】本発明による方法は、更に ｌ）局所的マッチングを見いだすことのできない任意の
サブテンプレートを切り捨てる工程と； ｍ）最低限の数のサブテンプレートが残存しているかど
うかを決定する工程と； ｎ）最低限の数のサブテンプレートが残存している場合
に、これらの変位を用いて前記変換係数を計算する工
程；とを具えることができる。前記最低限の数を６とす
ることができる。このことによって、妨害されていない
サブテンプレートの数が十分であれば、全対象物の変換
係数を計算することができるので、部分的な妨害対象物
を処理することができる。対象物が完全に妨害されてい
る場合、あるいは妨害によって変換係数の計算ができる
ほど十分なサブテンプレートが残存していない場合、先
行するフレームで計算された係数を再び用いて、対象物
の位置及び外観を予測することができる。残存している
サブテンプレートの数が前記最低限の数よりも少ない場
合に、次のフレームにおいて前記テンプレートマッチン
グのためのサーチ領域を増大させることができる。一以
上のフレームにおいて対象物が見えないために、その予
測位置は、より大きなエラーに従属し、サーチ領域を増
大させることによって、マッチングを見いだす可能性が
大きくなる。
【００１２】本発明による方法は、更に ｏ）前記更新されたテンプレートを、前記テンプレート
マッチングの位置で、前記変換されたマスクによって選
択された次のフレームの領域と比較する工程と； ｐ）該比較工程の結果を用い、カルマンフィルタの利得
補正項を制御する工程；とを具えることができる。
【００１３】変換は、通常３次元対象物の外観の変化の
すべてを表示できないために、変換によって得られる対
象物と思われるものの予測は、実際の外観から逸脱しう
る。カルマンフィルタ処理を用いることによって、実際
の外観を内挿し、対象物の外観を更新することができ
る。このことは、妨害が発生しているかどうかによって
決定される領域占有率の現在の画像を加えることによっ
て達成される。すなわち、何の妨害もない場合には、高
い領域占有率の現在の画像を内挿し、対象物の妨害が検
出される場合には、低い領域占有率の現在の画像を内挿
する。その理由は、妨害対象物がトラッキングされる対
象物に内挿されることは、通常望ましくないからであ
る。しかし、低い領域占有率の画像を内挿すると、メガ
ネをかけている人などの変化は、結局トラッキングされ
る対象物に内挿されてしまう。
【００１４】８個の連続する画素値の平均を用いて、前
記比較工程ｏ）における比較をおこなうことができる。
これによって、雑音の影響を小さくすることができる。
【００１５】前記比較工程ｏ）が： o1) 各画素毎に、中心に問題となる画素を有する３×３
の画素ブロックを用いる工程と； o2) 前記ブロックを、１画素づつ各方向に順番に変位さ
せる工程と； o3) 各変位毎に、更新されたテンプレート内の画素を、
現在の画像と比較し、差値を計算する工程と； o4) 最小差値を見いだす工程と； o5) 前記比較の結果として、前記最小差値を出力する工
程；とを具えることができる。
【００１６】この差値を、例えば、平均二乗値あるいは
絶対値に基づき計算、又は他の相関関数、例えば、連続
するフレームの画素の内積に基づき計算することができ
る。内積による計算の場合、２個のフレーム間の最小差
値によって、最大内積値が与えられる。この手段によっ
て、微細な部分を有する領域の小さな不整列によって生
じる誤差を小さくすることができる。
【００１７】マッチングが見いだされない場合に、再び
前記変換を前記テンプレートに適用して、次のフレーム
のテンプレートの形状及び位置を予測することができ
る。このようにして、対象物が完全に、あるいはほぼ完
全に妨害されている場合に、以前の経歴からその位置又
は形状を予測することができる。
【００１８】本発明によれば更に、トラッキングすべき
前記対象物を含む初期テンプレートを形成するための手
段と；トラッキングすべき前記対象物の輪郭を形成する
マスクを抽出するための手段と；前記初期テンプレート
を、複数のサブテンプレートに分割するための手段と；
連続する各々のフレームをサーチし、先行するフレーム
のテンプレートマッチングを見いだすための手段と；連
続する各々のフレームをサーチし、先行するフレームの
サブテンプレートの各々のマッチングを見いだすための
手段と；連続する各々のフレームにおいて、テンプレー
トの位置に対する各々のサブテンプレートの位置の変位
を決定するための手段と；前記変位を用いて、変位した
位置を写像することのできる２変量変換の変換係数を決
定するための手段と；前記変換を行い、更新されたテン
プレートと更新されたマスクとを供給するための手段；
とを具えている、被写体中の３次元対象物を、 一連の２
次元画像フレームにわたってトラッキングするための装
置が提供される。
【００１９】該３次元対象物トラッキング装置は、前記
サブテンプレートの各々のサーチ領域を、テンプレート
マッチング位置の周囲に限定するための手段を具えるこ
とができる。
【００２０】前記３次元対象物トラッキング装置は更
に、対象物の境界で画素を繰り返すことによって初期テ
ンプレートを拡張するための手段を具えることができ
る。
【００２１】前記３次元対象物トラッキング装置は更
に、マスクの内側の各画素の輝度を第１一定値に設定す
るとともに、マスクの外側の各画素の輝度を第２一定値
に設定するための手段を具えることができる。
【００２２】前記３次元対象物トラッキング装置は更
に、トラッキングすべき対象物の領域占有率が所定の値
よりも小さいサブテンプレートの各々を切り捨てるため
の手段を具えることができる。前記所定の値を、20％〜
30％の間に設定することができる。
【００２３】前記３次元対象物トラッキング装置は更
に、局所的マッチングを見いだすことのできない任意の
サブテンプレートを切り捨てるための手段と；最低限の
数のサブテンプレートが残存しているかどうかを決定す
るための手段と；最低限の数のサブテンプレートが残存
している場合に、これらの変位を用いて前記変換係数を
計算するための手段；とを具えることができる。前記最
低限の数を６とすることができる。
【００２４】前記３次元対象物トラッキング装置は更
に、残存しているサブテンプレートの数が前記最低限の
数よりも少ない場合に、次のフレームにおいて前記テン
プレートマッチングのためのサーチ領域を増大させるた
めの手段を具えることができる。
【００２５】前記３次元対象物トラッキング装置は更
に、更新されたテンプレートを、前記テンプレートマッ
チングの位置で、前記変換されたマスクによって選択さ
れた次のフレームの領域と比較するとともに、該比較の
結果を用い、カルマンフィルタの利得補正項を制御する
ための比較手段を具えることができる。前記比較を、８
個の連続する画素値の平均を用いておこなうことができ
る。
【００２６】前記比較手段が：各画素毎に、中心に問題
となる画素を有する３×３の画素ブロックを用いるため
の手段と；前記ブロックを、１画素づつ各方向に順番に
変位させるための手段と；各変位毎に、前記更新された
テンプレートを現在の画像と比較し、差値を計算するた
めの手段と；最小差値を見いだすための手段と；前記比
較の結果として、前記最小差値を出力するための手段；
とを具えることができる。
【００２７】前記比較手段を、連続するフレームの内積
を発生させるための手段とすることもできる。この場
合、最小差値は、最大内積で表される。
【００２８】再び前記変換を前記テンプレートに適用し
て、次のフレームのテンプレートの形状及び位置を予測
することができる。
【００２９】本発明によれば更に、ビデオカメラと、該
ビデオカメラが供給する画像内の顔を識別するための手
段と、連続する画像フレームの顔の位置をトラッキング
するための手段と、電話線に接続されるべき出力信号を
供給するコーデックとを具えているビデオ電話端末であ
って、前記コーデックが、ビデオカメラの出力端子に結
合される第１入力端子と、前記トラッキング手段の出力
端子に接続される第２入力端子とを有し、該第２入力端
子における信号に分解能が依存する出力信号を供給する
ように前記コーデックを構成し、且つ前記トラッキング
手段が上記の３次元対象物トラッキング装置を具えてい
ることを特徴とするビデオ電話端末が提供される。
【００３０】本発明によれば更に、 ａ）前記一連の２次元画像を表しているビデオ信号を発
生させるための工程と； ｂ）前記動３次元対象物の輪郭を形成するための工程
と； ｃ）請求項１〜10のいづれか一項に記載の方法によっ
て、前記動３次元対象物をトラッキングする工程と； ｄ）輪郭の外側の画像部分を表示する場合よりも、輪郭
の内側の画像部分を表示する場合に、高分解能でビデオ
信号を符号化する工程；とを具えていることを特徴とす
る動３次元対象物を含んでいる被写体を表している一連
の２次元画像を符号化するための方法が提供される。
【００３１】符号化は、通常画素のブロック、例えば、
16×16画素ブロックでおこなわれ、結果的に、分解能の
変化はブロックを基準として生じる。これは、正確に対
象物の輪郭と一致してはいない。この場合、ブロックの
全体が輪郭の内側に存在する場合にのみ、高分解能のブ
ロックを送ることができることもち論であるが、輪郭の
内側の部分を有するブロックを高分解能で送ることが好
ましい。
【００３２】本発明によれば更に、前記一連の２次元画
像フレームを表しているビデオ信号を発生させるための
手段と；前記動３次元対象物の輪郭を形成するための手
段と；上記の３次元対象物トラッキング装置を具え、一
連の画像フレームにわたって、前記動３次元対象物をト
ラッキングするための手段と；輪郭の外側の領域よりも
輪郭の内側の領域を、より高分解能でビデオ信号を符号
化するための手段；とを具えていることを特徴とする動
３次元対象物を含んでいる被写体を表している一連の２
次元画像を符号化するための装置が提供される。
【００３３】該２次元画像符号化装置を、コンパクトデ
ィスクインターアクティブ（CD-I）プレーヤの記録担体
に記録するために画像を符号化するように構成し、前記
輪郭形成手段が、表示手段に結合されるとともに、ユー
ザが前記対象物の周囲の輪郭を作成できるようにする入
力装置を有している計算手段を具え、前記符号化手段を
CD-Iエミュレータに結合させ、前記一連の画像をディス
プレイ手段で再生できるように前記CD-Iエミュレータを
構成することができる。
【００３４】
【実施例】以下、図面を参照して実施例を説明するに、
図１は、本発明による方法を示すブロック図である。図
１のブロックＺは、トラッキングすべき対象物、例えば
ビデオ電話に応用する場合では人の顔、の初期基準テン
プレートの発生を示している。初期テンプレートは、第
一フレームから抽出され、応用によって、オペレータが
対象物の輪郭をトレースすることによって、マニュアル
で形成、あるいは、1990年３月26〜28日に、マサチュー
セッツ州ケンブリッジの画像コーディングシンポジウム
で発表された”Knowledge-Based Facial Area Recognit
ion andImproved Coding in a CCITT-Compatible Low-b
itrate Video-Codec ”というタイトルのバディク（E.B
adique)による論文に記載されているように自動的に形
成される。オリジナルテンプレートが画素の繰り返しに
よって拡張され（ブロックＡ）、また、テンプレートの
バイナリマスクを発生させる（ブロックＢ）。
【００３５】次の画像フレームは、入力端子Ｗを介して
供給され、サブサンプリングされるとともに（ブロック
Ｃ）、テンプレートもサブサンプリングされる（ブロッ
クＤ）。もちろん、サブサンプリング工程を削除できる
が、これには、より大きな記憶容量及び信号処理能力が
必要となる。広域マッチングプロセス（ブロックＥ）に
おいて、サブサンプリングされる画像（ブロックＣ）の
テンプレートの大きさに比例するサーチ領域、あるいは
オペレータによって制御されるサーチ領域を、サブサン
プリングされる拡張テンプレート（ブロックＤ）と比較
する。マッチング基準に基づき、画像中の最も適切な対
象物の位置を判定する。
【００３６】画像シーケンスが進むにつれて、対象物の
方向を変化しうる。結果的に、実際の画像と基準との類
似性が低下し、テンプレートマッチングプロセスが低下
し、やがては、システム故障も生じうる。この問題を解
消すべく、テンプレートを更新する。テンプレートは同
型の、好ましくは長方形のサブテンプレートに分割され
（ブロックＦ）、トラッキングすべき対象物が人の顔で
ある場合には、その顔の像を含んでいる画像部分の画素
値（輝度）の４分の１より小さな画素値を有するサブテ
ンプレートは切り捨てられる（ブロックＧ）。その後、
残りのサブテンプレートの各々をマッチングさせ、局所
的に位置合わせをする（ブロックＨ）。画像は検出され
た対象物の位置の周りの小さな領域で処理され、個々の
サブテンプレートに含まれている対象物の特徴を配置す
る。すなわち、広域マッチングが行われる場合、各々の
サブテンプレートのサーチ領域を制限し、サブテンプレ
ートが誤って対象物の遠隔部分の類似の領域とマッチン
グされないようにしている。例えば、トラッキングすべ
き対象物が顔であり、サブテンプレートが左側のほおの
一部をカバーしている場合、両側のほおが類似している
ため、右側のほおの一部を用いて優れたマッチングを行
なうことができる。サーチ領域を制限することによっ
て、このような誤ったマッチングが行われる可能性を低
くすることができる。局所的位置合わせ処理により得ら
れる最小コスト機能をしきい値処理し（ブロックＩ）、
潜在的に妨害又は重なり合って見える領域（occluded
area）を切り捨てることができるようにしている（ブロ
ックＪ）。次のフレームの広域サーチ領域は、不充分な
局所的マッチングであれば増大し、充分なマッチングで
あれば、その元の大きさにリセットされる。
【００３７】サブテンプレートが多くの微細な部分を有
している場合に生じる一つの問題点は、小さな不整列に
よって、大きなエラー信号が発生しうることである。こ
の問題を解消すべく、問題となっている画素を中心とす
る３×３ブロックの画素を用い、このブロックが、１画
素づつ各方向に順番に変位するようにする。各変位毎
に、更新されたサブテンプレートは現在の画像と比較さ
れ、差値が得られる。最終的に採用される値は、最小差
値を発生させるものである。この手続きが有効な一般的
領域は、髪や、薄いストライプを有するネクタイなどの
物品の領域である。
【００３８】妨害された領域がない場合、あるいは妨害
されたものとして検出された対象物のパーセンテージが
極めて小さい場合、対象物のフレーム内ひづみを測定す
ることができる、すなわち、テンプレートに対する個々
のサブテンプレートの変位が評価される。この評価よ
り、アフィン変換の係数が計算される（ブロックＬ）。
その後、アフィン変換は、拡張テンプレート（ブロック
Ｍ）及びバイナリーマスク（ブロックＮ）に適用され、
対象物の幾何学的ひづみを修正する。アフィン変換され
たバイナリーマスクをしきい値処理し（ブロックＯ）、
正確な対象物の境界が得られるようにする。この工程を
含める理由は、アフィン変換では、グレイレベル強度値
を境界領域に加え、テンプレートの更新に誤った結果を
もたらしうるアルゴリズムの反復の度にテンプレートの
大きさを増大させてしまうからである。広域マッチング
手続きの間、拡張されるとともに更新されたテンプレー
トを、バイナリーマスクで与えられる境界の内側に用い
る。テンプレートの拡張が必要な理由は、アフィン変換
では、境界の画素値を計算するために境界の直ぐ外側の
画素値を用いるからである。しきい値処理されたバイナ
リーマスクは、再びアフィン変換され（ブロックＶ）、
スイッチSW1bを介して次のフレームのバイナリーマスク
として用いられる。
【００３９】アフィン変換の結果（ブロックＭ）を直接
SW1aに供給し、これを以前のフレームのテンプレートと
して用いることもできるが、このことは、エラーを計算
する際に必ずしも必要なことではない。その代わりに、
図１に示されている例では、テンプレートの妨害されて
いない部分に対する現在のフレームからの情報を用い
て、テンプレートを更新する。広域マッチングによって
見いだされる位置で、変換されたマスクによって選択さ
れる実際の画像領域と、更新されたテンプレートとを比
較することにより（ブロックＰ）、妨害を検出する。基
準テンプレートから、実際の画像の対応する領域引くこ
とによって得られる相違画像を分析することによって、
妨害対象物が検出される。この相違は、８個の連続する
画素値を平均する（ブロックＱ）のに用いられ、比較の
際の雑音感度を低減させる。８個の連続する画素とは、
所定の画素の直ぐ周りの８個の画素、すなわち、水平方
向、垂直方向及び両対角線方向の近傍の画素である。８
個の連続する画素を平均することは必ずしも必要ではな
く、他の好適なノイズフィルタリング技術を用いること
もできる。
【００４０】更に、８個の連続する画素から成る３×３
ブロックを１画素づつ各方向に順番に変位させ、各々の
変位に対して、更新されたテンプレートのブロック中の
画素を現在の画像の画素と比較し、平均差値を計算する
ことによって、基準テンプレート及び実際の画像の端部
間のわずかな不整列によって生じうる大きな相違を低減
させることができる。この場合、ブロックＱの出力は、
これらの平均差値の最小値となる。
【００４１】モデルの不一致と、妨害などの対象物環境
の変化とを区別できるように、ブロックＲのしきい値を
設定する。相違画像をしきい値処理した結果を用いて、
テンプレートと実際の画像とを選択するのに用いられる
妨害対象物のマスクを発生させる。妨害されていない対
象物領域では、実際の被写体中の対象物が高い比率で含
まれている。部分的な対象物の妨害が生じると、対象物
が妨害されていない領域及びトラッキングプロセスから
得られる部分的な情報を用いて、これらの妨害された領
域が修正される。例えば、妨害対象物が、かけているメ
ガネである場合、画像が規則的に更新されるにつれてメ
ガネが徐々に現れるように、利得をゼロというよりもむ
しろ低い値に設定する。
【００４２】ブロックＳの出力端子を直接スイッチSW1a
に接続する場合には、この更新の結果を直接次のフレー
ムのテンプレートとして用いることができるが、アフィ
ン変換（ブロックＴ）を再び適用することによって、よ
り優れたマッチングが見いだされ、次に続くフレームを
予測することができる。この場合、ブロックＴの出力端
子を直接スイッチSW2 に接続する。図１に示されている
例は、更に改良がなされている。。ここではカルマンフ
ィルタ内に、テンプレートの更新と予測とを含めてい
る。更にこのことによって、テンプレートと実際の画像
との相違が生じるもう一つの原因である照度の変化を、
トラッキングするとともに予測することができる。
【００４３】テンプレートを更新するための上記メカニ
ズムを、カルマンフィルタの利得を制御する妨害検出信
号を用いて、カルマンフィルタの測定更新（ブロック
Ｓ）内に組み込む。カルマンフィルタの測定更新は、テ
ンプレート内の各画素の時間的導関数も有しており、そ
の２個の組み合わせにより、カルマンフィルタの状態変
数を形成する。カルマンフィルタの予測段は、顔の位置
を予測するためのアフィン変換予測（ブロックＴ）を行
うとともに、照度変化を計算する（ブロックＵ）ための
カルマン状態空間マトリックスの状態変数への適用を行
う。この状態空間マトリックスの構成要素は、”Moving
Object Recognition Using an AdaptiveBackground Me
mory ”,Time-varying Image Processing and Moving O
bject Recognition，Ed.V.Capellini,pp289-296,Spring
er-Verlag, Berlin,1990 に記載されているカルマンな
どによって用いられたのと同一の構成要素とすることが
できる。位置合わせプロセスで、対象物が検出されない
場合、すなわち対象物がほとんど、あるいは完全に妨害
されている場合、更新段及びカルマンフィルタ段は省略
され、その代わりに、それより以前の画像において計算
されたアフィン変換（ブロックＫ）を適用することによ
り、次のフレームの位置及び大きさが予測される。
【００４４】初期テンプレートが発生し、更新され、ス
イッチSW2 を介してフィードバックされる場合にのみ、
スイッチSW1a，SW1bは図に示されている位置にある。ス
イッチSW2 は、対象物がほとんど、あるいは全体的に妨
害されている場合には図に示されている位置にあり、対
象物が妨害されていない、あるいは部分的にのみ妨害さ
れている場合には第２の位置を採るように制御され、カ
ルマンフィルタの出力を選択する。
【００４５】本発明による方法は、広域マッチングと局
所的マッチングとの両者を具え、適応性のあるテンプレ
ートマッチングを用いて対象物を追跡する。このように
して、プロセスは、追跡すべき対象物の最初の視界か
ら、次のフレームの類似のパターンをサーチする。テン
プレートを更新し、フレームからフレームへの方位及び
外観の変化、及びこれによる形状、大きさの変化に対処
する。これらの変化が、フレーム内期間では小さいもの
と仮定する。一方、本発明のある態様では、更新手続き
が妨害、及びこれによる著しいフレーム内変化を処理す
ることができるとともに、妨害されている特徴がテンプ
レート内に組み込まれないことを保証している。したが
って、ビデオ電話への応用では、人間の頭部は長い距離
にわたって迅速に移動しないので、トラッキングできる
が、対象物が顔の前面を通過すると、これらの対象物を
顔に組み込むことは望めない。
【００４６】初期テンプレートを見いだすための方法
は、クリティカルなものではなく、その適用に依存して
いる。ビデオ電話端末などのリアルタイム適用の場合、
ここで参照されているE.Badique によって記載された方
法を用いるのが便利であるが、CD-Iオーサリング（auth
roing)などの非リアルタイム適用に用いられる場合に
は、初期テンプレートはマニュアルで作成される。初期
テンプレートが供給されると、これは対象物をトラッキ
ングするのに用いられる。幾つかの小さなテンプレート
を、例えば目や口などの臨界的な特徴に対して用い、顔
などの対象物をトラッキングすることは、以前より提案
されている。これは、妨害が発生する場合に特に必要な
ことではない。この方法では、他の処理を行う以前に、
完全な対象物、例えば顔のテンプレートに対して、広域
マッチングを行う。テンプレート及び被写体をサブサン
プリングすることによって、必要な計算を減らすことが
できるとともに、サーチ領域を、以前のフレームにおい
てテンプレートが位置していた点の付近に制限すること
ができる。サーチ領域の範囲をテンプレートの大きさに
比例させ、種々のレンジでこの方法を顔（すなわち対象
物）に関して用いることができる。
【００４７】最も可能性の高い顔の位置を見いだした
後、テンプレートが更新され、新しいフレームにおける
真の顔の外観が表示される。顔の外観の変化は、局所的
マッチング、すなわちサブテンプレートマッチングによ
って検出される。テンプレートを、同形且つ長方形であ
ることが好ましいサブテンプレートに分割する。これら
のサブテンプレートは、広域的マッチングポジションの
周囲の小領域にわたる現在のフレームの内容とマッチン
グしている。特定の点におけるマッチングコスト機能
が、特定のテンプレートにおいて極めて高い場合、この
サブテンプレートの領域で対象物が妨害されており、サ
ブテンプレートがこれ以上処理されないものと思われ
る。局所的マッチングプロセスでは、４分の１より多く
の画素がアクティブであるサブテンプレートのみが含ま
れている。サブテンプレートの局所的マッチングによっ
て、顔のフレーム内ひづみを示す一組の変位が生じる。
これらの変位は、全テンプレートに適用されるアフィン
変換の係数を計算するのに用いられる。
【００４８】テンプレートマッチングの範囲を制限する
ためには、トラッキングすべき対象物の境界を知る必要
がある。このことを達成するための一つの方法は、元の
テンプレートと同一形状のバイナリーマスクを作り出す
ことである。アフィン変換をテンプレート自体に適用す
るとともに、このバイナリーマスクにも適用する。ま
た、変換されたマスクをしきい値処理することによっ
て、つぎのフレームのテンプレートの境界が得られる。
古い画素位置と、新しいテンプレートとが１対１対応し
ていないために、このような手続きが必要である。新し
い画素値は、古い画素値の間に内挿を行うことによって
形成される。アクティブテンプレートの周囲の領域をゼ
ロに設定すると、アフィン変換において境界の周囲の変
換のために、これらの画素値を誤って用い、テンプレー
トの境界周囲がぼんやりとする原因となる。このことを
防ぐために、境界の外側の画素値を繰り返すことによっ
て、アクティブテンプレートを拡張することができる。
アクティブテンプレートを、画素値を繰り返す以外の他
の手段、例えば双線形内挿によって拡張することもでき
る。この手続きによって、境界がぼんやりとなることを
防げるが、これには、テンプレート形状の個々の記録を
維持しなければならない。このことは、パラレルにマス
クを行うことによって達成される。マスクは、境界の内
側の画素に大きな値を割り当て、境界の外側の画素に小
さな値を割り当てることによって形成され、アフィン変
換を適用すると、出力信号が間違いなくしきい値処理さ
れ、正確な境界形状を復元することができる。
【００４９】アフィン変換によって、数フレームにわた
る顔の外観の変化に対する合理的なモデルが提供される
が、すべての変化を正確に表現することはできず、ま
た、繰り返される内挿によってテンプレートの空間的分
解能が急激に低下してしまう。この性能を改善するため
に、テンプレートの更新及び予測をカルマンフィルタに
組み込むことができる。このことによって更に、テンプ
レートと実際の画像との相違が生じる他の原因となる照
度変化のトラッキング及び予測が可能となる。
【００５０】テンプレートの更新のためのメカニズムを
カルマンフィルタの測定更新（ブロックＳ）に組み込
む。この際、妨害検出信号が利得を制御する。カルマン
フィルタの測定更新も、テンプレート内の各画素の時間
的な導関数を有しており、その２個の組み合わせによっ
て、カルマンフィルタの状態変数が構成される。カルマ
ンフィルタの予測段は、顔の位置変化を予測するための
アフィン変換予測と、照度変化を計算するための状態空
間マトリックスの状態変数への適用の両者を具えてい
る。状態空間マトリックスの構成要素は、以前に引用し
たカルマンなどによって用いられた構成要素と同じもの
である。
【００５１】アフィン変換では、その係数を計算するの
に少なくとも６個の座標対が必要である。６個より少な
い座標対が検出される場合、すなわち、６個より少ない
サブテンプレートマッチングの場合、顔のほとんどの部
分が妨害されていると思われる。このため、以前のフレ
ームに対して計算されたアフィン変換を再び次のフレー
ムの予測を行うためにも適用する。このことは、顔の外
観が滑らかに変化し、全体的な妨害が検出される場合に
は、次のフレームの広域サーチ領域を大きくし、顔が再
び見える際にトラッキングが回復できるようになってい
るとの仮定に基づいている。。この手続きは、監視シス
テムが通知により初期化手続きを起動できる際に、タイ
ムがしきい値に到達していないことを条件に、妨害が続
く限り繰り返される。マッチングが得られる度ごとに、
サーチ領域は元の大きさに戻される。
【００５２】少なくとも６個の局所的マッチング、すな
わちサブテンプレートマッチングが見いだされると、変
換されたテンプレートと実際の被写体との差を用いて、
妨害されている顔の領域を検出することができる。小さ
な領域、例えば３×３画素にわたってこの差を平均化
し、雑音に対する感度を低下させる。所定のしきい値よ
り大きな差を有する画素は、妨害されているものと思わ
れる。
【００５３】妨害が検出されると、カルマンフィルタの
利得を低い値に設定し、現在のフレームの小部分だけが
組み込まれる。利得をゼロに設定していないため、妨害
が長時間持続する場合、妨害対象物がやがては含まれる
こととなる。このことは、メガネをかけている人などの
場合に役立つ。この場合、始めメガネは妨害対象物であ
るが、画像に関する限り、次第に顔の一部となる。妨害
が検出されない場合には、カルマンフィルタの値を大き
な値に設定するが、１には設定しない。これによって、
テンプレートの雑音に対する感度を引き下げることがで
きる。妨害されていない顔の確からしい外観のモデルが
得られると、次のフレームにおける顔の外観の予測が与
えられる。このことは、アフィン変換を更新されたテン
プレートに再度適用することによって達成され、その後
カルマン状態空間マトリックスを用いて、アフィン変換
では処理されない照度変化を計算することができる。
【００５４】図２は、水平方向に８個の画素を有し、垂
直方向に12個の画素を有する領域における初期テンプレ
ートの一例を示す図である。ここにおいて、水平方向、
垂直方向にハッチングされている画素は、トラッキング
すべき対象物を表しており、一様な画素及び陰影の付さ
れていない画素は、背景を表している。図３は、拡張さ
れたテンプレートを示す図である。ここにおいて、背景
の画素は、対象物の境界における強度と同一の強度の画
素で置き換えられる。図４は、対象物の輪郭を提供する
バイナリーマスク示す図であり、輪郭内の画素は高強度
（白）であり、輪郭外の画素は低強度（黒）である。こ
れらの画素値を逆にすること、あるいは２個の異なる色
にすることはもちろん可能である。図５は、ドットで示
された対象物の輪郭におけるサブテンプレートを示す図
である。この場合では16個の長方形のサブテンプレート
であるが、サブテンプレートの数及び形状は任意に選択
可能で有り、異なる数及び形状のサブテンプレートを用
いることができる。
【００５５】図６は、ビデオカメラ60を具えているビデ
オ電話端末を示すブロック図である。ビデオカメラ60の
出力信号は、コーデック61の第１入力端子に供給され、
フェース検出手段62の第１入力端子に供給されるととも
に、トラッキング評価手段64の第１入力端子に供給され
る。フェース検出手段62は、上記にて引用した、E.Badi
que による刊行物にしたがって構成することができる。
フェース検出手段62の出力信号は、図１〜５を引用して
説明されているように実現可能な対象物検出手段に供給
されるとともに、トラッキング評価手段64の第２入力端
子に供給される。対象物トラッキング手段63の出力信号
は、コーデック61の第２入力端子に供給されるととも
に、トラッキング評価手段64の第３入力端子に供給され
る。コーデック61を、他の端末と通信を行うのに介する
ポート65に接続するとともに、通信リンクを介して他の
端末から受信される画像を表示するためのビデオディス
プレイ装置に接続する。
【００５６】フェース検出手段の62は、端末ユーザの頭
及び肩を、最初の数画像フレームに割り当てるととも
に、顔の輪郭を対象物トラッキング手段63に供給する。
フェース検出手段62は、一度その機能を実行すると、使
用不能状態にされる。同時に、トラッキング評価手段64
は、フェース検出手段62から、顔の特徴を受信するとと
もに、これらの特徴を記憶する。対象物トラッキング手
段63が供給する顔の輪郭はトラッキング評価手段64に供
給され、そのトラッキングされた対象物の特徴を、記憶
されている特徴と比較し、対象物トラッキング手段62が
依然として顔のトラッキングを行っているとともに、被
写体内のある他の対象物を自動追跡していないことを保
証する。この機能を達成するための一つの方法は、記憶
されている対象物の肌の色と、トラッキングされている
対象物の肌の色とを比較することである。トラッキング
評価手段64は、現在のトラッキングが失われていないこ
とを示している場合、フェース検出手段62をイネーブル
（使用可能状態）にするとともに、プロセスを再度初期
化し、顔を配置し、顔のトラッキングを再び開始できる
ようにする。
【００５７】コーデック61は、CCITT SG XV H.261 ｎ×
64Kbits/s ビデオコードにしたがって実現される。ここ
で、ｎは整数である。コーデック61の第1 入力端子は、
ビデオカメラ60からのビデオ信号を受信し、 第2 入力端
子は、 対象物トラッキング手段63の出力信号を受信す
る。 この出力信号の特性が、 分解能を制御する。 これを
用いて伝送する画像を符号化し、 顔の外観が背景よりも
高分解能で伝送されるようにする。明らかに、 被写体の
多くが会話している人間の顔の場合、 高分解能でこれを
伝送する必要はない。 この場合、 目や口だけを強められ
た分解能で伝送するのが有効である。 その理由は、 目や
口が、 看者の注目する顔の部分だからである。 この場
合、 顔全体を検出するための手段とともに、 目( 及び
口) を検出するための手段を設ける。 これを2 段プロセ
スとし、 まず顔全体を認識し、 その後個々の特徴( 目や
口) を配置することができる。 実質的に、 もち論のこと
ながらトラッキングすべき2 個以上の対象物をトラッキ
ングするため、 各対象物に対して独立のトラッキング手
段を設けるべきであろう。
【００５８】図7 は、 コンパクトディスクインターアク
ティブ(Compact Disk Interactive(CD-I)ディスクのビ
デオシーケンスを作成するためのオーサリングワークス
テーションを示すブロック図である。 この装置は、 ビデ
オ信号源70を具えている。このビデオ信号源70を、 ビデ
オカセットプレイヤーとすることもできるが、 任意の好
適な信号源を用いることができる。 ビデオ信号源70の出
力信号は、 CD-Iコーダ71の第1 入力端子に供給され、対
象物トラッキング装置72に供給されるとともに、 スイッ
チSW3 を介してビデオディスプレイ装置73に供給され
る。 SUN MICROSYSTEM INC によって販売されているよう
なワークステーション74を、 ビデオディスプレイ装置73
と、 対象物トラッキング装置72とに接続し、 ユーザが、
符号化すべきビデオシーケンスの集合を制御できるよう
にする。 対象物トラッキング装置72の出力端子をビデオ
ディスプレイ装置73と、 CD-Iコーダ71の第2 入力端子に
接続する。 CD-Iコーダ71の出力端子をCD-Iエミュレータ
75と、 出力端子76とに接続する。 CD-Iエミュレータ75の
出力端子をデコーダ77を介してスイッチSW3 に接続す
る。
【００５９】動作中、 ユーザは、 例えばマウスを入力装
置として用いるとともにビデオディスプレイ装置73のス
クリーンで対象物の輪郭をたどることによって、 ワーク
ステーション74を用い、 トラッキングすべき対象物の輪
郭を抽出する。 この処理の間、 スイッチSW3 は図7 にて
示されている位置にあり、 この結果、 ビデオ信号源70か
らの画像がビデオディスプレイ装置73に表示される。 こ
の後、 画像シーケンスは、 CD-Iコーダ71を用いて符号化
される。 このようにして、 ワークステーション74は、 図
1 〜5 を参照して説明したように処理される元の対象物
のマスクを、 対象物トラッキング装置72に供給する。 対
象物トラッキング装置72は、 分解能を制御するための出
力信号をCD-Iコーダ71の第2 入力端子に供給する。 この
出力信号を用いて、 ビデオ信号源70からのビデオ信号を
符号化する。 通常、この適用において、 対象物を自動的
にビデオ電話の顔に関するものと識別することはできな
い。 その理由は、 トラッキングされるべき対象物の特徴
がユーザにより選択され、多くの形態を採り得るからで
ある。 更に、 ユーザが、 符号化されるべき画像シーケン
スをビデオディスプレイ装置73で監視し、 トラッキング
が十分なものであるかを調べることができるので、 ビデ
オ電話適用において、 トラッキングを自動的に評価する
必要は必ずしもない。
【００６０】既に知られているように、 CD-Iオーサリン
グステーションは、 CD-Iエミュレータ75とデコーダ77と
を具え、 ユーザが、 符号化されたシーケンスが十分なも
のであるかをチェックできるようにしている。 このこと
を可能にするために、 ビデオ信号源70からのビデオ信号
の代わりに、 CD-Iコーダ71の出力端子を、 ビデオディス
プレイ装置73に接続できるようにスイッチSW3 を配置す
る。 このスイッチSW3の動作は、 ユーザの制御によるも
のであり、 好都合なことには、 ワークステーションのキ
イボードあるいはマウスによって行うことができる。対
象物トラッキング装置を、 CD-I規格による画像シーケン
ス発生装置のみならず、 任意のマルチメディア適用のた
めの画像シーケンス発生装置とともに用いることができ
る。
【００６１】本発明は、 ここに開示されている実施例に
限定されるものではなく、 要旨を変更しない範囲内で、
種々の変更が可能である。 このような変更は、 対象物ト
ラッキング装置及びその構成要素の設計、 製造、 及び使
用において既知となっている他の特徴部分を具えること
ができる。
【図面の簡単な説明】
【図１】本発明による方法を示すブロック図である。
【図２】初期テンプレートの一例を示す図である。
【図３】境界で画素値を繰り返すことによって拡張され
た図２の初期テンプレートを示す図である。
【図４】対象物のバイナリーマスクを示す図である。
【図５】16個のサブテンプレートに分割された初期テン
プレートを示す図である。
【図６】本発明によるビデオ電話端末を示すブロック図
である。
【図７】本発明によるコンパクトディスクインターアク
ティブ（CD-I）オーサリング装置を示すブロック図であ
る。
【符号の説明】
Ａ テンプレートの拡張ブロック Ｂ 境界の抽出ブロック Ｃ フレームのサブサンプリングブロック Ｄ テンプレートのサブサンプリングブロック Ｅ 広域マッチングブロック Ｆ サブテンプレートの抽出ブロック Ｇ 小さなサブテンプレートの切り捨てブロック Ｈ 局所的マッチングブロック Ｉ しきい値処理ブロック Ｊ 妨害テンプレートの切り捨てブロック Ｋ アフィン変換予測ブロック Ｌ アフィン変換係数の計算ブロック Ｍ アフィン変換ブロック Ｎ アフィン変換ブロック Ｏ マスクのしきい値処理ブロック Ｐ 相違検出ブロック Ｑ 平均化ブロック Ｒ しきい値処理ブロック Ｓ 予測更新ブロック Ｔ アフィン変換予測ブロック Ｕ 照度変化計算ブロック Ｖ アフィン変換予測ブロック Ｗ 画像フレームの入力端子 Ｚ テンプレート発生ブロック 60 ビデオカメラ 61 コーディク 62 フェース検出手段 63 対象物トラッキング手段 64 トラッキング評価手段 65 ポート 66 ビデオディスプレイ装置 70 ビデオ信号源 71 CD-Iコーダ 72 対象物トラッキング装置 73 ビデオディスプレイ装置 74 ワークステーション 75 CD-Iエミュレータ 76 出力端子 77 デコーダ
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０１Ｂ 11/24 Ｋ (73)特許権者 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １, 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔ ｈｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 ガブリエル カロラ シーリング イギリス国 ロンドン エヌダブリュー ８ チャーチ ストリート 24 フラッ ト ３ (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/14 G01B 11/24 G01S 3/782 G06T 7/00 - 7/60 H04N 7/18

Claims (21)

    (57)【特許請求の範囲】
  1. 【請求項１】 被写体中の３次元対象物を、 一連の２次
    元画像フレームにわたってトラッキングする方法であっ
    て、該方法が： ａ）トラッキングすべき前記対象物を含む初期テンプレ
    ートを形成する工程と； ｂ）トラッキングすべき前記対象物の輪郭を形成するマ
    スクを抽出する工程と； ｃ）前記初期テンプレートを、前記対象物の特定の特徴
    とは無関係な複数のサブテンプレートに分割する工程
    と； ｄ）連続する各々のフレームをサーチし、先行するフレ
    ームのテンプレートとのマッチングを見いだす工程と； ｅ）連続する各々のフレームをサーチし、先行するフレ
    ームのサブテンプレートの各々とのマッチングを見いだ
    す工程と； ｆ）連続する各々のフレームにおいて、テンプレートの
    位置に対する各々のサブテンプレートの位置の変位を決
    定する工程と； ｇ）前記変位を用いて、変位した位置を写像することの
    できる２変量変換の係数を決定する工程と； ｈ）前記変換を行い、更新されたテンプレートと更新さ
    れたマスクとを供給する工程；とを具えていることを特
    徴とする３次元対象物トラッキング方法。
  2. 【請求項２】 請求項１に記載の方法において、前記２
    変量変換をアフィン変換とし、且つ前記方法が更にｉ）
    前記対象物の境界に前記初期テンプレートの隣接画素と
    同じ値を有する画素を追加することによって前記初期テ
    ンプレートを拡張する工程を具えていることを特徴とす
    る３次元対象物トラッキング方法。
  3. 【請求項３】 請求項１又は請求項２に記載の方法にお
    いて、前記サブテンプレートの各々のサーチ領域を、テ
    ンプレートマッチング位置の周囲の限定された領域とす
    ることを特徴とする３次元対象物トラッキング方法。
  4. 【請求項４】 請求項１〜３のいづれか一項に記載の方
    法が更に ｊ）マスクの内側の各画素の輝度を第１一定値に設定す
    るとともに、マスクの外側の各画素の輝度を第２一定値
    に設定する工程を具えていることを特徴とする３次元対
    象物トラッキング方法。
  5. 【請求項５】 請求項１〜４のいづれか一項に記載の方
    法が更に ｋ）トラッキングすべき前記対象物の領域占有率が所定
    の値より小さいサブテンプレートの各々を切り捨てる工
    程を具えていることを特徴とする３次元対象物トラッキ
    ング方法。
  6. 【請求項６】 請求項１〜５のいづれか一項に記載の方
    法が更に ｌ）局所的マッチングを見いだすことのできない任意の
    サブテンプレートを切り捨てる工程と； ｍ）最低限の数のサブテンプレートが残存しているかど
    うかを決定する工程と； ｎ）最低限の数のサブテンプレートが残存している場合
    に、これらの変位を用いて前記変換係数を計算する工
    程；とを具えていることを特徴とする３次元対象物トラ
    ッキング方法。
  7. 【請求項７】 請求項６に記載の方法において、残存し
    ているサブテンプレートの数が前記最低限の数よりも少
    ない場合に、次のフレームにおいて前記テンプレートマ
    ッチングのためのサーチ領域を増大させることを特徴と
    する３次元対象物トラッキング方法。
  8. 【請求項８】 請求項１〜７のいづれか一項に記載の方
    法が更に ｏ）前記更新されたテンプレートを、前記テンプレート
    マッチングの位置で、前記変換されたマスクによって選
    択された次のフレームの領域と比較する工程と； ｐ）該比較工程の結果を用い、カルマンフィルタの利得
    補正項を制御する工程；とを具えていることを特徴とす
    る３次元対象物トラッキング方法。
  9. 【請求項９】 請求項８に記載の方法において、前記比
    較工程ｏ）が： o1) 各画素毎に、中心に問題となる画素を有する３×３
    の画素ブロックを用いる工程と； o2) 前記ブロックを、１画素づつ各方向に順番に変位さ
    せる工程と； o3) 各変位毎に、更新されたテンプレート内の画素を、
    現在の画像と比較し、差値を計算する工程と； o4) 最小差値を見いだす工程と； o5) 前記比較の結果として、前記最小差値を出力する工
    程；とを具えていることを特徴とする３次元対象物トラ
    ッキング方法。
  10. 【請求項１０】 請求項７〜９のいづれか一項に記載の
    方法において、マッチングが見いだされない場合に、再
    び前記変換を前記テンプレートに適用して、次のフレー
    ムのテンプレートの形状及び位置を予測することを特徴
    とする３次元対象物トラッキング方法。
  11. 【請求項１１】 被写体中の３次元対象物を、 一連の２
    次元画像フレームにわたってトラッキングするための装
    置が；トラッキングすべき前記対象物を含む初期テンプ
    レートを形成するための手段と；トラッキングすべき前
    記対象物の輪郭を形成するマスクを抽出するための手段
    と；前記初期テンプレートを、複数のサブテンプレート
    に分割するための手段と；連続する各々のフレームをサ
    ーチし、先行するフレームのテンプレートマッチングを
    見いだすための手段と；連続する各々のフレームをサー
    チし、先行するフレームのサブテンプレートの各々のマ
    ッチングを見いだすための手段と；連続する各々のフレ
    ームにおいて、テンプレートの位置に対する各々のサブ
    テンプレートの位置の変位を決定するための手段と；前
    記変位を用いて、変位した位置を写像することのできる
    ２変量変換の変換係数を決定するための手段と；前記変
    換を行い、更新されたテンプレートと更新されたマスク
    とを供給するための手段；とを具えていることを特徴と
    する３次元対象物トラッキング装置。
  12. 【請求項１２】 請求項11に記載の装置が、前記サブテ
    ンプレートの各々のサーチ領域を、テンプレートマッチ
    ング位置の周囲に限定するための手段を具えていること
    を特徴とする３次元対象物トラッキング装置。
  13. 【請求項１３】 請求項11又は請求項12に記載の装置が
    更に：局所的マッチングを見いだすことのできない任意
    のサブテンプレートを切り捨てるための手段と；最低限
    の数のサブテンプレートが残存しているかどうかを決定
    するための手段と；最低限の数のサブテンプレートが残
    存している場合に、これらの変位を用いて前記変換係数
    を計算するための手段；とを具えていることを特徴とす
    る３次元対象物トラッキング装置。
  14. 【請求項１４】 請求項13に記載の装置が、残存してい
    るサブテンプレートの数が前記最低限の数よりも少ない
    場合に、次のフレームにおいて前記テンプレートマッチ
    ングのためのサーチ領域を増大させるための手段を具え
    ていることを特徴とする３次元対象物トラッキング装
    置。
  15. 【請求項１５】 請求項11〜14のいづれか一項に記載の
    装置が更に更新されたテンプレートを、前記テンプレー
    トマッチングの位置で、前記変換されたマスクによって
    選択された次のフレームの領域と比較するとともに、該
    比較の結果を用い、カルマンフィルタの利得補正項を制
    御するための比較手段を具えていることを特徴とする３
    次元対象物トラッキング装置。
  16. 【請求項１６】 請求項15に記載の装置において、前記
    比較手段が：各画素毎に、中心に問題となる画素を有す
    る３×３の画素ブロックを用いるための手段と；前記ブ
    ロックを、１画素づつ各方向に順番に変位させるための
    手段と；各変位毎に、前記更新されたテンプレートを現
    在の画像と比較し、差値を計算するための手段と；最小
    差値を見いだすための手段と；前記比較の結果として、
    前記最小差値を出力するための手段；とを具えているこ
    とを特徴とする３次元対象物トラッキング装置。
  17. 【請求項１７】 請求項15又は請求項16に記載の装置に
    おいて、再び前記変換を前記テンプレートに適用して、
    次のフレームのテンプレートの形状及び位置を予測する
    ための手段を具えていることを特徴とする３次元対象物
    トラッキング装置。
  18. 【請求項１８】 ビデオカメラと、該ビデオカメラが供
    給する画像内の顔を識別するための手段と、連続する画
    像フレームの顔の位置をトラッキングするための手段
    と、電話線に接続されるべき出力信号を供給するコーデ
    ックとを具えているビデオ電話端末であって、前記コー
    デックが、ビデオカメラの出力端子に結合される第１入
    力端子と、前記トラッキング手段の出力端子に接続され
    る第２入力端子とを有し、該第２入力端子における信号
    に分解能が依存する出力信号を供給するように前記コー
    デックを構成し、且つ前記トラッキング手段が請求項11
    〜17に記載の３次元対象物トラッキング装置を具えてい
    ることを特徴とするビデオ電話端末。
  19. 【請求項１９】 動３次元対象物を含んでいる被写体を
    表している一連の２次元画像を符号化するための方法
    が： ａ）前記一連の２次元画像を表しているビデオ信号を発
    生させるための工程と； ｂ）前記動３次元対象物の輪郭を形成するための工程
    と； ｃ）請求項１〜10のいづれか一項に記載の方法によっ
    て、前記動３次元対象物をトラッキングする工程と； ｄ）輪郭の外側の画像部分を表示する場合よりも、輪郭
    の内側の画像部分を表示する場合に、高分解能でビデオ
    信号を符号化する工程；とを具えていることを特徴とす
    る２次元画像符号化方法。
  20. 【請求項２０】 動３次元対象物を含んでいる被写体を
    表している一連の２次元画像を符号化するための装置
    が：前記一連の２次元画像フレームを表しているビデオ
    信号を発生させるための手段と；前記動３次元対象物の
    輪郭を形成するための手段と；請求項15〜17のいづれか
    一項に記載の３次元対象物トラッキング装置を具え、一
    連の画像フレームにわたって、前記動３次元対象物をト
    ラッキングするための手段と；輪郭の外側の領域よりも
    輪郭の内側の領域を、より高分解能でビデオ信号を符号
    化するための手段；とを具えていることを特徴とする２
    次元画像符号化装置。
  21. 【請求項２１】 インターアクティブ・メディア・プレ
    ーヤの記録担体に記録するために画像を符号化するよう
    に構成される請求項20に記載の装置であって、前記輪郭
    形成手段が、表示手段に結合されるとともに、ユーザが
    前記対象物の周囲の輪郭を作成できるようにする入力装
    置を有している計算手段を具え、前記符号化手段をエミ
    ュレータに結合させ、前記一連の画像をディスプレイ手
    段で再生できるように前記エミュレータを構成すること
    を特徴とする２次元画像符号化装置。
JP22753391A 1990-09-07 1991-09-07 ３次元対象物のトラッキング方法及び装置 Expired - Fee Related JP3207461B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB90195389 1990-09-07
GB909019538A GB9019538D0 (en) 1990-09-07 1990-09-07 Tracking a moving object

Publications (2)

Publication Number Publication Date
JPH04281688A JPH04281688A (ja) 1992-10-07
JP3207461B2 true JP3207461B2 (ja) 2001-09-10

Family

ID=10681815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22753391A Expired - Fee Related JP3207461B2 (ja) 1990-09-07 1991-09-07 ３次元対象物のトラッキング方法及び装置

Country Status (5)

Country Link
US (2) US5280530A (ja)
EP (1) EP0474307B1 (ja)
JP (1) JP3207461B2 (ja)
DE (1) DE69132156T2 (ja)
GB (1) GB9019538D0 (ja)

Families Citing this family (360)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4102895C1 (ja) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5901246A (en) * 1995-06-06 1999-05-04 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6081750A (en) * 1991-12-23 2000-06-27 Hoffberg; Steven Mark Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
GB9215102D0 (en) * 1992-07-16 1992-08-26 Philips Electronics Uk Ltd Tracking moving objects
JPH06113287A (ja) * 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
DE4238743A1 (de) * 1992-11-17 1994-05-19 Sel Alcatel Ag Kamerasteuereinrichtung für ein Bildfernsprech-Teilnehmergerät
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JP2983407B2 (ja) * 1993-03-31 1999-11-29 三菱電機株式会社 画像追尾装置
WO1995010915A1 (en) * 1993-10-12 1995-04-20 Orad, Inc. Sports event video
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5689575A (en) * 1993-11-22 1997-11-18 Hitachi, Ltd. Method and apparatus for processing images of facial expressions
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US6160900A (en) * 1994-02-04 2000-12-12 Canon Kabushiki Kaisha Method and apparatus for reducing the processing time required in motion vector detection
CA2145914A1 (en) * 1994-05-27 1995-11-28 Alexandros Eleftheriadis Model-assisted coding of video sequences at low bit rates
US5559551A (en) * 1994-05-30 1996-09-24 Sony Corporation Subject tracking apparatus
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
US5535302A (en) * 1994-12-01 1996-07-09 Tsao; Tien-Ren Method and apparatus for determining image affine flow using artifical neural system with simple cells and lie germs
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US5886743A (en) * 1994-12-28 1999-03-23 Hyundai Electronics Industries Co. Ltd. Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
KR0170932B1 (ko) * 1994-12-29 1999-03-20 배순훈 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치
EP0720373A1 (en) * 1994-12-30 1996-07-03 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal using region-based motion vectors
US5706361A (en) * 1995-01-26 1998-01-06 Autodesk, Inc. Video seed fill over time
KR0181036B1 (ko) * 1995-04-08 1999-05-01 배순훈 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
JP3735893B2 (ja) * 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
IL114838A0 (en) * 1995-08-04 1996-11-14 Spiegel Ehud Apparatus and method for object tracking
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US5974192A (en) * 1995-11-22 1999-10-26 U S West, Inc. System and method for matching blocks in a sequence of images
US6985172B1 (en) 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
WO1997020433A1 (en) * 1995-12-01 1997-06-05 Southwest Research Institute Methods and apparatus for traffic incident detection
US5799113A (en) * 1996-01-19 1998-08-25 Microsoft Corporation Method for expanding contracted video images
US5787203A (en) * 1996-01-19 1998-07-28 Microsoft Corporation Method and system for filtering compressed video images
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5764814A (en) * 1996-03-22 1998-06-09 Microsoft Corporation Representation and encoding of general arbitrary shapes
US5778098A (en) * 1996-03-22 1998-07-07 Microsoft Corporation Sprite coding
US5982909A (en) * 1996-04-23 1999-11-09 Eastman Kodak Company Method for region tracking in an image sequence using a two-dimensional mesh
US5956080A (en) * 1996-04-25 1999-09-21 Sanyo Electric Co., Ltd. Printing face inspecting apparatus
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
US5907626A (en) * 1996-08-02 1999-05-25 Eastman Kodak Company Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
US5982378A (en) * 1996-08-02 1999-11-09 Spatial Technology Inc. System and method for modeling a three dimensional object
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
EP1455516A3 (en) * 1996-10-31 2006-03-22 Sensormatic Electronics Corporation Intelligent video information management system
GB2319421B (en) * 1996-11-15 1999-02-10 Daewoo Electronics Co Ltd Method and apparatus for target tracking
US5864630A (en) * 1996-11-20 1999-01-26 At&T Corp Multi-modal method for locating objects in images
CN1238889A (zh) * 1996-11-27 1999-12-15 普林斯顿视频图像公司 使用图像纹理模板的运动跟踪
US5966074A (en) * 1996-12-17 1999-10-12 Baxter; Keith M. Intruder alarm with trajectory display
US5782429A (en) * 1996-12-19 1998-07-21 Hughes Electronics Corporation Video compression for missile terminal guidance
US5892856A (en) * 1996-12-23 1999-04-06 Intel Corporation Method of presence detection using video input
TW368640B (en) * 1996-12-25 1999-09-01 Hitachi Ltd Image processor, image processing device and image processing method
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6009437A (en) * 1997-03-25 1999-12-28 Nec Research Institute, Inc. Linear fitting with missing data: applications to structure-from-motion and to characterizing intensity images
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JP3580670B2 (ja) * 1997-06-10 2004-10-27 富士通株式会社 入力画像を基準画像に対応付ける方法、そのための装置、及びその方法を実現するプログラムを記憶した記憶媒体
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
US6263088B1 (en) * 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US6295367B1 (en) 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6542086B2 (en) 1997-09-22 2003-04-01 Siemens Aktiengesellschaft Docking system for airport terminals
JP4558191B2 (ja) * 1997-10-23 2010-10-06 ソニー エレクトロニクス インク 破損データ回復方法及び装置、デジタル演算処理装置並びに記録媒体
US6298085B1 (en) 1997-10-23 2001-10-02 Sony Corporation Source encoding using shuffling of data to provide robust error recovery in a burst error-environment
US6581170B1 (en) 1997-10-23 2003-06-17 Sony Corporation Source coding to provide for robust error recovery during transmission losses
US6282684B1 (en) 1997-10-23 2001-08-28 Sony Corporation Apparatus and method for recovery of data in a lossy transmission environment
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
US6061088A (en) * 1998-01-20 2000-05-09 Ncr Corporation System and method for multi-resolution background adaptation
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6724915B1 (en) 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6424734B1 (en) 1998-04-03 2002-07-23 Cognex Corporation Fiducial mark search using sub-models
US6411734B1 (en) 1998-04-03 2002-06-25 Cognex Corporation Object image search using validated sub-model poses
US6252986B1 (en) 1998-04-03 2001-06-26 Cognex Corporation Locating an image of an object having a concentric profile
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
US6256418B1 (en) * 1998-04-13 2001-07-03 Compaq Computer Corporation Method and system for compressing a sequence of images including a moving figure
US6240198B1 (en) 1998-04-13 2001-05-29 Compaq Computer Corporation Method for figure tracking using 2-D registration
AU3639699A (en) * 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6394557B2 (en) * 1998-05-15 2002-05-28 Intel Corporation Method and apparatus for tracking an object using a continuously adapting mean shift
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
CN1222911C (zh) * 1998-05-19 2005-10-12 索尼电脑娱乐公司 图像处理装置和方法
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
JPH11351827A (ja) * 1998-06-10 1999-12-24 Fuji Mach Mfg Co Ltd 画像処理装置
US6404900B1 (en) 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6963338B1 (en) 1998-07-31 2005-11-08 Cognex Corporation Method for refining geometric description models using images
US6459820B1 (en) 1998-08-25 2002-10-01 Cognex Corporation Gauging using sub-model poses
US6542621B1 (en) * 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
WO2000022823A1 (fr) * 1998-10-09 2000-04-20 Sony Corporation Appareil et procede de telecommunication
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
US6714661B2 (en) 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US7050624B2 (en) * 1998-12-04 2006-05-23 Nevengineering, Inc. System and method for feature location and tracking in multiple dimensions including depth
JP4392886B2 (ja) * 1999-01-22 2010-01-06 キヤノン株式会社 画像抽出方法及び装置
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7010737B2 (en) * 1999-02-12 2006-03-07 Sony Corporation Method and apparatus for error data recovery
US6154761A (en) * 1999-02-12 2000-11-28 Sony Corporation Classified adaptive multiple processing system
US6535148B1 (en) 1999-02-12 2003-03-18 Sony Corporation Method and apparatus for truncated decoding
US6363118B1 (en) 1999-02-12 2002-03-26 Sony Corporation Apparatus and method for the recovery of compression constants in the encoded domain
US6170074B1 (en) 1999-02-12 2001-01-02 Sony Corporation Source coding to provide for robust error recovery
US6519369B1 (en) 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
US6621936B1 (en) 1999-02-12 2003-09-16 Sony Corporation Method and apparatus for spatial class reduction
US6307560B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive spatio-temporal format conversion method and apparatus
US6591398B1 (en) 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
US6307979B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive error recovery method and apparatus
US6178266B1 (en) 1999-02-12 2001-01-23 Sony Corporation Method and apparatus for the recovery of compression constants in the encoded domain
US6151416A (en) * 1999-02-12 2000-11-21 Sony Corporation Method and apparatus for adaptive class tap selection according to multiple classification
US6192161B1 (en) 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
WO2009126258A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
US20110026606A1 (en) * 1999-03-11 2011-02-03 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
US7565546B2 (en) 1999-03-30 2009-07-21 Sony Corporation System, method and apparatus for secure digital content transmission
US7730300B2 (en) 1999-03-30 2010-06-01 Sony Corporation Method and apparatus for protecting the transfer of data
US6697489B1 (en) * 1999-03-30 2004-02-24 Sony Corporation Method and apparatus for securing control words
US6917692B1 (en) * 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
US6741725B2 (en) * 1999-05-26 2004-05-25 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6473876B1 (en) 1999-06-29 2002-10-29 Sony Corporation Method and apparatus for encoding of bitstreams using rotation
US6389562B1 (en) 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US6493842B1 (en) 1999-06-29 2002-12-10 Sony Corporation Time-varying randomization for data synchronization and implicit information transmission
US6614926B1 (en) 1999-06-29 2003-09-02 Cognex Corporation Methods and apparatuses for generating from an image a model of an object
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6766058B1 (en) * 1999-08-04 2004-07-20 Electro Scientific Industries Pattern recognition using multiple templates
TW445434B (en) * 1999-08-04 2001-07-11 Cyberlink Corp System and method for automatically extracting facial features
US6898333B1 (en) 1999-08-06 2005-05-24 Cognex Corporation Methods and apparatus for determining the orientation of an object in an image
US6813377B1 (en) 1999-08-06 2004-11-02 Cognex Corporation Methods and apparatuses for generating a model of an object from an image of the object
JP4157234B2 (ja) * 1999-09-02 2008-10-01 株式会社東芝 動画像内の移動物体検出装置
US6522785B1 (en) 1999-09-24 2003-02-18 Sony Corporation Classified adaptive error recovery method and apparatus
US6351494B1 (en) 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
US7039614B1 (en) 1999-11-09 2006-05-02 Sony Corporation Method for simulcrypting scrambled data to a plurality of conditional access devices
US6539517B1 (en) 1999-11-09 2003-03-25 Sony Corporation Data transformation for explicit transmission of control information
US6754371B1 (en) 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
US7415156B2 (en) 2000-01-28 2008-08-19 Carnegie Mellon University Parametric shape grammar interpreter
US7050051B1 (en) * 2000-01-28 2006-05-23 Carnegie Mellon University Parametric shape grammar interpreter
US6574353B1 (en) * 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
US6728394B1 (en) * 2000-02-14 2004-04-27 Siemens Medical Solutions Usa, Inc. Dynamic measurement of object parameters
US7225164B1 (en) * 2000-02-15 2007-05-29 Sony Corporation Method and apparatus for implementing revocation in broadcast networks
US6597736B1 (en) 2000-03-29 2003-07-22 Cisco Technology, Inc. Throughput enhanced video communication
US6950548B1 (en) 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US20040205812A1 (en) * 2000-06-22 2004-10-14 Candelore Brant L. Method and apparatus for routing program data in a program viewing unit
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US7319479B1 (en) 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US7215795B2 (en) * 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
US6664956B1 (en) 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
US7127081B1 (en) 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US6731287B1 (en) 2000-10-12 2004-05-04 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A.S. Method for animating a 3-D model of a face
US7038709B1 (en) 2000-11-01 2006-05-02 Gilbert Verghese System and method for tracking a subject
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
WO2002043387A2 (de) * 2000-11-24 2002-05-30 Voxar Ag Bildbearbeitungseinrichtungen und -verfahren
IL141650A (en) * 2001-02-26 2005-12-18 Elop Electrooptics Ind Ltd Method and system for tracking an object
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US6895520B1 (en) 2001-03-02 2005-05-17 Advanced Micro Devices, Inc. Performance and power optimization via block oriented performance measurement and control
US6804416B1 (en) 2001-03-16 2004-10-12 Cognex Corporation Method and system for aligning geometric object models with images
US7392287B2 (en) * 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
JP3823760B2 (ja) * 2001-05-28 2006-09-20 日本電気株式会社 ロボット装置
US6925193B2 (en) * 2001-07-10 2005-08-02 Eaton Corporation Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information
US7747853B2 (en) 2001-06-06 2010-06-29 Sony Corporation IP delivery of secure digital content
US7895616B2 (en) 2001-06-06 2011-02-22 Sony Corporation Reconstitution of program streams split across multiple packet identifiers
US7350082B2 (en) * 2001-06-06 2008-03-25 Sony Corporation Upgrading of encryption
US7151831B2 (en) 2001-06-06 2006-12-19 Sony Corporation Partial encryption and PID mapping
US6834115B2 (en) 2001-08-13 2004-12-21 Nevengineering, Inc. Method for optimizing off-line facial feature tracking
US6876364B2 (en) 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US6853379B2 (en) * 2001-08-13 2005-02-08 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
DE10141055B4 (de) * 2001-08-22 2013-09-05 Ibeo Automobile Sensor Gmbh Verfahren zur Bestimmung von Bewegungsinformationen
US20030052971A1 (en) * 2001-09-17 2003-03-20 Philips Electronics North America Corp. Intelligent quad display through cooperative distributed vision
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
DE10158990C1 (de) 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
US7058205B2 (en) * 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
US20030107592A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. System and method for retrieving information related to persons in video programs
US6847680B2 (en) * 2001-12-17 2005-01-25 Mitsubishi Electric Research Laboratories, Inc. Method for detecting talking heads in a compressed video
US7215770B2 (en) * 2002-01-02 2007-05-08 Sony Corporation System and method for partially encrypted multimedia stream
US7039938B2 (en) * 2002-01-02 2006-05-02 Sony Corporation Selective encryption for video on demand
US7155012B2 (en) * 2002-01-02 2006-12-26 Sony Corporation Slice mask and moat pattern partial encryption
US7823174B2 (en) 2002-01-02 2010-10-26 Sony Corporation Macro-block based content replacement by PID mapping
US7233669B2 (en) * 2002-01-02 2007-06-19 Sony Corporation Selective encryption to enable multiple decryption keys
US7302059B2 (en) * 2002-01-02 2007-11-27 Sony Corporation Star pattern partial encryption
US7765567B2 (en) 2002-01-02 2010-07-27 Sony Corporation Content replacement by PID mapping
US7376233B2 (en) * 2002-01-02 2008-05-20 Sony Corporation Video slice and active region based multiple partial encryption
US7242773B2 (en) * 2002-09-09 2007-07-10 Sony Corporation Multiple partial encryption using retuning
US7218738B2 (en) * 2002-01-02 2007-05-15 Sony Corporation Encryption and content control in a digital broadcast system
US7292691B2 (en) 2002-01-02 2007-11-06 Sony Corporation Progressive video refresh slice detection
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
US7530084B2 (en) * 2002-05-28 2009-05-05 Sony Corporation Method and apparatus for synchronizing dynamic graphics
US20090180025A1 (en) * 2002-05-28 2009-07-16 Sony Corporation Method and apparatus for overlaying graphics on video
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8818896B2 (en) 2002-09-09 2014-08-26 Sony Corporation Selective encryption with coverage encryption
EP1543773B1 (en) * 2002-09-12 2013-12-04 Hitachi Medical Corporation Biological tissue motion trace method and image diagnosis device using the trace method
GB2394543A (en) * 2002-10-25 2004-04-28 Univ Bristol Positional measurement of a feature within an image
US7724907B2 (en) * 2002-11-05 2010-05-25 Sony Corporation Mechanism for protecting the transfer of digital content
US8572408B2 (en) * 2002-11-05 2013-10-29 Sony Corporation Digital rights management of a digital device
US8645988B2 (en) * 2002-12-13 2014-02-04 Sony Corporation Content personalization for digital content
US8667525B2 (en) * 2002-12-13 2014-03-04 Sony Corporation Targeted advertisement selection from a digital stream
US7194110B2 (en) * 2002-12-18 2007-03-20 Intel Corporation Method and apparatus for tracking features in a video sequence
US7394916B2 (en) * 2003-02-10 2008-07-01 Activeye, Inc. Linking tracked objects that undergo temporary occlusion
US20040165586A1 (en) * 2003-02-24 2004-08-26 Read Christopher Jensen PID filters based network routing
US7684624B2 (en) * 2003-03-03 2010-03-23 Smart Technologies Ulc System and method for capturing images of a target area on which information is recorded
US7409702B2 (en) * 2003-03-20 2008-08-05 Sony Corporation Auxiliary program association table
US7292692B2 (en) 2003-03-25 2007-11-06 Sony Corporation Content scrambling with minimal impact on legacy devices
US7242423B2 (en) * 2003-06-16 2007-07-10 Active Eye, Inc. Linking zones for object tracking and camera handoff
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8081820B2 (en) 2003-07-22 2011-12-20 Cognex Technology And Investment Corporation Method for partitioning a pattern into optimized sub-patterns
US7190834B2 (en) * 2003-07-22 2007-03-13 Cognex Technology And Investment Corporation Methods for finding and characterizing a deformed pattern in an image
US20050036067A1 (en) * 2003-08-05 2005-02-17 Ryal Kim Annon Variable perspective view of video images
EP1515152A1 (de) * 2003-09-12 2005-03-16 Leica Geosystems AG Verfahren zur Richtungsbestimmung zu einem zu vermessenden Objekt
US7286667B1 (en) 2003-09-15 2007-10-23 Sony Corporation Decryption system
US20050066357A1 (en) * 2003-09-22 2005-03-24 Ryal Kim Annon Modifying content rating
US20050097596A1 (en) * 2003-10-31 2005-05-05 Pedlow Leo M.Jr. Re-encrypted delivery of video-on-demand content
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
US7263187B2 (en) * 2003-10-31 2007-08-28 Sony Corporation Batch mode session-based encryption of video on demand content
US7620180B2 (en) * 2003-11-03 2009-11-17 Sony Corporation Preparation of content for multiple conditional access methods in video on demand
US20050097597A1 (en) * 2003-10-31 2005-05-05 Pedlow Leo M.Jr. Hybrid storage of video on demand content
US7343013B2 (en) * 2003-12-16 2008-03-11 Sony Corporation Composite session-based encryption of video on demand content
US7346163B2 (en) * 2003-10-31 2008-03-18 Sony Corporation Dynamic composition of pre-encrypted video on demand content
US20050102702A1 (en) * 2003-11-12 2005-05-12 Candelore Brant L. Cablecard with content manipulation
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
US8824730B2 (en) * 2004-01-09 2014-09-02 Hewlett-Packard Development Company, L.P. System and method for control of video bandwidth based on pose of a person
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7460737B2 (en) 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US20050228270A1 (en) * 2004-04-02 2005-10-13 Lloyd Charles F Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements
US20050238254A1 (en) * 2004-04-23 2005-10-27 Jens Guhring Method and system for fast n-dimensional dynamic registration
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
JP2005346806A (ja) * 2004-06-02 2005-12-15 Funai Electric Co Ltd Ｄｖｄレコーダおよび記録再生装置
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8437502B1 (en) 2004-09-25 2013-05-07 Cognex Technology And Investment Corporation General pose refinement and tracking tool
JP4677753B2 (ja) * 2004-10-01 2011-04-27 株式会社ニコン 動画像処理装置及び方法
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
AU2005313993A1 (en) * 2004-12-09 2006-06-15 West Pharmaceutical Services, Inc. Breech loaded fixed needle syringe and automatic injection device having the same
US8041190B2 (en) 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US7895617B2 (en) 2004-12-15 2011-02-22 Sony Corporation Content substitution editor
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7457433B2 (en) * 2005-01-20 2008-11-25 International Business Machines Corporation System and method for analyzing video from non-static camera
US7773111B2 (en) * 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
US8139896B1 (en) * 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US8050331B2 (en) * 2005-05-20 2011-11-01 Ntt Docomo, Inc. Method and apparatus for noise filtering in video coding
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
DE102005028746B4 (de) * 2005-06-21 2018-02-22 Siemens Healthcare Gmbh Verfahren zum Ermitteln der Position und Orientierung eines Objekts, insbesondere eines Katheters, aus zweidimonsionalen Röntgenbildern
PL1913557T3 (pl) 2005-06-23 2016-12-30 System i metoda śledzenia poruszających się obiektów
US7558405B2 (en) * 2005-06-30 2009-07-07 Nokia Corporation Motion filtering for video stabilization
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
ATE546800T1 (de) * 2005-07-05 2012-03-15 Omron Tateisi Electronics Co Tracking-vorrichtung
EP1929768A4 (en) * 2005-08-26 2010-05-05 Idt Corp TRACKING AND INTEGRATION OF REGION OF INTEREST IN A VIDEO CODEC
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
JP4779610B2 (ja) * 2005-12-02 2011-09-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US8185921B2 (en) 2006-02-28 2012-05-22 Sony Corporation Parental control of displayed content using closed captioning
US7555464B2 (en) * 2006-03-01 2009-06-30 Sony Corporation Multiple DRM management
US7428336B2 (en) 2006-03-06 2008-09-23 Marvell International Ltd. Efficient detection of constant regions of an image
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
AU2006352758A1 (en) 2006-04-10 2008-12-24 Avaworks Incorporated Talking Head Creation System and Method
US7965875B2 (en) * 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US20070286458A1 (en) * 2006-06-12 2007-12-13 D&S Consultants, Inc. Method and System for Tracking a Target
EP2030152A1 (en) * 2006-06-16 2009-03-04 BAE Systems PLC Improvements relating to target tracking
US7515740B2 (en) * 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7639874B2 (en) * 2006-08-03 2009-12-29 Tandent Vision Science, Inc. Methods for discriminating moving objects in motion image sequences
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
EP1916538A3 (en) 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
JP4725490B2 (ja) * 2006-10-27 2011-07-13 パナソニック電工株式会社 自動追尾方法
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
EP2115662B1 (en) * 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
KR101247147B1 (ko) * 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
WO2008131823A1 (en) * 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP2009053815A (ja) * 2007-08-24 2009-03-12 Nikon Corp 被写体追跡プログラム、および被写体追跡装置
CN101469986B (zh) * 2007-12-27 2011-06-22 鸿富锦精密工业（深圳）有限公司 模糊边界的自动寻点系统及方法
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN102027505A (zh) 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
US9141862B2 (en) * 2008-09-26 2015-09-22 Harris Corporation Unattended surveillance device and associated methods
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
KR20110064480A (ko) * 2009-12-08 2011-06-15 삼성테크윈 주식회사 궤적 안정화 장치 및 방법, 그리고, 영상 감시 시스템
US8363109B2 (en) * 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US20110149811A1 (en) 2009-12-23 2011-06-23 Ramprakash Narayanaswamy Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling Features
US20110149809A1 (en) 2009-12-23 2011-06-23 Ramprakash Narayanaswamy Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling and Content Sharing Features
US8914734B2 (en) 2009-12-23 2014-12-16 8X8, Inc. Web-enabled conferencing and meeting implementations with a subscription-based model
US20110150194A1 (en) 2009-12-23 2011-06-23 Ramprakash Narayanaswamy Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling Features
JP2011205599A (ja) * 2010-03-26 2011-10-13 Toshiba Corp 信号処理装置
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
GB2484668A (en) 2010-10-18 2012-04-25 Intelligent Door Solutions Ltd Motion Sensitive System and Method of Generating a Control Signal
JP2012133759A (ja) * 2010-11-29 2012-07-12 Canon Inc 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体
US8817801B1 (en) 2011-07-08 2014-08-26 8X8, Inc. Conferencing and meeting implementations with advanced features
US9519769B2 (en) * 2012-01-09 2016-12-13 Sensible Vision, Inc. System and method for disabling secure access to an electronic device using detection of a predetermined device orientation
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
US8971573B2 (en) * 2012-09-12 2015-03-03 Xerox Corporation Video-tracking for video-based speed enforcement
US8805017B2 (en) * 2012-12-13 2014-08-12 Intel Corporation Gesture pre-processing of video stream to reduce platform power
US8761448B1 (en) * 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US10212396B2 (en) 2013-01-15 2019-02-19 Israel Aerospace Industries Ltd Remote tracking of objects
IL224273B (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US9292103B2 (en) 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
US9679224B2 (en) 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
CN104038744A (zh) * 2013-07-22 2014-09-10 南通大学 跟踪成功率的基于dsp的相关跟踪方法
CA2847707C (en) 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
US9672412B2 (en) * 2014-06-24 2017-06-06 The Chinese University Of Hong Kong Real-time head pose tracking with online face template reconstruction
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
US9665804B2 (en) * 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
JP6879296B2 (ja) * 2016-03-31 2021-06-02 日本電気株式会社 画像検出装置、画像検出方法、及びプログラム
US11127283B2 (en) * 2016-07-25 2021-09-21 Drb Systems, Llc Systems and methods to prevent carwash collisions
JP6889279B2 (ja) 2017-04-28 2021-06-18 トヨタ モーター ヨーロッパ デジタル画像内の物体を検出するためのシステムおよび方法、ならびに物体検出を再スコアリングするためのシステムおよび方法
CN110064205B (zh) * 2019-04-24 2023-02-17 腾讯科技（深圳）有限公司 用于游戏的数据处理方法、设备和介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5975357A (ja) * 1982-10-22 1984-04-28 Hitachi Ltd 画像処理装置
JPS59137942A (ja) * 1983-01-28 1984-08-08 Hitachi Ltd 画像位置合わせ方式
US4825394A (en) * 1985-05-07 1989-04-25 General Dynamics Corporation Vision metrology system
US4975960A (en) * 1985-06-03 1990-12-04 Petajan Eric D Electronic facial tracking and detection system and method and apparatus for automated speech recognition
FR2597283B1 (fr) * 1986-04-15 1988-06-10 Labo Electronique Physique Dispositif de traitement d'images pour l'estimation du deplacement d'objets situes dans celles-ci
US4868871A (en) * 1987-08-13 1989-09-19 Texas Instruments Incorporated Nonparametric imaging tracker
US4799131A (en) * 1987-11-18 1989-01-17 Minnesota Mining And Manufacturing Company Automotive lighting element
US4931868A (en) * 1988-05-31 1990-06-05 Grumman Aerospace Corporation Method and apparatus for detecting innovations in a scene
US5111511A (en) * 1988-06-24 1992-05-05 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting apparatus
US5018218A (en) * 1988-08-29 1991-05-21 Raytheon Company Confirmed boundary pattern matching
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
US5062056A (en) * 1989-10-18 1991-10-29 Hughes Aircraft Company Apparatus and method for tracking a target
US5193126A (en) * 1990-01-25 1993-03-09 Toyo Ink Mfg. Co., Ltd. Image deformation method and apparatus using coordinate transformation
US5321772A (en) * 1990-03-05 1994-06-14 Honeywell Inc. Digital image processor
FR2667711B1 (fr) * 1990-10-09 1992-11-27 Thomson Csf Procede de reconnaissance d'objets dans des images et son application au suivi d'objets dans des sequences d'images.
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object

Also Published As

Publication number Publication date
EP0474307B1 (en) 2000-05-03
US5280530A (en) 1994-01-18
DE69132156D1 (de) 2000-06-08
GB9019538D0 (en) 1990-10-24
DE69132156T2 (de) 2000-12-14
EP0474307A2 (en) 1992-03-11
JPH04281688A (ja) 1992-10-07
US5625715A (en) 1997-04-29
EP0474307A3 (ja) 1994-02-02

Similar Documents

Publication Publication Date Title
JP3207461B2 (ja) ３次元対象物のトラッキング方法及び装置
JP2978406B2 (ja) 局所異常の排除による動きベクトルフィールド生成装置およびその方法
Koch Dynamic 3-D scene analysis through synthesis feedback control
Malciu et al. A robust model-based approach for 3d head tracking in video sequences
JP4335449B2 (ja) 表情の３ｄジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
US7706575B2 (en) System and method providing improved head motion estimations for animation
US5930379A (en) Method for detecting human body motion in frames of a video sequence
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
JP4349367B2 (ja) 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム
US6072903A (en) Image processing apparatus and image processing method
US6724915B1 (en) Method for tracking a video object in a time-ordered sequence of image frames
JP2003018604A (ja) 画像信号符号化方法、画像信号符号化装置および記録媒体
US5173865A (en) Method and apparatus for detecting motion of moving picture
US5907626A (en) Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
KR20000064847A (ko) 이미지 분할 및 대상 트랙킹 방법, 및 대응 시스템
KR20040012714A (ko) 영상정보 압축 방법
Kampmann et al. Automatic adaptation of a face model in a layered coder with an object-based analysis-synthesis layer and a knowledge-based layer
US6931145B1 (en) Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model
JP3663645B2 (ja) 動画像処理装置とその方法
JPH08149458A (ja) 動画像処理装置
JP2003178311A (ja) リアルタイム表情追跡装置
Tekalp et al. Two-versus three-dimensional object-based video compression
US10796194B2 (en) Motion-aware keypoint selection system adaptable to iterative closest point
JPH08149460A (ja) 動画像処理装置、動画像符号化装置および動画像復号化装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090706

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees