JPH04281688A - ３次元対象物のトラッキング方法及び装置 - Google Patents
３次元対象物のトラッキング方法及び装置Info
- Publication number
- JPH04281688A JPH04281688A JP3227533A JP22753391A JPH04281688A JP H04281688 A JPH04281688 A JP H04281688A JP 3227533 A JP3227533 A JP 3227533A JP 22753391 A JP22753391 A JP 22753391A JP H04281688 A JPH04281688 A JP H04281688A
- Authority
- JP
- Japan
- Prior art keywords
- template
- dimensional object
- sub
- tracking
- templates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000009466 transformation Effects 0.000 claims abstract description 53
- 238000006073 displacement reaction Methods 0.000 claims abstract description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 27
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 230000000670 limiting effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 19
- 230000001815 facial effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012300 Sequence Analysis Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、一連の２次元画像フレ
ームとして捕獲される被写体中の動３次元対象物のトラ
ッキング方法及び装置に関するものである。本発明は、
医療、工業オートメーション、検査、ＣＤ−Ｉ（コンパ
クト ディスクインターアクティブ）オーサリング、
ディスクのフィルム、デジタルテレビジョン放送などの
多くの用途に用いられるが、ここでは特に、ビデオ電話
及びＣＤ−Ｉ適用について説明をおこなう。
ームとして捕獲される被写体中の動３次元対象物のトラ
ッキング方法及び装置に関するものである。本発明は、
医療、工業オートメーション、検査、ＣＤ−Ｉ（コンパ
クト ディスクインターアクティブ）オーサリング、
ディスクのフィルム、デジタルテレビジョン放送などの
多くの用途に用いられるが、ここでは特に、ビデオ電話
及びＣＤ−Ｉ適用について説明をおこなう。
【０００２】
【従来の技術】顔をトラッキングする方法は、１９８９
年７ 月１８−２０ 日にワーウィックで行われた画像
処理及びその応用に関する第３回国際会議で発表され、
ＩＥＥ 会議刊行物Ｎｏ．３０７の５３１−５３５ ペ
ージにおいて刊行物発表された”Ａ Ｆｅａｔｕｒｅ
Ｔｒａｃｋｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｍｏｔｉｏ
ｎ Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｉｏｎ Ｉｎ
Ａ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｃｏｄｉｎｇ Ａｐｐ
ｌｉｃａｔｉｏｎ”というタイトルのユー（Ｊ．Ｆ．Ｓ
．Ｙａｕ）及びデュフィー（Ｎ．Ｄ．Ｄｕｆｆｙ）によ
る論文に開示されている。この論文では、モデルベース
の画像コーディング計画に応用するための顔の動きの変
動をパラメータ処理するための方法を公開している。ト
ラッキングアルゴリズムが記述されており、これによっ
て、まず被写体の目、鼻及び口のバウンディングボック
ス（ｂｏｕｎｄｉｎｇ ｂｏｘ） を配置し、その後ブ
ロックマッチング及びコードブックサーチ技術の両方を
用いて、連続するフレームにわたってトラッキングする
。動きパラメータ評価アルゴリズムによって、頭部の位
置及び方向を規定するのに必要とされる６個の自由度が
、トラッキングされたボックス位置から得られる。この
アルゴリズムを実現するために、ボックス位置の空間的
配置を判断するとともに、これらを、簡略化された顔の
位相数学的３次元モデルに関連づける。
年７ 月１８−２０ 日にワーウィックで行われた画像
処理及びその応用に関する第３回国際会議で発表され、
ＩＥＥ 会議刊行物Ｎｏ．３０７の５３１−５３５ ペ
ージにおいて刊行物発表された”Ａ Ｆｅａｔｕｒｅ
Ｔｒａｃｋｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｍｏｔｉｏ
ｎ Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｉｏｎ Ｉｎ
Ａ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｃｏｄｉｎｇ Ａｐｐ
ｌｉｃａｔｉｏｎ”というタイトルのユー（Ｊ．Ｆ．Ｓ
．Ｙａｕ）及びデュフィー（Ｎ．Ｄ．Ｄｕｆｆｙ）によ
る論文に開示されている。この論文では、モデルベース
の画像コーディング計画に応用するための顔の動きの変
動をパラメータ処理するための方法を公開している。ト
ラッキングアルゴリズムが記述されており、これによっ
て、まず被写体の目、鼻及び口のバウンディングボック
ス（ｂｏｕｎｄｉｎｇ ｂｏｘ） を配置し、その後ブ
ロックマッチング及びコードブックサーチ技術の両方を
用いて、連続するフレームにわたってトラッキングする
。動きパラメータ評価アルゴリズムによって、頭部の位
置及び方向を規定するのに必要とされる６個の自由度が
、トラッキングされたボックス位置から得られる。この
アルゴリズムを実現するために、ボックス位置の空間的
配置を判断するとともに、これらを、簡略化された顔の
位相数学的３次元モデルに関連づける。
【０００３】分析された画像シーケンスの各フレーム毎
に、位置及び方位の評価を２段階で行う。第１段階は、
画像シーケンスにわたって目、鼻及び口をトラッキング
する段を具えている。このことは、顔の特徴を第１フレ
ーム内に配置し、その後ブロックサーチ及びコードブッ
ク技術の両方を用いて、連続するフレームにわたってこ
れらをトラッキングすることによって達成された。初期
の特徴の配置は、マニュアルで行われたが、その後のす
べての処理は、ソフトウェアアルゴリズムによって行わ
れていた。特徴の配置は、関連する顔の特徴を完全に取
り囲んでいるボックスによって表現される。したがって
、画像シーケンス分析の第１段階、すなわちトラッキン
グ段の結果、時間軸に沿った画像シーケンスにわたって
顔の特徴ボックスの奇跡が記述される。動きパラメータ
評価段と称する第２段階は、各フレームの顔の特徴ボッ
クスの空間的配置を判断し、位置及び方位の評価を行う
。顔の特徴ボックスの位置を顔の簡略化された位相数学
的モデルに当てはめることによって、２次元データから
３次元情報を回復させる。
に、位置及び方位の評価を２段階で行う。第１段階は、
画像シーケンスにわたって目、鼻及び口をトラッキング
する段を具えている。このことは、顔の特徴を第１フレ
ーム内に配置し、その後ブロックサーチ及びコードブッ
ク技術の両方を用いて、連続するフレームにわたってこ
れらをトラッキングすることによって達成された。初期
の特徴の配置は、マニュアルで行われたが、その後のす
べての処理は、ソフトウェアアルゴリズムによって行わ
れていた。特徴の配置は、関連する顔の特徴を完全に取
り囲んでいるボックスによって表現される。したがって
、画像シーケンス分析の第１段階、すなわちトラッキン
グ段の結果、時間軸に沿った画像シーケンスにわたって
顔の特徴ボックスの奇跡が記述される。動きパラメータ
評価段と称する第２段階は、各フレームの顔の特徴ボッ
クスの空間的配置を判断し、位置及び方位の評価を行う
。顔の特徴ボックスの位置を顔の簡略化された位相数学
的モデルに当てはめることによって、２次元データから
３次元情報を回復させる。
【０００４】画像電話に応用する場合、画像シーケンス
分析から３次元情報を得るのに、ロボットの視覚に応用
する場合と同程度の正確性及び精密性は必要とされない
。ロボットに応用する場合には、角度及び距離の正確か
つ絶対的な測定が必要とされる。顔の画像の場合、位置
及び方位パラメータを近似すれば十分である。更に重要
なことは、元の画像シーケンスの変動との完全な同期が
とられ、顔の動きの変動が再生されることである。この
理由は、チャンネルを介しての通信に関して、視覚的に
微妙な差異が生じるのは、絶対的な位置及び方位の変動
よりもむしろ顔の動きの変動である。
分析から３次元情報を得るのに、ロボットの視覚に応用
する場合と同程度の正確性及び精密性は必要とされない
。ロボットに応用する場合には、角度及び距離の正確か
つ絶対的な測定が必要とされる。顔の画像の場合、位置
及び方位パラメータを近似すれば十分である。更に重要
なことは、元の画像シーケンスの変動との完全な同期が
とられ、顔の動きの変動が再生されることである。この
理由は、チャンネルを介しての通信に関して、視覚的に
微妙な差異が生じるのは、絶対的な位置及び方位の変動
よりもむしろ顔の動きの変動である。
【０００５】
【発明が解決しようとする課題】しかし、ユー及びデュ
フィーによる方法には、多くの欠点がある。まず第一に
、一方の目あるいは口が妨害される（ｏｃｃｌｕｄｅｄ
） 場合、すなわち対象物が目や口の前を通過する場合
、顔をトラッキングすることができないことである。第
二に、頭部がかなり回転して、一方の目がカメラの視界
から外れる場合に、顔をトラッキングできないことであ
る。第三に、顔の特定の特徴、すなわち目、鼻、口の識
別を必要とすることである。本発明の目的は、改良され
た対象物トラッキング方法を提供するとともに、該方法
をトラッキングすべき対象物の妨害（ｏｃｃｌｕｓｉｏ
ｎ）に対して強くせんとするにある。
フィーによる方法には、多くの欠点がある。まず第一に
、一方の目あるいは口が妨害される（ｏｃｃｌｕｄｅｄ
） 場合、すなわち対象物が目や口の前を通過する場合
、顔をトラッキングすることができないことである。第
二に、頭部がかなり回転して、一方の目がカメラの視界
から外れる場合に、顔をトラッキングできないことであ
る。第三に、顔の特定の特徴、すなわち目、鼻、口の識
別を必要とすることである。本発明の目的は、改良され
た対象物トラッキング方法を提供するとともに、該方法
をトラッキングすべき対象物の妨害（ｏｃｃｌｕｓｉｏ
ｎ）に対して強くせんとするにある。
【０００６】
【課題を解決するための手段】本発明は、被写体中の３
次元対象物を、 一連の２次元画像フレームにわたって
トラッキングする方法であって、該方法が：ａ）トラッ
キングすべき前記対象物を含む初期テンプレートを形成
する工程と； ｂ）トラッキングすべき前記対象物の輪郭を形成するマ
スクを抽出する工程と； ｃ）前記初期テンプレートを、前記対象物の特定の特徴
とは無関係な複数のサブテンプレートに分割する工程と
； ｄ）連続する各々のフレームをサーチし、先行するフレ
ームのテンプレートとのマッチングを見いだす工程と；
ｅ）連続する各々のフレームをサーチし、先行するフレ
ームのサブテンプレートの各々とのマッチングを見いだ
す工程と； ｆ）連続する各々のフレームにおいて、テンプレートの
位置に対する各々のサブテンプレートの位置の変位を決
定する工程と； ｇ）前記変位を用いて、変位した位置を写像することの
できる２変量変換の係数を決定する工程と；ｈ）前記変
換を行い、更新されたテンプレートと更新されたマスク
とを供給する工程；とを具えていることを特徴とする。
次元対象物を、 一連の２次元画像フレームにわたって
トラッキングする方法であって、該方法が：ａ）トラッ
キングすべき前記対象物を含む初期テンプレートを形成
する工程と； ｂ）トラッキングすべき前記対象物の輪郭を形成するマ
スクを抽出する工程と； ｃ）前記初期テンプレートを、前記対象物の特定の特徴
とは無関係な複数のサブテンプレートに分割する工程と
； ｄ）連続する各々のフレームをサーチし、先行するフレ
ームのテンプレートとのマッチングを見いだす工程と；
ｅ）連続する各々のフレームをサーチし、先行するフレ
ームのサブテンプレートの各々とのマッチングを見いだ
す工程と； ｆ）連続する各々のフレームにおいて、テンプレートの
位置に対する各々のサブテンプレートの位置の変位を決
定する工程と； ｇ）前記変位を用いて、変位した位置を写像することの
できる２変量変換の係数を決定する工程と；ｈ）前記変
換を行い、更新されたテンプレートと更新されたマスク
とを供給する工程；とを具えていることを特徴とする。
【０００７】テンプレートを多くのサブテンプレートに
分割し、局所的マッチング処理をサブテンプレートの各
々に適用することによって、対象物の方位が変化する際
の対象物のひずみを検出することができる。このことを
用いて、アフィン変換のような２変量変換の係数を規定
し、対象物の新しい外観を予測することができる。用い
ることのできる他の変換は、より高次の多項式関数又は
フーリエ係数を有している。サブテンプレートは、対象
物の特定の特徴と関係していないので、本発明を用いて
任意の対象物をトラッキングすることができ、顔や他の
規定される対象物のトラッキングには限定されない。形
成すべきサブテンプレート数の選択には、更に大きな自
由度があり、一定の冗長度を組み込み、対象物が部分的
に妨害されても、トラッキングを継続できるようにして
いる。この方法は、画像中に見ることのできる特定の対
象物の特徴に依存していない。このため、特定の対象物
の特徴を視覚可能な状態に保持するために、対象物の回
転の自由度が制約されることはない。サブテンプレート
の各々に対するサーチ領域を、テンプレートマッチング
位置の周囲のある限定された領域とすることができる。 このサーチ領域を限定することによって、サーチに要す
る時間を最小にするとともに、特徴に依存しないサブテ
ンプレートを用いて、サブテンプレートと、対象物の類
似する遠隔部分とのマッチングの可能性を減少させてい
る。例えば、この制約がないと、あるサーチ領域制約が
課されなければ、顔の左ほおをカバーしているサブテン
プレートが、右ほおとマッチングしうる。
分割し、局所的マッチング処理をサブテンプレートの各
々に適用することによって、対象物の方位が変化する際
の対象物のひずみを検出することができる。このことを
用いて、アフィン変換のような２変量変換の係数を規定
し、対象物の新しい外観を予測することができる。用い
ることのできる他の変換は、より高次の多項式関数又は
フーリエ係数を有している。サブテンプレートは、対象
物の特定の特徴と関係していないので、本発明を用いて
任意の対象物をトラッキングすることができ、顔や他の
規定される対象物のトラッキングには限定されない。形
成すべきサブテンプレート数の選択には、更に大きな自
由度があり、一定の冗長度を組み込み、対象物が部分的
に妨害されても、トラッキングを継続できるようにして
いる。この方法は、画像中に見ることのできる特定の対
象物の特徴に依存していない。このため、特定の対象物
の特徴を視覚可能な状態に保持するために、対象物の回
転の自由度が制約されることはない。サブテンプレート
の各々に対するサーチ領域を、テンプレートマッチング
位置の周囲のある限定された領域とすることができる。 このサーチ領域を限定することによって、サーチに要す
る時間を最小にするとともに、特徴に依存しないサブテ
ンプレートを用いて、サブテンプレートと、対象物の類
似する遠隔部分とのマッチングの可能性を減少させてい
る。例えば、この制約がないと、あるサーチ領域制約が
課されなければ、顔の左ほおをカバーしているサブテン
プレートが、右ほおとマッチングしうる。
【０００８】本発明による方法は更に
ｉ）前記対象物の境界で画素を繰り返すことによって、
前記初期テンプレートを拡張する工程を具えることがで
きる。変換の適用によって、対象物の境界における画素
値の内挿をおこない、結果的に、背景画素が対象物の周
囲に残存している場合、あるいは背景がブランクの場合
、特に、背景画素値が対象物の画素値と著しく異なる場
合、誤った内挿値が発生しうる。また特に、多くの連続
画像フレームにわたって変換を繰り返して適用すると、
対象物の境界が次第にぼんやりとしてくる。
前記初期テンプレートを拡張する工程を具えることがで
きる。変換の適用によって、対象物の境界における画素
値の内挿をおこない、結果的に、背景画素が対象物の周
囲に残存している場合、あるいは背景がブランクの場合
、特に、背景画素値が対象物の画素値と著しく異なる場
合、誤った内挿値が発生しうる。また特に、多くの連続
画像フレームにわたって変換を繰り返して適用すると、
対象物の境界が次第にぼんやりとしてくる。
【０００９】本発明による方法は、更にｊ）マスクの内
側の各画素の輝度を第１一定値に設定するとともに、マ
スクの外側の各画素の輝度を第２一定値に設定する工程
を具えることができる。このことによって、テンプレー
トが拡張される際に失われる対象物の輪郭を決定するこ
とができ、例えば、境界の外側を黒、内側を白に輝度を
設定することによって、境界において明確なしきい値処
理を保持することができる。
側の各画素の輝度を第１一定値に設定するとともに、マ
スクの外側の各画素の輝度を第２一定値に設定する工程
を具えることができる。このことによって、テンプレー
トが拡張される際に失われる対象物の輪郭を決定するこ
とができ、例えば、境界の外側を黒、内側を白に輝度を
設定することによって、境界において明確なしきい値処
理を保持することができる。
【００１０】本発明による方法は、更にｋ）トラッキン
グすべき前記対象物の領域占有率が所定の値より小さい
サブテンプレートの各々を切り捨てる工程を具えること
ができる。前記所定の値を２０％〜３０％の間に設定す
ることができる。このことによって、サブテンプレート
に含まれる対象物に関する情報がほとんどない場合であ
っても、誤ったサブテンプレートの局所的マッチングを
見いだす可能性が減少する。実際に選択される対象物の
領域占有率は、テンプレートが分割されるサブテンプレ
ートの数と、一般的な適用の場合における誤ったマッチ
ングが見いだされる範囲とに依存している。
グすべき前記対象物の領域占有率が所定の値より小さい
サブテンプレートの各々を切り捨てる工程を具えること
ができる。前記所定の値を２０％〜３０％の間に設定す
ることができる。このことによって、サブテンプレート
に含まれる対象物に関する情報がほとんどない場合であ
っても、誤ったサブテンプレートの局所的マッチングを
見いだす可能性が減少する。実際に選択される対象物の
領域占有率は、テンプレートが分割されるサブテンプレ
ートの数と、一般的な適用の場合における誤ったマッチ
ングが見いだされる範囲とに依存している。
【００１１】本発明による方法は、更にｌ）局所的マッ
チングを見いだすことのできない任意のサブテンプレー
トを切り捨てる工程と；ｍ）最低限の数のサブテンプレ
ートが残存しているかどうかを決定する工程と； ｎ）最低限の数のサブテンプレートが残存している場合
に、これらの変位を用いて前記変換係数を計算する工程
；とを具えることができる。前記最低限の数を６とする
ことができる。このことによって、妨害されていないサ
ブテンプレートの数が十分であれば、全対象物の変換係
数を計算することができるので、部分的な妨害対象物を
処理することができる。対象物が完全に妨害されている
場合、あるいは妨害によって変換係数の計算ができるほ
ど十分なサブテンプレートが残存していない場合、先行
するフレームで計算された係数を再び用いて、対象物の
位置及び外観を予測することができる。残存しているサ
ブテンプレートの数が前記最低限の数よりも少ない場合
に、次のフレームにおいて前記テンプレートマッチング
のためのサーチ領域を増大させることができる。一以上
のフレームにおいて対象物が見えないために、その予測
位置は、より大きなエラーに従属し、サーチ領域を増大
させることによって、マッチングを見いだす可能性が大
きくなる。
チングを見いだすことのできない任意のサブテンプレー
トを切り捨てる工程と；ｍ）最低限の数のサブテンプレ
ートが残存しているかどうかを決定する工程と； ｎ）最低限の数のサブテンプレートが残存している場合
に、これらの変位を用いて前記変換係数を計算する工程
；とを具えることができる。前記最低限の数を６とする
ことができる。このことによって、妨害されていないサ
ブテンプレートの数が十分であれば、全対象物の変換係
数を計算することができるので、部分的な妨害対象物を
処理することができる。対象物が完全に妨害されている
場合、あるいは妨害によって変換係数の計算ができるほ
ど十分なサブテンプレートが残存していない場合、先行
するフレームで計算された係数を再び用いて、対象物の
位置及び外観を予測することができる。残存しているサ
ブテンプレートの数が前記最低限の数よりも少ない場合
に、次のフレームにおいて前記テンプレートマッチング
のためのサーチ領域を増大させることができる。一以上
のフレームにおいて対象物が見えないために、その予測
位置は、より大きなエラーに従属し、サーチ領域を増大
させることによって、マッチングを見いだす可能性が大
きくなる。
【００１２】本発明による方法は、更にｏ）前記更新さ
れたテンプレートを、前記テンプレートマッチングの位
置で、前記変換されたマスクによって選択された次のフ
レームの領域と比較する工程と；ｐ）該比較工程の結果
を用い、カルマンフィルタの利得補正項を制御する工程
；とを具えることができる。
れたテンプレートを、前記テンプレートマッチングの位
置で、前記変換されたマスクによって選択された次のフ
レームの領域と比較する工程と；ｐ）該比較工程の結果
を用い、カルマンフィルタの利得補正項を制御する工程
；とを具えることができる。
【００１３】変換は、通常３次元対象物の外観の変化の
すべてを表示できないために、変換によって得られる対
象物と思われるものの予測は、実際の外観から逸脱しう
る。カルマンフィルタ処理を用いることによって、実際
の外観を内挿し、対象物の外観を更新することができる
。このことは、妨害が発生しているかどうかによって決
定される領域占有率の現在の画像を加えることによって
達成される。すなわち、何の妨害もない場合には、高い
領域占有率の現在の画像を内挿し、対象物の妨害が検出
される場合には、低い領域占有率の現在の画像を内挿す
る。その理由は、妨害対象物がトラッキングされる対象
物に内挿されることは、通常望ましくないからである。 しかし、低い領域占有率の画像を内挿すると、メガネを
かけている人などの変化は、結局トラッキングされる対
象物に内挿されてしまう。
すべてを表示できないために、変換によって得られる対
象物と思われるものの予測は、実際の外観から逸脱しう
る。カルマンフィルタ処理を用いることによって、実際
の外観を内挿し、対象物の外観を更新することができる
。このことは、妨害が発生しているかどうかによって決
定される領域占有率の現在の画像を加えることによって
達成される。すなわち、何の妨害もない場合には、高い
領域占有率の現在の画像を内挿し、対象物の妨害が検出
される場合には、低い領域占有率の現在の画像を内挿す
る。その理由は、妨害対象物がトラッキングされる対象
物に内挿されることは、通常望ましくないからである。 しかし、低い領域占有率の画像を内挿すると、メガネを
かけている人などの変化は、結局トラッキングされる対
象物に内挿されてしまう。
【００１４】８個の連続する画素値の平均を用いて、前
記比較工程ｏ）における比較をおこなうことができる。 これによって、雑音の影響を小さくすることができる。
記比較工程ｏ）における比較をおこなうことができる。 これによって、雑音の影響を小さくすることができる。
【００１５】前記比較工程ｏ）が：
ｏ１） 各画素毎に、中心に問題となる画素を有する３
×３の画素ブロックを用いる工程と； ｏ２） 前記ブロックを、１画素づつ各方向に順番に変
位させる工程と； ｏ３） 各変位毎に、更新されたテンプレート内の画素
を、現在の画像と比較し、差値を計算する工程と；ｏ４
） 最小差値を見いだす工程と； ｏ５） 前記比較の結果として、前記最小差値を出力す
る工程；とを具えることができる。
×３の画素ブロックを用いる工程と； ｏ２） 前記ブロックを、１画素づつ各方向に順番に変
位させる工程と； ｏ３） 各変位毎に、更新されたテンプレート内の画素
を、現在の画像と比較し、差値を計算する工程と；ｏ４
） 最小差値を見いだす工程と； ｏ５） 前記比較の結果として、前記最小差値を出力す
る工程；とを具えることができる。
【００１６】この差値を、例えば、平均二乗値あるいは
絶対値に基づき計算、又は他の相関関数、例えば、連続
するフレームの画素の内積に基づき計算することができ
る。内積による計算の場合、２個のフレーム間の最小差
値によって、最大内積値が与えられる。この手段によっ
て、微細な部分を有する領域の小さな不整列によって生
じる誤差を小さくすることができる。
絶対値に基づき計算、又は他の相関関数、例えば、連続
するフレームの画素の内積に基づき計算することができ
る。内積による計算の場合、２個のフレーム間の最小差
値によって、最大内積値が与えられる。この手段によっ
て、微細な部分を有する領域の小さな不整列によって生
じる誤差を小さくすることができる。
【００１７】マッチングが見いだされない場合に、再び
前記変換を前記テンプレートに適用して、次のフレーム
のテンプレートの形状及び位置を予測することができる
。このようにして、対象物が完全に、あるいはほぼ完全
に妨害されている場合に、以前の経歴からその位置又は
形状を予測することができる。
前記変換を前記テンプレートに適用して、次のフレーム
のテンプレートの形状及び位置を予測することができる
。このようにして、対象物が完全に、あるいはほぼ完全
に妨害されている場合に、以前の経歴からその位置又は
形状を予測することができる。
【００１８】本発明によれば更に、トラッキングすべき
前記対象物を含む初期テンプレートを形成するための手
段と；トラッキングすべき前記対象物の輪郭を形成する
マスクを抽出するための手段と；前記初期テンプレート
を、複数のサブテンプレートに分割するための手段と；
連続する各々のフレームをサーチし、先行するフレーム
のテンプレートマッチングを見いだすための手段と；連
続する各々のフレームをサーチし、先行するフレームの
サブテンプレートの各々のマッチングを見いだすための
手段と；連続する各々のフレームにおいて、テンプレー
トの位置に対する各々のサブテンプレートの位置の変位
を決定するための手段と；前記変位を用いて、変位した
位置を写像することのできる２変量変換の変換係数を決
定するための手段と；前記変換を行い、更新されたテン
プレートと更新されたマスクとを供給するための手段；
とを具えている、被写体中の３次元対象物を、 一連の
２次元画像フレームにわたってトラッキングするための
装置が提供される。
前記対象物を含む初期テンプレートを形成するための手
段と；トラッキングすべき前記対象物の輪郭を形成する
マスクを抽出するための手段と；前記初期テンプレート
を、複数のサブテンプレートに分割するための手段と；
連続する各々のフレームをサーチし、先行するフレーム
のテンプレートマッチングを見いだすための手段と；連
続する各々のフレームをサーチし、先行するフレームの
サブテンプレートの各々のマッチングを見いだすための
手段と；連続する各々のフレームにおいて、テンプレー
トの位置に対する各々のサブテンプレートの位置の変位
を決定するための手段と；前記変位を用いて、変位した
位置を写像することのできる２変量変換の変換係数を決
定するための手段と；前記変換を行い、更新されたテン
プレートと更新されたマスクとを供給するための手段；
とを具えている、被写体中の３次元対象物を、 一連の
２次元画像フレームにわたってトラッキングするための
装置が提供される。
【００１９】該３次元対象物トラッキング装置は、前記
サブテンプレートの各々のサーチ領域を、テンプレート
マッチング位置の周囲に限定するための手段を具えるこ
とができる。
サブテンプレートの各々のサーチ領域を、テンプレート
マッチング位置の周囲に限定するための手段を具えるこ
とができる。
【００２０】前記３次元対象物トラッキング装置は更に
、対象物の境界で画素を繰り返すことによって初期テン
プレートを拡張するための手段を具えることができる。
、対象物の境界で画素を繰り返すことによって初期テン
プレートを拡張するための手段を具えることができる。
【００２１】前記３次元対象物トラッキング装置は更に
、マスクの内側の各画素の輝度を第１一定値に設定する
とともに、マスクの外側の各画素の輝度を第２一定値に
設定するための手段を具えることができる。
、マスクの内側の各画素の輝度を第１一定値に設定する
とともに、マスクの外側の各画素の輝度を第２一定値に
設定するための手段を具えることができる。
【００２２】前記３次元対象物トラッキング装置は更に
、トラッキングすべき対象物の領域占有率が所定の値よ
りも小さいサブテンプレートの各々を切り捨てるための
手段を具えることができる。前記所定の値を、２０％〜
３０％の間に設定することができる。
、トラッキングすべき対象物の領域占有率が所定の値よ
りも小さいサブテンプレートの各々を切り捨てるための
手段を具えることができる。前記所定の値を、２０％〜
３０％の間に設定することができる。
【００２３】前記３次元対象物トラッキング装置は更に
、局所的マッチングを見いだすことのできない任意のサ
ブテンプレートを切り捨てるための手段と；最低限の数
のサブテンプレートが残存しているかどうかを決定する
ための手段と；最低限の数のサブテンプレートが残存し
ている場合に、これらの変位を用いて前記変換係数を計
算するための手段；とを具えることができる。前記最低
限の数を６とすることができる。
、局所的マッチングを見いだすことのできない任意のサ
ブテンプレートを切り捨てるための手段と；最低限の数
のサブテンプレートが残存しているかどうかを決定する
ための手段と；最低限の数のサブテンプレートが残存し
ている場合に、これらの変位を用いて前記変換係数を計
算するための手段；とを具えることができる。前記最低
限の数を６とすることができる。
【００２４】前記３次元対象物トラッキング装置は更に
、残存しているサブテンプレートの数が前記最低限の数
よりも少ない場合に、次のフレームにおいて前記テンプ
レートマッチングのためのサーチ領域を増大させるため
の手段を具えることができる。
、残存しているサブテンプレートの数が前記最低限の数
よりも少ない場合に、次のフレームにおいて前記テンプ
レートマッチングのためのサーチ領域を増大させるため
の手段を具えることができる。
【００２５】前記３次元対象物トラッキング装置は更に
、更新されたテンプレートを、前記テンプレートマッチ
ングの位置で、前記変換されたマスクによって選択され
た次のフレームの領域と比較するとともに、該比較の結
果を用い、カルマンフィルタの利得補正項を制御するた
めの比較手段を具えることができる。前記比較を、８個
の連続する画素値の平均を用いておこなうことができる
。
、更新されたテンプレートを、前記テンプレートマッチ
ングの位置で、前記変換されたマスクによって選択され
た次のフレームの領域と比較するとともに、該比較の結
果を用い、カルマンフィルタの利得補正項を制御するた
めの比較手段を具えることができる。前記比較を、８個
の連続する画素値の平均を用いておこなうことができる
。
【００２６】前記比較手段が：各画素毎に、中心に問題
となる画素を有する３×３の画素ブロックを用いるため
の手段と；前記ブロックを、１画素づつ各方向に順番に
変位させるための手段と；各変位毎に、前記更新された
テンプレートを現在の画像と比較し、差値を計算するた
めの手段と；最小差値を見いだすための手段と；前記比
較の結果として、前記最小差値を出力するための手段；
とを具えることができる。
となる画素を有する３×３の画素ブロックを用いるため
の手段と；前記ブロックを、１画素づつ各方向に順番に
変位させるための手段と；各変位毎に、前記更新された
テンプレートを現在の画像と比較し、差値を計算するた
めの手段と；最小差値を見いだすための手段と；前記比
較の結果として、前記最小差値を出力するための手段；
とを具えることができる。
【００２７】前記比較手段を、連続するフレームの内積
を発生させるための手段とすることもできる。この場合
、最小差値は、最大内積で表される。
を発生させるための手段とすることもできる。この場合
、最小差値は、最大内積で表される。
【００２８】再び前記変換を前記テンプレートに適用し
て、次のフレームのテンプレートの形状及び位置を予測
することができる。
て、次のフレームのテンプレートの形状及び位置を予測
することができる。
【００２９】本発明によれば更に、ビデオカメラと、該
ビデオカメラが供給する画像内の顔を識別するための手
段と、連続する画像フレームの顔の位置をトラッキング
するための手段と、電話線に接続されるべき出力信号を
供給するコーデックとを具えているビデオ電話端末であ
って、前記コーデックが、ビデオカメラの出力端子に結
合される第１入力端子と、前記トラッキング手段の出力
端子に接続される第２入力端子とを有し、該第２入力端
子における信号に分解能が依存する出力信号を供給する
ように前記コーデックを構成し、且つ前記トラッキング
手段が上記の３次元対象物トラッキング装置を具えてい
ることを特徴とするビデオ電話端末が提供される。
ビデオカメラが供給する画像内の顔を識別するための手
段と、連続する画像フレームの顔の位置をトラッキング
するための手段と、電話線に接続されるべき出力信号を
供給するコーデックとを具えているビデオ電話端末であ
って、前記コーデックが、ビデオカメラの出力端子に結
合される第１入力端子と、前記トラッキング手段の出力
端子に接続される第２入力端子とを有し、該第２入力端
子における信号に分解能が依存する出力信号を供給する
ように前記コーデックを構成し、且つ前記トラッキング
手段が上記の３次元対象物トラッキング装置を具えてい
ることを特徴とするビデオ電話端末が提供される。
【００３０】本発明によれば更に、
ａ）前記一連の２次元画像を表しているビデオ信号を発
生させるための工程と； ｂ）前記動３次元対象物の輪郭を形成するための工程と
； ｃ）請求項１〜１０のいづれか一項に記載の方法によっ
て、前記動３次元対象物をトラッキングする工程と；ｄ
）輪郭の外側の画像部分を表示する場合よりも、輪郭の
内側の画像部分を表示する場合に、高分解能でビデオ信
号を符号化する工程；とを具えていることを特徴とする
動３次元対象物を含んでいる被写体を表している一連の
２次元画像を符号化するための方法が提供される。
生させるための工程と； ｂ）前記動３次元対象物の輪郭を形成するための工程と
； ｃ）請求項１〜１０のいづれか一項に記載の方法によっ
て、前記動３次元対象物をトラッキングする工程と；ｄ
）輪郭の外側の画像部分を表示する場合よりも、輪郭の
内側の画像部分を表示する場合に、高分解能でビデオ信
号を符号化する工程；とを具えていることを特徴とする
動３次元対象物を含んでいる被写体を表している一連の
２次元画像を符号化するための方法が提供される。
【００３１】符号化は、通常画素のブロック、例えば、
１６×１６画素ブロックでおこなわれ、結果的に、分解
能の変化はブロックを基準として生じる。これは、正確
に対象物の輪郭と一致してはいない。この場合、ブロッ
クの全体が輪郭の内側に存在する場合にのみ、高分解能
のブロックを送ることができることもち論であるが、輪
郭の内側の部分を有するブロックを高分解能で送ること
が好ましい。
１６×１６画素ブロックでおこなわれ、結果的に、分解
能の変化はブロックを基準として生じる。これは、正確
に対象物の輪郭と一致してはいない。この場合、ブロッ
クの全体が輪郭の内側に存在する場合にのみ、高分解能
のブロックを送ることができることもち論であるが、輪
郭の内側の部分を有するブロックを高分解能で送ること
が好ましい。
【００３２】本発明によれば更に、前記一連の２次元画
像フレームを表しているビデオ信号を発生させるための
手段と；前記動３次元対象物の輪郭を形成するための手
段と；上記の３次元対象物トラッキング装置を具え、一
連の画像フレームにわたって、前記動３次元対象物をト
ラッキングするための手段と；輪郭の外側の領域よりも
輪郭の内側の領域を、より高分解能でビデオ信号を符号
化するための手段；とを具えていることを特徴とする動
３次元対象物を含んでいる被写体を表している一連の２
次元画像を符号化するための装置が提供される。
像フレームを表しているビデオ信号を発生させるための
手段と；前記動３次元対象物の輪郭を形成するための手
段と；上記の３次元対象物トラッキング装置を具え、一
連の画像フレームにわたって、前記動３次元対象物をト
ラッキングするための手段と；輪郭の外側の領域よりも
輪郭の内側の領域を、より高分解能でビデオ信号を符号
化するための手段；とを具えていることを特徴とする動
３次元対象物を含んでいる被写体を表している一連の２
次元画像を符号化するための装置が提供される。
【００３３】該２次元画像符号化装置を、コンパクトデ
ィスクインターアクティブ（ＣＤ−Ｉ）プレーヤの記録
担体に記録するために画像を符号化するように構成し、
前記輪郭形成手段が、表示手段に結合されるとともに、
ユーザが前記対象物の周囲の輪郭を作成できるようにす
る入力装置を有している計算手段を具え、前記符号化手
段をＣＤ−Ｉエミュレータに結合させ、前記一連の画像
をディスプレイ手段で再生できるように前記ＣＤ−Ｉエ
ミュレータを構成することができる。
ィスクインターアクティブ（ＣＤ−Ｉ）プレーヤの記録
担体に記録するために画像を符号化するように構成し、
前記輪郭形成手段が、表示手段に結合されるとともに、
ユーザが前記対象物の周囲の輪郭を作成できるようにす
る入力装置を有している計算手段を具え、前記符号化手
段をＣＤ−Ｉエミュレータに結合させ、前記一連の画像
をディスプレイ手段で再生できるように前記ＣＤ−Ｉエ
ミュレータを構成することができる。
【００３４】
【実施例】以下、図面を参照して実施例を説明するに、
図１は、本発明による方法を示すブロック図である。図
１のブロックＺは、トラッキングすべき対象物、例えば
ビデオ電話に応用する場合では人の顔、の初期基準テン
プレートの発生を示している。初期テンプレートは、第
一フレームから抽出され、応用によって、オペレータが
対象物の輪郭をトレースすることによって、マニュアル
で形成、あるいは、１９９０年３月２６〜２８日に、マ
サチューセッツ州ケンブリッジの画像コーディングシン
ポジウムで発表された”Ｋｎｏｗｌｅｄｇｅ−Ｂａｓｅ
ｄ Ｆａｃｉａｌ Ａｒｅａ Ｒｅｃｏｇｎｉｔｉｏｎ
ａｎｄＩｍｐｒｏｖｅｄ Ｃｏｄｉｎｇ ｉｎ ａ
ＣＣＩＴＴ−Ｃｏｍｐａｔｉｂｌｅ Ｌｏｗ−ｂｉｔｒ
ａｔｅ Ｖｉｄｅｏ−Ｃｏｄｅｃ ”というタイトルの
バディク（Ｅ．Ｂａｄｉｑｕｅ）による論文に記載され
ているように自動的に形成される。オリジナルテンプレ
ートが画素の繰り返しによって拡張され（ブロックＡ）
、また、テンプレートのバイナリマスクを発生させる（
ブロックＢ）。
図１は、本発明による方法を示すブロック図である。図
１のブロックＺは、トラッキングすべき対象物、例えば
ビデオ電話に応用する場合では人の顔、の初期基準テン
プレートの発生を示している。初期テンプレートは、第
一フレームから抽出され、応用によって、オペレータが
対象物の輪郭をトレースすることによって、マニュアル
で形成、あるいは、１９９０年３月２６〜２８日に、マ
サチューセッツ州ケンブリッジの画像コーディングシン
ポジウムで発表された”Ｋｎｏｗｌｅｄｇｅ−Ｂａｓｅ
ｄ Ｆａｃｉａｌ Ａｒｅａ Ｒｅｃｏｇｎｉｔｉｏｎ
ａｎｄＩｍｐｒｏｖｅｄ Ｃｏｄｉｎｇ ｉｎ ａ
ＣＣＩＴＴ−Ｃｏｍｐａｔｉｂｌｅ Ｌｏｗ−ｂｉｔｒ
ａｔｅ Ｖｉｄｅｏ−Ｃｏｄｅｃ ”というタイトルの
バディク（Ｅ．Ｂａｄｉｑｕｅ）による論文に記載され
ているように自動的に形成される。オリジナルテンプレ
ートが画素の繰り返しによって拡張され（ブロックＡ）
、また、テンプレートのバイナリマスクを発生させる（
ブロックＢ）。
【００３５】次の画像フレームは、入力端子Ｗを介して
供給され、サブサンプリングされるとともに（ブロック
Ｃ）、テンプレートもサブサンプリングされる（ブロッ
クＤ）。もちろん、サブサンプリング工程を削除できる
が、これには、より大きな記憶容量及び信号処理能力が
必要となる。広域マッチングプロセス（ブロックＥ）に
おいて、サブサンプリングされる画像（ブロックＣ）の
テンプレートの大きさに比例するサーチ領域、あるいは
オペレータによって制御されるサーチ領域を、サブサン
プリングされる拡張テンプレート（ブロックＤ）と比較
する。マッチング基準に基づき、画像中の最も適切な対
象物の位置を判定する。
供給され、サブサンプリングされるとともに（ブロック
Ｃ）、テンプレートもサブサンプリングされる（ブロッ
クＤ）。もちろん、サブサンプリング工程を削除できる
が、これには、より大きな記憶容量及び信号処理能力が
必要となる。広域マッチングプロセス（ブロックＥ）に
おいて、サブサンプリングされる画像（ブロックＣ）の
テンプレートの大きさに比例するサーチ領域、あるいは
オペレータによって制御されるサーチ領域を、サブサン
プリングされる拡張テンプレート（ブロックＤ）と比較
する。マッチング基準に基づき、画像中の最も適切な対
象物の位置を判定する。
【００３６】画像のシーケンスが進むにつれて、対象物
はその方向を変更しうる。結果的に、実際の画像と基準
との類似性が低下し、テンプレートマッチングプロセス
が低下し、やがては、システム故障も生じうる。この問
題を解消すべく、テンプレートを更新する。テンプレー
トは、同型の、好ましくは長方形のサブテンプレートに
分割され（ブロックＦ）、顔の強度の４分の１より小さ
な強度の画素を有するサブテンプレートは切り捨てられ
る（ブロックＧ）。その後、残りのサブテンプレートの
各々をマッチングさせ、局所的に位置合わせをする（ブ
ロックＨ）。画像は、検出された対象物の位置の周りの
小さな領域で処理され、個々のサブテンプレートに含ま
れている対象物の特徴を配置する。すなわち、広域マッ
チングが行われる場合、各々のサブテンプレートのサー
チ領域を制限し、サブテンプレートが誤って対象物の遠
隔部分の類似の領域とマッチングされないようにしてい
る。例えば、トラッキングすべき対象物が顔であり、サ
ブテンプレートが左側のほおの一部をカバーしている場
合、両側のほおが類似しているため、右側のほおの一部
を用いて優れたマッチングを行うことができる。サーチ
領域を制限することによって、このような誤ったマッチ
ングが行われる可能性を低くすることができる。局所的
位置合わせ処理より得られる最小コスト機能をしきい値
処理し（ブロックＩ）、潜在的に妨害された領域を切り
捨てることができるようにしている（ブロックＪ）。次
のフレームの広域サーチ領域は、不十分な局所的マッチ
ングであれば増大し、十分なマッチングであれば、その
元の大きさにリセットされる。
はその方向を変更しうる。結果的に、実際の画像と基準
との類似性が低下し、テンプレートマッチングプロセス
が低下し、やがては、システム故障も生じうる。この問
題を解消すべく、テンプレートを更新する。テンプレー
トは、同型の、好ましくは長方形のサブテンプレートに
分割され（ブロックＦ）、顔の強度の４分の１より小さ
な強度の画素を有するサブテンプレートは切り捨てられ
る（ブロックＧ）。その後、残りのサブテンプレートの
各々をマッチングさせ、局所的に位置合わせをする（ブ
ロックＨ）。画像は、検出された対象物の位置の周りの
小さな領域で処理され、個々のサブテンプレートに含ま
れている対象物の特徴を配置する。すなわち、広域マッ
チングが行われる場合、各々のサブテンプレートのサー
チ領域を制限し、サブテンプレートが誤って対象物の遠
隔部分の類似の領域とマッチングされないようにしてい
る。例えば、トラッキングすべき対象物が顔であり、サ
ブテンプレートが左側のほおの一部をカバーしている場
合、両側のほおが類似しているため、右側のほおの一部
を用いて優れたマッチングを行うことができる。サーチ
領域を制限することによって、このような誤ったマッチ
ングが行われる可能性を低くすることができる。局所的
位置合わせ処理より得られる最小コスト機能をしきい値
処理し（ブロックＩ）、潜在的に妨害された領域を切り
捨てることができるようにしている（ブロックＪ）。次
のフレームの広域サーチ領域は、不十分な局所的マッチ
ングであれば増大し、十分なマッチングであれば、その
元の大きさにリセットされる。
【００３７】サブテンプレートが多くの微細な部分を有
している場合に生じる一つの問題点は、小さな不整列に
よって、大きなエラー信号が発生しうることである。こ
の問題を解消すべく、問題となっている画素を中心とす
る３×３ブロックの画素を用い、このブロックが、１画
素づつ各方向に順番に変位するようにする。各変位毎に
、更新されたサブテンプレートは現在の画像と比較され
、差値が得られる。最終的に採用される値は、最小差値
を発生させるものである。この手続きが有効な一般的領
域は、髪や、薄いストライプを有するネクタイなどの物
品の領域である。
している場合に生じる一つの問題点は、小さな不整列に
よって、大きなエラー信号が発生しうることである。こ
の問題を解消すべく、問題となっている画素を中心とす
る３×３ブロックの画素を用い、このブロックが、１画
素づつ各方向に順番に変位するようにする。各変位毎に
、更新されたサブテンプレートは現在の画像と比較され
、差値が得られる。最終的に採用される値は、最小差値
を発生させるものである。この手続きが有効な一般的領
域は、髪や、薄いストライプを有するネクタイなどの物
品の領域である。
【００３８】妨害された領域がない場合、あるいは妨害
されたものとして検出された対象物のパーセンテージが
極めて小さい場合、対象物のフレーム内ひづみを測定す
ることができる、すなわち、テンプレートに対する個々
のサブテンプレートの変位が評価される。この評価より
、アフィン変換の係数が計算される（ブロックＬ）。 その後、アフィン変換は、拡張テンプレート（ブロック
Ｍ）及びバイナリーマスク（ブロックＮ）に適用され、
対象物の幾何学的ひづみを修正する。アフィン変換され
たバイナリーマスクをしきい値処理し（ブロックＯ）、
正確な対象物の境界が得られるようにする。この工程を
含める理由は、アフィン変換では、グレイレベル強度値
を境界領域に加え、テンプレートの更新に誤った結果を
もたらしうるアルゴリズムの反復の度にテンプレートの
大きさを増大させてしまうからである。広域マッチング
手続きの間、拡張されるとともに更新されたテンプレー
トを、バイナリーマスクで与えられる境界の内側に用い
る。テンプレートの拡張が必要な理由は、アフィン変換
では、境界の画素値を計算するために境界の直ぐ外側の
画素値を用いるからである。しきい値処理されたバイナ
リーマスクは、再びアフィン変換され（ブロックＶ）、
スイッチＳＷ１ｂを介して次のフレームのバイナリーマ
スクとして用いられる。
されたものとして検出された対象物のパーセンテージが
極めて小さい場合、対象物のフレーム内ひづみを測定す
ることができる、すなわち、テンプレートに対する個々
のサブテンプレートの変位が評価される。この評価より
、アフィン変換の係数が計算される（ブロックＬ）。 その後、アフィン変換は、拡張テンプレート（ブロック
Ｍ）及びバイナリーマスク（ブロックＮ）に適用され、
対象物の幾何学的ひづみを修正する。アフィン変換され
たバイナリーマスクをしきい値処理し（ブロックＯ）、
正確な対象物の境界が得られるようにする。この工程を
含める理由は、アフィン変換では、グレイレベル強度値
を境界領域に加え、テンプレートの更新に誤った結果を
もたらしうるアルゴリズムの反復の度にテンプレートの
大きさを増大させてしまうからである。広域マッチング
手続きの間、拡張されるとともに更新されたテンプレー
トを、バイナリーマスクで与えられる境界の内側に用い
る。テンプレートの拡張が必要な理由は、アフィン変換
では、境界の画素値を計算するために境界の直ぐ外側の
画素値を用いるからである。しきい値処理されたバイナ
リーマスクは、再びアフィン変換され（ブロックＶ）、
スイッチＳＷ１ｂを介して次のフレームのバイナリーマ
スクとして用いられる。
【００３９】アフィン変換の結果（ブロックＭ）を直接
ＳＷ１ａに供給し、これを以前のフレームのテンプレー
トとして用いることもできるが、このことは、エラーを
計算する際に必ずしも必要なことではない。その代わり
に、図１に示されている例では、テンプレートの妨害さ
れていない部分に対する現在のフレームからの情報を用
いて、テンプレートを更新する。広域マッチングによっ
て見いだされる位置で、変換されたマスクによって選択
される実際の画像領域と、更新されたテンプレートとを
比較することにより（ブロックＰ）、妨害を検出する。 基準テンプレートから、実際の画像の対応する領域引く
ことによって得られる相違画像を分析することによって
、妨害対象物が検出される。この相違は、８個の連続す
る画素値を平均する（ブロックＱ）のに用いられ、比較
の際の雑音感度を低減させる。８個の連続する画素とは
、所定の画素の直ぐ周りの８個の画素、すなわち、水平
方向、垂直方向及び両対角線方向の近傍の画素である。 ８個の連続する画素を平均することは必ずしも必要では
なく、他の好適なノイズフィルタリング技術を用いるこ
ともできる。
ＳＷ１ａに供給し、これを以前のフレームのテンプレー
トとして用いることもできるが、このことは、エラーを
計算する際に必ずしも必要なことではない。その代わり
に、図１に示されている例では、テンプレートの妨害さ
れていない部分に対する現在のフレームからの情報を用
いて、テンプレートを更新する。広域マッチングによっ
て見いだされる位置で、変換されたマスクによって選択
される実際の画像領域と、更新されたテンプレートとを
比較することにより（ブロックＰ）、妨害を検出する。 基準テンプレートから、実際の画像の対応する領域引く
ことによって得られる相違画像を分析することによって
、妨害対象物が検出される。この相違は、８個の連続す
る画素値を平均する（ブロックＱ）のに用いられ、比較
の際の雑音感度を低減させる。８個の連続する画素とは
、所定の画素の直ぐ周りの８個の画素、すなわち、水平
方向、垂直方向及び両対角線方向の近傍の画素である。 ８個の連続する画素を平均することは必ずしも必要では
なく、他の好適なノイズフィルタリング技術を用いるこ
ともできる。
【００４０】更に、８個の連続する画素から成る３×３
ブロックを１画素づつ各方向に順番に変位させ、各々の
変位に対して、更新されたテンプレートのブロック中の
画素を現在の画像の画素と比較し、平均差値を計算する
ことによって、基準テンプレート及び実際の画像の端部
間のわずかな不整列によって生じうる大きな相違を低減
させることができる。この場合、ブロックＱの出力は、
これらの平均差値の最小値となる。
ブロックを１画素づつ各方向に順番に変位させ、各々の
変位に対して、更新されたテンプレートのブロック中の
画素を現在の画像の画素と比較し、平均差値を計算する
ことによって、基準テンプレート及び実際の画像の端部
間のわずかな不整列によって生じうる大きな相違を低減
させることができる。この場合、ブロックＱの出力は、
これらの平均差値の最小値となる。
【００４１】モデルの不一致と、妨害などの対象物環境
の変化とを区別できるように、ブロックＲのしきい値を
設定する。相違画像をしきい値処理した結果を用いて、
テンプレートと実際の画像とを選択するのに用いられる
妨害対象物のマスクを発生させる。妨害されていない対
象物領域では、実際の被写体中の対象物が高い比率で含
まれている。部分的な対象物の妨害が生じると、対象物
が妨害されていない領域及びトラッキングプロセスから
得られる部分的な情報を用いて、これらの妨害された領
域が修正される。例えば、妨害対象物が、かけているメ
ガネである場合、画像が規則的に更新されるにつれてメ
ガネが徐々に現れるように、利得をゼロというよりもむ
しろ低い値に設定する。
の変化とを区別できるように、ブロックＲのしきい値を
設定する。相違画像をしきい値処理した結果を用いて、
テンプレートと実際の画像とを選択するのに用いられる
妨害対象物のマスクを発生させる。妨害されていない対
象物領域では、実際の被写体中の対象物が高い比率で含
まれている。部分的な対象物の妨害が生じると、対象物
が妨害されていない領域及びトラッキングプロセスから
得られる部分的な情報を用いて、これらの妨害された領
域が修正される。例えば、妨害対象物が、かけているメ
ガネである場合、画像が規則的に更新されるにつれてメ
ガネが徐々に現れるように、利得をゼロというよりもむ
しろ低い値に設定する。
【００４２】ブロックＳの出力端子を直接スイッチＳＷ
１ａに接続する場合には、この更新の結果を直接次のフ
レームのテンプレートとして用いることができるが、ア
フィン変換（ブロックＴ）を再び適用することによって
、より優れたマッチングが見いだされ、次に続くフレー
ムを予測することができる。この場合、ブロックＴの出
力端子を直接スイッチＳＷ２ に接続する。図１に示さ
れている例は、更に改良がなされている。。ここではカ
ルマンフィルタ内に、テンプレートの更新と予測とを含
めている。更にこのことによって、テンプレートと実際
の画像との相違が生じるもう一つの原因である照度の変
化を、トラッキングするとともに予測することができる
。
１ａに接続する場合には、この更新の結果を直接次のフ
レームのテンプレートとして用いることができるが、ア
フィン変換（ブロックＴ）を再び適用することによって
、より優れたマッチングが見いだされ、次に続くフレー
ムを予測することができる。この場合、ブロックＴの出
力端子を直接スイッチＳＷ２ に接続する。図１に示さ
れている例は、更に改良がなされている。。ここではカ
ルマンフィルタ内に、テンプレートの更新と予測とを含
めている。更にこのことによって、テンプレートと実際
の画像との相違が生じるもう一つの原因である照度の変
化を、トラッキングするとともに予測することができる
。
【００４３】テンプレートを更新するための上記メカニ
ズムを、カルマンフィルタの利得を制御する妨害検出信
号を用いて、カルマンフィルタの測定更新（ブロックＳ
）内に組み込む。カルマンフィルタの測定更新は、テン
プレート内の各画素の時間的導関数も有しており、その
２個の組み合わせにより、カルマンフィルタの状態変数
を形成する。カルマンフィルタの予測段は、顔の位置を
予測するためのアフィン変換予測（ブロックＴ）を行う
とともに、照度変化を計算する（ブロックＵ）ためのカ
ルマン状態空間マトリックスの状態変数への適用を行う
。この状態空間マトリックスの構成要素は、”Ｍｏｖｉ
ｎｇ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉ
ｎｇ ａｎ ＡｄａｐｔｉｖｅＢａｃｋｇｒｏｕｎｄ
Ｍｅｍｏｒｙ ”，Ｔｉｍｅ−ｖａｒｙｉｎｇ Ｉｍａ
ｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍｏｖｉｎｇ
Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｅｄ．Ｖ．Ｃ
ａｐｅｌｌｉｎｉ，ｐｐ２８９−２９６，Ｓｐｒｉｎｇ
ｅｒ−Ｖｅｒｌａｇ， Ｂｅｒｌｉｎ，１９９０ に記
載されているカルマンなどによって用いられたのと同一
の構成要素とすることができる。位置合わせプロセスで
、対象物が検出されない場合、すなわち対象物がほとん
ど、あるいは完全に妨害されている場合、更新段及びカ
ルマンフィルタ段は省略され、その代わりに、それより
以前の画像において計算されたアフィン変換（ブロック
Ｋ）を適用することにより、次のフレームの位置及び大
きさが予測される。
ズムを、カルマンフィルタの利得を制御する妨害検出信
号を用いて、カルマンフィルタの測定更新（ブロックＳ
）内に組み込む。カルマンフィルタの測定更新は、テン
プレート内の各画素の時間的導関数も有しており、その
２個の組み合わせにより、カルマンフィルタの状態変数
を形成する。カルマンフィルタの予測段は、顔の位置を
予測するためのアフィン変換予測（ブロックＴ）を行う
とともに、照度変化を計算する（ブロックＵ）ためのカ
ルマン状態空間マトリックスの状態変数への適用を行う
。この状態空間マトリックスの構成要素は、”Ｍｏｖｉ
ｎｇ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉ
ｎｇ ａｎ ＡｄａｐｔｉｖｅＢａｃｋｇｒｏｕｎｄ
Ｍｅｍｏｒｙ ”，Ｔｉｍｅ−ｖａｒｙｉｎｇ Ｉｍａ
ｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍｏｖｉｎｇ
Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｅｄ．Ｖ．Ｃ
ａｐｅｌｌｉｎｉ，ｐｐ２８９−２９６，Ｓｐｒｉｎｇ
ｅｒ−Ｖｅｒｌａｇ， Ｂｅｒｌｉｎ，１９９０ に記
載されているカルマンなどによって用いられたのと同一
の構成要素とすることができる。位置合わせプロセスで
、対象物が検出されない場合、すなわち対象物がほとん
ど、あるいは完全に妨害されている場合、更新段及びカ
ルマンフィルタ段は省略され、その代わりに、それより
以前の画像において計算されたアフィン変換（ブロック
Ｋ）を適用することにより、次のフレームの位置及び大
きさが予測される。
【００４４】初期テンプレートが発生し、更新され、ス
イッチＳＷ２ を介してフィードバックされる場合にの
み、スイッチＳＷ１ａ，ＳＷ１ｂは図に示されている位
置にある。スイッチＳＷ２ は、対象物がほとんど、あ
るいは全体的に妨害されている場合には図に示されてい
る位置にあり、対象物が妨害されていない、あるいは部
分的にのみ妨害されている場合には第２の位置を採るよ
うに制御され、カルマンフィルタの出力を選択する。
イッチＳＷ２ を介してフィードバックされる場合にの
み、スイッチＳＷ１ａ，ＳＷ１ｂは図に示されている位
置にある。スイッチＳＷ２ は、対象物がほとんど、あ
るいは全体的に妨害されている場合には図に示されてい
る位置にあり、対象物が妨害されていない、あるいは部
分的にのみ妨害されている場合には第２の位置を採るよ
うに制御され、カルマンフィルタの出力を選択する。
【００４５】本発明による方法は、広域マッチングと局
所的マッチングとの両者を具え、適応性のあるテンプレ
ートマッチングを用いて対象物を追跡する。このように
して、プロセスは、追跡すべき対象物の最初の視界から
、次のフレームの類似のパターンをサーチする。テンプ
レートを更新し、フレームからフレームへの方位及び外
観の変化、及びこれによる形状、大きさの変化に対処す
る。これらの変化が、フレーム内期間では小さいものと
仮定する。一方、本発明のある態様では、更新手続きが
妨害、及びこれによる著しいフレーム内変化を処理する
ことができるとともに、妨害されている特徴がテンプレ
ート内に組み込まれないことを保証している。したがっ
て、ビデオ電話への応用では、人間の頭部は長い距離に
わたって迅速に移動しないので、トラッキングできるが
、対象物が顔の前面を通過すると、これらの対象物を顔
に組み込むことは望めない。
所的マッチングとの両者を具え、適応性のあるテンプレ
ートマッチングを用いて対象物を追跡する。このように
して、プロセスは、追跡すべき対象物の最初の視界から
、次のフレームの類似のパターンをサーチする。テンプ
レートを更新し、フレームからフレームへの方位及び外
観の変化、及びこれによる形状、大きさの変化に対処す
る。これらの変化が、フレーム内期間では小さいものと
仮定する。一方、本発明のある態様では、更新手続きが
妨害、及びこれによる著しいフレーム内変化を処理する
ことができるとともに、妨害されている特徴がテンプレ
ート内に組み込まれないことを保証している。したがっ
て、ビデオ電話への応用では、人間の頭部は長い距離に
わたって迅速に移動しないので、トラッキングできるが
、対象物が顔の前面を通過すると、これらの対象物を顔
に組み込むことは望めない。
【００４６】初期テンプレートを見いだすための方法は
、クリティカルなものではなく、その適用に依存してい
る。ビデオ電話端末などのリアルタイム適用の場合、こ
こで参照されているＥ．Ｂａｄｉｑｕｅ によって記載
された方法を用いるのが便利であるが、ＣＤ−Ｉオーサ
リング（ａｕｔｈｒｏｉｎｇ）などの非リアルタイム適
用に用いられる場合には、初期テンプレートはマニュア
ルで作成される。初期テンプレートが供給されると、こ
れは対象物をトラッキングするのに用いられる。幾つか
の小さなテンプレートを、例えば目や口などの臨界的な
特徴に対して用い、顔などの対象物をトラッキングする
ことは、以前より提案されている。これは、妨害が発生
する場合に特に必要なことではない。この方法では、他
の処理を行う以前に、完全な対象物、例えば顔のテンプ
レートに対して、広域マッチングを行う。テンプレート
及び被写体をサブサンプリングすることによって、必要
な計算を減らすことができるとともに、サーチ領域を、
以前のフレームにおいてテンプレートが位置していた点
の付近に制限することができる。サーチ領域の範囲をテ
ンプレートの大きさに比例させ、種々のレンジでこの方
法を顔（すなわち対象物）に関して用いることができる
。
、クリティカルなものではなく、その適用に依存してい
る。ビデオ電話端末などのリアルタイム適用の場合、こ
こで参照されているＥ．Ｂａｄｉｑｕｅ によって記載
された方法を用いるのが便利であるが、ＣＤ−Ｉオーサ
リング（ａｕｔｈｒｏｉｎｇ）などの非リアルタイム適
用に用いられる場合には、初期テンプレートはマニュア
ルで作成される。初期テンプレートが供給されると、こ
れは対象物をトラッキングするのに用いられる。幾つか
の小さなテンプレートを、例えば目や口などの臨界的な
特徴に対して用い、顔などの対象物をトラッキングする
ことは、以前より提案されている。これは、妨害が発生
する場合に特に必要なことではない。この方法では、他
の処理を行う以前に、完全な対象物、例えば顔のテンプ
レートに対して、広域マッチングを行う。テンプレート
及び被写体をサブサンプリングすることによって、必要
な計算を減らすことができるとともに、サーチ領域を、
以前のフレームにおいてテンプレートが位置していた点
の付近に制限することができる。サーチ領域の範囲をテ
ンプレートの大きさに比例させ、種々のレンジでこの方
法を顔（すなわち対象物）に関して用いることができる
。
【００４７】最も可能性の高い顔の位置を見いだした後
、テンプレートが更新され、新しいフレームにおける真
の顔の外観が表示される。顔の外観の変化は、局所的マ
ッチング、すなわちサブテンプレートマッチングによっ
て検出される。テンプレートを、同形且つ長方形である
ことが好ましいサブテンプレートに分割する。これらの
サブテンプレートは、広域的マッチングポジションの周
囲の小領域にわたる現在のフレームの内容とマッチング
している。特定の点におけるマッチングコスト機能が、
特定のテンプレートにおいて極めて高い場合、このサブ
テンプレートの領域で対象物が妨害されており、サブテ
ンプレートがこれ以上処理されないものと思われる。局
所的マッチングプロセスでは、４分の１より多くの画素
がアクティブであるサブテンプレートのみが含まれてい
る。サブテンプレートの局所的マッチングによって、顔
のフレーム内ひづみを示す一組の変位が生じる。 これらの変位は、全テンプレートに適用されるアフィン
変換の係数を計算するのに用いられる。
、テンプレートが更新され、新しいフレームにおける真
の顔の外観が表示される。顔の外観の変化は、局所的マ
ッチング、すなわちサブテンプレートマッチングによっ
て検出される。テンプレートを、同形且つ長方形である
ことが好ましいサブテンプレートに分割する。これらの
サブテンプレートは、広域的マッチングポジションの周
囲の小領域にわたる現在のフレームの内容とマッチング
している。特定の点におけるマッチングコスト機能が、
特定のテンプレートにおいて極めて高い場合、このサブ
テンプレートの領域で対象物が妨害されており、サブテ
ンプレートがこれ以上処理されないものと思われる。局
所的マッチングプロセスでは、４分の１より多くの画素
がアクティブであるサブテンプレートのみが含まれてい
る。サブテンプレートの局所的マッチングによって、顔
のフレーム内ひづみを示す一組の変位が生じる。 これらの変位は、全テンプレートに適用されるアフィン
変換の係数を計算するのに用いられる。
【００４８】テンプレートマッチングの範囲を制限する
ためには、トラッキングすべき対象物の境界を知る必要
がある。このことを達成するための一つの方法は、元の
テンプレートと同一形状のバイナリーマスクを作り出す
ことである。アフィン変換をテンプレート自体に適用す
るとともに、このバイナリーマスクにも適用する。また
、変換されたマスクをしきい値処理することによって、
つぎのフレームのテンプレートの境界が得られる。 古い画素位置と、新しいテンプレートとが１対１対応し
ていないために、このような手続きが必要である。新し
い画素値は、古い画素値の間に内挿を行うことによって
形成される。アクティブテンプレートの周囲の領域をゼ
ロに設定すると、アフィン変換において境界の周囲の変
換のために、これらの画素値を誤って用い、テンプレー
トの境界周囲がぼんやりとする原因となる。このことを
防ぐために、境界の外側の画素値を繰り返すことによっ
て、アクティブテンプレートを拡張することができる。 アクティブテンプレートを、画素値を繰り返す以外の他
の手段、例えば双線形内挿によって拡張することもでき
る。この手続きによって、境界がぼんやりとなることを
防げるが、これには、テンプレート形状の個々の記録を
維持しなければならない。このことは、パラレルにマス
クを行うことによって達成される。マスクは、境界の内
側の画素に大きな値を割り当て、境界の外側の画素に小
さな値を割り当てることによって形成され、アフィン変
換を適用すると、出力信号が間違いなくしきい値処理さ
れ、正確な境界形状を復元することができる。
ためには、トラッキングすべき対象物の境界を知る必要
がある。このことを達成するための一つの方法は、元の
テンプレートと同一形状のバイナリーマスクを作り出す
ことである。アフィン変換をテンプレート自体に適用す
るとともに、このバイナリーマスクにも適用する。また
、変換されたマスクをしきい値処理することによって、
つぎのフレームのテンプレートの境界が得られる。 古い画素位置と、新しいテンプレートとが１対１対応し
ていないために、このような手続きが必要である。新し
い画素値は、古い画素値の間に内挿を行うことによって
形成される。アクティブテンプレートの周囲の領域をゼ
ロに設定すると、アフィン変換において境界の周囲の変
換のために、これらの画素値を誤って用い、テンプレー
トの境界周囲がぼんやりとする原因となる。このことを
防ぐために、境界の外側の画素値を繰り返すことによっ
て、アクティブテンプレートを拡張することができる。 アクティブテンプレートを、画素値を繰り返す以外の他
の手段、例えば双線形内挿によって拡張することもでき
る。この手続きによって、境界がぼんやりとなることを
防げるが、これには、テンプレート形状の個々の記録を
維持しなければならない。このことは、パラレルにマス
クを行うことによって達成される。マスクは、境界の内
側の画素に大きな値を割り当て、境界の外側の画素に小
さな値を割り当てることによって形成され、アフィン変
換を適用すると、出力信号が間違いなくしきい値処理さ
れ、正確な境界形状を復元することができる。
【００４９】アフィン変換によって、数フレームにわた
る顔の外観の変化に対する合理的なモデルが提供される
が、すべての変化を正確に表現することはできず、また
、繰り返される内挿によってテンプレートの空間的分解
能が急激に低下してしまう。この性能を改善するために
、テンプレートの更新及び予測をカルマンフィルタに組
み込むことができる。このことによって更に、テンプレ
ートと実際の画像との相違が生じる他の原因となる照度
変化のトラッキング及び予測が可能となる。
る顔の外観の変化に対する合理的なモデルが提供される
が、すべての変化を正確に表現することはできず、また
、繰り返される内挿によってテンプレートの空間的分解
能が急激に低下してしまう。この性能を改善するために
、テンプレートの更新及び予測をカルマンフィルタに組
み込むことができる。このことによって更に、テンプレ
ートと実際の画像との相違が生じる他の原因となる照度
変化のトラッキング及び予測が可能となる。
【００５０】テンプレートの更新のためのメカニズムを
カルマンフィルタの測定更新（ブロックＳ）に組み込む
。この際、妨害検出信号が利得を制御する。カルマンフ
ィルタの測定更新も、テンプレート内の各画素の時間的
な導関数を有しており、その２個の組み合わせによって
、カルマンフィルタの状態変数が構成される。カルマン
フィルタの予測段は、顔の位置変化を予測するためのア
フィン変換予測と、照度変化を計算するための状態空間
マトリックスの状態変数への適用の両者を具えている。 状態空間マトリックスの構成要素は、以前に引用したカ
ルマンなどによって用いられた構成要素と同じものであ
る。
カルマンフィルタの測定更新（ブロックＳ）に組み込む
。この際、妨害検出信号が利得を制御する。カルマンフ
ィルタの測定更新も、テンプレート内の各画素の時間的
な導関数を有しており、その２個の組み合わせによって
、カルマンフィルタの状態変数が構成される。カルマン
フィルタの予測段は、顔の位置変化を予測するためのア
フィン変換予測と、照度変化を計算するための状態空間
マトリックスの状態変数への適用の両者を具えている。 状態空間マトリックスの構成要素は、以前に引用したカ
ルマンなどによって用いられた構成要素と同じものであ
る。
【００５１】アフィン変換では、その係数を計算するの
に少なくとも６個の座標対が必要である。６個より少な
い座標対が検出される場合、すなわち、６個より少ない
サブテンプレートマッチングの場合、顔のほとんどの部
分が妨害されていると思われる。このため、以前のフレ
ームに対して計算されたアフィン変換を再び次のフレー
ムの予測を行うためにも適用する。このことは、顔の外
観が滑らかに変化し、全体的な妨害が検出される場合に
は、次のフレームの広域サーチ領域を大きくし、顔が再
び見える際にトラッキングが回復できるようになってい
るとの仮定に基づいている。。この手続きは、監視シス
テムが通知により初期化手続きを起動できる際に、タイ
ムがしきい値に到達していないことを条件に、妨害が続
く限り繰り返される。マッチングが得られる度ごとに、
サーチ領域は元の大きさに戻される。
に少なくとも６個の座標対が必要である。６個より少な
い座標対が検出される場合、すなわち、６個より少ない
サブテンプレートマッチングの場合、顔のほとんどの部
分が妨害されていると思われる。このため、以前のフレ
ームに対して計算されたアフィン変換を再び次のフレー
ムの予測を行うためにも適用する。このことは、顔の外
観が滑らかに変化し、全体的な妨害が検出される場合に
は、次のフレームの広域サーチ領域を大きくし、顔が再
び見える際にトラッキングが回復できるようになってい
るとの仮定に基づいている。。この手続きは、監視シス
テムが通知により初期化手続きを起動できる際に、タイ
ムがしきい値に到達していないことを条件に、妨害が続
く限り繰り返される。マッチングが得られる度ごとに、
サーチ領域は元の大きさに戻される。
【００５２】少なくとも６個の局所的マッチング、すな
わちサブテンプレートマッチングが見いだされると、変
換されたテンプレートと実際の被写体との差を用いて、
妨害されている顔の領域を検出することができる。小さ
な領域、例えば３×３画素にわたってこの差を平均化し
、雑音に対する感度を低下させる。所定のしきい値より
大きな差を有する画素は、妨害されているものと思われ
る。
わちサブテンプレートマッチングが見いだされると、変
換されたテンプレートと実際の被写体との差を用いて、
妨害されている顔の領域を検出することができる。小さ
な領域、例えば３×３画素にわたってこの差を平均化し
、雑音に対する感度を低下させる。所定のしきい値より
大きな差を有する画素は、妨害されているものと思われ
る。
【００５３】妨害が検出されると、カルマンフィルタの
利得を低い値に設定し、現在のフレームの小部分だけが
組み込まれる。利得をゼロに設定していないため、妨害
が長時間持続する場合、妨害対象物がやがては含まれる
こととなる。このことは、メガネをかけている人などの
場合に役立つ。この場合、始めメガネは妨害対象物であ
るが、画像に関する限り、次第に顔の一部となる。妨害
が検出されない場合には、カルマンフィルタの値を大き
な値に設定するが、１には設定しない。これによって、
テンプレートの雑音に対する感度を引き下げることがで
きる。妨害されていない顔の確からしい外観のモデルが
得られると、次のフレームにおける顔の外観の予測が与
えられる。このことは、アフィン変換を更新されたテン
プレートに再度適用することによって達成され、その後
カルマン状態空間マトリックスを用いて、アフィン変換
では処理されない照度変化を計算することができる。
利得を低い値に設定し、現在のフレームの小部分だけが
組み込まれる。利得をゼロに設定していないため、妨害
が長時間持続する場合、妨害対象物がやがては含まれる
こととなる。このことは、メガネをかけている人などの
場合に役立つ。この場合、始めメガネは妨害対象物であ
るが、画像に関する限り、次第に顔の一部となる。妨害
が検出されない場合には、カルマンフィルタの値を大き
な値に設定するが、１には設定しない。これによって、
テンプレートの雑音に対する感度を引き下げることがで
きる。妨害されていない顔の確からしい外観のモデルが
得られると、次のフレームにおける顔の外観の予測が与
えられる。このことは、アフィン変換を更新されたテン
プレートに再度適用することによって達成され、その後
カルマン状態空間マトリックスを用いて、アフィン変換
では処理されない照度変化を計算することができる。
【００５４】図２は、水平方向に８個の画素を有し、垂
直方向に１２個の画素を有する領域における初期テンプ
レートの一例を示す図である。ここにおいて、水平方向
、垂直方向にハッチングされている画素は、トラッキン
グすべき対象物を表しており、一様な画素及び陰影の付
されていない画素は、背景を表している。図３は、拡張
されたテンプレートを示す図である。ここにおいて、背
景の画素は、対象物の境界における強度と同一の強度の
画素で置き換えられる。図４は、対象物の輪郭を提供す
るバイナリーマスク示す図であり、輪郭内の画素は高強
度（白）であり、輪郭外の画素は低強度（黒）である。 これらの画素値を逆にすること、あるいは２個の異なる
色にすることはもちろん可能である。図５は、ドットで
示された対象物の輪郭におけるサブテンプレートを示す
図である。この場合では１６個の長方形のサブテンプレ
ートであるが、サブテンプレートの数及び形状は任意に
選択可能で有り、異なる数及び形状のサブテンプレート
を用いることができる。
直方向に１２個の画素を有する領域における初期テンプ
レートの一例を示す図である。ここにおいて、水平方向
、垂直方向にハッチングされている画素は、トラッキン
グすべき対象物を表しており、一様な画素及び陰影の付
されていない画素は、背景を表している。図３は、拡張
されたテンプレートを示す図である。ここにおいて、背
景の画素は、対象物の境界における強度と同一の強度の
画素で置き換えられる。図４は、対象物の輪郭を提供す
るバイナリーマスク示す図であり、輪郭内の画素は高強
度（白）であり、輪郭外の画素は低強度（黒）である。 これらの画素値を逆にすること、あるいは２個の異なる
色にすることはもちろん可能である。図５は、ドットで
示された対象物の輪郭におけるサブテンプレートを示す
図である。この場合では１６個の長方形のサブテンプレ
ートであるが、サブテンプレートの数及び形状は任意に
選択可能で有り、異なる数及び形状のサブテンプレート
を用いることができる。
【００５５】図６は、ビデオカメラ６０を具えているビ
デオ電話端末を示すブロック図である。ビデオカメラ６
０の出力信号は、コーデック６１の第１入力端子に供給
され、フェース検出手段６２の第１入力端子に供給され
るとともに、トラッキング評価手段６４の第１入力端子
に供給される。フェース検出手段６２は、上記にて引用
した、Ｅ．Ｂａｄｉｑｕｅ による刊行物にしたがって
構成することができる。 フェース検出手段６２の出力信号は、図１〜５を引用し
て説明されているように実現可能な対象物検出手段に供
給されるとともに、トラッキング評価手段６４の第２入
力端子に供給される。対象物トラッキング手段６３の出
力信号は、コーデック６１の第２入力端子に供給される
とともに、トラッキング評価手段６４の第３入力端子に
供給される。コーデック６１を、他の端末と通信を行う
のに介するポート６５に接続するとともに、通信リンク
を介して他の端末から受信される画像を表示するための
ビデオディスプレイ装置に接続する。
デオ電話端末を示すブロック図である。ビデオカメラ６
０の出力信号は、コーデック６１の第１入力端子に供給
され、フェース検出手段６２の第１入力端子に供給され
るとともに、トラッキング評価手段６４の第１入力端子
に供給される。フェース検出手段６２は、上記にて引用
した、Ｅ．Ｂａｄｉｑｕｅ による刊行物にしたがって
構成することができる。 フェース検出手段６２の出力信号は、図１〜５を引用し
て説明されているように実現可能な対象物検出手段に供
給されるとともに、トラッキング評価手段６４の第２入
力端子に供給される。対象物トラッキング手段６３の出
力信号は、コーデック６１の第２入力端子に供給される
とともに、トラッキング評価手段６４の第３入力端子に
供給される。コーデック６１を、他の端末と通信を行う
のに介するポート６５に接続するとともに、通信リンク
を介して他の端末から受信される画像を表示するための
ビデオディスプレイ装置に接続する。
【００５６】フェース検出手段の６２は、端末ユーザの
頭及び肩を、最初の数画像フレームに割り当てるととも
に、顔の輪郭を対象物トラッキング手段６３に供給する
。 フェース検出手段６２は、一度その機能を実行すると、
ディゼーブルされる。同時に、トラッキング評価手段６
４は、フェース検出手段６２から、顔の特徴を受信する
とともに、これらの特徴を記憶する。対象物トラッキン
グ手段６３が供給する顔の輪郭はトラッキング評価手段
６４に供給され、そのトラッキングされた対象物の特徴
を、記憶されている特徴と比較し、対象物トラッキング
手段６２が依然として顔のトラッキングを行っていると
ともに、被写体内のある他の対象物を自動追跡していな
いことを保証する。この機能を達成するための一つの方
法は、記憶されている対象物の肌の色と、トラッキング
されている対象物の肌の色とを比較することである。ト
ラッキング評価手段６４は、現在のトラッキングが失わ
れていないことを示している場合、フェース検出手段６
２をイネーブルするとともに、プロセスを再度初期化し
、顔を配置し、顔のトラッキングを再び開始できるよう
にする。
頭及び肩を、最初の数画像フレームに割り当てるととも
に、顔の輪郭を対象物トラッキング手段６３に供給する
。 フェース検出手段６２は、一度その機能を実行すると、
ディゼーブルされる。同時に、トラッキング評価手段６
４は、フェース検出手段６２から、顔の特徴を受信する
とともに、これらの特徴を記憶する。対象物トラッキン
グ手段６３が供給する顔の輪郭はトラッキング評価手段
６４に供給され、そのトラッキングされた対象物の特徴
を、記憶されている特徴と比較し、対象物トラッキング
手段６２が依然として顔のトラッキングを行っていると
ともに、被写体内のある他の対象物を自動追跡していな
いことを保証する。この機能を達成するための一つの方
法は、記憶されている対象物の肌の色と、トラッキング
されている対象物の肌の色とを比較することである。ト
ラッキング評価手段６４は、現在のトラッキングが失わ
れていないことを示している場合、フェース検出手段６
２をイネーブルするとともに、プロセスを再度初期化し
、顔を配置し、顔のトラッキングを再び開始できるよう
にする。
【００５７】コーデック６１は、ＣＣＩＴＴ ＳＧ Ｘ
Ｖ Ｈ．２６１ ｎ×６４Ｋｂｉｔｓ／ｓ ビデオコー
ドにしたがって実現される。ここで、ｎは整数である。 コーデック６１の第１ 入力端子は、 ビデオカメラ６
０からのビデオ信号を受信し、 第２ 入力端子は、
対象物トラッキング手段６３の出力信号を受信する。
この出力信号の特性が、 分解能を制御する。 これを
用いて伝送する画像を符号化し、 顔の外観が背景より
も高分解能で伝送されるようにする。明らかに、 被写
体の多くが会話している人間の顔の場合、 高分解能で
これを伝送する必要はない。 この場合、 目や口だけ
を強められた分解能で伝送するのが有効である。 その
理由は、 目や口が、 看者の注目する顔の部分だから
である。 この場合、 顔全体を検出するための手段と
ともに、 目（ 及び口） を検出するための手段を設
ける。 これを２ 段プロセスとし、 まず顔全体を認
識し、 その後個々の特徴（ 目や口） を配置するこ
とができる。 実質的に、 もち論のことながらトラッ
キングすべき２ 個以上の対象物をトラッキングするた
め、 各対象物に対して独立のトラッキング手段を設け
るべきであろう。
Ｖ Ｈ．２６１ ｎ×６４Ｋｂｉｔｓ／ｓ ビデオコー
ドにしたがって実現される。ここで、ｎは整数である。 コーデック６１の第１ 入力端子は、 ビデオカメラ６
０からのビデオ信号を受信し、 第２ 入力端子は、
対象物トラッキング手段６３の出力信号を受信する。
この出力信号の特性が、 分解能を制御する。 これを
用いて伝送する画像を符号化し、 顔の外観が背景より
も高分解能で伝送されるようにする。明らかに、 被写
体の多くが会話している人間の顔の場合、 高分解能で
これを伝送する必要はない。 この場合、 目や口だけ
を強められた分解能で伝送するのが有効である。 その
理由は、 目や口が、 看者の注目する顔の部分だから
である。 この場合、 顔全体を検出するための手段と
ともに、 目（ 及び口） を検出するための手段を設
ける。 これを２ 段プロセスとし、 まず顔全体を認
識し、 その後個々の特徴（ 目や口） を配置するこ
とができる。 実質的に、 もち論のことながらトラッ
キングすべき２ 個以上の対象物をトラッキングするた
め、 各対象物に対して独立のトラッキング手段を設け
るべきであろう。
【００５８】図７ は、 コンパクトディスクインター
アクティブ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｉｎｔｅｒａ
ｃｔｉｖｅ（ＣＤ−Ｉ）ディスクのビデオシーケンスを
作成するためのオーサリングワークステーションを示す
ブロック図である。 この装置は、 ビデオ信号源７０
を具えている。このビデオ信号源７０を、 ビデオカセ
ットプレイヤーとすることもできるが、 任意の好適な
信号源を用いることができる。 ビデオ信号源７０の出
力信号は、 ＣＤ−Ｉコーダ７１の第１ 入力端子に供
給され、対象物トラッキング装置７２に供給されるとと
もに、 スイッチＳＷ３ を介してビデオディスプレイ
装置７３に供給される。 ＳＵＮ ＭＩＣＲＯＳＹＳＴ
ＥＭ ＩＮＣ によって販売されているようなワークス
テーション７４を、 ビデオディスプレイ装置７３と、
対象物トラッキング装置７２とに接続し、 ユーザが
、 符号化すべきビデオシーケンスの集合を制御できる
ようにする。 対象物トラッキング装置７２の出力端子
をビデオディスプレイ装置７３と、 ＣＤ−Ｉコーダ７
１の第２ 入力端子に接続する。 ＣＤ−Ｉコーダ７１
の出力端子をＣＤ−Ｉエミュレータ７５と、 出力端子
７６とに接続する。 ＣＤ−Ｉエミュレータ７５の出力
端子をデコーダ７７を介してスイッチＳＷ３ に接続す
る。
アクティブ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｉｎｔｅｒａ
ｃｔｉｖｅ（ＣＤ−Ｉ）ディスクのビデオシーケンスを
作成するためのオーサリングワークステーションを示す
ブロック図である。 この装置は、 ビデオ信号源７０
を具えている。このビデオ信号源７０を、 ビデオカセ
ットプレイヤーとすることもできるが、 任意の好適な
信号源を用いることができる。 ビデオ信号源７０の出
力信号は、 ＣＤ−Ｉコーダ７１の第１ 入力端子に供
給され、対象物トラッキング装置７２に供給されるとと
もに、 スイッチＳＷ３ を介してビデオディスプレイ
装置７３に供給される。 ＳＵＮ ＭＩＣＲＯＳＹＳＴ
ＥＭ ＩＮＣ によって販売されているようなワークス
テーション７４を、 ビデオディスプレイ装置７３と、
対象物トラッキング装置７２とに接続し、 ユーザが
、 符号化すべきビデオシーケンスの集合を制御できる
ようにする。 対象物トラッキング装置７２の出力端子
をビデオディスプレイ装置７３と、 ＣＤ−Ｉコーダ７
１の第２ 入力端子に接続する。 ＣＤ−Ｉコーダ７１
の出力端子をＣＤ−Ｉエミュレータ７５と、 出力端子
７６とに接続する。 ＣＤ−Ｉエミュレータ７５の出力
端子をデコーダ７７を介してスイッチＳＷ３ に接続す
る。
【００５９】動作中、 ユーザは、 例えばマウスを入
力装置として用いるとともにビデオディスプレイ装置７
３のスクリーンで対象物の輪郭をたどることによって、
ワークステーション７４を用い、 トラッキングすべ
き対象物の輪郭を抽出する。 この処理の間、 スイッ
チＳＷ３ は図７ にて示されている位置にあり、 こ
の結果、 ビデオ信号源７０からの画像がビデオディス
プレイ装置７３に表示される。 この後、 画像シーケ
ンスは、 ＣＤ−Ｉコーダ７１を用いて符号化される。 このようにして、 ワークステーション７４は、 図
１ 〜５ を参照して説明したように処理される元の対
象物のマスクを、 対象物トラッキング装置７２に供給
する。 対象物トラッキング装置７２は、 分解能を制
御するための出力信号をＣＤ−Ｉコーダ７１の第２ 入
力端子に供給する。 この出力信号を用いて、 ビデオ
信号源７０からのビデオ信号を符号化する。 通常、こ
の適用において、 対象物を自動的にビデオ電話の顔に
関するものと識別することはできない。 その理由は、
トラッキングされるべき対象物の特徴がユーザにより
選択され、多くの形態を採り得るからである。 更に、
ユーザが、 符号化されるべき画像シーケンスをビデ
オディスプレイ装置７３で監視し、 トラッキングが十
分なものであるかを調べることができるので、 ビデオ
電話適用において、 トラッキングを自動的に評価する
必要は必ずしもない。
力装置として用いるとともにビデオディスプレイ装置７
３のスクリーンで対象物の輪郭をたどることによって、
ワークステーション７４を用い、 トラッキングすべ
き対象物の輪郭を抽出する。 この処理の間、 スイッ
チＳＷ３ は図７ にて示されている位置にあり、 こ
の結果、 ビデオ信号源７０からの画像がビデオディス
プレイ装置７３に表示される。 この後、 画像シーケ
ンスは、 ＣＤ−Ｉコーダ７１を用いて符号化される。 このようにして、 ワークステーション７４は、 図
１ 〜５ を参照して説明したように処理される元の対
象物のマスクを、 対象物トラッキング装置７２に供給
する。 対象物トラッキング装置７２は、 分解能を制
御するための出力信号をＣＤ−Ｉコーダ７１の第２ 入
力端子に供給する。 この出力信号を用いて、 ビデオ
信号源７０からのビデオ信号を符号化する。 通常、こ
の適用において、 対象物を自動的にビデオ電話の顔に
関するものと識別することはできない。 その理由は、
トラッキングされるべき対象物の特徴がユーザにより
選択され、多くの形態を採り得るからである。 更に、
ユーザが、 符号化されるべき画像シーケンスをビデ
オディスプレイ装置７３で監視し、 トラッキングが十
分なものであるかを調べることができるので、 ビデオ
電話適用において、 トラッキングを自動的に評価する
必要は必ずしもない。
【００６０】既に知られているように、 ＣＤ−Ｉオー
サリングステーションは、 ＣＤ−Ｉエミュレータ７５
とデコーダ７７とを具え、 ユーザが、 符号化された
シーケンスが十分なものであるかをチェックできるよう
にしている。 このことを可能にするために、 ビデオ
信号源７０からのビデオ信号の代わりに、 ＣＤ−Ｉコ
ーダ７１の出力端子を、 ビデオディスプレイ装置７３
に接続できるようにスイッチＳＷ３ を配置する。 こ
のスイッチＳＷ３の動作は、 ユーザの制御によるもの
であり、 好都合なことには、 ワークステーションの
キイボードあるいはマウスによって行うことができる。 対象物トラッキング装置を、 ＣＤ−Ｉ規格による画像
シーケンス発生装置のみならず、 任意のマルチメディ
ア適用のための画像シーケンス発生装置とともに用いる
ことができる。
サリングステーションは、 ＣＤ−Ｉエミュレータ７５
とデコーダ７７とを具え、 ユーザが、 符号化された
シーケンスが十分なものであるかをチェックできるよう
にしている。 このことを可能にするために、 ビデオ
信号源７０からのビデオ信号の代わりに、 ＣＤ−Ｉコ
ーダ７１の出力端子を、 ビデオディスプレイ装置７３
に接続できるようにスイッチＳＷ３ を配置する。 こ
のスイッチＳＷ３の動作は、 ユーザの制御によるもの
であり、 好都合なことには、 ワークステーションの
キイボードあるいはマウスによって行うことができる。 対象物トラッキング装置を、 ＣＤ−Ｉ規格による画像
シーケンス発生装置のみならず、 任意のマルチメディ
ア適用のための画像シーケンス発生装置とともに用いる
ことができる。
【００６１】本発明は、 ここに開示されている実施例
に限定されるものではなく、 要旨を変更しない範囲内
で、 種々の変更が可能である。 このような変更は、
対象物トラッキング装置及びその構成要素の設計、
製造、 及び使用において既知となっている他の特徴部
分を具えることができる。
に限定されるものではなく、 要旨を変更しない範囲内
で、 種々の変更が可能である。 このような変更は、
対象物トラッキング装置及びその構成要素の設計、
製造、 及び使用において既知となっている他の特徴部
分を具えることができる。
【図１】本発明による方法を示すブロック図である。
【図２】初期テンプレートの一例を示す図である。
【図３】境界で画素値を繰り返すことによって拡張され
た図２の初期テンプレートを示す図である。
た図２の初期テンプレートを示す図である。
【図４】対象物のバイナリーマスクを示す図である。
【図５】１６個のサブテンプレートに分割された初期テ
ンプレートを示す図である。
ンプレートを示す図である。
【図６】本発明によるビデオ電話端末を示すブロック図
である。
である。
【図７】本発明によるコンパクトディスクインターアク
ティブ（ＣＤ−Ｉ）オーサリング装置を示すブロック図
である。
ティブ（ＣＤ−Ｉ）オーサリング装置を示すブロック図
である。
Ａ テンプレートの拡張ブロック
Ｂ 境界の抽出ブロック
Ｃ フレームのサブサンプリングブロックＤ テン
プレートのサブサンプリングブロックＥ 広域マッチ
ングブロック Ｆ サブテンプレートの抽出ブロックＧ 小さなサ
ブテンプレートの切り捨てブロックＨ 局所的マッチ
ングブロック Ｉ しきい値処理ブロック Ｊ 妨害テンプレートの切り捨てブロックＫ アフ
ィン変換予測ブロック Ｌ アフィン変換係数の計算ブロックＭ アフィン
変換ブロック Ｎ アフィン変換ブロック Ｏ マスクのしきい値処理ブロック Ｐ 相違検出ブロック Ｑ 平均化ブロック Ｒ しきい値処理ブロック Ｓ 予測更新ブロック Ｔ アフィン変換予測ブロック Ｕ 照度変化計算ブロック Ｖ アフィン変換予測ブロック Ｗ 画像フレームの入力端子 Ｚ テンプレート発生ブロック ６０ ビデオカメラ ６１ コーディク ６２ フェース検出手段 ６３ 対象物トラッキング手段 ６４ トラッキング評価手段 ６５ ポート ６６ ビデオディスプレイ装置 ７０ ビデオ信号源 ７１ ＣＤ−Ｉコーダ ７２ 対象物トラッキング装置 ７３ ビデオディスプレイ装置 ７４ ワークステーション ７５ ＣＤ−Ｉエミュレータ ７６ 出力端子 ７７ デコーダ
プレートのサブサンプリングブロックＥ 広域マッチ
ングブロック Ｆ サブテンプレートの抽出ブロックＧ 小さなサ
ブテンプレートの切り捨てブロックＨ 局所的マッチ
ングブロック Ｉ しきい値処理ブロック Ｊ 妨害テンプレートの切り捨てブロックＫ アフ
ィン変換予測ブロック Ｌ アフィン変換係数の計算ブロックＭ アフィン
変換ブロック Ｎ アフィン変換ブロック Ｏ マスクのしきい値処理ブロック Ｐ 相違検出ブロック Ｑ 平均化ブロック Ｒ しきい値処理ブロック Ｓ 予測更新ブロック Ｔ アフィン変換予測ブロック Ｕ 照度変化計算ブロック Ｖ アフィン変換予測ブロック Ｗ 画像フレームの入力端子 Ｚ テンプレート発生ブロック ６０ ビデオカメラ ６１ コーディク ６２ フェース検出手段 ６３ 対象物トラッキング手段 ６４ トラッキング評価手段 ６５ ポート ６６ ビデオディスプレイ装置 ７０ ビデオ信号源 ７１ ＣＤ−Ｉコーダ ７２ 対象物トラッキング装置 ７３ ビデオディスプレイ装置 ７４ ワークステーション ７５ ＣＤ−Ｉエミュレータ ７６ 出力端子 ７７ デコーダ
Claims (21)
- 【請求項１】 被写体中の３次元対象物を、 一連の
２次元画像フレームにわたってトラッキングする方法で
あって、該方法が： ａ）トラッキングすべき前記対象物を含む初期テンプレ
ートを形成する工程と； ｂ）トラッキングすべき前記対象物の輪郭を形成するマ
スクを抽出する工程と； ｃ）前記初期テンプレートを、前記対象物の特定の特徴
とは無関係な複数のサブテンプレートに分割する工程と
； ｄ）連続する各々のフレームをサーチし、先行するフレ
ームのテンプレートとのマッチングを見いだす工程と；
ｅ）連続する各々のフレームをサーチし、先行するフレ
ームのサブテンプレートの各々とのマッチングを見いだ
す工程と； ｆ）連続する各々のフレームにおいて、テンプレートの
位置に対する各々のサブテンプレートの位置の変位を決
定する工程と； ｇ）前記変位を用いて、変位した位置を写像することの
できる２変量変換の係数を決定する工程と；ｈ）前記変
換を行い、更新されたテンプレートと更新されたマスク
とを供給する工程；とを具えていることを特徴とする３
次元対象物トラッキング方法。 - 【請求項２】 請求項１に記載の方法において、前記
２変量変換をアフィン変換とし、且つ前記方法が更にｉ
）前記対象物の境界で画素を繰り返すことによって、前
記初期テンプレートを拡張する工程を具えていることを
特徴とする３次元対象物トラッキング方法。 - 【請求項３】 請求項１又は請求項２に記載の方法に
おいて、前記サブテンプレートの各々のサーチ領域を、
テンプレートマッチング位置の周囲の限定された領域と
することを特徴とする３次元対象物トラッキング方法。 - 【請求項４】 請求項１〜３のいづれか一項に記載の
方法が更に ｊ）マスクの内側の各画素の輝度を第１一定値に設定す
るとともに、マスクの外側の各画素の輝度を第２一定値
に設定する工程を具えていることを特徴とする３次元対
象物トラッキング方法。 - 【請求項５】 請求項１〜４のいづれか一項に記載の
方法が更に ｋ）トラッキングすべき前記対象物の領域占有率が所定
の値より小さいサブテンプレートの各々を切り捨てる工
程を具えていることを特徴とする３次元対象物トラッキ
ング方法。 - 【請求項６】 請求項１〜５のいづれか一項に記載の
方法が更に ｌ）局所的マッチングを見いだすことのできない任意の
サブテンプレートを切り捨てる工程と；ｍ）最低限の数
のサブテンプレートが残存しているかどうかを決定する
工程と； ｎ）最低限の数のサブテンプレートが残存している場合
に、これらの変位を用いて前記変換係数を計算する工程
；とを具えていることを特徴とする３次元対象物トラッ
キング方法。 - 【請求項７】 請求項６に記載の方法において、残存
しているサブテンプレートの数が前記最低限の数よりも
少ない場合に、次のフレームにおいて前記テンプレート
マッチングのためのサーチ領域を増大させることを特徴
とする３次元対象物トラッキング方法。 - 【請求項８】 請求項１〜７のいづれか一項に記載の
方法が更に ｏ）前記更新されたテンプレートを、前記テンプレート
マッチングの位置で、前記変換されたマスクによって選
択された次のフレームの領域と比較する工程と；ｐ）該
比較工程の結果を用い、カルマンフィルタの利得補正項
を制御する工程；とを具えていることを特徴とする３次
元対象物トラッキング方法。 - 【請求項９】 請求項８に記載の方法において、前記
比較工程ｏ）が： ｏ１） 各画素毎に、中心に問題となる画素を有する３
×３の画素ブロックを用いる工程と； ｏ２） 前記ブロックを、１画素づつ各方向に順番に変
位させる工程と； ｏ３） 各変位毎に、更新されたテンプレート内の画素
を、現在の画像と比較し、差値を計算する工程と；ｏ４
） 最小差値を見いだす工程と； ｏ５） 前記比較の結果として、前記最小差値を出力す
る工程；とを具えていることを特徴とする３次元対象物
トラッキング方法。 - 【請求項１０】 請求項７〜９のいづれか一項に記載
の方法において、マッチングが見いだされない場合に、
再び前記変換を前記テンプレートに適用して、次のフレ
ームのテンプレートの形状及び位置を予測することを特
徴とする３次元対象物トラッキング方法。 - 【請求項１１】 被写体中の３次元対象物を、 一連
の２次元画像フレームにわたってトラッキングするため
の装置が；トラッキングすべき前記対象物を含む初期テ
ンプレートを形成するための手段と；トラッキングすべ
き前記対象物の輪郭を形成するマスクを抽出するための
手段と；前記初期テンプレートを、複数のサブテンプレ
ートに分割するための手段と；連続する各々のフレーム
をサーチし、先行するフレームのテンプレートマッチン
グを見いだすための手段と；連続する各々のフレームを
サーチし、先行するフレームのサブテンプレートの各々
のマッチングを見いだすための手段と；連続する各々の
フレームにおいて、テンプレートの位置に対する各々の
サブテンプレートの位置の変位を決定するための手段と
；前記変位を用いて、変位した位置を写像することので
きる２変量変換の変換係数を決定するための手段と；前
記変換を行い、更新されたテンプレートと更新されたマ
スクとを供給するための手段；とを具えていることを特
徴とする３次元対象物トラッキング装置。 - 【請求項１２】 請求項１１に記載の装置が、前記サ
ブテンプレートの各々のサーチ領域を、テンプレートマ
ッチング位置の周囲に限定するための手段を具えている
ことを特徴とする３次元対象物トラッキング装置。 - 【請求項１３】 請求項１１又は請求項１２に記載の
装置が更に：局所的マッチングを見いだすことのできな
い任意のサブテンプレートを切り捨てるための手段と；
最低限の数のサブテンプレートが残存しているかどうか
を決定するための手段と；最低限の数のサブテンプレー
トが残存している場合に、これらの変位を用いて前記変
換係数を計算するための手段；とを具えていることを特
徴とする３次元対象物トラッキング装置。 - 【請求項１４】 請求項１３に記載の装置が、残存し
ているサブテンプレートの数が前記最低限の数よりも少
ない場合に、次のフレームにおいて前記テンプレートマ
ッチングのためのサーチ領域を増大させるための手段を
具えていることを特徴とする３次元対象物トラッキング
装置。 - 【請求項１５】 請求項１１〜１４のいづれか一項に
記載の装置が更に更新されたテンプレートを、前記テン
プレートマッチングの位置で、前記変換されたマスクに
よって選択された次のフレームの領域と比較するととも
に、該比較の結果を用い、カルマンフィルタの利得補正
項を制御するための比較手段を具えていることを特徴と
する３次元対象物トラッキング装置。 - 【請求項１６】 請求項１５に記載の装置において、
前記比較手段が：各画素毎に、中心に問題となる画素を
有する３×３の画素ブロックを用いるための手段と；前
記ブロックを、１画素づつ各方向に順番に変位させるた
めの手段と；各変位毎に、前記更新されたテンプレート
を現在の画像と比較し、差値を計算するための手段と；
最小差値を見いだすための手段と；前記比較の結果とし
て、前記最小差値を出力するための手段；とを具えてい
ることを特徴とする３次元対象物トラッキング装置。 - 【請求項１７】 請求項１５又は請求項１６に記載の
装置において、再び前記変換を前記テンプレートに適用
して、次のフレームのテンプレートの形状及び位置を予
測するための手段を具えていることを特徴とする３次元
対象物トラッキング装置。 - 【請求項１８】 ビデオカメラと、該ビデオカメラが
供給する画像内の顔を識別するための手段と、連続する
画像フレームの顔の位置をトラッキングするための手段
と、電話線に接続されるべき出力信号を供給するコーデ
ックとを具えているビデオ電話端末であって、前記コー
デックが、ビデオカメラの出力端子に結合される第１入
力端子と、前記トラッキング手段の出力端子に接続され
る第２入力端子とを有し、該第２入力端子における信号
に分解能が依存する出力信号を供給するように前記コー
デックを構成し、且つ前記トラッキング手段が請求項１
１〜１７に記載の３次元対象物トラッキング装置を具え
ていることを特徴とするビデオ電話端末。 - 【請求項１９】 動３次元対象物を含んでいる被写体
を表している一連の２次元画像を符号化するための方法
が： ａ）前記一連の２次元画像を表しているビデオ信号を発
生させるための工程と； ｂ）前記動３次元対象物の輪郭を形成するための工程と
； ｃ）請求項１〜１０のいづれか一項に記載の方法によっ
て、前記動３次元対象物をトラッキングする工程と；ｄ
）輪郭の外側の画像部分を表示する場合よりも、輪郭の
内側の画像部分を表示する場合に、高分解能でビデオ信
号を符号化する工程；とを具えていることを特徴とする
２次元画像符号化方法。 - 【請求項２０】 動３次元対象物を含んでいる被写体
を表している一連の２次元画像を符号化するための装置
が：前記一連の２次元画像フレームを表しているビデオ
信号を発生させるための手段と；前記動３次元対象物の
輪郭を形成するための手段と；請求項１５〜１７のいづ
れか一項に記載の３次元対象物トラッキング装置を具え
、一連の画像フレームにわたって、前記動３次元対象物
をトラッキングするための手段と；輪郭の外側の領域よ
りも輪郭の内側の領域を、より高分解能でビデオ信号を
符号化するための手段；とを具えていることを特徴とす
る２次元画像符号化装置。 - 【請求項２１】 インターアクティブ・メディア・プ
レーヤの記録担体に記録するために画像を符号化するよ
うに構成される請求項２０に記載の装置であって、前記
輪郭形成手段が、表示手段に結合されるとともに、ユー
ザが前記対象物の周囲の輪郭を作成できるようにする入
力装置を有している計算手段を具え、前記符号化手段を
エミュレータに結合させ、前記一連の画像をディスプレ
イ手段で再生できるように前記エミュレータを構成する
ことを特徴とする２次元画像符号化装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB909019538A GB9019538D0 (en) | 1990-09-07 | 1990-09-07 | Tracking a moving object |
| GB90195389 | 1990-09-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04281688A true JPH04281688A (ja) | 1992-10-07 |
| JP3207461B2 JP3207461B2 (ja) | 2001-09-10 |
Family
ID=10681815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22753391A Expired - Fee Related JP3207461B2 (ja) | 1990-09-07 | 1991-09-07 | ３次元対象物のトラッキング方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US5280530A (ja) |
| EP (1) | EP0474307B1 (ja) |
| JP (1) | JP3207461B2 (ja) |
| DE (1) | DE69132156T2 (ja) |
| GB (1) | GB9019538D0 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002056388A (ja) * | 2001-05-28 | 2002-02-20 | Nec Corp | ロボット装置 |
| WO2007108563A1 (ja) * | 2006-03-23 | 2007-09-27 | Tokyo Institute Of Technology | 画像レジストレーション方法 |
| JP2008112210A (ja) * | 2006-10-27 | 2008-05-15 | Matsushita Electric Works Ltd | 自動追尾方法 |
| JPWO2017170087A1 (ja) * | 2016-03-31 | 2019-02-14 | 日本電気株式会社 | 画像検出装置、画像検出方法、及びプログラムを記憶する記憶媒体 |
Families Citing this family (356)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4102895C1 (ja) * | 1991-01-31 | 1992-01-30 | Siemens Ag, 8000 Muenchen, De | |
| USRE46310E1 (en) | 1991-12-23 | 2017-02-14 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5875108A (en) * | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| USRE48056E1 (en) | 1991-12-23 | 2020-06-16 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5901246A (en) * | 1995-06-06 | 1999-05-04 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| USRE47908E1 (en) | 1991-12-23 | 2020-03-17 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US6418424B1 (en) | 1991-12-23 | 2002-07-09 | Steven M. Hoffberg | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US6081750A (en) * | 1991-12-23 | 2000-06-27 | Hoffberg; Steven Mark | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
| US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
| EP0567059B1 (en) * | 1992-04-24 | 1998-12-02 | Hitachi, Ltd. | Object recognition system using image processing |
| JP3298072B2 (ja) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
| GB9215102D0 (en) * | 1992-07-16 | 1992-08-26 | Philips Electronics Uk Ltd | Tracking moving objects |
| JPH06113287A (ja) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
| DE4238743A1 (de) * | 1992-11-17 | 1994-05-19 | Sel Alcatel Ag | Kamerasteuereinrichtung für ein Bildfernsprech-Teilnehmergerät |
| US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| JP2983407B2 (ja) * | 1993-03-31 | 1999-11-29 | 三菱電機株式会社 | 画像追尾装置 |
| WO1995010915A1 (en) * | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
| US7859551B2 (en) * | 1993-10-15 | 2010-12-28 | Bulman Richard L | Object customization and presentation system |
| US5689575A (en) * | 1993-11-22 | 1997-11-18 | Hitachi, Ltd. | Method and apparatus for processing images of facial expressions |
| US6463176B1 (en) * | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
| US6160900A (en) * | 1994-02-04 | 2000-12-12 | Canon Kabushiki Kaisha | Method and apparatus for reducing the processing time required in motion vector detection |
| CA2145914A1 (en) * | 1994-05-27 | 1995-11-28 | Alexandros Eleftheriadis | Model-assisted coding of video sequences at low bit rates |
| US5559551A (en) * | 1994-05-30 | 1996-09-24 | Sony Corporation | Subject tracking apparatus |
| KR0148154B1 (ko) * | 1994-06-15 | 1998-09-15 | 김광호 | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 |
| US5535302A (en) * | 1994-12-01 | 1996-07-09 | Tsao; Tien-Ren | Method and apparatus for determining image affine flow using artifical neural system with simple cells and lie germs |
| JP3258840B2 (ja) * | 1994-12-27 | 2002-02-18 | シャープ株式会社 | 動画像符号化装置および領域抽出装置 |
| US5886743A (en) * | 1994-12-28 | 1999-03-23 | Hyundai Electronics Industries Co. Ltd. | Object-by information coding apparatus and method thereof for MPEG-4 picture instrument |
| KR0170932B1 (ko) * | 1994-12-29 | 1999-03-20 | 배순훈 | 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치 |
| EP0720373A1 (en) * | 1994-12-30 | 1996-07-03 | Daewoo Electronics Co., Ltd | Method and apparatus for encoding a video signal using region-based motion vectors |
| US5706361A (en) * | 1995-01-26 | 1998-01-06 | Autodesk, Inc. | Video seed fill over time |
| KR0181036B1 (ko) * | 1995-04-08 | 1999-05-01 | 배순훈 | 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법 |
| US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
| JP3735893B2 (ja) * | 1995-06-22 | 2006-01-18 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| US5912980A (en) * | 1995-07-13 | 1999-06-15 | Hunke; H. Martin | Target acquisition and tracking |
| IL114838A0 (en) * | 1995-08-04 | 1996-11-14 | Spiegel Ehud | Apparatus and method for object tracking |
| US5825929A (en) * | 1995-10-05 | 1998-10-20 | Microsoft Corporation | Transformation block optimization method |
| WO1997017797A2 (en) * | 1995-10-25 | 1997-05-15 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
| US5974192A (en) * | 1995-11-22 | 1999-10-26 | U S West, Inc. | System and method for matching blocks in a sequence of images |
| WO1997020433A1 (en) * | 1995-12-01 | 1997-06-05 | Southwest Research Institute | Methods and apparatus for traffic incident detection |
| US6985172B1 (en) | 1995-12-01 | 2006-01-10 | Southwest Research Institute | Model-based incident detection system with motion classification |
| US5787203A (en) * | 1996-01-19 | 1998-07-28 | Microsoft Corporation | Method and system for filtering compressed video images |
| US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
| US5799113A (en) * | 1996-01-19 | 1998-08-25 | Microsoft Corporation | Method for expanding contracted video images |
| US5764814A (en) * | 1996-03-22 | 1998-06-09 | Microsoft Corporation | Representation and encoding of general arbitrary shapes |
| US5778098A (en) * | 1996-03-22 | 1998-07-07 | Microsoft Corporation | Sprite coding |
| US5982909A (en) * | 1996-04-23 | 1999-11-09 | Eastman Kodak Company | Method for region tracking in an image sequence using a two-dimensional mesh |
| US5956080A (en) * | 1996-04-25 | 1999-09-21 | Sanyo Electric Co., Ltd. | Printing face inspecting apparatus |
| US7650015B2 (en) | 1997-07-22 | 2010-01-19 | Image Processing Technologies. LLC | Image processing method |
| US5907626A (en) * | 1996-08-02 | 1999-05-25 | Eastman Kodak Company | Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh |
| US5982378A (en) * | 1996-08-02 | 1999-11-09 | Spatial Technology Inc. | System and method for modeling a three dimensional object |
| US6400374B2 (en) | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| EP1471464A3 (en) * | 1996-10-31 | 2009-07-15 | Sensormatic Electronics Corporation | Intelligent video information management system |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
| GB2319421B (en) * | 1996-11-15 | 1999-02-10 | Daewoo Electronics Co Ltd | Method and apparatus for target tracking |
| US5864630A (en) * | 1996-11-20 | 1999-01-26 | At&T Corp | Multi-modal method for locating objects in images |
| US6529613B1 (en) * | 1996-11-27 | 2003-03-04 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
| US5966074A (en) * | 1996-12-17 | 1999-10-12 | Baxter; Keith M. | Intruder alarm with trajectory display |
| US5782429A (en) * | 1996-12-19 | 1998-07-21 | Hughes Electronics Corporation | Video compression for missile terminal guidance |
| US5892856A (en) * | 1996-12-23 | 1999-04-06 | Intel Corporation | Method of presence detection using video input |
| TW368640B (en) * | 1996-12-25 | 1999-09-01 | Hitachi Ltd | Image processor, image processing device and image processing method |
| US6061055A (en) * | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
| US6009437A (en) * | 1997-03-25 | 1999-12-28 | Nec Research Institute, Inc. | Linear fitting with missing data: applications to structure-from-motion and to characterizing intensity images |
| US6445409B1 (en) * | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
| EP0878965A3 (en) * | 1997-05-14 | 2000-01-12 | Hitachi Denshi Kabushiki Kaisha | Method for tracking entering object and apparatus for tracking and monitoring entering object |
| JP3580670B2 (ja) * | 1997-06-10 | 2004-10-27 | 富士通株式会社 | 入力画像を基準画像に対応付ける方法、そのための装置、及びその方法を実現するプログラムを記憶した記憶媒体 |
| US6263088B1 (en) * | 1997-06-19 | 2001-07-17 | Ncr Corporation | System and method for tracking movement of objects in a scene |
| US6185314B1 (en) * | 1997-06-19 | 2001-02-06 | Ncr Corporation | System and method for matching image information to object model information |
| US6295367B1 (en) | 1997-06-19 | 2001-09-25 | Emtera Corporation | System and method for tracking movement of objects in a scene using correspondence graphs |
| US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
| US6542086B2 (en) | 1997-09-22 | 2003-04-01 | Siemens Aktiengesellschaft | Docking system for airport terminals |
| US6282684B1 (en) | 1997-10-23 | 2001-08-28 | Sony Corporation | Apparatus and method for recovery of data in a lossy transmission environment |
| JP4558191B2 (ja) * | 1997-10-23 | 2010-10-06 | ソニー エレクトロニクス インク | 破損データ回復方法及び装置、デジタル演算処理装置並びに記録媒体 |
| US6212663B1 (en) | 1997-10-23 | 2001-04-03 | Sony Corporation | Apparatus and method for recovery of quantization codes in a lossy transmission environment |
| US6581170B1 (en) | 1997-10-23 | 2003-06-17 | Sony Corporation | Source coding to provide for robust error recovery during transmission losses |
| US6148092A (en) | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
| US6061088A (en) * | 1998-01-20 | 2000-05-09 | Ncr Corporation | System and method for multi-resolution background adaptation |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| EP2256605B1 (en) | 1998-01-26 | 2017-12-06 | Apple Inc. | Method and apparatus for integrating manual input |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US6724915B1 (en) | 1998-03-13 | 2004-04-20 | Siemens Corporate Research, Inc. | Method for tracking a video object in a time-ordered sequence of image frames |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6424734B1 (en) | 1998-04-03 | 2002-07-23 | Cognex Corporation | Fiducial mark search using sub-models |
| US6324299B1 (en) * | 1998-04-03 | 2001-11-27 | Cognex Corporation | Object image search using sub-models |
| US6252986B1 (en) | 1998-04-03 | 2001-06-26 | Cognex Corporation | Locating an image of an object having a concentric profile |
| US6411734B1 (en) | 1998-04-03 | 2002-06-25 | Cognex Corporation | Object image search using validated sub-model poses |
| US6301370B1 (en) | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
| US6256418B1 (en) * | 1998-04-13 | 2001-07-03 | Compaq Computer Corporation | Method and system for compressing a sequence of images including a moving figure |
| KR100530812B1 (ko) * | 1998-04-13 | 2005-11-28 | 네브엔지니어링 인코포레이티드 | 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐 |
| US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| US6240198B1 (en) | 1998-04-13 | 2001-05-29 | Compaq Computer Corporation | Method for figure tracking using 2-D registration |
| US6269172B1 (en) | 1998-04-13 | 2001-07-31 | Compaq Computer Corporation | Method for tracking the motion of a 3-D figure |
| US6593956B1 (en) | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
| US6394557B2 (en) * | 1998-05-15 | 2002-05-28 | Intel Corporation | Method and apparatus for tracking an object using a continuously adapting mean shift |
| BR9906453A (pt) * | 1998-05-19 | 2000-09-19 | Sony Computer Entertainment Inc | Dispositivo e método do processamento de imagem, e meio de distribuição. |
| US6516092B1 (en) | 1998-05-29 | 2003-02-04 | Cognex Corporation | Robust sub-model shape-finder |
| JPH11351827A (ja) * | 1998-06-10 | 1999-12-24 | Fuji Mach Mfg Co Ltd | 画像処理装置 |
| US6404900B1 (en) | 1998-06-22 | 2002-06-11 | Sharp Laboratories Of America, Inc. | Method for robust human face tracking in presence of multiple persons |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US6963338B1 (en) | 1998-07-31 | 2005-11-08 | Cognex Corporation | Method for refining geometric description models using images |
| US6459820B1 (en) | 1998-08-25 | 2002-10-01 | Cognex Corporation | Gauging using sub-model poses |
| US6542621B1 (en) * | 1998-08-31 | 2003-04-01 | Texas Instruments Incorporated | Method of dealing with occlusion when tracking multiple objects and people in video sequences |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| KR100639750B1 (ko) * | 1998-10-09 | 2006-10-31 | 소니 가부시끼 가이샤 | 통신 장치 및 방법 |
| US7050655B2 (en) * | 1998-11-06 | 2006-05-23 | Nevengineering, Inc. | Method for generating an animated three-dimensional video head |
| US6714661B2 (en) | 1998-11-06 | 2004-03-30 | Nevengineering, Inc. | Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image |
| US7050624B2 (en) * | 1998-12-04 | 2006-05-23 | Nevengineering, Inc. | System and method for feature location and tracking in multiple dimensions including depth |
| JP4392886B2 (ja) * | 1999-01-22 | 2010-01-06 | キヤノン株式会社 | 画像抽出方法及び装置 |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| US6621936B1 (en) | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
| US6170074B1 (en) | 1999-02-12 | 2001-01-02 | Sony Corporation | Source coding to provide for robust error recovery |
| US6192161B1 (en) | 1999-02-12 | 2001-02-20 | Sony Corporation | Method and apparatus for adaptive filter tap selection according to a class |
| US6178266B1 (en) | 1999-02-12 | 2001-01-23 | Sony Corporation | Method and apparatus for the recovery of compression constants in the encoded domain |
| US7010737B2 (en) * | 1999-02-12 | 2006-03-07 | Sony Corporation | Method and apparatus for error data recovery |
| US6151416A (en) * | 1999-02-12 | 2000-11-21 | Sony Corporation | Method and apparatus for adaptive class tap selection according to multiple classification |
| US6363118B1 (en) | 1999-02-12 | 2002-03-26 | Sony Corporation | Apparatus and method for the recovery of compression constants in the encoded domain |
| US6519369B1 (en) | 1999-02-12 | 2003-02-11 | Sony Corporation | Method and apparatus for filter tap expansion |
| US6591398B1 (en) | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
| US6154761A (en) * | 1999-02-12 | 2000-11-28 | Sony Corporation | Classified adaptive multiple processing system |
| US6307560B1 (en) | 1999-02-12 | 2001-10-23 | Sony Corporation | Classified adaptive spatio-temporal format conversion method and apparatus |
| US6307979B1 (en) | 1999-02-12 | 2001-10-23 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6535148B1 (en) | 1999-02-12 | 2003-03-18 | Sony Corporation | Method and apparatus for truncated decoding |
| US20110026606A1 (en) * | 1999-03-11 | 2011-02-03 | Thomson Licensing | System and method for enhancing the visibility of an object in a digital picture |
| US6697489B1 (en) * | 1999-03-30 | 2004-02-24 | Sony Corporation | Method and apparatus for securing control words |
| US7565546B2 (en) | 1999-03-30 | 2009-07-21 | Sony Corporation | System, method and apparatus for secure digital content transmission |
| US7730300B2 (en) | 1999-03-30 | 2010-06-01 | Sony Corporation | Method and apparatus for protecting the transfer of data |
| US6917692B1 (en) * | 1999-05-25 | 2005-07-12 | Thomson Licensing S.A. | Kalman tracking of color objects |
| US6741725B2 (en) * | 1999-05-26 | 2004-05-25 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
| US6389562B1 (en) | 1999-06-29 | 2002-05-14 | Sony Corporation | Source code shuffling to provide for robust error recovery |
| US6614926B1 (en) | 1999-06-29 | 2003-09-02 | Cognex Corporation | Methods and apparatuses for generating from an image a model of an object |
| US6473876B1 (en) | 1999-06-29 | 2002-10-29 | Sony Corporation | Method and apparatus for encoding of bitstreams using rotation |
| US6493842B1 (en) | 1999-06-29 | 2002-12-10 | Sony Corporation | Time-varying randomization for data synchronization and implicit information transmission |
| US6549672B1 (en) * | 1999-06-29 | 2003-04-15 | Sony Corporation | Method and apparatus for recovery of encoded data using central value |
| TW445434B (en) * | 1999-08-04 | 2001-07-11 | Cyberlink Corp | System and method for automatically extracting facial features |
| US6766058B1 (en) * | 1999-08-04 | 2004-07-20 | Electro Scientific Industries | Pattern recognition using multiple templates |
| US6898333B1 (en) | 1999-08-06 | 2005-05-24 | Cognex Corporation | Methods and apparatus for determining the orientation of an object in an image |
| US6813377B1 (en) | 1999-08-06 | 2004-11-02 | Cognex Corporation | Methods and apparatuses for generating a model of an object from an image of the object |
| JP4157234B2 (ja) * | 1999-09-02 | 2008-10-01 | 株式会社東芝 | 動画像内の移動物体検出装置 |
| US6351494B1 (en) | 1999-09-24 | 2002-02-26 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6522785B1 (en) | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US7039614B1 (en) | 1999-11-09 | 2006-05-02 | Sony Corporation | Method for simulcrypting scrambled data to a plurality of conditional access devices |
| US6539517B1 (en) | 1999-11-09 | 2003-03-25 | Sony Corporation | Data transformation for explicit transmission of control information |
| US6754371B1 (en) | 1999-12-07 | 2004-06-22 | Sony Corporation | Method and apparatus for past and future motion classification |
| US7415156B2 (en) | 2000-01-28 | 2008-08-19 | Carnegie Mellon University | Parametric shape grammar interpreter |
| US7050051B1 (en) * | 2000-01-28 | 2006-05-23 | Carnegie Mellon University | Parametric shape grammar interpreter |
| US6574353B1 (en) * | 2000-02-08 | 2003-06-03 | University Of Washington | Video object tracking using a hierarchy of deformable templates |
| US6728394B1 (en) * | 2000-02-14 | 2004-04-27 | Siemens Medical Solutions Usa, Inc. | Dynamic measurement of object parameters |
| US7225164B1 (en) | 2000-02-15 | 2007-05-29 | Sony Corporation | Method and apparatus for implementing revocation in broadcast networks |
| US6597736B1 (en) | 2000-03-29 | 2003-07-22 | Cisco Technology, Inc. | Throughput enhanced video communication |
| US6950548B1 (en) | 2000-05-17 | 2005-09-27 | Cognex Corporation | Creating geometric model descriptions for use in machine vision inspection systems |
| US20040205812A1 (en) * | 2000-06-22 | 2004-10-14 | Candelore Brant L. | Method and apparatus for routing program data in a program viewing unit |
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| US7319479B1 (en) | 2000-09-22 | 2008-01-15 | Brickstream Corporation | System and method for multi-camera linking and analysis |
| US7215795B2 (en) * | 2000-09-28 | 2007-05-08 | Hitachi Kokusai Electric Inc. | Intruding object detecting method and intruding object monitoring apparatus employing the method |
| US6731287B1 (en) | 2000-10-12 | 2004-05-04 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A.S. | Method for animating a 3-D model of a face |
| US6664956B1 (en) | 2000-10-12 | 2003-12-16 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. | Method for generating a personalized 3-D face model |
| US7127081B1 (en) | 2000-10-12 | 2006-10-24 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. | Method for tracking motion of a face |
| US7038709B1 (en) | 2000-11-01 | 2006-05-02 | Gilbert Verghese | System and method for tracking a subject |
| US7742073B1 (en) | 2000-11-01 | 2010-06-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device |
| AU2002221896A1 (en) * | 2000-11-24 | 2002-06-03 | Voxar Ag | Devices and method for processing images |
| IL141650A (en) * | 2001-02-26 | 2005-12-18 | Elop Electrooptics Ind Ltd | Method and system for tracking an object |
| US6917703B1 (en) | 2001-02-28 | 2005-07-12 | Nevengineering, Inc. | Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network |
| US6895520B1 (en) | 2001-03-02 | 2005-05-17 | Advanced Micro Devices, Inc. | Performance and power optimization via block oriented performance measurement and control |
| US6804416B1 (en) | 2001-03-16 | 2004-10-12 | Cognex Corporation | Method and system for aligning geometric object models with images |
| US7392287B2 (en) * | 2001-03-27 | 2008-06-24 | Hemisphere Ii Investment Lp | Method and apparatus for sharing information using a handheld device |
| US6925193B2 (en) * | 2001-07-10 | 2005-08-02 | Eaton Corporation | Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information |
| US7127619B2 (en) | 2001-06-06 | 2006-10-24 | Sony Corporation | Decoding and decryption of partially encrypted information |
| US7895616B2 (en) | 2001-06-06 | 2011-02-22 | Sony Corporation | Reconstitution of program streams split across multiple packet identifiers |
| US7350082B2 (en) * | 2001-06-06 | 2008-03-25 | Sony Corporation | Upgrading of encryption |
| US7747853B2 (en) | 2001-06-06 | 2010-06-29 | Sony Corporation | IP delivery of secure digital content |
| US6834115B2 (en) | 2001-08-13 | 2004-12-21 | Nevengineering, Inc. | Method for optimizing off-line facial feature tracking |
| US6876364B2 (en) | 2001-08-13 | 2005-04-05 | Vidiator Enterprises Inc. | Method for mapping facial animation values to head mesh positions |
| US6853379B2 (en) * | 2001-08-13 | 2005-02-08 | Vidiator Enterprises Inc. | Method for mapping facial animation values to head mesh positions |
| DE10141055B4 (de) * | 2001-08-22 | 2013-09-05 | Ibeo Automobile Sensor Gmbh | Verfahren zur Bestimmung von Bewegungsinformationen |
| US20030052971A1 (en) * | 2001-09-17 | 2003-03-20 | Philips Electronics North America Corp. | Intelligent quad display through cooperative distributed vision |
| CA2359269A1 (en) * | 2001-10-17 | 2003-04-17 | Biodentity Systems Corporation | Face imaging system for recordal and automated identity confirmation |
| DE10158990C1 (de) | 2001-11-30 | 2003-04-10 | Bosch Gmbh Robert | Videoüberwachungssystem |
| US7058205B2 (en) * | 2001-12-07 | 2006-06-06 | Xerox Corporation | Robust, on-line, view-based appearance models for visual motion analysis and visual tracking |
| US20030107592A1 (en) * | 2001-12-11 | 2003-06-12 | Koninklijke Philips Electronics N.V. | System and method for retrieving information related to persons in video programs |
| US6847680B2 (en) * | 2001-12-17 | 2005-01-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting talking heads in a compressed video |
| US7039938B2 (en) * | 2002-01-02 | 2006-05-02 | Sony Corporation | Selective encryption for video on demand |
| US7823174B2 (en) | 2002-01-02 | 2010-10-26 | Sony Corporation | Macro-block based content replacement by PID mapping |
| US7765567B2 (en) | 2002-01-02 | 2010-07-27 | Sony Corporation | Content replacement by PID mapping |
| US7233669B2 (en) * | 2002-01-02 | 2007-06-19 | Sony Corporation | Selective encryption to enable multiple decryption keys |
| US7215770B2 (en) * | 2002-01-02 | 2007-05-08 | Sony Corporation | System and method for partially encrypted multimedia stream |
| US7242773B2 (en) * | 2002-09-09 | 2007-07-10 | Sony Corporation | Multiple partial encryption using retuning |
| US7218738B2 (en) * | 2002-01-02 | 2007-05-15 | Sony Corporation | Encryption and content control in a digital broadcast system |
| US7376233B2 (en) * | 2002-01-02 | 2008-05-20 | Sony Corporation | Video slice and active region based multiple partial encryption |
| US7302059B2 (en) * | 2002-01-02 | 2007-11-27 | Sony Corporation | Star pattern partial encryption |
| US7292691B2 (en) | 2002-01-02 | 2007-11-06 | Sony Corporation | Progressive video refresh slice detection |
| US7155012B2 (en) * | 2002-01-02 | 2006-12-26 | Sony Corporation | Slice mask and moat pattern partial encryption |
| EP1353516A1 (en) * | 2002-04-08 | 2003-10-15 | Mitsubishi Electric Information Technology Centre Europe B.V. | A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images |
| US7530084B2 (en) * | 2002-05-28 | 2009-05-05 | Sony Corporation | Method and apparatus for synchronizing dynamic graphics |
| US20090180025A1 (en) * | 2002-05-28 | 2009-07-16 | Sony Corporation | Method and apparatus for overlaying graphics on video |
| US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US8818896B2 (en) | 2002-09-09 | 2014-08-26 | Sony Corporation | Selective encryption with coverage encryption |
| US8167802B2 (en) * | 2002-09-12 | 2012-05-01 | Hitachi Medical Corporation | Biological tissue motion trace method and image diagnosis device using the trace method |
| GB2394543A (en) * | 2002-10-25 | 2004-04-28 | Univ Bristol | Positional measurement of a feature within an image |
| US8572408B2 (en) * | 2002-11-05 | 2013-10-29 | Sony Corporation | Digital rights management of a digital device |
| US7724907B2 (en) | 2002-11-05 | 2010-05-25 | Sony Corporation | Mechanism for protecting the transfer of digital content |
| US8667525B2 (en) * | 2002-12-13 | 2014-03-04 | Sony Corporation | Targeted advertisement selection from a digital stream |
| US8645988B2 (en) * | 2002-12-13 | 2014-02-04 | Sony Corporation | Content personalization for digital content |
| US7194110B2 (en) * | 2002-12-18 | 2007-03-20 | Intel Corporation | Method and apparatus for tracking features in a video sequence |
| US7394916B2 (en) * | 2003-02-10 | 2008-07-01 | Activeye, Inc. | Linking tracked objects that undergo temporary occlusion |
| US20040165586A1 (en) * | 2003-02-24 | 2004-08-26 | Read Christopher Jensen | PID filters based network routing |
| US7684624B2 (en) * | 2003-03-03 | 2010-03-23 | Smart Technologies Ulc | System and method for capturing images of a target area on which information is recorded |
| US7409702B2 (en) * | 2003-03-20 | 2008-08-05 | Sony Corporation | Auxiliary program association table |
| US7292692B2 (en) | 2003-03-25 | 2007-11-06 | Sony Corporation | Content scrambling with minimal impact on legacy devices |
| US7242423B2 (en) * | 2003-06-16 | 2007-07-10 | Active Eye, Inc. | Linking zones for object tracking and camera handoff |
| US8948468B2 (en) * | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| US8498452B2 (en) * | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
| US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
| US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| US7616233B2 (en) | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
| US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| US8553949B2 (en) * | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
| US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
| US7471846B2 (en) * | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
| US7269292B2 (en) * | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US8989453B2 (en) * | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
| US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
| US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7792970B2 (en) * | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
| US8330831B2 (en) * | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
| US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
| US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8081820B2 (en) * | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US7190834B2 (en) * | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US20050036067A1 (en) * | 2003-08-05 | 2005-02-17 | Ryal Kim Annon | Variable perspective view of video images |
| EP1515152A1 (de) * | 2003-09-12 | 2005-03-16 | Leica Geosystems AG | Verfahren zur Richtungsbestimmung zu einem zu vermessenden Objekt |
| US7286667B1 (en) | 2003-09-15 | 2007-10-23 | Sony Corporation | Decryption system |
| US20050066357A1 (en) * | 2003-09-22 | 2005-03-24 | Ryal Kim Annon | Modifying content rating |
| US7620180B2 (en) * | 2003-11-03 | 2009-11-17 | Sony Corporation | Preparation of content for multiple conditional access methods in video on demand |
| US20050097597A1 (en) * | 2003-10-31 | 2005-05-05 | Pedlow Leo M.Jr. | Hybrid storage of video on demand content |
| US7263187B2 (en) * | 2003-10-31 | 2007-08-28 | Sony Corporation | Batch mode session-based encryption of video on demand content |
| US7343013B2 (en) * | 2003-12-16 | 2008-03-11 | Sony Corporation | Composite session-based encryption of video on demand content |
| US7346163B2 (en) * | 2003-10-31 | 2008-03-18 | Sony Corporation | Dynamic composition of pre-encrypted video on demand content |
| US7853980B2 (en) | 2003-10-31 | 2010-12-14 | Sony Corporation | Bi-directional indices for trick mode video-on-demand |
| US20050097596A1 (en) * | 2003-10-31 | 2005-05-05 | Pedlow Leo M.Jr. | Re-encrypted delivery of video-on-demand content |
| US20050102702A1 (en) * | 2003-11-12 | 2005-05-12 | Candelore Brant L. | Cablecard with content manipulation |
| JP4085959B2 (ja) * | 2003-11-14 | 2008-05-14 | コニカミノルタホールディングス株式会社 | 物体検出装置、物体検出方法、および記録媒体 |
| KR100601933B1 (ko) * | 2003-11-18 | 2006-07-14 | 삼성전자주식회사 | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 |
| US7171024B2 (en) * | 2003-12-01 | 2007-01-30 | Brickstream Corporation | Systems and methods for determining if objects are in a queue |
| US8824730B2 (en) * | 2004-01-09 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | System and method for control of video bandwidth based on pose of a person |
| US7564994B1 (en) * | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
| US7460737B2 (en) | 2004-02-12 | 2008-12-02 | Hoshiko Llc | Method and apparatus for photograph finding |
| US20050228270A1 (en) * | 2004-04-02 | 2005-10-13 | Lloyd Charles F | Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements |
| US20050238254A1 (en) * | 2004-04-23 | 2005-10-27 | Jens Guhring | Method and system for fast n-dimensional dynamic registration |
| US7831094B2 (en) * | 2004-04-27 | 2010-11-09 | Honda Motor Co., Ltd. | Simultaneous localization and mapping using multiple view feature descriptors |
| US7616782B2 (en) * | 2004-05-07 | 2009-11-10 | Intelliview Technologies Inc. | Mesh based frame processing and applications |
| JP2005346806A (ja) * | 2004-06-02 | 2005-12-15 | Funai Electric Co Ltd | Ｄｖｄレコーダおよび記録再生装置 |
| JP4227561B2 (ja) * | 2004-06-03 | 2009-02-18 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| JP4677753B2 (ja) * | 2004-10-01 | 2011-04-27 | 株式会社ニコン | 動画像処理装置及び方法 |
| US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| CN101146562B (zh) * | 2004-12-09 | 2011-11-30 | 韦斯特制药服务公司 | 自动注射装置的联结器 |
| US7895617B2 (en) | 2004-12-15 | 2011-02-22 | Sony Corporation | Content substitution editor |
| US8041190B2 (en) | 2004-12-15 | 2011-10-18 | Sony Corporation | System and method for the creation, synchronization and delivery of alternate content |
| US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
| US7315631B1 (en) * | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
| US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US7457433B2 (en) * | 2005-01-20 | 2008-11-25 | International Business Machines Corporation | System and method for analyzing video from non-static camera |
| US7773111B2 (en) * | 2005-03-16 | 2010-08-10 | Lc Technologies, Inc. | System and method for perceived image processing in a gaze tracking system |
| US8139896B1 (en) * | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
| US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US8050331B2 (en) * | 2005-05-20 | 2011-11-01 | Ntt Docomo, Inc. | Method and apparatus for noise filtering in video coding |
| US8370639B2 (en) * | 2005-06-16 | 2013-02-05 | Sensible Vision, Inc. | System and method for providing secure access to an electronic device using continuous facial biometrics |
| DE102005028746B4 (de) | 2005-06-21 | 2018-02-22 | Siemens Healthcare Gmbh | Verfahren zum Ermitteln der Position und Orientierung eines Objekts, insbesondere eines Katheters, aus zweidimonsionalen Röntgenbildern |
| EP2479990A3 (en) | 2005-06-23 | 2013-01-23 | Israel Aerospace Industries Ltd. | A system and method for tracking moving objects |
| US7558405B2 (en) * | 2005-06-30 | 2009-07-07 | Nokia Corporation | Motion filtering for video stabilization |
| JP4830650B2 (ja) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
| ATE546800T1 (de) * | 2005-07-05 | 2012-03-15 | Omron Tateisi Electronics Co | Tracking-vorrichtung |
| WO2007024351A2 (en) * | 2005-08-26 | 2007-03-01 | Idt Corporation | Region of interest tracking and integration into a video codec |
| JP4241709B2 (ja) * | 2005-10-11 | 2009-03-18 | ソニー株式会社 | 画像処理装置 |
| JP4779610B2 (ja) * | 2005-12-02 | 2011-09-28 | オムロン株式会社 | 画像処理装置および方法、並びにプログラム |
| US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
| US8185921B2 (en) | 2006-02-28 | 2012-05-22 | Sony Corporation | Parental control of displayed content using closed captioning |
| US7555464B2 (en) * | 2006-03-01 | 2009-06-30 | Sony Corporation | Multiple DRM management |
| US7428336B2 (en) * | 2006-03-06 | 2008-09-23 | Marvell International Ltd. | Efficient detection of constant regions of an image |
| JP2009533786A (ja) | 2006-04-10 | 2009-09-17 | アヴァワークス インコーポレーテッド | 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法 |
| EP2033142B1 (en) * | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
| US20070286458A1 (en) * | 2006-06-12 | 2007-12-13 | D&S Consultants, Inc. | Method and System for Tracking a Target |
| WO2007144580A1 (en) * | 2006-06-16 | 2007-12-21 | Bae Systems Plc | Improvements relating to target tracking |
| WO2008015586A2 (en) * | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
| US7639874B2 (en) * | 2006-08-03 | 2009-12-29 | Tandent Vision Science, Inc. | Methods for discriminating moving objects in motion image sequences |
| US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7916897B2 (en) * | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
| AU2007221976B2 (en) * | 2006-10-19 | 2009-12-24 | Polycom, Inc. | Ultrasonic camera tracking system and associated methods |
| EP1916538A3 (en) | 2006-10-27 | 2011-02-16 | Panasonic Electric Works Co., Ltd. | Target moving object tracking device |
| US8055067B2 (en) * | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| KR20080073933A (ko) * | 2007-02-07 | 2008-08-12 | 삼성전자주식회사 | 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치 |
| DE602008001607D1 (de) * | 2007-02-28 | 2010-08-05 | Fotonation Vision Ltd | Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen |
| WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
| US8649604B2 (en) | 2007-03-05 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
| WO2008131823A1 (en) * | 2007-04-30 | 2008-11-06 | Fotonation Vision Limited | Method and apparatus for automatically controlling the decisive moment for an image acquisition device |
| US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
| JP2009053815A (ja) * | 2007-08-24 | 2009-03-12 | Nikon Corp | 被写体追跡プログラム、および被写体追跡装置 |
| CN101469986B (zh) * | 2007-12-27 | 2011-06-22 | 鸿富锦精密工业（深圳）有限公司 | 模糊边界的自动寻点系统及方法 |
| US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
| US8320615B2 (en) * | 2008-02-27 | 2012-11-27 | Honeywell International Inc. | Systems and methods for recognizing a target from a moving platform |
| US9058765B1 (en) * | 2008-03-17 | 2015-06-16 | Taaz, Inc. | System and method for creating and sharing personalized virtual makeovers |
| US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
| BRPI0911189A2 (pt) * | 2008-04-11 | 2018-05-22 | Thomson Licensing | sistema e método para melhorar a visibilidade de um objeto em uma imagem digital |
| JP5547730B2 (ja) | 2008-07-30 | 2014-07-16 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検知を用いた顔及び肌の自動美化 |
| US9141862B2 (en) * | 2008-09-26 | 2015-09-22 | Harris Corporation | Unattended surveillance device and associated methods |
| WO2010063463A2 (en) * | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
| US8379917B2 (en) * | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
| KR20110064480A (ko) * | 2009-12-08 | 2011-06-15 | 삼성테크윈 주식회사 | 궤적 안정화 장치 및 방법, 그리고, 영상 감시 시스템 |
| US8363109B2 (en) * | 2009-12-10 | 2013-01-29 | Harris Corporation | Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods |
| US8914734B2 (en) | 2009-12-23 | 2014-12-16 | 8X8, Inc. | Web-enabled conferencing and meeting implementations with a subscription-based model |
| US20110150194A1 (en) | 2009-12-23 | 2011-06-23 | Ramprakash Narayanaswamy | Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling Features |
| US20110149811A1 (en) | 2009-12-23 | 2011-06-23 | Ramprakash Narayanaswamy | Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling Features |
| US20110149809A1 (en) | 2009-12-23 | 2011-06-23 | Ramprakash Narayanaswamy | Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling and Content Sharing Features |
| JP2011205599A (ja) * | 2010-03-26 | 2011-10-13 | Toshiba Corp | 信号処理装置 |
| US9135514B2 (en) * | 2010-05-21 | 2015-09-15 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
| GB2484668A (en) | 2010-10-18 | 2012-04-25 | Intelligent Door Solutions Ltd | Motion Sensitive System and Method of Generating a Control Signal |
| JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
| US8817801B1 (en) | 2011-07-08 | 2014-08-26 | 8X8, Inc. | Conferencing and meeting implementations with advanced features |
| US9519769B2 (en) * | 2012-01-09 | 2016-12-13 | Sensible Vision, Inc. | System and method for disabling secure access to an electronic device using detection of a predetermined device orientation |
| IL219639A (en) | 2012-05-08 | 2016-04-21 | Israel Aerospace Ind Ltd | Remote object tracking |
| US8971573B2 (en) * | 2012-09-12 | 2015-03-03 | Xerox Corporation | Video-tracking for video-based speed enforcement |
| US8805017B2 (en) * | 2012-12-13 | 2014-08-12 | Intel Corporation | Gesture pre-processing of video stream to reduce platform power |
| US8761448B1 (en) * | 2012-12-13 | 2014-06-24 | Intel Corporation | Gesture pre-processing of video stream using a markered region |
| US9104240B2 (en) | 2013-01-09 | 2015-08-11 | Intel Corporation | Gesture pre-processing of video stream with hold-off period to reduce platform power |
| WO2014111923A1 (en) | 2013-01-15 | 2014-07-24 | Israel Aerospace Industries Ltd | Remote tracking of objects |
| IL224273B (en) | 2013-01-17 | 2018-05-31 | Cohen Yossi | Delay compensation during remote sensor control |
| US9292103B2 (en) | 2013-03-13 | 2016-03-22 | Intel Corporation | Gesture pre-processing of video stream using skintone detection |
| US10373470B2 (en) | 2013-04-29 | 2019-08-06 | Intelliview Technologies, Inc. | Object detection |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| CN104038744A (zh) * | 2013-07-22 | 2014-09-10 | 南通大学 | 跟踪成功率的基于dsp的相关跟踪方法 |
| CA2847707C (en) | 2014-03-28 | 2021-03-30 | Intelliview Technologies Inc. | Leak detection |
| US9672412B2 (en) * | 2014-06-24 | 2017-06-06 | The Chinese University Of Hong Kong | Real-time head pose tracking with online face template reconstruction |
| US10943357B2 (en) | 2014-08-19 | 2021-03-09 | Intelliview Technologies Inc. | Video based indoor leak detection |
| US9665804B2 (en) * | 2014-11-12 | 2017-05-30 | Qualcomm Incorporated | Systems and methods for tracking an object |
| US9582895B2 (en) * | 2015-05-22 | 2017-02-28 | International Business Machines Corporation | Real-time object analysis with occlusion handling |
| KR102410268B1 (ko) * | 2015-11-20 | 2022-06-20 | 한국전자통신연구원 | 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치 |
| US11127283B2 (en) * | 2016-07-25 | 2021-09-21 | Drb Systems, Llc | Systems and methods to prevent carwash collisions |
| JP6889279B2 (ja) | 2017-04-28 | 2021-06-18 | トヨタ モーター ヨーロッパ | デジタル画像内の物体を検出するためのシステムおよび方法、ならびに物体検出を再スコアリングするためのシステムおよび方法 |
| CN110064205B (zh) * | 2019-04-24 | 2023-02-17 | 腾讯科技（深圳）有限公司 | 用于游戏的数据处理方法、设备和介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5975357A (ja) * | 1982-10-22 | 1984-04-28 | Hitachi Ltd | 画像処理装置 |
| JPS59137942A (ja) * | 1983-01-28 | 1984-08-08 | Hitachi Ltd | 画像位置合わせ方式 |
| US4825394A (en) * | 1985-05-07 | 1989-04-25 | General Dynamics Corporation | Vision metrology system |
| US4975960A (en) * | 1985-06-03 | 1990-12-04 | Petajan Eric D | Electronic facial tracking and detection system and method and apparatus for automated speech recognition |
| FR2597283B1 (fr) * | 1986-04-15 | 1988-06-10 | Labo Electronique Physique | Dispositif de traitement d'images pour l'estimation du deplacement d'objets situes dans celles-ci |
| US4868871A (en) * | 1987-08-13 | 1989-09-19 | Texas Instruments Incorporated | Nonparametric imaging tracker |
| US4799131A (en) * | 1987-11-18 | 1989-01-17 | Minnesota Mining And Manufacturing Company | Automotive lighting element |
| US4931868A (en) * | 1988-05-31 | 1990-06-05 | Grumman Aerospace Corporation | Method and apparatus for detecting innovations in a scene |
| US5111511A (en) * | 1988-06-24 | 1992-05-05 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting apparatus |
| US5018218A (en) * | 1988-08-29 | 1991-05-21 | Raytheon Company | Confirmed boundary pattern matching |
| US5034986A (en) * | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
| JPH07105949B2 (ja) * | 1989-03-20 | 1995-11-13 | 松下電器産業株式会社 | 画像の動きベクトル検出装置および揺れ補正装置 |
| US5062056A (en) * | 1989-10-18 | 1991-10-29 | Hughes Aircraft Company | Apparatus and method for tracking a target |
| US5193126A (en) * | 1990-01-25 | 1993-03-09 | Toyo Ink Mfg. Co., Ltd. | Image deformation method and apparatus using coordinate transformation |
| US5321772A (en) * | 1990-03-05 | 1994-06-14 | Honeywell Inc. | Digital image processor |
| FR2667711B1 (fr) * | 1990-10-09 | 1992-11-27 | Thomson Csf | Procede de reconnaissance d'objets dans des images et son application au suivi d'objets dans des sequences d'images. |
| US5323470A (en) * | 1992-05-08 | 1994-06-21 | Atsushi Kara | Method and apparatus for automatically tracking an object |
-
1990
- 1990-09-07 GB GB909019538A patent/GB9019538D0/en active Pending
-
1991
- 1991-09-03 DE DE69132156T patent/DE69132156T2/de not_active Expired - Fee Related
- 1991-09-03 EP EP91202241A patent/EP0474307B1/en not_active Expired - Lifetime
- 1991-09-05 US US07/755,384 patent/US5280530A/en not_active Expired - Lifetime
- 1991-09-07 JP JP22753391A patent/JP3207461B2/ja not_active Expired - Fee Related
-
1993
- 1993-10-21 US US08/141,146 patent/US5625715A/en not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002056388A (ja) * | 2001-05-28 | 2002-02-20 | Nec Corp | ロボット装置 |
| WO2007108563A1 (ja) * | 2006-03-23 | 2007-09-27 | Tokyo Institute Of Technology | 画像レジストレーション方法 |
| JP2007257287A (ja) * | 2006-03-23 | 2007-10-04 | Tokyo Institute Of Technology | 画像レジストレーション方法 |
| JP2008112210A (ja) * | 2006-10-27 | 2008-05-15 | Matsushita Electric Works Ltd | 自動追尾方法 |
| JPWO2017170087A1 (ja) * | 2016-03-31 | 2019-02-14 | 日本電気株式会社 | 画像検出装置、画像検出方法、及びプログラムを記憶する記憶媒体 |
| US11107223B2 (en) | 2016-03-31 | 2021-08-31 | Nec Corporation | Image detection device, image detection method and storage medium storing program |
| US11288816B2 (en) | 2016-03-31 | 2022-03-29 | Nec Corporation | Image detection device, image detection method and storage medium storing program |
Also Published As
| Publication number | Publication date |
|---|---|
| US5625715A (en) | 1997-04-29 |
| DE69132156D1 (de) | 2000-06-08 |
| EP0474307A3 (ja) | 1994-02-02 |
| US5280530A (en) | 1994-01-18 |
| DE69132156T2 (de) | 2000-12-14 |
| EP0474307A2 (en) | 1992-03-11 |
| JP3207461B2 (ja) | 2001-09-10 |
| EP0474307B1 (en) | 2000-05-03 |
| GB9019538D0 (en) | 1990-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH04281688A (ja) | ３次元対象物のトラッキング方法及び装置 | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| Koch | Dynamic 3-D scene analysis through synthesis feedback control | |
| US6625333B1 (en) | Method for temporal interpolation of an image sequence using object-based image analysis | |
| US7706575B2 (en) | System and method providing improved head motion estimations for animation | |
| Patwardhan et al. | Video inpainting under constrained camera motion | |
| US5983251A (en) | Method and apparatus for data analysis | |
| JP4335449B2 (ja) | 表情の３ｄジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム | |
| JP3970520B2 (ja) | 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉 | |
| JP2003018604A (ja) | 画像信号符号化方法、画像信号符号化装置および記録媒体 | |
| KR20000064847A (ko) | 이미지 분할 및 대상 트랙킹 방법, 및 대응 시스템 | |
| JPH02239376A (ja) | 動画像の動き検出方法及びその装置 | |
| KR20030025276A (ko) | 제 2 세그먼트를 결정하는 분할 유닛 및 방법과 영상 처리장치 | |
| Kampmann et al. | Automatic adaptation of a face model in a layered coder with an object-based analysis-synthesis layer and a knowledge-based layer | |
| US6931145B1 (en) | Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model | |
| JP3227179B2 (ja) | 動物体検出および追跡処理方式 | |
| Pei et al. | Global motion estimation in model-based image coding by tracking three-dimensional contour feature points | |
| US20050129312A1 (en) | Unit for and method of segmentation | |
| Calvagno et al. | Model-based global and local motion estimation for videoconference sequences | |
| JPH08149461A (ja) | 動画像処理装置とその方法 | |
| JP2754984B2 (ja) | 動画像動き推定器と伝送装置 | |
| Blume et al. | Parallel predictive motion estimation using object recognition methods | |
| KR20000044789A (ko) | 표준 얼굴 윤곽 패턴을 이용한 얼굴 윤곽선 근사화 방법 | |
| JP4378801B2 (ja) | 画像処理方法および画像処理装置 | |
| Koufakis et al. | Linear combination of face views for low bit rate face video compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080706 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080706 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090706 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |