JPH09168152A - 動画像処理における動きの推定装置及びその方法 - Google Patents
動画像処理における動きの推定装置及びその方法Info
- Publication number
- JPH09168152A JPH09168152A JP28428196A JP28428196A JPH09168152A JP H09168152 A JPH09168152 A JP H09168152A JP 28428196 A JP28428196 A JP 28428196A JP 28428196 A JP28428196 A JP 28428196A JP H09168152 A JPH09168152 A JP H09168152A
- Authority
- JP
- Japan
- Prior art keywords
- motion estimation
- motion
- local
- image processing
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 グローバルな動きの推定方式とローカルな動
きの推定方式を動きの推定領域により効果的に結合して
より正確に動きを推定する。 【解決手段】 入力映像及び物体マスクの入力を受けて
グローバルな動きを推定するグローバルな動きの推定部
１０３、入力される物体マスクを利用して分割されたグ
ローバルな動きの推定領域の中で任意の領域を選択する
ローカルな領域選択部１０４、選択された領域に対して
グローバルな動きの推定部の出力にローカルな動きの推
定方式を適用して物体の動きを推定する第１のローカル
な動きの推定部１０５、ローカルな領域選択部から選択
された領域に対して入力映像の物体に独立的なローカル
な動きの推定方式を適用して物体の動きを推定する第２
のローカルな動きの推定部１０６、ローカルな領域選択
部の領域選択及び第１、第２のローカルな動きの推定部
の出力を制御する制御部１０７とから構成される。
きの推定方式を動きの推定領域により効果的に結合して
より正確に動きを推定する。 【解決手段】 入力映像及び物体マスクの入力を受けて
グローバルな動きを推定するグローバルな動きの推定部
１０３、入力される物体マスクを利用して分割されたグ
ローバルな動きの推定領域の中で任意の領域を選択する
ローカルな領域選択部１０４、選択された領域に対して
グローバルな動きの推定部の出力にローカルな動きの推
定方式を適用して物体の動きを推定する第１のローカル
な動きの推定部１０５、ローカルな領域選択部から選択
された領域に対して入力映像の物体に独立的なローカル
な動きの推定方式を適用して物体の動きを推定する第２
のローカルな動きの推定部１０６、ローカルな領域選択
部の領域選択及び第１、第２のローカルな動きの推定部
の出力を制御する制御部１０７とから構成される。
Description
【０００１】
【発明の属する技術分野】この発明は、動画像処理にお
ける動きの推定装置及びその方法に関するもので、より
詳細にはグローバルな動きの推定方式（Global Motion
Estimation）とローカルな動きの推定方式（Local Moti
on Estimation）を結合して物体の動く特性や大きさ、
重要度、動きの推定の遂行速度、動きの推定性能等によ
りグローバルな動きの推定方式とローカルな動きの推定
方式を選択的に利用して物体の動きを推定するグローバ
ルな動きの推定方式とローカルな動きの推定方式を結合
した選択型の動きの推定装置及びその方法に関するもの
である。
ける動きの推定装置及びその方法に関するもので、より
詳細にはグローバルな動きの推定方式（Global Motion
Estimation）とローカルな動きの推定方式（Local Moti
on Estimation）を結合して物体の動く特性や大きさ、
重要度、動きの推定の遂行速度、動きの推定性能等によ
りグローバルな動きの推定方式とローカルな動きの推定
方式を選択的に利用して物体の動きを推定するグローバ
ルな動きの推定方式とローカルな動きの推定方式を結合
した選択型の動きの推定装置及びその方法に関するもの
である。
【０００２】
【従来の技術】一般に、動画像処理分野においては符号
化の効率向上のために動きの推定を行う。動きの推定
は、映像信号から現在フレームのマクロブロックまたは
ブロックが以前フレームに対してどの方向にどのくらい
動いたかを推定するものであり、動きの推定はフレーム
間の信号処理で多用されている。
化の効率向上のために動きの推定を行う。動きの推定
は、映像信号から現在フレームのマクロブロックまたは
ブロックが以前フレームに対してどの方向にどのくらい
動いたかを推定するものであり、動きの推定はフレーム
間の信号処理で多用されている。
【０００３】動きの推定のために、一般的には６パラメ
ータの動きの推定模型、４パラメータの動きの推定模
型、２パラメータの動きの推定模型等を使用している。
物体の動きの推定における６パラメータの動きの推定模
型、４パラメータの動きの推定模型、２パラメータの動
きの推定模型等の動きの推定模型を決定することは物体
の種類と動きの特性及び動きの推定模型を適用しようと
する領域の大きさによって可変的である。
ータの動きの推定模型、４パラメータの動きの推定模
型、２パラメータの動きの推定模型等を使用している。
物体の動きの推定における６パラメータの動きの推定模
型、４パラメータの動きの推定模型、２パラメータの動
きの推定模型等の動きの推定模型を決定することは物体
の種類と動きの特性及び動きの推定模型を適用しようと
する領域の大きさによって可変的である。
【０００４】一般に、大きな領域の場合、領域内に複雑
な動きの形態が存在する可能性が多いので、大きな領域
の動き（グローバルな動き）を推定する場合には複雑な
模型（６パラメータの動きの推定模型）の一つのみを使
用し、大きな領域を小さい領域として分割したとき、領
域内の動きは大きな領域に比べ単純であるので、小さい
領域の動きの（ローカルな動き）推定する場合には簡単
な模型の（２パラメータの動きの推定模型）一つのみを
使用しても充分な補償が可能である。
な動きの形態が存在する可能性が多いので、大きな領域
の動き（グローバルな動き）を推定する場合には複雑な
模型（６パラメータの動きの推定模型）の一つのみを使
用し、大きな領域を小さい領域として分割したとき、領
域内の動きは大きな領域に比べ単純であるので、小さい
領域の動きの（ローカルな動き）推定する場合には簡単
な模型の（２パラメータの動きの推定模型）一つのみを
使用しても充分な補償が可能である。
【０００５】しかし、ローカルな動きが強い映像の動き
の推定時に、グローバルな動きの推定ではローカルな動
きを充分に補償し得ないので、階層的な動きの推定方式
（Progressive Motion Estimation）が導入された。階
層的な動きの推定方式とは、グローバルな動きの推定を
行った後、必要な部分に対してローカルな動きの推定を
行う方式であり、この場合にはグローバルな動きの推定
値をローカルな動きの推定時の初期値として使用する。
の推定時に、グローバルな動きの推定ではローカルな動
きを充分に補償し得ないので、階層的な動きの推定方式
（Progressive Motion Estimation）が導入された。階
層的な動きの推定方式とは、グローバルな動きの推定を
行った後、必要な部分に対してローカルな動きの推定を
行う方式であり、この場合にはグローバルな動きの推定
値をローカルな動きの推定時の初期値として使用する。
【０００６】このような階層的な動きの推定方式は、グ
ローバルな動きの推定が誤ったり、ローカルな動きがグ
ローバルな動きと顕著な差異がある場合にはグローバル
な動きの推定時に発生した誤った値がローカルな動きの
推定時に伝わる。すなわち、６パラメータの推定後、こ
の推定値を２パラメータの初期値として使用するので誤
りが伝わる。これを補償するためには、上述した誤りを
ローカルな動きの推定時に補償しなければならない。
ローバルな動きの推定が誤ったり、ローカルな動きがグ
ローバルな動きと顕著な差異がある場合にはグローバル
な動きの推定時に発生した誤った値がローカルな動きの
推定時に伝わる。すなわち、６パラメータの推定後、こ
の推定値を２パラメータの初期値として使用するので誤
りが伝わる。これを補償するためには、上述した誤りを
ローカルな動きの推定時に補償しなければならない。
【０００７】
【発明が解決しようとする課題】しかしながら、階層的
な動きの推定方式は、グローバルな動きの推定領域の大
きさをローカルな動きの推定領域より通常大きくして大
きな動きを表現し、ローカルな動きの推定の場合、グロ
ーバルな動きから推定した領域を小さい領域に分割して
各領域の局部的な変化を考慮する。このため、小さい動
きの推定範囲をもつローカルな動きの推定値としてはグ
ローバルな動きの推定の誤りを補償できず、物体の動き
に対する正確な推定をすることができなかった。
な動きの推定方式は、グローバルな動きの推定領域の大
きさをローカルな動きの推定領域より通常大きくして大
きな動きを表現し、ローカルな動きの推定の場合、グロ
ーバルな動きから推定した領域を小さい領域に分割して
各領域の局部的な変化を考慮する。このため、小さい動
きの推定範囲をもつローカルな動きの推定値としてはグ
ローバルな動きの推定の誤りを補償できず、物体の動き
に対する正確な推定をすることができなかった。
【０００８】この発明は上記のような問題的を解決する
ためのもので、グローバルな動きの推定方式とローカル
な動きの推定方式とを、動きの推定領域と物体の特性及
び推定性能、速度により効果的に結合することによっ
て、より正確で効率的な動きの推定を行うことができる
ようにしたグローバルな動きの推定方式とローカルな動
きの推定方式とを結合した選択型の動画像処理における
動きの推定装置及びその方法を提供することを目的とす
るものである。
ためのもので、グローバルな動きの推定方式とローカル
な動きの推定方式とを、動きの推定領域と物体の特性及
び推定性能、速度により効果的に結合することによっ
て、より正確で効率的な動きの推定を行うことができる
ようにしたグローバルな動きの推定方式とローカルな動
きの推定方式とを結合した選択型の動画像処理における
動きの推定装置及びその方法を提供することを目的とす
るものである。
【０００９】
【課題を解決するための手段】この発明に係る動画像処
理における動きの推定装置は、連続的に入力される映像
に対して動きを推定する動画像処理における動きの推定
装置において、入力映像及び入力映像に対する物体マス
クの入力を受けて入力される物体に対してグローバルな
動きの推定を行うグローバルな動きの推定部と、入力さ
れる物体マスクを利用してローカルな動きの推定のため
に分割されたグローバルな動きの推定領域中任意の領域
を選択するローカルな領域選択部と、上記ローカルな領
域選択部の領域選択により選択された領域に対して上記
グローバルな動きの推定部の出力にローカルな動きの推
定方式を適用して物体の動きを推定する第１のローカル
なの動きの推定部と、上記ローカルな領域選択部の領域
選択により選択された領域に対して上記入力映像の物体
に独立的なローカルな動きの推定方式を適用して物体の
動きを推定する第２のローカルな動きの推定部と、上記
ローカルな領域選択部の領域選択を制御して上記第１、
第２のローカルなの動きの推定部の動きの推定が制御さ
れるようにし、上記第１及び第２のローカルな動きの推
定部の出力を制御する制御部とを備えたことを特徴とす
るものである。
理における動きの推定装置は、連続的に入力される映像
に対して動きを推定する動画像処理における動きの推定
装置において、入力映像及び入力映像に対する物体マス
クの入力を受けて入力される物体に対してグローバルな
動きの推定を行うグローバルな動きの推定部と、入力さ
れる物体マスクを利用してローカルな動きの推定のため
に分割されたグローバルな動きの推定領域中任意の領域
を選択するローカルな領域選択部と、上記ローカルな領
域選択部の領域選択により選択された領域に対して上記
グローバルな動きの推定部の出力にローカルな動きの推
定方式を適用して物体の動きを推定する第１のローカル
なの動きの推定部と、上記ローカルな領域選択部の領域
選択により選択された領域に対して上記入力映像の物体
に独立的なローカルな動きの推定方式を適用して物体の
動きを推定する第２のローカルな動きの推定部と、上記
ローカルな領域選択部の領域選択を制御して上記第１、
第２のローカルなの動きの推定部の動きの推定が制御さ
れるようにし、上記第１及び第２のローカルな動きの推
定部の出力を制御する制御部とを備えたことを特徴とす
るものである。
【００１０】また、上記グローバルな動きの推定部は、
６パラメータの動きの推定模型を適用してグローバルな
動きを推定することを特徴とするものである。
６パラメータの動きの推定模型を適用してグローバルな
動きを推定することを特徴とするものである。
【００１１】また、上記第１及び第２のローカルな動き
の推定部は、２パラメータの動きの推定模型を適用して
ローカルな動きを推定することを特徴とするものであ
る。
の推定部は、２パラメータの動きの推定模型を適用して
ローカルな動きを推定することを特徴とするものであ
る。
【００１２】また、上記制御部は、物体の特性、大き
さ、重要度、動きの推定の遂行速度、動きの推定性能等
により上記グローバルな領域選択部の領域選択を制御す
ることを特徴とするものである。
さ、重要度、動きの推定の遂行速度、動きの推定性能等
により上記グローバルな領域選択部の領域選択を制御す
ることを特徴とするものである。
【００１３】また、上記制御部は、上記ローカルな領域
選択部の領域選択制御と共に上記グローバルな動きの推
定部の動きの推定を制御することを特徴とするものであ
る。
選択部の領域選択制御と共に上記グローバルな動きの推
定部の動きの推定を制御することを特徴とするものであ
る。
【００１４】また、この発明に係る動画像処理における
動きの推定方法は、連続的に入力される映像に対して動
きを推定する動画像処理における動きの推定方法におい
て、入力映像の物体に対してグローバルな動きの推定モ
ード、階層的な動きの推定モード、または独立的なロー
カルな動きの推定モードを選択的に適用して動きを推定
することを特徴とするものである。
動きの推定方法は、連続的に入力される映像に対して動
きを推定する動画像処理における動きの推定方法におい
て、入力映像の物体に対してグローバルな動きの推定モ
ード、階層的な動きの推定モード、または独立的なロー
カルな動きの推定モードを選択的に適用して動きを推定
することを特徴とするものである。
【００１５】また、上記各モードは、物体の特性、大き
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により選択されることを特徴とするものであ
る。
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により選択されることを特徴とするものであ
る。
【００１６】また、上記階層的な動きの推定モードは、
グローバルな動きの推定を実施してからグローバルな動
きの推定値を初期値として使用してローカルな動きの推
定に適用されるパラメータ値を可変させて推定すること
を特徴とするものである。
グローバルな動きの推定を実施してからグローバルな動
きの推定値を初期値として使用してローカルな動きの推
定に適用されるパラメータ値を可変させて推定すること
を特徴とするものである。
【００１７】また、上記階層的な動きの推定モードは、
一つのフレーム内に多数個の領域（物体）が区分された
場合、上記区分された各領域別に階層的な動きの推定を
実施することを特徴とするものである。
一つのフレーム内に多数個の領域（物体）が区分された
場合、上記区分された各領域別に階層的な動きの推定を
実施することを特徴とするものである。
【００１８】また、物体の大きさ、単純性、重要性が低
い物体である場合、上記グローバルな動きの推定モード
によって動きが推定されることを特徴とするものであ
る。
い物体である場合、上記グローバルな動きの推定モード
によって動きが推定されることを特徴とするものであ
る。
【００１９】また、物体の大きさ、単純性、重要性が中
間の物体である場合、上記階層的な動きの推定モードと
独立的な動きの推定モードが選択され、この場合、上記
階層的な動きの推定モードと独立的な動きの推定モード
によって推定される結果の値の中での良質の値が選択さ
れることを特徴とするものである。
間の物体である場合、上記階層的な動きの推定モードと
独立的な動きの推定モードが選択され、この場合、上記
階層的な動きの推定モードと独立的な動きの推定モード
によって推定される結果の値の中での良質の値が選択さ
れることを特徴とするものである。
【００２０】また、物体の大きさ、単純性、重要性が高
い物体である場合、上記独立的な動きの推定モードが選
択されて動きの推定を実行することを特徴とするもので
ある。
い物体である場合、上記独立的な動きの推定モードが選
択されて動きの推定を実行することを特徴とするもので
ある。
【００２１】また、動きを推定する領域が極めて小さい
場合は、映像の大きさにより階層的な動きの推定モード
とか独立的なローカルなの動きの推定モードを選択的に
使用することを特徴とするものである。
場合は、映像の大きさにより階層的な動きの推定モード
とか独立的なローカルなの動きの推定モードを選択的に
使用することを特徴とするものである。
【００２２】また、他の発明に係る動画像処理における
動きの推定方法は、連続的に入力される映像に対して動
きを推定する動画像処理における動きの推定方法におい
て、入力映像の物体に対してグローバルな動きの推定モ
ードのみを行うとか、または階層的な動きの推定モード
と独立的なローカルな動きの推定モードを遂行して動き
を推定することを特徴とするものである。
動きの推定方法は、連続的に入力される映像に対して動
きを推定する動画像処理における動きの推定方法におい
て、入力映像の物体に対してグローバルな動きの推定モ
ードのみを行うとか、または階層的な動きの推定モード
と独立的なローカルな動きの推定モードを遂行して動き
を推定することを特徴とするものである。
【００２３】また、上記各モードは、物体の特性、大き
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により決定されることを特徴とするものであ
る。
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により決定されることを特徴とするものであ
る。
【００２４】また、上記階層的な動きの推定モードと独
立的なローカルなの動きの推定モードが同時に遂行され
る場合、階層的な動きの推定モードと独立的なローカル
なの動きの推定モードによって推定される値の中での良
質の値を出力することを特徴とするものである。
立的なローカルなの動きの推定モードが同時に遂行され
る場合、階層的な動きの推定モードと独立的なローカル
なの動きの推定モードによって推定される値の中での良
質の値を出力することを特徴とするものである。
【００２５】また、上記階層的な動きの推定モードは、
グローバルな動きの推定を実施してからグローバルな動
きの推定値を初期値として使用してローカルなの動きの
推定に適用されるパラメータ値を可変させて推定するこ
とを特徴とするものである。
グローバルな動きの推定を実施してからグローバルな動
きの推定値を初期値として使用してローカルなの動きの
推定に適用されるパラメータ値を可変させて推定するこ
とを特徴とするものである。
【００２６】また、上記階層的な動きの推定モードは、
一つのフレーム内に多数個の領域（物体）が区分された
場合、上記区分された各領域別に階層的な動きの推定を
実施することを特徴とするものである。
一つのフレーム内に多数個の領域（物体）が区分された
場合、上記区分された各領域別に階層的な動きの推定を
実施することを特徴とするものである。
【００２７】また、物体の大きさ、単純性、重要性が低
い物体である場合、上記グローバルな動きの推定モード
を実行して動きを推定することを特徴とするものであ
る。
い物体である場合、上記グローバルな動きの推定モード
を実行して動きを推定することを特徴とするものであ
る。
【００２８】また、物体の大きさ、単純性、重要性が中
間の物体である場合、上記階層的な動きの推定モードと
独立的な動きの推定モードによって推定される値の中で
の良質の値が出力されることを特徴とするものである。
間の物体である場合、上記階層的な動きの推定モードと
独立的な動きの推定モードによって推定される値の中で
の良質の値が出力されることを特徴とするものである。
【００２９】また、物体の大きさ、単純性、重要性が高
い物体である場合、上記独立的な動きの推定モードによ
って推定されたが出力されることを特徴とするものであ
る。
い物体である場合、上記独立的な動きの推定モードによ
って推定されたが出力されることを特徴とするものであ
る。
【００３０】また、さらに他の発明に係る動画像処理に
おける動きの推定方法は、連続的に入力される映像に対
して動きを推定する動画像処理における動きの推定方法
において、入力映像の物体に対してグローバルな動きの
推定モードと階層的な動きの推定モードと独立的なロー
カルな動きの推定モードを遂行して動きを推定すること
を特徴とするものである。
おける動きの推定方法は、連続的に入力される映像に対
して動きを推定する動画像処理における動きの推定方法
において、入力映像の物体に対してグローバルな動きの
推定モードと階層的な動きの推定モードと独立的なロー
カルな動きの推定モードを遂行して動きを推定すること
を特徴とするものである。
【００３１】また、上記各モードは、物体の特性、大き
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により決定されることを特徴とするものであ
る。
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により決定されることを特徴とするものであ
る。
【００３２】また、上記階層的な動きの推定モードは、
グローバルな動きの推定を実施してからグローバルな動
きの推定値を初期値として使用してローカルなの動きの
推定に適用されるパラメータ値を可変させて推定するこ
とを特徴とするものである。
グローバルな動きの推定を実施してからグローバルな動
きの推定値を初期値として使用してローカルなの動きの
推定に適用されるパラメータ値を可変させて推定するこ
とを特徴とするものである。
【００３３】また、上記階層的な動きの推定モードは、
一つのフレーム内に多数個の領域（物体）が区分された
場合、上記区分された各領域別に階層的な動きの推定を
実施することを特徴とするものである。
一つのフレーム内に多数個の領域（物体）が区分された
場合、上記区分された各領域別に階層的な動きの推定を
実施することを特徴とするものである。
【００３４】また、物体の大きさ、単純性、重要性が低
い物体である場合、上記グローバルな動きの推定モード
によって推定された値が出力されることを特徴とするも
のである。
い物体である場合、上記グローバルな動きの推定モード
によって推定された値が出力されることを特徴とするも
のである。
【００３５】また、物体の大きさ、単純性、重要性が中
間の物体である場合、上記階層的な動きの推定モードと
独立的な動きの推定モードが同時に実行されて上記階層
的な動きの推定モードと独立的な動きの推定モードによ
って推定される値の中での良質の値が出力されることを
特徴とするものである。
間の物体である場合、上記階層的な動きの推定モードと
独立的な動きの推定モードが同時に実行されて上記階層
的な動きの推定モードと独立的な動きの推定モードによ
って推定される値の中での良質の値が出力されることを
特徴とするものである。
【００３６】また、物体の大きさ、単純性、重要性が高
い物体である場合、上記独立的なローカルなの動きの推
定モードによって推定された値が出力されることを特徴
とするものである。
い物体である場合、上記独立的なローカルなの動きの推
定モードによって推定された値が出力されることを特徴
とするものである。
【００３７】
【発明の実施の形態】以下、この発明を添付図面を参照
として詳細に説明する。図１はこの発明による動きの推
定装置の構成を示すブロック図を図示したもので、映像
が入力される映像入力部１０１、上記映像入力部１０１
を通じて入力される映像に対する物体マスクを出力する
物体マスク（Object Mask, Shape Information）出力部
１０２、上記映像入力部１０１及び物体マスク出力部１
０２を通じて入力される物体に対してグローバルな動き
の推定方式を適用して物体の動きを推定するグローバル
な動きの推定部１０３、上記物体マスク出力部１０２か
ら物体マスクの入力を受けてローカルな動きの推定のた
めに分割されたグローバルな動きの推定領域中任意の領
域を選択するローカルな領域選択部１０４を備えてい
る。
として詳細に説明する。図１はこの発明による動きの推
定装置の構成を示すブロック図を図示したもので、映像
が入力される映像入力部１０１、上記映像入力部１０１
を通じて入力される映像に対する物体マスクを出力する
物体マスク（Object Mask, Shape Information）出力部
１０２、上記映像入力部１０１及び物体マスク出力部１
０２を通じて入力される物体に対してグローバルな動き
の推定方式を適用して物体の動きを推定するグローバル
な動きの推定部１０３、上記物体マスク出力部１０２か
ら物体マスクの入力を受けてローカルな動きの推定のた
めに分割されたグローバルな動きの推定領域中任意の領
域を選択するローカルな領域選択部１０４を備えてい
る。
【００３８】また、上記ローカルな領域選択部１０４の
領域選択により選択された領域に対して上記映像入力部
１０１とグローバルな動きの推定部１０３から入力され
る物体に対してローカルな動きの推定方式を適用して物
体の動きを推定する第１のローカルな動きの推定部１０
５、上記ローカルな領域選択部１０４の領域選択により
選択された領域に対して上記映像入力部１０１から入力
される物体に対して独立的なローカルな動きの推定方式
を適用して物体の動きを推定する独立的な第２のローカ
ルな動きの推定部１０６、以前の物体と現在の物体での
物体の特性、大きさ、重要度、動きの推定の遂行速度、
動きの推定性能に従って上記ローカルな領域選択部１０
４を制御し、上記第１及び第２のローカルな動きの推定
部１０５、１０６の性能を比較して性能が良好な方の動
きの推定情報が伝送されるように第１及び第２のローカ
ルな動きの推定部１０５、１０６の出力を制御する制御
部１０７を備えて構成される。
領域選択により選択された領域に対して上記映像入力部
１０１とグローバルな動きの推定部１０３から入力され
る物体に対してローカルな動きの推定方式を適用して物
体の動きを推定する第１のローカルな動きの推定部１０
５、上記ローカルな領域選択部１０４の領域選択により
選択された領域に対して上記映像入力部１０１から入力
される物体に対して独立的なローカルな動きの推定方式
を適用して物体の動きを推定する独立的な第２のローカ
ルな動きの推定部１０６、以前の物体と現在の物体での
物体の特性、大きさ、重要度、動きの推定の遂行速度、
動きの推定性能に従って上記ローカルな領域選択部１０
４を制御し、上記第１及び第２のローカルな動きの推定
部１０５、１０６の性能を比較して性能が良好な方の動
きの推定情報が伝送されるように第１及び第２のローカ
ルな動きの推定部１０５、１０６の出力を制御する制御
部１０７を備えて構成される。
【００３９】上記のように構成されたこの発明におい
て、映像入力部１０１には信号処理のための映像が入力
され、物体マスク出力部１０２は上記映像入力部１０１
から出力される映像に対する物体マスク、すなわち物体
の形状情報を入力する。グローバルな動きの推定部１０
３は上記映像入力部１０１と物体マスク出力部１０２を
通じて入力される物体に対してグローバルな動きの推定
方式を適用して物体の動きを推定する。
て、映像入力部１０１には信号処理のための映像が入力
され、物体マスク出力部１０２は上記映像入力部１０１
から出力される映像に対する物体マスク、すなわち物体
の形状情報を入力する。グローバルな動きの推定部１０
３は上記映像入力部１０１と物体マスク出力部１０２を
通じて入力される物体に対してグローバルな動きの推定
方式を適用して物体の動きを推定する。
【００４０】上記グローバルな動きの推定部１０３は、
６パラメータの動きの推定模型を利用したグローバルな
動きの推定方式を使用し、該当数式は次のとおりであ
る。 ｇx＝ａ1ｘ＋ａ2ｙ＋ａ3 ｇy＝ａ4ｘ＋ａ5ｙ＋ａ6 ここで、ａ1〜ａ6：６パラメータの動きの推定模型の係
数であり、ｘ，ｙ：Spatial Domainの変数である。
６パラメータの動きの推定模型を利用したグローバルな
動きの推定方式を使用し、該当数式は次のとおりであ
る。 ｇx＝ａ1ｘ＋ａ2ｙ＋ａ3 ｇy＝ａ4ｘ＋ａ5ｙ＋ａ6 ここで、ａ1〜ａ6：６パラメータの動きの推定模型の係
数であり、ｘ，ｙ：Spatial Domainの変数である。
【００４１】上記のような６パラメータの動きの推定模
型を使用して動きの推定をするとき、２次元的な形状上
で主に動きを推定することになる。そして、ローカルな
領域選択部１０４は、物体の特性、大きさ、重要度、動
きの推定の遂行速度、動きの推定性能等に従う制御部１
０７の制御により、上記物体マスク出力部１０２から物
体マスクの入力を受けて第１、第２のローカルな動きの
推定部１０５、１０６で使用することができるように分
割されたグローバルな動きの推定領域中任意の領域を選
択する。
型を使用して動きの推定をするとき、２次元的な形状上
で主に動きを推定することになる。そして、ローカルな
領域選択部１０４は、物体の特性、大きさ、重要度、動
きの推定の遂行速度、動きの推定性能等に従う制御部１
０７の制御により、上記物体マスク出力部１０２から物
体マスクの入力を受けて第１、第２のローカルな動きの
推定部１０５、１０６で使用することができるように分
割されたグローバルな動きの推定領域中任意の領域を選
択する。
【００４２】また、第１のローカルな動きの推定部１０
５は、上記制御部１０７の制御によってローカルな領域
選択部１０４から選択された領域に対して上記映像入力
部１０１とグローバルな動きの推定部１０３を通じて入
力される物体に対してローカルな動きの推定方式を適用
して物体の動きを推定する。
５は、上記制御部１０７の制御によってローカルな領域
選択部１０４から選択された領域に対して上記映像入力
部１０１とグローバルな動きの推定部１０３を通じて入
力される物体に対してローカルな動きの推定方式を適用
して物体の動きを推定する。
【００４３】上記第１のローカルな動きの推定部１０５
は、グローバルな基盤でローカルな動きの推定、すなわ
ち階層的な動きを推定するので、主にグローバルな移動
推定に使用される６パラメータの動きの推定模型に単純
な模型に使用されるパラメータであるｌx＝ｂ1、ｌy＝
ｂ2を合わせた ｈx＝ｇx＋ｌx＝ａ1ｘ＋ａ2ｙ＋ａ3＋ｂ1 ｈy＝ｇy＋ｌy＝ａ4ｘ＋ａ5ｙ＋ａ6＋ｂ2 のような推定方程式を利用して動きを推定する。ここ
で、ｂ1、ｂ2はｘ、ｙ軸の動きのベクトルであり、
ａ3、ａ6は既存の階層的な推定方式から２パラメータの
初期値に該当し、ａ3＝ｂ1、ａ6＝ｂ2である。そして、
上記階層的な動きの推定時に、一つのフレーム内に多数
個の領域（物体）が区分された場合、上記区分された各
領域別に階層的な動きの推定を実施する。
は、グローバルな基盤でローカルな動きの推定、すなわ
ち階層的な動きを推定するので、主にグローバルな移動
推定に使用される６パラメータの動きの推定模型に単純
な模型に使用されるパラメータであるｌx＝ｂ1、ｌy＝
ｂ2を合わせた ｈx＝ｇx＋ｌx＝ａ1ｘ＋ａ2ｙ＋ａ3＋ｂ1 ｈy＝ｇy＋ｌy＝ａ4ｘ＋ａ5ｙ＋ａ6＋ｂ2 のような推定方程式を利用して動きを推定する。ここ
で、ｂ1、ｂ2はｘ、ｙ軸の動きのベクトルであり、
ａ3、ａ6は既存の階層的な推定方式から２パラメータの
初期値に該当し、ａ3＝ｂ1、ａ6＝ｂ2である。そして、
上記階層的な動きの推定時に、一つのフレーム内に多数
個の領域（物体）が区分された場合、上記区分された各
領域別に階層的な動きの推定を実施する。
【００４４】上記第２のローカルな動きの推定部１０６
は、制御部１０７の制御によって上記ローカルな領域選
択部１０４で選択された領域に対して映像入力部１０１
から入力される物体に対して独立的なローカルな動きの
推定方式を適用して物体の動きを独立的に推定する。独
立的な第２のローカルな動きの推定部１０６には、ｉx
＝ｂ1、ｉy＝ｂ2である２パラメータを利用してグロー
バルな動きの推定部に無関係にローカルな動きの推定の
み行うようにする。
は、制御部１０７の制御によって上記ローカルな領域選
択部１０４で選択された領域に対して映像入力部１０１
から入力される物体に対して独立的なローカルな動きの
推定方式を適用して物体の動きを独立的に推定する。独
立的な第２のローカルな動きの推定部１０６には、ｉx
＝ｂ1、ｉy＝ｂ2である２パラメータを利用してグロー
バルな動きの推定部に無関係にローカルな動きの推定の
み行うようにする。
【００４５】このように、この発明において使用する
６、２パラメータの動きの推定模型を利用した動きの推
定方式は、第１、第２の動きの推定部１０５、１０６に
別途の２パラメータの動きの推定模型を利用した動きの
推定方式を適用させることによってローカル的に重要度
の高い領域はさらに詳細に動きを推定するようにする。
従って、既存の６パラメータの動きの推定方式を利用し
て動きを推定することによってローカル的な領域の動き
の推定を正確にしていなかった問題点を補完し、より正
確な動きを推定することができることになる。
６、２パラメータの動きの推定模型を利用した動きの推
定方式は、第１、第２の動きの推定部１０５、１０６に
別途の２パラメータの動きの推定模型を利用した動きの
推定方式を適用させることによってローカル的に重要度
の高い領域はさらに詳細に動きを推定するようにする。
従って、既存の６パラメータの動きの推定方式を利用し
て動きを推定することによってローカル的な領域の動き
の推定を正確にしていなかった問題点を補完し、より正
確な動きを推定することができることになる。
【００４６】一方、制御部１０７は、以前の物体と現在
の物体からの物体の特性、大きさ、重要度、動きの推定
の遂行速度、動きの推定性能等によりそれぞれ最適の動
きの推定モードとして処理されるようにローカルな領域
選択部１０４を制御する。ここで、動きの推定モードと
は、グローバルな動きの推定部１０３によるグローバル
な動きの推定モード、グローバルな動きの推定部１０３
及び第１のローカルな動きの推定部１０５による階層的
な動きの推定モード、第２のローカルな動きの推定部１
０６による独立的なローカルな動きの推定モード、ロー
カルな動きの推定モード等を意味しており、図面におけ
るローカルな動きの推定情報とは、推定されたローカル
な動きのパラメータを意味する。また、上記第１、第２
の動きの推定部１０５、１０６の性能を比較して性能が
良好な方の動きの推定情報が伝送されるように制御す
る。
の物体からの物体の特性、大きさ、重要度、動きの推定
の遂行速度、動きの推定性能等によりそれぞれ最適の動
きの推定モードとして処理されるようにローカルな領域
選択部１０４を制御する。ここで、動きの推定モードと
は、グローバルな動きの推定部１０３によるグローバル
な動きの推定モード、グローバルな動きの推定部１０３
及び第１のローカルな動きの推定部１０５による階層的
な動きの推定モード、第２のローカルな動きの推定部１
０６による独立的なローカルな動きの推定モード、ロー
カルな動きの推定モード等を意味しており、図面におけ
るローカルな動きの推定情報とは、推定されたローカル
な動きのパラメータを意味する。また、上記第１、第２
の動きの推定部１０５、１０６の性能を比較して性能が
良好な方の動きの推定情報が伝送されるように制御す
る。
【００４７】そして、図面における制御部１０７から物
体マスク出力部１０２に制御線のあるものは物体マスク
出力部１０２の物体マスクの出力を制御するためのもの
であり、普通の実線より太線に表示されている線は動き
の推定結果である移動情報及び推定モードの出力線であ
る。また、上述したことから制御部１０７は動きの推定
モードの選択のためにローカルな領域選択部１０４の制
御外に上記グローバルな動きの推定部１０３の制御も同
時に行うことができる。
体マスク出力部１０２に制御線のあるものは物体マスク
出力部１０２の物体マスクの出力を制御するためのもの
であり、普通の実線より太線に表示されている線は動き
の推定結果である移動情報及び推定モードの出力線であ
る。また、上述したことから制御部１０７は動きの推定
モードの選択のためにローカルな領域選択部１０４の制
御外に上記グローバルな動きの推定部１０３の制御も同
時に行うことができる。
【００４８】上記のようなこの発明を図２及び図３を例
として次のようにそれぞれの場合に分類して説明する。
図２と図３は母親が子供を抱いている状態の形状を示し
ている物体マスクを示しているもので、図２は母親の物
体マスクに対するグローバルな移動ベクトル、すなわち
母親の動きを示している図面であり、図３はグローバル
な移動ベクトルと方向が相異するローカルな移動べクト
ル、すなわち子供の動きを示した図面である。
として次のようにそれぞれの場合に分類して説明する。
図２と図３は母親が子供を抱いている状態の形状を示し
ている物体マスクを示しているもので、図２は母親の物
体マスクに対するグローバルな移動ベクトル、すなわち
母親の動きを示している図面であり、図３はグローバル
な移動ベクトルと方向が相異するローカルな移動べクト
ル、すなわち子供の動きを示した図面である。
【００４９】１）物体が大形、単純であり、重要度が低
いとき（母親のみ動いており、子供は動かなかったと仮
定するとき） この場合には、グローバルな動きの推定部１０３を通じ
て全体の領域に対する物体の動きを推定する。このとき
の動きの方向は図２に表示された矢印の方向に動いたも
のであり、これはグローバルな移動ベクトルを示す。こ
のように単純な物体はグローバルな動きの推定部１０３
から推定された動きの情報のみによっても比較的に正確
な動きを推定することができるので、上記グローバルな
動きの推定部１０３から推定された動きの情報を伝送す
る。
いとき（母親のみ動いており、子供は動かなかったと仮
定するとき） この場合には、グローバルな動きの推定部１０３を通じ
て全体の領域に対する物体の動きを推定する。このとき
の動きの方向は図２に表示された矢印の方向に動いたも
のであり、これはグローバルな移動ベクトルを示す。こ
のように単純な物体はグローバルな動きの推定部１０３
から推定された動きの情報のみによっても比較的に正確
な動きを推定することができるので、上記グローバルな
動きの推定部１０３から推定された動きの情報を伝送す
る。
【００５０】２）物体が単純であるが重要度が高いとき
または複雑であるが重要度が低いとき（母親と子供が同
時に動きながら子供の動きの方向が母親の動きの方向と
同一であるとき（図３からグローバルな動きの方向と同
一の移動ベクトル） この場合には、まず映像入力部１０１と物体マスク出力
部１０２から出力される信号をグローバルな動きの推定
部１０３を通じてグローバルな動きを推定する。
または複雑であるが重要度が低いとき（母親と子供が同
時に動きながら子供の動きの方向が母親の動きの方向と
同一であるとき（図３からグローバルな動きの方向と同
一の移動ベクトル） この場合には、まず映像入力部１０１と物体マスク出力
部１０２から出力される信号をグローバルな動きの推定
部１０３を通じてグローバルな動きを推定する。
【００５１】そして、上記グローバルな動きの物体マス
クに対する子供の領域をローカルな領域選択部１０４で
選択する。もし、制御部１０７の制御信号Ｃ１の値が第
１のローカルな動きの推定部１０５を通じて動きを推定
するように入力されると、ローカルな領域選択部１０４
の制御により第１のローカルな動きの推定部１０５が動
きを推定し、動きの推定結果は制御部１０７の制御を通
じて伝送される。すなわち、この場合には階層的な動き
を推定する。
クに対する子供の領域をローカルな領域選択部１０４で
選択する。もし、制御部１０７の制御信号Ｃ１の値が第
１のローカルな動きの推定部１０５を通じて動きを推定
するように入力されると、ローカルな領域選択部１０４
の制御により第１のローカルな動きの推定部１０５が動
きを推定し、動きの推定結果は制御部１０７の制御を通
じて伝送される。すなわち、この場合には階層的な動き
を推定する。
【００５２】一方、グローバルな動きの推定値をローカ
ルな動きの推定時の初期値として使用することにより従
来に発生していた問題点の解決のために第２のローカル
な動きの推定部１０６も第１のローカルな動きの推定部
１０５と同時に動作させて各動きの推定部１０５、１０
６の性能を比較して性能が良好な方の動きの推定値を伝
送するようにする。
ルな動きの推定時の初期値として使用することにより従
来に発生していた問題点の解決のために第２のローカル
な動きの推定部１０６も第１のローカルな動きの推定部
１０５と同時に動作させて各動きの推定部１０５、１０
６の性能を比較して性能が良好な方の動きの推定値を伝
送するようにする。
【００５３】３）物体が複雑であり重要度が高いが、小
さいとき（母親と子供が同時に動くのに子供の動きの方
向が母親と相異し（図３でグローバルな動きの方向と相
異する移動ベクトル）、子供が他の物件を持っていると
かするとき） この場合にはグローバルな動きの推定部１０３を経ない
ですぐに独立的な第２のローカルな動きの推定部１０６
を使用してグローバルな動きの推定部１０３から発生さ
れる誤りを防止した動きの情報を伝送する。すなわち、
この場合、６パラメータの動きの推定値を２パラメータ
の動きの推定時の初期値として使用しないので誤りが防
止される。
さいとき（母親と子供が同時に動くのに子供の動きの方
向が母親と相異し（図３でグローバルな動きの方向と相
異する移動ベクトル）、子供が他の物件を持っていると
かするとき） この場合にはグローバルな動きの推定部１０３を経ない
ですぐに独立的な第２のローカルな動きの推定部１０６
を使用してグローバルな動きの推定部１０３から発生さ
れる誤りを防止した動きの情報を伝送する。すなわち、
この場合、６パラメータの動きの推定値を２パラメータ
の動きの推定時の初期値として使用しないので誤りが防
止される。
【００５４】このとき、制御部１０７は、上記第２のロ
ーカルな動きの推定部１０６が動作されるように制御信
号Ｃ１を出力する。上記３）方式における制御部１０７
から各ローカルな動きの推定部１０５、１０６が選択さ
れるようにする制御信号Ｃ１が入力されると、上記第１
及び第２のローカルな動きの推定部１０５、１０６をす
べて動作させてその中で推定性能が良好な方を選択す
る。
ーカルな動きの推定部１０６が動作されるように制御信
号Ｃ１を出力する。上記３）方式における制御部１０７
から各ローカルな動きの推定部１０５、１０６が選択さ
れるようにする制御信号Ｃ１が入力されると、上記第１
及び第２のローカルな動きの推定部１０５、１０６をす
べて動作させてその中で推定性能が良好な方を選択す
る。
【００５５】また、この発明は、動きの推定の遂行速度
によりグローバルな動きの推定モード、階層的な動きの
推定モード、独立的なローカルな動きの推定モードが制
御部１０７の制御により選択的に使用される。このよう
に、この発明は、物体の大きさ及び重要度または単純
性、動きの推定の遂行速度、動きの推定性能等を考慮し
てグローバルな動きの推定のみ行うとか、階層的な動き
の推定のみ行うとか、独立的なローカルな動きの推定の
み行うとか、そうではなければ上記各動きの推定を同時
に行って制御部１０７で性能が良好な動きの推定結果を
伝送する。
によりグローバルな動きの推定モード、階層的な動きの
推定モード、独立的なローカルな動きの推定モードが制
御部１０７の制御により選択的に使用される。このよう
に、この発明は、物体の大きさ及び重要度または単純
性、動きの推定の遂行速度、動きの推定性能等を考慮し
てグローバルな動きの推定のみ行うとか、階層的な動き
の推定のみ行うとか、独立的なローカルな動きの推定の
み行うとか、そうではなければ上記各動きの推定を同時
に行って制御部１０７で性能が良好な動きの推定結果を
伝送する。
【００５６】以上、要約すると、この発明の目的は、グ
ローバルな動きの推定方式とローカルな動きの推定方式
を動きの推定領域と物体の特性及び推定性能、速度によ
り効果的に結合することによってより正確で効率的な動
きの推定を行うことができるようにしたグローバルな動
きの推定方式とローカルな動きの推定方式を結合した選
択型の動きの推定装置及びその方法を提供することにあ
る。
ローバルな動きの推定方式とローカルな動きの推定方式
を動きの推定領域と物体の特性及び推定性能、速度によ
り効果的に結合することによってより正確で効率的な動
きの推定を行うことができるようにしたグローバルな動
きの推定方式とローカルな動きの推定方式を結合した選
択型の動きの推定装置及びその方法を提供することにあ
る。
【００５７】すなわち、動きの推定時にグローバルな動
きの推定方式は勿論のこと、独立的なローカルな動きの
推定方式を付加してグローバルな動きの推定方式とロー
カルな動きの推定方式を同時に適用するとか、または独
立的なローカルな動きの推定方式を適用してそれぞれの
推定性能を比較して性能が良好な方を選択して動きの推
定情報を出力するようにする。ここで、上記独立的なロ
ーカルな動きの推定方式は６パラメータの推定値を２パ
ラメータの初期値として使用しない。
きの推定方式は勿論のこと、独立的なローカルな動きの
推定方式を付加してグローバルな動きの推定方式とロー
カルな動きの推定方式を同時に適用するとか、または独
立的なローカルな動きの推定方式を適用してそれぞれの
推定性能を比較して性能が良好な方を選択して動きの推
定情報を出力するようにする。ここで、上記独立的なロ
ーカルな動きの推定方式は６パラメータの推定値を２パ
ラメータの初期値として使用しない。
【００５８】また、物体の動きの領域が大きな領域に対
して行うグローバルな移動値をそのままに維持しながら
小さい領域の動きの任意変化を考慮し、このときのグロ
ーバルな動きの模型とローカルな動きの模型を相互に異
なるようにして選択して領域により相異する特性を良好
に活かすようにし、上記ローカルな動きの模型はグロー
バルな動きの模型中でもローカルな動きに最も大幅に関
与される項目を選択するようにすることによってより正
確な動きを推定することができるようにする。
して行うグローバルな移動値をそのままに維持しながら
小さい領域の動きの任意変化を考慮し、このときのグロ
ーバルな動きの模型とローカルな動きの模型を相互に異
なるようにして選択して領域により相異する特性を良好
に活かすようにし、上記ローカルな動きの模型はグロー
バルな動きの模型中でもローカルな動きに最も大幅に関
与される項目を選択するようにすることによってより正
確な動きを推定することができるようにする。
【００５９】そして、上記目的を達成するためのこの発
明によるグローバルな動きの推定方式とローカルなの動
きの推定方式を結合した選択型の動きの推定装置は、入
力映像及び入力映像に対する物体マスクの入力を受けて
入力される物体に対してグローバルな受けての推定を行
うグローバルな動きの推定部と、入力される物体マスク
を利用してローカルな動きの推定のために分割されたグ
ローバルな動きの推定領域の中での任意の領域を選択す
るローカルな領域選択部と、上記ローカルな領域選択部
の領域選択により選択された領域に対して上記グローバ
ルな動きの推定部の出力にローカルな動きの推定方式を
適用して物体の動きを推定する第１のローカルな動きの
推定部と、上記ローカルな領域選択部の領域選択により
選択された領域に対して上記入力映像の物体に独立的な
ローカルな動きの推定方式を適用して物体の動きを推定
する第２のローカルな動きの推定部と、上記ローカルな
領域選択部の領域選択を制御して上記第１、第２ローカ
ルな動きの推定部の動きの推定が制御されるようにし、
上記第１及び第２ローカルな動きの推定部の出力を制御
する制御部とから構成されることを特徴とする。
明によるグローバルな動きの推定方式とローカルなの動
きの推定方式を結合した選択型の動きの推定装置は、入
力映像及び入力映像に対する物体マスクの入力を受けて
入力される物体に対してグローバルな受けての推定を行
うグローバルな動きの推定部と、入力される物体マスク
を利用してローカルな動きの推定のために分割されたグ
ローバルな動きの推定領域の中での任意の領域を選択す
るローカルな領域選択部と、上記ローカルな領域選択部
の領域選択により選択された領域に対して上記グローバ
ルな動きの推定部の出力にローカルな動きの推定方式を
適用して物体の動きを推定する第１のローカルな動きの
推定部と、上記ローカルな領域選択部の領域選択により
選択された領域に対して上記入力映像の物体に独立的な
ローカルな動きの推定方式を適用して物体の動きを推定
する第２のローカルな動きの推定部と、上記ローカルな
領域選択部の領域選択を制御して上記第１、第２ローカ
ルな動きの推定部の動きの推定が制御されるようにし、
上記第１及び第２ローカルな動きの推定部の出力を制御
する制御部とから構成されることを特徴とする。
【００６０】また、この発明によるグローバルな動きの
推定方式とローカルなの動きの推定方式を結合した選択
型の動きの推定方法は、入力映像の物体に対してグロー
バルな動きの推定モードとか階層的な動きの推定モード
とか独立的なローカルな動きの推定モードを選択的に適
用するとか、階層的な動きの推定モードと独立的なロー
カルな動きの推定モードを同時に遂行して動きを推定す
ることを特徴とする。
推定方式とローカルなの動きの推定方式を結合した選択
型の動きの推定方法は、入力映像の物体に対してグロー
バルな動きの推定モードとか階層的な動きの推定モード
とか独立的なローカルな動きの推定モードを選択的に適
用するとか、階層的な動きの推定モードと独立的なロー
カルな動きの推定モードを同時に遂行して動きを推定す
ることを特徴とする。
【００６１】
【発明の効果】上述したことから明らかなようにこの発
明は次のような効果がある。第１に、動きの推定時にグ
ローバルな動きの推定とローカルな動きの推定を効果的
に結合することによって動きの推定の効果を向上させる
ことができ、これにより良質の画質を得ることができ
る。第２に、効果的なローカルな動きの推定領域を選択
することによって画質を向上（Subjective Quality u
p）させることができる。第３に、物体の重要度や特
性、動きの推定の遂行速度、動きの推定性能等により色
々な動きの推定中使用者が任意に選択して使用すること
ができる長所がある。
明は次のような効果がある。第１に、動きの推定時にグ
ローバルな動きの推定とローカルな動きの推定を効果的
に結合することによって動きの推定の効果を向上させる
ことができ、これにより良質の画質を得ることができ
る。第２に、効果的なローカルな動きの推定領域を選択
することによって画質を向上（Subjective Quality u
p）させることができる。第３に、物体の重要度や特
性、動きの推定の遂行速度、動きの推定性能等により色
々な動きの推定中使用者が任意に選択して使用すること
ができる長所がある。
【図１】 この発明によるグローバルな動きの推定方式
とローカルな動きの推定方式を結合した選択型の動きの
推定装置の構成を示すブロック図である。
とローカルな動きの推定方式を結合した選択型の動きの
推定装置の構成を示すブロック図である。
【図２】 この発明を説明するためのグローバルな移動
ベクトルを示した説明図である。
ベクトルを示した説明図である。
【図３】 この発明を説明するためのローカルな移動ベ
クトルを示した説明図である。
クトルを示した説明図である。
１０１ 映像入力部、１０２ 物体マスク出力部、１０
３ グローバルな動きの推定部、１０４ ローカルな領
域選択部、１０５ 第１のローカルな動きの推定部、１
０６ 第２のローカルな動きの推定部、１０７ 制御
部。
３ グローバルな動きの推定部、１０４ ローカルな領
域選択部、１０５ 第１のローカルな動きの推定部、１
０６ 第２のローカルな動きの推定部、１０７ 制御
部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金 在均 大韓民国ソウル市江南區三聖洞47−20象牙 ビラ・ビー−202 (72)発明者 李 相煕 大韓民国ソウル市江南區繹三洞373−１ (72)発明者 朴 哲洙 大韓民国全羅南道海南郡花月面加馬里104
Claims (28)
- 【請求項１】 連続的に入力される映像に対して動きを
推定する動画像処理における動きの推定装置において、 入力映像及び入力映像に対する物体マスクの入力を受け
て入力される物体に対してグローバルな動きの推定を行
うグローバルな動きの推定部と、 入力される物体マスクを利用してローカルな動きの推定
のために分割されたグローバルな動きの推定領域中任意
の領域を選択するローカルな領域選択部と、 上記ローカルな領域選択部の領域選択により選択された
領域に対して上記グローバルな動きの推定部の出力にロ
ーカルな動きの推定方式を適用して物体の動きを推定す
る第１のローカルなの動きの推定部と、 上記ローカルな領域選択部の領域選択により選択された
領域に対して上記入力映像の物体に独立的なローカルな
動きの推定方式を適用して物体の動きを推定する第２の
ローカルな動きの推定部と、 上記ローカルな領域選択部の領域選択を制御して上記第
１、第２のローカルなの動きの推定部の動きの推定が制
御されるようにし、上記第１及び第２のローカルな動き
の推定部の出力を制御する制御部とを備えたことを特徴
とする動画像処理における動きの推定装置。 - 【請求項２】 上記グローバルな動きの推定部は、６パ
ラメータの動きの推定模型を適用してグローバルな動き
を推定することを特徴とする請求項１記載の動画像処理
における動きの推定装置。 - 【請求項３】 上記第１及び第２のローカルな動きの推
定部は、２パラメータの動きの推定模型を適用してロー
カルな動きを推定することを特徴とする請求項１記載の
動画像処理における動きの推定装置。 - 【請求項４】 上記制御部は、物体の特性、大きさ、重
要度、動きの推定の遂行速度、動きの推定性能等により
上記グローバルな領域選択部の領域選択を制御すること
を特徴とする請求項１記載の動画像処理における動きの
推定装置。 - 【請求項５】 上記制御部は、上記ローカルな領域選択
部の領域選択制御と共に上記グローバルな動きの推定部
の動きの推定を制御することを特徴とする請求項１記載
の動画像処理における動きの推定装置。 - 【請求項６】 連続的に入力される映像に対して動きを
推定する動画像処理における動きの推定方法において、 入力映像の物体に対してグローバルな動きの推定モー
ド、階層的な動きの推定モード、または独立的なローカ
ルな動きの推定モードを選択的に適用して動きを推定す
ることを特徴とする動画像処理における動きの推定方
法。 - 【請求項７】 上記各モードは、物体の特性、大きさ、
重要度、単純性、動きの推定の遂行速度、動きの推定性
能等により選択されることを特徴とする請求項６記載の
動画像処理における動きの推定方法。 - 【請求項８】 上記階層的な動きの推定モードは、グロ
ーバルな動きの推定を実施してからグローバルな動きの
推定値を初期値として使用してローカルな動きの推定に
適用されるパラメータ値を可変させて推定することを特
徴とする請求項６記載の動画像処理における動きの推定
方法。 - 【請求項９】 上記階層的な動きの推定モードは、一つ
のフレーム内に多数個の領域（物体）が区分された場
合、上記区分された各領域別に階層的な動きの推定を実
施することを特徴とする請求項６記載の動画像処理にお
ける動きの推定方法。 - 【請求項１０】 物体の大きさ、単純性、重要性が低い
物体である場合、上記グローバルな動きの推定モードに
よって動きが推定されることを特徴とする請求項６記載
の動画像処理における動きの推定方法。 - 【請求項１１】 物体の大きさ、単純性、重要性が中間
の物体である場合、上記階層的な動きの推定モードと独
立的な動きの推定モードが選択され、この場合、上記階
層的な動きの推定モードと独立的な動きの推定モードに
よって推定される結果の値の中での良質の値が選択され
ることを特徴とする請求項６記載の動画像処理における
動きの推定方法。 - 【請求項１２】 物体の大きさ、単純性、重要性が高い
物体である場合、上記独立的な動きの推定モードが選択
されて動きの推定を実行することを特徴とする請求項６
記載の動画像処理における動きの推定方法。 - 【請求項１３】 動きを推定する領域が極めて小さい場
合は、映像の大きさにより階層的な動きの推定モードと
か独立的なローカルなの動きの推定モードを選択的に使
用することを特徴とする請求項６記載の動画像処理にお
ける動きの推定方法。 - 【請求項１４】 連続的に入力される映像に対して動き
を推定する動画像処理における動きの推定方法におい
て、 入力映像の物体に対してグローバルな動きの推定モード
のみを行うとか、または階層的な動きの推定モードと独
立的なローカルな動きの推定モードを遂行して動きを推
定することを特徴とする動画像処理における動きの推定
方法。 - 【請求項１５】 上記各モードは、物体の特性、大き
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により決定されることを特徴とする請求項１４
記載の動画像処理における動きの推定方法。 - 【請求項１６】 上記階層的な動きの推定モードと独立
的なローカルなの動きの推定モードが同時に遂行される
場合、階層的な動きの推定モードと独立的なローカルな
の動きの推定モードによって推定される値の中での良質
の値を出力することを特徴とする請求項１４記載の動画
像処理における動きの推定方法。 - 【請求項１７】 上記階層的な動きの推定モードは、グ
ローバルな動きの推定を実施してからグローバルな動き
の推定値を初期値として使用してローカルなの動きの推
定に適用されるパラメータ値を可変させて推定すること
を特徴とする請求項１４記載の動画像処理における動き
の推定方法。 - 【請求項１８】 上記階層的な動きの推定モードは、一
つのフレーム内に多数個の領域（物体）が区分された場
合、上記区分された各領域別に階層的な動きの推定を実
施することを特徴とする請求項１４記載の動画像処理に
おける動きの推定方法。 - 【請求項１９】 物体の大きさ、単純性、重要性が低い
物体である場合、上記グローバルな動きの推定モードを
実行して動きを推定することを特徴とする請求項１４記
載の動画像処理における動きの推定方法。 - 【請求項２０】 物体の大きさ、単純性、重要性が中間
の物体である場合、上記階層的な動きの推定モードと独
立的な動きの推定モードによって推定される値の中での
良質の値が出力されることを特徴とする請求項１４記載
の動画像処理における動きの推定方法。 - 【請求項２１】 物体の大きさ、単純性、重要性が高い
物体である場合、上記独立的な動きの推定モードによっ
て推定されたが出力されることを特徴とする請求項１４
記載の動画像処理における動きの推定方法。 - 【請求項２２】 連続的に入力される映像に対して動き
を推定する動画像処理における動きの推定方法におい
て、 入力映像の物体に対してグローバルな動きの推定モード
と階層的な動きの推定モードと独立的なローカルな動き
の推定モードを遂行して動きを推定することを特徴とす
る動画像処理における動きの推定方法。 - 【請求項２３】 上記各モードは、物体の特性、大き
さ、重要度、単純性、動きの推定の遂行速度、動きの推
定性能等により決定されることを特徴とする請求項２２
記載の動画像処理における動きの推定方法。 - 【請求項２４】 上記階層的な動きの推定モードは、グ
ローバルな動きの推定を実施してからグローバルな動き
の推定値を初期値として使用してローカルなの動きの推
定に適用されるパラメータ値を可変させて推定すること
を特徴とする請求項２２記載の動画像処理における動き
の推定方法。 - 【請求項２５】 上記階層的な動きの推定モードは、一
つのフレーム内に多数個の領域（物体）が区分された場
合、上記区分された各領域別に階層的な動きの推定を実
施することを特徴とする請求項２２記載の動画像処理に
おける動きの推定方法。 - 【請求項２６】 物体の大きさ、単純性、重要性が低い
物体である場合、上記グローバルな動きの推定モードに
よって推定された値が出力されることを特徴とする請求
項２２記載の動画像処理における動きの推定方法。 - 【請求項２７】 物体の大きさ、単純性、重要性が中間
の物体である場合、上記階層的な動きの推定モードと独
立的な動きの推定モードが同時に実行されて上記階層的
な動きの推定モードと独立的な動きの推定モードによっ
て推定される値の中での良質の値が出力されることを特
徴とする請求項２２記載の動画像処理における動きの推
定方法。 - 【請求項２８】 物体の大きさ、単純性、重要性が高い
物体である場合、上記独立的なローカルなの動きの推定
モードによって推定された値が出力されることを特徴と
する請求項２２記載の動画像処理における動きの推定方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR19950037920 | 1995-10-26 | ||
| KR1995-37920 | 1995-10-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09168152A true JPH09168152A (ja) | 1997-06-24 |
Family
ID=19431816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28428196A Pending JPH09168152A (ja) | 1995-10-26 | 1996-10-25 | 動画像処理における動きの推定装置及びその方法 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JPH09168152A (ja) |
| KR (1) | KR970025167A (ja) |
| CN (1) | CN1160968C (ja) |
| DE (1) | DE19644767B4 (ja) |
| FR (1) | FR2740584B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100610892B1 (ko) * | 2005-01-18 | 2006-08-09 | 엘지전자 주식회사 | 플라즈마 디스플레이 패널의 화상처리 장치 및 화상처리방법 |
| JP2007142521A (ja) * | 2005-11-15 | 2007-06-07 | Sharp Corp | 動きベクトル算出装置および動きベクトル算出方法 |
| JP2007519337A (ja) * | 2004-01-16 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ情報を圧縮／伸張する方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108293128A (zh) * | 2015-11-20 | 2018-07-17 | 联发科技股份有限公司 | 视频编解码系统中全局运动补偿的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4937666A (en) * | 1989-12-04 | 1990-06-26 | Bell Communications Research, Inc. | Circuit implementation of block matching algorithm with fractional precision |
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
-
1996
- 1996-10-25 JP JP28428196A patent/JPH09168152A/ja active Pending
- 1996-10-25 CN CNB96121998XA patent/CN1160968C/zh not_active Expired - Lifetime
- 1996-10-26 KR KR1019960048748A patent/KR970025167A/ko not_active Application Discontinuation
- 1996-10-28 FR FR9613122A patent/FR2740584B1/fr not_active Expired - Lifetime
- 1996-10-28 DE DE1996144767 patent/DE19644767B4/de not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007519337A (ja) * | 2004-01-16 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ情報を圧縮／伸張する方法 |
| KR100610892B1 (ko) * | 2005-01-18 | 2006-08-09 | 엘지전자 주식회사 | 플라즈마 디스플레이 패널의 화상처리 장치 및 화상처리방법 |
| JP2007142521A (ja) * | 2005-11-15 | 2007-06-07 | Sharp Corp | 動きベクトル算出装置および動きベクトル算出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE19644767B4 (de) | 2007-04-05 |
| CN1156944A (zh) | 1997-08-13 |
| FR2740584B1 (fr) | 2000-09-01 |
| FR2740584A1 (fr) | 1997-04-30 |
| DE19644767A1 (de) | 1997-04-30 |
| KR970025167A (ko) | 1997-05-30 |
| CN1160968C (zh) | 2004-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2532000B2 (ja) | グラフィック経路予測表示方法 | |
| US6449019B1 (en) | Real-time key frame effects using tracking information | |
| JP2003163894A (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| JPH0192885A (ja) | デイジタル像シーケンスからの運動ベクトル場の探索方法 | |
| JP2005295004A (ja) | 立体画像処理方法および立体画像処理装置 | |
| JPS60229594A (ja) | 動物体の動き内挿装置 | |
| US8253854B2 (en) | Image processing method and system with repetitive pattern detection | |
| JP2006504175A (ja) | フォールバックを用いる画像処理装置 | |
| WO2008137538A1 (en) | Looping motion space registration for real-time character animation | |
| CN114881921A (zh) | 基于事件及视频融合的去遮挡成像方法及装置 | |
| JPH10336599A (ja) | フレーム間補間画像処理装置 | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| JPH09168152A (ja) | 動画像処理における動きの推定装置及びその方法 | |
| JP2004519901A (ja) | 動き推定の容易化 | |
| JP6990580B2 (ja) | カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム | |
| JP2005512356A (ja) | 画像プロセッサ及びそのような画像プロセッサを備える画像表示装置 | |
| JP2003524917A (ja) | フレーム・レート変換回路 | |
| JP6904192B2 (ja) | 補間フレーム生成装置 | |
| CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| JPH11203483A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| JP2022119067A (ja) | 画像処理装置および方法、画像処理システム、プログラム | |
| JPH09147134A (ja) | アニメーション作成装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2009239698A (ja) | 映像変換装置及び映像変換方法 | |
| JP4163968B2 (ja) | 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040406 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040615 |