JP2865829B2 - 動き補償方法 - Google Patents
動き補償方法Info
- Publication number
- JP2865829B2 JP2865829B2 JP2220162A JP22016290A JP2865829B2 JP 2865829 B2 JP2865829 B2 JP 2865829B2 JP 2220162 A JP2220162 A JP 2220162A JP 22016290 A JP22016290 A JP 22016290A JP 2865829 B2 JP2865829 B2 JP 2865829B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- pan
- zoom
- determined
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、請求項１の上位概念に記載の、ズームおよ
びパンの認識および補償のために動画符号器または復号
器における動きを補償するための方法に関する。
びパンの認識および補償のために動画符号器または復号
器における動きを補償するための方法に関する。
従来の技術 アート動画復号器は大抵、データの低減、および動き
補償予測に使用される。このために、並進（translator
ic）動きを表わすベクトルが、大抵はブロック毎に、例
えばlog（Ｄ）ステップサーチまたはフルサーチによっ
て決定される。データ低減および、それに加えて、この
ような符号器の画質は付加的に、テレビジョンシーンに
おいてしばしば使用される‘ズーム’および‘パン’の
形式の動きの認識および補償によって改善することがで
きる。
補償予測に使用される。このために、並進（translator
ic）動きを表わすベクトルが、大抵はブロック毎に、例
えばlog（Ｄ）ステップサーチまたはフルサーチによっ
て決定される。データ低減および、それに加えて、この
ような符号器の画質は付加的に、テレビジョンシーンに
おいてしばしば使用される‘ズーム’および‘パン’の
形式の動きの認識および補償によって改善することがで
きる。
“M.Htter;R,Thoma:Image Segmentation Based on Ob
ject Oriented Mapping Parameter Estimation,Univers
ity of Hannover,1988"には、画像調整および同時に個
々のセグメントの動きパラメータの推定方法が記載され
ている。“M.Htter:Estimation of the Global Motio
n Parameters Zoom and Pan,PCS 1987"によれば、ズー
ム係数は２つの画像の画情報の直接利用によって決定さ
れる。
ject Oriented Mapping Parameter Estimation,Univers
ity of Hannover,1988"には、画像調整および同時に個
々のセグメントの動きパラメータの推定方法が記載され
ている。“M.Htter:Estimation of the Global Motio
n Parameters Zoom and Pan,PCS 1987"によれば、ズー
ム係数は２つの画像の画情報の直接利用によって決定さ
れる。
発明が解決しようとする問題点 本発明の課題は、画像調整のズームおよびパン情報の
評価を使用した、動画符号器または復号器における動き
補償方法を提供することである。
評価を使用した、動画符号器または復号器における動き
補償方法を提供することである。
問題点を解決するための手段 この課題は、請求項１の特徴部分に記載の構成によっ
て解決される。
て解決される。
実施例 次に本発明を具体例を用いて説明する。
上述の形式の動画符号器は既に、並進シフト運動に対
する動き推定器を備えているので、これらシフトベクト
ルは、本発明によれば、ズームおよびパン情報を抽出す
るために使用される。
する動き推定器を備えているので、これらシフトベクト
ルは、本発明によれば、ズームおよびパン情報を抽出す
るために使用される。
このために、ズームおよびパンは、シフトベクトルフ
ィールドから推定される。
ィールドから推定される。
シフトベクトルはまず、 ａ）パンは存在するが、ズームは存在しないかまたは ｂ）ズームにスーパーインポーズされたパンが存在して
いる可能性がある かどうかを見極めるために解析される。
いる可能性がある かどうかを見極めるために解析される。
パン推定および補償が実施された後、存在するズーム
の仮定が検査される。信頼できるに足るズーム係数を決
定することができた場合、相応するズームベクトルフィ
ールドが発生されかつ前以て決められたシフトベクトル
フィールドと比較される。本発明によれば、誤って検出
されたパンベクトルおよび、適用可能であれば、ズーム
係数の値を、それに続く反復ステップにおいて修正する
ことができる。
の仮定が検査される。信頼できるに足るズーム係数を決
定することができた場合、相応するズームベクトルフィ
ールドが発生されかつ前以て決められたシフトベクトル
フィールドと比較される。本発明によれば、誤って検出
されたパンベクトルおよび、適用可能であれば、ズーム
係数の値を、それに続く反復ステップにおいて修正する
ことができる。
次に、ズームおよびパン推定のスタート点を考察す
る。
る。
以下において、テレビジョン画像を、例えば、相応の
グレースケール値ｓ（x,y）を有する画素の２次元のマ
トリクスとして見なす。
グレースケール値ｓ（x,y）を有する画素の２次元のマ
トリクスとして見なす。
上述の動き推定器は、シフトベクトルのマトリクスＶ
（x,y）＝（Vx（x,y）,Vy（x,y））を発生し、これによ
り例えば常時１つのベクトルが、画信号ｓ（x,y）の16
×16の画素から成るブロックに割り当てられる。簡単に
説明するために、Ｖは、常に例えば16×16の位置に対し
て同じベクトルが入力される画信号マトリクスｓとして
同じ大きさのマトリクスであると考えるものする。座標
（x,y）は、原点（0,0）が画像の中心にありかつ多数の
ｘおよびｙの範囲に対して次のことが成立る、すなわち
−Ｘ＜ｘ＜＋Ｘ、および−Ｙ＜ｙ＜＋Ｙが成立するよう
に選択されている。
（x,y）＝（Vx（x,y）,Vy（x,y））を発生し、これによ
り例えば常時１つのベクトルが、画信号ｓ（x,y）の16
×16の画素から成るブロックに割り当てられる。簡単に
説明するために、Ｖは、常に例えば16×16の位置に対し
て同じベクトルが入力される画信号マトリクスｓとして
同じ大きさのマトリクスであると考えるものする。座標
（x,y）は、原点（0,0）が画像の中心にありかつ多数の
ｘおよびｙの範囲に対して次のことが成立る、すなわち
−Ｘ＜ｘ＜＋Ｘ、および−Ｙ＜ｙ＜＋Ｙが成立するよう
に選択されている。
入力データの前処理は、ベクトルフィールド修正およ
びベクトルヒストグラムを形成することによって実施さ
れる。
びベクトルヒストグラムを形成することによって実施さ
れる。
その他同次フィールドから明らかにそれているベクト
ルは、メディアン形式に類似した前置フィルタリングに
よってベクトルフィールドＶから取り除くことができ
る。
ルは、メディアン形式に類似した前置フィルタリングに
よってベクトルフィールドＶから取り除くことができ
る。
このために、ベクトル成分Vmx（xb,yb）,Vmy（xb,y
b）の中央値が、ベクトル毎に決定されかつ、これによ
り、マトリクスVx,Vyにおける各入力（xb,yb）のまわり
の３×３の大きさのウィンドウにおいてブロック毎に決
定される。座標（xb,yb）の名称が、この計算が各画素
に対して実施されるべきではなくて、むしろ各ブロック
に対して実施されるべきあること説明している。ベクト
ルが前以て決めることができる係数以上に中央値から外
れていなければ、すなわち次の式が成立するならば： （＝小さいかまたは等しい） ただしFmは適当に選ばれている、例えばFm＝２である、
ベクトルＶ（xb,yb）は信頼できるものと見なされる。
その他の場合は突発値と見なされかつ引き続く解析にお
いてもはや考慮されない。
b）の中央値が、ベクトル毎に決定されかつ、これによ
り、マトリクスVx,Vyにおける各入力（xb,yb）のまわり
の３×３の大きさのウィンドウにおいてブロック毎に決
定される。座標（xb,yb）の名称が、この計算が各画素
に対して実施されるべきではなくて、むしろ各ブロック
に対して実施されるべきあること説明している。ベクト
ルが前以て決めることができる係数以上に中央値から外
れていなければ、すなわち次の式が成立するならば： （＝小さいかまたは等しい） ただしFmは適当に選ばれている、例えばFm＝２である、
ベクトルＶ（xb,yb）は信頼できるものと見なされる。
その他の場合は突発値と見なされかつ引き続く解析にお
いてもはや考慮されない。
ｋ＝１…Ｋとして、残りのＫ個の動きベクトルVk＝
（Vk（xk,yk），（Vy（xk,yk））のヒストグラムＨ（Vx
（x,y）,Vy（x,y））が決定される。読み取りをもっと
容易にするために、全項Ｈ（Vx（x,y）,Vy（x,y）は時
々、ヒストグラムの位置または２次元数からのベクトル
成分の依存性がその点において余り関係しなければ、Ｈ
（Vx,Vy）またはＨ（Ｖ）に簡略化される。
（Vk（xk,yk），（Vy（xk,yk））のヒストグラムＨ（Vx
（x,y）,Vy（x,y））が決定される。読み取りをもっと
容易にするために、全項Ｈ（Vx（x,y）,Vy（x,y）は時
々、ヒストグラムの位置または２次元数からのベクトル
成分の依存性がその点において余り関係しなければ、Ｈ
（Vx,Vy）またはＨ（Ｖ）に簡略化される。
ベクトルヒストグラムを用いたパン認識は次のように
実施される： まず、第１の仮定において、パンが存在しかつ最も頻
繁に生ずるベクトルがパンベクトルであることが仮定さ
れる： 第１の仮定:H（Vpx,Vpy）＝H maxを有する最も頻繁に
生じるベクトルVp＝（Vpx,Vpy）はあいまいでないパン
ベクトルを表している。
実施される： まず、第１の仮定において、パンが存在しかつ最も頻
繁に生ずるベクトルがパンベクトルであることが仮定さ
れる： 第１の仮定:H（Vpx,Vpy）＝H maxを有する最も頻繁に
生じるベクトルVp＝（Vpx,Vpy）はあいまいでないパン
ベクトルを表している。
次に第１の仮定が真であるかどうかが検査される。こ
のためにパンベクトルの頻度は、前以て決められたしき
い値を越えていなければならず、かつその他のベクトル
の頻度は、別のしきい値Δを下回らなければならない： テスト：最も頻繁に生じるベクトルVp＝（Vpx,Vpr）
はＨ（Vpx,Vpy）＝H max＞H pminの頻度で存在し、 かつすべての他のベクトルに対して Ｈ（Vx,Vy）＞Δの頻度が成り立つならば、パンは存
在する（例:Hpmin＝0.5,Δ＝0.1）。
のためにパンベクトルの頻度は、前以て決められたしき
い値を越えていなければならず、かつその他のベクトル
の頻度は、別のしきい値Δを下回らなければならない： テスト：最も頻繁に生じるベクトルVp＝（Vpx,Vpr）
はＨ（Vpx,Vpy）＝H max＞H pminの頻度で存在し、 かつすべての他のベクトルに対して Ｈ（Vx,Vy）＞Δの頻度が成り立つならば、パンは存
在する（例:Hpmin＝0.5,Δ＝0.1）。
パンがこの方法で認識されなければ、第２の仮定（第
２の仮定）が成される： 第２の仮定：真のパンベクトルは、ともに事象Hmaxの
最大の頻度を有する４つの隣接するベクトルの間にあ
る。
２の仮定）が成される： 第２の仮定：真のパンベクトルは、ともに事象Hmaxの
最大の頻度を有する４つの隣接するベクトルの間にあ
る。
正方形におけるベクトル位置の配列は次のように見え
る： この場合＊は隣接するベクトルおよびｏは推定された真
のパンベクトルである。
る： この場合＊は隣接するベクトルおよびｏは推定された真
のパンベクトルである。
この仮定もテストされる： テスト：次のことが、端点が辺の長さ１を有する正方
形を形成しかつ最大の共通の頻度HSumMaxを有する４つ
の４つのベクトルに対して、HSumMax＞Hpminが成立ち かつすべての他のベクトルに対して Ｈ（Vx,Vy）＞Δが成立てば、パンは存在する。それ
からパンベクトルｏは次のように推定される： この方法においてパンが認識されない場合、第３の仮
定としてズームが存在することが仮定される： 第３の仮定：ズームが存在している。
形を形成しかつ最大の共通の頻度HSumMaxを有する４つ
の４つのベクトルに対して、HSumMax＞Hpminが成立ち かつすべての他のベクトルに対して Ｈ（Vx,Vy）＞Δが成立てば、パンは存在する。それ
からパンベクトルｏは次のように推定される： この方法においてパンが認識されない場合、第３の仮
定としてズームが存在することが仮定される： 第３の仮定：ズームが存在している。
ズームにスーパーインポーズされたパンは、ヒストグ
ラムから成分毎の線形回帰によってのみ決定することが
できる。このために、−ここでは２次元マトリクスを表
すヒストグラムにおいて−矩形に囲まれたものの外側に
あるすべてのベクトル、例えばすべてのベクトルの90％
のベクトルは、突発値と見なされかつ引き続く評価に対
して無視される。以下において、ｉ＝１…Ｉとして、座
標（xi,yi）は、有効なベクトルが存在するベクトルフ
ィールドマトリクスＶにおける位置を指示する。これに
より、画像ブロック当たり１つのベクトルのみが評価さ
れる。
ラムから成分毎の線形回帰によってのみ決定することが
できる。このために、−ここでは２次元マトリクスを表
すヒストグラムにおいて−矩形に囲まれたものの外側に
あるすべてのベクトル、例えばすべてのベクトルの90％
のベクトルは、突発値と見なされかつ引き続く評価に対
して無視される。以下において、ｉ＝１…Ｉとして、座
標（xi,yi）は、有効なベクトルが存在するベクトルフ
ィールドマトリクスＶにおける位置を指示する。これに
より、画像ブロック当たり１つのベクトルのみが評価さ
れる。
決定された回帰直線 Vx（ｘ）＝ax＊ｘ＋bx Vy（ｙ）＝ay＊ｙ＋by から、 Vpx＝Vx（０） Vpy＝Vy（０） に従ってパン推定値が続く。
これらの推定値は、ズーム認識によって使用される。
ズーム認識は、ベクトルフィールドから形成される。
ズームは、焦面の伸長または圧縮を通して画像内容の
主観的な縮小または拡大を意図する。ズームの強度また
は速度、すなわち、“ズーム係数”は、焦面の中心の伸
長の伸長係数ａ＝（ax,ay）と同一である。水平方向お
よび垂直方向の画素の次元が等しい場合、水平方向およ
び垂直方向の伸長は量が等しい。すなわちax＝ay＝ａ。
例として、この場合について引き続き検討する。それか
ら焦面の伸長が sn＋１（x,y）＝sn（ｘ′,y′）＝sn（ａ＊x,a＊ｙ）
（１） によって定義され、 ただしsn:原信号 sn＋l:伸長後の信号。
主観的な縮小または拡大を意図する。ズームの強度また
は速度、すなわち、“ズーム係数”は、焦面の中心の伸
長の伸長係数ａ＝（ax,ay）と同一である。水平方向お
よび垂直方向の画素の次元が等しい場合、水平方向およ
び垂直方向の伸長は量が等しい。すなわちax＝ay＝ａ。
例として、この場合について引き続き検討する。それか
ら焦面の伸長が sn＋１（x,y）＝sn（ｘ′,y′）＝sn（ａ＊x,a＊ｙ）
（１） によって定義され、 ただしsn:原信号 sn＋l:伸長後の信号。
パン補償が実施された後、伸長またはズームの中心は
画像の中心にある。決定された動きベクトルＶ（x,y）
は、理想の場合、画像ｎおよびｎ＋１における同一の信
号部分（ブロック）の座標間の差を表している： このようにここで決定されたズーム係数Ｚ＝Zx＝Zyに
よって、動きベクトルの決定が可能になり、この動きベ
クトルは更に、次の式に従って画像ｎから画像ｎ＋１を
予測するために使用することができる： すべてのx,yに対して Sn＋１（x,y）＝sn（ｘ−Vx（x,y）,y−Vy（x,y）
（３） ズーム決定の推定はまず、それぞれの成分に対して別
個に、有効な動きベクトルの位置（xi,yi）において局
所的に実施される： これにより、ズーム中心に関して近似的に放射状に走
るようなベクトルのみが推定のために使用される（例え
ば±10゜）。
画像の中心にある。決定された動きベクトルＶ（x,y）
は、理想の場合、画像ｎおよびｎ＋１における同一の信
号部分（ブロック）の座標間の差を表している： このようにここで決定されたズーム係数Ｚ＝Zx＝Zyに
よって、動きベクトルの決定が可能になり、この動きベ
クトルは更に、次の式に従って画像ｎから画像ｎ＋１を
予測するために使用することができる： すべてのx,yに対して Sn＋１（x,y）＝sn（ｘ−Vx（x,y）,y−Vy（x,y）
（３） ズーム決定の推定はまず、それぞれの成分に対して別
個に、有効な動きベクトルの位置（xi,yi）において局
所的に実施される： これにより、ズーム中心に関して近似的に放射状に走
るようなベクトルのみが推定のために使用される（例え
ば±10゜）。
それから大域的なズーム係数が Ｚ＝Wx＊Zx＋Wy＊Zy に設定され、ただし これによりWx,Wyは、推定値Zx,Zyの信頼性を表しかつ次
のように決定される重み係数である： および Wy＝１−Wx その際 これにより すなわちSx′,Sy′は、推定された値Zx,Xyの正規化され
た標準偏差である。
のように決定される重み係数である： および Wy＝１−Wx その際 これにより すなわちSx′,Sy′は、推定された値Zx,Xyの正規化され
た標準偏差である。
このズーム仮定はテストされる： テスト：ズーム係数の信頼性に対するテストパラメー
タは、ｘおよびｙ方向におけるズームテスト推定値の差 dZ＝|Zx−Zy|/|Z| （９） 並びに正規化された標準偏差 Ｓ′＝（Sx′＋Sy′）/2 （10） ｘおよびｙ方向における標準偏差の差 dS＝|Sx−Sy|/|Zx＋Zy| （11） および有効テストベクトルＩの数である。これらの値が
所定のしきい値を上回らずかつ少なくとも多数の有効テ
ストベクトルＩが存在すれば、ズームは信頼できる方法
で確立されたものと見なされる。可能なしきい値は次の
通りである： 0.3より小さいdZ 1.0より小さいＳ′ 1.0より小さいdS 0.2＊Ｎより大きいＩ その際Ｎ＝前以て決められたベクトルの数。
タは、ｘおよびｙ方向におけるズームテスト推定値の差 dZ＝|Zx−Zy|/|Z| （９） 並びに正規化された標準偏差 Ｓ′＝（Sx′＋Sy′）/2 （10） ｘおよびｙ方向における標準偏差の差 dS＝|Sx−Sy|/|Zx＋Zy| （11） および有効テストベクトルＩの数である。これらの値が
所定のしきい値を上回らずかつ少なくとも多数の有効テ
ストベクトルＩが存在すれば、ズームは信頼できる方法
で確立されたものと見なされる。可能なしきい値は次の
通りである： 0.3より小さいdZ 1.0より小さいＳ′ 1.0より小さいdS 0.2＊Ｎより大きいＩ その際Ｎ＝前以て決められたベクトルの数。
ズーム係数の推定に続いて、ズームおよびパン解析の
結果の反復テストを、ズーム係数並びに推定されたパン
係数の改良のために実施することができる。
結果の反復テストを、ズーム係数並びに推定されたパン
係数の改良のために実施することができる。
ズームが存在するならば、そこでパン成分がズーム補
償されたベクトルフィールドに存在するかどうかがテス
トされる。
償されたベクトルフィールドに存在するかどうかがテス
トされる。
テスト：ズームが存在するとき、ズームベクトルフィ
ールドが式（４）に従って合成されかつ前以て決められ
たベクトルに対する差ベクトルフィールドが発生され
る。差ベクトルヒストグラムが形成されかつ上述のパン
認識に従って補償されていないパン成分の存在に対して
テストされる。
ールドが式（４）に従って合成されかつ前以て決められ
たベクトルに対する差ベクトルフィールドが発生され
る。差ベクトルヒストグラムが形成されかつ上述のパン
認識に従って補償されていないパン成分の存在に対して
テストされる。
これにより、パンが認識されたならば、上述のズーム
およびパン認識の反復繰り返しが実施される。
およびパン認識の反復繰り返しが実施される。
反復を中止する（停止する）条件は： −差ベクトルフィールドに残されたパン成分がない −決定された新たなズーム係数の標準偏差は最後の反復
によるズーム係数より高い −反復の最大数を、例えば４に固定すること。
によるズーム係数より高い −反復の最大数を、例えば４に固定すること。
それから、ベクトルフィールドが、式（３）に従って
パラメータVp＝（Vpx,Vpy）のおよびＺから、それぞれ
の画素に対して１つのベクトルが存在するように、計算
され、一方すべてのx,yに対して Ｖ（x,y）＝（Vx（x,y）,Vy（x,y））＝（Ｚ＊Ｘ＋Vpx,Z＊ｙ＋Vpy） （12） そこで画像ｎから画像ｎ＋１のズームおよびパン補償
を用いた動き補償された予測が、式（３）に従って実施
される。
パラメータVp＝（Vpx,Vpy）のおよびＺから、それぞれ
の画素に対して１つのベクトルが存在するように、計算
され、一方すべてのx,yに対して Ｖ（x,y）＝（Vx（x,y）,Vy（x,y））＝（Ｚ＊Ｘ＋Vpx,Z＊ｙ＋Vpy） （12） そこで画像ｎから画像ｎ＋１のズームおよびパン補償
を用いた動き補償された予測が、式（３）に従って実施
される。
本発明は有利には、デジタル画像処理装置において使
用される。
用される。
フロントページの続き (56)参考文献 Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ 16（1989）ｐ．249〜265（ＤＩＦＦＥ ＲＥＮＴＩＡＬ ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＴＨＥ ＧＬＯＢＡＬ ＭＯＴ ＩＯＮ ＰＡＲＡＭＥＴＥＲＳ ＺＯＯ Ｍ ＡＮＤ ＰＡＮ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68
Claims (8)
- 【請求項１】ズームおよびパンを識別しかつ補償するた
めに動画符号器または動画復号器における動きを補償す
る方法において、 ａ）ブロックオリエンテッド動き推定器のデータから、
パンベクトルおよびズーム係数を求めるために、同次の
ベクトルフィールドに基づいているベクトルヒストグラ
ム（Ｈ）をブロック動きベクトルから発生し、 ｂ）ベクトルヒストグラムにおける最も頻繁に生じるベ
クトル（Vp）が前以て決められた第１の頻度しきい値
（Hpmin）を上回りかつベクトルヒストグラムにおける
その他のベクトルが前以て決められた第２の頻度しきい
値（δ）を下回るとき、この最も頻繁に生じるベクトル
をパンベクトルと見なし、 ｃ）パンベクトルを求めることができない場合には、ズ
ームを仮定し、この場合まず、ズームにスーパーインポ
ーズされた、可能なパンベクトル成分推定値（Vpx,Xp
y）を線形回帰を用いてベクトルヒストグラムから求め
かつパン補償のために使用し、 ｄ）引き続き、連続する画像から、ズーム係数をベクト
ルフィールドから、パン補償のためのパンベクトル推定
値を使用して求め、 ｅ）求められたズーム係数をこのようにして求められた
ズーム係数成分の比較によって検査する ことを特徴とする動き補償方法。 - 【請求項２】ベクトルフィールドの同次化のために、ベ
クトル成分（Vx,Vy）の前置フィルタリングを行う 請求項１記載の動き補償方法。 - 【請求項３】前置フィルタリングをブロック位置におけ
るベクトル成分（Vx,Vy）にわたって移動するウィンド
ウを用いて行い、この場合前以て決めることができる係
数以上に相応のウィンドウ成分メディアン値とは相異し
ているベクトルをそれ以上考慮しない 請求項２記載の動き補償方法。 - 【請求項４】前記ステップｂ）およびｃ）の間で、正方
形の形のブロックパターンにおいて隣接する４つのベク
トルの共通の頻度（HSumMax）が第１の頻度しきい値（H
pmin）を上回りかつベクトルヒストグラムにおける残り
のベクトルが第２の頻度しきい値（δ）を下回っている
かどうかを検査し、これに該当する場合にはその都度、
４つのベクトルの成分を合成しかつ２つの合成された成
分から成るベクトルをパンベクトルと見なす 請求項１から３までのいずれか１項記載の動き補償方
法。 - 【請求項５】ズーム係数を求めるために、局所的な推定
の成分毎の平均値を規則「ベクトル成分割るベクトルの
位置」に従って形成し、この場合これら局所的な推定の
ばらつきから、それぞれの成分に対する重み付け係数を
求めかつ平均値を相応に重み付けて加算してズーム係数
を形成する 請求項１から４までのいずれか１項記載の動き補償方
法。 - 【請求項６】ズーム係数を求めるために、ズーム中心の
近似的に放射方向に拡がるようなベクトルのみを用いる 請求項５記載の動き補償方法。 - 【請求項７】ベクトルヒストグラムのベクトルのｘおよ
びｙ成分の別個の加算による成分毎の平均値形成を、そ
の頻度に従って重み付けて行う 請求項５または６記載の動き補償方法。 - 【請求項８】差ベクトルフィールドをベクトルフィール
ドおよび合成ベクトルフィールドから求め、この場合該
合成ベクトルフィールドをズーム係数のパラメータを用
いて規則「ベクトル成分イコールズーム係数掛けるベク
トルの位置」に従って求め、かつ前記差ベクトルからパ
ンを推定しかつ存在するパンベクトルが零に等しくない
場合、補正されたパン推定値を用いてズーム係数の算出
を繰り返す 請求項５から７までのいずれか１項記載の動き補償方
法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE3927937 | 1989-08-24 | ||
| DE4007851.5 | 1990-03-12 | ||
| DE4007851A DE4007851A1 (de) | 1989-08-24 | 1990-03-12 | Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder |
| DE3927937.5 | 1990-03-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03143183A JPH03143183A (ja) | 1991-06-18 |
| JP2865829B2 true JP2865829B2 (ja) | 1999-03-08 |
Family
ID=25884351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2220162A Expired - Lifetime JP2865829B2 (ja) | 1989-08-24 | 1990-08-23 | 動き補償方法 |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP0414113B1 (ja) |
| JP (1) | JP2865829B2 (ja) |
| KR (1) | KR100217485B1 (ja) |
| AT (1) | ATE138774T1 (ja) |
| DE (2) | DE4007851A1 (ja) |
| ES (1) | ES2088929T3 (ja) |
| HK (1) | HK65797A (ja) |
| MY (1) | MY106016A (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4111980A1 (de) * | 1991-04-12 | 1992-10-15 | Thomson Brandt Gmbh | Verfahren zur codierung |
| DE69415702T2 (de) * | 1993-02-22 | 1999-05-20 | Matsushita Electric Ind Co Ltd | Verfahren und Vorrichtungen zur Kodierung und Dekodierung von Bewegtbildern |
| DE69431226T2 (de) * | 1993-09-28 | 2003-04-17 | Canon Kk | Bildwiedergabegerät |
| US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
| GB9325922D0 (en) * | 1993-12-18 | 1994-02-23 | Kodak Ltd | Detection of global translations between images |
| GB9325914D0 (en) * | 1993-12-18 | 1994-02-23 | Kodak Ltd | Detection of global translations between images |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| JPH10262258A (ja) * | 1997-03-19 | 1998-09-29 | Sony Corp | 画像符号化装置及び方法 |
| DE19712785C1 (de) * | 1997-03-26 | 1998-07-16 | Siemens Ag | Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes |
| EP0897247A3 (de) * | 1997-08-14 | 2001-02-07 | Philips Patentverwaltung GmbH | Verfahren zur Berechnung von Bewegungsvektoren |
| GB9920256D0 (en) | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
| KR100396558B1 (ko) * | 2001-10-25 | 2003-09-02 | 삼성전자주식회사 | 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 |
| JP2006203597A (ja) * | 2005-01-21 | 2006-08-03 | Pioneer Electronic Corp | ディジタル画像復号装置及び方法 |
| JP4509809B2 (ja) * | 2005-01-21 | 2010-07-21 | パイオニア株式会社 | ディジタル画像復号装置及び方法 |
| EP3171595A1 (en) | 2015-11-18 | 2017-05-24 | Thomson Licensing | Enhanced search strategies for hierarchical motion estimation |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60163594A (ja) * | 1984-02-06 | 1985-08-26 | Hitachi Ltd | 動き推定方式 |
| JPH02171093A (ja) * | 1988-12-23 | 1990-07-02 | Nec Corp | 動画像の予測符号化方式 |
-
1990
- 1990-03-12 DE DE4007851A patent/DE4007851A1/de not_active Withdrawn
- 1990-08-16 EP EP90115629A patent/EP0414113B1/de not_active Expired - Lifetime
- 1990-08-16 AT AT90115629T patent/ATE138774T1/de active
- 1990-08-16 ES ES90115629T patent/ES2088929T3/es not_active Expired - Lifetime
- 1990-08-16 DE DE59010348T patent/DE59010348D1/de not_active Expired - Lifetime
- 1990-08-23 JP JP2220162A patent/JP2865829B2/ja not_active Expired - Lifetime
- 1990-08-23 MY MYPI90001430A patent/MY106016A/en unknown
- 1990-08-24 KR KR1019900013076A patent/KR100217485B1/ko not_active IP Right Cessation
-
1997
- 1997-05-15 HK HK65797A patent/HK65797A/xx not_active IP Right Cessation
Non-Patent Citations (1)
| Title |
|---|
| Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ １６（１９８９）ｐ．２４９〜２６５（ＤＩＦＦＥＲＥＮＴＩＡＬ ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＴＨＥ ＧＬＯＢＡＬ ＭＯＴＩＯＮ ＰＡＲＡＭＥＴＥＲＳ ＺＯＯＭ ＡＮＤ ＰＡＮ） |
Also Published As
| Publication number | Publication date |
|---|---|
| HK65797A (en) | 1997-05-23 |
| EP0414113A3 (en) | 1992-12-02 |
| JPH03143183A (ja) | 1991-06-18 |
| DE4007851A1 (de) | 1991-02-28 |
| ES2088929T3 (es) | 1996-10-01 |
| KR910005658A (ko) | 1991-03-30 |
| DE59010348D1 (de) | 1996-07-04 |
| MY106016A (en) | 1995-02-28 |
| EP0414113A2 (de) | 1991-02-27 |
| EP0414113B1 (de) | 1996-05-29 |
| KR100217485B1 (ko) | 1999-09-01 |
| ATE138774T1 (de) | 1996-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2865829B2 (ja) | 動き補償方法 | |
| Cucchiara et al. | Detecting moving objects, ghosts, and shadows in video streams | |
| US6985527B2 (en) | Local constraints for motion matching | |
| US8054881B2 (en) | Video stabilization in real-time using computationally efficient corner detection and correspondence | |
| US8406470B2 (en) | Object detection in depth images | |
| US8406474B2 (en) | Method and apparatus for identifying obstacle in image | |
| US7623683B2 (en) | Combining multiple exposure images to increase dynamic range | |
| US20030090593A1 (en) | Video stabilizer | |
| Ziliani et al. | Image analysis for video surveillance based on spatial regularization of a statistical model-based change detection | |
| KR20070003206A (ko) | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 | |
| US20190258852A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| US20190384969A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| JPWO2014069103A1 (ja) | 画像処理装置 | |
| Cook et al. | Multiresolution sequential edge linking | |
| CN112261390A (zh) | 车载摄像设备及其图像优化装置和优化方法 | |
| WO2021230157A1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| CN114648473A (zh) | 图像增强方法和图像增强装置 | |
| JP2961272B1 (ja) | 特徴ベクトルを利用した物体の認識装置および方法 | |
| Xu et al. | Features based spatial and temporal blotch detection for archive video restoration | |
| JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
| US8582882B2 (en) | Unit for and method of segmentation using average homogeneity | |
| Lu et al. | Fast and robust sprite generation for MPEG-4 video coding | |
| JP2001357388A (ja) | 道路監視装置 | |
| KR20060115237A (ko) | 에지투영을 이용한 스테레오 매칭방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071218 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081218 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091218 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101218 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101218 Year of fee payment: 12 |