JPH0799661A - 動き補償予測装置 - Google Patents
動き補償予測装置Info
- Publication number
- JPH0799661A JPH0799661A JP24098493A JP24098493A JPH0799661A JP H0799661 A JPH0799661 A JP H0799661A JP 24098493 A JP24098493 A JP 24098493A JP 24098493 A JP24098493 A JP 24098493A JP H0799661 A JPH0799661 A JP H0799661A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion compensation
- prediction
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 35
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 abstract description 15
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000008602 contraction Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Abstract
(57)【要約】
【目的】 参照画像の領域分割に基づき動き補償する手
段において、動き補償予測画像上で、予測値が一意に決
定されない画素に対応する処理を行ない、領域境界部の
歪みを軽減する動き補償予測装置を提供することにあ
る。 【構成】 動き補償手段１０１において、参照画像の領
域分割による動き補償により、初期予測画像および分割
領域の動き情報と予測値が一意に決定できない画素情報
からなる予測値修正用情報を生成する。予測値修正手段
１０２では初期予測画像および予測値修正用情報から、
予測値が一意に定まらない画素での動きベクトルを計算
し、当該位置での予測値を決定し、最終的な予測画像を
生成する。
段において、動き補償予測画像上で、予測値が一意に決
定されない画素に対応する処理を行ない、領域境界部の
歪みを軽減する動き補償予測装置を提供することにあ
る。 【構成】 動き補償手段１０１において、参照画像の領
域分割による動き補償により、初期予測画像および分割
領域の動き情報と予測値が一意に決定できない画素情報
からなる予測値修正用情報を生成する。予測値修正手段
１０２では初期予測画像および予測値修正用情報から、
予測値が一意に定まらない画素での動きベクトルを計算
し、当該位置での予測値を決定し、最終的な予測画像を
生成する。
Description
【０００１】
【産業上の利用分野】本発明は動画像を符号化するため
の、動き補償予測装置に関する。
の、動き補償予測装置に関する。
【０００２】
【従来の技術】１９９３年電子情報通信学会春季全国大
会Ｄ−２９２，ｐ７−５３の論文「等濃度領域による領
域分割に基づく動き補償方式の検討」に記載された方式
では、画像を等濃度領域に分割して領域ごとに動き補償
処理を行なっている。この方式では、まず前フレーム画
像を線形量子化し、等濃度でかつ隣接し合う複数の画素
を領域にまとめることで等濃度領域を抽出している。つ
ぎに、前フレーム画像での前記抽出領域ごとに現フレー
ム画像上でのマッチング処理を行ない、動き情報を検出
する。最後に抽出領域単位に動き補償を行ない、動き補
償予測画像を生成する。この動き補償方式の処理を図４
を用いて具体的に説明する。
会Ｄ−２９２，ｐ７−５３の論文「等濃度領域による領
域分割に基づく動き補償方式の検討」に記載された方式
では、画像を等濃度領域に分割して領域ごとに動き補償
処理を行なっている。この方式では、まず前フレーム画
像を線形量子化し、等濃度でかつ隣接し合う複数の画素
を領域にまとめることで等濃度領域を抽出している。つ
ぎに、前フレーム画像での前記抽出領域ごとに現フレー
ム画像上でのマッチング処理を行ない、動き情報を検出
する。最後に抽出領域単位に動き補償を行ない、動き補
償予測画像を生成する。この動き補償方式の処理を図４
を用いて具体的に説明する。
【０００３】図４（ａ）は参照画像を領域分割した結果
と、それぞれの分割領域にごとに推定された動きを示し
ている。動き補償はこの分割領域単位に行なわれ、図４
（ａ）のそれぞれの領域を対応する動き情報にしたがっ
て、移動および変形を行ない、図４（ｂ）のような動き
補償予測画像を得る。
と、それぞれの分割領域にごとに推定された動きを示し
ている。動き補償はこの分割領域単位に行なわれ、図４
（ａ）のそれぞれの領域を対応する動き情報にしたがっ
て、移動および変形を行ない、図４（ｂ）のような動き
補償予測画像を得る。
【０００４】
【発明が解決しようとする課題】前記従来の領域ごとに
動き補償予測する技術では、参照画像である前フレーム
画像を領域分割し、領域ごとに動き補償して予測画像の
生成を行なっている。このため、図４（ａ）のように、
参照画像上で動きの不連続な複数の領域が検出されてい
る場合には、図４（ｂ）のように、動き補償予測画像上
の領域境界部分で、予測値が一意に決まらない画素が発
生する場合がある。すなわち、図４（ｂ）において、ド
ットのついた部分のように、参照画像上にあった画素が
動き補償により他の位置に移動してしまい、かつ、この
部分に移動してくる画素がない場合には、予測値が与え
られない画素ができる。
動き補償予測する技術では、参照画像である前フレーム
画像を領域分割し、領域ごとに動き補償して予測画像の
生成を行なっている。このため、図４（ａ）のように、
参照画像上で動きの不連続な複数の領域が検出されてい
る場合には、図４（ｂ）のように、動き補償予測画像上
の領域境界部分で、予測値が一意に決まらない画素が発
生する場合がある。すなわち、図４（ｂ）において、ド
ットのついた部分のように、参照画像上にあった画素が
動き補償により他の位置に移動してしまい、かつ、この
部分に移動してくる画素がない場合には、予測値が与え
られない画素ができる。
【０００５】また、斜線部分のように、参照画像上では
別な位置にあった複数の画素が、動き補償により同じ位
置に移動してくる場合には、予測値が複数個与えられる
画素ができる。このとき、動き補償の手順によって当該
部分の画素の予測値は決めらる。例えば、動き補償の手
順として、予測画像をあらかじめ指定した値に初期化し
ておき、移動および変形させた領域を順次上書きする方
法をとるものとする。この場合、予測値が与えられない
画素には指定の初期値が与えられ、予測値が複数個与え
られる画素に対しては最後に上書きされた値が選択され
ることになる。しかしながらこの方法では、予測値が与
えられていない部分は固定の初期値に置き換えられてし
まうので、その部分の周辺領域との連続性は必ずしも保
たれない。また、予測値が複数個与えられている部分で
は、当該部分へ最後に移動してきた領域が、それ以前に
当該領域へ移動していた他の領域との重複している部分
を削り落し、その上でこれらの領域をつなぎ合わせるこ
とになり、予測画像の領域境界部分の予測値が不連続に
なる。
別な位置にあった複数の画素が、動き補償により同じ位
置に移動してくる場合には、予測値が複数個与えられる
画素ができる。このとき、動き補償の手順によって当該
部分の画素の予測値は決めらる。例えば、動き補償の手
順として、予測画像をあらかじめ指定した値に初期化し
ておき、移動および変形させた領域を順次上書きする方
法をとるものとする。この場合、予測値が与えられない
画素には指定の初期値が与えられ、予測値が複数個与え
られる画素に対しては最後に上書きされた値が選択され
ることになる。しかしながらこの方法では、予測値が与
えられていない部分は固定の初期値に置き換えられてし
まうので、その部分の周辺領域との連続性は必ずしも保
たれない。また、予測値が複数個与えられている部分で
は、当該部分へ最後に移動してきた領域が、それ以前に
当該領域へ移動していた他の領域との重複している部分
を削り落し、その上でこれらの領域をつなぎ合わせるこ
とになり、予測画像の領域境界部分の予測値が不連続に
なる。
【０００６】以上のように前記従来技術では、領域境界
部で視覚的に不自然な歪みが発生しやすいという問題点
があった。
部で視覚的に不自然な歪みが発生しやすいという問題点
があった。
【０００７】本発明の目的は、前記動き補償では予測値
が一意に決定されない画素に対して、周辺領域との連続
した動きを保持するような動き補償処理を行なうことに
より一つの予測値を決定し、領域境界部の歪みを軽減す
る動き補償予測装置を提供することにある。すなわち、
一つの装置は、予測値が与えられない画素に対する予測
値の生成である。もう一つの装置は、予測値が複数個与
えられる画素に対する一つの予測値の生成である。
が一意に決定されない画素に対して、周辺領域との連続
した動きを保持するような動き補償処理を行なうことに
より一つの予測値を決定し、領域境界部の歪みを軽減す
る動き補償予測装置を提供することにある。すなわち、
一つの装置は、予測値が与えられない画素に対する予測
値の生成である。もう一つの装置は、予測値が複数個与
えられる画素に対する一つの予測値の生成である。
【０００８】
【課題を解決するための手段】第１の発明は、動画像の
符号化に用いる動き補償フレーム間予測において、参照
画像を複数の領域に分割し、前記分割領域単位に動きの
補償を行ない、初期動き補償予測画像を出力するととも
に、前記領域単位の動き補償に用いた領域分割情報、領
域ごとの動き情報、前記初期動き補償予測画像上で予測
値が与えられていない画素位置の情報を予測値修正情報
として出力する動き補償予測手段と、前記予測値修正情
報を参照し、前記動き補償予測画像上で、前記手段によ
り予測値が与えられていない画素に対し、当該画素の近
傍にある複数の領域の動き情報から、当該画素位置での
動きベクトルを内挿計算により求めて、当該画素位置で
の予測値を決定し、動き補償予測画像を修正する予測値
修正手段とを備えることを特徴とする。
符号化に用いる動き補償フレーム間予測において、参照
画像を複数の領域に分割し、前記分割領域単位に動きの
補償を行ない、初期動き補償予測画像を出力するととも
に、前記領域単位の動き補償に用いた領域分割情報、領
域ごとの動き情報、前記初期動き補償予測画像上で予測
値が与えられていない画素位置の情報を予測値修正情報
として出力する動き補償予測手段と、前記予測値修正情
報を参照し、前記動き補償予測画像上で、前記手段によ
り予測値が与えられていない画素に対し、当該画素の近
傍にある複数の領域の動き情報から、当該画素位置での
動きベクトルを内挿計算により求めて、当該画素位置で
の予測値を決定し、動き補償予測画像を修正する予測値
修正手段とを備えることを特徴とする。
【０００９】第２の発明は、動画像の符号化に用いる動
き補償フレーム間予測において、参照画像を複数の領域
に分割し、前記分割領域単位に動きの補償を行ない、初
期動き補償予測画像を出力するとともに、前記領域単位
の動き補償に用いた領域分割情報、領域ごとの動き情
報、前記動き補償において予測値が複数個検出された画
素位置の情報を予測値修正情報として出力する動き補償
予測手段と、前記予測値修正情報を参照し、前記動き補
償予測画像上で、前記手段により予測値が複数個検出さ
れた画素に対し、当該画素の近傍にある複数の領域の動
き情報から、当該画素位置での動きベクトルを内挿計算
により求めて、当該画素位置での予測値を決定し、動き
補償予測画像を修正する予測値修正手段とを備えること
を特徴とする。
き補償フレーム間予測において、参照画像を複数の領域
に分割し、前記分割領域単位に動きの補償を行ない、初
期動き補償予測画像を出力するとともに、前記領域単位
の動き補償に用いた領域分割情報、領域ごとの動き情
報、前記動き補償において予測値が複数個検出された画
素位置の情報を予測値修正情報として出力する動き補償
予測手段と、前記予測値修正情報を参照し、前記動き補
償予測画像上で、前記手段により予測値が複数個検出さ
れた画素に対し、当該画素の近傍にある複数の領域の動
き情報から、当該画素位置での動きベクトルを内挿計算
により求めて、当該画素位置での予測値を決定し、動き
補償予測画像を修正する予測値修正手段とを備えること
を特徴とする。
【００１０】
【作用】本発明の作用を図２および図３を用いて説明す
る。
る。
【００１１】図２、図３は本装置の説明をわかりやすく
するために、画像上の領域境界部分の一部を、一次元方
向のみに着目して表現した図である。一般の画像に対し
ては同様な装置を二次元に拡張する。また、領域の動き
情報としては領域内で均一な動ベクトルで表示されてい
る場合を示している。
するために、画像上の領域境界部分の一部を、一次元方
向のみに着目して表現した図である。一般の画像に対し
ては同様な装置を二次元に拡張する。また、領域の動き
情報としては領域内で均一な動ベクトルで表示されてい
る場合を示している。
【００１２】図２のように、参照画像上で隣接していた
領域Ａ，Ｂの動き
領域Ａ，Ｂの動き
【００１３】
【数１】
【００１４】に連続性がなく、領域どうしの距離が離れ
る方向に移動する場合には、領域間に予測値が与えられ
ていない部分が生じる。この部分の画素Ｘでの予測値を
一意に決定するために、近傍領域Ａ，Ｂの動ベクトル
る方向に移動する場合には、領域間に予測値が与えられ
ていない部分が生じる。この部分の画素Ｘでの予測値を
一意に決定するために、近傍領域Ａ，Ｂの動ベクトル
【００１５】
【数２】
【００１６】を利用した内挿計算により画素Ｘでの動ベ
クトルを求める。まず、近傍領域Ａ，Ｂの境界から画素
Ｘまでの距離ｓ，ｔをそれぞれ測り、距離に応じた重み
付け関数ｆにより、動ベクトル
クトルを求める。まず、近傍領域Ａ，Ｂの境界から画素
Ｘまでの距離ｓ，ｔをそれぞれ測り、距離に応じた重み
付け関数ｆにより、動ベクトル
【００１７】
【数３】
【００１８】に対する重み係数ｆ（ｓ），ｆ（ｔ）を計
算する。距離は近傍領域の境界からその外側へ向かって
測定されており、重み係数は、境界から離れるほどその
領域の影響をあまり受けなくなるように、領域の境界か
らの距離に対して単調減少する関数で与える。そして、
画素Ｘでの動ベクトル
算する。距離は近傍領域の境界からその外側へ向かって
測定されており、重み係数は、境界から離れるほどその
領域の影響をあまり受けなくなるように、領域の境界か
らの距離に対して単調減少する関数で与える。そして、
画素Ｘでの動ベクトル
【００１９】
【数４】
【００２０】を
【００２１】
【数５】
【００２２】により決定する。
【００２３】また同じく、図３のように、参照画像上で
隣接していた領域Ａ，Ｂの動き
隣接していた領域Ａ，Ｂの動き
【００２４】
【数６】
【００２５】に連続性がなく、領域どうしが相互に重な
り合うような場合には、領域間に予測値が複数個与えら
れている部分が生じる。この部分の画素Ｘでの予測値を
決定するために、重なっている領域Ａ，Ｂの動ベクトル
り合うような場合には、領域間に予測値が複数個与えら
れている部分が生じる。この部分の画素Ｘでの予測値を
決定するために、重なっている領域Ａ，Ｂの動ベクトル
【００２６】
【数７】
【００２７】を利用した内挿計算により画素Ｘでの動ベ
クトルを求める。まず、重なっている領域Ａ，Ｂの境界
から画素Ｘまでの距離ｓ，ｔをそれぞれ測り、距離に応
じた重み付け関数ｇにより、動ベクトル
クトルを求める。まず、重なっている領域Ａ，Ｂの境界
から画素Ｘまでの距離ｓ，ｔをそれぞれ測り、距離に応
じた重み付け関数ｇにより、動ベクトル
【００２８】
【数８】
【００２９】に対する重み係数ｇ（ｓ），ｇ（ｔ）を計
算する。距離は重なっている領域の境界からその内側へ
向かって測定されており、重み係数は、境界から離れて
領域内部に入るほどその領域の影響を強く受けるよう
に、領域の境界からの距離に対して単調増加する関数で
与える。そして、画素Ｘでの動ベクトル
算する。距離は重なっている領域の境界からその内側へ
向かって測定されており、重み係数は、境界から離れて
領域内部に入るほどその領域の影響を強く受けるよう
に、領域の境界からの距離に対して単調増加する関数で
与える。そして、画素Ｘでの動ベクトル
【００３０】
【数９】
【００３１】を
【００３２】
【数１０】
【００３３】により決定する。
【００３４】なお、本発明は、動き情報として１つの領
域に１つの動ベクトルにより表現されている場合以外
に、領域内の各位置における動ベクトルを関数表示し、
その関数のパラメータにより動きを表現している場合に
ついても容易に拡張できる。例えば、領域Ａ内のある画
素位置Ｐでの動ベクトルが関数
域に１つの動ベクトルにより表現されている場合以外
に、領域内の各位置における動ベクトルを関数表示し、
その関数のパラメータにより動きを表現している場合に
ついても容易に拡張できる。例えば、領域Ａ内のある画
素位置Ｐでの動ベクトルが関数
【００３５】
【数１１】
【００３６】で与えられ、同様に、領域Ｂ内のある画素
位置Ｑでの動ベクトルが関数
位置Ｑでの動ベクトルが関数
【００３７】
【数１２】
【００３８】で与えられるとする。このとき、前記関数
を用いて予測値が一意に与えられていない画素位置Ｘで
の動ベクトル
を用いて予測値が一意に与えられていない画素位置Ｘで
の動ベクトル
【００３９】
【数１３】
【００４０】を求め、これを内挿計算に利用する。すな
わち、上記と同様に領域Ａ、Ｂの境界から画素Ｘまでの
距離ｓ，ｔをそれぞれ測り、距離に応じた重み付け関数
ｈにより、動ベクトル
わち、上記と同様に領域Ａ、Ｂの境界から画素Ｘまでの
距離ｓ，ｔをそれぞれ測り、距離に応じた重み付け関数
ｈにより、動ベクトル
【００４１】
【数１４】
【００４２】に対する重み係数ｈ（ｓ），ｈ（ｔ）を計
算する。そして、画素Ｘでの動ベクトル
算する。そして、画素Ｘでの動ベクトル
【００４３】
【数１５】
【００４４】を
【００４５】
【数１６】
【００４６】により決定すればよい。このとき重み付け
関数は、領域間に予測値が与えられていない部分の処理
および領域間に予測値が複数個与えられている部分の処
理に応じて、前記関数ｆ（），ｇ（）のいずれかを選択
する。
関数は、領域間に予測値が与えられていない部分の処理
および領域間に予測値が複数個与えられている部分の処
理に応じて、前記関数ｆ（），ｇ（）のいずれかを選択
する。
【００４７】以上のように、予測値が一意に決まらない
画素に対しては、当該画素の動きベクトルを近接領域の
動き情報から内挿計算により定めて動き補償処理を行な
うことで、領域境界部の歪みを軽減できる。
画素に対しては、当該画素の動きベクトルを近接領域の
動き情報から内挿計算により定めて動き補償処理を行な
うことで、領域境界部の歪みを軽減できる。
【００４８】
【実施例】本発明では、図１のように、動き補償手段１
０１において、参照画像の領域分割による動き補償によ
り、初期予測画像および予測値修正用情報を生成する。
予測修正用情報には領域分割情報、領域ごとの動き情
報、予測値が与えられない画素の情報、予測値が複数個
与えられる画素の情報が含まれる。予測値修正手段１０
２では初期予測画像および予測値修正用情報から、予測
値が一意に定まらない画素の値を決定し、最終的な予測
画像を生成する。
０１において、参照画像の領域分割による動き補償によ
り、初期予測画像および予測値修正用情報を生成する。
予測修正用情報には領域分割情報、領域ごとの動き情
報、予測値が与えられない画素の情報、予測値が複数個
与えられる画素の情報が含まれる。予測値修正手段１０
２では初期予測画像および予測値修正用情報から、予測
値が一意に定まらない画素の値を決定し、最終的な予測
画像を生成する。
【００４９】第１の発明では、動き補償予測画像上にお
いて予測値が与えられない画素に対し、当該画素の近傍
の複数の領域の動き情報から、動きベクトルを計算して
動き補償予測を行なう。まず、当該画素の複数の近傍領
域に対応する動き情報から、当該画素位置における動ベ
クトルをそれぞれ求める。そして、前記各領域のそれぞ
れの境界から当該画素間での距離に応じて重み付けし、
内挿計算により当該画素での動きベクトルを求める。例
えば、重みとして領域境界からの距離の逆数を重みの値
にできる。あるいは、距離のｎ乗（ｎは正数）に反比例
する値でもよい。
いて予測値が与えられない画素に対し、当該画素の近傍
の複数の領域の動き情報から、動きベクトルを計算して
動き補償予測を行なう。まず、当該画素の複数の近傍領
域に対応する動き情報から、当該画素位置における動ベ
クトルをそれぞれ求める。そして、前記各領域のそれぞ
れの境界から当該画素間での距離に応じて重み付けし、
内挿計算により当該画素での動きベクトルを求める。例
えば、重みとして領域境界からの距離の逆数を重みの値
にできる。あるいは、距離のｎ乗（ｎは正数）に反比例
する値でもよい。
【００５０】この処理について図５を用いて説明する。
図５（ａ）に示すように、隣接する領域で動きに連続性
がなく、領域どうしの距離が離れる方向に移動する場合
には、動き補償予測画像に、図５（ｂ）のドットの付け
られた部分のようなすき間を生じ、この部分では予測値
が与えられない。この部分の画素Ｘに対しては、図５
（ｅ）のように、近傍の領域Ａ，Ｂの動き情報から画素
Ｘの位置での動きベクトル
図５（ａ）に示すように、隣接する領域で動きに連続性
がなく、領域どうしの距離が離れる方向に移動する場合
には、動き補償予測画像に、図５（ｂ）のドットの付け
られた部分のようなすき間を生じ、この部分では予測値
が与えられない。この部分の画素Ｘに対しては、図５
（ｅ）のように、近傍の領域Ａ，Ｂの動き情報から画素
Ｘの位置での動きベクトル
【００５１】
【数１７】
【００５２】を計算し、かつ、それぞれの領域境界から
の距離ｓ，ｔを測定する。このとき画素Ｘの位置での動
きベクトル
の距離ｓ，ｔを測定する。このとき画素Ｘの位置での動
きベクトル
【００５３】
【数１８】
【００５４】は、
【００５５】
【数１９】
【００５６】の関数として計算できる。例えば、距離に
反比例した重みを与えた場合、
反比例した重みを与えた場合、
【００５７】
【数２０】
【００５８】の値は、以下の式で与えられる。
【００５９】
【数２１】
【００６０】なお、領域外のある画素と領域境界との距
離の測るには、当該領域の膨張処理を行ない、何回目で
その画素に到達するかを数えればよい。膨張処理とは、
ここではある領域の境界に位置する領域外の画素を領域
内に取り込むという処理をさす。図５（ｃ），（ｄ）に
領域Ａ，Ｂそれぞれからの距離を計算した結果の例を示
す。図中の数字は領域外の画素位置での前記距離を示し
ている。
離の測るには、当該領域の膨張処理を行ない、何回目で
その画素に到達するかを数えればよい。膨張処理とは、
ここではある領域の境界に位置する領域外の画素を領域
内に取り込むという処理をさす。図５（ｃ），（ｄ）に
領域Ａ，Ｂそれぞれからの距離を計算した結果の例を示
す。図中の数字は領域外の画素位置での前記距離を示し
ている。
【００６１】前記動きベクトル計算は、近傍の動物体領
域が３つ以上存在しても同様の処理によって計算でき
る。また、いずれの動物体領域を近傍とするかの判定
は、あらかじめ閾値を定めておき、注目画素と領域境界
との距離が閾値の範囲内にあるものを近傍と定義するこ
とで決定できる。
域が３つ以上存在しても同様の処理によって計算でき
る。また、いずれの動物体領域を近傍とするかの判定
は、あらかじめ閾値を定めておき、注目画素と領域境界
との距離が閾値の範囲内にあるものを近傍と定義するこ
とで決定できる。
【００６２】第２の発明では、動き補償予測画像上にお
いて予測値が複数個与えられる画素に対し、予測値を与
える複数の領域の動き情報から、動きベクトルを計算し
て動き補償予測を行なう。すなわち、まず、当該画素の
予測値を与える複数の領域に対応する動き情報から、当
該画素位置における動ベクトルをそれぞれ求める。そし
て、前記各領域のそれぞれの境界から当該画素間での距
離に応じて重み付けし、内挿計算により当該画素での動
きベクトルを求める。例えば、重みとして領域境界から
の距離そのものを重みの値にできる。あるいは、距離の
ｎ乗（ｎは正数）に比例する値でもよい。
いて予測値が複数個与えられる画素に対し、予測値を与
える複数の領域の動き情報から、動きベクトルを計算し
て動き補償予測を行なう。すなわち、まず、当該画素の
予測値を与える複数の領域に対応する動き情報から、当
該画素位置における動ベクトルをそれぞれ求める。そし
て、前記各領域のそれぞれの境界から当該画素間での距
離に応じて重み付けし、内挿計算により当該画素での動
きベクトルを求める。例えば、重みとして領域境界から
の距離そのものを重みの値にできる。あるいは、距離の
ｎ乗（ｎは正数）に比例する値でもよい。
【００６３】この処理について図６を用いて説明する。
図６（ａ）に示すように、隣接する領域で動きに連続性
がなく、領域どうしが相互に重なり合うような場合に
は、動き補償予測画像に、図６（ｂ）の斜線でハッチン
グされた領域のような重なりを生じ、この部分では予測
値が複数個与えられる。この部分の画素Ｘに対しては、
図６（ｅ）のように、予測値を与える領域Ａ，Ｂの動き
情報から画素Ｘの位置での動きベクトル
図６（ａ）に示すように、隣接する領域で動きに連続性
がなく、領域どうしが相互に重なり合うような場合に
は、動き補償予測画像に、図６（ｂ）の斜線でハッチン
グされた領域のような重なりを生じ、この部分では予測
値が複数個与えられる。この部分の画素Ｘに対しては、
図６（ｅ）のように、予測値を与える領域Ａ，Ｂの動き
情報から画素Ｘの位置での動きベクトル
【００６４】
【数２２】
【００６５】を計算し、かつ、それぞれの領域境界から
の距離ｓ，ｔを測定する。このとき画素Ｘの位置での動
きベクトル
の距離ｓ，ｔを測定する。このとき画素Ｘの位置での動
きベクトル
【００６６】
【数２３】
【００６７】は、
【００６８】
【数２４】
【００６９】の関数として計算できる。例えば、距離に
比例した重みを与えた場合、
比例した重みを与えた場合、
【００７０】
【数２５】
【００７１】の値は、以下の式で与えられる。
【００７２】
【数２６】
【００７３】なお、領域内のある画素と領域境界とから
の距離の測るには、当該領域の収縮処理を行ない、何回
目でその画素が削除されるかを数えればよい。収縮処理
とは、ここでは領域の境界に位置する画素を削除すると
いう処理をさす。図６（ｃ），（ｄ）に領域Ａ，Ｂそれ
ぞれからの距離を計算した結果の例を示す。図中の数字
は領域内の画素位置での距離を示している。
の距離の測るには、当該領域の収縮処理を行ない、何回
目でその画素が削除されるかを数えればよい。収縮処理
とは、ここでは領域の境界に位置する画素を削除すると
いう処理をさす。図６（ｃ），（ｄ）に領域Ａ，Ｂそれ
ぞれからの距離を計算した結果の例を示す。図中の数字
は領域内の画素位置での距離を示している。
【００７４】前記動きベクトルの計算は、予測値を与え
る領域が３つ以上存在しても同様の処理によって計算で
きる。
る領域が３つ以上存在しても同様の処理によって計算で
きる。
【００７５】
【発明の効果】以上のように本発明では、予測値が一意
に決まらない部分の動ベクトルを内挿計算により定めて
動き補償処理を行なうことで、領域全体としての輪郭を
保ちつつ予測画像が生成でき、領域境界部の歪みが軽減
できる。
に決まらない部分の動ベクトルを内挿計算により定めて
動き補償処理を行なうことで、領域全体としての輪郭を
保ちつつ予測画像が生成でき、領域境界部の歪みが軽減
できる。
【００７６】さらに、予測画像は視覚的に不自然な歪み
は発生しにくいので、予測誤差を符号化する手段と組合
わせた場合に、少ない符号量を使うだけで、視覚的に良
好な画像を得ることができ、超低レートの動画像符号化
装置を構成することも可能である。
は発生しにくいので、予測誤差を符号化する手段と組合
わせた場合に、少ない符号量を使うだけで、視覚的に良
好な画像を得ることができ、超低レートの動画像符号化
装置を構成することも可能である。
【図１】本発明における動き補償装置の一実施例を示す
ブロック図。
ブロック図。
【図２】本発明における動き補償予測値が与えられない
部分の予測値の決定法を説明するための図である。
部分の予測値の決定法を説明するための図である。
【図３】本発明における動き補償予測値が複数与えられ
る部分の予測値の決定法を説明するための図である。
る部分の予測値の決定法を説明するための図である。
【図４】参照画像の領域分割に基づく動き補償装置を説
明するための図である。
明するための図である。
【図５】本発明における動き補償予測値が与えられない
部分の処理を説明するための図である。
部分の処理を説明するための図である。
【図６】本発明における動き補償予測値が複数与えられ
る部分の処理を説明するための図である。
る部分の処理を説明するための図である。
１０１ 動き補償手段 １０２ 予測値修正手段。 １ 参照画像 ２ 入力画像 ３ 初期予測画像 ４ 予測値修正用情報 ５ 動き補償予測画像。
Claims (2)
- 【請求項１】 動画像の符号化に用いる動き補償フレー
ム間予測において、参照画像を複数の領域に分割し、前
記分割領域単位に動きの補償を行ない、初期動き補償予
測画像を出力するとともに、前記領域単位の動き補償に
用いた領域分割情報、領域ごとの動き情報、前記初期動
き補償予測画像上で予測値が与えられていない画素位置
の情報を予測値修正情報として出力する動き補償予測手
段と、前記予測値修正情報を参照し、前記動き補償予測
画像上で、前記手段により予測値が与えられていない画
素に対し、当該画素の近傍にある複数の領域の動き情報
から、当該画素位置での動きベクトルを内挿計算により
求めて、当該画素位置での予測値を決定し、動き補償予
測画像を修正する予測値修正手段とを備えることを特徴
とする動き補償予測装置。 - 【請求項２】 動画像の符号化に用いる動き補償フレー
ム間予測において、参照画像を複数の領域に分割し、前
記分割領域単位に動きの補償を行ない、初期動き補償予
測画像を出力するとともに、前記領域単位の動き補償に
用いた領域分割情報、領域ごとの動き情報、前記動き補
償において予測値が複数個検出された画素位置の情報を
予測値修正情報として出力する動き補償予測手段と、前
記予測値修正情報を参照し、前記動き補償予測画像上
で、前記手段により予測値が複数個検出された画素に対
し、当該画素の近傍にある複数の領域の動き情報から、
当該画素位置での動きベクトルを内挿計算により求め
て、当該画素位置での予測値を決定し、動き補償予測画
像を修正する予測値修正手段とを備えることを特徴とす
る動き補償予測装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24098493A JP2590705B2 (ja) | 1993-09-28 | 1993-09-28 | 動き補償予測装置 |
| US08/308,449 US5715006A (en) | 1993-09-28 | 1994-09-19 | apparatus for and method of motion compensation with boundarycorrection for moving picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24098493A JP2590705B2 (ja) | 1993-09-28 | 1993-09-28 | 動き補償予測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0799661A true JPH0799661A (ja) | 1995-04-11 |
| JP2590705B2 JP2590705B2 (ja) | 1997-03-12 |
Family
ID=17067595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24098493A Expired - Lifetime JP2590705B2 (ja) | 1993-09-28 | 1993-09-28 | 動き補償予測装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5715006A (ja) |
| JP (1) | JP2590705B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008311781A (ja) * | 2007-06-12 | 2008-12-25 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687405B1 (en) * | 1996-11-13 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Image segmentation |
| KR100243225B1 (ko) * | 1997-07-16 | 2000-02-01 | 윤종용 | 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터 |
| KR100327103B1 (ko) * | 1998-06-03 | 2002-09-17 | 한국전자통신연구원 | 사용자의조력및물체추적에의한영상객체분할방법 |
| US7116800B2 (en) * | 2001-05-30 | 2006-10-03 | Eaton Corporation | Image segmentation system and method |
| JP4239091B2 (ja) * | 2004-02-09 | 2009-03-18 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
| GB2444529A (en) * | 2006-12-06 | 2008-06-11 | Sony Uk Ltd | Motion adaptive image processing |
| CN101656879B (zh) * | 2008-08-18 | 2011-09-07 | 宏碁股份有限公司 | 视频编码的方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2670923A1 (fr) * | 1990-12-21 | 1992-06-26 | Philips Lab Electronique | Dispositif de correlation. |
| US5455629A (en) * | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
| US5151784A (en) * | 1991-04-30 | 1992-09-29 | At&T Bell Laboratories | Multiple frame motion estimation |
| JP2507204B2 (ja) * | 1991-08-30 | 1996-06-12 | 松下電器産業株式会社 | 映像信号符号化装置 |
| JP2611591B2 (ja) * | 1991-10-31 | 1997-05-21 | 日本ビクター株式会社 | 動き補償装置 |
| US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
| US5309237A (en) * | 1992-03-31 | 1994-05-03 | Siemens Corporate Research, Inc. | Apparatus and method of compensating image-sequences for motion |
| US5367385A (en) * | 1992-05-07 | 1994-11-22 | Picturetel Corporation | Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks |
| KR0152013B1 (ko) * | 1992-05-08 | 1998-10-15 | 강진구 | 가변장부호화를 고려한 움직임추정장치 |
| KR0148130B1 (ko) * | 1992-05-18 | 1998-09-15 | 강진구 | 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치 |
| KR0166717B1 (ko) * | 1992-06-18 | 1999-03-20 | 강진구 | 가변화면분할기법을 이용한 부호화/복호화방법 및 장치 |
| US5311305A (en) * | 1992-06-30 | 1994-05-10 | At&T Bell Laboratories | Technique for edge/corner detection/tracking in image frames |
| US5301019A (en) * | 1992-09-17 | 1994-04-05 | Zenith Electronics Corp. | Data compression system having perceptually weighted motion vectors |
| US5329379A (en) * | 1992-10-22 | 1994-07-12 | International Business Machines Corporation | System and method of measuring fidelity of decompressed video signals and images |
| US5367629A (en) * | 1992-12-18 | 1994-11-22 | Sharevision Technology, Inc. | Digital video compression system utilizing vector adaptive transform |
| KR950014343B1 (ko) * | 1993-05-20 | 1995-11-24 | 한국방송공사 | 고화질 티브(hdtv)의 화상데이타 움직임 추정방법 및 그 장치 |
| US5347311A (en) * | 1993-05-28 | 1994-09-13 | Intel Corporation | Method and apparatus for unevenly encoding error images |
| KR970009302B1 (en) * | 1993-08-17 | 1997-06-10 | Lg Electronics Inc | Block effect reducing apparatus for hdtv |
| US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
-
1993
- 1993-09-28 JP JP24098493A patent/JP2590705B2/ja not_active Expired - Lifetime
-
1994
- 1994-09-19 US US08/308,449 patent/US5715006A/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008311781A (ja) * | 2007-06-12 | 2008-12-25 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2590705B2 (ja) | 1997-03-12 |
| US5715006A (en) | 1998-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6229570B1 (en) | Motion compensation image interpolation—frame rate conversion for HDTV | |
| KR0171154B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치 | |
| JP2738325B2 (ja) | 動き補償フレーム間予測装置 | |
| KR0181063B1 (ko) | 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 | |
| JP3269960B2 (ja) | ブロック化現象除去のための後処理装置及びその方法 | |
| WO2006137253A1 (ja) | 画像生成装置および画像生成方法 | |
| KR0174454B1 (ko) | 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 | |
| JPH0799660A (ja) | 動き補償予測装置 | |
| US8144775B2 (en) | Method and device for generating candidate motion vectors from selected spatial and temporal motion vectors | |
| KR0178229B1 (ko) | 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 | |
| JP2006513478A (ja) | 効率的な予測画像のパラメータの推定 | |
| JP2590705B2 (ja) | 動き補償予測装置 | |
| EP2362655B1 (en) | Motion-vector estimation | |
| JP4796696B2 (ja) | ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体 | |
| US8682103B2 (en) | Image processing device, image processing method and image processing program | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP3268258B2 (ja) | ２次元三角パッチ線格子モデルを用いた動画像の動き推定方法 | |
| JP3786300B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JPH0865680A (ja) | 画像符号化装置及び画像復号装置 | |
| JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| Hong | Low-complexity occlusion handling for motion-compensated frame rate up-conversion | |
| JP4824712B2 (ja) | 動き推定精度推定方法、動き推定精度推定装置、動き推定精度推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3255656B2 (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19961022 |