JPH09200771A - 動画像の動き補償予測符号化方法および符号化器 - Google Patents
動画像の動き補償予測符号化方法および符号化器Info
- Publication number
- JPH09200771A JPH09200771A JP582096A JP582096A JPH09200771A JP H09200771 A JPH09200771 A JP H09200771A JP 582096 A JP582096 A JP 582096A JP 582096 A JP582096 A JP 582096A JP H09200771 A JPH09200771 A JP H09200771A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel
- image
- motion
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 動画像の動き補償予測誤差符号化方法におい
て、予測効率を改善する。 【解決手段】 多角形パッチDEFGでは縦方向に動物
体境界が存在するため、境界線の右側の画素の画素単位
動ベクトルについては該画素が属する領域内にある頂点
EとGの頂点動ベクトルの影響を大きくし、該画素が属
する領域と異なる領域にある頂点DとFの頂点動ベクト
ルの影響を小さくする。
て、予測効率を改善する。 【解決手段】 多角形パッチDEFGでは縦方向に動物
体境界が存在するため、境界線の右側の画素の画素単位
動ベクトルについては該画素が属する領域内にある頂点
EとGの頂点動ベクトルの影響を大きくし、該画素が属
する領域と異なる領域にある頂点DとFの頂点動ベクト
ルの影響を小さくする。
Description
【0001】
【発明の属する技術分野】本発明は、画像通信、画像記
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、特に動ベクトル内挿による、動画像の動き補償
予測符号化方法に関する。
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、特に動ベクトル内挿による、動画像の動き補償
予測符号化方法に関する。
【0002】
【従来の技術】動画像のディジタル圧縮符号化におい
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。
【0003】このフレーム間予測では、通常、符号化対
象画像を16画素×16ライン等の矩形ブロックに区切
り、各ブロックごとに、動きを求める対象となっている
ブロックを中心とする探索範囲を予測参照画像内に設定
し、その範囲内で対象ブロックを平行移動させながら、
対象ブロックと最も類似するブロックを、絶対値差分や
差分自乗和等を評価関数として使用することで探し出
し、参照画像との相対位置を動ベクトル(vx ,vy )
として検出する。
象画像を16画素×16ライン等の矩形ブロックに区切
り、各ブロックごとに、動きを求める対象となっている
ブロックを中心とする探索範囲を予測参照画像内に設定
し、その範囲内で対象ブロックを平行移動させながら、
対象ブロックと最も類似するブロックを、絶対値差分や
差分自乗和等を評価関数として使用することで探し出
し、参照画像との相対位置を動ベクトル(vx ,vy )
として検出する。
【0004】符号化対象画像の座標(x,y)上の画像
データと最もよくマッチングする画像は、予測参照画像
中の座標(xr ,yr )上の画像データとして次式
(1)のように対応づけられる。
データと最もよくマッチングする画像は、予測参照画像
中の座標(xr ,yr )上の画像データとして次式
(1)のように対応づけられる。
【0005】
【数1】 このように、予測参照画像中の同じ位置(x,y)のブ
ロックではなく、この動ベクトル(vx ,vy )分平行
移動した位置のブロックを予測画像とし、この予測画像
と符号化対象画像との差分(動き補償予測誤差)信号を
符号化することにより、動画像のフレーム間相関は飛躍
的に向上し、フレーム間予測効率を大幅に向上させこと
が可能になる。さらに、動き補償予測誤差信号に対して
離散コサイン変換(DCT:Discrete Cosine Transfro
m)やサブバンド分割を施すことにより、空間方向の冗長
性も抑圧され、一層の情報圧縮が図られる。このため、
テレビ電話/会議用ビデオ符号化ITU−T H.26
1、蓄積用ビデオ符号化ISO/IEC11172(M
PEG−1)等では、動き補償フレーム間予測による残
差信号をDCT符号化するハイブリッド符号化構成が採
用されている。
ロックではなく、この動ベクトル(vx ,vy )分平行
移動した位置のブロックを予測画像とし、この予測画像
と符号化対象画像との差分(動き補償予測誤差)信号を
符号化することにより、動画像のフレーム間相関は飛躍
的に向上し、フレーム間予測効率を大幅に向上させこと
が可能になる。さらに、動き補償予測誤差信号に対して
離散コサイン変換(DCT:Discrete Cosine Transfro
m)やサブバンド分割を施すことにより、空間方向の冗長
性も抑圧され、一層の情報圧縮が図られる。このため、
テレビ電話/会議用ビデオ符号化ITU−T H.26
1、蓄積用ビデオ符号化ISO/IEC11172(M
PEG−1)等では、動き補償フレーム間予測による残
差信号をDCT符号化するハイブリッド符号化構成が採
用されている。
【0006】ITU−T(前CCITT)勧告H.26
1は、「p×64kb/sオーディオビジュアルサービ
ス用ビデオ符号化方式」と題され、64kb/s(p=
1)から2Mb/s(p=30)までのビットレートを
用いる通信用のビデオ符号化標準である。標準化の作業
開始は1984年12月、勧告成立は1990年12月
である。アプリケーションとしてはテレビ電話、テレビ
会議等が挙げられる。H.261は動画像信号の時間冗
長度を動き補償予測により抑圧し、各フレームの空間的
冗長度を離散コサイン変換(DCT)符号化により抑圧
する。
1は、「p×64kb/sオーディオビジュアルサービ
ス用ビデオ符号化方式」と題され、64kb/s(p=
1)から2Mb/s(p=30)までのビットレートを
用いる通信用のビデオ符号化標準である。標準化の作業
開始は1984年12月、勧告成立は1990年12月
である。アプリケーションとしてはテレビ電話、テレビ
会議等が挙げられる。H.261は動画像信号の時間冗
長度を動き補償予測により抑圧し、各フレームの空間的
冗長度を離散コサイン変換(DCT)符号化により抑圧
する。
【0007】以下、図3を用いてH.261の符号化ア
ルゴリズムを簡単に説明する。
ルゴリズムを簡単に説明する。
【0008】まず、符号化対象画像1は正方形パターン
40と共に動き検出部41に入力され、16画素×16
ラインのマクロブロックと称される正方形ブロックに分
割される。動き検出部41では、符号化対象画像1の中
の各マクロブロックごとに、参照画像との間の動き量を
検出し、得られた動ベクトル42をブロック動き補償部
43に送る。ここで、各マクロブロックの動ベクトル
は、参照画像において、着目マクロブロックとのマッチ
ング度が最も高いブロックの座標と、着目マクロブロッ
クの座標との変位として表わされる。動ベクトルの探索
範囲は、着目マクロブロックの座標とその周囲の±15
画素×±15ラインに制限される。
40と共に動き検出部41に入力され、16画素×16
ラインのマクロブロックと称される正方形ブロックに分
割される。動き検出部41では、符号化対象画像1の中
の各マクロブロックごとに、参照画像との間の動き量を
検出し、得られた動ベクトル42をブロック動き補償部
43に送る。ここで、各マクロブロックの動ベクトル
は、参照画像において、着目マクロブロックとのマッチ
ング度が最も高いブロックの座標と、着目マクロブロッ
クの座標との変位として表わされる。動ベクトルの探索
範囲は、着目マクロブロックの座標とその周囲の±15
画素×±15ラインに制限される。
【0009】次に、ブロック動き補償部43では、各マ
クロブロックの動ベクトル42とフレームメモリ5に蓄
積された直前フレームの局部復号画像6とから動き補償
予測画像15を生成する。ここで得られた動き補償予測
画像15は符号化対象画像1と共に減算器16に入力さ
れる。両者の差分、すなわち動き補償予測誤差1はDC
T/量子化部44においてDCT変換され、さらに量子
化されて圧縮差分データ19となる。ここで、DCTの
ブロックサイズは8×8である。圧縮差分データ19
(量子化インデックス)は差分データ符号化部20にお
いてデータ圧縮され、差分画像符号化データ21とな
る。一方、動ベクトル42は動ベクトル符号化部26に
おいて符号化され、得られた動ベクトル符号化データ2
7は差分画像符号化データ21と共に多重化部28にて
多重化され、多重化データ29として伝送される。
クロブロックの動ベクトル42とフレームメモリ5に蓄
積された直前フレームの局部復号画像6とから動き補償
予測画像15を生成する。ここで得られた動き補償予測
画像15は符号化対象画像1と共に減算器16に入力さ
れる。両者の差分、すなわち動き補償予測誤差1はDC
T/量子化部44においてDCT変換され、さらに量子
化されて圧縮差分データ19となる。ここで、DCTの
ブロックサイズは8×8である。圧縮差分データ19
(量子化インデックス)は差分データ符号化部20にお
いてデータ圧縮され、差分画像符号化データ21とな
る。一方、動ベクトル42は動ベクトル符号化部26に
おいて符号化され、得られた動ベクトル符号化データ2
7は差分画像符号化データ21と共に多重化部28にて
多重化され、多重化データ29として伝送される。
【0010】なお、復号器と同じ復号画像を符号化器内
でも得るため、圧縮差分データ19(量子化インデック
ス)は逆DCT/量子化部45で量子化代表値に戻さ
れ、さらに逆DCT変換された後、復号差分画像23と
なる。復号差分画像23と動き補償予測画像15は加算
器24で加算され、局部復号画像25となる。この局部
復号画像25はフレームメモリ5に蓄積され、次のフレ
ーム符号化時に参照画像として用いられる。
でも得るため、圧縮差分データ19(量子化インデック
ス)は逆DCT/量子化部45で量子化代表値に戻さ
れ、さらに逆DCT変換された後、復号差分画像23と
なる。復号差分画像23と動き補償予測画像15は加算
器24で加算され、局部復号画像25となる。この局部
復号画像25はフレームメモリ5に蓄積され、次のフレ
ーム符号化時に参照画像として用いられる。
【0011】
【発明が解決しようとする課題】上記従来の動き補償予
測方法は、16画素×16ライン等の矩形ブロックを1
つの剛体とみなし、各ブロックの平行移動のみを補償す
るものである。したがって、被写体の拡大・縮小・回転
等の変形を補償することは不可能である。すなわち、物
体の変形を伴う場合には予測効率が大幅に低下するとい
う問題がある。また、ブロック単位の予測であるため、
予測画像中にブロック状の不連続歪みが発生する。特に
動きの激しい部分ではこの不連続歪みは顕著となり、予
測誤差画像の符号化に十分な符号量を割り当てることの
できない低レート符号化時には、視覚的に大きな妨害と
なる。
測方法は、16画素×16ライン等の矩形ブロックを1
つの剛体とみなし、各ブロックの平行移動のみを補償す
るものである。したがって、被写体の拡大・縮小・回転
等の変形を補償することは不可能である。すなわち、物
体の変形を伴う場合には予測効率が大幅に低下するとい
う問題がある。また、ブロック単位の予測であるため、
予測画像中にブロック状の不連続歪みが発生する。特に
動きの激しい部分ではこの不連続歪みは顕著となり、予
測誤差画像の符号化に十分な符号量を割り当てることの
できない低レート符号化時には、視覚的に大きな妨害と
なる。
【0012】上記問題点を解決するための手段として、
符号化対象画像を三角形または四角形にパッチ分割し、
各パッチの頂点の動ベクトルを空間変換により内挿して
画素ごとの動き補償を行う方法が提案されている。代表
的な例として、Gary J. Sullivanらによる“Motion Com
pensation for Video Compression Using Control Grid
Interpolation”(IEEE ICASSP '91, pp. 2713-2716,
1991年)を図4により簡単に説明する。
符号化対象画像を三角形または四角形にパッチ分割し、
各パッチの頂点の動ベクトルを空間変換により内挿して
画素ごとの動き補償を行う方法が提案されている。代表
的な例として、Gary J. Sullivanらによる“Motion Com
pensation for Video Compression Using Control Grid
Interpolation”(IEEE ICASSP '91, pp. 2713-2716,
1991年)を図4により簡単に説明する。
【0013】まず、符号化対象画像1を16画素×16
ライン等の正方形パッチに分割し、動き検出部3で、各
パッチの頂点の動ベクトル4を求める。次に、各パッチ
ごとに4つの頂点動ベクトル4から動ベクトル内挿部1
2において画素単位の動ベクトル13を計算する。図7
に示すような、頂点A,B,C,Dにおける動ベクトル
をそれぞれ
ライン等の正方形パッチに分割し、動き検出部3で、各
パッチの頂点の動ベクトル4を求める。次に、各パッチ
ごとに4つの頂点動ベクトル4から動ベクトル内挿部1
2において画素単位の動ベクトル13を計算する。図7
に示すような、頂点A,B,C,Dにおける動ベクトル
をそれぞれ
【0014】
【外1】 とすると、正方形ABCD内の座標(x,y)における
内挿ベクトル
内挿ベクトル
【0015】
【外2】 は次の式(2)により計算される。
【0016】
【数2】 この空間変換方法は共一次内挿(Bi-linear interpolat
ion)と呼ばれる。これにより動ベクトル値は画素ごとに
滑らかに変化し、ブロック境界においても動ベクトルは
滑らかに接続される。こうして得られた画素単位の動ベ
クトル13を用い、画素単位動き補償部14において画
素ごとの動き補償予測を行うことにより、ブロック内の
全ての画素に同じ動ベクトル値を与えていた従来の動き
補償予測方法に比べ、予測画像中にブロック状の不連続
歪みが発生しないという利点がある。さらに、図5
(1)〜(4)に示されるように、拡大、縮小、回転、
変形等の動きも補償することができ、予測効率を一層向
上させることができる。
ion)と呼ばれる。これにより動ベクトル値は画素ごとに
滑らかに変化し、ブロック境界においても動ベクトルは
滑らかに接続される。こうして得られた画素単位の動ベ
クトル13を用い、画素単位動き補償部14において画
素ごとの動き補償予測を行うことにより、ブロック内の
全ての画素に同じ動ベクトル値を与えていた従来の動き
補償予測方法に比べ、予測画像中にブロック状の不連続
歪みが発生しないという利点がある。さらに、図5
(1)〜(4)に示されるように、拡大、縮小、回転、
変形等の動きも補償することができ、予測効率を一層向
上させることができる。
【0017】しかし、正方形パッチ内に動領域境界が存
在する場合、この動領域境界をまたいで動ベクトル内挿
を行うと、予測画像が歪む問題が生じる。図6(1),
(2)の例に示されるように、静止している背景に対し
て動物体が重なる場合には境界部分が縮み、逆に、動物
体が離れる場合には境界部分が伸びる弊害が生じる。こ
のことは予測効率のみならず予測画像の品質を下げてし
まう。
在する場合、この動領域境界をまたいで動ベクトル内挿
を行うと、予測画像が歪む問題が生じる。図6(1),
(2)の例に示されるように、静止している背景に対し
て動物体が重なる場合には境界部分が縮み、逆に、動物
体が離れる場合には境界部分が伸びる弊害が生じる。こ
のことは予測効率のみならず予測画像の品質を下げてし
まう。
【0018】この問題を解決するための手段として、宮
本は“被写体輪郭に適応した動き補償方式”(1993
年画像符号化シンポジウムPCSJ’93,2−11,
1994年10月)を提案した。この手法では、図7の
例に示されるように、動物体境界の位置に応じた適応的
な動ベクトル内挿が行われる。例えば、正方形BCEF
について縦方向に動物体境界が存在するため、境界線の
右側については、頂点CとFの動ベクトルのみから内挿
する。また、正方形DEGHについては右辺から下辺に
向かって境界線が存在しているため、境界線の左上部分
については、頂点D,E,Gの3つの動ベクトルから内
挿する。境界線の右下部分については、頂点Hの動ベク
トルをそのまま用いる。すなわち、動ベクトル内挿を用
いて画素単位の動ベクトルを抽出する際に、領域境界を
またいでの動ベクトルの利用を全く行わないことにこの
手法の特徴がある。
本は“被写体輪郭に適応した動き補償方式”(1993
年画像符号化シンポジウムPCSJ’93,2−11,
1994年10月)を提案した。この手法では、図7の
例に示されるように、動物体境界の位置に応じた適応的
な動ベクトル内挿が行われる。例えば、正方形BCEF
について縦方向に動物体境界が存在するため、境界線の
右側については、頂点CとFの動ベクトルのみから内挿
する。また、正方形DEGHについては右辺から下辺に
向かって境界線が存在しているため、境界線の左上部分
については、頂点D,E,Gの3つの動ベクトルから内
挿する。境界線の右下部分については、頂点Hの動ベク
トルをそのまま用いる。すなわち、動ベクトル内挿を用
いて画素単位の動ベクトルを抽出する際に、領域境界を
またいでの動ベクトルの利用を全く行わないことにこの
手法の特徴がある。
【0019】前記の動物体境界に適応した動ベクトル内
挿手法により、単純な動ベクトル内挿に比べ予測誤差電
力を一層低減することができる。しかしながら、符号化
器で用いた領域形状を復号器内でも再現する必要があ
り、領域形状を符号化対象画像から取得した場合、領域
形状を復号器側に符号化伝送しなければならない。領域
形状情報の符号化には例えばチェイン符号化等が用いら
れるが、領域形状が複雑になると莫大な符号量を発生す
るため、低レート時等では領域形状を大まかに近似しな
ければいけなくなる。この際、領域形状に視覚的に妨害
となる歪みが生じる。また、領域分割は極めて入力画像
に依存するものであるので、領域分割は極めて難しく、
領域分割が正確に行われない。この方法では、異なる領
域をまたいでの頂点動ベクトルの利用が全く行われない
ため、誤って得られた領域境界および頂点動ベクトルを
元に符号化を行うとかえって物体境界で非常に視覚的に
妨害となる歪みが生じる。
挿手法により、単純な動ベクトル内挿に比べ予測誤差電
力を一層低減することができる。しかしながら、符号化
器で用いた領域形状を復号器内でも再現する必要があ
り、領域形状を符号化対象画像から取得した場合、領域
形状を復号器側に符号化伝送しなければならない。領域
形状情報の符号化には例えばチェイン符号化等が用いら
れるが、領域形状が複雑になると莫大な符号量を発生す
るため、低レート時等では領域形状を大まかに近似しな
ければいけなくなる。この際、領域形状に視覚的に妨害
となる歪みが生じる。また、領域分割は極めて入力画像
に依存するものであるので、領域分割は極めて難しく、
領域分割が正確に行われない。この方法では、異なる領
域をまたいでの頂点動ベクトルの利用が全く行われない
ため、誤って得られた領域境界および頂点動ベクトルを
元に符号化を行うとかえって物体境界で非常に視覚的に
妨害となる歪みが生じる。
【0020】本発明の目的は、動き補償による予測効率
が改善された動き補償予測誤差符号化方法および符号化
器を提供することにある。
が改善された動き補償予測誤差符号化方法および符号化
器を提供することにある。
【0021】
【課題を解決するための手段】本発明の、動画像の動き
補償予測符号化方法は、符号化対象画像を多角形パッチ
に分割し、符号化対象画像と予測参照画像との間の動き
ベクトルを前記多角形パッチの各頂点ごとに検出し、検
出された頂点の動ベクトルより多角形パッチ内の各画素
の動ベクトルを求め、画素ごとの動き補償を行って予測
画像を生成し、該予測画像と符号化対象画像との差分を
符号化する、動画像の動き補償予測符号化方法であっ
て、当該画素と、当該画素を含む多角形パッチの頂点と
の間の距離と、あらかじめ求めておいた符号化対象画像
の領域形状情報とに基づき、当該画素を含む多角形パッ
チの各頂点の動ベクトルを重みづけして各頂点の動ベク
トルの当該画素への影響の度合を変えることで、多角形
パッチ内の任意の画素の動ベクトルを求める、動画像の
動き補償予測符号化方法において、前記領域形状情報で
ある、動物体の境界が存在する前記多角形パッチ内の任
意の画素の動ベクトルを求めるにあたり、該画素が属す
る領域と同じ領域内にある前記多角形パッチの頂点の動
ベクトルのみならず、該画素が属する領域と異なる領域
内にある前記多角形パッチの頂点の、動ベクトルを用
い、かつ後者の動ベクトルの画素への影響の度合を前者
の動ベクトルの画素への影響の度合よりも小さくするこ
とを特徴とする。
補償予測符号化方法は、符号化対象画像を多角形パッチ
に分割し、符号化対象画像と予測参照画像との間の動き
ベクトルを前記多角形パッチの各頂点ごとに検出し、検
出された頂点の動ベクトルより多角形パッチ内の各画素
の動ベクトルを求め、画素ごとの動き補償を行って予測
画像を生成し、該予測画像と符号化対象画像との差分を
符号化する、動画像の動き補償予測符号化方法であっ
て、当該画素と、当該画素を含む多角形パッチの頂点と
の間の距離と、あらかじめ求めておいた符号化対象画像
の領域形状情報とに基づき、当該画素を含む多角形パッ
チの各頂点の動ベクトルを重みづけして各頂点の動ベク
トルの当該画素への影響の度合を変えることで、多角形
パッチ内の任意の画素の動ベクトルを求める、動画像の
動き補償予測符号化方法において、前記領域形状情報で
ある、動物体の境界が存在する前記多角形パッチ内の任
意の画素の動ベクトルを求めるにあたり、該画素が属す
る領域と同じ領域内にある前記多角形パッチの頂点の動
ベクトルのみならず、該画素が属する領域と異なる領域
内にある前記多角形パッチの頂点の、動ベクトルを用
い、かつ後者の動ベクトルの画素への影響の度合を前者
の動ベクトルの画素への影響の度合よりも小さくするこ
とを特徴とする。
【0022】また、本発明の動画像の動き補償予測符号
化器は、符号化対象画像と多角形パターンを入力し、多
角形パッチの頂点の動ベクトルである頂点動ベクトルを
求める動き検出部と、前記符号化対象画像を入力し、領
域分割し、領域形状情報を生成する領域境界検出部と、
前記頂点動ベクトルと前記多角形パターンと前記領域形
状情報とを入力し、当該画素と、当該画素を含む多角形
パッチの頂点との間の距離と、前記領域形状情報に基づ
き、当該画素を含む多角形パッチの各頂点の動ベクトル
を重みづけして各頂点の動ベクトルの当該画素への影響
の度合を変えることで、多角形パッチ内の任意の画素の
動ベクトルを求め、前記領域形状情報である、動物体の
境界が存在する多角形パッチ内の画素の動ベクトルを求
める場合には、該画素が属する領域と同じ領域内にある
前記多角形パッチの頂点の動ベクトルのみならず、該画
素が属する領域と異なる領域内にある前記多角形パッチ
の頂点の動ベクトルを用い、かつ後者の動ベクトルの該
画素への影響の度合を前者の動ベクトルの該画素への影
響の度合よりも小さくする画素単位動ベクトル検出部
と、局部復号画像を蓄えるフレームメモリと、前記画素
単位の動ベクトルと、前記フレームメモリから出力され
た局部復号画像を入力し、動き補償予測画像を生成する
画素単位動き補償部と、前記符号化対象画像と前記動き
補償予測画像の差分である動き補償予測誤差を生成する
減算器と、前記動き補償予測誤差を入力し、空間冗長度
を抑圧し、圧縮差分データを出力する空間冗長度圧縮部
と、前記圧縮差分データを入力し、伸長差分画像に復号
する差分データ伸長部と、前記動き補償予測画像と前記
伸長差分画像を加算して前記局部復号画像を生成し、前
記フレームメモリに蓄積する加算器と、前記圧縮差分デ
ータを符号化し、差分画像符号化データを出力する差分
データ符号化部と、前記領域形状情報を圧縮符号化し、
領域形状符号化データを出力する領域形状符号化部と、
前記頂点動ベクトルを圧縮符号化し、動ベクトル符号化
データを出力する動ベクトル符号化部と、差分画像符号
化データと領域形状符号化データと動ベクトル符号化デ
ータを多重化する多重化部を有する。
化器は、符号化対象画像と多角形パターンを入力し、多
角形パッチの頂点の動ベクトルである頂点動ベクトルを
求める動き検出部と、前記符号化対象画像を入力し、領
域分割し、領域形状情報を生成する領域境界検出部と、
前記頂点動ベクトルと前記多角形パターンと前記領域形
状情報とを入力し、当該画素と、当該画素を含む多角形
パッチの頂点との間の距離と、前記領域形状情報に基づ
き、当該画素を含む多角形パッチの各頂点の動ベクトル
を重みづけして各頂点の動ベクトルの当該画素への影響
の度合を変えることで、多角形パッチ内の任意の画素の
動ベクトルを求め、前記領域形状情報である、動物体の
境界が存在する多角形パッチ内の画素の動ベクトルを求
める場合には、該画素が属する領域と同じ領域内にある
前記多角形パッチの頂点の動ベクトルのみならず、該画
素が属する領域と異なる領域内にある前記多角形パッチ
の頂点の動ベクトルを用い、かつ後者の動ベクトルの該
画素への影響の度合を前者の動ベクトルの該画素への影
響の度合よりも小さくする画素単位動ベクトル検出部
と、局部復号画像を蓄えるフレームメモリと、前記画素
単位の動ベクトルと、前記フレームメモリから出力され
た局部復号画像を入力し、動き補償予測画像を生成する
画素単位動き補償部と、前記符号化対象画像と前記動き
補償予測画像の差分である動き補償予測誤差を生成する
減算器と、前記動き補償予測誤差を入力し、空間冗長度
を抑圧し、圧縮差分データを出力する空間冗長度圧縮部
と、前記圧縮差分データを入力し、伸長差分画像に復号
する差分データ伸長部と、前記動き補償予測画像と前記
伸長差分画像を加算して前記局部復号画像を生成し、前
記フレームメモリに蓄積する加算器と、前記圧縮差分デ
ータを符号化し、差分画像符号化データを出力する差分
データ符号化部と、前記領域形状情報を圧縮符号化し、
領域形状符号化データを出力する領域形状符号化部と、
前記頂点動ベクトルを圧縮符号化し、動ベクトル符号化
データを出力する動ベクトル符号化部と、差分画像符号
化データと領域形状符号化データと動ベクトル符号化デ
ータを多重化する多重化部を有する。
【0023】従来の動ベクトル内挿動き補償方法を用い
ることで逆に効率が低下してしまう物体の動領域境界に
おいても、本方法を用いて画素単位動ベクトルを求める
ことにより、予測画像に歪みが生じず、同一被写体領域
内での隣接がその動きの連続性を保証しつつ物体の動領
域境界での歪みを減少させることが可能になる。
ることで逆に効率が低下してしまう物体の動領域境界に
おいても、本方法を用いて画素単位動ベクトルを求める
ことにより、予測画像に歪みが生じず、同一被写体領域
内での隣接がその動きの連続性を保証しつつ物体の動領
域境界での歪みを減少させることが可能になる。
【0024】また、異なる領域内にある頂点動ベクトル
も、影響を下げつつ利用するので、領域境界抽出が不完
全でも、視覚的に大きな妨害にはならない。
も、影響を下げつつ利用するので、領域境界抽出が不完
全でも、視覚的に大きな妨害にはならない。
【0025】
【発明の実施の形態】次に、本発明の実施形態を図面を
参照して説明する。
参照して説明する。
【0026】図1は本発明の一実施形態における動画像
の動き補償予測符号化方法を適用してなる符号化器の構
成を示す図である。図3、図4中と同符号は同じ機能を
有する。
の動き補償予測符号化方法を適用してなる符号化器の構
成を示す図である。図3、図4中と同符号は同じ機能を
有する。
【0027】本実施形態は図4の従来例に領域境界検出
部30と領域形状符号化部32が付加され、動ベクトル
内挿部12の代わりに画素単位動ベクトル検出部11を
備えている。
部30と領域形状符号化部32が付加され、動ベクトル
内挿部12の代わりに画素単位動ベクトル検出部11を
備えている。
【0028】本符号化器では、まず符号化対象画像1
が、多角形パターン2と共に動き検出部3に入力され、
各パッチの頂点の動ベクトル4が求められる。ここで、
多角形パターン2としては、直角三角形や正方形がよく
用いられる。また、頂点動ベクトル4は、頂点の一画素
マッチングや、頂点を中心とした任意の大きさ・形状の
多角形パッチによるマッチング法等で求めることができ
る。
が、多角形パターン2と共に動き検出部3に入力され、
各パッチの頂点の動ベクトル4が求められる。ここで、
多角形パターン2としては、直角三角形や正方形がよく
用いられる。また、頂点動ベクトル4は、頂点の一画素
マッチングや、頂点を中心とした任意の大きさ・形状の
多角形パッチによるマッチング法等で求めることができ
る。
【0029】また、同時に符号化対象画像1は、領域境
界検出部30に入力され、領域分割が行われ、領域形状
情報(動物体の境界)31が生成される。領域分割の手
段としては領域成長法、K平均クラスタリング、Sob
elフィルタ等、あらゆるアルゴリズムを適用すること
ができる。これらの領域分割の手法については、「画像
解析ハンドブック」(高木幹雄、下田陽久監修。東京大
学出版会、1991年1月)に詳しい。
界検出部30に入力され、領域分割が行われ、領域形状
情報(動物体の境界)31が生成される。領域分割の手
段としては領域成長法、K平均クラスタリング、Sob
elフィルタ等、あらゆるアルゴリズムを適用すること
ができる。これらの領域分割の手法については、「画像
解析ハンドブック」(高木幹雄、下田陽久監修。東京大
学出版会、1991年1月)に詳しい。
【0030】領域形状情報31は頂点動ベクトル4、多
角形パターン2と共に画素単位動ベクトル検出部11に
入力される。画素単位動ベクトル検出部11では、図2
に示した方法により画素単位動ベクトル13を取得す
る。なお、図2では、多角形パターン2として、正方形
を用いている。
角形パターン2と共に画素単位動ベクトル検出部11に
入力される。画素単位動ベクトル検出部11では、図2
に示した方法により画素単位動ベクトル13を取得す
る。なお、図2では、多角形パターン2として、正方形
を用いている。
【0031】例えば、多角形パッチ(正方形)ABCD
のように、4頂点に囲まれた領域に領域境界線が存在し
ない領域内に位置する点のベクトル
のように、4頂点に囲まれた領域に領域境界線が存在し
ない領域内に位置する点のベクトル
【0032】
【外3】 は、式(3)により求められる。
【0033】
【数3】 ここにおいて、
【0034】
【外4】 が頂点動ベクトル
【0035】
【外5】 について、個別に、また一意に定義される重みづけ係数
である。例えば、式(4)に示すように、各頂点から該
画素までのユークリッド距離
である。例えば、式(4)に示すように、各頂点から該
画素までのユークリッド距離
【0036】
【外6】 の逆数を係数とすれば、
【0037】
【外7】 の値に対して単調に減少する。つまり、該画素から該頂
点までの距離が近いほど、その頂点動ベクトルの影響を
受けやすくなり、逆に、該頂点までの距離が遠いほど、
その頂点動ベクトルの影響を受けにくくなる。
点までの距離が近いほど、その頂点動ベクトルの影響を
受けやすくなり、逆に、該頂点までの距離が遠いほど、
その頂点動ベクトルの影響を受けにくくなる。
【0038】
【数4】 また、重みづけ係数
【0039】
【外8】 としては、式(4)に限らず、
【0040】
【外9】 の値に対し単調減少であればよいので、式(5)のよう
に、
に、
【0041】
【外10】 を定めてもよい。ここにおいて、Kは多角形パッチ(正
方形)の一辺の長さであり、
方形)の一辺の長さであり、
【0042】
【外11】 は多角形パッチ(正方形)の対角線の長さである。
【0043】
【数5】 一方、多角形パッチ(正方形)DEFGでは縦方向に動
物体境界が存在するため、境界線の右側の画素の画素単
位動ベクトルについては頂点DとFの頂点動ベクトルの
影響を小さくし、逆に頂点EとGの頂点動ベクトルの影
響を大きくするようにする。
物体境界が存在するため、境界線の右側の画素の画素単
位動ベクトルについては頂点DとFの頂点動ベクトルの
影響を小さくし、逆に頂点EとGの頂点動ベクトルの影
響を大きくするようにする。
【0044】
【数6】 多角形パッチ(正方形)FGHIについては上辺から左
辺に向かって境界線が存在しているため、(6)式にお
いて、境界線の左上部分の画素については、
辺に向かって境界線が存在しているため、(6)式にお
いて、境界線の左上部分の画素については、
【0045】
【外12】 を大きく、
【0046】
【外13】 を小さくし、逆に、境界線の右下部分の画素については
【0047】
【外14】 を小さくし、
【0048】
【外15】 を大きくする。
【0049】画素単位動ベクトル検出部11で求められ
た画素単位の動ベクトル13は、局部復号画像6と共に
画素単位動き補償部14に入力され、動き補償予測画像
15が生成される。動き補償予測画像15は符号化対象
画像1と共に減算器16に入力され、それらの差分デー
タ、すなわち動き補償予測誤差17は、空間冗長度圧縮
部18において空間冗長度の抑圧が行われる。現在の符
号化対象画像1の局部復号画像25を得るため、空間冗
長度圧縮部18より出力される圧縮差分データ19は差
分データ伸長部22にて伸長差分画像23に復号され
る。伸長差分画像23は空間冗長度を抑圧された動き補
償予測誤差信号である。伸長差分画像23は加算器24
にて動き補償予測画像15と加算され、現在の符号化対
象画像の局部復号画像25となる。局部復号画像25は
フレームメモリ5に蓄積され、以降のフレームの符号化
にて参照される。
た画素単位の動ベクトル13は、局部復号画像6と共に
画素単位動き補償部14に入力され、動き補償予測画像
15が生成される。動き補償予測画像15は符号化対象
画像1と共に減算器16に入力され、それらの差分デー
タ、すなわち動き補償予測誤差17は、空間冗長度圧縮
部18において空間冗長度の抑圧が行われる。現在の符
号化対象画像1の局部復号画像25を得るため、空間冗
長度圧縮部18より出力される圧縮差分データ19は差
分データ伸長部22にて伸長差分画像23に復号され
る。伸長差分画像23は空間冗長度を抑圧された動き補
償予測誤差信号である。伸長差分画像23は加算器24
にて動き補償予測画像15と加算され、現在の符号化対
象画像の局部復号画像25となる。局部復号画像25は
フレームメモリ5に蓄積され、以降のフレームの符号化
にて参照される。
【0050】一方、動き補償予測誤差13に対する圧縮
差分データ19は差分データ符号化部20にてデータ圧
縮符号化され、差分画像符号化データ21となる。領域
形状情報31は領域形状符号化部32にてデータ圧縮符
号化され、領域形状符号化データ33となる。頂点動ベ
クトル4は動ベクトル符号化部26にてデータ圧縮符号
化され、動ベクトル符号化データ27となる。差分画像
符号化データ21と領域形状符号化データ33と動ベク
トル符号化データ27は多重化部28において多重化さ
れ、多重化データ29として伝送または蓄積される。
差分データ19は差分データ符号化部20にてデータ圧
縮符号化され、差分画像符号化データ21となる。領域
形状情報31は領域形状符号化部32にてデータ圧縮符
号化され、領域形状符号化データ33となる。頂点動ベ
クトル4は動ベクトル符号化部26にてデータ圧縮符号
化され、動ベクトル符号化データ27となる。差分画像
符号化データ21と領域形状符号化データ33と動ベク
トル符号化データ27は多重化部28において多重化さ
れ、多重化データ29として伝送または蓄積される。
【0051】
【発明の効果】以上説明したように、本発明によれば、
動き補償を用いて予測画像を作成するにあたり、符号化
対象画像中の多角形パッチ内の各画素の動ベクトルを求
め、画素ごとの動き補償を行って、予測画像を生成し、
該予測画像と符号化対象画像との差分を符号化する動画
像の動き補償予測符号化方法において、多角形パッチ内
の任意の画素の動ベクトルを求めるにあたり、異なる領
域をまたいで、つまり当該画素が属する領域と異なる領
域中にある頂点動ベクトルを利用し、かつその影響の度
合を当該画素と同じ領域の頂点動ベクトルよりも小さく
して、画素単位動ベクトルを求めることにより、隣接画
素の動きの連続性を保証しつつ物体の動領域境界での歪
みを減少させるので、予測画像に歪みが生じず、予測効
率が大きく改善されるので、予測誤差画像の符号化に十
分な情報量をさくことが可能となる。
動き補償を用いて予測画像を作成するにあたり、符号化
対象画像中の多角形パッチ内の各画素の動ベクトルを求
め、画素ごとの動き補償を行って、予測画像を生成し、
該予測画像と符号化対象画像との差分を符号化する動画
像の動き補償予測符号化方法において、多角形パッチ内
の任意の画素の動ベクトルを求めるにあたり、異なる領
域をまたいで、つまり当該画素が属する領域と異なる領
域中にある頂点動ベクトルを利用し、かつその影響の度
合を当該画素と同じ領域の頂点動ベクトルよりも小さく
して、画素単位動ベクトルを求めることにより、隣接画
素の動きの連続性を保証しつつ物体の動領域境界での歪
みを減少させるので、予測画像に歪みが生じず、予測効
率が大きく改善されるので、予測誤差画像の符号化に十
分な情報量をさくことが可能となる。
【図1】本発明の動画像の動き補償符号化方法による符
号化器の構成を示す図である。
号化器の構成を示す図である。
【図2】図1の符号化器において、画素と多角形パッチ
の頂点との距離と、符号化対象画像の領域形状情報を用
いて、どのように画素単位の動ベクトルを求めるかを示
す図である。
の頂点との距離と、符号化対象画像の領域形状情報を用
いて、どのように画素単位の動ベクトルを求めるかを示
す図である。
【図3】従来のブロック単位の動き補償予測符号化方法
による符号化器の構成を示す図である。
による符号化器の構成を示す図である。
【図4】従来の動ベクトル内挿による動き補償予測符号
化方法による符号化器の構成を示す図である。
化方法による符号化器の構成を示す図である。
【図5】動ベクトル内挿動き補償により補償し得る物体
の動きの例を示す図である。
の動きの例を示す図である。
【図6】動ベクトル内挿により予測画像に歪みが生じる
様子を表わす図である。
様子を表わす図である。
【図7】輪郭線に適応した動ベクトル内挿の方法を示す
図である。
図である。
【符号の説明】 1 符号化対象画像 2 多角形パターン 3 動き検出部 4 頂点動ベクトル 5 フレームメモリ 6 局部復号画像 11 画素単位動ベクトル検出部 13 画素単位動ベクトル 14 画素単位動き補償部 15 動き補償予測画像 16 減算器 17 動き補償予測誤差 18 空間冗長度圧縮部 19 圧縮差分データ 20 差分データ符号化部 21 差分画像符号化データ 22 差分データ伸長部 23 伸長差分画像 24 加算器 25 局部復号画像 26 動ベクトル符号化部 27 動ベクトル符号化データ 28 多重化部 29 多重化データ 30 領域境界検出部 31 領域形状情報 32 領域形状符号化部 33 領域形状符号化データ 40 正方形パターン 41 動き検出部 42 動きベクトル 43 ブロック動き補償部 44 DCT/量子化部 45 逆DCT/量子化部
Claims (2)
- 【請求項1】 符号化対象画像を多角形パッチに分割
し、符号化対象画像と予測参照画像との間の動きベクト
ルを前記多角形パッチの各頂点ごとに検出し、検出され
た頂点の動ベクトルより多角形パッチ内の各画素の動ベ
クトルを求め、画素ごとの動き補償を行って予測画像を
生成し、該予測画像と符号化対象画像との差分を符号化
する、動画像の動き補償予測符号化方法であって、当該
画素と、当該画素を含む多角形パッチの頂点との間の距
離と、あらかじめ求めておいた符号化対象画像の領域形
状情報とに基づき、当該画素を含む多角形パッチの各頂
点の動ベクトルを重みづけして各頂点の動ベクトルの当
該画素への影響の度合を変えることで、多角形パッチ内
の任意の画素の動ベクトルを求める、動画像の動き補償
予測符号化方法において、 前記領域形状情報である、動物体の境界が存在する前記
多角形パッチ内の任意の画素の動ベクトルを求めるにあ
たり、該画素が属する領域と同じ領域内にある前記多角
形パッチの頂点の動ベクトルのみならず、該画素が属す
る領域と異なる領域内にある前記多角形パッチの頂点の
動ベクトルを用い、かつ後者の動ベクトルの画素への影
響の度合を前者の動ベクトルの画素への影響の度合より
も小さくすることを特徴とする、動画像の動き補償予測
符号化方法。 - 【請求項2】 符号化対象画像と多角形パターンを入力
し、多角形パッチの頂点の動ベクトルである頂点動ベク
トルを求める動き検出部と、 前記符号化対象画像を入力し、領域分割し、領域形状情
報を生成する領域境界検出部と、 前記頂点動ベクトルと前記多角形パターンと前記領域形
状情報とを入力し、当該画素と、当該画素を含む多角形
パッチの頂点との間の距離と、前記領域形状情報に基づ
き、当該画素を含む多角形パッチの各頂点の動ベクトル
を重みづけして各頂点の動ベクトルの当該画素への影響
の度合を変えることで、多角形パッチ内の任意の画素の
動ベクトルを求め、前記領域形状情報である、動物体の
境界が存在する多角形パッチ内の画素の動ベクトルを求
める場合には、該画素が属する領域と同じ領域内にある
前記多角形パッチの頂点の動ベクトルのみならず、該画
素が属する領域と異なる領域内にある前記多角形パッチ
の頂点の動ベクトルを用い、かつ後者の動ベクトルの該
画素への影響の度合を前者の動ベクトルの該画素への影
響の度合よりも小さくする画素単位動ベクトル検出部
と、 局部復号画像を蓄えるフレームメモリと、 前記画素単位の動ベクトルと、前記フレームメモリから
出力された局部復号画像を入力し、動き補償予測画像を
生成する画素単位動き補償部と、 前記符号化対象画像と前記動き補償予測画像の差分であ
る動き補償予測誤差を生成する減算器と、 前記動き補償予測誤差を入力し、空間冗長度を抑圧し、
圧縮差分データを出力する空間冗長度圧縮部と、 前記圧縮差分データを入力し、伸長差分画像に復号する
差分データ伸長部と、 前記動き補償予測画像と前記伸長差分画像を加算して前
記局部復号画像を生成し、前記フレームメモリに蓄積す
る加算器と、 前記圧縮差分データを符号化し、差分画像符号化データ
を出力する差分データ符号化部と、 前記領域形状情報を圧縮符号化し、領域形状符号化デー
タを出力する領域形状符号化部と、 前記頂点動ベクトルを圧縮符号化し、動ベクトル符号化
データを出力する動ベクトル符号化部と、 前記差分画像符号化データと前記領域形状符号化データ
と前記動ベクトル符号化データを多重化する多重化部を
有する符号化器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP582096A JPH09200771A (ja) | 1996-01-17 | 1996-01-17 | 動画像の動き補償予測符号化方法および符号化器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP582096A JPH09200771A (ja) | 1996-01-17 | 1996-01-17 | 動画像の動き補償予測符号化方法および符号化器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09200771A true JPH09200771A (ja) | 1997-07-31 |
Family
ID=11621724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP582096A Pending JPH09200771A (ja) | 1996-01-17 | 1996-01-17 | 動画像の動き補償予測符号化方法および符号化器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09200771A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008150113A1 (en) * | 2007-06-08 | 2008-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image using object boundary based partition |
-
1996
- 1996-01-17 JP JP582096A patent/JPH09200771A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008150113A1 (en) * | 2007-06-08 | 2008-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image using object boundary based partition |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5886743A (en) | Object-by information coding apparatus and method thereof for MPEG-4 picture instrument | |
JP3068304B2 (ja) | 動画像符号化方式および復号化方式 | |
US8023562B2 (en) | Real-time video coding/decoding | |
JP4373702B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
JP4180666B2 (ja) | ビデオ信号符号化方法 | |
US6757330B1 (en) | Efficient implementation of half-pixel motion prediction | |
KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
US20040184666A1 (en) | Image encoder, image decoder, image encoding method, and image decoding method | |
JPH08242453A (ja) | 動きベクトル推定装置 | |
EP1621022B1 (en) | Method and apparatus for determining search range for adaptive motion vector for use in video encoder | |
JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
JP3778960B2 (ja) | 動画像符号化方法及び装置 | |
JP2003522432A (ja) | 映像コーディング | |
US6205178B1 (en) | Method and synthesizing a predicted image, video coding device and video coding method | |
CN112470468A (zh) | 解码预测方法、装置及计算机存储介质 | |
US5646867A (en) | Method and system for improved motion compensation | |
JPH09200771A (ja) | 動画像の動き補償予測符号化方法および符号化器 | |
JPH08228351A (ja) | 動画像の動き補償予測符号化方法 | |
JPH0746595A (ja) | 動画像符号化器および復号化器 | |
JP3334384B2 (ja) | 画像予測符号化方法 | |
JP4133581B2 (ja) | テロップ合成装置、テロップ合成方法及びテロップ合成プログラム | |
JPH099263A (ja) | 動画像の動き補償予測符号化方法および符号化器 | |
JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
JPH07264594A (ja) | 動画像の動き補償予測符号化方法 | |
KR100335606B1 (ko) | 반복적움직임예측/보상을이용한영상부호화기및/또는복호화기 |