JPH07264594A - 動画像の動き補償予測符号化方法 - Google Patents
動画像の動き補償予測符号化方法Info
- Publication number
- JPH07264594A JPH07264594A JP5231994A JP5231994A JPH07264594A JP H07264594 A JPH07264594 A JP H07264594A JP 5231994 A JP5231994 A JP 5231994A JP 5231994 A JP5231994 A JP 5231994A JP H07264594 A JPH07264594 A JP H07264594A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- motion
- information
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 領域形状情報の符号化を不要あるいは必要最
小限に抑え、全体の符号量の大幅な削減を図る。 【構成】 領域分割部4は、フレームメモリ2に蓄積さ
れている参照フレームの局部復号画像について、被写体
の形状等を考慮して領域分割を行う。動き検出部6は、
領域形状情報に従い、入力画像と参照画像との間の動き
量を各小領域ごとに検出する。動き補償部8は、領域形
状情報に従い、局部復号画像に対して動き情報を作用さ
せ、動き補償予測画像を生成する。減算器10で入力画
像と動き補償予測画像の差分すなわち動き補償予測誤差
を得、これを圧縮部12、符号化部18を通して符号化
する。動き情報は符号化部20で符号化する。領域形状
情報は局部復号画像より得るため符号化は不要である。
小限に抑え、全体の符号量の大幅な削減を図る。 【構成】 領域分割部4は、フレームメモリ2に蓄積さ
れている参照フレームの局部復号画像について、被写体
の形状等を考慮して領域分割を行う。動き検出部6は、
領域形状情報に従い、入力画像と参照画像との間の動き
量を各小領域ごとに検出する。動き補償部8は、領域形
状情報に従い、局部復号画像に対して動き情報を作用さ
せ、動き補償予測画像を生成する。減算器10で入力画
像と動き補償予測画像の差分すなわち動き補償予測誤差
を得、これを圧縮部12、符号化部18を通して符号化
する。動き情報は符号化部20で符号化する。領域形状
情報は局部復号画像より得るため符号化は不要である。
Description
【0001】
【産業上の利用分野】本発明は、画像通信、画像記録等
に利用される画像信号のディジタル圧縮符号化方法に関
し、詳しくは、領域分割による動画像の動き補償予測符
号化方法に関する。
に利用される画像信号のディジタル圧縮符号化方法に関
し、詳しくは、領域分割による動画像の動き補償予測符
号化方法に関する。
【0002】
【従来の技術】従来、動画像のディジタル圧縮符号化に
おいて、動画像信号の時間冗長性を抑圧する手法とし
て、動き補償フレーム間予測がしばしば用いられる。こ
の予測符号化法では、通常、符号化対象画像を16画素
×16ライン等の矩形ブロックに区切り、各ブロック毎
に参照画像との間の動き量(動きベクトル)を検出し、
参照フレーム画像を動きベクトル分シフトして生成した
動き補償予測画像と符号化対象画像との差分(動き補償
予測誤差)信号を符号化する。この動き補償により、動
画像のフレーム間の相関度は飛躍的に向上し、単純フレ
ーム間予測に比べ大幅な情報圧縮が得られる。さらに、
動き補償予測誤差信号に対して離散コサイン変換(DC
T:Discrete Cosine Transfrom)やサブバンド分割
を施すことにより、空間方向の冗長性も抑圧され、一層
の情報圧縮が図られる。このため、テレビ電話/会議用
ビデオ符号化標準ITU−T H.261、蓄積メディア
用のビデオ符号化標準ISO/IEC 11172(M
PEG1)などでは、動き補償フレーム間予測による残
差信号をDCT符号化するハイブリッド符号化構成が採
用されている。
おいて、動画像信号の時間冗長性を抑圧する手法とし
て、動き補償フレーム間予測がしばしば用いられる。こ
の予測符号化法では、通常、符号化対象画像を16画素
×16ライン等の矩形ブロックに区切り、各ブロック毎
に参照画像との間の動き量(動きベクトル)を検出し、
参照フレーム画像を動きベクトル分シフトして生成した
動き補償予測画像と符号化対象画像との差分(動き補償
予測誤差)信号を符号化する。この動き補償により、動
画像のフレーム間の相関度は飛躍的に向上し、単純フレ
ーム間予測に比べ大幅な情報圧縮が得られる。さらに、
動き補償予測誤差信号に対して離散コサイン変換(DC
T:Discrete Cosine Transfrom)やサブバンド分割
を施すことにより、空間方向の冗長性も抑圧され、一層
の情報圧縮が図られる。このため、テレビ電話/会議用
ビデオ符号化標準ITU−T H.261、蓄積メディア
用のビデオ符号化標準ISO/IEC 11172(M
PEG1)などでは、動き補償フレーム間予測による残
差信号をDCT符号化するハイブリッド符号化構成が採
用されている。
【0003】ITU−T(前CCITT)勧告H.26
1は、「p×64kb/sオーディオビジュアルサービス
用ビデオ符号化方式」と題され、64kb/s(p=1)
から2Mb/s(p=30)までのビットレートを用い
る通信用のビデオ符号化標準で、勧告成立は1990年
12月である。アプリケーションとしてはテレビ電話、
テレビ会議等が挙げられる。H.261は動画像信号の
時間的冗長度を動き補償(MC)予測により抑圧し、各
フレームの空間的冗長度を離散コサイン変換(DCT)
符号化により抑圧する。以下、図5を用いてH.261
の符号化アルゴリズムを簡単に説明する。
1は、「p×64kb/sオーディオビジュアルサービス
用ビデオ符号化方式」と題され、64kb/s(p=1)
から2Mb/s(p=30)までのビットレートを用い
る通信用のビデオ符号化標準で、勧告成立は1990年
12月である。アプリケーションとしてはテレビ電話、
テレビ会議等が挙げられる。H.261は動画像信号の
時間的冗長度を動き補償(MC)予測により抑圧し、各
フレームの空間的冗長度を離散コサイン変換(DCT)
符号化により抑圧する。以下、図5を用いてH.261
の符号化アルゴリズムを簡単に説明する。
【0004】まず、入力画像1は動き検出部6に入力さ
れ、16画素×16ラインのマクロブロックと称される
矩形ブロックに分割される。動き検出部6では、入力画
像中の各マクロブロックごとに、参照画像との間の動き
量を検出し、得られた動き情報52を動き補償部8に送
る。ここで、各マクロブロックの動きは、参照フレーム
中で着目マクロブロックとのマッチング度が最も高いブ
ロックの座標と、着目マクロブロックの座標との変位
(動きベクトル)として表される。動きの探索範囲は、
着目マクロブロックの座標とその周囲の±15画素×±
15ラインに制限される。
れ、16画素×16ラインのマクロブロックと称される
矩形ブロックに分割される。動き検出部6では、入力画
像中の各マクロブロックごとに、参照画像との間の動き
量を検出し、得られた動き情報52を動き補償部8に送
る。ここで、各マクロブロックの動きは、参照フレーム
中で着目マクロブロックとのマッチング度が最も高いブ
ロックの座標と、着目マクロブロックの座標との変位
(動きベクトル)として表される。動きの探索範囲は、
着目マクロブロックの座標とその周囲の±15画素×±
15ラインに制限される。
【0005】次に、動き補償部8では、各マクロブロッ
クの動き情報(動きベクトル)52とフレームメモリ2
に蓄積された局部復号画像3とから動き補償予測画像5
3を生成する。ここで得られた動き補償予測画像53は
入力画像1と共に減算器10に入力され、両者の差分画
像(動き補償予測誤差)54がDCT部55においてD
CT符号化される。ここで、DCTのブロックサイズは
8×8である。差分画像54は、該DCT部55にてD
CT係数56に変換され、さらに量子化部57にて量子
化される。得られた量子化インデックス58は可変長符
号化部18でデータ圧縮された後、動き情報符号化部2
0での動き情報52の符号化データ65と共に多重化部
22において多重化され、多重化データ66として伝送
または蓄積される。
クの動き情報(動きベクトル)52とフレームメモリ2
に蓄積された局部復号画像3とから動き補償予測画像5
3を生成する。ここで得られた動き補償予測画像53は
入力画像1と共に減算器10に入力され、両者の差分画
像(動き補償予測誤差)54がDCT部55においてD
CT符号化される。ここで、DCTのブロックサイズは
8×8である。差分画像54は、該DCT部55にてD
CT係数56に変換され、さらに量子化部57にて量子
化される。得られた量子化インデックス58は可変長符
号化部18でデータ圧縮された後、動き情報符号化部2
0での動き情報52の符号化データ65と共に多重化部
22において多重化され、多重化データ66として伝送
または蓄積される。
【0006】一方、復号側と同じ復号画像を該符号化側
でも得るため、量子化インデックス58は逆量子化部5
9で量子化代表値60に戻され、さらに逆DCT部61
を通して復号差分画像62となる。この復号差分画像6
2と動き補償予測画像53は加算器16で加算され、局
部復号画像63となる。この局部復号画像62がフレー
ムメモリ2に蓄積され、次のフレームの符号化時に参照
画像として用いられる。
でも得るため、量子化インデックス58は逆量子化部5
9で量子化代表値60に戻され、さらに逆DCT部61
を通して復号差分画像62となる。この復号差分画像6
2と動き補償予測画像53は加算器16で加算され、局
部復号画像63となる。この局部復号画像62がフレー
ムメモリ2に蓄積され、次のフレームの符号化時に参照
画像として用いられる。
【0007】ISO/IEC 11172(MPEG
1)は、コンパクトディスク(CD)、ディジタルオー
ディオテープ(DAT)、ハードディスク等のディジタ
ル蓄積メディア用のビデオ符号化標準であり、国際標準
(IS)としての成立は1992年11月である。アプ
リケーションとしては、CDカラオケやビデオCDに代
表されるCD(転送速度1.5Mb/s)へのアミューズ
メント画像の蓄積、マルチメディアパーソナルコンピュ
ータやワークステーションへの表示を目的とした動画像
蓄積などが挙げられる。
1)は、コンパクトディスク(CD)、ディジタルオー
ディオテープ(DAT)、ハードディスク等のディジタ
ル蓄積メディア用のビデオ符号化標準であり、国際標準
(IS)としての成立は1992年11月である。アプ
リケーションとしては、CDカラオケやビデオCDに代
表されるCD(転送速度1.5Mb/s)へのアミューズ
メント画像の蓄積、マルチメディアパーソナルコンピュ
ータやワークステーションへの表示を目的とした動画像
蓄積などが挙げられる。
【0008】MPEG1の符号化アルゴリズムは、動き
補償予測+DCT符号化で基本的にはH.261と同様
であるが、ランダムアクセス・高速再生・リバース再生
等の特殊機能を実現するため、独立再生の単位であるG
roup Of Pictures(GOP)構造が新たに導入されて
いる。GOPを構成するピクチャとして、以下の3つの
ピクチャタイプがある。
補償予測+DCT符号化で基本的にはH.261と同様
であるが、ランダムアクセス・高速再生・リバース再生
等の特殊機能を実現するため、独立再生の単位であるG
roup Of Pictures(GOP)構造が新たに導入されて
いる。GOPを構成するピクチャとして、以下の3つの
ピクチャタイプがある。
【0009】I−Picture フレーム内符号化画面 P−Picture 片方向フレーム間予測符号化画面 時間的に前に位置し、既に復号化されたP(またはI)
−Pictureを参照画像として動き補償を行う。マクロブ
ロックごとにフレーム内符号化モードとフレーム間予測
符号化モードが選択可能である。 B−Picture 両方向予測符号化画面 時間的に前に位置する復号化済みのP(またはI)−P
icture、時間的に後に位置する復号化済みのP(または
I)−Picture、両者の加算平均(内挿補間)の3種類
を参照画像として、それぞれに動き補償を行う。マクロ
ブロックごとにフレーム内/順方向フレーム間予測/逆
方向フレーム間予測/内挿補間フレーム間予測の4つの
符号化モードが選択可能である。
−Pictureを参照画像として動き補償を行う。マクロブ
ロックごとにフレーム内符号化モードとフレーム間予測
符号化モードが選択可能である。 B−Picture 両方向予測符号化画面 時間的に前に位置する復号化済みのP(またはI)−P
icture、時間的に後に位置する復号化済みのP(または
I)−Picture、両者の加算平均(内挿補間)の3種類
を参照画像として、それぞれに動き補償を行う。マクロ
ブロックごとにフレーム内/順方向フレーム間予測/逆
方向フレーム間予測/内挿補間フレーム間予測の4つの
符号化モードが選択可能である。
【0010】P−およびB−Pictureで用いられる動き
補償方法はH.261と同様であるが、1/2画素精度
の補償を可能としている点が異なる。B−Pictureの両
方向予測は、対象が蓄積用であるため符号化処理にリア
ルタイム性が要求されない点を利用したものであり、圧
縮率向上にも大きく貢献している。以下にGOPの一例
を示す。上段の数字はフレーム番号、下段のアルファベ
ットはピクチャタイプを示す。第3フレームから第17
フレームまでの15フレームが1GOPである。通常、
P(I)−Pictureのフレーム間隔はM、I−Picture
のフレーム間隔(GOPの長さ)はNで表される。以下
の例は、M=3,N=15である。
補償方法はH.261と同様であるが、1/2画素精度
の補償を可能としている点が異なる。B−Pictureの両
方向予測は、対象が蓄積用であるため符号化処理にリア
ルタイム性が要求されない点を利用したものであり、圧
縮率向上にも大きく貢献している。以下にGOPの一例
を示す。上段の数字はフレーム番号、下段のアルファベ
ットはピクチャタイプを示す。第3フレームから第17
フレームまでの15フレームが1GOPである。通常、
P(I)−Pictureのフレーム間隔はM、I−Picture
のフレーム間隔(GOPの長さ)はNで表される。以下
の例は、M=3,N=15である。
【0011】 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 B B I B B P B B P B B P B B P B B I
【0012】
【発明が解決しようとする課題】上記従来技術における
動き補償方法は、16画素×16ライン等の矩形ブロッ
クを1つの剛体とみなし、各ブロックの平行移動の動き
のみを補償するものである。従って、被写体の形状等は
一切考慮に入れておらず、1ブロック内に動きの異なる
物体が複数個存在すると、正確な動き補償はもはや不可
能となる。すなわち、このような部分では予測効率は大
幅に低下する。また、特に動きの激しい部分では予測画
像にブロック状の不連続歪みが顕著に発生する。この不
連続歪みは高周波成分を多分に含むため、符号化効率の
低下を招くという問題があった。
動き補償方法は、16画素×16ライン等の矩形ブロッ
クを1つの剛体とみなし、各ブロックの平行移動の動き
のみを補償するものである。従って、被写体の形状等は
一切考慮に入れておらず、1ブロック内に動きの異なる
物体が複数個存在すると、正確な動き補償はもはや不可
能となる。すなわち、このような部分では予測効率は大
幅に低下する。また、特に動きの激しい部分では予測画
像にブロック状の不連続歪みが顕著に発生する。この不
連続歪みは高周波成分を多分に含むため、符号化効率の
低下を招くという問題があった。
【0013】上記問題点を解決するための手法として、
本出願人は先に、入力画像を被写体の形状に沿って領域
分割し、得られた小領域ごとに動き補償を行う領域分割
動き補償予測符号化法を提案した(特願平5−1566
22号)。この領域分割動き補償予測符号化法の基本構
成を図6に示す。図6中、空間冗長度圧縮部12が図5
のDCT部55と量子化部57に対応し、差分画像伸長
部14が同逆量子化部59と逆DCT部61に対応す
る。以下、図6の動作を簡単に説明する。
本出願人は先に、入力画像を被写体の形状に沿って領域
分割し、得られた小領域ごとに動き補償を行う領域分割
動き補償予測符号化法を提案した(特願平5−1566
22号)。この領域分割動き補償予測符号化法の基本構
成を図6に示す。図6中、空間冗長度圧縮部12が図5
のDCT部55と量子化部57に対応し、差分画像伸長
部14が同逆量子化部59と逆DCT部61に対応す
る。以下、図6の動作を簡単に説明する。
【0014】まず、入力画像1は領域分割部67におい
て、被写体の形状等を考慮して領域分割される。動き検
出部6では、領域分割部67で得られた領域形状情報6
8に従い、入力画像1と参照画像との間の動き量を各小
領域ごとに検出し、動き情報69とする。動き補償部8
では、領域形状情報68に従い、フレームメモリ2に蓄
積されている局部復号画像3に対して小領域ごとの動き
量(動き情報69)を作用させて動き補償予測画像70
を生成する。これ以外の動作は、ほぼ図5の場合と同様
であり、動き補償画像70と入力画像1との間の差分、
すなわち動き補償予測誤差71が空間冗長度圧縮部1
2、可変長符号化部18を通して符号化される。また、
付属情報として、領域形状情報68と動き情報69も、
領域形状情報符号化部26、動き情報符号化部20でそ
れぞれ符号化される。そして、差分画像符号化データ7
5、領域形状情報符号化データ76、動き情報符号化デ
ータ77は、多重化部28において多重化され、多重化
データ78として伝送または蓄積される。
て、被写体の形状等を考慮して領域分割される。動き検
出部6では、領域分割部67で得られた領域形状情報6
8に従い、入力画像1と参照画像との間の動き量を各小
領域ごとに検出し、動き情報69とする。動き補償部8
では、領域形状情報68に従い、フレームメモリ2に蓄
積されている局部復号画像3に対して小領域ごとの動き
量(動き情報69)を作用させて動き補償予測画像70
を生成する。これ以外の動作は、ほぼ図5の場合と同様
であり、動き補償画像70と入力画像1との間の差分、
すなわち動き補償予測誤差71が空間冗長度圧縮部1
2、可変長符号化部18を通して符号化される。また、
付属情報として、領域形状情報68と動き情報69も、
領域形状情報符号化部26、動き情報符号化部20でそ
れぞれ符号化される。そして、差分画像符号化データ7
5、領域形状情報符号化データ76、動き情報符号化デ
ータ77は、多重化部28において多重化され、多重化
データ78として伝送または蓄積される。
【0015】上記領域分割符号化により、被写体の形状
等を反映した任意形状の小領域ごとの動き補償が可能と
なり、異なった動きを持つ複数の被写体が動き補償の単
位領域内に含まれることを回避できる。すなわち、従
来、複数の動物体を含んでいながら一つの領域として扱
われていたブロックが物体の形状に応じて複数の領域に
分割され、それぞれ別々の領域として動き補償される。
このため、特に被写体の境界やエッジにまたがった部分
での動き補償予測効率が向上し、フレーム間差分信号の
符号化に要する符号量を大幅に削減することができる。
等を反映した任意形状の小領域ごとの動き補償が可能と
なり、異なった動きを持つ複数の被写体が動き補償の単
位領域内に含まれることを回避できる。すなわち、従
来、複数の動物体を含んでいながら一つの領域として扱
われていたブロックが物体の形状に応じて複数の領域に
分割され、それぞれ別々の領域として動き補償される。
このため、特に被写体の境界やエッジにまたがった部分
での動き補償予測効率が向上し、フレーム間差分信号の
符号化に要する符号量を大幅に削減することができる。
【0016】しかし、上記手法では、矩形のブロック等
と異なって任意形状の小領域を扱うため、領域形状情報
を伝送する必要がある。領域形状情報の符号化には例え
ばチェイン符号化などが用いられるが、領域形状が複雑
になると非常に莫大な符号量を発生する。このため、任
意形状小領域ごとの動き補償により予測性能が向上し、
フレーム間予測誤差信号の符号量が削減されても、領域
形状情報がその削減分を上回ることも頻繁に起こり得る
ことが予想される。
と異なって任意形状の小領域を扱うため、領域形状情報
を伝送する必要がある。領域形状情報の符号化には例え
ばチェイン符号化などが用いられるが、領域形状が複雑
になると非常に莫大な符号量を発生する。このため、任
意形状小領域ごとの動き補償により予測性能が向上し、
フレーム間予測誤差信号の符号量が削減されても、領域
形状情報がその削減分を上回ることも頻繁に起こり得る
ことが予想される。
【0017】本発明の目的は、従来の領域分割符号化法
の上記問題点に鑑み、領域形状情報を符号化する必要の
ない、あるいは符号化する領域形状を必要最小限に抑え
ることのできる領域分割動き補償予測符号化方法を提供
し、フレーム間予測誤差信号の符号量と動き情報量とを
併せたトータルの符号量の大幅な削減を図ることにあ
る。
の上記問題点に鑑み、領域形状情報を符号化する必要の
ない、あるいは符号化する領域形状を必要最小限に抑え
ることのできる領域分割動き補償予測符号化方法を提供
し、フレーム間予測誤差信号の符号量と動き情報量とを
併せたトータルの符号量の大幅な削減を図ることにあ
る。
【0018】
【課題を解決するための手段】上記目的達成のため、本
発明は、フレームメモリに蓄積された直前あるいは過去
の局部復号画像を領域分割し、得られた領域形状をその
まま符号化対象画像の領域形状として用い、各小領域ご
とに動き補償を行うことを第一の特徴とする。
発明は、フレームメモリに蓄積された直前あるいは過去
の局部復号画像を領域分割し、得られた領域形状をその
まま符号化対象画像の領域形状として用い、各小領域ご
とに動き補償を行うことを第一の特徴とする。
【0019】また、本発明は、上記局部復号画像から得
られる領域形状による動き補償予測誤差を評価し、評価
値が所定の閾値を超える領域と、該小領域に隣接する領
域とを対象に、符号化対象画像データを用いて領域形状
の更新を行い、該更新後の各小領域ごとに再度動き補償
を行い、領域形状情報として領域形状の更新により変化
した領域境界線のみを符号化することを第二の特徴とす
る。
られる領域形状による動き補償予測誤差を評価し、評価
値が所定の閾値を超える領域と、該小領域に隣接する領
域とを対象に、符号化対象画像データを用いて領域形状
の更新を行い、該更新後の各小領域ごとに再度動き補償
を行い、領域形状情報として領域形状の更新により変化
した領域境界線のみを符号化することを第二の特徴とす
る。
【0020】
【作用】動画像シーケンスにおいて、画像の領域分割処
理によって得られる領域形状には時間的な相関性が存在
する。たとえば、画面の背景部分の領域形状は時間的に
はほとんど変化しない。また、静止物体の領域形状の時
間的変化も基本的には無いと考えてよい。実際には、画
像中の雑音や光源の影響等により領域形状は微妙に変化
するが、極論すれば、ある画面中の大部分の領域形状は
その直前フレームで得られる領域形状とほとんど同じと
考えられる。
理によって得られる領域形状には時間的な相関性が存在
する。たとえば、画面の背景部分の領域形状は時間的に
はほとんど変化しない。また、静止物体の領域形状の時
間的変化も基本的には無いと考えてよい。実際には、画
像中の雑音や光源の影響等により領域形状は微妙に変化
するが、極論すれば、ある画面中の大部分の領域形状は
その直前フレームで得られる領域形状とほとんど同じと
考えられる。
【0021】従って、本発明のように、フレームメモリ
に蓄積された直前あるいは過去のフレームの領域分割結
果を用いても、入力画像を領域分割して得られた小領域
ごとに動き補償する場合と比べて、大差ない予測性能が
得られる。このフレームメモリに蓄積された局部復号画
像の内容は、復号側で復号される画像と全く同じであ
り、復号側では、領域形状情報が与えられなくても符号
化側と同じ領域形状を作り出すことができる。すなわ
ち、図6のように領域形状情報を符号化(伝送)する必
要がない。これにより、符号化する情報はフレーム間予
測誤差と動き情報だけとなり、トータル符号量の大幅な
削減を図ることが可能となる。
に蓄積された直前あるいは過去のフレームの領域分割結
果を用いても、入力画像を領域分割して得られた小領域
ごとに動き補償する場合と比べて、大差ない予測性能が
得られる。このフレームメモリに蓄積された局部復号画
像の内容は、復号側で復号される画像と全く同じであ
り、復号側では、領域形状情報が与えられなくても符号
化側と同じ領域形状を作り出すことができる。すなわ
ち、図6のように領域形状情報を符号化(伝送)する必
要がない。これにより、符号化する情報はフレーム間予
測誤差と動き情報だけとなり、トータル符号量の大幅な
削減を図ることが可能となる。
【0022】但し、動きの大きい領域では領域形状の時
間的相関が低いため、局部復号画像から得られる領域に
よる動き補償では十分な予測性能が得られない場合も起
こりうる。そこで、本発明では、このような場合も想定
し、予測誤差が所定の閾値より大きい領域すなわち予測
の不十分な領域のみを抽出して、入力画像データを用い
て領域分割をやり直すことにより、必要な予測性能を得
る。この場合は、変更のあった領域の輪郭線(境界線)
を符号化して復号側に伝送する必要があるが、全ての領
域形状情報を符号化する場合に比べ、伝送すべき領域形
状情報を大幅に削減することができる。
間的相関が低いため、局部復号画像から得られる領域に
よる動き補償では十分な予測性能が得られない場合も起
こりうる。そこで、本発明では、このような場合も想定
し、予測誤差が所定の閾値より大きい領域すなわち予測
の不十分な領域のみを抽出して、入力画像データを用い
て領域分割をやり直すことにより、必要な予測性能を得
る。この場合は、変更のあった領域の輪郭線(境界線)
を符号化して復号側に伝送する必要があるが、全ての領
域形状情報を符号化する場合に比べ、伝送すべき領域形
状情報を大幅に削減することができる。
【0023】
【実施例】以下、図面により本発明の実施例を詳細に説
明する。
明する。
【0024】図1は本発明の画像符号化方法の第1の実
施例を説明するための構成図である。
施例を説明するための構成図である。
【0025】図1において、図5及び図6と同一あるい
は類似の機能の部分には同じ符号が付されている。以下
に図1の動作を説明する。
は類似の機能の部分には同じ符号が付されている。以下
に図1の動作を説明する。
【0026】まず始めに、フレームメモリ2に蓄積され
ている参照フレームの局部復号画像3が領域分割部4に
入力される。領域分割部4では、局部復号画像3につい
て、それに含まれる被写体の形状等を考慮して領域分割
を行い、各分割領域の境界線などを示す領域形状情報5
を得る。ここで、領域分割の手法としては、K平均クラ
スタリングなどを用いることができる(高木幹雄、下田
陽久監修「画像解析ハンドブック」、東京大学出版
会)。
ている参照フレームの局部復号画像3が領域分割部4に
入力される。領域分割部4では、局部復号画像3につい
て、それに含まれる被写体の形状等を考慮して領域分割
を行い、各分割領域の境界線などを示す領域形状情報5
を得る。ここで、領域分割の手法としては、K平均クラ
スタリングなどを用いることができる(高木幹雄、下田
陽久監修「画像解析ハンドブック」、東京大学出版
会)。
【0027】K平均クラスタリングは、初期状態として
適当なクラスタを与え、そのメンバ(個体)を組替える
処理を反復的に繰り返すことにより、「よりよいクラス
タ」を求めていくクラス分け(分類)方法の1つであ
る。本処理を画像信号に対して適用すると、領域分割手
法の1つとして応用できる。以下、処理の流れを簡単に
示す。
適当なクラスタを与え、そのメンバ(個体)を組替える
処理を反復的に繰り返すことにより、「よりよいクラス
タ」を求めていくクラス分け(分類)方法の1つであ
る。本処理を画像信号に対して適用すると、領域分割手
法の1つとして応用できる。以下、処理の流れを簡単に
示す。
【0028】ステップ1;任意の初期クラスタを与え
る。たとえば、画像信号の領域分割に応用する場合に
は、画像を16画素×16ライン等のブロックに分割
し、これを初期クラスタとする。 ステップ2;初期クラスタの重心を求める。 ステップ3;個体(画素)と全クラスタの重心との間の
ユークリッド距離を計算し、それぞれの個体(画素)を
距離が最小となるクラスタに配置する。RGB画像の領
域分割の際のユークリッド距離の計算式の一例を以下に
示す。
る。たとえば、画像信号の領域分割に応用する場合に
は、画像を16画素×16ライン等のブロックに分割
し、これを初期クラスタとする。 ステップ2;初期クラスタの重心を求める。 ステップ3;個体(画素)と全クラスタの重心との間の
ユークリッド距離を計算し、それぞれの個体(画素)を
距離が最小となるクラスタに配置する。RGB画像の領
域分割の際のユークリッド距離の計算式の一例を以下に
示す。
【0029】
【数1】
【0030】ここで、(R,G,B)は着目する個体
(画素)の濃淡値座標、(Rc,Gc,Bc)は距離計算の
対象クラスタの重心座標を示す。この3次元ユークリッ
ド距離を用いることにより、明るさや色彩の似た個体
(画素)が1クラスタとして分類される。すなわち、明
るさ・色彩を用いた領域分割が可能となる。
(画素)の濃淡値座標、(Rc,Gc,Bc)は距離計算の
対象クラスタの重心座標を示す。この3次元ユークリッ
ド距離を用いることにより、明るさや色彩の似た個体
(画素)が1クラスタとして分類される。すなわち、明
るさ・色彩を用いた領域分割が可能となる。
【0031】また、濃淡値だけでなく、位置座標(x,
y)も考慮した距離計算もしばしば用いられる。その計
算式の一例を以下に示す。
y)も考慮した距離計算もしばしば用いられる。その計
算式の一例を以下に示す。
【0032】
【数2】
【0033】ここで、(xc,yc)は距離計算の対象ク
ラスタの重心の位置座標である。この5次元ユークリッ
ド距離を用いることにより、明るさや色彩の似てかつ位
置的に近い個体(画素)が1クラスタとして分類され
る。すなわち、明るさ・色彩・位置を用いた領域分割が
可能となる。 ステップ4;再配置後の状態で各クラスタの重心を再計
算する。 ステップ5;再配置された個体数(画素数)がある閾値
以下であれば収束したとみなし、処理を終了する。それ
以外の場合はステップ3に戻って処理を繰り返す。
ラスタの重心の位置座標である。この5次元ユークリッ
ド距離を用いることにより、明るさや色彩の似てかつ位
置的に近い個体(画素)が1クラスタとして分類され
る。すなわち、明るさ・色彩・位置を用いた領域分割が
可能となる。 ステップ4;再配置後の状態で各クラスタの重心を再計
算する。 ステップ5;再配置された個体数(画素数)がある閾値
以下であれば収束したとみなし、処理を終了する。それ
以外の場合はステップ3に戻って処理を繰り返す。
【0034】図1に戻り、領域分割部4で得られた領域
形状情報5は、入力画像1と共に動き検出部6に入力さ
れる。動き検出部6では、領域形状情報5に従い、入力
画像1と参照画像との間の動きを各小領域ごとに検出す
る。動き検出部6で得られた動き情報7は、領域分割部
4からの領域形状情報5と、フレームメモリ2に蓄積さ
れている参照フレームの局部復号画像3と共に動き補償
部8に入力される。動き補償部8では、領域形状情報5
に従い、局部復号画像3に対して小領域ごとの動き情報
7を作用させ、動き補償予測画像9を生成する。
形状情報5は、入力画像1と共に動き検出部6に入力さ
れる。動き検出部6では、領域形状情報5に従い、入力
画像1と参照画像との間の動きを各小領域ごとに検出す
る。動き検出部6で得られた動き情報7は、領域分割部
4からの領域形状情報5と、フレームメモリ2に蓄積さ
れている参照フレームの局部復号画像3と共に動き補償
部8に入力される。動き補償部8では、領域形状情報5
に従い、局部復号画像3に対して小領域ごとの動き情報
7を作用させ、動き補償予測画像9を生成する。
【0035】ここで、動き補償の方法としては、平行移
動補償、アフィン変換を用いた平行移動・回転・拡大/
縮小補償等が例として挙げられる。平行移動補償は、物
体の平行移動の動きのみを補償するもので、現在フレー
ムの座標を(x,y)、参照フレーム中のマッチング先
の座標を(x′,y′)とすると、以下の式により表現
される。
動補償、アフィン変換を用いた平行移動・回転・拡大/
縮小補償等が例として挙げられる。平行移動補償は、物
体の平行移動の動きのみを補償するもので、現在フレー
ムの座標を(x,y)、参照フレーム中のマッチング先
の座標を(x′,y′)とすると、以下の式により表現
される。
【0036】
【数3】
【0037】これは、現在フレームの座標(x,y)に
ある物体は、参照フレーム中の座標(x,y)から水平
方向にvx、垂直方向にvyに平行移動した点(x′,
y′)に存在するという意味である。(vx,vy)は動
きベクトルとも呼ばれる。フレーム間予測を行うに当っ
て、単純に前フレームの同じ位置の画像を予測画像とす
るのではなく、動きベクトル分シフトした位置の画像を
予測画像とすることにより、予測誤差を大幅に低減する
ことができる。
ある物体は、参照フレーム中の座標(x,y)から水平
方向にvx、垂直方向にvyに平行移動した点(x′,
y′)に存在するという意味である。(vx,vy)は動
きベクトルとも呼ばれる。フレーム間予測を行うに当っ
て、単純に前フレームの同じ位置の画像を予測画像とす
るのではなく、動きベクトル分シフトした位置の画像を
予測画像とすることにより、予測誤差を大幅に低減する
ことができる。
【0038】一方、アフィン変換を用いた平行移動・回
転・拡大/縮小補償は次式で表現される。
転・拡大/縮小補償は次式で表現される。
【0039】
【数4】
【0040】ここで、a=d=1,b=c=0の時は、
上記の平行移動補償と全く同じである。a>1の場合は
水平方向の拡大、0<a<1の場合は縮小となる。同様
に、d>1の場合は垂直方向の拡大、0<d<1の場合
は縮小となる。また、
上記の平行移動補償と全く同じである。a>1の場合は
水平方向の拡大、0<a<1の場合は縮小となる。同様
に、d>1の場合は垂直方向の拡大、0<d<1の場合
は縮小となる。また、
【0041】
【数5】
【0042】の場合には角度θによる回転を表すことが
できる。さらに、拡大/縮小、回転さらに平行移動を組
み合わせた補償ももちろん可能であり、平行移動だけで
は表しきれなかった様々な物体の動きを表現することも
可能がなる。これにより、動き補償の性能を大幅に向上
させることができる。
できる。さらに、拡大/縮小、回転さらに平行移動を組
み合わせた補償ももちろん可能であり、平行移動だけで
は表しきれなかった様々な物体の動きを表現することも
可能がなる。これにより、動き補償の性能を大幅に向上
させることができる。
【0043】動き補償予測画像9は入力画像1と共に減
算器10に入力され、それらの差分データすなわち動き
補償予測誤差11は、空間冗長度圧縮部12において空
間冗長度の抑止が行われる。該空間冗長度圧縮部12よ
り出力される差分画像圧縮データ13は、差分画像伸長
部14にて伸長差分画像15に戻される。この伸長差分
画像15は空間冗長度を抑圧された動き補償予測誤差信
号であり、加算器16において、動き補償部8で生成さ
れた動き補償予測画像9と加算され、現在符号化フレー
ムの局部復号画像17が得られる。この局部復号画像1
7がフレームメモリ2に蓄積され、以降のフレームの符
号化にて参照される。
算器10に入力され、それらの差分データすなわち動き
補償予測誤差11は、空間冗長度圧縮部12において空
間冗長度の抑止が行われる。該空間冗長度圧縮部12よ
り出力される差分画像圧縮データ13は、差分画像伸長
部14にて伸長差分画像15に戻される。この伸長差分
画像15は空間冗長度を抑圧された動き補償予測誤差信
号であり、加算器16において、動き補償部8で生成さ
れた動き補償予測画像9と加算され、現在符号化フレー
ムの局部復号画像17が得られる。この局部復号画像1
7がフレームメモリ2に蓄積され、以降のフレームの符
号化にて参照される。
【0044】一方、動き補償予測誤差11に対する差分
画像圧縮データ13は可変長符号化部18にて符号化さ
れ、差分画像符号化データ19となる。動き情報7は動
き符号化部20にて符号化され、動き情報符号化データ
21となる。これら差分画像符号化データ19、動き情
報符号化データ21は多重化部22において多重化さ
れ、多重化データ23として伝送または蓄積される。
画像圧縮データ13は可変長符号化部18にて符号化さ
れ、差分画像符号化データ19となる。動き情報7は動
き符号化部20にて符号化され、動き情報符号化データ
21となる。これら差分画像符号化データ19、動き情
報符号化データ21は多重化部22において多重化さ
れ、多重化データ23として伝送または蓄積される。
【0045】なお、局部復号画像3は送信側の当該符号
器内でも、受信側の復号器内でも全く同じデータを共有
している。したがって、局部復号画像3より得られる領
域形状情報5は受信側の復号器内でも全く同じ動きが得
られるため、符号化して伝送する必要はない。
器内でも、受信側の復号器内でも全く同じデータを共有
している。したがって、局部復号画像3より得られる領
域形状情報5は受信側の復号器内でも全く同じ動きが得
られるため、符号化して伝送する必要はない。
【0046】図2は本発明の画像符号化方法の第2の実
施例を説明するための構成図である。本実施例は、動き
の大きい領域などでは局部復号画像から得られる領域分
割による動き補償では十分な予測性能が得られない場合
も起こりうることを想定し、予測誤差が所定の閾値より
大きい領域すなわち予測の不十分な領域を抽出し、入力
画像データを用いて領域分割をやり直すことにより、必
要な予測性能を得るようにしたものである。図2におい
て、図1と同一部分には同じ符号が付されている。以下
に図2の動作を説明する。
施例を説明するための構成図である。本実施例は、動き
の大きい領域などでは局部復号画像から得られる領域分
割による動き補償では十分な予測性能が得られない場合
も起こりうることを想定し、予測誤差が所定の閾値より
大きい領域すなわち予測の不十分な領域を抽出し、入力
画像データを用いて領域分割をやり直すことにより、必
要な予測性能を得るようにしたものである。図2におい
て、図1と同一部分には同じ符号が付されている。以下
に図2の動作を説明する。
【0047】入力画像1はフレームメモリ2に蓄積され
ている参照フレーム画像の局部復号画像3と共に領域分
割・動き検出部24に入力される。領域分割・動き検出
部24では、まず、局部復号画像3に含まれる被写体の
形状等を考慮して領域分割を行い、次に、この得られた
領域形状に対し、入力画像1のデータを用いて領域形状
の更新を行う。そして、この更新後の領域形状に従って
小領域ごとの動き量を検出する。ここで、25は最終的
に得られた動き情報、26は更新後の領域形状情報、3
9は更新前の領域形状情報を示す。なお、該領域分割・
動き検出部24の動作の詳細については後述する。
ている参照フレーム画像の局部復号画像3と共に領域分
割・動き検出部24に入力される。領域分割・動き検出
部24では、まず、局部復号画像3に含まれる被写体の
形状等を考慮して領域分割を行い、次に、この得られた
領域形状に対し、入力画像1のデータを用いて領域形状
の更新を行う。そして、この更新後の領域形状に従って
小領域ごとの動き量を検出する。ここで、25は最終的
に得られた動き情報、26は更新後の領域形状情報、3
9は更新前の領域形状情報を示す。なお、該領域分割・
動き検出部24の動作の詳細については後述する。
【0048】領域分割・動き検出部24から得られた動
き情報25、領域形状情報26は、フレームメモリ2に
蓄積されている参照フレームの局部復号画像3と共に動
き補償部8に入力される。動き補償部8では、領域形状
情報26に従い、局部復号画像3に対して小領域ごとの
動き情報25を作用させ、動き補償予測画像27を生成
する。
き情報25、領域形状情報26は、フレームメモリ2に
蓄積されている参照フレームの局部復号画像3と共に動
き補償部8に入力される。動き補償部8では、領域形状
情報26に従い、局部復号画像3に対して小領域ごとの
動き情報25を作用させ、動き補償予測画像27を生成
する。
【0049】動き補償予測画像27は入力画像1と共に
減算器10に入力され、それらの差分データすなわち動
き補償予測誤差28は、空間冗長度圧縮部12において
空間冗長度の抑止が行われる。該空間冗長度圧縮部12
より出力される差分画像圧縮データ29は、差分画像伸
長部14にて伸長差分画像30に戻される。該伸長差分
画像30は空間冗長度を抑圧された動き補償予測誤差信
号である。この伸長差分画像30は加算器16にて動き
補償予測画像27と加算され、現在符号化フレームの局
部復号画像31となる。この局部復号画像31がフレー
ムメモリ2に蓄積され、以降のフレームの符号化にて参
照される。
減算器10に入力され、それらの差分データすなわち動
き補償予測誤差28は、空間冗長度圧縮部12において
空間冗長度の抑止が行われる。該空間冗長度圧縮部12
より出力される差分画像圧縮データ29は、差分画像伸
長部14にて伸長差分画像30に戻される。該伸長差分
画像30は空間冗長度を抑圧された動き補償予測誤差信
号である。この伸長差分画像30は加算器16にて動き
補償予測画像27と加算され、現在符号化フレームの局
部復号画像31となる。この局部復号画像31がフレー
ムメモリ2に蓄積され、以降のフレームの符号化にて参
照される。
【0050】一方、動き補償予測誤差28に対する差分
画像圧縮データ29は可変長符号化部18にて符号化さ
れ、差分画像符号化データ32となる。動き情報25は
動き情報符号化部20にて符号化され、動き情報符号化
データ33となる。また、領域形状情報26は、局部復
号画像3のみから得られる領域形状情報39と共に領域
形状情報符号化部34にて入力され、領域形状情報符号
化データ35となる。これらの差分画像符号化データ3
2、動き情報符号化データ33、領域形状情報35は多
重化部36において多重化され、多重化データ37とし
て伝送または蓄積される。
画像圧縮データ29は可変長符号化部18にて符号化さ
れ、差分画像符号化データ32となる。動き情報25は
動き情報符号化部20にて符号化され、動き情報符号化
データ33となる。また、領域形状情報26は、局部復
号画像3のみから得られる領域形状情報39と共に領域
形状情報符号化部34にて入力され、領域形状情報符号
化データ35となる。これらの差分画像符号化データ3
2、動き情報符号化データ33、領域形状情報35は多
重化部36において多重化され、多重化データ37とし
て伝送または蓄積される。
【0051】図3は、図2における領域分割・動き検出
部24の一構成例を示す図である。図3において、領域
分割・動き検出部24は領域分割部38、動き検出部4
0、動き補償部42、減算器44、領域形状更新部49
及び動き更新部50で構成される。
部24の一構成例を示す図である。図3において、領域
分割・動き検出部24は領域分割部38、動き検出部4
0、動き補償部42、減算器44、領域形状更新部49
及び動き更新部50で構成される。
【0052】まず始めに、フレームメモリ2に蓄積され
ている参照フレームの局部復号画像3が領域分割部38
に入力される。領域分割部38では、局部復号画像3に
含まれる被写体の形状等を考慮して領域分割が行われ
る。該領域分割部38は図1の領域分割部4に該当し、
領域分割の手法としては、前述したK平均クラスタリン
グなどを用いることができる。
ている参照フレームの局部復号画像3が領域分割部38
に入力される。領域分割部38では、局部復号画像3に
含まれる被写体の形状等を考慮して領域分割が行われ
る。該領域分割部38は図1の領域分割部4に該当し、
領域分割の手法としては、前述したK平均クラスタリン
グなどを用いることができる。
【0053】領域分割部38から得られる領域形状情報
39は、入力画像1と共に動き検出部40に入力され
る。動き検出部40では、領域形状情報39に従い、入
力画像1と参照画像との間の動き量を各小領域ごとに検
出する。該動き検出部40は図1の動き検出部6に該当
し、動きの表現モデルとしては、前述の平行移動、アフ
ィン変換等を用いことができる。動き検出部40で得ら
れた動き情報41は、領域形状情報39と、参照フレー
ムの局部復号画像3と共に動き補償部42に入力され
る。動き補償部42は図1の動き補償部8に該当し、領
域形状情報39に従い、局部復号画像3に対して小領域
ごとの動き情報41を作用させ、動き補償予測画像43
を生成する。
39は、入力画像1と共に動き検出部40に入力され
る。動き検出部40では、領域形状情報39に従い、入
力画像1と参照画像との間の動き量を各小領域ごとに検
出する。該動き検出部40は図1の動き検出部6に該当
し、動きの表現モデルとしては、前述の平行移動、アフ
ィン変換等を用いことができる。動き検出部40で得ら
れた動き情報41は、領域形状情報39と、参照フレー
ムの局部復号画像3と共に動き補償部42に入力され
る。動き補償部42は図1の動き補償部8に該当し、領
域形状情報39に従い、局部復号画像3に対して小領域
ごとの動き情報41を作用させ、動き補償予測画像43
を生成する。
【0054】動き補償予測画像43は入力画像1と共に
減算器44に入力されて、それらの差分データすなわち
動き補償予測誤差45を得、該動き補償予測誤差45が
判定条件46と共に領域形状更新判定部47に入力され
る。判定条件46は予測誤差評価関数と閾値からなる。
領域形状更新判定部47では、各小領域ごとに、誤差絶
対値和(MAE:Mean Absolute Error)や平均自乗
誤差(MSE:MeanSquare Error)等の予測誤差評
価関数を用いて予測誤差を定量的に評価し、得られた評
価値(予測誤差評価値)と閾値とを比較する。そして、
予測誤差評価値が所定の閾値より大きい領域について更
新フラグ(1)、それ以外の領域については非更新フラ
グ(0)を割り当てる。領域形状更新判定部47は、こ
の各小領域ごとの更新/非更新フラグを、領域更新を行
うか否かを示すフラグ情報48としてを出力する。領域
形状更新部49では、領域形状更新フラグ情報48と元
の領域形状情報39とを参照し、入力画像1のデータを
用いて領域形状の更新を行う。更新後の領域形状情報2
6は、動き情報41、領域形状更新フラグ情報48、入
力画像1と共に動き更新部50に入力される。動き更新
部50では、領域形状更新フラグ情報48を参照して更
新フラグ(1)の立っている領域とそれに隣接する領域
のみ、動き量を再計算する。非更新フラグ(0)の立っ
ている領域については元の動き情報41をそのまま用い
る。
減算器44に入力されて、それらの差分データすなわち
動き補償予測誤差45を得、該動き補償予測誤差45が
判定条件46と共に領域形状更新判定部47に入力され
る。判定条件46は予測誤差評価関数と閾値からなる。
領域形状更新判定部47では、各小領域ごとに、誤差絶
対値和(MAE:Mean Absolute Error)や平均自乗
誤差(MSE:MeanSquare Error)等の予測誤差評
価関数を用いて予測誤差を定量的に評価し、得られた評
価値(予測誤差評価値)と閾値とを比較する。そして、
予測誤差評価値が所定の閾値より大きい領域について更
新フラグ(1)、それ以外の領域については非更新フラ
グ(0)を割り当てる。領域形状更新判定部47は、こ
の各小領域ごとの更新/非更新フラグを、領域更新を行
うか否かを示すフラグ情報48としてを出力する。領域
形状更新部49では、領域形状更新フラグ情報48と元
の領域形状情報39とを参照し、入力画像1のデータを
用いて領域形状の更新を行う。更新後の領域形状情報2
6は、動き情報41、領域形状更新フラグ情報48、入
力画像1と共に動き更新部50に入力される。動き更新
部50では、領域形状更新フラグ情報48を参照して更
新フラグ(1)の立っている領域とそれに隣接する領域
のみ、動き量を再計算する。非更新フラグ(0)の立っ
ている領域については元の動き情報41をそのまま用い
る。
【0055】このようにして、領域分割・動き検出部2
4からは、動き更新部50で最終的に得られた動き情報
25、領域形状更新部49で得られた更新後の領域形状
情報26、及び、領域分割部38で得られた更新前の領
域形状情報39が出力されることになる。
4からは、動き更新部50で最終的に得られた動き情報
25、領域形状更新部49で得られた更新後の領域形状
情報26、及び、領域分割部38で得られた更新前の領
域形状情報39が出力されることになる。
【0056】図4に、領域形状更新の様子の一例を示
す。図4において、実線は領域分割部38から得られる
局部復号画像3の領域境界線を示す。破線は、領域形状
更新判定部47において領域形状更新と判断された領域
Cと、それに隣接する領域Bについて、入力画像1のデ
ータを用いて領域形状の更新を行った後の境界線を示
す。
す。図4において、実線は領域分割部38から得られる
局部復号画像3の領域境界線を示す。破線は、領域形状
更新判定部47において領域形状更新と判断された領域
Cと、それに隣接する領域Bについて、入力画像1のデ
ータを用いて領域形状の更新を行った後の境界線を示
す。
【0057】図4では、領域A(カレンダー)、領域D
(カーテン)は静止しているので、領域形状の更新は行
われていない。ここで、更新前の領域形状情報39は、
a−b,c−d−e,f−g間の境界線で情報で示され
る。一方、更新後の領域形状情報26は、a−b,c−
d−h,f−g間の境界線で示される。図2の領域形状
符号化部34では、更新前の領域形状情報39と更新後
の領域形状情報26とを比較し、変化のあった部分のみ
の境界線を符号化する。図4においては、たとえばd−
h間を新たに現われた境界線として、d−e間を消滅し
た境界線として符号化する。したがって、a−b,c−
d−h,f−g間の境界線を全て符号化する場合に比
べ、伝送すべき領域形状情報は大幅に削減される。
(カーテン)は静止しているので、領域形状の更新は行
われていない。ここで、更新前の領域形状情報39は、
a−b,c−d−e,f−g間の境界線で情報で示され
る。一方、更新後の領域形状情報26は、a−b,c−
d−h,f−g間の境界線で示される。図2の領域形状
符号化部34では、更新前の領域形状情報39と更新後
の領域形状情報26とを比較し、変化のあった部分のみ
の境界線を符号化する。図4においては、たとえばd−
h間を新たに現われた境界線として、d−e間を消滅し
た境界線として符号化する。したがって、a−b,c−
d−h,f−g間の境界線を全て符号化する場合に比
べ、伝送すべき領域形状情報は大幅に削減される。
【0058】領域境界線の符号化法としては、例えばチ
ェイン符号化法が挙げられる。ここで、チェイン符号化
は、2値画像データ圧縮方法の1つで、白黒領域の境界
のアドレスを符号化するものである。画像を領域の輪郭
または線分要素に沿って追跡し、その方向を量子化して
その数値を符号とする。通常は、図7に示すように、8
方向に量子化することが多く、この場合、符号化0−7
の数値列、符号長は3ビットとなる。
ェイン符号化法が挙げられる。ここで、チェイン符号化
は、2値画像データ圧縮方法の1つで、白黒領域の境界
のアドレスを符号化するものである。画像を領域の輪郭
または線分要素に沿って追跡し、その方向を量子化して
その数値を符号とする。通常は、図7に示すように、8
方向に量子化することが多く、この場合、符号化0−7
の数値列、符号長は3ビットとなる。
【0059】次に、図8に図5の符号化法における多重
化データ、図9に図6の符号化法における多重化デー
タ、図10に図1の符号化法における多重化データ、図
11に図2の符号化法における多重化データの一例を示
す。ここで、ピクチャヘッダは1画面の先頭を示す情報
である。図10に示すように、本発明の第1の実施例で
は、領域形状情報を送る必要がなくるため、図9に比べ
て情報量が削減されていることがわかる。また、図11
に示すように、本発明の第2の実施例では、領域形状情
報は送るものの、その符号量は図9に比べて大幅に削減
されており、トータルの符号量も低く抑えられる。
化データ、図9に図6の符号化法における多重化デー
タ、図10に図1の符号化法における多重化データ、図
11に図2の符号化法における多重化データの一例を示
す。ここで、ピクチャヘッダは1画面の先頭を示す情報
である。図10に示すように、本発明の第1の実施例で
は、領域形状情報を送る必要がなくるため、図9に比べ
て情報量が削減されていることがわかる。また、図11
に示すように、本発明の第2の実施例では、領域形状情
報は送るものの、その符号量は図9に比べて大幅に削減
されており、トータルの符号量も低く抑えられる。
【0060】
【発明の効果】請求項1の発明によれば、領域分割動き
補償符号化において、局部復号画像を領域分割して得ら
れた領域形状情報を入力画像の領域分割結果とみなして
用いることにより、従来方法(特願平5−15662
号)のように領域形状情報を符号化する必要がなくな
る。これにより、符号化する情報はフレーム間予測誤差
と動き情報だけとなり、トータル符号量の大幅な削減を
図ることが可能となる。なお、動画像シーケンスにおい
ては、画像の領域分割処理によって得られる領域形状に
は時間的な相関性が存在するため、直前あるいは過去の
フレームの領域分割結果を用いても、入力画像を領域分
割して得られた小領域ごとに動き補償する従来方法と比
べて大差ない予測性能が得られる。
補償符号化において、局部復号画像を領域分割して得ら
れた領域形状情報を入力画像の領域分割結果とみなして
用いることにより、従来方法(特願平5−15662
号)のように領域形状情報を符号化する必要がなくな
る。これにより、符号化する情報はフレーム間予測誤差
と動き情報だけとなり、トータル符号量の大幅な削減を
図ることが可能となる。なお、動画像シーケンスにおい
ては、画像の領域分割処理によって得られる領域形状に
は時間的な相関性が存在するため、直前あるいは過去の
フレームの領域分割結果を用いても、入力画像を領域分
割して得られた小領域ごとに動き補償する従来方法と比
べて大差ない予測性能が得られる。
【0061】請求項2の発明によれば、予測誤差が所定
の閾値より大きい領域、すなわち、局部復号画像から得
られる領域ごとの動き補償では十分な予測性能が得られ
ない領域についても、入力画像データを用いて領域分割
し直すことにより、必要な予測性能を得ることができ
る。この場合は、変更のあった領域の輪郭線を符号化し
て伝送する必要があるが、従来方法のように全分割領域
形状を符号化する場合に比べ、伝送すべき領域形状情報
を大幅に削減することができる。
の閾値より大きい領域、すなわち、局部復号画像から得
られる領域ごとの動き補償では十分な予測性能が得られ
ない領域についても、入力画像データを用いて領域分割
し直すことにより、必要な予測性能を得ることができ
る。この場合は、変更のあった領域の輪郭線を符号化し
て伝送する必要があるが、従来方法のように全分割領域
形状を符号化する場合に比べ、伝送すべき領域形状情報
を大幅に削減することができる。
【図1】本発明の画像符号化方法の第1の実施例の構成
図である。
図である。
【図2】本発明の画像符号化方法の第2の実施例の構成
を示す図である。
を示す図である。
【図3】図2における領域分割・動き検出部の一実施例
を示す図である。
を示す図である。
【図4】本発明の第2の実施例において、領域形状更新
処理により領域形状に変化が生じた場合の例を示す図で
ある。
処理により領域形状に変化が生じた場合の例を示す図で
ある。
【図5】従来の矩形ブロック分割による動画像の動き補
償予測符号化方法を説明する構成図である。
償予測符号化方法を説明する構成図である。
【図6】従来の任意形状領域分割による動画像の動き補
償予測符号化方法を説明する構成図である。
償予測符号化方法を説明する構成図である。
【図7】チェイン符号化を説明する図である。
【図8】図5の符号化法における多重化データの構成図
である。
である。
【図9】図6の符号化法における多重化データの構成図
である。
である。
【図10】図1の符号化法における多重化データの構成
図である。
図である。
【図11】図2の符号化における多重化データの構成図
である。
である。
【符号の説明】 1 入力画像 2 フレームメモリ 3 局部復号画像 4 領域分割部 5 領域形状情報 6 動き検出部 7 動き情報 8 動き補償部 9 動き補償予測画像 10 減算器 12 空間冗長度圧縮部 14 差分画像伸長部 16 加算器 18 可変長符号化部 20 動き情報符号化部 22 多重化部 24 領域分割・動き検出部 38 領域分割部 40 動き検出部 42 動き補償部 44 減算器 47 領域形状更新判定部 49 領域形状更新部 50 動き更新部
Claims (2)
- 【請求項1】 画像を任意形状の小領域に分割し、符号
化対象画像と参照画像との間の動き量を前記小領域ごと
に検出し、直前あるいは過去の局部復号画像に対して前
記小領域ごとの動き量を作用させて予測画像を生成し、
該予測画像と符号化対象画像との差分を符号化する動画
像の動き補償予測符号化方法において、前記直前あるい
は過去の局部復号画像を領域分割し、得られた領域形状
をそのまま符号化対象画像の領域形状として用い、各小
領域ごとに動き補償を行うことを特徴とする動画像の動
き補償予測符号化方法。 - 【請求項2】 請求項1に記載の動画像の動き補償予測
符号化方法において、前記局部復号画像から得られる領
域形状による動き補償予測誤差を評価し、評価値が所定
の閾値を超える領域と、該領域に隣接する領域とを対象
に、符号化対象画像データを用いて領域形状の更新を行
い、該更新後の各小領域ごとに再度動き補償を行い、領
域形状情報として領域形状の更新により変化した領域境
界線のみを符号化することを特徴とする動画像の動き補
償予測符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5231994A JPH07264594A (ja) | 1994-03-23 | 1994-03-23 | 動画像の動き補償予測符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5231994A JPH07264594A (ja) | 1994-03-23 | 1994-03-23 | 動画像の動き補償予測符号化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07264594A true JPH07264594A (ja) | 1995-10-13 |
Family
ID=12911476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5231994A Pending JPH07264594A (ja) | 1994-03-23 | 1994-03-23 | 動画像の動き補償予測符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07264594A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009247019A (ja) * | 1997-04-24 | 2009-10-22 | Mitsubishi Electric Corp | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
JP2010239422A (ja) * | 2009-03-31 | 2010-10-21 | Kddi R & D Laboratories Inc | 動画像符号化装置および復号装置 |
JP2012010381A (ja) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | より正確な動き情報を用いたフレーム補間 |
-
1994
- 1994-03-23 JP JP5231994A patent/JPH07264594A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009247019A (ja) * | 1997-04-24 | 2009-10-22 | Mitsubishi Electric Corp | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
JP2012010381A (ja) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | より正確な動き情報を用いたフレーム補間 |
JP2010239422A (ja) * | 2009-03-31 | 2010-10-21 | Kddi R & D Laboratories Inc | 動画像符号化装置および復号装置 |
US9014268B2 (en) | 2009-03-31 | 2015-04-21 | Kddi R&D Laboratories Inc. | Video encoder and its decoder |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7408990B2 (en) | Efficient motion vector coding for video compression | |
EP1135934B1 (en) | Efficient macroblock header coding for video compression | |
JP4662636B2 (ja) | 動き推定とブロックマッチング・パターンの改良 | |
JP4261630B2 (ja) | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 | |
JP3689334B2 (ja) | ビデオシーケンス内の複数のビデオフレームを復号化する方法 | |
US6052150A (en) | Video data signal including a code string having a plurality of components which are arranged in a descending order of importance | |
JP2003533101A (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
EP3329678B1 (en) | Method and apparatus for compressing video data | |
US5982439A (en) | Coding image data | |
JPH10276440A (ja) | 映像信号の形状情報予測符号化方法及び装置 | |
US5790207A (en) | Motion compensation method for use in an image encoding system | |
JPH07264594A (ja) | 動画像の動き補償予測符号化方法 | |
JPH07212760A (ja) | 動画像の動き補償予測符号化方法 | |
JPH0951538A (ja) | 画像信号の符号化方法 | |
JPH06113291A (ja) | 画像符号化及び復号化装置 | |
WO2004010708A1 (en) | Advanced method of coding and decoding motion vector and apparatus therefor | |
JP3334384B2 (ja) | 画像予測符号化方法 | |
JPH08228352A (ja) | 動画像の領域分割動き補償予測符号化方法 | |
JPH10327410A (ja) | 画像伝送用データ構造,符号化方法及び復号化方法 | |
NZ269177A (en) | Telescoping with video frame buffers in backward predictive coding | |
JPH08228351A (ja) | 動画像の動き補償予測符号化方法 | |
JP3304870B2 (ja) | 画像符号化方法及び装置並びに画像復号方法及び装置 | |
JPH09261661A (ja) | 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法 | |
JP3214849B2 (ja) | 画像予測復号化方法および装置 |