JP3393234B2 - 画像信号符号化方法及び画像信号符号化装置 - Google Patents

画像信号符号化方法及び画像信号符号化装置

Info

Publication number
JP3393234B2
JP3393234B2 JP51740794A JP51740794A JP3393234B2 JP 3393234 B2 JP3393234 B2 JP 3393234B2 JP 51740794 A JP51740794 A JP 51740794A JP 51740794 A JP51740794 A JP 51740794A JP 3393234 B2 JP3393234 B2 JP 3393234B2
Authority
JP
Japan
Prior art keywords
motion vector
signal
macroblock
motion
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP51740794A
Other languages
English (en)
Inventor
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26406823&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3393234(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP3393234B2 publication Critical patent/JP3393234B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Description

【発明の詳細な説明】 技術分野 本発明は、動画像信号を符号化する画像信号符号化方
法及び画像信号符号化装置に関する。
背景技術 動画像の信号をディジタル化してそのディジタルデー
タを記録及び伝送する場合、そのデータ量が膨大となる
ために当該データに対して符号化(圧縮)が行われる。
代表的な符号化方式としては、動き補償予測符号化があ
る。
図9に動き補償予測の原理を示す。この図9におい
て、動き補償予測符号化は、画像信号の時間軸方向の相
関を利用した方法であり、既に復号再生されてわかって
いる画像信号(過去フレームの画像信号)から、現在入
力された画像(現フレームの画像)を予測し、当該復号
再生されてわかっている画像信号(過去フレームの画像
信号)を信号の動きに合わせて移動し、その時の動き情
報(動きベクトルMV)とその時の予測誤差情報だけを伝
送することで、符号化に必要な情報量を圧縮する方法で
ある。
上述した動き補償予測符号化及びその復号化方法につ
いて、その代表的なものには、いわゆるMPEG(Moving P
icture ExpertGroup)1の方式がある。このMPEG1と
は、いわゆるISO(国際標準化機構)とIEC(国際電気標
準会議)のJTC(Joint Technical Committee)1のSC
(Sub Committee)29のWG(Working Group)11において
進行してきた動画像符号化方式の通称である。
MPEG1は、画像内及び画像間符号化処理を有している
が、動き補償予測符号化は、画像間符号化処理の場合に
用いられる。図10に、この場合の動き補償予測の例を示
す。この図10において、画像間符号化処理における動き
補償予測では、1画像(ピクチャ)を小ブロック(マク
ロブロックMBと呼ばれ、16ライン×16画素で構成され
る)に分割し、その小ブロック単位で動き補償予測符号
化を行う。なお、この図10の例では、この画像間符号化
処理の場合の動き補償予測として、例えば過去フレーム
と現フレームとの間の前方向予測と、例えば時間的に未
来にある未来フレームと現フレームとの間の後方予測と
について図示している。
図11に、動き補償予測符号化のより具体的な例を示
す。先ず、第1段目の処理として、数枚のピクチャを飛
び越して図中Pで示されるPピクチャを図中Iで示され
るIピクチャ又はPピクチャを用いて巡回型に予測符号
化する。次に、第2段目の処理として、上記Pピクチャ
又はIピクチャの間に挟まれた図中Bで示されるBピク
チャを前後のPピクチャ又はIピクチャから予測符号化
する。なお、Iピクチャは、画像内符号化画像であり、
動き補償予測符号化を使用しないで作られるものであ
る。また、図11の図中の矢印(時間tの方向を示す矢印
を除く)は、動き予測の方向を示している。
ここで、MPEG1での動き補償には、マクロブロック単
位で以下の4種類のモードが存在する。すなわち、 第1の動き補償のモードとして時間的に過去にあるフ
レームからの予測のモード(前方向予測モード)と、 第2の動き補償のモードとして時間的に未来にあるフ
レームからの予測のモード(後方向予測モード)と、 第3の動き補償のモードとして過去と未来の両フレー
ムからの線形予測のモード(両方向予測モード)(すな
わち過去フレームからの予測ブロックと未来フレームか
らの予測ブロックを1画素毎に平均値計算する。)と、 第4の動き補償のモードとして動き補償なし(すなわ
ちイントラ符号化モードである。)のモードとがある。
これら4種類の動き補償のモードの内、Pピクチャで
は、第1又は第4の動き補償のモードから最適なものが
マクロブロック単位で選ばれる。このとき、現フレーム
の画像に対して動き補償予測時に参照する過去フレーム
は1フレームが存在する。また、Bピクチャでは、第1
から第4の動き補償のモードの中から最適なものがマク
ロブロック単位で選ばれる。このとき、現フレームの画
像に対して動き補償予測時に参照する過去フレームと未
来フレームはそれぞれ1フレームが存在する。
Pピクチャ、Bピクチャにおいて、マクロブロック単
位での動きベクトルとしては、第1の動き補償のモード
の予測では過去フレームを参照する動きベクトルが1つ
存在し、第2の動き補償のモードの予測では未来フレー
ムを参照する動きベクトルが1つ存在し、第3の動き補
償のモードの予測では過去と未来の両フレームを参照す
る動きベクトルがそれぞれ1つずつ存在する。
MPEG1では、これらマクロブロック単位で与えられる
動きベクトルは、その情報の有する空間的な相関性が高
いことを利用して、図12に示す差分化器により、差分化
されて伝送される。
具体的に言うと、差分化器では、端子404には第1の
動き補償のモードから第4の動き補償のモードの4通り
で与えられる動き補償モード信号が供給され、端子401
には現在入力された動きベクトル信号が供給される。現
在入力された動きベクトル信号は、切換スイッチ406の
共通端子と差分回路405の加算入力端子に送られ、動き
補償モード信号は切換器403に送られる。
切換スイッチ406の被切換端子aはレジスタ群402の過
去フレーム参照ベクトル用レジスタ402aの入力端子と接
続され、被切換端子bはレジスタ群402の未来フレーム
参照ベクトル用レジスタ402bの入力端子と接続されてい
る。また、このレジスタ群402の過去フレーム参照ベク
トル用レジスタ402aの出力端子は切換スイッチ407の被
切換端子aと接続され、未来フレーム参照ベクトル用レ
ジスタ402bの出力端子は切換スイッチ407の被切換端子
bと接続されている。これら切換スイッチ406及び407
は、動き補償モード信号が供給される切換器403から出
力されるレジスタ切換信号S401に従って、被切換端子a
又はbの何れか選ばれるものである。切換スイッチ407
の出力は差分回路405の減算入力端子に送られる。
したがって、差分回路405では、切換器403から出力さ
れたレジスタ切換信号S401に従ってレジスタ群402から
切換スイッチ407を通って読み出された動きベクトル信
号S402と、端子401からの動きベクトル信号との差分が
取られる。この差分回路405による差分が、当該差分化
器からの差分化動きベクトル信号として端子408から出
力される。
また、現在入力された動きベクトル信号は、レジスタ
切換信号S401により指定されたレジスタ402a又は402bに
切換スイッチ406を通って上書きされ、新たに記憶され
る。
このように、差分化器では、過去フレームを参照する
動きベクトルと未来フレームを参照する動きベクトルと
でそれぞれ独立に差分化がなされることになる。
上述した差分化器の動作の具体例を図13に示す。図中
の動きベクトルの(X,Y)は、X成分が水平方向の動き
を表し、Y成分が垂直方向の動きを表す。そして、空間
的に右方向及び下方向の動きには正の値を与え、また左
方向及び上方向の動きには負の値を与える。なお、差分
化時の初期値には(0,0)を与えている。また、図中のF
MVは過去フレーム参照動きベクトルを、BMVは未来フレ
ーム参照動きベクトルを表している。更に、図中のモー
ド(1)は前方向予測の動き補償モードを、モード
(2)は後方向予測の動き補償モードを、モード(3)
は両方向予測の動き補償モードを表している。
すなわち、この図13において、例えば図の左端の小ブ
ロックの動き補償モードがモード(3)で過去フレーム
参照動きベクトルFMVが(10,10)で未来フレーム参照動
きベクトルBMVが(8,8)であるとき、次の右隣のモード
(1)の小ブロックにおける動きベクトルが(8,5)な
らばその差分化動きベクトルは(8,5)−(10,10)の
(−2,−5)となり、次の右隣のモード(1)の小ブロ
ックにおける動きベクトルが(7,6)ならばその差分化
動きベクトルは(7,6)−(8,5)の(−1,−1)とな
る。また、次のモード(2)の小ブロックにおける憂き
ベクトルが(9,10)ならばその差分化動きベクトルは
(9,10)−(8,8)の(1,2)となり、次のモード(3)
の小ブロックにおける入力動きベクトルが(5,4)(8,
9)ならばその差分化動きベクトルは(5,4)−(7,6)
の(−2,−2)と(8,9)−(9,10)の(−1,−1)と
なる。
次に、図14に図13で示した差分化器と相補的な構成で
ある差分化された動きベクトルから動きベクトルを再構
成するための逆差分化器を示す。
具体的に言うと、逆差分化器では、端子414には第1
の動き補償のモードから第4の動き補償のモードの4通
りで与えられる動き補償モード信号が供給され、端子40
8には現在入力された差分化動きベクトル信号が供給さ
れる。差分化動きベクトル信号は加算回路409の一方の
加算入力端子に送られ、動き補償モード信号は切換器41
3に送られる。
また、切換スイッチ411の被切換端子aはレジスタ群4
10の過去フレーム参照ベクトル用レジスタ410aの出力端
子と接続され、被切換端子bは未来フレーム参照ベクト
ル用レジスタ410bの出力端子と接続されている。切換ス
イッチ411は、動き補償モード信号が供給される切換器4
13から出力されるレジスタ切換信号S403に従って、被切
換端子a又はbの何れかが選ばれるものである。この切
換スイッチ411の共通端子が、加算回路409の他方の加算
入力端子と接続されている。
したがって、加算回路409では、切換器413から出力さ
れたレジスタ切換信号S403に従ってレジスタ群410から
切換スイッチ411を通って読み出された動きベクトル信
号S404と、端子408からの差分化動きベクトル信号との
加算が取られる。この加算回路409の加算出力が、当該
逆差分化器からの再構成動きベクトル信号として端子41
5から出力される。
また、加算回路409からの再構成動きベクトル信号
は、切換スイッチ412の共通端子にも送られる。切換ス
イッチ412は、レジスタ切換信号S403に基づいて被切換
端子a又はbの何れかが選ばれるものであり、被切換端
子aがレジスタ群410の過去フレーム参照ベクトル用レ
ジスタ410aと接続され、被切換端子bが未来フレーム参
照ベクトル用レジスタ410bと接続されているものであ
る。
このため、再構成動きベクトルの情報は、レジスタ切
換信号403により指定されたレジスタ410a又は410bに切
換スイッチ412を通って上書きされ、新たに記憶され
る。
ところで、MPEG1は、ノンインタレース画像に適した
動画像符号化方法であるため、テレビジョン信号である
いわゆるNTSC方式やPAL方式などのインタレース信号の
符号化に対しては、必ずしも適しているとは言えず、問
題があった。
そのため、近年、MPEG1の後を受けたMPEG2において、
インタレース信号に対し、効率の良い動き補償予測符号
化を行う方式が考えられ、この方式では、図15に示すよ
うに、画像を扱う単位をフレームとフィールドで適応的
に切り換える方法がとられている。なお、図15におい
て、図中frはフレームを示し、図中fiはフィールドを、
図中矢印FRPはフレームベースの予測を、図中矢印FIPは
フィールドベースの予測を示している。
このとき、MPEG2において、ピクチャ構造をフレーム
とした場合には、動き補償予測をフレームベースのマク
ロブロックで行うか、フィールドベースのマクロブロッ
クで行うかを適応的に切り換えるという方法がとられて
いる。
また、MPEG2においては、必要に応じてマクロブロッ
クを上部分と下部分の16画素×8ラインの領域に分け
て、動き補償予測をそれぞれの領域で別々に行うという
方法がとられている。
このとき、マクロブロック単位で与えられる動きベク
トルは、上述した第1の動き補償のモードの予測では過
去フレーム(或いはフィールド)を参照する動きベクト
ルが1つ以上、第2の動き補償のモードの予測では未来
フレーム(或いはフィールド)を参照する動きベクトル
が1つ以上、第3の動き補償のモードの予測では過去と
未来の両フレーム(或いはフィールド)を参照する動き
ベクトルがそれぞれ1つ以上ずつ存在する。そして、そ
れぞれの動き補償モードでの動きベクトルの数は、マク
ロブロック単位で変化する。
このように、MPEG2での動き補償予測方法は、MPEG1に
比べ複雑な方式が考えられており、それに伴って、その
時の動きベクトルも、MPEG1に比べ多く、その種類も多
くなっている。このように状況において、これらの動き
ベクトルを扱う上で以下に示す2つの問題点が存在す
る。
すなわち、1番目の問題点は、動きベクトルの符号化
に際してはMPEG1で用いられている方法を適用できない
ということである。そのために、幾つかの提案がなさ
れ、それらは、例えば、ISO−IEC/JTC1/SC29/WG11 MPEG
93/225b Test Model 4(1993.2公開)の資料のP.32、P.
44、P.145、P.148に公開されている。
しかしながら、これらの提案は、全ての動き補償のモ
ードをサポートしているとは言えず、未だ不十分なもの
である。また、これらの提案は、次に説明する2番目の
問題点を解決できないという欠点を持っている。
その2番目の問題点は、スキップ・マクロブロック
(Skipped Macroblock)の取扱が明示されていないとい
う問題である。
ここで、MPEG1でのスキップ・マクロブロックは、以
下に示す特徴を有するマクロブロックである。すなわ
ち、 第1に、Pピクチャでのスキップ・マクロブロック
は、 伝送すべき動き補償誤差信号を持たないこと(条件a_
1e)、 動き補償モードは前方向予測であること(条件a_2
e)、 動きベクトルの値が零であること(条件a_3e)、 第2に、Bピクチャでのスキップ・マクロブロック
は、 伝送すべき動き補償誤差信号を持たないこと(条件b_
1e)、 動き補償モードが直前に伝送したマクロブロックと同
じであること(条件b_2e)、 図12に示した差分化器により得られた差分化された動
きベクトルの値が零であること(条件b_3e)、 という特徴を有する。
また、復号化装置(デコーダ)において、MPEG1では
スキップ・マクロブロックは以下のように取り扱われ
る。すなわち、MPEG1では、 第1に、Pピクチャでのスキップ・マクロブロックの
処理は、 伝送されてきた動き補償誤差信号を零と考えること
(条件a_1d)、 動き補償モードは前方向予測とすること(条件a_2
d)、 動きベクトルの値を零とすること(条件a_3d)、 第2に、Bピクチャでのスキップ・マクロブロックの
処理は、 伝送されてきた動き補償誤差信号を零と考えること
(条件b_1d)、 直前に受信されたマクロブロックの動き補償モードを
コピー(複製)すること(条件b_2d)、 直前に受信されたマクロブロックの動きベクトルをコ
ピー(複製)すること(条件b_3d)、 のように、スキップ・マクロブロックが取り扱われる。
簡単に言い換えれば、MPEG1において、Pピクチャで
のスキップ・マクロブロックの復号化処理は、過去の画
像からのコピーであり、Bピクチャでのスキップ・マク
ロブロックの復号化処理は、同一フレーム内で直前にデ
コードされた左隣のマクロブロックからのコピーであ
る。
上述のように、MPEG1において、スキップ・マクロブ
ロックであるマクロブロックについては、符号化装置は
データを何も伝送しない。このように、スキップ・マク
ロブロックは、符号化効率を上げるうえで重要な符号化
技術である。例えば、動画のシーケンスであっても、そ
の内容が静止画(若しくは非常に動きの穏やかな線)が
続く場面である場合には、ほとんどのマクロブロックを
スキップ・マクロブロックとすることが可能となる。極
端な場合には、1フレーム目を動き補償なしで画像内で
符号化して伝送し、2フレーム目からはそのマクロブロ
ックをほとんどスキップ・マクロブロックとすることが
可能である場合がある。この場合、大幅な符号化効率の
向上が期待できる。
このようにことから、上述のMPEG2の動き補償予測で
の動きベクトルを符号化するための方法は、このスキッ
プ・マクロブロックの取扱方法までを考えた方法である
必要がある。
しかしながら、従来、MPEG2へ提案されている動きベ
クトルを符号化する方法は、スキップ・マクロブロック
の取扱について考慮されておらず、そのためスキップ・
マクロブロックを取り扱うことができないという問題点
を持っている。
例えばその問題点の一例を、図16の差分化器の構成に
基づいて説明する。これは上述した資料のISO−IEC/JTC
1/SC29/WG11 MPEG93/225b Test Model 4に述べられてい
る方法である。
この図16において、端子504には動き補償のモード信
号として前方向や後方向や両方向予測のモード情報と、
後述するプレディクション・タイプ信号としてフレーム
予測やフィールド予測などを示す情報と、ピクチャ構造
信号としてフレーム構造やフィールド構造やプログレッ
シブを示す情報が供給され、その他、フィールド動きベ
クトルパリティ信号として第1フィールド(フィールド
1すなわち例えば奇数フィールド)や第2フィールド
(フィールド2すなわち例えば偶数フィールド)を示す
情報と、被予測フィールドパリティ信号として同じく第
1フィールドや第2フィールドを示す情報と、ピクチャ
符号化タイプ信号としてP画像やB画像などを示す情報
が供給される。また、端子501には現在入力された動き
ベクトル信号が供給される。
端子504に供給された信号は、切換器503に送られる。
また、現在入力された動きベクトル信号は、切換器503
からのスケール指示信号SCBに基づき現在入力された動
きベクトルに対して所定のスケール変換Bを施すスケー
ル変換器509を介して、切換スイッチ506の共通端子と、
差分回路505の加算入力端子に送られる。
切換スイッチ506は、被切換端子a〜dを有し、被切
換端子aは、後述する動きベクトル記憶用のレジスタメ
モリ群502のレジスタメモリPMV1の入力端子と接続さ
れ、被切換端子bは、レジスタメモリ群502のレジスタ
メモリPMV2の入力端子と接続され、被切換端子cは、レ
ジスタメモリPMV3の入力端子と接続され、被切換端子d
は、レジスタメモリPMV4の入力端子と接続されている。
また、この動きベクトル記憶用のレジスタメモリ群502
のレジスタメモリPMV1の出力端子は、切換スイッチ507
の被切換端子aと接続され、レジスタメモリPMV2の出力
端子は、切換スイッチ507の被切換端子bと接続され、
レジスタメモリPMV3の出力端子は、切換スイッチ507の
被切換端子cと接続され、レジスタメモリPMV4の出力端
子は、切換スイッチ507の被切換端子dと接続されてい
る。これら切換スイッチ506及び507は、切換器503から
出力されるレジスタ切換信号に従って被切換端子a〜d
の何れかが選ばれるものである。
切換スイッチ507の出力は、切換器503からのスケール
指示信号SCAに基づき所定のスケール変換Aを施すスケ
ール変換器510を介して差分回路505の減算入力端子に送
られる。差分回路505では、スケール変換器510からの情
報と、端子501からの動きベクトル信号との差分が取ら
れる。この差分回路505による差分が、当該差分化器か
らの差分化動きベクトル信号として端子508から出力さ
れる。
また、現在入力された動きベクトルの情報は、スケー
ル変換器509を介し、更にレジスタ切換信号により指定
されたレジスタメモリPMV1〜PMV4の何れかに切換スイッ
チ506を通って上書きされ、新たに記憶される。
このように、図16に示す動きベクトルを差分化するた
めの差分化器は、動きベクトル信号を記憶するための4
個のレジスタメモリPMV1〜PMV4からなるレジスタメモリ
群502を備えている。
ここで、動きベクトル記憶用のレジスタメモリ群502
の動作について以下に説明する。
ISO−IEC/JTC1/SC29/WG11 MPEG93/225b Test Model 4
におけるPピクチャでは、図16のレジスタメモリ群502
の各レジスタメモリPMV1〜PMV4を以下のように使用する
よう提案されていた。
すなわち例えば、レジスタメモリPMV1には、参照画像
(予測画像のもととなる画像)が第1フィールドであ
り、これに対する被予測フィールド(これから符号化さ
れるフィールド)が第1フィールドである前方向動きベ
クトルの情報が記憶される。また、レジスタメモリPMV2
には、参照画像が第2フィールドであり、被予測フィー
ルドが第1フィールドである前方向動きベクトルの情報
が記憶され、レジスタメモリPMV3には、参照画像が第1
フィールドであり、被予測フィールドが第2フィールド
である前方向動きベクトルの情報が記憶され、レジスタ
メモリPMV4には、参照画像が第2フィールドであり、被
予測フィールドが第2フィールドである前方向動きベク
トルの情報が記憶される。すなわち、Pピクチャでは、
参照画像と被予測フィールドの組み合わせによって、ど
のレジスタメモリに動きベクトル信号を記憶するかが決
められていた。
一方、ISO−IEC/JTC1/SC29/WG11 MPEG93/225b Test M
odel 4におけるBピクチャでは、図16の各レジスタメモ
リPMV1〜PMV4を以下のように使用するように提案されて
いた。
すなわち例えば、レジスタメモリPMVは、前方向動き
ベクトル用に2個用意され、例えばレジスタメモリPMV1
には、参照画像が第1フィールドである前方向動きベク
トルの情報が記憶され、レジスタメモリPMV2には、参照
画像が第2フィールドである前方向動きベクトルの情報
が記憶される。また、後方向動きベクトル用にも2個の
レジスタメモリPMVが用意され、レジスタメモリPMV3に
は、参照画像が第1フィールドである後方向動きベクト
ルの情報が記憶され、レジスタメモリPMVには、参照画
像が第2フィールドである後方向動きベクトルの情報が
記憶される。すなわち、Bピクチャでは、被予測フィー
ルドが第1フィールドであるか第2フィールドであるか
にかかわらず、参照画像及び予測の方向が同じである動
きベクトル信号が、同じレジスタメモリに記憶されるよ
うになっていた。
この図16に示す差分化器においては、現在入力される
動きベクトルを差分化する際には、その動きベクトルに
対応するレジスタメモリPMV(すなわち、その動きベク
トルがPピクチャの符号化に用いられる場合には、その
動きベクトルと同じ参照画像及び被予測フィールドのパ
リティを有する動きベクトルが記憶されたPMV。また、
その動きベクトルがBピクチャの符号化に用いられる場
合には、その動きベクトルと同じ参照画像のパリティ及
び予測の方向を有する動きベクトルが記憶されたPM
V。)の値を取り出し、その値に対して必要に応じて
(スケール指示信号SCAに応じて)スケール変換器510に
よる所定のスケール変換Aを施した後、その値と現在入
力された動きベクトルの差分計算を差分回路505によっ
て行う。そして、現在入力された動きベクトルは、その
値を必要に応じてスケール変換器509によってスケール
変換Bした後、図示は省略しているが、上述したような
動きベクトル差分化時に選択参照された何れかのレジス
タメモリPMVに上書きされ、ここに新たに記憶される。
このようにして、差分化器が構成されている。
また、図17は、図16の動きベクトルの差分化器に対応
する逆差分化器である。
この図17に示す逆差分化器において、端子524には、
動き補償モード信号と、プレディクション・タイプ信号
と、ピクチャ構造信号と、フィールド動きベクトルパリ
ティ信号と、被予測フィールドパリティ信号と、ピクチ
ャ符号化タイプ信号とが供給される。また、端子518に
は、現在入力された差分化動きベクトル信号が供給され
る。
端子524を介した情報は切換器523に送られ、差分化動
きベクトルは加算回路519の一方の加算入力端子に送ら
れる。
また、切換スイッチ521の被切換端子aは、上述した
図16の動きベクトル記憶用のレジスタメモリ群502と同
様の記憶を行う動きベクトル記憶用レジスタメモリ群52
0のレジスタメモリPMV1の出力端子と接続され、被切換
端子bは、レジスタメモリPMV2の出力端子と接続され、
被切換端子cは、レジスタメモリPMV3の出力端子と接続
され、被切換端子dは、レジスタメモリPMV4の出力端子
と接続されている。当該切換スイッチ521は、切換器523
からのレジスタ切換信号に従って被切換端子a〜dの何
れかが選ばれるものである。この切換スイッチ521の共
通端子は、切換器523からのスケール指示信号SCCに基づ
いて供給された信号に所定のスケール変換Cを施すスケ
ール変換器529を介して、加算回路519の他方の加算入力
端子に接続されている。
したがって、加算回路519では、切換器523から出力さ
れたレジスタ切換信号に従ってレジスタメモリ群520か
ら切換スイッチ521を通って読み出され、更にスケール
変換器529を介した動きベクトル信号と、端子518からの
差分化動きベクトル信号との加算が取られる。この加算
回路519の加算出力が、当該逆差分化器からの再構成動
きベクトルとして端子525から出力される。
また、加算回路519からの際構成動きベクトル信号
は、切換器523からのスケール指示信号SCDに基づいて供
給された信号に所定のスケール変換Dを施すスケール変
換器530を介して、切換スイッチ522の共通端子にも送ら
れる。切換スイッチ522は、レジスタ切換信号に基づい
て被切換端子a〜dの何れかが選ばれるものであり、被
切換端子aがレジスタメモリ群520のレジスタメモリPMV
1の入力端子と接続され、被切換端子bがレジスタメモ
リPMV2の入力端子と接続され、被切換端子cがレジスタ
メモリPMV3の入力端子と接続され、被切換端子dがレジ
スタメモリPMV4の入力端子と接続されているものであ
る。
このため、再構成動きベクトルの情報は、レジスタ切
換信号により指定されたレジスタメモリPMV1〜PMV4の何
れかに切換スイッチ522を通って上書きされ、新たに記
憶される。
すなわち、この図17の逆差分化器においては、入力さ
れた差分化動きベクトルに対応するレジスタメモリPMV
(すなわち、その差分化動きベクトルが、Pピクチャの
復号化に用いられる場合には、その差分化動きベクトル
と同じ参照画像及び被予測フィールドのパリティを有す
る再構成動きベクトルが記憶されたPMV。また、その差
分化動きベクトルが、Bピクチャの復号化に用いられる
場合には、その差分化動きベクトルと同じ参照画像パリ
ティと予測の方向を有する再構成動きベクトルが記憶さ
れたPMV。)に記憶されている値を取り出し、その値を
必要に応じてスケール変換器529によってスケール変換
Cした後、その値と差分化動きベクトルの加算計算を加
算回路519によって行うことで、動きベクトルが再構成
される。そして、再構成動きベクトルは、その値を必要
に応じてスケール変換器530によってスケール変換Dさ
れた後、動きベクトル再構成時に選択参照されたレジス
タメモリPMV1〜PMV4の何れかに上書きし、新たに記憶さ
れる。このように、逆差分化器が構成されている。
次に、図16の差分化器におけるBピクチャに対する動
作例を図18を用いて説明する。
この図18において、マクロブロック(小ブロック)MB
1は、伝送すべき予測誤差信号がないものとする(条件b
_1eが満たされる)。また、マクロブロックMB0とマクロ
ブロックMB1は、同じ前方向予測モードである(条件b_2
eが満たされる)とする。
このとき、第1の例としてピクチャ構造はフィールド
構造であり、被予測フィールドパリティは、第1フィー
ルド(被予測フィールドが第1フィールド)であるとす
る。プレディクション・タイプは、上部の16画素×8ラ
インの領域と下部16画素×8ラインの領域をそれぞれ別
々に予測を行う場合(16×8 Field based prediction)
である。なお、図18の例では、例えば、マクロブロック
MB0の上部の動きベクトルが(5,1)(1)で、マクロブロ
ックMB0の下部の動きベクトルが(5,5)(2)で、マクロ
ブロックMB1の上部の動きベクトルが(5,5)(3)で、マ
クロブロックMB1の下部の動きベクトルが(5,5)
(4)で、マクロブロックMB2の上部の動きベクトルが(5,
5)(5)で、マクロブロックMB2の下部の動きベクトルが
(5,5)(6)となっている。
また、マクロブロックMB0とマクロブロックMB1の全て
の動きベクトルは、同一の第1フィールドを参照してい
るものとする。この場合、全ての動きベクトルについ
て、参照画像のパリティ及び予測の方向が同じになるた
め、動きベクトルは、図16のレジスタメモリPMV1に記憶
されている動きベクトルが減算されて伝送される。な
お、図16のレジスタメモリPMV1は初期値として(0,0)
が記憶されているとする。
すなわち、図18の例の場合、マクロブロックMB0にお
いては、上部の動きベクトル(5,1)(1)とレジスタメモ
リPMV1の初期値(0,0)との差分である(5,1)(1)−PMV
1=(5,1)が得られ、この値がマクロブロックMB0の上
部の差分動きベクトルとして出力される。レジスタメモ
リPMV1には動きベクトル(5,1)(1)が記憶される。ま
た、下部の動きベクトル(5,5)(2)とレジスタメモリPM
V1の値(5,1)との差分である(5,5)(2)−PMV1=(0,
4)が得られ、この値がマクロブロックMB0の下部の差分
動きベクトルとして出力される。レジスタメモリPMV1に
は動きベクトル(5,5)(2)が記憶される。次に、マクロ
ブロックMB1についても同様に差分を取ることによっ
て、当該マクロブロックMB1では、差分化動きベクトル
は全て零(0,0)となる(前記条件b_3eが満たされ
る)。
また、第2の例として、上述のように条件b_1eと条件
b_2eが満たされているとき、ピクチャ構造がフレーム構
造であるとする。プレディクション・タイプは、マクロ
ブロックMBの第1フィールドと第2フィールドをそれぞ
れ別々に予測を行う場合(Field based prediction)
(被予測フィールドが第1フィールドと第2フィール
ド)であるとする。また、マクロブロックMB0の第1フ
ィールドが(5,1)(1)で、第2フィールドの動きベクト
ルが(5,5)(2)で、マクロブロックMB1の第1フィール
ドの動きベクトルが(5,5)(3)で、第2フィールドの動
きベクトルが(5,5)(4)で、マクロブロックMB2の第1
フィールドの動きベクトルが(5,5)(5)で、第2フィー
ルドの動きベクトルが(5,5)(6)であるとする。
更に、マクロブロックMB0とマクロブロックMB1の全て
の動きベクトルは、同一の第1フィールドを参照してい
るとする。この場合も、参照画像のパリティと予測方向
が全ての動きベクトルについて同じとなるため、動きベ
クトルは、図16のレジスタメモリPMV1に記憶されている
動きベクトルが減算されて伝送されることになる。よっ
て、この例においても差分のとり方は図18と同様にな
り、マクロブロックMB1では、差分化動きベクトルは全
て零(0,0)となる(条件b_3eが満たされる)。
このようにことから、上述の2つの例において、MPEG
1での規則によれば、マクロブロックMB1は条件b_1e、b_
2e、b_3eが満たされるのでエンコーダがこのマクロブロ
ックMB1をスキップ・マクロブロックとして処理したと
する。
ところがこの場合、それは誤った選択となる。なぜな
らば、復号化装置側において、条件b_1dとb_2dの処理は
正しく行われるが、条件b_3dの処理は、マクロブロック
MB0とマクロブロックMB1の動きベクトルが実際には異な
るにもかかわらず、コピーが行われるからである。すな
わち、マクロブロックMB1をスキップ・マクロブロック
と判定すると、前者の例ではマクロブロックMB0の上部
の動きベクトル(5,1)(1)と、マクロブロックMB1の上
部の動きベクトル(5,5)(3)とが異なる((5,1)(1)
(5,5)(3))にもかかわらず、マクロブロックMB0から
マクロブロックMB1への動きベクトルのコピー(複製)
が行われ、復号化は正しく行われない。また、後者の例
でも、マクロブロックMB0の第1フィールドの動きベク
トル(5,1)(1)と、マクロブロックMB1の第1フィール
ドの動きベクトル(5,5)(3)は実際には異なっているに
もかかわらず、誤ったコピーが行われる。
この問題は、従来、Bピクチャにおいて、同一マクロ
ブロック内の動きベクトルを差分化して伝送する際に、
同じレジスタメモリ(PMV)を2回以上使用し、その内
容を更新していることに原因がある。
また、同一マクロブロック内の動きベクトルに関し
て、同じレジスタメモリ(PMV)を2回以上使用するこ
とは復号化装置側において更に以下のような問題を生じ
る。
図19は、Bピクチャに関して伝送された差分化動きベ
クトルから動きベクトルを再構成する動作を示したもの
である。なおこの例においては、ピクチャ構造はフィー
ルド構造であり、マクロブロックMB0、MB1、MB2はそれ
ぞれ、上部の16画素×8ラインの領域と下部16画素×8
ラインの領域とが別々に前方向予測モードで符号化され
ているものとする。また、参照画像は、上部の16画素×
8ラインの領域も下部16画素×8ラインの領域も単一の
第1フィールドであるとする。
この図19の例においては、上部の領域と下部の領域と
は、同じ参照画像のパリティと同じ予測の方向を有する
ため、例えばレジスタメモリPMV1だけが使用されて、同
一マクロブロック内でそのレジスタメモリPMV1の内容が
変化する。そのため、直前に処理されたマクロブロック
の動きベクトルを保持しておくためには、当該レジスタ
メモリPMV以外に別の4つのレジスタメモリ(前方向、
後方向ベクトルのために2個ずつ)を持つ必要がある。
なお、直前のマクロブロックの動きベクトルを保持して
おくことは、復号化装置側での、エラー修整などを行う
目的の上からもよく行われていることである。
すなわち、図19においては、図18による差分化動きベ
クトルとして、マクロブロックMB0の上部の差分化動き
ベクトルの(5,1)(1)と、マクロブロックMB0の下部の
差分化動きベクトルの(0,4)(2)と、マクロブロックMB
1の上部の差分化動きベクトルの(0,0)(3)と、マクロ
ブロックMB1の下部の差分化動きベクトルの(0,0)(4)
と、マクロブロックMB2の上部の差分化動きベクトルの
(0,0)(5)と、マクロブロックMB2の下部の差分化動き
ベクトルの(0,0)(5)とが得られるとする。また、レジ
スタメモリPMV1は初期値として(0,0)が記憶されてい
るとする。
ここで、この図19の例の場合、マクロブロックMB0に
おいては、上部の差分化動きベクトルの(5,1)(1)とレ
ジスタメモリPMV1の初期値(0,0)との加算による(5,
1)(1)+PMV1=(5,1)が再構成動きベクトルとして
得られ、これがレジスタメモリPMV1に送られるようにな
る。また、このマクロブロックMB0の下部においては、
下部の差分化動きベクトル(0,4)(2)とレジスタメモリ
PMV1に送られた再構成動きベクトル(5,1)との加算
による(0,4)(2)+PMV1=(5,5)が再構成動きベク
トルとして得られ、これがレジスタメモリPMV1に送られ
るようになる。同様に、マクロブロックMB1において
は、上部の差分化動きベクトル(0,0)(3)とレジスタメ
モリPMV1に送られた再構成動きベクトル(5,5)との
加算による(0,0(3)+PMV1=(5,5)が再構成動きベ
クトルとして得られ、これがレジスタメモリPMV1に送ら
れるようになる。また、このマクロブロックMB1の下部
においては、下部の差分化動きベクトル(0,0)(4)とレ
ジスタメモリPMV1に送られた再構成動きベクトル(5,
5)との加算による(0,0)(4)+PMV1=(5,5)が再
構成動きベクトルとして得られ、これがレジスタメモリ
PMV1に送られるようになる。このように、得られた再構
成動きベクトルは順次レジスタメモリPMV1に上書きされ
るため、直前のマクロブロックの再構成動きベクトルは
消失することになる。
このように、復号化装置側においては、直前のマクロ
ブロックMBで再構成された動きベクトルの値を保持する
ために、1つの予測の方向に対して、別に2つのレジス
タメモリPMVが必要であり、例えばマクロブロックMB0で
は動きベクトル(5,1)と(5,5)の値を、また、マ
クロブロックMB1では動きベクトル(5,1)と(5,5)
の値を記憶する必要がある。
上述したように、従来のMPEG2に提案されている動き
ベクトルの符号化方法では、スキップ・マクロブロック
の取扱を考えておらず、そのためスキップ・マクロブロ
ックを取り扱うことができないという問題点を持ってい
る。
また、復号化装置側においては、直前に処理されたマ
クロブロックの動きベクトルを保持しておくために、レ
ジスタメモリPMV以外にレジスタメモリを持つ必要があ
り、ベクトル(差分化動きベクトル)の逆差分化器の構
成が複雑化している。
更に、従来は、ベクトル差分化器、逆差分化器でのレ
ジスタメモリPMVの切り換えのための制御が複雑であ
り、レジスタメモリPMVの切換器のハードウエア規模が
大きいという問題がある。
発明の開示 そこで、本発明では係る点に着目し、本発明の目的
は、画像信号をマクロブロック単位で符号化する際に、
スキップ・マクロブロックを判定することができる画像
信号符号化方法及び装置を提供することである。
本発明に係る画像信号符号化方法は、入力画像信号を
動き補償モードを含む複数のモードに基づいてマクロブ
ロック毎に符号化し、動き補償により符号化されたマク
ロブロックの動きベクトルを過去の動きベクトルとの差
分化動きベクトルとして伝送する画像信号符号化方法に
おいて、ピクチャ符号化タイプがPピクチャであり、複
数のモードの内のピクチャ構造がフィールド構造である
場合、符号化されたマクロブロック毎に、予測誤差信号
が零であり、動きベクトルが零であり、複数のモードの
内の動き補償モードが前方向予測であり、複数のモード
の内のプレディクション・タイプが16×16のフィールド
予測であり、マクロブロックのフィールド動きベクトル
参照パリティが被予測フィールドパリティと同じである
ことの条件を満たすか否かを判定し、条件を満たす場合
に、符号化されたマクロブロックをスキップ・マクロブ
ロックとして処理する。
また、本発明に係る画像信号符号化方法は、入力画像
信号を動き補償モードを含む複数のモードに基づいてマ
クロブロック毎に符号化し、動き補償により符号化され
たマクロブロックの動きベクトルを過去の動きベクトル
との差分化動きベクトルとして伝送する画像信号符号化
方法において、ピクチャ符号化タイプがPピクチャであ
り、複数のモードの内のピクチャ構造がフレーム構造で
ある場合、符号化されたマクロブロック毎に、予測誤差
信号が零であり、動きベクトルが零であり、複数のモー
ドの内の動き補償モードが前方向予測であり、複数のモ
ードの内のプレディクション・タイプがフレーム予測で
あることの条件を満たすか否かを判定し、条件を満たす
場合に、符号化されたマクロブロックをスキップ・マク
ロブロックとして処理する。
本発明に係る画像信号符号化装置は、入力画像信号を
動き補償モードを含む複数のモードに基づいてマクロブ
ロック毎に符号化し、動き補償により符号化されたマク
ロブロックの動きベクトルを過去の動きベクトルとの差
分化動きベクトルとして伝送する画像信号符号化装置に
おいて、ピクチャ符号化タイプがPピクチャであり、複
数のモードの内のピクチャ構造がフィールド構造である
場合、符号化されたマクロブロック毎に、予測誤差信号
が零であり、動きベクトルが零であり、複数のモードの
内の動き補償モードが前方向予測であり、複数のモード
の内のプレディクション・タイプが16×16のフィールド
予測であり、マクロブロックのフィールド動きベクトル
参照パリティが被予測フィールドパリティと同じである
ことの条件を満たすか否かを判定する手段と、条件を満
たす場合に、符号化されたマクロブロックをスキップ・
マクロブロックとして処理する手段とを有する。
また、本発明に係る画像信号符号化装置は、入力画像
信号を動き補償モードを含む複数のモードに基づいてマ
クロブロック毎に符号化し、動き補償により符号化され
たマクロブロックの動きベクトルを過去の動きベクトル
との差分化動きベクトルとして伝送する画像信号符号化
装置において、ピクチャ符号化タイプがPピクチャであ
り、複数のモードの内のピクチャ構造がフレーム構造で
ある場合、符号化されたマクロブロック毎に、予測誤差
信号が零であり、動きベクトルが零であり、複数のモー
ドの内の動き補償モードが前方向予測であり、複数のモ
ードの内のプレディクション・タイプがフレーム予測で
あることの条件を満たすか否かを判定する手段と、条件
を満たす場合に、符号化されたマクロブロックをスキッ
プ・マクロブロックとして処理する手段とを有する。
図面の簡単な説明 図1は、本発明を適用した動画像符号化装置の構成を
示すブロック回路図である。
図2は、本発明を適用した動画像符号化装置に用いら
れるベクトル差分化器の構成を示すブロック回路図であ
る。
図3は、本発明を適用した動画像符号化装置に用いら
れるベクトル差分化器及び動きベクトル逆差分化器を説
明するためのレジスタメモリを示す図である。
図4は、本発明を適用した動画像符号化装置に用いら
れるスキップ・マクロブロック判定器の構成を示すブロ
ック回路図である。
図5は、本発明を適用した動画像復号化装置の構成を
示すブロック回路図である。
図6は、本発明を適用した動画像復号化装置に用いら
れる動きベクトル逆差分化器の構成を示すブロック回路
図である。
図7は、本発明を適用した動画像復号化装置における
差分化動きベクトルの具体的な構成を説明するための図
である。
図8は、本発明を適用した動画像復号化装置における
差分化動きベクトルから動きベクトルを再構成する具体
例を説明するための図である。
図9は、動き補償予測の原理を説明するための図であ
る。
図10は、マクロブロック単位での動き補償予測につい
て説明するための図である。
図11は、ピクチャ間での動き補償予測について説明す
るための図である。
図12は、MPEG1における動きベクトル差分化器の構成
を示すブロック回路図である。
図13は、MPEG1における動きベクトル差分化器の動作
例を説明するための図である。
図14は、MPEG1における動きベクトル逆差分化器の構
成を示すブロック回路図である。
図15は、フレーム/フィールド適応予測を説明するた
めの図である。
図16は、従来の動きベクトル差分化器の構成を示すブ
ロック回路図である。
図17は、従来の動きベクトル逆差分化器の構成を示す
ブロック回路図である。
図18は、従来の動きベクトル差分化器の問題点を説明
するための図である。
図19は、差分化動きベクトルから動きベクトルを再構
成する従来の具体例を説明するための図である。
発明を実施するための最良の形態 以下、本発明に係る画像信号符号化方法及び装置、並
びに画像信号符号化方法及び装置について説明する。
先ず、本発明を適用した動画像符号化装置(エンコー
ダ)について図1を参照して説明する。
本発明を適用した動画像符号化装置の基本的な動作を
制御するための情報は、画像符号化制御情報入力部30か
ら与えられ、画像符号化制御記憶用メモリ29に記憶され
ている。これらは、画枠サイズ、符号化情報の出力ビッ
トレートなどである。これらの情報は、画像符号化制御
信号S25として画像符号化制御記憶用メモリ29から出力
される。また、画像符号化制御情報入力部30からは、画
像符号化制御記憶用メモリ29を介してピクチャ構造信号
S26(ピクチャがフレーム構造であるかフィールド構造
であるかプログレッシブであるかの識別信号)が出力さ
れ、更に、ピクチャ符号化タイプ信号S27(Iピクチャ
かPピクチャかBピクチャかの識別信号)も出力され
る。
また、画像入力端子10より入力された画像信号は、フ
ィールドメモリ群11に供給される。更に、入力端子26か
らは入力画像同期信号である垂直同期信号S11が供給さ
れ、参照画像コントロール器23に供給される。参照画像
コントロール器23には、端子1を介して画像符号化制御
信号S25、ピクチャ構造信号S26、ピクチャ符号化タイプ
信号S27も供給される。この参照画像コントロール器23
は、垂直同期信号S11を受けると、後述する参照画像指
示信号S10を出力し、それをフィールドメモリ群11に供
給している。
フィールドメモリ群11に供給されている画像信号の画
像は、現在の符号化対象であり、フィールドメモリ群11
は、読み出す画像(ピクチャ)の先頭に同期して、後述
するピクチャ・スタート・フラグS22を立て、それを端
子2及び端子9を介して参照画像コントロール器24に供
給する。参照画像コントロール器24は、ピクチャ・スタ
ート・フラグS22が立つと、後述する参照画像指示信号S
12、S13を出力し、それらをフィールドメモリ群17に供
給している。また、端子9を介したピクチャ・スタート
・フラグS22は、出力画像コントロール器25にも供給さ
れている。出力画像コントロール器25は、ピクチャ・ス
タート・フラグS22が立つと、後述する出力画像指示信
号S14を出力し、それをフィールドメモリ群17に供給し
ている。なお、参照画像コントロール器24及び出力画像
コントロール器25には、端子33を介して、画像符号化制
御信号S25、ピクチャ構造信号S26、ピクチャ符号化タイ
プ信号S27が供給される。
また、動き予測回路12には、フィールドメモリ群11に
供給されている画像信号が送られるとともに、端子1か
らの画像符号化制御信号S25、ピクチャ構造信号S26、ピ
クチャ符号化タイプ信号S27が供給される。この動き予
測回路12は、フィールドメモリ群11に供給されている画
像信号に対して、当該現在の符号化対象である画像中の
画素の動き予測を過去画像と未来画像を参照して行う。
この動き予測は、現在の符号化対象である画像中のブロ
ック画素信号と参照される過去画像又は未来画像とのブ
ロックマッチングであり、マクロブロックの大きさは例
えば16×16画素、16×8画素、8×8画素である。
このときの過去及び未来の参照画像は、参照画像コン
トロール器23から出力される動き予測の参照画像指示信
号S10に従ってフィールドメモリ群11の中から指定され
る。動き予測回路12は、選択可能な各動き補償モードそ
れぞれに対してブロックマッチングでの予測誤差が最小
となる参照画像中のブロック位置を検出し、その位置に
対応する動きベクトルを動きベクトル信号S7として、動
き補償回路18に供給する。なお、どの動き補償モードが
選択可能であるかは、ピクチャ構造信号S26とピクチャ
符号化タイプ信号S27によって決められる。
また、動き予測回路12は、動きベクトル信号S7の符加
情報として、プレディクション・タイプ信号S30、フィ
ールド動きベクトル参照パリティ信号S31、サブ動きベ
クトル信号S32、被予測フィールド・パリティ信号S33も
また、動き補償回路18に供給する。
ここで、プレディクション・タイプ信号S30は、例え
ば動き予測をフレームベースで行ったか、フィールドベ
ースで行ったか、ブロックマッチングを16×16画素、16
×8画素、8×8画素の何れで行ったか、DUAL−PRIME
であるかという情報である。なお、8×8画素ブロック
予測及びDUAL−PRIMEについては、上述の資料ISO−IEC/
JTC1/SC29/WG11 MPEG93/225b Test Model 4にその詳細
が述べられているので、ここでは説明を省略する。
また、フィールド動きベクトル参照パリティ信号S31
は、動き予測をフィールドベースで行った場合に、その
ベクトルを参照するフィールドが第1フィールド(フィ
ールド1)が第2フィールド(フィールド2)かを表す
信号である。
サブ動きベクトル信号S32は、例えばDUAL−PRIME及び
8×8画素ブロック予測のベクトル付属信号である。
被予測フィールド・パリティ信号S33は、動き予測を
フィールドベースで行った場合に、動きベクトルの予測
先のフィールド(被予測フィールド)が第1フィールド
か第2フィールドかを表す信号である。
動き補償回路18は、後述する既に復号再生された画像
が蓄えられているフィールドメモリ群17から、動きベク
トル信号S7、プレディクション・タイプ信号S30、フィ
ールド動きベクトル参照パリティ信号S31、サブ動きベ
クトル信号S32及び被予測フィールド・パリティ信号S33
によって指定されるアドレスに位置するブロック画像信
号S3の出力を指示する。このときの参照画像は、参照画
像コントロール器24から出力される動き補償参照画像指
示信号S12に従ってフィールドメモリ群17の中から指定
される。
動き補償回路18からのブロック画像信号S3の出力は、
適応的な動作となっており、マクロブロック単位で以下
の4種類の動作の内の選択可能な動き補償モードの中か
ら最適なものに切り換えることが可能である。
すなわち、4種類の動作とは、 第1に、過去の再生画像からの動き補償モード(前方
向予測モード)と、 第2に、未来の再生画像からの動き補償モード(後方
向予測モード)と、 第3に、過去と未来の両再生画像からの動き補償モー
ド(過去の再生画像からの参照ブロックと未来の再生画
像からの参照ブロックを1画素毎に線形演算(例えば平
均値計算)をする。)(両方向予測モード)と、 第4に、動き補償なし(すなわちイントラ符号化モー
ドである。この場合、ブロック画像信号S3の出力は、零
であることに等しい。)の4種類のモードであり、これ
らモードの内の選択可能なものから最適なものに切り換
える。
ここで、動き補償モードの切換の際には、例えば4種
類のモードで出力されるそれぞれのブロック画素信号S3
と現在の符号化対象のブロック画素信号S1との1画素毎
の差分値の絶対値の総和が最小であるモードが選択され
る。
この選択されたモードは、動き補償モード信号S9と、
その時の動きベクトル信号S8及びプレディクション・タ
イプ信号S40と、フィールド動きベクトル参照パリティ
信号S14と、サブ動きベクトル信号S42と、被予測フィー
ルド・パリティ信号S43として、端子3を介して各部に
送られる。
また、フィールドメモリ群11からは、現在の符号化対
象のマクロブロック画素信号S1が出力され、またこのマ
クロブロック画像信号S1の出力に同期して、MBスタート
・フラグS300が出力される。MBカウンタ49は、MBスター
ト・フラグS300に同期して、その数をカウントする。ま
た、MBカウンタ49は、端子48を介して供給されるピクチ
ャ・スタート・フラグS22が立つとリセットされる。な
お、当該MBカウンタ49には、端子46を介して画像符号化
制御信号S25も供給されている。
このMBカウンタ49から端子45を介して出力されるスラ
イス・スタート・フラグS301は、MBカウンタ数が予め決
められたスライス長(スライスを作るマクロブロックの
数)の倍数になると立てられる。ここで、スライスと
は、画像の走査順に連なる1つ又は複数のマクロブロッ
クで構成されるユニットであり、スライスの頭では、最
初のマクロブロックは画像内での位置を示すデータを伝
送し、受信側においてエラーが起こった場合でも復帰で
きるように考えられている。スライス長は、ビットスト
リームの伝送路のエラー状態によって変えられるように
なっている。一般的には、伝送路のエラー確率が高い場
合ほど、スライス長は短くなる。このときの指定された
スライス長は画像符号化制御記憶用メモリ29に記憶され
ている。
マクロブロック画素信号S1と動き補償回路18から供給
されるブロック画素信号S3は、減算器13にて1画素毎の
差分値が計算され、その結果、ブロック差分信号S2が得
られる。ブロック差分信号S2は、ブロック信号符号化部
14に供給され、ここから符号化信号S4が得られる。符号
化信号S4は、ブロック信号復号化部15に供給され、ここ
で復号化されてブロック再生差分信号S5となる。
ここで、ブロック信号符号化部14には、端子7を介し
た画像符号化制御信号S25と、端子31及び端子8を介し
た量子化テーブル信号S15も供給される。このブロック
信号符号化部14の構成としては、DCT(ディスクリート
コサイン変換)器と、その出力係数をバッファメモリ21
から指定された量子化テーブル信号S15により量子化す
る量子化器からなる構成を適用できる。この場合、ブロ
ック信号復号化部15にも、画像符号化制御号S25と量子
化テーブル信号S15が供給され、このブロック信号復号
化部15の構成としては、量子化係数を量子化テーブル信
号S15により逆量子化する逆量子化器と、その出力係数
を逆DCTする逆DCT器からなる構成を適用する。
ブロック再生差分信号S5は、加算器16において、動き
補償回路18から出力されるブロック画像信号S3と1画素
毎に加算され、その結果、ブロック再生信号S6が得られ
る。このブロック再生信号S6はフィールドメモリ群17の
中から現在の参照画像指示信号S13により指定されるフ
ィールドメモリに格納される。フィールドメモリ群17に
蓄えられた再生画像は、上述の出力画像指示信号S14に
従って読み出され、再生画像信号として端子32から出力
される。
一方、符号化信号S4は、端子6を介して画像符号化制
御信号S25が供給される1次元信号化部19にも送られ、
ここで1次元配列に格納され、1次元符号化信号S16と
なる。1次元信号化部19の構成は、ブロック量子化DCT
係数を、低周波数から高周波数の係数の順にジグザグ・
スキャンするスキャン・コンバータ(走査変換器)から
なる。1次元符号化信号S16は、VLC器(可変長符号化
器)20においてハフマン符号などに可変長符号化され
る。
また、動きベクトル信号S8は、端子3及び端子4を介
してベクトル差分化器27に送られ、ここで差分化され、
差分化動きベクトル信号S50となり、VLC器20にてハフマ
ン符号などに可変長符号化される。なお、端子4には、
MBスタート・フラグS300スライス・スタート・フラグS3
01、動き補償モード信号S9、ピクチャ構造信号S26、プ
レディクション・タイプ信号S40も供給される。
ベクトル差分化器27の詳細について、図2に基づき説
明する。この図2において、ベクトル差分化器27の端子
77にはスライス・スタート・フラグS301が入力され、端
子71には図1の端子47及び端子4を介したMBスタート・
フラグS300が、端子70には図1の端子3及び端子4を介
した動きベクトル信号S8が、端子72には図1の端子3及
び端子4を介した動き補償モード信号S9が、端子73には
図1の端子3及び端子4を介したプレディクション・タ
イプ信号S40が、そして端子74には図1の端子4を介し
たピクチャ構造信号S26が入力される。
ここで、ピクチャ構造信号S26とプレディクション・
タイプ信号S40により、マクロブロック内での前方向動
きベクトル又は後方向動きベクトルの伝送数がわかり、
それは下記に示す表1、表2、表3のように決まる。本
実施例では、前方向動きベクトルと後方向動きベクトル
のそれぞれの最大伝送数は2であり、したがって、マク
ロブロック内で動きベクトルは最大4個伝送される。な
お、マクロブロック内での前或いは後方向動きベクトル
の伝送数が2つの場合、この2つの動きベクトルの伝送
順は予め定められている。例えば表1のField based pr
edictionの場合、被予測フィールドが第1フィールドで
ある動きベクトルが先に伝送され、被予測フィールドが
第2フィールドであるベクトルが後に伝送される。ま
た、表2の16×8 Field based predictionの場合には、
上部の動きベクトルが先に伝送され、下部の動きベクト
ルが後に伝送される。また、本実施例における動き補償
回路18は、この伝送順と同じ順序で、動きベクトル信号
S8を出力する。
本実施例では、図2のベクトル差分化器27におけるレ
ジスタ群81を例えば図3に示すように構成する。ここで
は、レジスタ群81として、動きベクトルを記憶するため
の4個のレジスタメモリPMV1〜PMV4が用意される。
そして、前方向動きベクトル及び後方向動きベクトル
を、それぞれマクロブロック内での伝送順に応じて、レ
ジスタメモリPMV1〜PMV4に1:1に対応させる。具体的に
は、マクロブロック内で1番目に伝送される前方向動き
ベクトルは、レジスタメモリPMV1に記憶される。マクロ
ブロック内で2番目に伝送される前方向動きベクトル
は、レジスタメモリPMV2に記憶される。また、マクロブ
ロック内で1番目に伝送される後方向動きベクトルは、
レジスタメモリPMV3に記憶される。マクロブロック内で
2番目に伝送される後方向動きベクトルは、レジスタメ
モリPMV4に記憶される。このように、本実施例では、各
動きベクトルのマクロブロック内での伝送順が、各動き
ベクトルをレジスタメモリPMV1〜PMV4内のどのレジスタ
メモリに記憶するかを示すインデックスになる。
言い換えれば、本実施例では、マクロブロック内での
前方向動きベクトルの伝送順に“1"〜“2"のインデック
スを付け、また後方向動きベクトルの伝送順に“3"〜
“4"のインデックスを付け、それぞれのインデックスを
有する動きベクトルトとレジスタメモリPMV1〜PMV4を1:
1に対応づけている。なお、図3のレジスタメモリPMV1
〜PMV4の各入力端子a〜dは、図2の切換スイッチ80の
対応する被切換端子と接続され、出力端子e〜hは、図
2の切換スイッチ82の対応する被切換端子と接続され
る。
また、表4には、動きベクトルの伝送時のビットスト
リームのシンタクスを示す。
この表4において、関数“forward_motion_vecto
r()”が、前方向動きベクトルについてのものであ
り、関数“backward_motion_vector()”が、後方向動
きベクトルについてのものである。また、“/*”と
“*/"に囲まれた文章は、コメントである。この表に示
すように、それぞれ伝送する動きベクトルとレジスタメ
モリPMVを対応づける。なお、ここで“mv_format"、“m
otion_vector_count"というパラメータが使用されてい
るが、これらは表1〜表3に基づいて与えられる。“mv
_format"は、表1、表2にあるように、“frame"タイプ
と“field"タイプがある。“field"タイプのベクトルに
は、基本的にフィールド動きベクトル参照・パリティが
付加される。また、“motion_vector_count"は、表1〜
表3にあるように、1個のマクロブロックでの前方向又
は後方向のベクトルの伝送数である。
ここで、“forward_motion_vector()”について以
下に説明する。先ず、“motion_vector_count"が1個
(017行)の場合は、動きベクトルの情報はレジスタメ
モリPMV1に格納される。また“motion_vector_count"が
2個の場合は、1番目に伝送される動きベクトルの情報
(028行)は、レジスタメモリPMV1にストアされ、2番
目に伝送される動きベクトルの情報(029行)は、レジ
スタメモリPMV2にストアされる。更に詳細に言うと、動
きベクトルの情報の伝送数が1個(017行)の場合は、
2通りに分岐し、“mv_format"が“frame"の場合(018
行)と“mv_format"が“field"の場合(020行)とがあ
る。“mv_format"が“field"の場合、更に“dmv==1"
の場合(022行)、“prediction_type"は、“Dual_prim
e"であり、“dmv_horizontal"と“dmv_vertical"が伝送
される。これらは、プレディクション・タイプが、“Du
al_prime"のときのサブ動きベクトルである。“backwar
d_motion_vector()”についても、同様である。
なお、ここでは前方向動きベクトルの伝送数が1個で
あるマクロブロックでは、レジスタメモリPMV1を更新す
る際に、同じ値でレジスタメモリPMV2を更新する。ま
た、後方向動きベクトルの伝送数が1個であるマクロブ
ロックでは、レジスタメモリPMV3を更新する際に、同じ
値でレジスタメモリPMV4を更新する。
上述の表4で説明したビットストリーム・シンタクス
での動作を図2の構成を用いて説明する。
この図2において、端子70を介して入力される動きベ
クトル信号S8を受けて、動きベクトル信号フラグ発生器
87は、動きベクトル信号フラグS86を出力する。この動
きベクトル信号フラグS86は動きベクトルカウンタ88に
てカウントされる。なお、動きベクトルカウンタ88は、
端子71を介したMBスタート・フラグS300が立つとリセッ
トされる。この動きベクトルカウンタ88からの動きベク
トル・カウント数信号S87は、レジスタ・インデックス
指定信号発生器89に入力される。また、レジスタ・イン
デックス指定信号発生器89には、端子72、73、74を介し
て動き補償モード信号S9、プレディクション・タイプ信
号S40、ピクチャ構造信号S26が入力されている。
ここで、ピクチャ構造信号S26とプレディクション・
タイプ信号S40により、マクロブロック内での前方向動
きベクトル又は後方向動きベクトルの伝送数(motion_v
ector_count)がわかり、更に、動き補償モード信号S9
により、マクロブロック内で伝送される全動きベクトル
の伝送数がわかる。例えば、“motion_vector_count"が
“2"であり、動き補償モード信号S9が両方向予測モード
である場合、マクロブロック内で伝送される動きベクト
ルは、前方向動きベクトル2個、後方向動きベクトル2
個の順番に伝送されるので、マクロブロック内での全動
きベクトルの伝送数は4個である。
この情報に基づき、レジスタ・インデックス指定信号
発生器89は、動きベクトル・カウント数信号S87からレ
ジスタ・インデックス指定信号S88を生成して出力す
る。例えば、上述の図3の例において、動きベクトル・
カウント数信号S87が値1のときは、レジスタ群81では
レジスタメモリPMV1が指定され、値2のときはレジスタ
群81ではレジスタメモリPMV2が指定され、値3のときは
レジスタ群81ではレジスタメモリPMV3が指定され、値4
のときはレジスタ群81ではレジスタメモリPMV4が指定さ
れる。
また、別の例として、“motion_vector_count"が1個
であり、動き補償モード信号S9が後方向予測モードであ
る場合、マクロブロック内で伝送される全動きベクトル
の伝送数は後方向ベクトル1個であるので、動きベクト
ル・カウント数信号S87が値1のときは、レジスタ群81
ではレジスタメモリPMV3が指定される。
レジスタ群81は、レジスタ・インデックス指定信号S8
8を受けて、指定されたレジスタメモリに記憶されてい
る動きベクトル信号S82を切換スイッチ82を通して出力
する。
このレジスタ群81から出力される動きベクトル信号S8
2は、必要に応じ、スケール変換Aのスケール変換器84
において、端子75からのプレディクション・タイプ信号
S40に基づいて切換器85から出力されるスケール指示信
号S85(スケール指示信号A)によりスケール変換され
た後、差分回路86に入力され、現在入力された動きベク
トル信号S8との差値が計算され、かくして差分化動きベ
クトル信号S50が得られ、これが端子76から出力され
る。
一方、現在入力された動きベクトル信号S8は、必要に
応じ、スケール変換Bのスケール変換器83において、切
換器85から出力されるスケール指示信号S83(スケール
指示信号B)によりスケール変換された後(スケール変
換された動きベクトル信号S80)、レジスタ・インデッ
クス指定信号S88により指定されたレジスタメモリに、
切換スイッチ80を通して上書きされ、新たに記憶され
る。
なお、スケール変換器84とスケール変換器83は、フレ
ームを参照する動きベクトルとフィールドを参照する動
きベクトル同士の差分化動きベクトルを計算するときの
空間的なスケール調整や、参照フィールドまでの時間的
な距離が異なる動きベクトル同士の差分化ベクトルを計
算するときの、時間軸的な原因に基づくスケール調整に
使用されたりする。
また、当該ベクトル差分化器27のレジスタメモリPMV
のリセットは、端子77を介した動き補償モード信号S9が
イントラ符号化モードであるマクロブロックと、同じく
端子77からのスライス・スタート・フラグS301が立って
いるマクロブロックにおいて行われ、このとき、レジス
タ群81の中の全てのレジスタメモリは零にリセットされ
る。このレジスタメモリのリセットの指示は、レジスタ
・リセット指示器78により行われる。
本実施例では、以上のように動きベクトルの差分化器
27を構成する。なお、上述の実施例においては、動き補
償回路18の動きベクトル信号S8の出力順を、予め定めら
れた動きベクトルの伝送順と同じにしたが、異ならせる
ことも可能である。ただし、この場合にも、最終的にVL
C器20への差分化動きベクトル信号S50の入力順序は、伝
送順と同じにする必要があるため、被予測フィールドパ
リティ信号をレジスタインデックス指定信号発生器89に
供給して、差分化動きベクトル信号S50の出力順を入れ
換える等の余分な構成が必要となる。
次に、図1のスキップ・マクロブロック判定器28の構
成について、図4に基づいて説明する。
この図4において、スキップ・マクロブロック判定器
28の端子96には、1次元符号化信号S16、すなわち動き
補償予測誤差信号S16が供給される。また、このスキッ
プ・マクロブロック判定器28には、動き補償予測誤差信
号S16の他に、差分化動きベクトル信号S50と、図1の端
子4からの動きベクトル信号S8、動き補償モード信号S
9、ピクチャ構造信号S26及びプレディクション・タイプ
信号S40と、図1の端子5からのフィールド動きベクト
ル参照パリティ信号S41、サブ動きベクトル信号S42、被
予測フィールド・パリティ信号S43及びピクチャ符号化
タイプ信号S27とが供給されるようになっている。すな
わち、図4の端子95には、動きベクトル信号S8、差分化
動きベクトル信号S50、動き補償モード信号S9、プレデ
ィクション・タイプ信号S40、フィールド動きベクトル
参照パリティ信号S41、サブ動きベクトル信号S42、被予
測フィールド・パリティ信号S43、ピクチャ符号化タイ
プ信号S27、ピクチャ構造信号S26が入力され、これら
は、現在のマクロブロックのパラメータ記憶用メモリ91
(以下、現在パラメータ記憶用メモリという。)に記憶
される。
マクロブロックの動き補償予測誤差信号S16は、非零
係数判定器94にて伝送すべき信号が存在するかが判定さ
れる。ここで、非零係数判定器94は、伝送すべき信号が
存在した場合は、その旨を判定器93に知らせ、それを受
けて当該判定器93は、スキップ・マクロブロック・フラ
グS89を“FALSE"として出力する。
一方、伝送すべき予測誤差信号が存在しなかった場合
(すなわち、動き補償予測誤差信号S16の係数が全て零
の場合)は、非零係数判定器94は、判定器93に“TRUE"
の信号を知らせる。この場合、判定器93は、更に現在パ
ラメータ記憶用メモリ91の内容と過去のマクロブロック
のパラメータ記憶用メモリ(以下、過去パラメータ記憶
用メモリという。)92の内容を比較、判定する。
ここで、判定器93では、ピクチャ符号化タイプ信号S2
7がPピクチャである場合、 第1に、動きベクトル信号S8が零であること、 第2に、動き補償モード信号S9は前方向予測であるこ
と、 第3に、プレディクション・タイプ信号S40がフィー
ルド予測である場合は、フィールド動きベクトル参照パ
リティ信号S41が、被予測フィールドのパリティと等し
いこと、 第4に、サブ動きベクトル信号S42は零であること の条件の比較、判定を行う。
これらの条件が満たされたとき、判定器93は、スキッ
プ・マクロブロック・フラグS89を“TRUE"として出力す
る。そうでないときは、スキップ・マクロブロック・フ
ラグS89は“FALSE"である。このスキップ・マクロブロ
ック・フラグS89が端子97を介して出力され、図1のVLC
器20に送られるようになっている。
また、判定器93では、ピクチャ符号化タイプ信号S27
がBピクチャである場合、 第1に、差分化動きベクトル信号S50が零であるこ
と、 第2に、現在のマクロブロックのパラメータ記憶用メ
モリ91と過去のマクロブロックのパラメータ記憶用メモ
リ92の内容について、動き補償モード信号S9、プレディ
クション・タイプ信号S40、フィールド動きベクトル参
照パリティ信号S41、サブ動きベクトル信号S42、被予測
フィールド・パリティ信号S43が同じであること の条件の比較、判定を行う。
これらの条件が満たされたとき、スキップ・マクロブ
ロック・フラグS89を“TRUE"として出力する。そうでな
いときは、スキップ・マクロブロック・フラグS89は“F
ALSE"である。
なお、スライスの先頭と最後のマクロブロックでは、
上述の条件が満たされる場合でもスキップ・マクロブロ
ックは禁止される。
スキップ・マクロブロック・フラグS89が“FALSE"で
ある場合、現在のマクロブロックのパラメータ記憶用メ
モリ91の内容は、過去のマクロブロックのパラメータ記
憶用メモリ92にコピーされる。また、スキップ・マクロ
ブロック・フラグS89が“TRUE"であるマクロブロックに
ついては、VLC器20はデータを何も出力しない。
以上のようにして、スキップ・マクロブロック判定器
28を構成する。
更に、スキップ・マクロブロックの判定に関して、他
の実施例を説明する。他の実施例では、更に、上述の実
施例でのPピクチャ及びBピクチャのスキップ・マクロ
ブロックの成立条件を以下のように限定する。すなわ
ち、ピクチャ構造がフレーム構造の場合、プレディクシ
ョン・タイプをフレーム予測(Frame based predictio
n)の場合だけとする。また、ピクチャ構造がフィール
ド構造の場合、プレディクション・タイプを16×16のフ
ィールド予測(16×16Field based prediction)の場合
だけとする。すなわち、Bピクチャのプレディクション
・タイプも、前のマクロブロックのプレディクション・
タイプとは無関係になる。
この場合のスキップ・マクロブロックの成立条件をま
とめると以下のようになる。判定器93は、非零係数判定
器94が伝送すべき信号が存在しないマクロブロックと判
定した場合、更に各マクロブロックがこの成立条件を満
たすか否かを判定する。先ず、ピクチャ符号化タイプ信
号S27がPピクチャであり、ピクチャ構造信号S26がフィ
ールド構造の場合、 第1に、動きベクトル信号S8が零であること、 第2に、動き補償モード信号S9が前方向予測であるこ
と、 第3に、プレディクション・タイプ信号S40が16×16
のフィールド予測であること、 第4に、フィールド動きベクトル参照パリティ信号S4
1が、被予測フィールドパリティ信号S43のパリティと等
しいこと、 が成立条件となる。
また、ピクチャ符号化タイプ信号S27がPピクチャで
あり、ピクチャ構造信号S26がフレーム構造の場合、 第1に、動きベクトル信号S8が零であること、 第2に、動き補償モード信号S9が前方向予測であるこ
と、 第3に、プレディクション・タイプ信号S40がフレー
ム予測であること、 が成立条件となる。
また、ピクチャ符号化タイプ信号S27がBピクチャで
あり、ピクチャ構造信号S26がフィールド構造の場合、 第1に、差分化動きベクトル信号S50が零であるこ
と、 第2に、動き補償モード信号S9が、前のマクロブロッ
クと同じであること、 第3に、プレディクション・タイプ信号S40が、16×1
6のフィールド予測であること、 第4に、フィールド動きベクトル参照パリティ信号S4
1が、前のマクロブロックと同じであること、 第5に、被予測フィールド・パリティ信号S43が、前
のマクロブロックと同じであること、 が成立条件となる。
また、ピクチャ符号化タイプ信号S27がBピクチャで
あり、ピクチャ構造信号S26がフレームの場合、 第1に、差分化動きベクトル信号S50が零であるこ
と、 第2に、動き補償モード信号S9が、前のマクロブロッ
クと同じであること、 第3に、プレディクション・タイプ信号S40が、フレ
ーム予測であること、 が成立条件となる。
図1に戻って、VLC器20からの出力はバッファメモリ2
1に蓄積された後、出力端子22からビットストリームが
一定の伝送レートで送出される。
以上のようにして動画像符号化装置を構成し、動画像
の符号化とビットストリームの出力と符号化画像の出力
を行う。
次に、本発明の動きベクトルの逆差分化器を有する動
画像復号化装置(デコーダ)について図5に基づいて説
明する。
この図5において、入力端子50より入力されたビット
ストリーム信号は、バッファメモリ51に蓄積された後、
そこから、逆VLC器52に供給される。
逆VLC器52は、復号化するピクチャの先頭を検出する
と、ピクチャ・スタート・フラグS102を立てて、それを
参照画像コントロール器58に供給する。なお、このピク
チャ・スタート・フラグS102は、端子67及び61を介して
参照画像コントロール器58に送られる。参照画像コント
ロール器58は、ピクチャ・スタート・フラグS102が立つ
と、後述する参照画像指示信号S58、S59を出力し、それ
らをフィールドメモリ群57に供給する。
また、逆VLC器52は、復号化するスライスの先頭を検
出すると、スライス・スタート・フラグS211を立てる。
また同様にして、ピクチャ・スタート・フラグS102
は、出力画像コントロール器59にも供給されている。出
力画像コントロール器59は、ピクチャ・スタート・フラ
グS102が立つと後述する出力画像指示信号S60を出力
し、それをフィールドメモリ群57に供給する。
逆VLC器52から得られた本発明の動画像復号化装置を
制御するための制御情報は、復号化制御情報記憶用メモ
リ201に記憶される。これは、制御信号S104として出力
される。また、ピクチャ構造信号S201、ピクチャ符号化
タイプ信号S202が復号化制御情報記憶用メモリ201から
出力される。これらは逆VLC器52に供給される。
逆VLC器52から取り出された符号化マクロブロック信
号S501は、2次元信号化部53に供給される。また、この
逆VLC器52からは、符号化マクロブロック信号S501の出
力に同期して、MBスタート・フラグS201が出力されてい
る。
符号化マクロブロック信号S501は、2次元信号化部53
にて、2次元ブロック信号S51となる。この2次元ブロ
ック信号S51は、ブロック信号復号化部54に供給され、
ここで復号されブロック再生差分信号S52となされる。
ブロック信号復号化部54の構成としては、逆VLC器52
から取り出された量子化テーブル信号S57により量子化
係数を逆量子化する逆量子化器と、その出力係数を逆DC
T(ディスクリートコサイン変換)する逆DCT器からなる
構成を適用できる。
また、2次元信号化部53の構成は、符号化マクロブロ
ック信号S501を低周波数から高周波数の係数の順に逆ジ
グザグ・スキャンする逆スキャン・コンバータ(走査変
換器)からなる構成を適用できる。
一方、逆VLC器52から取り出された減圧の復号化対象
のマクロブロックに付属する差分化動きベクトル信号S9
0は、後述する動きベクトル逆差分化器202にて再構成さ
れる。この動きベクトル逆差分化器202からの再構成動
きベクトル信号S55と、逆VLC器52から出力されメモリ20
4を介した動き補償モード信号S56、プレディクション・
タイプ信号S91、フィールド動きベクトル参照パリティ
信号S92、サブ動きベクトル信号S93及び被予測フィール
ド・パリティ信号S94は、動き補償器56に送られる。こ
れら信号を受けて当該動き補償器56は、既に復号再生さ
れた画像が蓄えられているフィールドメモリ群57の中か
ら、ブロック画像信号の出力を指示する。
具体的には、上述の参照画像指示信号S58によりフィ
ールドメモリ群57の中から指定される再生画像を参照画
像と認識し、動き補償モード信号S56と動きベクトル信
号S55とプレディクション・タイプ信号S91とフィールド
動きベクトル参照パリティ信号S92とサブ動きベクトル
信号S93と被予測フィールド・パリティ信号S94により指
定された参照画像内のアドレスに位置するブロック画像
信号の出力を指示する。
動き補償器56は、動き補償モード信号S56に応じた適
応的な動作となっており、マクロブロック単位で以下の
4種類の動作を行う。なお、ブロックの大きさは例えば
16×16画素、16×8画素、8×8画素である。
すなわち、この場合の4種類の動作のモードとして、 第1に、過去の再生画像からの動き補償モードと、 第2に、未来の再生画像からの動き補償モードと、 第3に、過去と未来の両再生画像からの動き補償モー
ド(過去の再生画像からの参照ブロックと未来の再生画
像からの参照ブロックを1画素毎に線形演算(例えば平
均値計算)をする。)と、 第4に、動き補償なし(すなわちイントラ符号化モー
ドである。この場合、ブロック画像信号S54の出力は、
零であることに等しい。)がある。動き補償器56は、動
き補償モード信号S56に応じて、この4種類の動作モー
ドの内の1つを選択する。
ブロック信号復号化部54からのブロック再生差分信号
S52は、動き補償器56から出力されるブロック画像信号S
54と、加算器55にて1画素毎に加算され、その結果、ブ
ロック再生信号S53が得られる。ブロック再生信号S53
は、フィールドメモリ群57の中から現在の参照画像指示
信号S59により指定されたフィールドメモリに格納され
る。
以上のようにしてビットストリームから動画像が再構
成される。
フィールドメモリ群57に蓄えられた再生画像は、上述
の出力画像指示信号S60に従って、指定された再生画像
が端子60から出力される。
なお、動き補償器56と参照画像コントロール器58と出
力画像コントロール器59には、端子62を介して、制御信
号S104、ピクチャ構造信号S201、ピクチャ符号化タイプ
信号S202が供給されている。
次に、上述した動きベクトル逆差分化器202について
図6に基づいて説明する。
この図6において、端子311を介して供給された差分
化動きベクトル信号S90は、当該図6の動きベクトル逆
差分化器202にて再構成される。この動きベクトル逆差
分化器202には、スライス・スタート・フラグS211、MB
スタート・フラグS210、差分化動きベクトル信号S90、
動き補償モード信号S56、プレディクション・タイプ信
号S91、そしてピクチャ構造信号S201が入力される。す
なわち、MBスタート・フラグS210は端子312に、動き補
償モード信号S56は端子313に、プレディクション・タイ
プ信号S91は端子314及び316に、ピクチャ構造信号S201
は端子315に供給される。
ここで、ピクチャ構造信号S201とプレディクション・
タイプ信号S91により、マクロブロック内での前方向差
分化動きベクトル又は後方向差分化動きベクトルの受信
数がわかり、それは上述した表1〜表3のように決ま
る。本実施例では、前方向差分化動きベクトルと後方向
差分化動きベクトルのそれぞれの最大受信数は2であ
り、したがって、マクロブロック内で差分化動きベクト
ルは最大4個受信される。
このため、本実施例では図6の動きベクトル逆差分化
器202におけるレジスタ群305を、上述の図3に示したよ
うに構成する。ここでは、上述と同様に動きベクトルを
記憶するための4個のレジスタメモリPMV1〜PMV4が用意
される。
そして、前方向差分化動きベクトル及び後方向差分化
動きベクトルを、それぞれマクロブロック内での受信順
に応じて、レジスタメモリPMV1〜PMV4に1:1に対応させ
る。具体的には、マクロブロック内で1番目に受信され
る前方向差分化動きベクトルは、レジスタメモリPMV1に
記憶された再構成動きベクトルと加算される。また、マ
クロブロック内で2番目に受信される前方向差分化動き
ベクトルは、レジスタメモリPMV2に記憶された再構成動
きベクトルと加算される。また、マクロブロック内で1
番目に受信される後方向差分化動きベクトルは、レジス
タメモリPMV3に記憶された再構成動きベクトルと加算さ
れる。また、マクロブロック内で2番目に受信される後
方向差分化動きベクトルは、レジスタメモリPMV4に記憶
された再構成動きベクトルと加算される。このように、
本実施例では、各動きベクトルのマクロブロック内での
受信順が、各差分化動きベクトルをレジスタメモリPMV1
〜PMV4の内のどのレジスタメモリに記憶された再構成動
きベクトルと加算するかを示すインデックスになる。
言い換えれば、本実施例ではマクロブロック内での前
方向差分化動きベクトルの受信順に“1"〜“2"のインデ
ックスを付け、また後方向差分化動きベクトルの受信順
に“3"〜“4"のインデックスを付け、それぞれのインデ
ックスを有する動きベクトルとレジスタメモリPMVを1:1
に対応づけている。
また、動きベクトルのビットストリームのシンタクス
については、上述した表4に示した通りであり、ここで
も表中に示すように、それぞれ伝送されてくる動きベク
トルとレジスタメモリPMVを対応づける。表4の説明に
ついては、動画像符号化装置側で行った通りである。
なお、ここでは前方向差分化動きベクトルの受信数が
1個であるマクロブロックでは、レジスタメモリPMV1を
更新する際に、同じ値でレジスタメモリPMV2を更新す
る。また、後方向差分化動きベクトルの受信数が1個で
あるマクロブロックでは、レジスタメモリPMV3を更新す
る際に、同じ値でレジスタメモリPMV4を更新する。
レジスタメモリPMVの切換動作について図6を用いて
説明する。
この図6において、端子311を介して入力される差分
化動きベクトル信号S90を受けて、差分化動きベクトル
信号フラグ発生器308は、差分化動きベクトル信号フラ
グS306を出力する。差分化動きベクトル信号フラグS306
は差分化動きベクトルカウンタ309にてカウントされ
る。なお、差分化動きベクトルカウンタ309は、MBスタ
ート・フラグS210が立つとリセットされる。この差分化
動きベクトルカウンタ309からの動きベクトル・カウン
ト数信号S307は、レジスタ・インデックス指定信号発生
器310へ入力される。ここへは、動き補償モード信号S5
6、プレディクション・タイプ信号S91、ピクチャ構造信
号S201が入力されている。
ここで、ピクチャ構造信号S201とプレディクション・
タイプ信号S91により、マクロブロック内での前方向差
分化動きベクトル又は後方向差分化動きベクトルの伝送
数(motion_vector_count)がわかり、更に動き補償モ
ード信号S56により、マクロブロック内で伝送されてく
る全動きベクトルの伝送数がわかる。例えば、“motion
_vector_count"が2であり、動き補償モード信号S56が
両方向予測モードである場合、マクロブロック内で受信
される動きベクトルは、前方向差分化動きベクトル2
個、後方向差分化動きベクトル2個の順番に受信される
ので全差分化動きベクトルの伝送数は4個である。
この情報に基づき、レジスタ・インデックス指定信号
発生器310は、動きベクトル・カウント数信号S307から
レジスタ・インデックス指定信号S308を生成して出力す
る。このレジスタ・インデックス指定信号S308によれ
ば、例えば、上述の例において、動きベクトル・カウン
ト数信号S307が、値1のときはレジスタ群305ではレジ
スタメモリPMV1が指定され、値2のときはレジスタ群30
5ではレジスタメモリPMV2が指定され、値3のときはレ
ジスタ群305ではレジスタメモリPMV3が指定され、値4
のときはレジスタ群305ではレジスタメモリPMV4が指定
される。
また、別の例として、“motion_vector_count"が1個
であり、動き補償モード信号S56が後方向予測モードで
ある場合、マクロブロック内で受信される全差分化動き
ベクトルの伝送数は後方向差分化動きベクトル1個であ
るので、動きベクトル・カウント数信号S307が値1のと
きは、レジスタ群305ではレジスタメモリPMV3が指定さ
れる。
レジスタ群305は、レジスタ・インデックス指定信号S
308を受けて、指定されたレジスタメモリに記憶されて
いる動きベクトル信号S302を切換スイッチ303を通して
出力する。
この出力された動きベクトル信号S302は、必要に応
じ、スケール変換Cのスケール変換器302において、プ
レディクション・タイプ信号S91が供給される切換器307
から出力されるスケール指示信号S304(スケール指示信
号C)によりスケール変換された後(スケール変換され
た出力動きベクトル信号S302)、加算回路301に入力さ
れ、ここで現在入力された差分化動きベクトル信号S90
と加算され、かくして動きベクトル信号S55が再構成さ
れる。この動きベクトル信号S55が再構成動きベクトル
として端子317から出力される。
一方、現在の再構成された動きベクトル信号S55は、
必要に応じ、スケール変換Dのスケール変換器306にお
いて、切換器307から出力されるスケール指示信号S305
(スケール指示信号D)によりスケール変換された後、
レジスタインデックス指定信号S308により指定されたレ
ジスタ群305のレジスタメモリPMVに、切換スイッチ304
を通して上書きされ、新たに記憶される。
なお、スケール変換器302とスケール変換器306は、フ
レームを参照する動きベクトルとフィールドを参照する
動きベクトル同士の差分化動きベクトルを計算するとき
の空間的なスケール調整や、参照フィールドまでの時間
的な距離が異なる動きベクトル同士の差分化ベクトルを
計算するときの、時間軸的な原因に基づくスケール調整
に使用されたりする。
また、この図6の動きベクトル逆差分化器202のレジ
スタメモリPMVのリセットは、動き補償モード信号S56が
イントラ符号化モードであるマクロブロックとスライス
・スタート・フラグS211が立っているマクロブロックに
おいて行われ、このとき、レジスタ群305の中の全ての
レジスタメモリは零にリセットされる。このレジスタ群
305のリセットの指示は、レジスタ・リセット指示器318
により行われる。なお、このレジスタ・リセット指示器
318には、図5の端子68を介し図6の端子319を介したス
ライス・スタート・フラグS211と、動き補償モード信号
S56と、図5の端子64と図6の端子319を介したピクチャ
符号化タイプ信号S202と、図5の端子63と図6の端子31
9を介したスキップ・マクロブロック・フラグS95とが供
給されている。
以上のように動きベクトル逆差分化器202を構成す
る。
次に、図5に戻って復号化器側でのスキップ・マクロ
ブロックの取扱について説明する。
この図5において、マクロブロックが受信された後、
そのマクロブロックの画像上でのアドレスがマクロブロ
ックのヘッダ情報から得られる。すなわち、逆VLC器52
で得られたマクロブロック・アドレス信号S96は、マク
ロブロック・アドレス比較器203に入力される。
このマクロブロック・アドレス比較器203には、その
1つ前に受信されたマクロブロックのアドレスが記憶さ
れており、その値と入力されたマクロブロック・アドレ
ス信号S96とが比較される。その結果、マクロブロック
・アドレスが不連続であるとき、すなわち差が2以上あ
るとき、スキップ・マクロブロックが存在することがわ
かる。この差値よりも1少ない数がスキップ・マクロブ
ロックの個数である。そして、マクロブロック・アドレ
ス比較器203はスキップ・マクロブロック・フラグS95を
立てる。
スキップ・マクロブロック・フラグS95が立つと、本
実施例の動画像復号化装置は、スキップ・マクロブロッ
クの処理に入る。先ず、逆VLC器52は、スキップ・マク
ロブロック・フラグS95が立つと、符号化マクロブロッ
ク信号S501として零を出力する。したがって、このと
き、ブロック再生差分信号S52も零となる。
また、ここで例えばピクチャ符号化タイプ信号S202が
Pピクチャである場合、 第1に、図6のレジスタ・リセット指示器318は、動
きベクトル逆差分化器202の中の全てのレジスタメモリP
MVを零にリセットし、 第2に、動きベクトル信号S55として、動きベクトル
逆差分化器202は零を出力し、 第3に、逆VLC器52は、動き補償モード信号S56を前方
向予測として出力し、 第4に、逆VLC器52は、プレディクション・タイプ信
号S91を、ピクチャ構造信号S201がフレーム構造である
場合は、“Frame based prediction"とし、またピクチ
ャ構造信号S201がフィールド構造である場合は、“16×
16 Field based prediction"とし、またピクチャ構造信
号S201がプログレッシブである場合は、“16×16 Frame
based prediction"とし、 第5に、逆VLC器52は、フィールド動きベクトル参照
パリティ信号S92を被予測フィールド・パリティ信号S94
と等しくし、 第6に、サブ動きベクトル信号S93として、零を出力
する。
また、例えばピクチャ符号化タイプ信号S202がBピク
チャである場合、 第1に、動きベクトル信号S55として、動きベクトル
逆差分化器202はレジスタメモリPMVに記憶されている値
を出力し、 第2に、メモリ204は、記憶されている直前に復号化
されたマクロブロックの動き補償モード信号S56、プレ
ディクション・タイプ信号S91、フィールド動きベクト
ル参照パリティ信号S92サブ動きベクトル信号S93、被予
測フィールド・パリティ信号S94を出力する。
更に、動画像符号化装置側において、スキップ・マク
ロブロックが他の実施例によって判定された場合の動画
像複合化装置の処理をまとめると以下のようになる。先
ず、ピクチャ符号化タイプ信号S202がPピクチャであ
り、ピクチャ構造信号S201がフィールド構造のピクチャ
において、スキップ・マクロブロック・フラグS95が立
った場合、 第1に、レジスタ・リセット指示器318は、動きベク
トル逆差分化器202の中の全てのレジスタメモリPMVを零
にリセットし、 第2に、動きベクトル逆差分化器202は、動き補償器5
6に対して、動きベクトル信号S55として零を出力し、 第3に、逆VLC器52は、動き補償器56に対して、動き
補償モード信号S56として前方予測を指示し、 第4に、逆VLC器52は、動き補償器56に対して、プレ
ディクション・タイプ信号S91として16×16のフィール
ド予測を指示し、 第5に、逆VLC器52は、動き補償器56に対して、フィ
ールド動きベクトル参照パリティ信号S92として、被予
測フィールド・パリティ信号S94と同じパリティを指示
する。
また、ピクチャ符号化タイプ信号S202がPピクチャで
あり、ピクチャ構造信号S201がフレーム構造のピクチャ
において、スキップ・マクロブロック・フラグS95が立
った場合、 第1に、レジスタ・リセット指示器318は、動きベク
トル逆差分化器202の中の全てのレジスタメモリPMVを零
にリセットし、 第2に、動きベクトル逆差分化器202は、動き補償器5
6に対して、動きベクトル信号S55として零を出力し、 第3に、逆VLC器52は、動き補償器56に対して、動き
補償モード信号S56として前方予測を指示し、 第4に、逆VLC器52は、動き補償器56に対して、プレ
ディクション・タイプ信号S91としてフレーム予測を指
示する。
また、ピクチャ符号化タイプ信号S202がBピクチャで
あり、ピクチャ構造信号S201がフィールド構造のピクチ
ャにおいて、スキップ・マクロブロック・フラグS95が
立った場合、 第1に、動きベクトル逆差分化器202は、動き補償器5
6に対して、動きベクトル信号S55としてレジスタメモリ
PMVに記憶されている値を出力し、 第2に、メモリ204は、動き補償器56に対して、記憶
されている直前に復号化されたマクロブロックの動き補
償モード信号S56、フィールド動きベクトル参照パリテ
ィ信号S92、被予測フィールド・パリティ信号S94を出力
する。
第3に、逆VLC器52は、動き補償器56に対して、プレ
ディクション・タイプ信号S91として16×16のフィール
ド予測を指示する。
また、ピクチャ符号化タイプ信号S202がBピクチャで
あり、ピクチャ構造信号S201がフレーム構造のピクチャ
において、スキップ・マクロブロック・フラグS95が立
った場合、 第1に、動きベクトル逆差分化器202は、動き補償器5
6に対して、動きベクトル信号S55としてレジスタメモリ
PMVに記憶されている値を出力し、 第2に、メモリ204は、動き補償器56に対して、記憶
されている直前に復号化されたマクロブロックの動き補
償モード信号S56を出力する。
第3に、逆VLC器52は、動き補償器56に対して、プレ
ディクション・タイプ信号S91としてフレーム予測を指
示する。
以上のようにして、スキップ・マクロブロックの処理
を行う。この処理が、スキップ・マクロブロックの個数
だけ繰り返される。動画像復号化装置は、得られた信号
に基づいて、通常のマクロブロックと同様に復号化を行
う。
次に、スキップ・マクロブロックでないマクロブロッ
クが得られたとき、すなわち、端子66を介して供給され
るスキップ・マクロブロック・フラグS95が“FALSE"で
ある場合は、そのマクロブロックの動き補償モード信号
S56、プレディクション・タイプ信号S91、フィールド動
きベクトル参照パリティ信号S92、サブ動きベクトル信
号S93、被予測フィールド・パリティ信号S94でメモリ20
4の内容を更新する。なお、このメモリ204には、端子65
を介してピクチャ構造信号S201、ピクチャ符号化タイプ
信号S202も供給される。
以上のようにして動画像復号化装置を構成し、ビット
ストリームから画像を再生する。
最後に本実施例の具体的な動作について説明する。
図7は、先に示した従来のエンコーダ側における第1
の差分化の例(図18)を本実施例で行った場合の動作を
示す。
この図7において、例えば、マクロブロックMB0の上
部の動きベクトルが(5,1)(1)で、マクロブロックMB0
の下部の動きベクトルが(5,5)(2)で、マクロブロック
MB1の上部の動きベクトルが(5,5)(3)で、マクロブロ
ックMB1の下部の動きベクトルが(5,5)(4)で、マクロ
ブロックMB2の上部の動きベクトルが(5,5)(5)で、マ
クロブロックMB2の下部の動きベクトルが(5,5)(6)
なっている。また、上述の図2(すなわち図3)のレジ
スタメモリPMV1及びPMV2は、初期値として(0,0)が記
憶されている。
ここで、図7の例の場合、マクロブロックMB0におい
ては、上部の動きベクトル(5,1)(1)とレジスタメモリ
PMV1の初期値(0,0)との差分である。(5,1)(1)−PMV
1=(5,1)が得られ、この値が、マクロブロックMB0の
上部の差分動きベクトルとして出力される。レジスタメ
モリPMV1には、動きベクトル(5,1)(1)が記憶される。
また、下部の動きベクトル(5,5)(2)とレジスタメモリ
PMV2の初期値(0,0)との差分である(5,5)(2)−PMV1
=(5,5)が得られ、この値がマクロブロックMB0の下部
の差分動きベクトルとして出力される。レジスタメモリ
PMV2には、下部の動きベクトル(5,5)(2)が記憶され
る。また、マクロブロックMB1においては、上部の動き
ベクトル(5,5)(3)とレジスタメモリPMV1の値(5,1)
との差分である(5,5)(3)−PMV1=(0,4)が得られ、
この値が、マクロブロックMB1の上部の差分化動きベク
トルとして出力される。レジスタメモリPMV1には、上部
の動きベクトル(5,5)(3)が記憶される。また、マクロ
ブロックMB1の下部の動きベクトル(5,5)(4)とレジス
タメモリPMV2の値(5,5)(2)との差分である。(5,5)
(4)−PMV2=(0,0)が得られ、この値が、マクロブロッ
クMB1の下部の差分化動きベクトルとして出力される。
レジスタメモリPMV2には、下部の動きベクトル(5,5)
(4)が記憶される。同様に、マクロブロックMB2において
は、上部の動きベクトル(5,5)(5)とレジスタメモリPM
V1の値(5,5)(3)との差分である(5,5)(5)−PMV1=
(0,0)が得られ、この値が、マクロブロックMB2の上部
の差分化動きベクトルとして出力される。レジスタメモ
リPMV1には、上部の動きベクトル(5,5)(5)が記憶され
る。また、マクロブロックMB2の下部の動きベクトル
(5,5)(6)とレジスタメモリPMV2の値(5,5)(4)との差
分である(5,5)(6)−PMV2=(0,0)が得られ、この値
が、マクロブロックMB2の下部の差分化動きベクトルと
して出力される。レジスタメモリPMV2には、下部の動き
ベクトル(5,5)(6)が記憶される。
このように、マクロブロックMB2は、伝送すべき予測
誤差信号をもたず、動き補償モード等が、直前のマクロ
ブロックと同じである。この場合、マクロブロックMB2
は、スキップ・マクロブロックとなる。すなわち、マク
ロブロックMB2がスキップ・マクロブロックとなった場
合、デコーダ側では、直前のマクロブロックMB1から動
きベクトルがコピーされるようになる。
また、図8の、動画像復号化装置側での動作を示す。
すなわち、図8においては、上述の図7の例における
差分化動きベクトルとして、マクロブロックMB0の上部
の差分化動きベクトルの(5,5)(1)と、マクロブロック
MB0の下部の差分化動きベクトルの(5,5)(2)と、マク
ロブロックMB1の上部の差分化動きベクトルの(0,4)
(3)と、マクロブロックMB1の下部の差分化動きベクトル
の(0,0)(4)とが得られ、マクロブロックMB2はスキッ
プ・マクロブロックであるとする。また、上述の図6
(すなわち図3)のレジスタメモリPMV1及びPMV2は初期
値として(0,0)が記憶されているとする。
ここで、この図8の例の場合、マクロブロックMB0に
おいては、上部の差分化動きベクトル(5,1)(1)とレジ
スタメモリPMV1の初期値(0,0)との加算による(5,1)
(1)+PMV1=(5,1)が再構成動きベクトルとして得ら
れ、これがレジスタメモリPMV1に送られるようになる。
また、このマクロブロックMB0においては、下部の差分
化動きベクトル(5,5)(2)とレジスタメモリPMV2の初期
値(0,0)との加算による(5,5)(2)+PMV2=(5,5)が
再構成動きベクトルとして得られ、これがレジスタメモ
リPMV2に送られるようになる。
同様に、マクロブロックMB1においては、上部の差分
化動きベクトル(0,4)(3)とレジスタメモリPMV1の再構
成動きベクトル(5,1)との加算による(0,4)+PMV1=
(5,5)が再構成動きベクトルとして得られ、これがレ
ジスタメモリPMV1に送られるようになる。また、このマ
クロブロックMB1においては、下部の差分化動きベクト
ル(0,0)(4)とレジスタメモリPMV2の再構成動きベクト
ル(5,5)との加算による(0,0)(4)+PMV2=(5,5)が
再構成動きベクトルとして得られ、これがレジスタメモ
リPMV2へ送られるようになる。更に、マクロブロックMB
2では、スキップ・マクロブロックであるので再構成動
きベクトルとして上部で(5,5)(5)が、下部で(5,5)
(6)がコピーされる。
すなわち、この図8の例では、マクロブロックMB2
が、スキップ・マクロブロックであるので、レジスタメ
モリPMVからベクトルがコピーされ、動き補償モードも
直前のマクロブロックMB1からコピーされる。このよう
に、本実施例によれば、スキップ・マクロブロックに対
しても正しい再構成動きベクトルを得ることができる。
以上のような特徴をもった動画像符号化及び動画像復
号化装置を構成する。
産業上の利用可能性 本発明に係る画像信号符号化方法及び画像信号符号化
装置では、入力画像信号を動き補償モードを含む複数の
モードに基づいてマクロブロック毎に符号化し、動き補
償により符号化されたマクロブロックの動きベクトルを
過去の動きベクトルとの差分化動きベクトルとして伝送
する際に、ピクチャ符号化タイプがPピクチャであり、
複数のモードの内のピクチャ構造がフィールド構造であ
る場合、符号化されたマクロブロック毎に、予測誤差信
号が零であり、動きベクトルが零であり、複数のモード
の内の動き補償モードが前方向予測であり、複数のモー
ドの内のプレディクション・タイプが16×16のフィール
ド予測であり、マクロブロックのフィールド動きベクト
ル参照パリティが被予測フィールドパリティと同じであ
ることの条件を満たすか否かを判定し、条件を満たす場
合に、符号化されたマクロブロックをスキップ・マクロ
ブロックとして処理する。一方、複数のモードの内のピ
クチャ構造がフレーム構造である場合、符号化されたマ
クロブロック毎に、予測誤差信号が零であり、動きベク
トルが零であり、複数のモードの内の動き補償モードが
前方向予測であり、複数のモードの内のプレディクショ
ン・タイプがフレーム予測であることの条件を満たすか
否かを判定し、条件を満たす場合に、符号化されたマク
ロブロックをスキップ・マクロブロックとして処理す
る。これにより、従来よりも簡単な構成で、動きベクト
ルを差分化することができる。

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】入力画像信号を動き補償モードを含む複数
    のモードに基づいてマクロブロック毎に符号化し、動き
    補償により符号化されたマクロブロックの動きベクトル
    を過去の動きベクトルとの差分化動きベクトルとして伝
    送する画像信号符号化方法において、 ピクチャ符号化タイプがPピクチャであり、上記複数の
    モードの内のピクチャ構造がフィールド構造である場
    合、符号化された上記マクロブロック毎に、予測誤差信
    号が零であり、動きベクトルが零であり、上記複数のモ
    ードの内の動き補償モードが前方向予測であり、上記複
    数のモードの内のプレディクション・タイプが16×16の
    フィールド予測であり、上記マクロブロックのフィール
    ド動きベクトル参照パリティが被予測フィールドパリテ
    ィと同じであることの条件を満たすか否かを判定し、 上記条件を満たす場合に、上記符号化されたマクロブロ
    ックをスキップ・マクロブロックとして処理する画像信
    号符号化方法。
  2. 【請求項2】入力画像信号を動き補償モードを含む複数
    のモードに基づいてマクロブロック毎に符号化し、動き
    補償により符号化されたマクロブロックの動きベクトル
    を過去の動きベクトルとの差分化動きベクトルとして伝
    送する画像信号符号化方法において、 ピクチャ符号化タイプがPピクチャであり、上記複数の
    モードの内のピクチャ構造がフレーム構造である場合、
    符号化された上記マクロブロック毎に、予測誤差信号が
    零であり、動きベクトルが零であり、上記複数のモード
    の内の動き補償モードが前方向予測であり、上記複数の
    モードの内のプレディクション・タイプがフレーム予測
    であることの条件を満たすか否かを判定し、 上記条件を満たす場合に、上記符号化されたマクロブロ
    ックをスキップ・マクロブロックとして処理する画像信
    号符号化方法。
  3. 【請求項3】入力画像信号を動き補償モードを含む複数
    のモードに基づいてマクロブロック毎に符号化し、動き
    補償により符号化されたマクロブロックの動きベクトル
    を過去の動きベクトルとの差分化動きベクトルとして伝
    送する画像信号符号化装置において、 ピクチャ符号化タイプがPピクチャであり、上記複数の
    モードの内のピクチャ構造がフィールド構造である場
    合、符号化された上記マクロブロック毎に、予測誤差信
    号が零であり、動きベクトルが零であり、上記複数のモ
    ードの内の動き補償モードが前方向予測であり、上記複
    数のモードの内のプレディクション・タイプが16×16の
    フィールド予測であり、上記マクロブロックのフィール
    ド動きベクトル参照パリティが被予測フィールドパリテ
    ィと同じであることの条件を満たすか否かを判定する手
    段と、 上記条件を満たす場合に、上記符号化されたマクロブロ
    ックをスキップ・マクロブロックとして処理する手段と
    を有する画像信号符号化装置。
  4. 【請求項4】入力画像信号を動き補償モードを含む複数
    のモードに基づいてマクロブロック毎に符号化し、動き
    補償により符号化されたマクロブロックの動きベクトル
    を過去の動きベクトルとの差分化動きベクトルとして伝
    送する画像信号符号化装置において、 ピクチャ符号化タイプがPピクチャであり、上記複数の
    モードの内のピクチャ構造がフレーム構造である場合、
    符号化された上記マクロブロック毎に、予測誤差信号が
    零であり、動きベクトルが零であり、上記複数のモード
    の内の動き補償モードが前方向予測であり、上記複数の
    モードの内のプレディクション・タイプがフレーム予測
    であることの条件を満たすか否かを判定する手段と、 上記条件を満たす場合に、上記符号化されたマクロブロ
    ックをスキップ・マクロブロックとして処理する手段と
    を有する画像信号符号化装置。
JP51740794A 1993-03-24 1994-03-24 画像信号符号化方法及び画像信号符号化装置 Expired - Lifetime JP3393234B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP6568993 1993-03-24
JP5-65689 1993-03-24
JP5-124686 1993-04-30
JP12468693 1993-04-30
PCT/JP1994/000473 WO1994022269A1 (en) 1993-03-24 1994-03-24 Method and apparatus for coding/decoding motion vector, and method and apparatus for coding/decoding image signal

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2001027347A Division JP3381169B2 (ja) 1993-03-24 2001-02-02 画像信号符号化方法及び画像信号符号化装置
JP2002281613A Division JP3614160B2 (ja) 1993-03-24 2002-09-26 画像信号復号化方法及び画像信号復号化装置
JP2002281612A Division JP3614159B2 (ja) 1993-03-24 2002-09-26 画像信号復号化方法及び画像信号復号化装置

Publications (1)

Publication Number Publication Date
JP3393234B2 true JP3393234B2 (ja) 2003-04-07

Family

ID=26406823

Family Applications (4)

Application Number Title Priority Date Filing Date
JP51740794A Expired - Lifetime JP3393234B2 (ja) 1993-03-24 1994-03-24 画像信号符号化方法及び画像信号符号化装置
JP2001027347A Expired - Lifetime JP3381169B2 (ja) 1993-03-24 2001-02-02 画像信号符号化方法及び画像信号符号化装置
JP2002281613A Expired - Lifetime JP3614160B2 (ja) 1993-03-24 2002-09-26 画像信号復号化方法及び画像信号復号化装置
JP2002281612A Expired - Lifetime JP3614159B2 (ja) 1993-03-24 2002-09-26 画像信号復号化方法及び画像信号復号化装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2001027347A Expired - Lifetime JP3381169B2 (ja) 1993-03-24 2001-02-02 画像信号符号化方法及び画像信号符号化装置
JP2002281613A Expired - Lifetime JP3614160B2 (ja) 1993-03-24 2002-09-26 画像信号復号化方法及び画像信号復号化装置
JP2002281612A Expired - Lifetime JP3614159B2 (ja) 1993-03-24 2002-09-26 画像信号復号化方法及び画像信号復号化装置

Country Status (13)

Country Link
US (3) US5701164A (ja)
EP (4) EP1098529B1 (ja)
JP (4) JP3393234B2 (ja)
KR (1) KR100308099B1 (ja)
CN (2) CN1075323C (ja)
AT (1) ATE204691T1 (ja)
AU (2) AU673250B2 (ja)
CA (1) CA2118118C (ja)
DE (1) DE69428019T2 (ja)
DK (1) DK0651574T3 (ja)
ES (4) ES2438184T3 (ja)
PT (4) PT651574E (ja)
WO (1) WO1994022269A1 (ja)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509418A1 (de) * 1995-03-16 1996-09-19 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zur Unterabtastung bei Bewegungsschätzung
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
DE19603808C1 (de) * 1996-02-02 1997-04-17 Siemens Ag Anordnung und Verfahren zur Codierung und Decodierung von mit einem blockbasierten Codierungsverfahren codierten Bildern
TW312770B (en) * 1996-10-15 1997-08-11 Japen Ibm Kk The hiding and taking out method of data
CN1160967C (zh) * 1996-12-12 2004-08-04 松下电器产业株式会社 图像编码设备和图像解码设备
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
US6185340B1 (en) * 1997-02-18 2001-02-06 Thomson Licensing S.A Adaptive motion vector control
GB9703470D0 (en) 1997-02-19 1997-04-09 Thomson Consumer Electronics Trick play reproduction of MPEG encoded signals
US6018368A (en) * 1997-07-11 2000-01-25 Samsung Electro-Mechanics Co., Ltd. Scalable encoding apparatus and method with improved function of scaling motion vector
JPH11275587A (ja) * 1998-03-20 1999-10-08 Pioneer Electron Corp 動きベクトル生成装置、画像符号化装置、動きベクトル生成方法及び画像符号化方法
US6501799B1 (en) * 1998-08-04 2002-12-31 Lsi Logic Corporation Dual-prime motion estimation engine
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
FR2813001B1 (fr) * 2000-08-11 2002-12-20 Thomson Multimedia Sa Procede de conversion de format couleur d'une sequence d'images
US6700934B2 (en) 2001-03-14 2004-03-02 Redrock Semiconductor, Ltd. Error detection using a maximum distance among four block-motion-vectors in a macroblock in a corrupted MPEG-4 bitstream
US7602847B1 (en) * 2001-03-27 2009-10-13 Vixs Systems, Inc. Device and method for compression of a video stream
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
KR100378795B1 (ko) * 2001-04-02 2003-04-03 엘지전자 주식회사 동영상에서 b픽쳐의 신축적인 다이렉트 모드 코딩 방법
GB2374479B (en) * 2001-04-12 2005-05-04 Snell & Wilcox Ltd Video signal processing
FR2824988B1 (fr) * 2001-05-21 2003-08-01 Thomson Licensing Sa Procede et dispositif de codage video utilisant la norme mpeg4
US6941343B2 (en) * 2001-06-02 2005-09-06 Polycom, Inc. System and method for point to point integration of personal computers with videoconferencing systems
US6959348B1 (en) * 2001-07-30 2005-10-25 Vixs Systems, Inc. Method and system for accessing data
US7675972B1 (en) 2001-07-30 2010-03-09 Vixs Systems, Inc. System and method for multiple channel video transcoding
US20030039226A1 (en) * 2001-08-24 2003-02-27 Kwak Joseph A. Physical layer automatic repeat request (ARQ)
US7139330B1 (en) 2001-10-31 2006-11-21 Vixs Systems, Inc. System for signal mixing and method thereof
US7596127B1 (en) 2001-10-31 2009-09-29 Vixs Systems, Inc. System for allocating data in a communications system and method thereof
KR100951485B1 (ko) * 2001-11-06 2010-04-07 파나소닉 주식회사 동화상 부호화 방법 및 장치와 동화상 복호화 방법 및 장치
US7106715B1 (en) 2001-11-16 2006-09-12 Vixs Systems, Inc. System for providing data to multiple devices and method thereof
ES2545177T3 (es) * 2001-11-21 2015-09-09 Google Technology Holdings LLC Codificación de cuadro/campo adaptativa de nivel de macrobloques para contenido de vídeo digital
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
US7165180B1 (en) 2001-11-27 2007-01-16 Vixs Systems, Inc. Monolithic semiconductor device for preventing external access to an encryption key
JP4610195B2 (ja) 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP4150742B2 (ja) * 2002-01-09 2008-09-17 松下電器産業株式会社 動きベクトル復号化方法
ES2353957T3 (es) * 2002-01-09 2011-03-08 Panasonic Corporation Procedimiento de codificación de vectores de movimiento y procedimiento de decodificación de vectores de movimiento.
US6690307B2 (en) * 2002-01-22 2004-02-10 Nokia Corporation Adaptive variable length coding of digital video
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
MXPA04008889A (es) * 2002-03-15 2004-11-26 Nokia Corp Metodo para la codificacion de movimiento en una secuencia de video.
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7310679B1 (en) 2002-04-29 2007-12-18 Vixs Systems Inc. Method and system for transmitting video content while preventing other transmissions in a contention-based network
US7120253B2 (en) * 2002-05-02 2006-10-10 Vixs Systems, Inc. Method and system for protecting video data
US7072402B2 (en) * 2002-05-13 2006-07-04 General Instrument Corporation Methods and apparatus for dynamically adjusting f-codes for a digital picture header
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
WO2004006585A1 (ja) 2002-07-02 2004-01-15 Matsushita Electric Industrial Co., Ltd. 動きベクトル導出方法、動画像符号化方法、および動画像復号化方法
US7280700B2 (en) 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
JP4007594B2 (ja) * 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
KR100522595B1 (ko) * 2002-11-29 2005-10-19 삼성전자주식회사 엠펙 비디오 복호화방법 및 엠펙 비디오 복호화기
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US7408989B2 (en) * 2003-01-16 2008-08-05 Vix5 Systems Inc Method of video encoding using windows and system thereof
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
US7133452B1 (en) 2003-02-24 2006-11-07 Vixs Systems, Inc. Method and system for transcoding video data
US7606305B1 (en) 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
US7327784B2 (en) * 2003-02-24 2008-02-05 Vixs Systems, Inc. Method and system for transcoding video data
US7130350B1 (en) 2003-02-28 2006-10-31 Vixs Systems, Inc. Method and system for encoding and decoding data in a video stream
US7739105B2 (en) * 2003-06-13 2010-06-15 Vixs Systems, Inc. System and method for processing audio frames
US7499493B2 (en) * 2003-06-20 2009-03-03 Lsi Corporation Dual block motion vector storage in compressed form
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7499495B2 (en) 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7426308B2 (en) 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7092576B2 (en) * 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7668396B2 (en) * 2003-09-29 2010-02-23 Vixs Systems, Inc. Method and system for noise reduction in an image
US7277101B2 (en) 2003-09-29 2007-10-02 Vixs Systems Inc Method and system for scaling images
US20050117639A1 (en) * 2003-10-24 2005-06-02 Turaga Deepak S. Optimal spatio-temporal transformations for reduction of quantization noise propagation effects
US7346111B2 (en) * 2003-12-10 2008-03-18 Lsi Logic Corporation Co-located motion vector storage
US20050169376A1 (en) * 2004-01-30 2005-08-04 Pai Ramadas L. Motion vector address computer error detection
US7406598B2 (en) * 2004-02-17 2008-07-29 Vixs Systems Inc. Method and system for secure content distribution
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
US8861601B2 (en) 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US7421048B2 (en) * 2005-01-20 2008-09-02 Vixs Systems, Inc. System and method for multimedia delivery in a wireless environment
US7609766B2 (en) * 2005-02-08 2009-10-27 Vixs Systems, Inc. System of intra-picture complexity preprocessing
US8949920B2 (en) * 2005-03-17 2015-02-03 Vixs Systems Inc. System and method for storage device emulation in a multimedia processing system
US7400869B2 (en) * 2005-03-22 2008-07-15 Vixs Systems Inc. System and method for adaptive DC offset compensation in wireless transmissions
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US20070064809A1 (en) * 2005-09-14 2007-03-22 Tsuyoshi Watanabe Coding method for coding moving images
US7707485B2 (en) 2005-09-28 2010-04-27 Vixs Systems, Inc. System and method for dynamic transrating based on content
US20070112826A1 (en) * 2005-11-10 2007-05-17 Vixs Systems, Inc. Multimedia transcoding based on remaining storage capacity
US8131995B2 (en) * 2006-01-24 2012-03-06 Vixs Systems, Inc. Processing feature revocation and reinvocation
KR101426095B1 (ko) * 2007-02-07 2014-08-01 소니 주식회사 화상 처리 장치, 촬상 장치 및 화상 처리 방법
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US8184715B1 (en) * 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
US8370887B2 (en) 2008-05-30 2013-02-05 Microsoft Corporation Media streaming with enhanced seek operation
KR101377660B1 (ko) * 2008-09-30 2014-03-26 에스케이텔레콤 주식회사 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US20100232511A1 (en) * 2009-03-12 2010-09-16 Himax Media Soltuions, Inc. Motion compensator, motion compensating method, and motion-compensated video decoder implementing the same
US9100656B2 (en) * 2009-05-21 2015-08-04 Ecole De Technologie Superieure Method and system for efficient video transcoding using coding modes, motion vectors and residual information
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
SI3595303T1 (sl) * 2010-11-25 2022-01-31 Lg Electronics Inc. Postopek za dekodiranje informacije o sliki, naprava za dekodiranje, postopek za kodiranje informacije o sliki, naprava za kodiranje in pomnilniški medij
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
US9490839B2 (en) 2011-01-03 2016-11-08 Qualcomm Incorporated Variable length coding of video block coefficients
US9516316B2 (en) 2011-06-29 2016-12-06 Qualcomm Incorporated VLC coefficient coding for large chroma block
US9338456B2 (en) 2011-07-11 2016-05-10 Qualcomm Incorporated Coding syntax elements using VLC codewords
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
JP5748225B2 (ja) * 2012-01-26 2015-07-15 日本電信電話株式会社 動画像符号化方法,動画像符号化装置および動画像符号化プログラム
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
CA3071370A1 (en) * 2017-09-12 2019-03-21 Samsung Electronics Co., Ltd. Method for encoding and decoding motion information and device for encoding and decoding motion information
KR102631361B1 (ko) * 2018-10-11 2024-01-31 엘지전자 주식회사 변환 계수 코딩 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0666948B2 (ja) * 1988-02-29 1994-08-24 三菱電機株式会社 フレーム間ベクトル量子化符号化復号化装置
US5194950A (en) * 1988-02-29 1993-03-16 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
KR910009092B1 (ko) * 1988-02-29 1991-10-28 미쯔비시덴끼 가부시끼가이샤 프레임간의 벡터 양자화 부호화 및 복호화 장치
EP0713340B1 (en) * 1989-10-14 2001-08-22 Sony Corporation Video signal coding/decoding method and apparatus
EP0484140B1 (en) * 1990-10-31 1996-12-18 Victor Company Of Japan, Ltd. Compression method of interlace moving image signals
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
TW245871B (en) * 1994-08-15 1995-04-21 Gen Instrument Corp Method and apparatus for efficient addressing of dram in a video decompression processor

Also Published As

Publication number Publication date
AU700535B2 (en) 1999-01-07
PT651574E (pt) 2002-02-28
US5946042A (en) 1999-08-31
DE69428019D1 (de) 2001-09-27
JP3614159B2 (ja) 2005-01-26
US5701164A (en) 1997-12-23
PT1098529E (pt) 2013-11-25
DK0651574T3 (da) 2001-10-08
JP3614160B2 (ja) 2005-01-26
KR950701487A (ko) 1995-03-23
EP1098529A2 (en) 2001-05-09
DE69428019T2 (de) 2002-05-29
EP1098529B1 (en) 2013-10-16
JP3381169B2 (ja) 2003-02-24
CA2118118C (en) 2004-02-24
EP2334083B1 (en) 2013-08-28
EP2334083A1 (en) 2011-06-15
EP0651574A4 (en) 1998-06-17
JP2001204033A (ja) 2001-07-27
CN1251513C (zh) 2006-04-12
US6040863A (en) 2000-03-21
CN1349354A (zh) 2002-05-15
EP0651574A1 (en) 1995-05-03
CA2118118A1 (en) 1994-09-25
ES2430060T3 (es) 2013-11-18
ES2159553T3 (es) 2001-10-16
EP1098529A3 (en) 2008-10-29
CN1075323C (zh) 2001-11-21
PT2375753E (pt) 2013-10-21
EP0651574B1 (en) 2001-08-22
ES2438184T3 (es) 2014-01-16
ES2431289T3 (es) 2013-11-25
AU673250B2 (en) 1996-10-31
AU6291294A (en) 1994-10-11
EP2375753B1 (en) 2013-09-11
KR100308099B1 (ko) 2001-12-01
JP2003179934A (ja) 2003-06-27
CN1106199A (zh) 1995-08-02
ATE204691T1 (de) 2001-09-15
EP2375753A1 (en) 2011-10-12
JP2003179935A (ja) 2003-06-27
WO1994022269A1 (en) 1994-09-29
PT2334083E (pt) 2013-09-30
AU6558496A (en) 1996-11-07

Similar Documents

Publication Publication Date Title
JP3393234B2 (ja) 画像信号符号化方法及び画像信号符号化装置
EP2323399B1 (en) Coding and decoding for interlaced video
JP4014263B2 (ja) 映像信号変換装置及び映像信号変換方法
JP4163618B2 (ja) 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
US7577198B2 (en) Number of reference fields for an interlaced forward-predicted field
US6603815B2 (en) Video data processing apparatus, video data encoding apparatus, and methods thereof
US7606308B2 (en) Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
KR100720842B1 (ko) 비디오 코딩 방법 및 대응 비디오 코더
US20050053141A1 (en) Joint coding and decoding of a reference field selection and differential motion vector information
US20050053295A1 (en) Chroma motion vector derivation for interlaced forward-predicted fields
US20050053144A1 (en) Selecting between dominant and non-dominant motion vector predictor polarities
US20050053155A1 (en) Intensity estimation/compensation for interlaced forward-predicted fields
JP2005510983A (ja) ビデオ画像のグローバル動き補償
WO2006035584A1 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CN113727108A (zh) 视频解码方法、视频编码方法及相关设备
JPH06334995A (ja) 動画像符号化又は復号化方法
JP2000253404A (ja) 動画像符号化装置、動画像符号化方法および動画像処理システム
JP2006020355A (ja) 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法
JP2005072846A (ja) 動画像符号化装置及び動画像処理方法
JP2005354736A (ja) 動画像圧縮符号化装置
JP2005354735A (ja) データ圧縮方法、記録方法、及び伝送方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080131

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090131

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100131

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100131

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110131

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120131

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130131

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140131

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term