JPH10285599A - 動画像信号の復号方法および符号化方法 - Google Patents

動画像信号の復号方法および符号化方法

Info

Publication number
JPH10285599A
JPH10285599A JP9447897A JP9447897A JPH10285599A JP H10285599 A JPH10285599 A JP H10285599A JP 9447897 A JP9447897 A JP 9447897A JP 9447897 A JP9447897 A JP 9447897A JP H10285599 A JPH10285599 A JP H10285599A
Authority
JP
Japan
Prior art keywords
decoding
image
pixel block
predicted
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9447897A
Other languages
English (en)
Other versions
JP3217987B2 (ja
Inventor
Yutaka Machida
豊 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP9447897A priority Critical patent/JP3217987B2/ja
Priority to ES98104075T priority patent/ES2213232T3/es
Priority to EP19980104075 priority patent/EP0869682B1/en
Priority to DE1998620142 priority patent/DE69820142T2/de
Priority to KR10-1998-0010115A priority patent/KR100505306B1/ko
Priority to US09/050,808 priority patent/US7486734B2/en
Priority to CA 2233373 priority patent/CA2233373C/en
Priority to NO19981427A priority patent/NO321859B1/no
Priority to CN98105913A priority patent/CN1128547C/zh
Publication of JPH10285599A publication Critical patent/JPH10285599A/ja
Application granted granted Critical
Publication of JP3217987B2 publication Critical patent/JP3217987B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

(57)【要約】 【課題】 ディジタル動画像信号の符号化方法および復
号方法において、符号化ビットストリームのビット誤り
に起因する復号誤りが発生した場合に画質劣化の時間的
波及を抑える。 【解決手段】 可変長符号復号手段101によって同時に
復号された2つの動きベクトルに基づき、動き補償手段
A105と動き補償手段B110はそれぞれに対応した復号済
みフレームを動き補償して、現処理画素ブロックに関す
る2つの予測画像を生成する。予測画像選択手段111
は、これら2つの予測画像のうち復号誤りを含まない予
測画像のみを選択し、現処理画素ブロックの再構成に用
いる。復号誤りを含む予測画像が画素ブロックの再構成
に用いられないようにするので、復号誤りによる画質劣
化が時間的に後のフレームに波及することは最小限に抑
えられる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、テレビ電話やテレ
ビ会議などに利用する、ディジタル動画像信号の復号方
法および符号化方法に関し、特に、復号誤りの影響が時
間的に後のフレームに波及しないようにした、ディジタ
ル動画像信号の復号方法および符号化方法に関する。
【0002】
【従来の技術】テレビ電話やテレビ会議などでは、狭い
伝送路でも動画像を効率よく伝送するために、動画像を
ディジタル符号化した信号をさらにディジタル画像圧縮
して送信し、受信側では圧縮されたディジタル動画像信
号を復号して動画像を再生している。また、ビデオディ
スクなどでも、1枚のディスクにより多くの動画像を蓄
積するために、ディジタル動画像信号を符号化して画像
圧縮している。
【0003】従来のディジタル動画像信号の復号方法お
よび符号化方法としては、1993年3月に勧告されたITU-
T Recommendation H.261があげられる。便宜上まず先に
その符号化方法について、次にその復号方法について図
4〜図6を使って説明する。
【0004】H.261の符号化方法は、図4に示すよう
に、動きベクトル検出手段401、動き補償手段402、予測
誤差算出手段403、イントラ/インター判定手段404、D
CT405、量子化手段406、可変長符号化手段407、逆量
子化手段408、逆DCT409、再構成手段410、フレーム
メモリ411、イントラ/インタースイッチ412から構成さ
れる符号化装置により実現される。
【0005】次に、H.261の符号化方法の各構成要素に
ついて説明する。まず、動きベクトル検出手段401は、
フレームメモリ411に格納された前再構成フレームと、
入力された現フレームとの間で、動きベクトルを検出す
る。動きベクトルは、図5に示すように、マクロブロッ
クと呼ばれる画素ブロック単位に検出される。動きベク
トルは、前再構成フレームと現フレームとの間での、画
素ブロックの空間的変位量とみなすことができる。次い
で、動き補償手段402は、前記動きベクトルに基づき、
フレームメモリ411に格納された前再構成フレームの画
素ブロックを変位させ、予測画像を生成する。この動き
補償は、次ステップでの予測誤差算出にて予測誤差値を
小さくするための処理である。
【0006】そして、予測誤差算出手段403は、入力さ
れた現フレームのマクロブロックと予測画像の差分値を
画素単位に算出し、予測誤差値として出力する。さら
に、現フレームのマクロブロックと当該予測誤差値はと
もにイントラ/インター判定手段404に入力される。こ
こでは、例えば現フレームのマクロブロック内画素の分
散と予測誤差値の分散との比較により、現フレームのマ
クロブロックをそのまま符号化(イントラ符号化)した
方が効率よく符号化できるか、当該予測誤差値を符号化
(インター符号化)した方が効率よく符号化できるかが
判定され、その判定結果に従い、現フレームのマクロブ
ロックまたは当該予測誤差値が出力される。同時に、判
定結果はイントラ/インター制御信号として出力され
る。
【0007】イントラ/インター判定手段404より出力
された現フレームのマクロブロックまたは当該予測誤差
値は、DCT405による周波数領域への変換、量子化手
段406による量子化係数への変換を経て冗長度が削減さ
れ、さらに量子化係数は、可変長符号化手段407によ
り、統計的性質に基づいた可変長符号に変換されて、情
報量の削減が行なわれる。可変長符号化手段407には、
イントラ/インター制御信号および動きベクトルも入力
されて、可変長符号に符号化される。可変長符号化手段
407は、これらのすべての可変長符号を多重化し、ビッ
トストリームとして出力する。
【0008】一方、量子化手段406の出力である量子化
係数は、逆量子化手段408による逆量子化、逆DCT409
による周波数領域からの逆変換が行なわれる。そして、
現在符号化中のマクロブロックがイントラ符号化の場合
は、イントラ/インタースイッチ412はオフとなり、逆
DCT409からの出力は、そのままフレームメモリ411に
格納される。一方、現在符号化中のマクロブロックがイ
ンター符号化の場合は、イントラ/インタースイッチ41
2はオンとなり、逆DCT409の出力と動き補償手段402
の出力は、再構成手段410により加算されたのち、フレ
ームメモリ411に格納される。このようにして、フレー
ムメモリ411には、現再構成フレームが格納されること
になり、次フレームの予測に用いられる。
【0009】次に、H.261の復号方法は、図6に示すよ
うに、可変長符号復号手段601、逆量子化手段602、逆D
CT603、フレームメモリ604、動き補償手段605、イン
トラ/インタースイッチ606、再構成手段607から構成さ
れる装置により実現される。
【0010】以下に、H.261の復号方法の各構成要素に
ついて説明する。まず、可変長符号復号手段601は、入
力されたビットストリームから可変長符号を分離して復
号し、マクロブロック単位に量子化係数、イントラ/イ
ンター制御信号、動きベクトルを出力する。量子化係数
は、逆量子化手段602による逆量子化、逆DCT603によ
る周波数領域からの逆変換が行なわれる。動き補償手段
605は、前記動きベクトルに基づき、フレームメモリ604
に格納された前再構成フレームの画素ブロックを変位さ
せ、予測画像を生成する。
【0011】そして、イントラ/インター制御信号がイ
ントラ符号化を指示する場合は、イントラ/インタース
イッチ606はオフとなり、逆DCT603からの出力は、そ
のままフレームメモリ604に格納される。一方、イント
ラ/インター制御信号がインター符号化を指示する場合
は、イントラ/インタースイッチ606はオンとなり、逆
DCT603の出力と動き補償手段605の出力は、再構成手
段607により加算されたのち、フレームメモリ604に格納
される。このようにして、フレームメモリ604には、現
再構成フレームが格納されることになり、次フレームの
予測に用いられるとともに、復号画像として出力され
る。
【0012】上記H.261の符号化方法と復号方法におけ
る逆量子化手段、逆DCT、動き補償手段は同一の処理
なので、符号化方法と復号方法のフレームメモリに格納
される再構成フレームは常に一致する。
【0013】
【発明が解決しようとする課題】一般に、動画像信号の
符号化方法によって出力されたビットストリームは、可
変長符号によって構成されるため、伝送または蓄積する
際にビット誤りが発生すると、たとえそれが1ビットの
誤りでも、広範囲にわたり復号誤りが発生し、再構成フ
レームの画質が劣化する。そして、従来の動画像信号の
復号方法においては、復号誤りにより画質が劣化した再
構成フレームが次フレームの予測に用いられるので、そ
の画質劣化が以降のフレームに時間的に波及する問題が
あった。
【0014】本発明は、上記従来の問題点を解決するも
ので、ビットストリームのビット誤りによる復号誤りが
発生した場合でも、画質劣化の時間的波及を抑えられ
る、優れたディジタル動画像信号の符号化方法および復
号方法を提供することを目的とする。
【0015】
【課題を解決するための手段】本発明のディジタル動画
像信号の符号化方法および復号方法は、現処理画素ブロ
ックに関して、少なくとも2つ以上の動きベクトルを同
時に符号化または復号し、それぞれの動きベクトルに対
応した復号済みフレームを動き補償して、現処理画素ブ
ロックに関する2つ以上の予測画像を生成する。そし
て、本発明の動画像信号の復号方法においては、前記2
つ以上の予測画像に含まれる復号誤りの有無により、現
処理画素ブロックの再構成に用いる予測画像を選択する
ようにしたものである。
【0016】以上のように構成した本発明によれば、ビ
ットストリームのビット誤りによる復号誤りが発生した
場合でも、画質劣化の時間的波及を抑えられる優れたデ
ィジタル動画像信号の符号化方法および復号方法を提供
できる。
【0017】
【発明の実施の形態】本発明の請求項1に記載の発明
は、現処理画素ブロックに関して少なくとも2つ以上の
動きベクトルを同時に復号し、前記2つ以上の動きベク
トルのそれぞれに対応した復号済みフレームを動き補償
して現処理画素ブロックに関する2つ以上の予測画像を
生成する動画像信号の復号方法であって、前記2つ以上
の予測画像に含まれる復号誤りの有無により現処理画素
ブロックの再構成に用いる予測画像を選択するようにし
たものであり、復号誤りを含まない予測画像のみを現処
理画素ブロックの再構成に用いることにより、復号誤り
による画質劣化が以降のフレームに時間的に波及しない
という作用を有する。
【0018】本発明の請求項2に記載の発明は、請求項
1に記載の発明において、2つ以上の予測画像のうち複
数の予測画像に復号誤りが含まれない場合は、復号誤り
が含まれない予測画像のうち時間的に最も新しい復号済
みフレームから生成された予測画像を現処理画素ブロッ
クの再構成に用いるようにしたものであり、動画像の時
間的な相似性から、再構成されるべき現処理画素ブロッ
クと予測画像の相関が高くなり、現処理画素ブロックの
再構成に必要な符号量が小さくなるという作用を有す
る。
【0019】本発明の請求項3に記載の発明は、現処理
画素ブロックに関して少なくとも2つ以上の動きベクト
ルを同時に検出、符号化する動画像信号の符号化方法で
あって、前記2つ以上の動きベクトルで動き補償される
2つ以上の予測画像間の相関が高い場合には現処理画素
ブロックをインター符号化し、前記2つ以上の予測画像
間の相関が低い場合には現処理画素ブロックをイントラ
符号化するようにしたものであり、本発明の動画像信号
の復号方法において符号化側と異なる予測画像が選択さ
れた場合でも予測画像の不整合(ミスマッチ)を最小限
に抑えるという作用を有する。
【0020】本発明の請求項4に記載の発明は、処理画
素ブロックに関して少なくとも2つ以上の動きベクトル
を同時に検出、符号化する動画像信号の符号化方法であ
って、前記2つ以上の動きベクトルで動き補償される2
つ以上の予測画像のうち、時間的に最も新しい復号済み
フレームから生成される予測画像を現処理画素ブロック
の符号化に用いるようにしたものであり、動画像の時間
的な相似性から現処理画素ブロックに関する予測誤差が
小さくなり、発生符号量が少なくなるという作用を有す
る。
【0021】以下、本発明の実施の形態について図1〜
図3を用いて説明する。
【0022】(第1の実施の形態)本発明の第1の実施
の形態は、2つ以上の予測画像に含まれる復号誤りの有
無により、現処理画素ブロックの再構成に用いる予測画
像を選択するようにした動画像信号の復号方法である。
【0023】本発明の第1の実施の形態の動画像信号の
復号方法は、図1に示すように、可変長符号復号手段10
1、逆量子化手段102、逆DCT103、フレームメモリA1
04、動き補償手段A105、イントラ/インタースイッチ1
06、再構成手段107、フレームメモリ切り換えスイッチ1
08、フレームメモリB109、動き補償手段B110、予測画
像選択手段111、復号誤りマップA112、復号誤りマップ
B113、復号誤りマップ切り換えスイッチ114から構成さ
れる復号装置により実現される。
【0024】以下に、本発明の第1の実施の形態の動画
像信号の復号方法の動作について説明する。最初に、復
号誤りマップ切り換えスイッチ114は、復号誤りマップ
B113側に設定され、フレームメモリ切り換えスイッチ1
08は、フレームメモリB109側に設定されているものと
する。
【0025】まず、可変長符号復号手段101は、入力さ
れたビットストリームから可変長符号を分離して復号
し、マクロブロック単位に量子化係数、イントラ/イン
ター制御信号、動きベクトルA、動きベクトルBを出力
すると同時に、復号誤りの有無を復号誤りマップB113
に書き込む。復号誤りマップは、例えば、正しく復号で
きたマクロブロックは1、復号誤りがあるマクロブロッ
クは0と表現して、1フレームのすべてのマクロブロッ
クに関する復号状態を格納するメモリである。そして、
復号誤りマップA112には、現処理マクロブロックより
時間的に1フレーム前の復号状態が格納されており、復
号誤りマップB113には、現処理マクロブロックより時
間的に2フレーム前の復号状態が格納されている。
【0026】可変長符号復号手段101において、マクロ
ブロックの復号誤りを検出する手段はいろいろ考えられ
るが、例えば、次のようにして実現される。動画像信号
を復号する際、入力されたビットストリームにビット誤
りがあると、その誤ったビット以降、次の同期符号(ス
タートコード)が出現するまで、すべてのマクロブロッ
クを正しく復号することが不可能になる。一般的には、
ビット誤り検出手段を持たない限り、ビット誤りにより
正しく復号できないマクロブロックを特定することはで
きない。しかし、誤ったビット以降、次の同期符号が出
現するまでのビットストリームを復号する間に、あらか
じめ規定されていない可変長符号が出現したり、許容さ
れた範囲を超えた値が復号されたりなどの矛盾が高い確
率で発生する。
【0027】この性質を利用して、復号の矛盾が発生し
たマクロブロックからさかのぼってNマクロブロック
と、復号の矛盾が発生したマクロブロック以降、同期符
号が出現するまでのすべてのマクロブロックに復号誤り
があると推定することができる。N=4としたときの例
を図2に示した。図2の例では、第n+5マクロブロッ
クの復号の際に復号の矛盾が発生しているので、それよ
り4つ前の第n+1マクロブロックから、同期符号直前
の第n+7マクロブロックまでのすべてのマクロブロッ
クに復号誤りがあると推定している。
【0028】次いで、可変長符号復号手段101から出力
された量子化係数は、逆量子化手段102による逆量子
化、逆DCT103による周波数領域からの逆変換が行な
われる。一方、フレームメモリA104には、現処理マク
ロブロックより時間的に1フレーム前の再構成画像が格
納されており、フレームメモリB109には、現処理マク
ロブロックより時間的に2フレーム前の再構成画像が格
納されている。そして、動きベクトルAは、フレームメ
モリA104に対応した動きベクトルであり、動きベクト
ルBは、フレームメモリB109に対応した動きベクトル
である。すなわち、動き補償手段A105は、前記動きベ
クトルAに基づき、フレームメモリA104に格納された
1フレーム前の再構成フレームの画素ブロックを変位さ
せ、予測画像Aを生成する。同様に、動き補償手段B11
0は、前記動きベクトルBに基づき、フレームメモリB1
09に格納された2フレーム前の再構成フレームの画素ブ
ロックを変位させ、予測画像Bを生成する。
【0029】次いで、予測画像選択手段111は、まず、
入力された動きベクトルAの値を用いて、動き補償され
る画素ブロックの位置を特定する。そして、その画素ブ
ロックの位置と復号誤りマップA112の内容を比較する
ことによって、予測画像Aに含まれる復号誤りの有無を
判定する。同様に、予測画像選択手段111は、入力され
た動きベクトルBの値と復号誤りマップB113の内容か
ら、予測画像Bに含まれる復号誤りの有無を判定する。
さらに予測画像選択手段111は、予測画像Aに復号誤り
が含まれると判定した場合には、予測画像Bのみを出力
し、逆に予測画像Bに復号誤りが含まれると判定した場
合には、予測画像Aのみを出力する。そして、予測画像
Aにも予測画像Bにも誤りが含まれないと判定した場合
には、予測画像Aと予測画像Bの平均値を画素単位に算
出し出力する。
【0030】もしも、予測画像Aにも予測画像Bにも誤
りが含まれていると判定した場合には、予測画像Aと予
測画像Bの平均値を画素単位に算出し出力するか、予測
画像Aを出力するか、予測画像Bを出力するかを予め決
めておいて、それを出力するようにすればよい。
【0031】次に、可変長符号復号手段101より出力さ
れたイントラ/インター制御信号がイントラ符号化を指
示する場合は、イントラ/インタースイッチ106はオフ
となり、逆DCT103からの出力はそのままフレームメ
モリB109に格納される。一方、イントラ/インター制
御信号がインター符号化を指示する場合は、イントラ/
インタースイッチ106はオンとなり、逆DCT103の出力
と予測画像選択手段111の出力は、再構成手段107により
加算されたのち、フレームメモリB109に格納される。
このようにして、フレームメモリB109には現再構成フ
レームが格納されることになり、復号画像として出力さ
れる。
【0032】現フレームの復号処理が完了した後、復号
誤りマップ切り換えスイッチ114は復号誤りマップA112
側に、フレームメモリ切り換えスイッチ108はフレーム
メモリA104側にそれぞれ切り換えられる。この切り換
えにより、次フレームの復号にあたり、復号誤りマップ
A112は時間的に2フレーム前の復号状態が格納され、
復号誤りマップB113には時間的に1フレーム前の復号
状態が格納されていることになる。同様に、フレームメ
モリA104には時間的に2フレーム前の再構成画像が格
納され、フレームメモリB109には時間的に1フレーム
前の再構成画像が格納されていることになる。
【0033】本発明の第1の実施の形態では、動画像信
号の復号方法を上記のように構成したので、復号誤りを
含まない予測画像のみを現処理画素ブロックの再構成に
用いることにより、復号誤りによる画質劣化が以降のフ
レームに時間的に波及しないようにすることができる。
【0034】なお、上記本発明の動画像信号の復号方法
では、復号誤りマップおよびフレームメモリをそれぞれ
2つ有しているが、3つ以上に構成し、時間的に3フレ
ーム以上前の復号状態および再構成画像を格納できるよ
うにしてもよい。また、復号の矛盾により復号誤りがあ
るマクロブロックを推定する手段および復号誤りマップ
を用いて予測画像に含まれる復号誤りを判定する手段も
一例であって、他の手段によって構成されてもよい。
【0035】(第2の実施の形態)本発明の第2の実施
の形態は、2つ以上の予測画像のうち複数の予測画像に
復号誤りが含まれない場合は、復号誤りが含まれない予
測画像のうち時間的に最も新しい復号済みフレームから
生成された予測画像を現処理画素ブロックの再構成に用
いるようにした動画像信号の復号方法である。
【0036】本発明の第2の実施の形態の動画像信号の
復号方法は、第1の実施の形態と同様に図1に示す復号
装置により実現される。以下に、本発明の第2の実施の
形態の動画像信号の復号方法の動作について説明する。
予測画像選択手段111の動作以外は、第1の実施の形態
と格別変わりはない。
【0037】予測画像選択手段111において、予測画像
Aにも予測画像Bにも誤りが含まれないと判定した場合
には、予測画像Aまたは予測画像Bのうち新しい方のみ
を出力するように構成する。すなわち、予測画像Aにも
予測画像Bにも誤りが含まれないと判定した場合には、
常に時間的に1フレーム前の再構成画像から生成された
予測画像のみを出力するように構成する。
【0038】図1に示す復号装置において実現される動
画像信号の復号方法では、復号誤りマップおよびフレー
ムメモリをそれぞれ2つ有しているが、3つ以上に構成
し、時間的に3フレーム以上前の復号状態および再構成
画像を格納できるようにしてもよい。3つの予測画像が
ある場合、予測画像A、予測画像B、予測画像Cのう
ち、例えば、最新の予測画像Aに誤りがあり、予測画像
Bと予測画像Cには誤りがないとすると、予測画像Bと
予測画像Cのうちで最新の予測画像Bを出力するように
構成する。4つ以上の場合も同様である。もしも、すべ
ての予測画像に誤りがある場合には、予め定めた1つの
予測画像を出力するようにすればよい。
【0039】本発明の第2の実施の形態では、動画像信
号の復号方法を上記のように構成したので、動画像の時
間的な相似性から、再構成されるべき現処理画素ブロッ
クと予測画像の相関が高くなり、現処理画素ブロックの
再構成に必要な符号量が小さくなる。
【0040】(第3の実施の形態)本発明の第3の実施
の形態は、2つ以上の動きベクトルで動き補償される2
つ以上の予測画像間の相関が高い場合には現処理画素ブ
ロックをインター符号化し、2つ以上の予測画像間の相
関が低い場合には現処理画素ブロックをイントラ符号化
するようにした動画像信号の符号化方法である。
【0041】本発明の第3の実施の形態の動画像信号の
符号化方法は、図3に示すように、動きベクトル検出手
段A301、動き補償手段A302、予測誤差算出手段303、
イントラ/インター判定手段304、DCT305、量子化手
段306、可変長符号化手段307、逆量子化手段308、逆D
CT309、再構成手段310、フレームメモリA311、イン
トラ/インタースイッチ312、動きベクトル検出手段B3
13、動き補償手段B314、予測画像合成手段315、フレー
ムメモリB316、フレームメモリ切り換えスイッチ317か
ら構成される符号化装置により実現される。
【0042】以下に、本発明の第3の実施の形態の動画
像信号の符号化方法の動作について説明する。最初に、
フレームメモリ切り換えスイッチ317は、フレームメモ
リB316側に設定されているものとする。
【0043】まず、動きベクトル検出手段A301は、フ
レームメモリA311に格納された再構成フレームと入力
された現フレームとの間で、動きベクトルAを検出す
る。同様に、動きベクトル検出手段B313は、フレーム
メモリB316に格納された再構成フレームと入力された
現フレームとの間で、動きベクトルBを検出する。ここ
で、フレームメモリA311には、現処理マクロブロック
より時間的に1フレーム前の再構成画像が格納されてお
り、フレームメモリB316には、現処理マクロブロック
より時間的2フレーム前の再構成画像が格納されてい
る。
【0044】次いで、動き補償手段A302は、前記動き
ベクトルAに基づき、フレームメモリA311に格納され
た1フレーム前の再構成フレームの画素ブロックを変位
させ、予測画像Aを生成する。同様に、動き補償手段B
314は、前記動きベクトルBに基づき、フレームメモリ
B316に格納された2フレーム前の再構成フレームの画
素ブロックを変位させ、予測画像Bを生成する。予測画
像合成手段315は、入力された予測画像Aと予測画像B
の平均値を画素単位に算出し出力する。そして、予測誤
差算出手段303は入力された現フレームのマクロブロッ
クと予測画像合成手段315出力の差分を画素単位に算出
し、予測誤差値として出力する。
【0045】さらに、現フレームのマクロブロックと当
該予測誤差値、および予測画像Aと予測画像Bは、イン
トラ/インター判定手段304に入力される。ここでは、
まず第1段階の処理として、例えば、現フレームのマク
ロブロック内画素の分散と予測誤差値の分散との比較に
より、現フレームのマクロブロックをイントラ符号化す
るかインター符号化するかが判定される。もし、第1段
階の処理の結果、インター符号化と判定された場合は、
第2段階の処理として、予測画像Aと予測画像Bの相関
を評価し、現フレームのマクロブロックをイントラ符号
化するかインター符号化するかが判定される。
【0046】予測画像Aと予測画像Bの相関評価とイン
トラ/インター判定は、例えば、以下のようになされ
る。まず、予測画像Aと予測画像Bに関する絶対差分和
を画素単位に計算する。前記絶対差分和があらかじめ定
めた閾値より大きい場合は、相関が小さいとして、現フ
レームのマクロブロックをイントラ符号化すると判定す
る。逆に、前記絶対差分和が閾値より小さい場合は、相
関が大きいとして、現フレームのマクロブロックをイン
ター符号化すると判定する。
【0047】以上、第1段階および第2段階の処理から
なるイントラ/インター判定手段304の判定結果に従
い、現フレームのマクロブロックまたは当該予測誤差値
が出力される。同時に、判定結果はイントラ/インター
制御信号として出力される。イントラ/インター判定手
段304より出力された現フレームのマクロブロックまた
は当該予測誤差値は、DCT305、量子化手段306を経て
可変長符号化手段307に入力される。可変長符号化手段3
07には、イントラ/インター制御信号および動きベクト
ルAと動きベクトルBも入力されて、可変長符号に符号
化される。可変長符号化手段307は、これらのすべての
可変長符号を多重化しビットストリームとして出力す
る。
【0048】一方、量子化手段306の出力である量子化
係数は、逆量子化手段308、逆DCT309を経て再構成手
段310に入力される。そして、現在符号化中のマクロブ
ロックがイントラ符号化の場合は、イントラ/インター
スイッチ312はオフとなり、逆DCT309からの出力は、
そのままフレームメモリB316に格納される。一方、現
在符号化中のマクロブロックがインター符号化の場合
は、イントラ/インタースイッチ312はオンとなり、逆
DCT309の出力と予測画像合成手段315の出力は、再構
成手段310により加算されたのち、フレームメモリB316
に格納される。このようにして、フレームメモリB316
には現再構成フレームが格納されることになる。
【0049】現フレームの符号化処理が完了した後、フ
レームメモリ切り換えスイッチ317は、フレームメモリ
A311側に切り換えられる。この切り換えにより、次フ
レームの符号化にあたり、フレームメモリA311には時
間的に2フレーム前の再構成画像が格納され、フレーム
メモリB316には時間的に1フレーム前の再構成画像が
格納されていることになる。
【0050】本発明の第3の実施の形態では、動画像信
号の符号化方法を上記のように構成したので、動画像信
号の復号方法において符号化側と異なる予測画像が選択
された場合でも、予測画像の不整合(ミスマッチ)を最
小限に抑えることができる。
【0051】なお、上記本発明の第3の実施の形態の動
画像信号の符号化方法では、フレームメモリを2つ有し
ているが、3つ以上に構成し、時間的に3フレーム以上
前の再構成画像を格納できるようにしてもよい。また、
予測画像Aと予測画像Bの相関を評価する手段は一例で
あって、他の手段によって構成されてもよい。
【0052】(第4の実施の形態)本発明の第4の実施
の形態は、2つ以上の動きベクトルで動き補償される2
つ以上の予測画像のうち、時間的に最も新しい復号済み
フレームから生成される予測画像を現処理画素ブロック
の符号化に用いるようにした動画像信号の符号化方法で
ある。
【0053】本発明の第4の実施の形態の動画像信号の
符号化方法は、第3の実施の形態と同様に、図3に示す
符号化装置により実現される。以下に、本発明の第4の
実施の形態の動画像信号の符号化方法の動作について説
明する。予測画像合成手段315の動作以外は、第3の実
施の形態と格別変わりはない。
【0054】予測画像合成手段315を、予測画像Aまた
は予測画像Bのうち新しい方のみを出力するように構成
する。すなわち、常に時間的に1フレーム前の再構成画
像から生成された予測画像のみを出力するように構成す
る。フレームメモリを3つ以上で構成し、時間的に3フ
レーム以上前の再構成画像を格納できるようにした場合
も、最新の予測画像のみを出力すればよい。
【0055】本発明の第4の実施の形態では、動画像信
号の符号化方法を上記のように構成したので、動画像の
時間的な相似性から現処理画素ブロックに関する予測誤
差が小さくなり、発生符号量が少なくなる。
【0056】
【発明の効果】以上のように本発明によれば、復号誤り
の無い予測画像を用いて現処理画素ブロックを再構成す
るので、復号誤りによる画質劣化が時間的に波及しない
ため、ビットストリームが伝送、蓄積された際に発生し
たビット誤りによる再生画質の劣化を最小限に抑えられ
るという有利な効果がある。
【図面の簡単な説明】
【図1】本発明の第1および第2の実施の形態の動画像
信号の復号方法を実現する復号装置の構成を示す図、
【図2】本発明の第1および第2の実施の形態の動画像
信号の復号方法における復号誤りがあるマクロブロック
の推定方法を示す図、
【図3】本発明の第3および第4の実施の形態の動画像
信号の符号化方法を実現する符号化装置の構成を示す
図、
【図4】従来の動画像信号の符号化方法を実現する符号
化装置の構成を示す図、
【図5】動きベクトルの検出方法を示す図、
【図6】従来の動画像信号の復号方法を実現する復号装
置の構成を示す図である。
【符号の説明】
101 可変長符号復号手段 102 逆量子化手段 103 逆DCT 104 フレームメモリA 105 動き補償手段A 106 イントラ/インタースイッチ 107 再構成手段 108 フレームメモリ切り換えスイッチ 109 フレームメモリB 110 動き補償手段B 111 予測画像選択手段 112 復号誤りマップA 113 復号誤りマップB 114 復号誤りマップ切り換えスイッチ 301 動きベクトル検出手段A 302 動き補償手段A 303 予測誤差算出手段 304 イントラ/インター判定手段 305 DCT 306 量子化手段 307 可変長符号化手段 308 逆量子化手段 309 逆DCT 310 再構成手段 311 フレームメモリA 312 イントラ/インタースイッチ 313 動きベクトル検出手段B 314 動き補償手段B 315 予測画像合成手段 316 フレームメモリB 317 フレームメモリ切り換えスイッチ 401 動きベクトル検出手段 402 動き補償手段 403 予測誤差算出手段 404 イントラ/インター判定手段 405 DCT 406 量子化手段 407 可変長符号化手段 408 逆量子化手段 409 逆DCT 410 再構成手段 411 フレームメモリ 412 イントラ/インタースイッチ 601 可変長符号復号手段 602 逆量子化手段 603 逆DCT 604 フレームメモリ 605 動き補償手段 606 イントラ/インタースイッチ 607 再構成手段

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 現処理画素ブロックに関して少なくとも
    2つ以上の動きベクトルを同時に復号し、前記2つ以上
    の動きベクトルのそれぞれに対応した復号済みフレーム
    を動き補償して、現処理画素ブロックに関する2つ以上
    の予測画像を生成する動画像信号の復号方法であって、
    前記2つ以上の予測画像に含まれる復号誤りの有無によ
    り現処理画素ブロックの再構成に用いる予測画像を選択
    することを特徴とする動画像信号の復号方法。
  2. 【請求項2】 前記2つ以上の予測画像のうち複数の予
    測画像に復号誤りが含まれない場合は、復号誤りが含ま
    れない予測画像のうち時間的に最も新しい復号済みフレ
    ームから生成された予測画像を現処理画素ブロックの再
    構成に用いることを特徴とする請求項1記載の動画像信
    号の復号方法。
  3. 【請求項3】 現処理画素ブロックに関して少なくとも
    2つ以上の動きベクトルを同時に検出、符号化する動画
    像信号の符号化方法であって、前記2つ以上の動きベク
    トルで動き補償される2つ以上の予測画像間の相関が高
    い場合には現処理画素ブロックをインター符号化し、前
    記2つ以上の予測画像間の相関が低い場合には現処理画
    素ブロックをイントラ符号化することを特徴とする動画
    像信号の符号化方法。
  4. 【請求項4】 現処理画素ブロックに関して少なくとも
    2つ以上の動きベクトルを同時に検出、符号化する動画
    像信号の符号化方法であって、前記2つ以上の動きベク
    トルで動き補償される2つ以上の予測画像のうち、時間
    的に最も新しい復号済みフレームから生成される予測画
    像を現処理画素ブロックの符号化に用いることを特徴と
    する動画像信号の符号化方法。
JP9447897A 1997-03-31 1997-03-31 動画像信号の復号方法および符号化方法 Expired - Fee Related JP3217987B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP9447897A JP3217987B2 (ja) 1997-03-31 1997-03-31 動画像信号の復号方法および符号化方法
EP19980104075 EP0869682B1 (en) 1997-03-31 1998-03-06 Decoding method of moving image signal, and decoding apparatus of moving image signal using the same
DE1998620142 DE69820142T2 (de) 1997-03-31 1998-03-06 Dekodierverfahren für bewegte Bilder, und dementsprechendes Dekodiergerät
ES98104075T ES2213232T3 (es) 1997-03-31 1998-03-06 Metodo de decodificacion de señales de imagenes animadas y aparato de decodificacion de señales de imagenes animadas que lo utiliza.
KR10-1998-0010115A KR100505306B1 (ko) 1997-03-31 1998-03-24 동화상신호의부호화방법및장치와,동화상신호의복호화방법및장치
US09/050,808 US7486734B2 (en) 1997-03-31 1998-03-30 Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same
CA 2233373 CA2233373C (en) 1997-03-31 1998-03-30 Method and apparatus for coding and decoding moving image signals
NO19981427A NO321859B1 (no) 1997-03-31 1998-03-30 Metode til dekoding av signal for levende bilde og dekodingsanordning av signal for levende bilde der gjores bruk av metoden
CN98105913A CN1128547C (zh) 1997-03-31 1998-03-30 移动图象信号的译码及编码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9447897A JP3217987B2 (ja) 1997-03-31 1997-03-31 動画像信号の復号方法および符号化方法

Publications (2)

Publication Number Publication Date
JPH10285599A true JPH10285599A (ja) 1998-10-23
JP3217987B2 JP3217987B2 (ja) 2001-10-15

Family

ID=14111396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9447897A Expired - Fee Related JP3217987B2 (ja) 1997-03-31 1997-03-31 動画像信号の復号方法および符号化方法

Country Status (9)

Country Link
US (1) US7486734B2 (ja)
EP (1) EP0869682B1 (ja)
JP (1) JP3217987B2 (ja)
KR (1) KR100505306B1 (ja)
CN (1) CN1128547C (ja)
CA (1) CA2233373C (ja)
DE (1) DE69820142T2 (ja)
ES (1) ES2213232T3 (ja)
NO (1) NO321859B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325095A (ja) * 2005-05-20 2006-11-30 Mitsubishi Electric Corp 動画像復号装置
JP2008521268A (ja) * 2004-11-16 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化データフレーム系列のコラプション指示の決定方法
JP2015519016A (ja) * 2012-05-14 2015-07-06 ロッサト、ルカ 支持情報に基づく残存量データのエンコードおよび再構成

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
AU1579401A (en) * 1999-11-10 2001-06-06 Thomson Licensing S.A. Commercial skip and chapter delineation feature on recordable media
US7616690B2 (en) * 2000-10-31 2009-11-10 Imec Method and apparatus for adaptive encoding framed data sequences
CN100401781C (zh) * 2002-11-20 2008-07-09 松下电器产业株式会社 动态图像预测方法、编码方法及装置、解码方法及装置
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
KR101050828B1 (ko) * 2003-08-26 2011-07-21 톰슨 라이센싱 하이브리드 인트라-인터 코딩된 블록을 디코딩하기 위한 방법 및 장치
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8531372B2 (en) * 2004-06-14 2013-09-10 Samsung Display Co., Ltd. Method, device and system of response time compensation utilizing an overdrive signal
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
US7804903B2 (en) * 2005-06-27 2010-09-28 Intel Corporation Hardware-based CABAC decoder
EP2023637A4 (en) * 2006-05-24 2010-06-16 Panasonic Corp IMAGE DECODING DEVICE
US8538195B2 (en) * 2007-09-17 2013-09-17 Raytheon Company Hyperspectral image dimension reduction system and method
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
US9031354B2 (en) 2011-03-31 2015-05-12 Raytheon Company System and method for post-detection artifact reduction and removal from images
US8675989B2 (en) 2011-04-13 2014-03-18 Raytheon Company Optimized orthonormal system and method for reducing dimensionality of hyperspectral images
US9064308B2 (en) 2011-04-13 2015-06-23 Raytheon Company System and method for residual analysis of images
US8842937B2 (en) * 2011-11-22 2014-09-23 Raytheon Company Spectral image dimensionality reduction system and method
US8655091B2 (en) 2012-02-24 2014-02-18 Raytheon Company Basis vector spectral image compression
US9147265B2 (en) 2012-06-04 2015-09-29 Raytheon Company System and method for rapid cluster analysis of hyperspectral images
US8660360B1 (en) 2012-08-03 2014-02-25 Raytheon Company System and method for reduced incremental spectral clustering
US8805115B2 (en) 2012-11-02 2014-08-12 Raytheon Company Correction of variable offsets relying upon scene

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3939136A1 (de) * 1989-11-27 1991-05-29 Daimler Benz Ag Verfahren zur decodierung von codierten bilddaten
JP3002019B2 (ja) * 1991-07-04 2000-01-24 富士通株式会社 セル廃棄補償機能を有する画像符号化伝送方式
KR0125581B1 (ko) * 1991-07-24 1998-07-01 구자홍 디지탈 영상신호의 에러수정 시스템
US5539466A (en) * 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
US5235419A (en) * 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
DE69430617T2 (de) * 1993-07-12 2002-12-05 Sony Corp Dekoder und verfahren zur dekodierung
WO1995004432A1 (en) * 1993-07-30 1995-02-09 British Telecommunications Plc Coding image data
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
US5592226A (en) 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
US5550847A (en) * 1994-10-11 1996-08-27 Motorola, Inc. Device and method of signal loss recovery for realtime and/or interactive communications
JP3170193B2 (ja) * 1995-03-16 2001-05-28 松下電器産業株式会社 画像信号の符号化装置及び復号装置
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
US5903311A (en) * 1997-05-30 1999-05-11 Sony Corporation Run level pair buffering for fast variable length decoder circuit

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008521268A (ja) * 2004-11-16 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化データフレーム系列のコラプション指示の決定方法
JP2006325095A (ja) * 2005-05-20 2006-11-30 Mitsubishi Electric Corp 動画像復号装置
JP4485409B2 (ja) * 2005-05-20 2010-06-23 三菱電機株式会社 動画像復号装置
JP2015519016A (ja) * 2012-05-14 2015-07-06 ロッサト、ルカ 支持情報に基づく残存量データのエンコードおよび再構成

Also Published As

Publication number Publication date
JP3217987B2 (ja) 2001-10-15
NO321859B1 (no) 2006-07-17
CA2233373A1 (en) 1998-09-30
NO981427D0 (no) 1998-03-30
CA2233373C (en) 2007-05-22
KR100505306B1 (ko) 2005-10-24
ES2213232T3 (es) 2004-08-16
EP0869682A1 (en) 1998-10-07
US20010055338A1 (en) 2001-12-27
NO981427L (no) 1998-10-01
CN1128547C (zh) 2003-11-19
DE69820142D1 (de) 2004-01-15
CN1195254A (zh) 1998-10-07
EP0869682B1 (en) 2003-12-03
KR19980080602A (ko) 1998-11-25
DE69820142T2 (de) 2004-09-16
US7486734B2 (en) 2009-02-03

Similar Documents

Publication Publication Date Title
JP3217987B2 (ja) 動画像信号の復号方法および符号化方法
US5737022A (en) Motion picture error concealment using simplified motion compensation
US7146056B2 (en) Efficient spatial scalable compression schemes
JP3933718B2 (ja) 画像を表す信号を処理するシステム
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
US20060133475A1 (en) Video coding
AU2003203271A1 (en) Image coding method and apparatus and image decoding method and apparatus
JP2001028756A (ja) コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
US6795498B1 (en) Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method
KR100556450B1 (ko) 움직임 벡터 추정에 의한 오류 복원 방법
JPH06311502A (ja) 動画像伝送装置
KR100202538B1 (ko) 엠펙 비디오 코덱 장치
JP3415548B2 (ja) 動画像復号化装置及び動画像復号化方法
US20070025438A1 (en) Elastic storage
US20050013496A1 (en) Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
KR100587274B1 (ko) 엠펙­2 압축복원시스템에서의 오류 은폐방법
KR100380230B1 (ko) 다해상도 기반 영상신호 부호화 및 복호화 방법과 장치
US7415068B2 (en) Process for the format conversion of an image sequence
JPH08154250A (ja) 動画像符号化装置
JP2002058028A (ja) 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置
JP2005516501A (ja) Pbフレームモードでのビデオ画像の符号化
KR100229794B1 (ko) 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기
KR100209133B1 (ko) 움직임 벡터정보에 대한 오류 복원기능을 갖는 영상 복호화기
KR100388802B1 (ko) 오류은폐장치및방법
KR20060063553A (ko) 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070803

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees