JP3677101B2

JP3677101B2 - 動画像符号化装置

Info

Publication number: JP3677101B2
Application number: JP28102795A
Authority: JP
Inventors: 健中條; 剛永井; 義浩菊池
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-10-27
Filing date: 1995-10-27
Publication date: 2005-07-27
Anticipated expiration: 2015-10-27
Also published as: JPH09130807A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を少ない情報量に圧縮符号化する符号化装置および圧縮符号化された情報を復元し画像を再生する復号化装置に係り、特にイントラ符号化モードとインター符号化モードを有し、イントラ符号化領域を強制的に設定してリフレッシュを行う動画像符号化装置および動画像復号化装置に関する。
【０００２】
【従来の技術】
動画像信号を効率的に圧縮符号化する技術の代表的なものとして、入力される動画像信号の動き補償予測により得られた予測画像信号との差分である予測残差信号を符号化（フレーム間符号化）して伝送する動き補償適応予測符号化方式がある。
【０００３】
動き補償予測符号化方式を通信や放送用の動画符号化に適用する場合、リアルタイムの通信を可能とするために低遅延であることが望まれる。また、伝送路でのバースト符号誤りのために、符号化器や復号化器のフレームメモリ（蓄積媒体）の内容が異なる状態が生じる。この問題に対応するために、リアルタイムの通信、放送を可能とすべくフレーム毎の発生符号量が変動しないように、画面内に周期的にフレーム内（イントラ）符号化を行う画素領域を挿入して画面をリフレッシュする方法が一般的にとられる。
【０００４】
リフレッシュについて、例えば、ＭＰＥＧ２の標準化で検討されていた方式（ＩＳＯ−ＩＥＣＣＤ１３８１８−２）では、マクロブロックと呼ばれる１６画素×１６画素の単位でフレーム内符号化モード（イントラモード）とフレーム間符号化モード（インターモード）が切り替えられるようになっていて、縦３０マクロブロック、横４４マクロブロックで構成されている１フレームの横２マクロブロックラインをイントラモードで符号化し、１フレーム時間ごとに２ラインづつスライドさせる１５フレームで１周期となるイントラスライスと呼ばれる方法が示されている。この方式の場合、図１１のように、領域１でインターモードで符号化する場合には、動きベクトルの探索範囲を既にリフレッシュされていない領域２から行わないように制限されている。すなわち、例えば、図１１に示したようにリフレッシュの方向が上から下に向かっているイントラスライスの場合、下から上向きの動きベクトルが制限に係る方向となる。このような制限により、最悪（２周期−１）回で完全にリフレッシュされることを保証している。
【０００５】
【発明が解決しようとする課題】
リフレッシュの問題点は、イントラモードでの発生符号量は、同一の量子化パラメータでのインターモードでの発生符号量の通常２倍以上あるため、同一のレートで符号化をするためには、リフレッシュの分だけ量子化パラメータを大きくしなくてはならず、画質が悪くなってしまう点である。
【０００６】
また、動画像の復号化においては、伝送路または蓄積媒体において、ロングバーストが発生した場合には、数フレーム分以上の符号化データが正しく復号できないため、動画像復号化器では、最悪（２周期−１）フレームでリフレッシュされるまで、復号画像が大幅に劣化してしまうという問題点があった。
【０００７】
さらに、フレーム全体の動き補償をおこなうグローバル動き補償モードがある場合に動きベクトルの制限をおこなうと、もし、グローバル動きベクトルが制限にかかる方向にある場合、グローバル動きベクトルを制限しなければならず、大幅に画質が悪くなってしまう問題点があった。
【０００８】
そこで、本発明は、リフレッシュの効果を落とすことなく、画質の向上と、符号化データに誤りが混入したことによる画質の乱れを抑制できる動画像符号化装置および動画像復号化装置を提供することを目的とする。
【０００９】
【発明を解決するための手段】
本発明の動画像符号化装置は、入力動画像信号をイントラ符号化するイントラ符号化モードとインター符号化するインター符号化モードを有する符号化手段と、
この符号化手段の符号化モードを前記入力動画像信号の所定の画像領域毎に適応的に選択する選択手段と、前記入力動画像信号と１フレーム前の動画像信号を基に入力動画像信号中の動領域と静止領域の判定を行う判定手段とを具備し、前記選択手段は、前記符号化手段に対しイントラ符号化モードで符号化するイントラ符号化領域を前記入力動画像信号のフレーム内に周期的に設定して、前記イントラ符号化領域をフレーム毎に移動させるリフレッシュ動作を行わせると共に、前記判定手段の判定結果に基づいて前記静止領域に対するリフレッシュの動作の周期を前記動領域に対するリフレッシュ動作の周期より長くすることにより、従来のリフレッシュと比較すると、静止領域でのイントラモードで符号化するマクロブロックの数が減るため、同一のレートでは、その分、量子化パラメータを小さくすることができ、画質が向上する。すなわち、リフレッシュの効果を落とすことなく、画質の向上が図れる。
【００１０】
また、本発明の動画像復号化装置は、動画像信号が所定の画像領域毎にイントラ符号化モードまたはインター符号化モードで符号化された符号化データを一時保持する入力手段と、この入力手段に一時保持された符号化データを復号化する復号化手段と、前記インター符号化モードの符号化データを復号化するときに用いる参照画像信号を記憶する記憶手段と、前記復号化手段でイントラ符号化モードの符号化データを復号化して得られた動画像信号を基に、前記記憶手段に記憶された参照画像信号の書き換えを所定の画像領域毎に行う書換手段とを具備し、前記書換手段は、前記入力手段に一時保持された符号化データの符号量と前記符号化データの１フレームの符号量を基に、フレーム毎に前記符号化データの状態を判断し、異常フレームが検出されたとき、その異常フレームの動画像信号を基にした前記参照画像の書き換えを、以後の正常フレームのイントラ符号化モードの動画像信号が前記復号化手段で得られるまで中止することにより、伝送路または蓄積媒体から受信した符号データに誤りが生じ、ロングバーストが発生した場合でも、その影響を小さく抑えることができ、従って、リフレッシュの効果を落とすことなく、符号化データに誤りが混入したことによる画質の乱れを抑制し、画質の向上が図れる。
【００１１】
また、本発明の動画像符号化装置は、入力動画像信号をイントラ符号化するイントラ符号化モードと、１フレーム全体の動き補償を行いインター符号化する第１の動き補償符号化モードと、１フレームを分割した所定の画像領域単位に動き補償を行いインター符号化する第２の動き補償符号化モードとを有する符号化手段と、この符号化手段の符号化モードを前記入力動画像信号の所定の画像領域毎に適応的に選択する選択手段とを具備し、前記選択手段は、前記符号化手段に対しイントラ符号化モードで符号化するイントラ符号化領域を前記入力動画像信号のフレーム内に周期的に設定して前記イントラ符号化領域をフレーム毎に移動させるリフレッシュ動作を行わせると共に、前記入力動画像信号を前記符号化手段において、インター符号化する際に、前記リフレッシュ動作のために動きベクトルの制限を行う必要のある画像領域には、前記第１の動き補償符号化モードを選択しないことにより、リフレッシュの際の動きベクトルの制限による影響は、フレーム全体にはおよばず、フレーム内の所定の画像領域内に抑えることができ、従って、リフレッシュの効果を落とすことなく、符号化データに誤りが混入したことによる画質の乱れを抑制し、画質の向上が図れる。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００１３】
まず、第１の実施形態について説明する。
【００１４】
図１は、第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【００１５】
図１において、入力動画像信号は、ブロック化回路１０１でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器１０２に入力され、予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化回路１０１からの入力動画像信号のいずれか一方を、モード選択スイッチ１０３によって選択し、ＤＣＴ（離散コサイン変換）回路１０４により離散コサイン変換される。ＤＣＴ回路１０４で得られＤＣＴ係数データは、量子化回路１０５で量子化される。量子化回路１０５で量子化された信号は２分岐され、一方は可変長符号化回路１０６で可変長符号化される。一方、量子化回路１０５で量子化され２分岐された信号の他方は、逆量子化回路１１０及びＩＤＣＴ（逆離散コサイン変換）回路１１１により量子化回路１０５およびＤＣＴ回路１０４の処理と逆の処理を順次受けた後、加算器１１２でスイッチ１１５を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ１１３に蓄えられ、動き補償回路１１４に入力される。
【００１６】
動き補償回路１１４では、図１１に示したように、既にリフレッシュしたイントラ領域１は、リフレッシュ前の領域２からの動き補償を禁止して、予測画像信号が生成される。
【００１７】
符号化制御回路１０９では、符号化部１１８の符号化情報と出力バッファ１０８のバッファ量をもとに符号化を制御し、必要な情報を可変長符号化回路１０６におくる。可変長符号化回路１０６で符号化されたデータは、多重化回路１０７で多重化され、出力バッファ１０８で送信レートを平滑化され、符号化データとして送られる。
【００１８】
モード選択回路１１６では、マクロブロック単位に動き補償回路１１４からの予測情報Ｐに基づいて、フレーム間符号化をおこなうマクロブロックとフレーム内符号化をおこなうマクロブロックを選択する。
【００１９】
フレーム内符号化（イントラ符号化）をおこなう場合は、モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）をおこなう場合は、モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。モード選択スイッチ１０３ではモード選択スイッチ情報Ｐに基づき、スイッチを変更し、また、スイッチ１１５ではスイッチ情報Ｓに基づき、スイッチを変更する。
【００２０】
ここでは、モードとして、イントラモード（ＩＮＴＲＡ）、インターモード（ＩＮＴＥＲ）、非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、各マクロブロック毎に対応つけられ、ＩＮＴＲＡのマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲのマクロブロックはフレーム間符号化される画像領域で、ＮＯＴ＿ＣＯＤＥＤのマクロブロックは符号化不要の画像領域である。そして、これらの情報は、モード選択情報ＭＯＤＥにより、モード選択回路１１６と、リフレッシュ判定回路１１７との間で受渡しされる。
【００２１】
リフレッシュ判定回路１１７では、マクロブロック毎に動領域か静止領域かを判定し、その判定結果を基に、リフレッシュを行うかどうかを判定する。
【００２２】
フレーム間の画像変化が少ない非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）のマクロブロックは、誤りが混入する確率がほとんどなく、他のマクロブロックの誤りの影響は混入しない。そこで、過去一定フレーム時間以上、ＮＯＴ＿ＣＯＤＥＤになると判定できるマクロブロックは、静止領域と判定し、リフレッシュの周期を動領域より長く設定できる。
【００２３】
静止領域の判定は、誤りにより連続して復号できないフレーム数に依存する。誤りにより連続して復号できないフレームがあると、その間に動領域があって、画面がかわる場合を考慮する必要があるため、
誤りが１フレームなら、１周期
誤りが２フレームなら１周期＋１
誤りが３フレームなら、１周期＋２
：
誤りがＬフレームなら、１周期＋Ｌ−１
：
となり、一般に、誤りにより連続して復号できないフレーム数をＬとすると、過去（１周期＋Ｌ−１）フレームにわたって連続して静止と判定したマクロブロックならば、リフレッシュをおこなわなくても、誤りによって復号できないフレームの前のフレームの画像が正しいので、２周期によるリフレッシュの回復を保証することができる。
【００２４】
本発明は、この原理に基づき、リフレッシュのイントラモードの数を減らしている。
【００２５】
次に、本発明の原理について図２、図３を参照して説明する。
【００２６】
図２および図３は、イントラスライスの場合の動作を時系列にフレームの真横からみて、リフレッシュの動作を示したものである。なお、図２、図３では、誤りにより復号できないフレーム数Ｌ＝２の場合を示している。さらに、ここで、リフレッシュの周期は４フレームで、フレームの上から下に向かってリフレッシュされる。
【００２７】
図２において、誤りで連続して復号できないフレームを２フレーム（Ｌ＝２）とすると、４＋２−１＝５フレームにわたってＮＯＴ＿ＣＯＤＥＤであるならば、静止領域と判定して、その次のフレームの参照画像は、正しい参照画像が使えるのでリフレッシュの必要がないことがわかる。実際には、ＮＯＴ＿ＣＯＤＥＤとはならなくても、リフレッシュのためのイントラ（ＩＮＴＲＡ）モードのマクロブロックの場合、入力画像信号で判定して、ＮＯＴ＿ＣＯＤＥＤと判定できる場合は、静止領域に含めることができる。
【００２８】
図３は、図２で説明したような処理を行うとして、最悪ケースの場合を示したものである。図３に示したように、誤りが伝搬する範囲は、誤りがあったマクロブロックでフレームメモリを書き換えなければ、最悪（２周期ー１回）で回復することが保証される。
【００２９】
従来のリフレッシュと比較すると、静止領域でのイントラモードで符号化するマクロブロックの数が減るため、同一のレートでは、その分、量子化パラメータを小さくすることができ、画質が向上する。
【００３０】
図４は、リフレッシュ判定回路１１７の処理動作を説明するためのもので、１フレームについての処理動作を示したフローチャートである。図４では、１フレームに１マクロブロックラインのイントラスライスでリフレッシュする場合の動作を示している。
【００３１】
ここで、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数をそれぞれ表している。また、Ｎは、０から数えた符号化したフレームの番号を表している。２次元配列Ｄ［ｉ］［ｊ］は、各マクロブロック毎の動領域と静止領域に関する情報を蓄える配列である。
【００３２】
図４に示した処理動作は、モード選択回路１１６から、フレーム番号Ｎとモード選択情報ＭＯＤＥが与えられ、もし、リフレッシュが必要ならば、モード選択回路１１６から与えられたＭＯＤＥの値をＩＮＴＲＡに書き換えて返し、また、リフレッシュ判定回路１１７の内部で、動領域と静止領域に関する情報を蓄えている配列Ｄを更新するというものである。
【００３３】
まず、ループ１（ステップＳ１０１〜ステップＳ１１４）とループ２（ステップＳ１０２〜ステップＳ１１３）の中で、フレーム内の各マクロブロック毎に、リフレッシュの判定を行う。（ステップＳ１０３）
すなわち、フレームの番号Ｎの値をＶ＿ＮＭＢで除算を行った余りがマクロブロック垂直方向のアドレスｉに等しく、かつ、Ｄ［ｉ］［ｊ］の値がＶ＿ＮＭＢ＋Ｌ−１以下ならば、リフレッシュを行うと判定し、ＭＯＤＥをＩＮＴＲＡに書き換える。（ステップＳ１０４）
符号化処理（ステップＳ１０５）の後、ＭＯＤＥの値別に、Ｄの更新を行う。
【００３４】
もし、ＩＮＴＥＲならば、Ｄの値を０に初期化する。（ステップＳ１１０）
もし、ＩＮＴＲＡならば、次のような動作をとる。
【００３５】
ステップＳ１０７で、現在の入力動画像信号と１フレーム前の入力動画像信号との絶対値和ＳＡＤを計算し、ある閾値ＴＨ以下の場合は、本来はＮＯＴ＿ＣＯＤＥＤとなると判定し、Ｄの値を１増やす。（ステップＳ１０８）
それ以外の場合は、Ｄの値を０に初期化する。（ステップＳ１０９）
もし、ＮＯＴ＿ＣＯＤＥＤならば、次の動作をとる。
【００３６】
ステップＳ１１１で、Ｄの値がＶ＿ＮＭＢ＋Ｌ−１以下ならば、Ｄの値を１増やす。（ステップＳ１１２）
以上の処理により、リフレッシュの順番がきても、Ｄの値を基に、過去（１周期＋Ｌ−１）以上ＮＯＴ＿ＣＯＤＥＤと判定できるマクロブロックは、リフレッシュされない。
【００３７】
なお、図４では、マクロブロックラインでリフレッシュを行うイントラスライスで説明したが、マクロブロックコラムでリフレッシュを行うイントラコラムにも適用することができる。
【００３８】
図５はリフレッシュ判定回路１１７の他の処理動作を説明するためのもので、イントラコラムでリフレッシュした場合の１フレームごとのリフレッシュ判定回路の動作を示したフローチャートである。
【００３９】
ここで、ｉとｊは、フレーム内の垂直方向と水平方向ののマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数をそれぞれ表している。また、Ｎは、０から数えた符号化したフレームの番号を表している。２次元配列Ｄ［ｉ］［ｊ］は、各マクロブロック毎の動領域と静止領域に関する情報を蓄える配列である。ここで、配列Ｄは、Ｎ＝０の時、つまり最初のイントラマクロブロックで全て符号化されるフレームは誤りが入らないと仮定して、（Ｈ＿ＮＭＢ＋Ｌ）で初期化されるとする。
【００４０】
このフローチャートでは、モード選択回路１１６から、フレーム番号Ｎとモード選択情報ＭＯＤＥが与えられ、もし、リフレッシュが必要ならば、モード選択回路から与えられたＭＯＤＥの値をＩＮＴＲＡに書き換えて返し、また、リフレッシュ判定回路の内部で、動領域と静止領域に関する情報を蓄えている配列Ｄを更新する動作を示している。
【００４１】
はじめに長期リフレッシュのためのフラグＬＢをＴＲＵＥで初期化する。（ステップＳ２０１）
次に、ループ１（ステップＳ２０２〜ステップＳ２１７）とループ２（ステップＳ２０３〜ステップＳ２１６）の中で、フレーム内の各マクロブロック毎のリフレッシュの判定を行う。（ステップＳ２０４）
Ｎの値をＨ＿ＮＭＢで除算を行って余りがマクロブロック水平方向のアドレスｊに等しく、かつ、Ｄ［ｉ］［ｊ］の値がＨ＿ＮＭＢ＋Ｌ−１以下ならば、リフレッシュを行うと判定し、ＭＯＤＥをＩＮＴＲＡに書き換える（ステップＳ２０５）。
【００４２】
符号化処理（ステップＳ２０６）の後、ＭＯＤＥの値別に、Ｄの更新を行う。
【００４３】
もし、ＩＮＴＥＲならば、Ｄの値を０に初期化する。（ステップＳ２１１）
もし、ＩＮＴＲＡならば、次のような動作をとる。
【００４４】
ステップＳ２０８で、現在の入力動画像信号と１フレーム前の入力動画像信号との絶対値和ＳＡＤを計算し、ある閾値ＴＨ以下の場合は、本来はＮＯＴ＿ＣＯＤＥＤとなると判定し、Ｄの値を１増やす。（ステップＳ２０９）
それ以外の場合は、Ｄの値を０に初期化する。（ステップＳ２１０）
もし、ＮＯＴ＿ＣＯＤＥＤならば、次の動作をとる。
【００４５】
ステップＳ２１２で、Ｄの値がＨ＿ＮＭＢ＋Ｌ−１以下ならば、Ｄの値を１増やす。（ステップＳ２１３）
Ｄの値がＨ＿ＮＭＢ＋Ｌ−１より大きく、ステップＳ２１４でフラグＬＢがＴＲＵＥならば、Ｄの値を０に初期化し、ＬＢをＦＡＬＳＥにする。
【００４６】
図５のフローチャートによる処理では、まず、最初のフレームでＤがＨ＿ＮＭＢ＋Ｌで初期化されているで、２番目のフレームからずっとＮＯＴ＿ＣＯＤＥＤのマクロブロックは、リフレッシュの順番がきてもリフレッシュされない。また、過去（１周期＋Ｌ−１）以上ＮＯＴ＿ＣＯＤＥＤと判定できるマクロブロックは、リフレッシュされない。ただし、過去（１周期＋Ｌ−１）以上ＮＯＴ＿ＣＯＤＥＤと判定できるマクロブロックのうち、１マクロブロックは、強制的にＤを「０」にして次のリフレッシュでイントラで符号化されるように、長期のリフレッシュの保証をつけている。
【００４７】
なお、上記第１の実施形態では、フレームを単位とする符号化で説明をおこなったが、フィールド単位での符号化でも実施できることは言うまでもない。
【００４８】
以上、説明したように、上記第１の実施形態によれば、リフレッシュ判定回路１１７において、入力動画像信号と１フレーム前の入力動画像信号を基に、過去一定フレーム時間以上フレーム間の画像変化の少ない静止領域と判定したとき、リフレッシュの周期を長く設定することにより、従来のリフレッシュと比較すると、静止領域でのイントラモードで符号化するマクロブロックの数が減るため、同一のレートでは、その分、量子化パラメータを小さくすることができ、画質が向上する。
【００４９】
次に、第２の実施形態について説明する。
【００５０】
図６は、第２の実施形態に係る動画像復号化装置の構成を示すブロック図である。
【００５１】
伝送路または蓄積媒体より受信した符号化データは、入力バッファ２０１に一度蓄えられ、多重化分離回路２０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化回路２０３に出力する。可変長復号化回路２０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００５２】
可変長復号化回路２０３で復号化されたモード情報ＭＯＤＥは、モード判定回路２０６に入力される。モード判定回路２０６では、モード情報ＭＯＤＥがＮＯＴ＿ＣＯＤＥＤならば、スイッチ２１１をＯＮに選択して、フレームメモリに参照画像として蓄えられている再生画像信号をスイッチ２０９をオンに選択して表示動画像信号として出力させる。
【００５３】
モード情報ＭＯＤＥがＩＮＴＲＡならば、スイッチ２１１オフに選択して、可変長復号化回路２０３で復号化された量子化ＤＣＴ係数情報は、逆量子化回路２０５で逆量子化され、ＩＤＣＴ回路２０７で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ２１０に参照画像として蓄積され、スイッチ２０９を介して表示動画像信号として出力される。
【００５４】
モード情報ＭＯＤＥがＩＮＴＥＲならば、スイッチ２１１をオンにし、可変長復号化回路２０３で復号化された量子化ＤＣＴ係数情報は、逆量子化回路２０５で逆量子化され、ＩＤＣＴ回路２０７で逆離散コサイン変換処理をおこない、可変長復号化回路２０３で復号化された動きベクトル情報ＭＶが指し示しているフレームメモリ２０１の領域の参照画像信号と加算器２０８で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ２１０に参照画像として蓄積され、スイッチ２０９を介して表示動画像信号として出力される。
【００５５】
ロングバースト判定手段２１２では、入力バッファ２０１のバッファ量と多重化分離回路２０２での１フレームの符号量を監視し、入力バッファ２０１のバッファ量がアンダーフローし、かつ１フレームの符号量が一定量以上の場合は、ロングバーストと判定する。
【００５６】
ロングバーストと判定したフレームは、スイッチ２０４を操作して、可変長符号化回路２０３より後の復号化動作を中止する。
【００５７】
さらに、ロングバーストと判定されたフレームの以降のフレームについては、モード判定回路２０６で、ＩＮＴＲＡと判定されたマクロブロックについては、スイッチ２０４をオンに操作して、復号化動作を再開し、以後のフレームで同一位置のマクロブロックは、通常の復号化動作に復帰する。
【００５８】
復号化動作停止後、モード判定回路２０６でＩＮＴＲＡで復号されない場合、スイッチ２０４をオフとし、復号化動作は再開しない。
【００５９】
また、動画像符号化装置でのリフレッシュの周期に応じて、外部から与えられる表示停止期間Ｌ＿ＳＴＯＰを設定し、スイッチ２０９を操作して、出力動画像信号をロングバーストが混入したと判定したフレーム以降の一定期間の表示を停止する。
【００６０】
通常、動画像符号化装置で正常に動作していれば、動画像復号化装置の入力バッファ２０１がオーバーフローしたり、アンダーフローしたりすることはない。入力バッファ２０１がアンダーフローするということは、通常よりも、１フレームの符号量が非常に大きくなる場合に生じる。
【００６１】
したがって、動画像符号化装置が正常ならば、伝送路または蓄積媒体での誤りにより、フレームの同期符号が破壊され、正しく復号できたないフレームがあるため、フレームの同期符号の間隔が大きくなってしまっていると推定することができる。
【００６２】
さらに、１フレームの符号量が一定以上、例えば、１ｓｅｃ以上になっているならば、少なくとも数フレーム以上が復号できないと推定できるので、ロングバーストが混入したと判定できる。
【００６３】
ロングバーストが混入したフレームをそのまま復号化し、表示を行うと、誤りの入った画面が表示されることになる。したがって、前のフレームの復号画像が引き続き表示されるように、復号動作を停止させる。
【００６４】
また、ロングバーストが混入したフレームの後のフレームについても、ＩＮＴＥＲモードのマクロブロックでは、参照画像が正しくないために、非常に汚い画像が復号される。しかし、ＩＮＴＲＡモードのマクロブロックについては、正しい画像が復号できることが保証できるので、それ以降のＩＮＴＥＲモードや非符号化モードのマクロブロックは、参照画像が正しくない領域から動き補償を行わない限り、正しい復号画像が得られる。
【００６５】
したがって、ロングバーストが混入したフレームの後のフレームについては、図７のように、ＩＮＴＲＡモードが復号されるまで、復号動作を停止し、ＩＮＴＲＡモードで復号されたマクロブロックから復号を順次開始する。この方法により、たとえ、表示を止めなくても、ＩＮＴＲＡモードのマクロブロックから部分的に復号化が開始されるように感じられるため、印象はよい。画像が回復していく間、表示を止める場合は、動画像復号化装置側でのリフレッシュの１周期分の時間、表示を止めれば、ほぼ回復した画像全体が表示できる。
【００６６】
なお、上記第２の実施形態では、フレームを単位とする復号化で説明をおこなったが、フィールド単位での復号化でも実施できることは言うまでもない。
【００６７】
次に、第３の実施形態について説明する。
【００６８】
第３の実施形態に係る動画像符号化装置の構成は、図１と同様である。
【００６９】
従来の技術で説明したように、イントラスライスやイントラコラムにおいては、リフレッシュしたマクロブロックは、次のフレームを符号化する時に、図１１を参照して説明したように、動きベクトルの制限をおこなう必要がある。しかし、フレーム全体で動き補償をおこなうグローバル動き補償モードが選択されている場合、グローバル動きベクトルを制限してしまうと、制限が必要なマクロブロックのみならず、画面全体に影響があるために、画質的に問題がある。
【００７０】
そこで、モード選択回路１１６では、動きベクトルの制限が必要なマクロブロックは、グローバル動き補償モードを選択しないように制御する。すなわち、リフレッシュのために動きベクトルの制限が必要なマクロブロックは、グローバル動き補償モードを選択しないようになっている。
【００７１】
図８は、モード選択回路１１６の動作を説明するための図で、イントラスライスの場合の動作をフレームの真横からみて、リフレッシュの動作を時系列に示し手いる。
【００７２】
今、グローバル動きベクトルが下向きにでていたとすると、動きベクトルの制限にかかってしまう。そこで、図８の水玉で示したマクロブロックについては、モード選択回路１１６において、強制的にグローバル動き補償モードを選択しないようにしている。すなわち、動き補償回路１１４において、グローバル動きベクトルを用いないよう制御する。この場合、例えば、図８の水玉で示したマクロブロックについては、非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）を選択する。
【００７３】
従って、動きベクトルの制限による影響は、画面全体には及ばずに、水玉で示したマクロブロックのみにとどまる。
【００７４】
次に、第４の実施形態について説明する。
【００７５】
図９は、本発明の動画像符号化装置および動画像復号化装置を応用した無線通信システムの構成を示したものである。
【００７６】
図９において、無線通信システムは、画像伝送系２０と画像再生系２１とを含み、ネットワーク４０の設けられた基地局４１を介して画像の送受信が行われる。
【００７７】
画像伝送系２０は、画像信号入力部２１と誤り耐性処理部２３を備える情報源符号化部２２と、伝送路符号化部２４と、無線部２５とを備えており、情報源符号化部２２において、離散コサイン変換（ＤＣＴ）や量子化等が行われ、また、伝送路符号化部２４においては、符号化データの誤り検出や訂正等が行われる。
【００７８】
情報源符号化部２２、情報源復号化部３３の主要部には、それぞれ、本発明に係る動画像符号化装置、動画像復号化装置が適用されている。
【００７９】
また、画像再生系３０は、無線部３１、伝送路復号化部３２、誤り耐性処理部３４を含む情報源復号化部３３と、画像信号出力部３５を備えている。
【００８０】
図１０は、第４の実施形態にかかる無線通信システムの一例を示したもので、図１０に示すように、通信ネットワーク４０の基地局４１、４２、４３を介してラップトップタイプのパソコン５１やデスクトップタイプのパソコン５２等の端末５０」により動画像の電送および受信が行われる。
【００８１】
例えば、パソコン５１に備え付けられている画像信号入力部としてのカメラ５１ａにより入力された画像信号は、パソコン５１に組み込まれた情報源符号化部２２によって符号化される。情報源符号化部２２から出力される符号化データは、他の音声やデータの情報と多重化された後、パソコン５１に組み込まれた無線部２５、アンテナ５１ｂを介して無線で送信される。この送信された電波信号はネットワーク４０に設けられた基地局４１〜４３を介してパソコン５２のアンテナ５２ａ、パソコン５２に組み込まれた無線部３１を介して受信される。無線部３１で受信された信号は、画像信号の符号化データおよび音声データに分解される。これらのうち、画像信号の符号化データは、パソコン５２に組み込まれた情報源復号化部３３によって復号され、パソコン５２のディスプレイに表示される。
【００８２】
一方、パソコン５２に備え付けられた画像信号入力部２１としてのカメラ５２ｂにより入力された画像信号は、パソコン５２に組み込まれた情報源符号化部２２を用いて上記と同様に符号化される。符号化データは、他の音声やデータの情報と多重化され、パソコン５２に組み込まれた無線部２５、アンテナ５２ａにより無線で送信される。この送信された電波信号はネットワーク４０に設けられた基地局４１〜４３を介してパソコン５１のアンテナ５１ａ、パソコン５１に組み込まれた無線部３１を介して受信される。無線部３１によって受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはパソコン５１に組み込まれた情報源復号部３３によって復号され、パソコン５１のディスプレイに表示される。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、リフレッシュの効果を落とすことなく、画質の向上が図れ、符号化データに誤りが混入したことによる画質の乱れを抑制する動画像符号化装置および動画像復号化装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態および第３の実施形態に係る動画像符号化装置の構成を示すブロック図。
【図２】イントラスライスとリフレッシュ判定回路の動作を説明するための図。
【図３】イントラスライスとリフレッシュ判定回路の動作を説明するための図。
【図４】リフレッシュ判定回路の動作を説明するためのフローチャートで、イントラスライスによるリフレッシュを行う場合を示している。
【図５】リフレッシュ判定回路の他の動作処理を説明するためのフローチャートで、イントラコラムによるリフレッシュを行う場合について示している。
【図６】本発明の第２の実施形態に係る動画像復号化装置の構成を示すブロック図。
【図７】ロングバースト判定回路の動作を説明するための図。
【図８】モード選択回路の動作を説明するための図。
【図９】本発明を適用した無線通信システムの構成を概略的に示した図。
【図１０】本発明を適用した無線通信システムの一例を示した図。
【図１１】従来のリフレッシュ方法を説明するための図。
【符号の説明】
２０…画像伝送系、２１…画像信号入力部、２２…情報源符号化部、２３…誤り耐性処理部、２４…伝送路符号化部、２５…無線部、３０…画像再生系、３１…無線部、３２…伝送路複合化部、３３…情報源復号化部、３４…誤り耐性処理部、３５…画像信号出力部、４０…ネットワーク、４１〜４３…無線基地局、５０…端末、５１…パソコン、５１ａ…カメラ、５１ｂ…アンテナ、５２…パソコン、５２ａ…アンテナ、５２ｂ…カメラ、１０１…ブロック化回路、１０２…減算器、１０３…モード選択スイッチ、１０４…ＤＣＴ回路、１０５…量子化回路、１０６…可変長符号化回路、１０７…多重化回路、１０８…出力バッファ、１０９…符号化制御回路、１１０…逆量子化回路、１１１…ＩＤＣＴ回路、１１２…加算器、１１３…フレームメモリ、１１４…動き補償回路、１１５…スイッチ、１１６…モード選択回路、１１７…リフレッシュ判定回路、１１８…符号化部、２０１…入力バッファ、２０２…多重化分離回路、２０３…可変長復号化回路２０４…スイッチ、２０５…逆量子化回路、２０６…モード判定回路、２０７…ＩＤＣＴ回路、２０８…加算器、２０９…スイッチ、２１０…フレームメモリ、２１１…スイッチ、２１２…ロングバースト判定回路。

Claims

入力動画像信号をイントラ符号化するイントラ符号化モードとインター符号化するインター符号化モードを有する符号化手段と、
この符号化手段の符号化モードを前記入力動画像信号の所定の画像領域毎に適応的に選択するとともに、前記符号化手段に対し、前記入力動画像信号のフレーム内に、イントラ符号化モードで符号化するイントラ符号化領域を、Ｍ（Ｍは正の任意の整数）フレームの周期で設定して、前記イントラ符号化領域をフレーム毎に移動させるリフレッシュ動作を行わせる選択手段と、
前記イントラ符号化領域が、過去「Ｍ＋Ｌ（Ｌは任意の正の整数）−１」フレーム以上連続して静止領域の画像領域である場合に、当該イントラ符号化領域に対し、前記イントラ符号化モードで符号化を行わないよう制御する手段と、
を具備したことを特徴とする動画像符号化装置。