JPH09312846A

JPH09312846A - 動画像の符号化方法

Info

Publication number: JPH09312846A
Application number: JP15019196A
Authority: JP
Inventors: Kazuo Nakatani; 一夫中谷; Hisataka Nakajima; 久貴中嶋
Original assignee: Kokusai Electric Corp
Current assignee: Kokusai Electric Corp
Priority date: 1996-05-22
Filing date: 1996-05-22
Publication date: 1997-12-02

Abstract

(57)【要約】【課題】符号化した動画像の伝送において伝送誤りが
発生した場合にあっても、画像の乱れの影響を短時間の
内に減少させることができる動画像の符号化方法を提供
する。【解決手段】動画像を構成する一連のフレームに対し
て、各フレームを複数のマクロブロックに分割し、各マ
クロブロックを単位として符号化する動画像の符号化方
法において、前記一連のフレーム中の所定の間隔をおい
たフレームについては、当該フレームの一部を構成する
マクロブロックを強制的にフレーム内符号化する。ま
た、フレームの前半部を構成するマクロブロックについ
て強制的にフレーム内符号化する第１のパターンと、フ
レームの後半部を構成するマクロブロックについて強制
的にフレーム内符号化する第２のパターンと、を設定
し、前記一連のフレーム中の所定の間隔をおいたフレー
ムについて、第１のパターンと第２のパターンにより交
互にフレーム内符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フレーム内符号化
とフレーム間符号化とを混在させて動画像を符号化する
方法に関し、特に、動画像を構成する一連のフレームに
対して所定の間隔毎にフレームの一部を強制的にフレー
ム内符号化する方法に関する。

【０００２】

【従来の技術】従来より、動画像を伝送するに際しては
伝送量を軽減させるために、ＭＰＥＧ方式やＨ．２６１
方式等といった各種方式により動画像を符号化すること
が行われている。例えば、Ｈ．２６１方式は伝送路にＩ
ＳＤＮを使用したテレビ会議を目的とした標準化符号化
方式であり、情報源符号化には時間軸方向の冗長度を減
らすフレーム間符号化とフレーム毎の空間的な冗長度を
減らすフレーム内符号化とを組み合わせた符号化方式が
採られている。

【０００３】このようなＨ．２６１方式の符号化処理を
行う装置は、例えば図５に示すような構成を有してお
り、入力された動画像データ（ビデオ入力）に対して、
フレーム間符号化（ＩＮＴＥＲモード）とフレーム内符
号化（ＩＮＴＲＡモード）とをフレーム毎に切り替えて
符号化する。ＩＮＴＲＡモードは、主に、離散コサイン
変換部（ＤＣＴ変換部）１と量子化部２とにより実行さ
れる。ここで、フレーム間符号化（すなわち、予測符号
化）は動画像を構成する各フレームについて輝度成分１
６×１６画素および２種の色差成分８×８画素のマクロ
ブロック（以下、ＭＢと略記する）毎に行われるが、Ｄ
ＣＴは８×８画素のブロック毎に行われ、ＤＣＴ変換部
１は８×８画素のブロック毎に離散コサイン変換を施
し、量子化部２はＤＣＴ変換部１でフレーム内符号化さ
れたＭＢの直流成分を除いて同一のステップサイズで直
線量子化を施す。

【０００４】一方、ＩＮＴＥＲモードは、主に、逆量子
化部３、逆ＤＣＴ変換部４、画像メモリ５および減算器
６により実行される。逆量子化部３と逆ＤＣＴ変換部４
は符号化された画像データを復号化し、画像メモリ５は
復号化された画像データ（フレーム）を次のフレームと
の分散値比較画像データとして保持し、減算器６は画像
メモリ５に保持されたフレームと次のフレームとの差分
をとってＤＣＴ変換部１へ入力する。このようなＩＮＴ
ＥＲモードとＩＮＴＲＡモードとは、符号化制御部７に
より制御されるモード切替部８、９によって切り替えら
れ、例えば、原信号と予測誤差信号の分散値を比較する
ことによりいずれかのモードが決定される。具体的に
は、例えば動画像のシーンが切り替わる時にはＩＮＴＲ
Ａモードでフレームの符号化が行われる。

【０００５】なお、１０は加算器、１１はループ内フィ
ルタであり、符号化制御器７から出力されたＩＮＴＥＲ
／ＩＮＴＲＡ識別フラグ、伝送／非伝送識別フラグ、量
子化特性、量子化部２から出力された量子化出力インデ
ックス、画像メモリ５から出力された動きベクトル、ル
ープ内フィルタ１１から出力されたフィルタＯＮ／ＯＦ
Ｆ信号は、図外の多重化部へ入力される。また、この多
重化部は符号化された画像データからＨ．２６１等の階
層構造に従ったフォーマットのパケットを生成し、各パ
ケットにＢＣＨ等の誤り訂正符号を付加する処理を行
う。また、ＤＣＴ変換部１に入力される情報源のフレー
ムデータフォーマットは、図６に示すように横３５２×
縦２８８画素サイズのＣＩＦと横１７６×縦１４４画素
サイズのＱＣＩＦとの２種類規定されており、それぞれ
１２個と３個のＧＯＢ（ＧｒｏｕｐＯｆＢｌｏｃ
ｋ）から構成されている。

【０００６】

【発明が解決しようとする課題】ここで、動画像を符号
化して無線等の低ビットレートの伝送路で伝送させる場
合、例えば、ｐ×６４Ｋｂｐｓ（ここに、ｐ＝１〜３
０）の比較的低ビットレートにも対応しているＨ．２６
１方式が採用される。このＨ．２６１方式は、伝送路に
ＩＳＤＮの使用を前提とした方式であり、伝送誤りに対
してはＢＣＨ符号をパケットに付加することにより対応
している。ここで、例えば有線伝送のように１０^-4〜１
０^-5 程度の比較的誤り発生確率が低い場合には、伝送誤
りの発生に対してＢＣＨ符号でも１０^-7〜１０^-8の改善
効率となって実用に十分耐え得ることができる。しかし
ながら、無線等の比較的伝送品質が悪い伝送路を用いる
場合にはフェージングが発生し、伝送パケットそのもの
が欠落してしまうことがある。このような欠落に対し
て、静止画像の伝送であれば画像間に時間的な概念がな
いので再送という処置が可能であるが、動画像の伝送に
ついては再送という処理は採用することができない。

【０００７】したがって、動画像の伝送においては、或
るフレームで発生した誤りはそのまま持ち越され、符号
化方式にフレーム間符号化を用いていることから、それ
以後のフレームへも誤りの影響が及んでしまっていた。
すなわち、復号化側（受信装置側）は誤りのあるフレー
ムは復号化しない処置を行い、正常なフレームを受信す
るまでは以前のフレームによって静止画像を出力する状
態となり、正常なフレームを受信したところで再び動画
像を出力することとなる。しかしながら、誤り発生後に
最初に受信した正常なフレームがＩＮＴＥＲモードのフ
レームであった場合には、ＩＮＴＥＲモードのＭＢ部分
のみが更新されて、違和感のある画像となってしまう。

【０００８】例えば、図７に示すように、１フレーム目
ａ１をＩＮＴＲＡモードのフレームとして伝送誤りなし
で復号化側で復号すると、再現性の高い画像ａ３を得る
ことができるが、２フレーム目ｂ１および３フレーム目
ｃ１で伝送誤りが発生した場合には、伝送誤りのなかっ
た１フレーム目ａ３がそのまま静止画像（ｂ３、ｃ３）
として表示されることとなる。そして、４フレーム目ｄ
１が正常に受信されたときに、２フレーム目ｂ１および
３フレーム目ｃ１の差分データが用意されていないころ
から、この４フレーム目のデータｄ２で１フレーム目の
データａ２を更新することとなり、本来得るべき画像ｄ
１とは異なる画像ｄ３が出力されることとなってしま
う。このような事情は特にＨ．２６１方式においては顕
著であり、Ｈ．２６１方式では伝送される一連のフレー
ム中にフレーム内符号化したフレームを挿入するタイミ
ングが規定されていないため、いつ本来の画像が得られ
るかが保証されない。

【０００９】本発明は上記従来の事情に鑑みなされたも
ので、符号化した動画像の伝送において伝送誤りが発生
した場合にあっても、画像の乱れの影響を短時間の内に
減少させることができる動画像の符号化方法を提供する
ことを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る動画像の符号化方法は、動画像を構成
する一連のフレームに対して、各フレームを複数のマク
ロブロックに分割し、各マクロブロックを単位として符
号化する動画像の符号化方法において、前記一連のフレ
ーム中の所定の間隔をおいたフレームについては、当該
フレームの一部を構成するマクロブロックを強制的にフ
レーム内符号化する。すなわち、動画像を構成する一連
のフレーム中の所定の周期のフレームについて、当該フ
レームの一部を構成するマクロブロックを強制的にフレ
ーム内符号化する。これにより、伝送誤りが或るフレー
ムで発生した場合にあっても、当該フレームによって伝
送誤りの影響がない部分を得ることが保証される。そし
て、このようにフレーム内符号化したフレームを以後の
周期でも繰り返し伝送することにより、同様にして伝送
誤りの影響が徐々に減少し、時間経過に伴って本来の動
画像が得られることとなる。

【００１１】また、本発明に係る動画像の符号化方法で
は、フレームの前半部を構成するマクロブロックについ
て強制的にフレーム内符号化する第１のパターンと、フ
レームの後半部を構成するマクロブロックについて強制
的にフレーム内符号化する第２のパターンと、を設定
し、前記一連のフレーム中の所定の間隔をおいたフレー
ムについて、第１のパターンと第２のパターンにより交
互にフレーム内符号化する。すなわち、フレーム内符号
化した部分の配置が対照的な２種類のパターンを交互に
用いることにより、所定の周期で繰り返し伝送される部
分的にフレーム内符号化したフレームによって、伝送誤
りの影響が効率的に減少し、時間経過に伴って本来の動
画像が得られることとなる。

【００１２】

【発明の実施の形態】本発明の一実施例に係る動画像の
符号化方法を図面を参照して説明する。本実施例の方法
は図５に示したものと同様な構成を有する符号化処理装
置によって実施され、本実施例の符号化処理装置におい
ては、ＩＮＴＥＲ／ＩＮＴＲＡモード識別機能を有する
符号化制御部７に図１に示す構成のＩＮＴＥＲ／ＩＮＴ
ＲＡモード管理部１５が付加されている。なお、図１中
には、ＤＣＴ変換部１と量子化部２とをまとめて、情報
源符号部１６として示してある。

【００１３】ＩＮＴＥＲ／ＩＮＴＲＡモード管理部１５
には、時間を計測するタイマ１７と、タイマ１７による
計時に基づいてＩＮＴＲＡモードのタイミングを検知す
るＩＮＴＲＡモードフレーム起動処理部１８と、起動処
理部１８によって起動されてフレームの一部を構成する
マクロブロックを強制的にフレーム内符号化するための
強制ＩＮＴＲＡフラグをＯＮさせるＩＮＴＲＡフレーム
強制挿入フラグ部１９と、マクロブロックをフレーム内
符号化するためのＩＮＴＲＡ実行フラグをＯＮさせるＩ
ＮＴＲＡモードフレームフラグ部２０と、強制ＩＮＴＲ
ＡフラグとＩＮＴＲＡ実行フラグとに基づいてＩＮＴＲ
Ａモード識別フラグを通常の識別信号に合成して多重化
部へ出力するＩＮＴＲＡモードフレーム作成部２１と、
が備えられている。本実施例の符号化方法は上記構成の
装置により、図２および図３に示す手順に従って実施さ
れるが、まず、本実施例で実施される符号化方法の概要
を図４を参照して説明する。

【００１４】本実施例では１フレームが１２個のＧＯＢ
から構成されたＣＩＦ画像を例にしており、”パターン
１”と”パターン２”との２種類のパターンでフレーム
の２／３を構成するマクロブロックを強制的にフレーム
内符号化する。すなわち、”パターン１”では、１フレ
ーム内の１２個のＧＯＢに対して１〜８のＧＯＢ（すな
わち、全ＧＯＢの８／１２）をフレーム内符号化したＭ
Ｂ（ＩＮＴＲＡＭＢ）で構成し、残りのＧＯＢをＩＮ
ＴＥＲ／ＩＮＴＲＡ識別フラグに従って符号化したＭＢ
で構成する。また、”パターン２”では、１フレーム内
の１２個のＧＯＢに対して５〜１２のＧＯＢ（すなわ
ち、全ＧＯＢの８／１２）をフレーム内符号化したＭＢ
（ＩＮＴＲＡＭＢ）で構成し、残りのＧＯＢをＩＮＴ
ＥＲ／ＩＮＴＲＡ識別フラグに従って符号化したＭＢで
構成する。

【００１５】また、本実施例では、動画像を構成してい
る一連のフレームに対して、３フレーム毎に１フレーム
づつ”パターン１”と”パターン２”により交互に符号
化する。すなわち、図４に示すように、１フレーム目
は”パターン１”、４フレーム目は”パターン２”、７
フレーム目は”パターン１”、１０フレーム目は”パタ
ーン２”というように、所定の間隔をもったフレームに
対して”パターン１”または”パターン２”によりフレ
ームの一部を強制的にフレーム内符号化したＭＢにより
構成する。なお、他のフレームについてはＩＮＴＥＲ／
ＩＮＴＲＡ識別フラグに従って符号化したＭＢで構成す
る。

【００１６】そして、このように符号化した一連のフレ
ームの伝送において、例えば図４に示すように２フレー
ム目に誤りが生じた場合には、受信装置（符号化側）で
は１フレーム目を再表示して、３フレーム目を誤りなく
受信したところで３フレーム目以降の復号表示を行う。
ここで、２フレーム目が存在しないことからフレーム間
の相関が欠落し、この３フレーム目は伝送誤りの影響が
大きい画像となる。しかしながら、この直後に受信する
４フレーム目はフレーム内の２／３の領域がフレーム内
符号化されてフレーク間相関の影響が低減されているた
め、３フレーム目に基づく画像の乱れは即座に低減され
る。また、この４フレーム目によって伝送誤りの影響が
低減されることから、フレーム間相関を有した５フレー
ム目以降の画像も乱れが低減されることとなる。

【００１７】そして、その後に受信する７フレーム目は
フレーム内の２／３の領域がフレーム内符号化されてフ
レーク間相関の影響が低減されているため、７フレーム
目に基づく画像の乱れは更に低減される。また、４フレ
ーム目と７フレーム目とは対照的なパターンによりフレ
ーム内符号化されているため、伝送誤りが強く影響する
領域を互いに打ち消し合い、画像の乱れを効率的に低減
できる。ここで、フレーム内符号化を行えば行うほど伝
送するデータ量が増大することとなるが、本発明では間
欠的なフレームに対してその一部を強制的にフレーム内
符号化しているため、伝送データ量の増大を低減するこ
とができる。

【００１８】次に、上記のような”パターン１”と”パ
ターン２”によって間欠的にフレームをＩＮＴＲＡＢ
Ｍで強制的に符号化する処理を図２および図３を参照し
て説明する。この強制処理はタイマ１７の計時に基づい
て例えば０．１秒毎の周期で強制的に起動され、まず、
強制ＩＮＴＲＡフラグがＯＮされるとともに（ステップ
Ｓ１）、フレーム番号をカウントする強制ＩＮＴＲＡカ
ウンタが１つ更新される。すなわち、所定の周期で強制
ＩＮＴＲＡフラグをＯＮすることにより、通常行われて
いる符号化制御処理に割り込んで、図４に示したように
所定間隔毎のフレームを”パターン１”または”パター
ン２”で符号化する処理を実行させる。

【００１９】符号化制御処理では、現在処理を実行中の
ＢＭがフレーム内の最後のＢＭであるかを判断し（ステ
ップＳ１１）、最後のＢＭである場合には、ＩＮＴＲＡ
モードでの処理が不要であるので、ＩＮＴＲＡ実行フラ
グをＯＦＦにする（ステップＳ１２）。次いで、現在処
理を実行中のＢＭがフレーム内の最初のＢＭであるかを
判断し（ステップＳ１３）、最初のＢＭである場合に
は、強制ＩＮＴＲＡがＯＮされているかを判断する（ス
テップＳ１４）。この結果、上記の割込処理によって強
制ＩＮＴＲＡがＯＮされいる場合には、ＩＮＴＲＡ実行
フラグがＯＮされているかを確認する（ステップＳ１
５）。なお、これら両フラグがＯＮされていない場合に
は、ＩＮＴＥＲ／ＩＮＴＲＡ識別フラグに従った通常の
符号化処理を行う（ステップＳ１６）。

【００２０】そして、上記の両フラグがＯＮされている
場合には、強制ＩＮＴＲＡフラグをＯＦＦさせるととも
にＩＮＴＲＡ実行フラグをＯＮさせた後（ステップＳ１
７、Ｓ１８）、”パターン１”または”パターン２”に
よってフレームを符号化する処理を行う。すなわち、上
記の割込処理によって更新した強制ＩＮＴＲＡカウンタ
の下位１ビットがＯＮかＯＦＦかを判定して（ステップ
Ｓ１９）、対象としているフレームが偶数番目か奇数番
目かを判断する。

【００２１】この結果、下位１ビットがＯＦＦで奇数番
目のフレーム（すなわち、図４において１フレーム目、
７フレーム目、・・・）である場合には、対象としてい
るＭＢが１〜８番目のＧＯＢに含まれているＢＭかを判
断し（ステップＳ２０）、このようなＢＭであるときに
は”パターン１”の符号化を行うために、ＩＮＴＲＡモ
ードの符号化を強制的に実行して当該ＢＭをフレーム内
符号化する（ステップＳ２２）。一方、下位１ビットが
ＯＮで偶数番目のフレーム（すなわち、図４において４
フレーム目、１０フレーム目、・・・）である場合に
は、対象としているＭＢが５〜１２番目のＧＯＢに含ま
れているＢＭかを判断し（ステップＳ２１）、このよう
なＢＭであるときには”パターン２”の符号化を行うた
めに、ＩＮＴＲＡモードの符号化を強制的に実行して当
該ＢＭをフレーム内符号化する（ステップＳ２２）。

【００２２】一方、奇数番目のフレームにおいて１〜８
番目のＧＯＢに含まれないＢＭ、および、偶数番目のフ
レームにおいて５〜１２番目のＧＯＢに含まれないＢＭ
については、ＩＮＴＥＲ／ＩＮＴＲＡ識別フラグに従っ
た通常の符号化処理を行う（ステップＳ１６）。このよ
うな符号化制御処理によって、動画像を成す一連のフレ
ーム中の１フレーム目、７フレーム目・・・は”パター
ン１”で符号化され、４フレーム目、１０フレーム目・
・・は”パターン２”で符号化される。

【００２３】なお、上記の実施例では”パターン１”
と”パターン２”との２種類のパターンを用いた例を示
したが、本発明では２種類以上のパターンで強制ＩＮＴ
ＲＡモードを実施するようにしてもよい。また、本発明
においては１種類のパターンで強制ＩＮＴＲＡモードを
実施してもよく、この場合にあっても或る程度は伝送誤
りの影響を低減することができる。また、上記の実施例
ではフレームの２／３の領域を強制ＩＮＴＲＡモードで
符号化したが、本発明ではこれに限定することなくフレ
ームの一部の領域を強制ＩＮＴＲＡモードで符号化すれ
ばよい。また、上記の実施例では３フレームに１つの割
合で強制ＩＮＴＲＡモードを実施するようにしたが、こ
の周期は必要に応じて任意に設定し得るものである。

【００２４】

【発明の効果】以上説明したように、本発明に係る動画
像の符号化方法によると、一連のフレーム中の所定の間
隔をおいたフレームについて当該フレームの一部を構成
するマクロブロックを強制的にフレーム内符号化するよ
うにしたため、フレーム内符号化に伴う伝送データの増
加を抑えつつ、伝送誤りに基づく画像の乱れの影響を短
時間の内に減少させることができる。また、本発明に係
る動画像の符号化方法によると、フレーム内符号化した
領域の配置が対照的な２種類のパターンを交互に用いる
ようにしたため、上記の効果に加えて、伝送誤りに基づ
く画像の乱れの影響をより短時間の内に効果的に減少さ
せることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る符号化方法を実施する
装置の要部を示す構成図である。

【図２】本発明の一実施例に係る割込処理の手順を示す
フローチャートである。

【図３】本発明の一実施例に係る符号化制御処理の手順
を示すフローチャートである。

【図４】本発明の一実施例に係る符号化処理を説明する
概念図である。

【図５】符号化方法を実施する装置の要部を示す構成図
である。

【図６】フレーム構成を説明する概念図である。

【図７】伝送誤りの影響を説明する概念図である。

【符号の説明】

１・・・ＤＣＴ変換部、２・・・量子化部、７・・
・符号化制御部、１７・・・タイマ、１８・・・ＩＮ
ＴＲＡモードフレーム起動処理部、１９・・・ＩＮＴＲ
Ａフレーム強制挿入フラグ部、２１・・・ＩＮＴＲＡモ
ードフレーム作成部、

Claims

【特許請求の範囲】

【請求項１】動画像を構成する一連のフレームに対し
て、各フレームを複数のマクロブロックに分割し、各マ
クロブロックを単位として符号化する動画像の符号化方
法において、前記一連のフレーム中の所定の間隔をおいたフレームに
ついては、当該フレームの一部を構成するマクロブロッ
クを強制的にフレーム内符号化することを特徴とする動
画像の符号化方法。
【請求項２】請求項１に記載の動画像の符号化方法に
おいて、フレームの前半部を構成するマクロブロックについて強
制的にフレーム内符号化する第１のパターンと、フレー
ムの後半部を構成するマクロブロックについて強制的に
フレーム内符号化する第２のパターンと、を設定し、前記一連のフレーム中の所定の間隔をおいたフレームに
ついて、第１のパターンと第２のパターンにより交互に
フレーム内符号化することを特徴とする動画像の符号化
方法。