JP3197868B2 - 画像符号化方法、イントラ符号化制御方法及びデータ記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビ電話、テレ
ビ会議などに利用して、特にイントラ符号化を用いた画
像回復を行うためのディジタル動画像信号の画像符号化
方法、イントラ符号化制御方法及びデータ記録媒体に関
するものである。

【０００２】

【従来の技術】従来のディジタル動画像信号の符号化方
法としては、１９９３年３月に勧告されたITU-T Recomm
endation H.261があげられる。

【０００３】H.261は、次に説明する三つの要素技術か
らなる符号化方式である。

【０００４】まず第一は、動き補償予測方式である。入
力画像ピクチャと前符号化ピクチャとを比較し、その間
の動き量を測定（動き検出）する。その動き量と前符号
化ピクチャとから入力画像ピクチャを予測する。この予
測された画像（予測画像）と入力画像ピクチャの差分
（予測誤差信号）を算出し、その予測誤差信号と前述の
動き量を受信側に伝送することにより、少ないデータ量
で画像情報を伝送する。

【０００５】第二は、離散コサイン変換である。前述の
予測誤差信号を周波数領域へ変換する。予測誤差信号
は、周波数領域に変換されると、ある特定の周波数領域
（低周波領域）にパワーが集中する特徴がある。この特
徴を活かし、次に述べる第三の方式と組み合わせること
により、さらに少ないデータ量で画像情報を伝送でき
る。

【０００６】第三は、可変長符号化方式である。これ
は、ある特定の周波数にパワーが偏よることを利用し、
出現頻度の高い周波数の係数は短い符号長、出現頻度の
低い周波数の係数は長い符号長で表現することにより、
平均符号長を短くする方式である。これを用いることに
より、少ないデータ量で画像情報を伝送できる。

【０００７】前記三つの要素技術は、画像ピクチャ全体
に適用するのではなく、ピクチャを16＊16画素のブロッ
ク（マクロブロック）に分割したマクロブロック毎に適
用する。

【０００８】また、伝送誤りによる画質劣化を抑制する
為の技術として、以下の２つの要素技術がある。

【０００９】第一は、サイクリック・リフレッシュ・イ
ントラ符号化である。これは、図８に示すように、１ピ
クチャ内の複数のマクロブロックに対して、前記の予測
符号化を用いないイントラ符号化を行うものである。イ
ントラ符号化は、前ピクチャを用いた予測誤差を符号化
する方法ではなく、現マクロブロックの画素の値をその
まま離散コサイン変換し、可変長符号化する方式であ
る。よって、前ピクチャにおいて伝送誤りが発生し、画
質劣化が発生しても、このイントラ符号化されたマクロ
グロックが伝送されると伝送誤りの伝搬を防ぐことがで
きる。サイクリック・リフレッシュ・イントラ符号化
は、１ピクチャに含まれるマクロブロックの内、複数の
マクロブロックを周期的にイントラ符号化することによ
り、画質劣化を防ぐ技術である。

【００１０】第二は、グループ・オブ・ブロック（ＧＯ
Ｂ）である。これは、複数のマクロブロックの符号化デ
ータを、１つの同期単位として伝送する方式である。H.
261を例として説明する。入力画像のフォーマットとし
て、QCIF（クオーター・コモン・インプット・フォーマ
ット）を用いる。QCIFにおいて、輝度信号は176×144画
素、色差信号は88×72画素であり、横11個×縦9個のマ
クロブロックに分割される。

【００１１】GOBは、水平に連続する11個のマクロブロ
ックを１つの同期単位とし、この先頭に同期語とヘッダ
を付加したものである（図９参照）。このように複数の
マクロブロックを１つの同期単位として構成することに
より、伝送誤りが発生した場合においても、伝送誤りの
影響をこのGOBに抑えることができ、他のGOBに波及しな
くなる。

【００１２】

【発明が解決しようとする課題】従来のサイクリック・
リフレッシュ方式において、１ピクチャ内に符号化され
るマクロブロックの数をＭ個、１ピクチャに含まれるマ
クロブロックの数をＮ個とする。１ピクチャ全体がリフ
レッシュされるまで、Ｎ／Ｍピクチャかかることにな
る。よって、一度画面内に伝送誤りの影響が出ると、リ
フレッシュされるまでの時間がかかり、画質劣化を生じ
た部分が、長い時間画面に表示されてしまうという課題
を有する。

【００１３】また、予測符号化方式を用いているので、
動きのある部分では、画質劣化を生じた部分が時間の経
過と共に空間的に広がってしまう。

【００１４】画質劣化した部分を短時間で回復させる為
に、画面内の重要な領域に含まれるマクロブロックかど
うかを判定し、重要と判定されたマクロブロックのみイ
ントラ符号化する方式がある。このような方式におい
て、時間と共に重要な領域が移動する場合を考えてみ
る。図１０において、上段は符号化されたピクチャ、下
段は受信側において復号されたピクチャである。網掛け
部分は重要領域と判定され、イントラ符号化された部分
である。図１０下段の第１ピクチャにおいて、イントラ
符号化されたマクロブロックの内、黒く塗られた部分
は、伝送誤りにより画質が劣化したことを示す。第２ピ
クチャにおいて重要な領域が右下に移動した場合、画質
劣化した部分はリフレッシュされずに残留してしまう。
この部分は、再び重要領域と判定されるまで残留しつづ
けるという課題を有する。

【００１５】本発明は、このように重要領域の画質劣化
を短時間で回復させ、かつ過去に重要領域であった部分
の画質劣化を残留させないことを目的とする。

【００１６】

【課題を解決するための手段】前記課題を解決するため
に、本発明においては、過去の重要であった領域のみを
リフレッシュの対象とし、その領域に含まれるマクロブ
ロックを２回数以上イントラ符号化させることができる
ように構成したものである。

【００１７】この発明によれば、重要領域の画質劣化を
短時間で回復させ、かつ過去に重要領域であった部分の
画質劣化を残留させないようにすることが可能となる。

【００１８】

【発明の実施の形態】（実施の形態１） 以下、本発明の実施の形態について、図１から図２を用
いて説明する。

【００１９】図１は、本発明に係る実施の形態の構成を
示している。まず、各部の説明を行う。図１において、
101はラスタ・マクロブロック変換であり、102は動き検
出部であり、103はフレームメモリであり、前ピクチャ
の再生画像が記憶されている。104はメモリ制御部であ
り、105は重要領域判定部であり、106は重要領域メモリ
であり、各マクロブロックがイントラ符号化されるべき
回数が記憶されており、０は非重要領域を示す。107はI
NTER/INTRA制御部であり、108は減算器であり、109は離
散コサイン変換部(DCT)であり、110は量子化部であり、
111はDCT係数の可変長符号化部であり、112は逆量子化
であり、113は逆離散コサイン変換であり、114は加算器
であり、115は動きベクトルの可変長符号化部であり、1
16はDCT係数と動きベクトルの多重化部である。

【００２０】１２０はマクロブロックデータであり、１
２１は現マクロブロックと前ピクチャと同じ位置にある
マクロブロックとの差分値和であり、１２２は動きベク
トルであり、１２３は重要領域かどうかとイントラ符号
化された回数を示す値である。次に各部の動作を詳細に
説明する。

【００２１】入力画像は、ラスタマクロブロック変換部
101において、16*16画素サイズのブロック（輝度信号）
と8*8画素サイズのブロック（色差信号）に分割されて
出力される。次に動き検出部102において、マクロブロ
ックデータ120と、フレームメモリ103内の前ピクチャと
を比較し現マクロブロックの動きベクトル122を出力す
る。また、現マクロブロックデータ120と前ピクチャの
同位置のマクロブロックとの差分値の和121を算出す
る。

【００２２】次に重要領域メモリ106より、現マクロブ
ロックが重要領域かどうか、またイントラ符号化される
べき回数を示す重要領域判定結果123を読み出す。ここ
で、現マクロブロックが重要領域に含まれないのであれ
ば、INTER/INTRA判定部107において、スイッチをフレー
ムメモリ側に切り替え、動きベクトル分だけ補正した予
測画像を減算器108へ入力する。重要領域であれば、ス
イッチを"0"側に切り替え、画素値ゼロを減算器108へ入
力し、重要領域メモリ106内の現マクロブロックのイン
トラ符号化されるべき回数を１減らす。この値が０にな
れば、このマクロブロックは非重要領域とみなされ、０
以外であれば、重要領域とみなされ、その値に示される
回数だけイントラ符号化される。

【００２３】重要領域判定部105では、差分値121と予め
定められた閾値とを比較し、この値より大きい場合は、
現マクロブロックを重要領域と判定する。重要領域と判
定された場合は、重要領域メモリ106内の現マクロブロ
ックの内容を更新する。重要領域に含まれるマクロブロ
ックがイントラ符号化されるべき回数を３回と仮定する
と、重要領域メモリ106内の現マクロブロックの内容
は、３とされる。

【００２４】減算器108において、現マクロブロック120
と予測画像（イントラ符号化と判断された場合はゼロ）
との差分が算出される。離散コサイン変換部109でDCT係
数に変換され、量子化部110で量子化される。量子化さ
れた係数は、可変長符号化部111で可変長符号に符号化
される。また、量子化係数は逆量子化部112で逆量子化
されて、DCT係数となり、逆離散コサイン変換部113で差
分値となる。加算器114において、この差分値を予測画
像（イントラ符号化と判断された場合はゼロ）とを加算
して現ピクチャの画像を再生し、フレームメモリ103に
記憶させる。動きベクトル122は、可変長符号化部115に
おいて可変長符号化され、DCT係数の可変長符号ととも
に多重化部116で多重化し、出力される。

【００２５】重要領域メモリ106の更新に関して、より
詳細な説明を図２を用いて行う。図２において、上段の
図は、各ピクチャにおける重要領域メモリの内容であ
る。中段の図は、上段の各ピクチャに対応しており、重
要であると判定された領域を示している。下段の図も同
様に上段の各ピクチャに対応しており、重要領域判定後
に更新された重要領域メモリの内容である。

【００２６】重要領域メモリの内容は、各マクロブロッ
ク単位で、そのマクロブロックが重要領域に含まれてい
るのかどうかを示している。それは、数値で示されてお
り、０が非重要領域であることを示し、０以外が重要領
域であることを示す。０以外の数値は、そのマクロブロ
ックがあと何回イントラ符号化されるべきなのかを示し
ている。このように、重要・非重要領域かどうかを示す
フラグと、イントラ符号化されるべき回数を１つのメモ
リで表現している。

【００２７】図２を用いて、順を追って説明する。１ピ
クチャにイントラ符号化されるマクロブロックの数を２
個と仮定する。

【００２８】重要領域メモリの内容は、まだ更新されて
いない(b)ので、イントラ符号化されるべきマクロブロ
ックはない。第１ピクチャにおいて、重要領域が(b)の
ように判定されたとする。その後、第１ピクチャの重要
領域が重要領域メモリに反映される(c)。重要領域に含
まれるマクロブロックは、３回イントラ符号化されると
仮定した場合、その領域には３という値が書き込まれ
る。

【００２９】第２ピクチャにおいて、重要領域メモリの
内容(d)に従って、２つのマクロブロックをイントラ符
号化し（網掛けのマクロブロック）、そのマクロブロッ
クの重要領域メモリ内の値を１減じる。イントラ符号化
されたマクロブロックに対応するメモリ内の値は２とな
り、このマクロブロックは重要領域として記憶され、後
２回イントラ符号化される。

【００３０】次に第２ピクチャにおける重要領域が(d)
のように判定されたとする。第２ピクチャの重要領域を
重要領域メモリに反映させる(f)。これを第３、４、５・
・・と続けてゆく。

【００３１】このように重要領域メモリの内容を毎ピク
チャ毎に更新し、その領域内のマクロブロックを順次イ
ントラ符号化してゆく。

【００３２】なお、以上の説明では、重要領域の判定
に、現マクロブロックと前ピクチャの同位置のマクロブ
ロックとの差分値和を用いたが、本発明は、重要領域の
判定方法を限定するものではない。

【００３３】また、重要領域内のマクロブロックをイン
トラ符号化する順序を、水平方向に連続するように行っ
ているが、本発明は、イントラ符号化する順序を限定す
る物ではない。

【００３４】また、１ピクチャにイントラ符号化する数
と重要領域に含まれるマクロブロックがイントラ符号化
される回数も任意に設定することが可能なことは容易に
類推することができる。

【００３５】また、本発明は、ソフトウエアにより実現
することも可能であり、このソフトウエアを収めた記録
媒体から読み出して本発明を実現することも可能であ
る。また、本発明により符号化されたデータを復号でき
るデコーダは、伝送中に発生したエラーにより画質劣化
が生じた場合でも、重要な領域の画質の回復が早く、見
やすい画像を提供することが可能である。

【００３６】また、本発明によるエンコーダとデコーダ
を兼ね備えるコーデックを、送信側と受信側の双方で使
用すれば、実時間の双方向画像通信が可能となる。

【００３７】また、本発明は、伝送中にエラーが発生し
やすい無線伝送において有効であり、図１２に示すよう
な無線画像通信端末装置では、特にその効果を発揮す
る。図１２において、1201は受信部、1202はカメラ部、
1203はモニタ部、1204はスピーカ、1205は制御部、1206
は送話口である。カメラ部1202より撮像された画像は、
内部の前記画像符号化装置で符号化される。送話口1206
より送信者の音声を取り込み、符号化し、映像信号と多
重して送信される。また、対局からの無線信号を受信部
1201で受信し、映像信号と音声信号を分離される。映像
信号は、内部の前記画像復号装置で復号され、モニタ部
1203に表示される。対局からの音声信号も同様に復号さ
れ、スピーカ1204から出力される。

【００３８】本実施形態は、無線携帯端末であるが、コ
ンピュータに無線送受信装置を接続した形態でも実現が
可能である。

【００３９】（実施の形態２） 以下、本発明の実施の形態について、図３〜図５を用い
て説明する。

【００４０】図３は、本発明に係る実施の形態の構成を
示している。まず、各部の説明を行う。図３における構
成要素の内、図１に示すものと同じものについては、同
じ番号を付して説明を省略する。

【００４１】図３において、301はINTER/INTRA制御部、
302は同期語発生部である。310は、現マクロブロックの
マクロブロック番号であり、311は１ピクチャにイント
ラ符号化するマクロブロックの数（これをＭとする）で
あり、312は１ピクチャの中に含まれるマクロブロック
の数（これをＮとする）である。

【００４２】次に各部の動作を詳細に説明する。

【００４３】ラスタ・マクロブロック変換部101では、入
力画像をマクロブロックに分割すると共に、現マクロブ
ロックの番号310を出力する。マクロブロック番号は、
左上のマクロブロックを１とし、水平方向に２・３・４
・・・と増加する。右端までいったら、一段下の左端か
ら継続してカウントする（図４）。

【００４４】INTER/INTRA判定部301では、マクロブロッ
ク番号310とＮとＭの値から、現マクロブロックがINTRA
符号化されるべきかどうかを判定する。Ｍを５、Ｎを９
９と仮定する。

【００４５】５つのイントラ符号化されるマクロブロッ
ク番号（M1,M2,M3,M4,M5）を決定する。まず、M1〜M5の
初期値を決定する。GOBは、水平に連続する11個のマク
ロブロックを１つの同期単位としているので、５つのイ
ントラ符号化されるマクロブロックは、これとは異なる
順番で決定する。

【００４６】イントラ符号化されるマクロブロックが異
なる同期単位に含まれるようにする為に、水平方向にで
きるだけ長い間隔を開けた位置のマクロブロックがイン
トラ符号化されるようにする。すなわちイントラ符号化
されるべき番号の初期値を以下の通りとする。

【００４７】 M1 = １ M2 = Ｎ／Ｍ＊１ = 99 / 5 * 1 = 19 M3 = Ｎ／Ｍ＊２ = 99 / 5 * 2 = 39 M4 = Ｎ／Ｍ＊３ = 99 / 5 * 3 = 59 M5 = Ｎ／Ｍ＊４ = 99 / 5 * 4 = 79 この値を初期値とし、ピクチャ毎に１ずつインクリメン
トし、Ｎの値を越えたら１にセットする。イントラ符号
化されるマクロブロックの順序は、図５に示すようにな
る。

【００４８】入力されたマクロブロック番号310がM1〜M
5のどれかひとつと等しかった場合、イントラ符号化す
るものとし、スイッチを"0"側に切り替える。どれにも
等しくない場合は、通常のINTER符号化するものとし、
スイッチを予測画像出力側に切り替える。

【００４９】同期語発生部302では、11マクロブロック
ごとに同期語および該当同期単位に関するヘッダ情報を
出力し、多重化部116において、可変長符号化されたDCT
係数や動きベクトル情報とともに多重化されて出力され
る。

【００５０】なお、この方式では、式１に示す順序でイ
ントラ符号化するマクロブロックを決定したが、図６に
示すような順番を用いて、図７に示すような方法で決定
しても、異なる同期単位にイントラ符号化するマクロブ
ロックを配置させることができる。

【００５１】また、本発明は、ソフトウエアにより実現
することも可能であり、このソフトウエアを収めた記録
媒体から読み出して本発明を実現することも可能であ
る。また、本発明により符号化されたデータを復号でき
るデコーダは、伝送中に発生したエラーにより画質劣化
が生じた場合でも、イントラ符号化されたマクロブロッ
クが欠落する数を減少させることが可能となり、見やす
い画像を提供することが可能である。

【００５２】また、本発明によるエンコーダとデコーダ
を兼ね備えるコーデックを、送信側と受信側の双方で使
用すれば、実時間の双方向画像通信が可能となる。ま
た、本発明は、伝送中にエラーが発生しやすい無線伝送
において有効であり、図１２に示すような無線画像通信
端末装置では、特にその効果を発揮する。また、本実施
形態は、無線携帯端末であるが、コンピュータに無線送
受信装置を接続した形態でも実現が可能である。

【００５３】

【発明の効果】以上のように本発明によれば、ピクチャ
内の重要部分の画質劣化を短時間で回復させることがで
き、また、過去に重要領域であった部分の画質劣化が残
留することもなくなる。よって、伝送誤りの発生する伝
送路を用いた画像伝送を行っても、見易い画像を提供す
ることが可能となる。

【００５４】また、本発明によれば、イントラ符号化さ
れたマクロブロックは、異なる同期単位に配置されて伝
送される。よって、伝送誤りによって伝送した同期単位
が失われても、全てのイントラマクロブロックが失われ
る訳ではないので、画質劣化した部分の回復が早くな
り、見易い画像を提供することが可能となる

【図面の簡単な説明】

【図１】本発明に係る一の実施の形態の構成を示した図

【図２】重要領域メモリが更新される様子を示した図

【図３】本発明に係る他の実施の形態の構成を示した図

【図４】マクロブロック番号の順番を示した図

【図５】本発明におけるイントラ符号化されるマクロブ
ロックの配置の一例を示した図

【図６】イントラ符号化するマクロブロックを決定する
為のマクロブロック番号の順番

【図７】本発明におけるイントラ符号化されるマクロブ
ロックの配置の別の例を示した図

【図８】従来のサイクリックリフレッシュ方式における
イントラマクロブロックの配置

【図９】GOBの構成図

【図１０】従来の重要領域をイントラ符号化する時の課
題を示した図

【図１１】ＧＯＢに含まれるイントラ符号化されたマク
ロブロックの位置を示した図

【図１２】無線画像通信端末の例を示した図

【符号の説明】

101 ラスタ・マクロブロック変換部 102 動き検出部 103 フレームメモリ 104 メモリ制御部 105 重要領域判定部 106 重要領域メモリ 107 INTER/INTRA判定部 108 減算器 109 離散コサイン変換部 110 量子化部 111 可変長符号化部 112 逆量子化部 113 逆離散コサイン変換部 114 加算器 115 可変長符号化部 116 多重化部 120 マクロブロックデータ 121 差分値和 122 動きベクトル 123 重要領域判定結果 301 INTER/INTRA判定部 302 同期語発生部 310 マクロブロック番号 311 １ピクチャ内のイントラ符号化されるマクロブロ
ックの数 312 １ピクチャ内のマクロブロックの数 1201 受信部 1202 カメラ部 1203 モニタ部 1204 スピーカ 1205 制御部 1206 送話口

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力ディジタル動画像信号をブロックに
   分割し、前記分割されたブロックを符号化の単位とし、
   過去の１枚以上のピクチャにおける動きのある領域をブ
   ロック単位で記憶し、前記領域に含まれるブロックをブ
   ロックごとに設定された回数イントラ符号化するように
   制御するもので、前記回数を２回以上に設定することが
   できることを特徴とする画像符号化方法。
2. 【請求項２】 現ピクチャにおいて動きのある領域に含
   まれないと判断され、過去のピクチャにおいて動きのあ
   る領域に含まれると判断されたブロックは、ブロックご
   とに設定された回数イントラ符号化されるまでは動きの
   ある領域として記憶するように制御するもので、前記回
   数を２回以上に設定することができることを特徴とした
   請求項１記載の画像符号化方法。
3. 【請求項３】 入力されたピクチャに含まれるブロック
   が、動きのある領域に含まれているかどうかを判定する
   動き領域判定ステップと、動きのある領域に含まれるか
   どうかブロック単位で記憶するステップと、前記記録さ
   れた動きのある領域内に含まれるブロックがブロックご
   とに設定された回数イントラ符号化されるようにするス
   テップとにより、前記回数を２回以上に設定することが
   できることを特徴とするイントラ符号化画像符号化方
   法。
4. 【請求項４】 入力ディジタル動画像信号をブロックに
   分割し、前記分割されたブロックを符号化の単位とし、
   過去の１枚以上のピクチャにおける動きのある領域をブ
   ロック単位で記録し、前記記録された動きのある領域に
   含まれるブロックをブロックごとに設定された回数イン
   トラ符号化するように制御し、前記回数を２回以上に設
   定することができるソフトウエアを記録するデータ記録
   媒体。