JPH07184208A - 動画像符号化装置及び復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 符号化効率の高い動画像符号化装置及び復号
化装置を提供すること。 【構成】 入力画像中の動き情報を出力する動き解析手
段２と、前記動き情報と再構成画像とから予測画像を生
成する動き補償手段３と、入力画像と予測画像との差分
画像を求める手段４と、前記動き情報と再構成画像及び
予測画像から得られる情報に基づき各画素の配置を決定
する画素配置決定手段５と、前記画素配置情報に基づき
前記差分画像の各画素を再配置する画素再配置手段６
と、前記再配置後に得られた画像を符号化して画像符号
化情報を形成する画像符号化手段７と、画像符号化情報
と動き情報とから画像を再構成する再構成手段８とを有
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像信号に対し効率良
く符号化及び復号化を行う動画像符号化装置及び復号化
装置に関する。

【０００２】

【従来の技術】動画像の高能率符号化技術は、無線テレ
ビ電話のように使用可能帯域が非常に狭く制限されると
予測される状況下で画像を伝送したい、あるいは例えば
アナログ回線のような比較的帯域の狭い通信路を用いて
高画像の画像を伝送したい、また、記録媒体に今よりも
っと長時間の画像を蓄積したい等の要求応えるために開
発がなされている。

【０００３】図８に従来の動画像符号化装置のブロック
図を示す。入力された画像信号は、複数のブロックに分
割され、ブロック毎に前フレームの画像に対する動きを
示す動きベクトルが検出される。この動きベクトルによ
り前フレームの画像の動き補償を行い、入力画像との差
分をとる。この差分信号をＤＣＴ（離散コサイン変換）
し、量子化し、可変長符号化して出力する。

【０００４】つまり従来の画像符号化方式では、動き補
償により得られた予測画像と入力画像との差分画像信号
に対して直接ＤＣＴを行っていた。ＤＣＴは直交変換の
一種であり、各ブロックにおける変換係数の電力分布が
低周波領域に集中することを利用して情報量の削減を図
るために用いる手法である。しかしながら、一般に、入
力画像と予測画像との差分画像の信号電力分布は、多く
のブロックに拡散した状態で現れる。このため、差分画
像にＤＣＴを適用しても各ブロックにおける電力分布は
高周波領域に拡散し情報量削減の効果が薄かった。

【０００５】図９はこのＣＤＴによる変換係数の電力分
布を示す図である。図９（ａ）に示すようにブロック単
位の差分画像信号に対してＤＣＴを行うと、ブロックの
左上部には低周波成分（画像内の単調な成分）が集中
し、ブロックの右下部には高周波成分（画像内のエッジ
等の変化成分）が現われる。ここで画像内の殆どの画素
成分は低周波成分として集中し、高周波成分は少ないこ
とが知られている。しかしながら、１フレーム内の各ブ
ロック毎にＤＣＴ変換を行うと、図９（ｂ）に示すよう
に各ブロック毎に低周波成分と高周波成分が夫々混在し
た状態が現われる。つまり１フレーム単位で観ると低周
波成分と高周波成分が各ブロックに拡散しているため、
情報量削減の点で効率が悪い。

【０００６】

【発明が解決しようとする課題】以上述べた様に従来の
画像符号化装置では１フレーム分の差分画像信号に対し
てそのままブロック単位でＤＣＴを行っているため、各
ブロック内で周波数成分が拡散し、情報量削減の点で効
率が悪いという欠点が有った。

【０００７】そこで本発明の目的は、１フレーム分の差
分画像信号に対して効率良くＤＣＴを行うことにより情
報量削減が達成できる動画像符号化装置及び復号化装置
を提供することにある。

【０００８】

【課題を解決するための手段】本発明の動画像符号化装
置は、入力画像中の動き情報を出力する動き解析手段
と、前記入力画像の前画像を再構成画像として保持する
フレームメモリと、このフレームメモリに保持された再
構成画像前記動き解析手段からの動き情報とから予測画
像を生成する動き補償手段と、この動き補償手段からの
予測画像と前記入力画像との差分画像を求める手段と、
前記再構成画像及び予測画像を用いて各画素の配置を決
定する画素配置決定手段と、この画素配置決定手段から
の画素配置情報に従って前記差分画像の各画素を再配置
する画素再配置手段と、この画素再配置手段により各画
素が再配置された差分画像を分割して分割単位毎に符号
化する画像符号化手段と、この画像符号化手段からの符
号化情報と前記動き情報とから前記入力画像を再構成す
る再構成手段とを具備したことを特徴とするものであ
る。

【０００９】又、本発明の動画像復号化装置は、入力さ
れた画像符号化情報を復号化する画像復号化手段と、前
記画像符号化情報に対応する入力画像の前画像を出力画
像として保持するフレームメモリと、前記画像符号化情
報と共に入力された動き情報と前記フレームメモリに保
持された出力画像とから予測画像を生成する動き補償手
段と、この動き補償手段により生成された予測画像及び
前記フレームメモリに保持された出力画像を用いて各画
素の前記入力画像内での復元配置を決定する復元配置決
定手段と、この復元配置決定手段からの復元配置情報に
従って前記画像復号化手段からの復号化画像の各画素を
再配置する画素配置復元手段と、この画素配置復元手段
により各画素が再配置された復元画像と前記動き補償手
段からの予測画像を加算して出力画像を生成する手段と
を具備したことを特徴とするものである。

【００１０】

【作用】本発明では、予測誤差画像をそのまま符号化す
るのではなく１フレーム分の予測誤差画像の信号電力分
布が一局集中するように１フレーム内で画素位置の変換
を行った後にブロック単位で符号化する。これにより、
電力分布の集中したブロックに多くのビットを、電力分
布の少ないブロックにはより少ないビットを割り当てる
ことで効率のよい符号化が可能となる。また、画素位置
の変換に用いる情報には、動き情報と予測画像及び再構
成画像から得られる情報を用いるため画素位置の変換の
ために新たに情報を伝送する必要はないに等しい。以上
の結果、伝送レートを下げることができる、あるいは伝
送画像の品質を向上させることが可能となる。

【００１１】

【実施例】以下本発明の一実施例を図面を用いて説明す
る。図１は本発明の一実施例に係わる動画像符号化装置
のブロック図である。入力端子１から入力された１フレ
ーム分画像信号に対し、動き解析部２で画像内の動き情
報を抽出する。抽出する動き情報の１つとして、各画素
の静動の判断がある。抽出される情報としては入力画像
と前フレームの再構成画像との差分に基づき、画素毎に
静動の判断結果を抽出しても良いし、ブロック毎に差分
の大きな画素をたくさん含むブロックを動ブック、それ
以外を静止ブロックとみなす判断結果を抽出しても良
い。あるいは、差分の大きな画素を集め、ノズル成分を
除去するために孤立点除去を行ったり、また、領域の統
合を行うことにより任意形状の動領域を抽出しても良
い。また別の方法として、図４のようにフレーム間差分
画像の左右から動領域のエッジを探索し、その内側を動
領域として抽出しても良い。複数種類の情報を抽出する
ことも考えられる。

【００１２】また別の動き情報として、動きパラメータ
がある。抽出される動きパラメータとしては、例えば画
素毎、ブロック毎、動領域毎の動きあるいは多角形パッ
チの頂点の動きを表現するものなどが考えられる。動き
パラメータの抽出方法としては例えば、画素毎の場合に
は勾配法、ブロック毎の場合にはブロックマッチング
法、動領域毎の場合にはアフィンパラメータ推定（例え
ば、山田他「アフィンマッチングによるカラー動画像の
動き抽出」テレビジョン学会技術報告、１９９２−１
０、等）、多角形のうちでも３角形パッチの場合には６
角マッチング法（中屋、苗村他「動画像の１６ｋｂ／ｓ
符号化」ＰＣＳＪ９２）などが考えられる。

【００１３】動き補償部３では、動き情報に基づき前フ
レームの再構成画像を動き補償し、予測画像を生成す
る。そして差分演算部４で入力画像と予測画像との差分
画像を求める。

【００１４】画素配置決定部５では、予測画像及び再構
成画像から得られる情報と動き情報に基づき信号電力分
布が一局集中するような１フレーム内の画素配置を決定
する。得られた再配置情報に基づき画素再配置部６で差
分画像の各画素を再配置した画像を生成する。

【００１５】画像符号化部７では、画素再配置部６で得
られた画像をブロック分割し、ブロック毎に符号化す
る。符号化の方式としては、信号電力の偏りを利用し
て、波形を効率良く表現できる方法であれば何でも良
く、例えば、隣接画素との差分を量子化する方式や、２
次元離散コサイン変換してから係数を量子化する方式な
どが考えられる。

【００１６】再構成部８では画像符号化情報と動き情報
に基づき１フレーム分の画像を再構成する。再構成され
た画像は、フレームメモリ９で保持される。図２は画素
配置決定部５の一例を示すブロック図である。

【００１７】ここでは、入力画像と予測画像との差分が
大きくなる可能性が高いのは画像エッジ部分であると考
え、画素配置の順序を予測画像や再構成画像の輝度変化
の大きさに基づいて決定する方式を実現している。

【００１８】まず、エッジ検出部２４，２５においてそ
れぞれ１フレーム分の予測画像、再構成画像の輝度変化
の大きさを調べる。輝度変化の大きさを求める方法とし
ては例えば、１次微分に基づくものとしてＳｏｂｅｌオ
ペレータやＲｏｂｉｎｓｏｎのオペレータなどを用いる
方法、２次微分に基づくものとしてラプラシアンオペレ
ータを用いる方法などが考えられるが、この限りではな
く、輝度変化の大きさを求めることができれば何でも良
い。（例えばラプラシアンオペレータでは、中心画素値
の４倍値と、その上下左右の画素値を夫々−１倍したも
のの和との差をとる。この差が０であればその中心画素
はその周囲に対して平坦な画素値を示し、この差が特定
の値になっていればその中心画素値はエッジを示す。こ
の操作を画像内の各画素を中心画素として行うことによ
りエッジが抽出できる） 配置順序決定部２６では、予め定められた画素の並べ方
に従う順序を決定する。最も単純な順序付け方法として
は、輝度変化の最も大きな画素から並べるものが考えら
れる。

【００１９】ここで図５は画素配置決定部５の処理によ
り、１フレーム分の予測画像或いは再構成画像内で輝度
変化の大きい部分（エッジ部分）のみに正の値が付さ
れ、平坦な部分には０が付された様子を示している。こ
れに対し配置順序決定部２６は正の値の大きいものから
順にソートし、同じフレーム内で左上から順に配置す
る。

【００２０】輝度変化の大きさを得る画像として再構成
画像のみを用いても良いし、あるいは、予測画像のみを
用いても良い。また、両方を用いることも考えられる。
上述のオペレータを用いた場合に得られるエッジ部分の
幅が狭過ぎる時には、低域通過フィルタ等を用いて画像
をぼかすことも考えられる。（ここで再構成画像と予測
画像の両方を用いるのは、領域が動いている場合、再構
成画像内の動領域の輪郭の位置と予測画像内の動領域の
輪郭の位置とは異なっている。つまり両方の輪郭が輝度
変化の大きい部分となるため、夫々をエッジとして抽出
する必要があるからである。） 並べ変えの順序を決めるときに、先に述べた輝度変化の
大きさに加え元々の差分画像における位置関係を考慮す
る方法も考えられる。すなわち、元々の差分画像で近い
位置にあった画素が画素再配置後の画像でも、ある程度
近い位置に来るように順序付けするのである。これによ
り、元々の画像の持つ画素間相関を生かしつつ、更に画
像全体の電力分布の集中を図ることが可能となる。その
実現方法としては、例えば、上述したような画素単位で
の位置変換を行うのではなく、ある程度大きな領域、例
えば小ブロック単位での位置変換を行う方法が考えられ
る。

【００２１】また、輝度変化の大きさは動領域、静止領
域に関係なく求まる。しかしながら、大きな予測誤差が
出るのは動領域であるので、動き情報を用い、動領域中
の画素と静止領域中の画素を分割して別々に配置するの
が良い。例えば、まず動領域中の画素を並べた後、静止
領域中の画素を並べれば電力集中度はより高くなると考
えられる。

【００２２】画素の並べ方としては、予め定められた場
所、例えば上述した様に左上から、予め定められた方
向、例えば左から右へ図６のように並べる方法が考えら
れる。あるいは、図７に示すようにブロック毎に並べる
方法も考えられる。この場合、少数のブロックに信号電
力分布が集中することとなる。順序付けと並べ方の方法
もこの限りではなく、各画素の移動先と移動元が１対１
対応で定まる方法であれば何でも良い。

【００２３】また、画素の並べ方、すなわち、図１の画
素再配置部６における画素再配置方法と画像符号化部７
における符号化方式の組合せを最適化することにより更
に符号化効率を上げることも可能である。例えば、図６
の順番に並べ変えた場合には並べた方向に差分を計算す
る符号化が適している。また、図７のようにブロック毎
に並べ変えた場合のブロックの大きさと離散コサイン変
換する時のブロックの大きさに一致させることによって
も、符号化効率の上昇が期待できる。

【００２４】図３は本発明の一実施例に係わる動画像復
号化装置のブロック図である。伝送された画像符号化情
報と動き情報がそれぞれ入力端子３１，３２から入力さ
れる。動き補償部３４では動き情報とフレームメモリ３
８に記憶されている１時刻前の出力画像とから図１の動
き補償部３と全く同様の操作により予測画像を生成す
る。一方、ブロック単位の画像符号化情報は画像復号化
部３３で図１の画像符号化部７の逆の操作を行うことに
より１フレーム分の画像として復号化する。復元配置決
定部３５では、動き情報と予測画像及び１時刻前の出力
画像から得られる情報に基づき図１の画素再配置を行う
前の位置に各画素が戻るように配置を決定する。図１の
画素配置決定部５と全く同様の操作を行えば各画素が図
１の画素再配置前にどの位置にあったかの情報を得るこ
とができ、この情報から容易に復元配置情報を求めるこ
とができる。画素配置復元部３６では、復元配置決定部
３５で得られた復元配置情報に基づき１フレーム内で画
素配置を復元した画像を生成する。最後に、加算演算部
３７で配置復元された１フレーム分の画像と予測画像と
が加算され出力画像を得る。

【００２５】

【発明の効果】本発明では１フレーム分の差分画像信号
に対し信号電力分布が一局集中するように画素位置を変
換した後にブロック単位で符号化する。これにより電力
分布の集中したブロックや電力分布の少ないブロックに
対し、可変長符号化等を用いることにより画像情報量を
削減することが可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係わる動画像符号化装置
のブロック図

【図２】 本発明の画素配置決定部の一例を示すブロッ
ク図

【図３】 本発明の一実例施に係わる動画像復号化装置
のブロック図

【図４】 動領域境界の内側を動領域とする方法による
動領域抽出の説明図

【図５】 画像に対し輝度変化の大きい部分を検出した
結果を示す図

【図６】 画素位置の並べ変えを説明する図

【図７】 画素位置の別の並べ変えを説明する図

【図８】 従来の動画像符号化装置の例を示すブロック
図

【図９】 差分画像信号に対しＤＣＴを行った結果を示
す図

【符号の説明】

１，３１，３２…入力端子 ２…動き解析部 ３…動き補償部 ４…差分演算部 ５…画像配置決定部 ６…画素再配置部 ７…画像符号化部 ８…再構成部 ９，３８…フレームメモリ １０，１１…出力端子 ２４，２５…エッジ検出部 ２６…配置順序決定部 ３３…画像復号化部 ３４…動き補償部 ３５…復元配置決定部 ３６…画素配置復元部 ３７…加算演算部

Claims (3)

【特許請求の範囲】
1. 【請求項１】入力画像中の動き情報を出力する動き解析
   手段と、前記入力画像の前画像を再構成画像として保持
   するフレームメモリと、このフレームメモリに保持され
   た再構成画像と前記動き解析手段からの動き情報とから
   予測画像を生成する動き補償手段と、この動き補償手段
   からの予測画像と前記入力画像との差分画像を求める手
   段と、前記再構成画像及び予測画像の情報を用いて各画
   素の配置を決定する画素配置決定手段と、この画素配置
   決定手段からの画素配置情報に従って前記差分画像の各
   画素を再配置する画素再配置手段と、この画素再配置手
   段により各画素が再配置された差分画像を分割して分割
   単位毎に符号化する画像符号化手段と、この画像符号化
   手段からの符号化情報と前記動き情報とから前記入力画
   像を再構成する再構成手段とを具備したことを特徴とす
   る動画像符号化装置。
2. 【請求項２】前記画素配置決定手段は、前記予測画像に
   対しエッジを検出する第１のエッジ検出手段と、前記再
   構成画像に対しエッジを検出する第２のエッジ検出手段
   と、前記第１及び第２のエッジ検出手段により検出され
   たエッジ情報と前記動き情報に従って各画素の配置順序
   を決定する配置順序決定手段とから成ることを特徴とす
   る請求項１記載の動画像符号化装置。
3. 【請求項３】入力された画像符号化情報を復号化する画
   像復号化手段と、前記画像符号化情報に対応する入力画
   像の前画像を出力画像として保持するフレームメモリ
   と、前記画像符号化情報と共に入力された動き情報と前
   記フレームメモリに保持された出力画像とから予測画像
   を生成する動き補償手段と、この動き補償手段により生
   成された予測画像及び前記フレームメモリに保持された
   出力画像を用いて各画素の前記入力画像内での復元配置
   を決定する復元配置決定手段と、この復元配置決定手段
   からの復元配置情報に従って前記画像復号化手段からの
   復号化画像の各画素を再配置する画素配置復元手段と、
   この画素配置復元手段により各画素が再配置された復号
   画像と前記動き補償手段からの予測画像を加算して出力
   画像を生成する手段とを具備したことを特徴とする動画
   像復号化装置。