JP3101262B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する画像
符号化装置及びこの画像符号化装置で作成された符号化
データを復号する画像復号装置に関するものである。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。文献「階層表
現と多重テンプレートを用いた画像符号化」（信学技報
IE94-159,pp99-106 (1995))では、背景となる動画像シ
ーケンスと前景となる部品動画像の動画像シーケンス
（例えばクロマキー技術によって切り出された人物画像
や魚の映像など）を合成して新たなシーケンスを作成す
る手法が述べられている。

【０００３】また、文献「画像内容に基づく時間階層符
号化」（"Temporal Scalability based on image conte
nt", ISO/IEC/ JTC1/SC29/WG11 MPEG95/211(1995)）で
は、フレームレートの低い動画像シーケンスにフレーム
レートの高い部品動画像の動画像シーケンスを合成して
新たなシーケンスを作成する手法が述べられている。

【０００４】この方式では、図１６に示すように、下位
レイヤでは低いフレームレートで予測符号化が行われ、
上位レイヤでは選択領域（斜線部）についてのみ高いフ
レームレートで予測符号化が行われる。ただし、下位レ
イヤで符号化したフレームは上位レイヤでは符号化せ
ず、下位レイヤの復号画像をそのままコピーして用い
る。また、選択領域としては、例えば人物部分など視聴
者の注目が集まる部分が選ばれているものとする。

【０００５】図８に従来手法のブロック図を示す。ま
ず、従来手法の符号化側では、入力動画像は第１の駒落
し部８０１及び第２の駒落し部８０２によってフレーム
間引きされ、入力画像のフレームレート以下とされた
後、それぞれ上位レイヤ符号化部８０３及び下位レイヤ
符号化部８０４に入力される。ここで、上位レイヤのフ
レームレートは下位レイヤのフレームレート以上であ
る。

【０００６】下位レイヤ符号化部８０４では、入力され
た動画像全体が符号化される。符号化方式としては、例
えばMPEGやH.261などの動画像符号化国際標準化方式が
用いられる。また、下位レイヤ符号化部８０４では、下
位レイヤの復号画像が作成され、予測符号化に利用され
ると同時に、合成部８０５に入力される。

【０００７】図９は従来の符号化装置における符号量制
御部を示すブロック図である。図９において、符号化部
９０２は、動き補償予測、直交変換、量子化、可変長符
号化などを用いて動画像符号化を行う。

【０００８】また、量子化幅算出部９０１は、符号化部
９０２で用いる量子化幅を算出し、発生符号量算出部９
０３は、符号化データの累積を計算する。一般に発生符
号量が大きくなるとこれを抑えるために量子化幅を大き
く、逆に発生符号量が小さくなると量子化幅を小さく制
御する。

【０００９】図８の上位レイヤ符号化部８０３では、入
力された動画像の選択領域のみが符号化される。ここで
も、MPEGやH.261などの動画像符号化国際標準化方式が
用いられるが、領域情報に基づいて選択領域のみを符号
化する。ただし、下位レイヤで符号化されたフレームは
上位レイヤでは符号化されない。

【００１０】領域情報は、人物部などの選択領域を示す
情報であり、例えば選択領域の位置で値１、それ以外の
位置で値０をとる２値画像である。また、上位レイヤ符
号化部８０３では、動画像の選択領域のみが復号され、
合成部８０５に入力される。

【００１１】領域情報符号化部８０６では、領域情報が
８方向量子化符号を利用して符号化される。８方向量子
化符号は、図１７に示すように、次の点への方向を数値
で示したもので、デジタル図形を表現する際に一般的に
使用されるものである。

【００１２】合成部８０５は、合成対象フレームで下位
レイヤフレームが符号化されている場合、下位レイヤの
復号画像を出力する。合成対象フレームで下位レイヤフ
レームが符号化されていない場合は、合成対象フレーム
の前後２枚の符号化された下位レイヤの復号画像と１枚
の上位レイヤ復号画像とを用いて動画像を出力する。

【００１３】ここで、下位レイヤの２枚の画像のフレー
ムは、上位レイヤのフレームの前及び後である。また、
合成部８０５で作成された動画像は上位レイヤ符号化部
８０３に入力され、予測符号化に利用される。合成部８
０５における画像作成方法は以下の通りである。

【００１４】まず、２枚の下位レイヤの補間画像が作成
される。時間tにおける下位レイヤの復号画像をB(x, y,
t)（ただし、x, yは空間内の画素位置を表す座標であ
る）とし、２枚の下位レイヤの時間をそれぞれt1, t2、
上位レイヤの時間をt3（ただし、t1<t3<t2である）とす
ると、時間t3における補間画像I(x, y, t3)は、 I(x, y, t3) = [ (t2-t3)B(x, y, t1) + (t3-t1)B(x, y, t2) ]/(t2-t1) (1) によって計算される。

【００１５】次に、上記で求めた補間画像Iに上位レイ
ヤの復号画像Eを合成する。このために、領域情報M(x,
y, t)から合成のための重み情報W(x, y, t)を作成し、
次式によって合成画像Sを得る。 S(x, y, t) = [1-W(x, y, t)]I(x, y, t) + E(x, y, t)W(x, y, t) (2) 領域情報M(x, y, t)は選択領域内で１、選択領域外で０
の値をとる２値画像であり、この画像に低域通過フィル
タを複数回施すことによって、重み情報W(x, y, t)を得
ることができる。

【００１６】すなわち、重み情報W(x, y, t)は選択領域
内で１、選択領域外で０、選択領域の境界部で０〜１の
値をとる。以上が、合成部８０５における画像作成方法
の説明である。

【００１７】下位レイヤ符号化部８０４、上位レイヤ符
号化部８０３、領域情報符号化部８０６で符号化された
符号化データは、図示しない符号化データ統合部で統合
され、伝送あるいは蓄積される。

【００１８】次に、従来手法の復号側では、符号化デー
タが図示しない符号化データ分解部により、下位レイヤ
の符号化データ、上位レイヤの符号化データ、領域情報
の符号化データに分解される。これらの符号化データ
は、図８に示すように、下位レイヤ復号部８０８、上位
レイヤ復号部８０７及び領域情報復号部８０９によって
復号される。

【００１９】復号側の合成部８１０は、符号化側の合成
部８０５と同一の装置からなり、下位レイヤ復号画像と
上位レイヤ復号画像とを用い、符号化側の説明で述べた
ものと同一の方法によって画像が合成される。ここで合
成された動画像は、ディスプレイに表示されると共に、
上位レイヤ復号部８０７に入力され、上位レイヤの予測
に利用される。

【００２０】ここでは、下位レイヤと上位レイヤとの両
方を復号する復号装置について述べたが、下位レイヤの
復号部のみを備えた復号装置ならば、上位レイヤ符号化
部８０７、合成部８１０が不要であり、少ないハードウ
エア規模で符号化データの一部を再生することができ
る。

【００２１】

【発明が解決しようとする課題】（１）従来の技術にお
いては、上記(1)式のように、２枚の下位レイヤ復号画
像と１枚の上位レイヤ復号画像とから出力画像を得る
際、２枚の下位レイヤの補間を行っているため、選択領
域の位置が時間的に変化する場合には、選択領域周辺に
大きな歪みが発生し、画質を大きく劣化させるという問
題がある。

【００２２】図１８はこの問題を説明するものである。
図１８（ａ）において、画像A、Cは下位レイヤの２枚の
復号画像、画像Bは上位レイヤの復号画像であり、表示
時間順はA、B、Cの順である。ただし、選択領域を斜線
で示している。また、上位レイヤでは選択領域のみが符
号化されるため、選択領域外を破線で示している。

【００２３】選択領域が動いているため、画像Aと画像C
とから求めた補間画像は、図１８（ｂ）における網点部
のように、２つの選択領域が重複したものになる。さら
に、画像Bを重み情報を用いて合成すると、出力画像は
図１８（ｃ）に示すように、３つの選択領域が重複した
画像となる。

【００２４】特に、上位レイヤの選択領域周辺（外側）
に下位レイヤの選択領域が残像のように現れ、画質が大
きく劣化する。動画像全体としては、下位レイヤのみが
表示されている時には、上記の歪みがなく、上位レイヤ
と下位レイヤとの合成画像が表示されている時には、上
記の歪みが現われるため、フリッカ的歪みが発生し、非
常に大きな画質劣化となる。

【００２５】（２）従来の技術においては、領域情報の
符号化に８方向量子化符号（図１７）を用いているが、
低ビットレートに応用する場合や領域の形状が複雑にな
る場合などに、領域情報のデータ量の全符号化データ量
に占める割合が大きくなるため、画質劣化の要因となる
問題がある。

【００２６】（３）従来の技術においては、領域情報に
低域通過フィルタを複数回施すことによって、重み情報
を得ているが、フィルタ操作を複数回行うため、処理量
が増大するという問題がある。

【００２７】（４）従来の技術においては、予測符号化
を用いているが、下位レイヤでシーンチェンジがある場
合にも予測符号化を用いることがあり、大きな歪みが発
生する。下位レイヤでの歪みは、上位レイヤにも波及す
るため、長時間に渡って歪みが持続するという問題があ
る。

【００２８】（５）従来の技術においては、下位レイヤ
でMPEGやH.261などの動画像符号化国際標準化方式が用
いられるため、選択領域とそれ以外の領域の間で画質の
差があまりない。これに対し、上位レイヤでは選択領域
だけが高画質で符号化されるため選択領域での画質が時
間的に変化し、これがフリッカ的な歪みとなって検知さ
れるという問題がある。

【００２９】本発明の目的は、これらの問題を解決し、
符号化後のデータ量を削減する一方復号画像の品質を劣
化させないような画像符号化装置及び画像復号装置を提
供することにある。

【００３０】

【課題を解決するための手段】本願請求項１に記載の発
明に係る画像符号化装置は、動画像シーケンス内の特定
部品領域を符号化する動画像符号化手段と、前記特定部
品領域の領域形状を表す領域情報を符号化する領域情報
符号化手段とを備えた画像符号化装置であって、前記領
域情報符号化手段は、前記領域形状をより粗い形状に近
似して、領域情報のデータ量を削減する領域情報近似手
段と、前記領域情報近似手段により領域形状が近似され
た領域情報を符号化する領域近似情報符号化手段と、領
域形状の近似を行わず、前記領域情報をそのまま符号化
する領域非近似情報符号化手段と、前記領域近似情報符
号化手段と前記領域非近似情報符号化手段とを適応的に
選択する適応選択手段とを有し、さらに、前記適応選択
手段における選択結果を示す選択情報と、前記動画像符
号化手段によって符号化された部品動画像の符号化デー
タと、前記領域情報符号化部によって符号化された領域
情報の符号化データとを統合する符号化データ統合手段
とを備えたものである。

【００３１】本願請求項２に記載の発明に係る画像符号
化装置は、前記請求項１に記載の画像符号化装置におい
て、前記領域非近似情報符号化手段は、さらに、領域情
報を８方向量子化データに変換する領域情報変換手段
と、前記８方向量子化データの差分データを求める差分
データ算出手段と、前記差分データを可変長符号化する
可変長符号化手段とを有するものである。

【００３２】本願請求項３に記載の発明に係る画像符号
化装置は、前記請求項１に記載の画像符号化装置におい
て、前記領域近似情報符号化手段は、前記領域形状が近
似された領域情報のフレーム間差分を求めるフレーム間
差分データ算出手段と、前記差分データに基づいて、前
記領域形状の変化の有無を示す変化情報を符号化する変
化情報符号化手段とを有するものである。

【００３３】本願請求項４に記載の発明に係る画像復号
装置は、動画像シーケンス内の特定部品領域を符号化し
た符号化データを復号する動画像復号手段と、前記特定
部品領域の領域形状を表す領域情報を符号化した符号化
データを復号する領域情報復号手段とを備えた画像復号
装置であって、前記領域情報復号手段は、領域形状がよ
り粗い形状に近似され、データ量が削減された領域情報
を復号する領域近似情報復号手段と、領域形状が近似さ
れていない領域情報を復号する領域非近似情報復号手段
と、前記領域情報の符号化データが領域近似情報である
か否かを示す選択情報に従って、前記領域近似情報復号
手段と前記領域非近似情報復号手段とを適応的に選択す
る適応選択手段とを有するものである。

【００３４】本願請求項５に記載の発明に係る画像復号
装置は、前記請求項４に記載の画像復号装置において、
前記領域非近似情報復号手段は、さらに、８方向量子化
データに変換された領域情報の差分データを可変長復号
する可変長復号手段を有し、前記復号された差分データ
から８方向量子化データを算出し、領域情報を復号する
ものである。

【００３５】本願請求項６に記載の発明に係る画像復号
装置は、前記請求項４に記載の画像復号装置において、
前記領域近似情報復号手段は、前記領域形状が近似され
た領域情報のフレーム間差分の変化の有無を示す変化情
報を復号する変化情報復号手段を有し、前記変化情報が
領域形状のフレーム間の変化がないことを示す場合に
は、領域情報として前フレームの領域情報を用いるもの
である。

【００３６】

【発明の実施の形態】本発明の第１の実施例は、図８に
おける合成部８０５で発生する問題を解決するものであ
る。すなわち、２枚の下位レイヤ復号画像から画像を合
成する際、上位レイヤの選択領域の周辺に残像のような
歪みを発生させない画像合成装置に関するものである。
図１は第１の実施例の画像合成装置を示すブロック図で
ある。

【００３７】図１において、第１の領域抽出部１０１
は、下位レイヤの第１の領域情報及び下位レイヤの第２
の領域情報から、第１の領域であり且つ第２の領域でな
い領域を抽出する。図１０（ａ）において、第１の領域
情報を点線で（点線内部が値０、点線外部が値１を持つ
ものとする）表し、同様に、第２の領域情報を破線で表
すとすると、第１の領域抽出部１０１で抽出される領域
は、図１０（ａ）における斜線部となる。

【００３８】第２の領域抽出部１０２は、下位レイヤの
第１の領域情報及び下位レイヤの第２の領域情報から、
第２の領域領域であり且つ第１の領域でない領域を抽出
する。図１０（ａ）の場合、網点部が抽出される。

【００３９】コントローラ１０３は、第１の領域抽出部
１０１及び第２の領域抽出部１０２の出力により、スイ
ッチ１０４を制御する部分である。すなわち、注目画素
位置が第１の領域のみの場合には、スイッチ１０４を第
２の復号画像側に接続し、注目画素位置が第２の領域の
みの場合には、スイッチ１０４を第１の復号側に接続
し、それ以外の場合には、スイッチ１０４を補間画像作
成部１０５からの出力に接続する。

【００４０】補間画像作成部１０５は、下位レイヤの第
１の復号画像と下位レイヤの第２の復号画像との補間画
像を、上記従来技術として説明した式(1)に従って計算
する。ただし、式(1)でB(x, y, t1)は第１の復号画像、
B(x, y, t2)は第２の復号画像、I(x, y, t3) は補間画
像であり、t1, t2, t3はそれぞれ第１の復号画像、第２
の復号画像及び補間画像の時間である。

【００４１】以上のようにして、画像を作成するので、
例えば図１０（ａ）の場合、斜線部では第２の復号画像
が使用されるため、選択領域外部の背景画素が現れ、網
点部では第１の復号画像が使用されるため、選択領域外
部の背景画素が現れ、それ以外の部分では第1の復号画
像と第2の復号画像の補間画像が現れる。

【００４２】このようにして作成された画像の上に、図
１の加重平均部１０６によって上位レイヤの復号画像を
重ねるため、合成された画像は図１０（ｂ）に示すよう
に、選択領域（斜線部分）周辺に残像がなく、歪みの少
ない画像が得られる。図１の加重平均部１０６は、上記
の補間画像と上位レイヤの復号画像とを加重平均によっ
て合成する。合成方法については、上記従来技術で述べ
たので、ここでは説明を省略する。

【００４３】上述の第１の実施例においては、図１に示
す補間画像作成部１０５を設けたが、そのかわりに第１
の復号画像B(x,y,t1)と第２の復号画像B(x,y,t2)のう
ち、上位レイヤの時間であるt3に時間的に近い復号画像
の画素値を用いるようにしても良い。その場合は、各画
像のフレーム番号を用いて、t3-t1 < t1-t2の時は、 I(x, y, t3) = B(x, y, t1) とし、それ以外の時は、 I(x, y, t3) = B(x, y, t2) とする。

【００４４】ただし、t1, t2, t3は、それぞれ第１の復
号画像、第２の復号画像及び上位レイヤの復号画像の時
間である。

【００４５】次に、本発明の第２の実施例を説明する。
本実施例は、第１の実施例の画像合成装置において、下
位レイヤの復号画像の動き情報を考慮して、より正確に
画像を合成する画像合成装置に関するものである。図２
は動きパラメータを推定し、２枚の復号画像とそれらに
対応する２枚の領域情報とを変形する装置を示すブロッ
ク図である。

【００４６】図２において、動きパラメータ推定部２０
１では、下位レイヤにおける第１の復号画像から第２の
復号画像への動き情報を推定する。例えば、ブロック単
位の動ベクトルを求めたり、画像全体の動き（並行移
動、回転、拡大縮小など）を求め、動きパラメータとす
る。

【００４７】変形部２０２では、第１の復号画像、第２
の復号画像、第１の領域情報、第２の領域情報を、それ
ぞれ推定された動きパラメータによって、合成対象フレ
ームの時間的位置に基づき変形する。例えば、動きパラ
メータとして第１の復号画像から第２の復号画像への動
ベクトル(MVx,MVy)が求められているとする。ここで、M
Vxは動ベクトルの水平成分、MVyは動ベクトルの垂直成
分である。

【００４８】このとき、第１の復号画像から補間画像へ
の動ベクトルを、 (t3-t1)/(t2-t1)(MVx, MVy) によって計算し、第１の復号画像をこの動ベクトルにて
シフトする。動きパラメータとして回転、拡大縮小など
を用いる場合は、単なるシフトではなく変形を伴う。

【００４９】図２においては、変形されたデータをそれ
ぞれa, b, c, dで表しているが、aは図１における第１
の復号画像、bは図１における第２の復号画像、cは図１
における第１の領域情報、dにおける図１の第２の領域
情報として、図１に示した画像合成装置に入力され、合
成画像が作成される。

【００５０】第２の実施例では、２枚の復号画像から動
きパラメータを推定するようにしたが、予測符号化の際
には画像の各ブロックの動ベクトルが符号化データに含
まれているのが一般的であるので、これらの動ベクトル
を利用しても良い。

【００５１】例えば、復号された動ベクトルの平均値
を、第１の復号画像から第２の復号画像への画像全体の
動ベクトルとしたり、或いは、復号された動ベクトルの
頻度分布を求め、最も頻度の高いベクトルを第１の復号
画像から第２の復号画像への画像全体の動ベクトルとし
ても良い。上記の処理は、水平方向・垂直方向で独立し
て行われる。

【００５２】次に、本発明の第３の実施例を説明する。
第３の実施例は、領域情報を効率良く符号化する領域情
報符号化装置に関するものである。図３及び図４は本実
施例のブロック図であり、図３は符号化側、図４は復号
側を示すものである。

【００５３】図３における領域情報近似部３０１は、領
域情報を複数の図形で近似する。図１１に近似の例を示
す。この例では、図形として矩形が用いられ、人物の領
域情報（斜線部）が２個の矩形で近似されている。矩形
１は人物の頭部を、矩形２は人物の胸部を表している。

【００５４】領域近似情報符号化部３０２は、上記の近
似された領域情報を符号化する部分である。図１１に示
すように、矩形で近似された場合には、各矩形の左上の
座標値と矩形の大きさとを固定長で符号化すれば良い。
或いは、楕円で近似された場合には、楕円の中心点の座
標、長軸の長さ及び短軸の長さを固定長で符号化すれば
良い。近似された領域情報と符号化されたデータとは、
選択部３０４に送られる。

【００５５】領域情報符号化部３０３は、上記従来技術
で述べた領域情報符号化部８０６と同様に、領域情報を
近似せず、８方向量子化符号を用いて符号化する。領域
情報と符号化されたデータとは、選択部３０４に送られ
る。

【００５６】選択部３０４は、領域近似情報符号化部３
０２の出力か、領域情報符号化部３０３の出力のいずれ
かを選択する。領域近似情報符号化部３０２の出力が選
択された時は、領域近似情報の符号化データを１ビット
の選択情報（例えば０）と共に、図示しない符号化デー
タ統合部に送り、領域近似情報を図示しない合成部に送
る。

【００５７】また、領域情報符号化部３０３の出力が選
択された時は、近似しない領域情報の符号化データを１
ビットの選択情報（例えば１）と共に、図示しない符号
化データ統合部に送り、近似しない領域情報を画像合成
部に送る。画像合成部は、上記本発明の第１の実施例及
び第２の実施例で説明したものである。

【００５８】選択部３０４における選択手法としては、
例えば符号化データ量の小さい方を選択する手法、或い
は近似しない領域情報の符号化データ量がある閾値以内
の時は領域情報符号化部３０３の出力を選び、閾値を越
える時には領域近似情報符号化部３０２の出力を選ぶよ
うにする。このような選択を行うことにより、領域情報
の符号化歪みを抑えながら、符号化データ量を削減する
ことができる。

【００５９】次に、本発明の第３の実施例の復号側（図
４）について説明する。図４において、選択部４０１
は、符号化データに含まれる１ビットの選択情報をもと
に、符号化データが領域近似情報のものであるか、領域
情報のものであるかを選択する。

【００６０】領域近似情報復号部４０２は、領域近似情
報を復号する。領域情報復号部４０３は、近似していな
い領域情報を復号する。スイッチ４０４は、選択部４０
１からの信号によってコントロールされ、合成部への出
力として、領域近似情報或いは近似していない領域情報
を選択する。

【００６１】以上のようにして、領域近似情報と近似し
ないもとの領域情報とを適応的に選択して符号化／復号
するので、領域情報が複雑で膨大なデータ量となる場合
には、領域近似情報の符号化が選択され、少ない情報量
で領域情報を符号化することができる。

【００６２】上記の例では、近似しない領域情報は、８
方向量子化符号によって符号化したが、さらに予測符号
化を組み合わせて効率良く符号化しても良い。８方向量
子化符号は、図１７に示すように、０〜７の値を持つ
が、予測符号化によって差分をとると、−７〜７となっ
てしまう。

【００６３】しかし、差分値が−４以下の時は８を加
え、差分値が４より大きい時は８を引くことにより、差
分値を−３〜４に抑えることができる。復号時には、前
値に差分値を加え、その結果が負の場合には８を加え、
７を越える場合には８を引くことにより、もとの８方向
量子化値を得ることができる。

【００６４】以下にその例を示す。 ８方向量子化値 1, 6, 2, 1, 3, ... 差分値 5, -4, -1, -2, ... 変換値 -3, 4, -1, 2, ... 復号値 1, 6, 2, 1, 3, ... 例えば、値６の前値との差分は５であるが、これから８
を引くことで−３となり、復号時には、前値１に復号値
−３に加えることで−２が得られるが、値が負であるた
め、これに８を加え、復号値６を得る。このような予測
符号化は、８方向量子化符号が巡回しているという性質
を利用したものである。

【００６５】第３の実施例においては、近似された領域
情報の符号化は、各画像で独立に行われているが、一般
に動画像はフレーム間の相関が高いため、前回の符号化
結果を利用して符号化効率を高めるようにしても良い。

【００６６】すなわち、近似された領域情報の符号化が
フレーム間で連続する場合、領域近似情報の差分のみを
符号化するようにする。例えば、領域が矩形で近似さ
れ、前フレームの矩形が 左上の点：(10, 20)、大きさ：(100, 150)で表され、現
フレームの矩形が 左上の点：(13, 18)、大きさ：(100, 152)で表れる場合
は、現フレームでは 左上の差分値：(3, 2)、大きさの差分値：(0, 2)を符号
化する。

【００６７】領域の形状変化が小さい場合には、差分値
はいずれも０付近に集中するため、ハフマン符号化など
のエントロピー符号化を用いれば、領域情報の符号量が
大幅に削減できる。さらに、矩形が変化しない場合が多
い時には、現フレームにおいて1ビットの情報を矩形の
変化情報として符号化すれば良い。

【００６８】すなわち、矩形が変化しない時には、これ
を表す１ビットの情報（例えば０）のみを符号化し、矩
形が変化する時には、１ビットの情報（例えば１）と上
記の差分情報とを符号化する。

【００６９】次に、本発明の第４の実施例を説明する。
第４の実施例は、領域情報から多値の重み情報を作成す
る重み情報作成装置に関するものである。図５は本実施
例のブロック図である。

【００７０】図５において、水平方向重み作成部５０１
は、領域情報を水平方向に走査して領域情報が１の部分
を求め、それに対応した重み関数を求める。具体的に
は、領域の左端の点の座標x0と領域の水平方向の長さN
とを求め、図１２（ａ）に示すような水平方向重み関数
を計算する。

【００７１】重み関数は直線を組み合わせて作成しても
良いし、直線と三角関数を組み合わせて作成しても良
い。後者の例として、三角関数部分の幅をWとする時、
N > 2Wならば、 0≦x＜W の時 sin[(x+1/2)π/(2W)]*sin[(x+1/2)π/(2W)] W≦x＜N-W の時 1 N-W≦x＜N の時 sin[(x-N+2W+1/2)π/(2W)]*sin[(x-N+2W+1/2)π/(2W)] N ≦ 2Wならば、 sin2[(x+1/2)π/N]*sin[(x+1/2)π/N] を用いることができる。ただし、領域の左端の点x0は０
としている。

【００７２】垂直方向重み作成部５０２は、領域情報を
垂直方向に走査して領域情報が１の部分を求め、それに
対応した垂直方向重み関数を求める。具体的には、領域
の上端の点の座標y0と領域の垂直方向の長さMとを求
め、図１２（ｂ）に示すような垂直方向重み関数を計算
する。

【００７３】乗算器５０３は、水平方向重み作成部５０
１と垂直方向重み作成部５０２との出力を画素位置毎に
掛け合わせ、重み情報を作成する。このようにして重み
情報を作成すれば、領域情報の形に合わせた重み情報を
少ない演算量で求めることができる。

【００７４】次に、本発明の第５の実施例を説明する。
第５の実施例は、下位レイヤ或いは上位レイヤの予測符
号化において、フレーム内符号化とフレーム間予測符号
化とを適応的に切替えるモード切替え方法に関するもの
である。図６は本実施例のブロック図である。

【００７５】図６において、平均値計算部６０１は、原
画像と領域情報とを入力とし、領域内部の画素値につい
て、画素値の平均を計算する。平均値は差分器６０３と
記憶部６０２とに入力される。差分器６０３は、記憶部
６０２に記憶された前回の平均値と平均値計算部６０１
から出力された今回の平均値との差を計算する。

【００７６】判定部６０４は、差分器６０３で計算され
た差分値の絶対値を、予め定められた閾値と比較し、モ
ード切替え情報を出力する。差分値の絶対値が閾値より
も大きい場合は、選択領域においてシーンチェンジがあ
ると判定し、常にフレーム内符号化を行うようにモード
切替え情報を発生する。

【００７７】このように、選択領域のシーンチェンジを
判定しながらモード切替えを行うことにより、例えば人
物が物影から現れたり、物体の表裏が反転したりする場
合にも、良好な符号化画像を得ることができる。

【００７８】この実施例は、下位レイヤの符号化におい
て、選択領域とそれ以外の領域とを分離して符号化する
方式に応用することができる。その場合は、領域情報を
下位レイヤに入力するようにする。さらに、本実施例
は、上位レイヤの選択領域のみの符号化に応用すること
もできる。

【００７９】次に、本発明の第６の実施例を説明する。
第６の実施例は、下位レイヤの符号化において、選択領
域とそれ以外の領域とを分離して符号化する場合のデー
タ量制御に関するものである。図７は本実施例のブロッ
ク図である。

【００８０】図７において、符号化部７０３は、選択領
域とそれ以外の領域とを分離して符号化する。領域判定
部７０１には、領域情報が入力され、符号化している領
域が選択領域内であるか選択領域外であるかを判定す
る。発生符号量算出部７０５では、この判定結果に基づ
き、各領域での発生符号量を算出する。

【００８１】目標符号量配分比算出部７０４では、各領
域に割り当てるフレーム単位の目標符号量の配分比を決
定する。配分比の決定方法については後述する。量子化
幅算出部７０２では、目標符号量に応じて量子化幅を決
定するが、この決定方法についは、従来法と同様であ
る。

【００８２】ここで、目標符号量配分比算出部７０４に
おける配分比決定方法について、説明する。まず、該当
フレームの目標符号量Biは次式を用いて計算される。Bi
=(使用可能符号量-前フレームまでの使用符号量)/残り
フレーム数この目標符号量Biをある比率で選択領域内と
選択領域外とに割り当てるのであるが、ここでは適当な
固定比R0と前フレーム複雑度比率Rpとを用いて、その比
率を決定する。

【００８３】前フレーム複雑度比率Rpは、次式で決定さ
れる。 Rp=(gen_bitF*avg_qF)/(gen_bitF*avg_qF+gen_bitB*avg
_qB) ここで、 gen_bitF：前フレーム選択領域内発生符号量 gen_bitB：前フレーム選択領域外発生符号量 avg_qF：前フレームの選択領域内平均量子化幅 avg_qB：前フレームの選択領域外平均量子化幅 である。

【００８４】選択領域を高画質にするには、量子化幅を
制御し、選択領域内の平均量子化幅が選択領域外の平均
量子化幅よりもある程度小さな状態を保ち、しかも動画
像シーケンス内での画像の変化にも追随することが望ま
しい。

【００８５】一般に、固定比R0による配分は、選択領域
内と選択領域外との平均量子化幅の関係をほぼ一定に保
つのに適し、前フレーム複雑度比率Rpによる配分は、動
画像シーケンス内での画像の変化に追随させるのに適す
る。

【００８６】そこで、本発明では、目標符号量配分比Ra
を固定比R0と前フレーム複雑度比率Rpとの平均とし、両
者の長所を兼ね備えた制御を行なう。すなわち、 Ra=(R0+Rp)/2 である。

【００８７】例えば、選択領域における固定比R0と前フ
レーム複雑度比率Rpとが、動画像シーケンス全体におい
て、図１３における点線のようになったとする。このと
き、目標符号量配分比Raは、図１３における実線のよう
になり、固定比R0からあまり離れず、しかもある程度画
像の変化を反映することがわかる。

【００８８】このとき、選択領域外の固定比を(1-R0)、
前フレーム複雑度比率を(1-Rp)とすると、両者の平均で
ある目標符号量配分比(1-Ra)は、図１４における実線に
示すようになり、選択領域内と選択領域外との目標符号
量配分比を加えたものは1となる。

【００８９】このようにして、量子化幅を適切に制御す
ることができるが、フレームによっては発生符号量が目
標符号量Biを越える場合があるため、シーケンス全体の
ビットレートが所定のビットレートに収まらないことが
起こりうる。そのような場合には、次に述べるような方
法をとることができる。

【００９０】選択領域内の目標符号量配分比Raは、上述
したとおり、固定比R0と前フレーム複雑度比率Rpとの平
均とする。一方、選択領域外の目標符号量配分比は、選
択領域外の固定比(1-R0)と前フレーム複雑度比率(1-Rp)
との最小値Rmとする。

【００９１】このようにすると、選択領域外の目標符号
量配分比Rmの変化は、例えば図１５における実線に示す
ようになる。このとき、Ra+Rm≦1となることから、該当
フレームの目標符号量を小さくすることができる。すな
わち、背景領域の目標符号量を抑えることにより、動画
像シーケンス全体のビットレートを所定のビットレート
に収めることができる。

【００９２】

【発明の効果】本発明の画像符号化装置及び画像復号装
置によれば、領域情報の符号化／復号の際に、領域情報
を近似して符号化する場合と、近似せずにそのまま符号
化する場合とを適応選択することによって、効率良く領
域情報を符号化／復号することができる。

【００９３】また、領域情報を８方向量子化データに変
換し、８方向量子化データの差分データを求め、これを
可変長符号化／復号することで、領域情報をさらに効率
良く可逆符号化／復号することができる。

【００９４】さらに、領域情報のフレーム間差分に基づ
き、領域形状の変化の有無を示す情報を付加することに
よって、領域形状を効率良く可逆符号化／復号すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を説明するブロック図で
ある。

【図２】本発明の第２の実施例を説明するブロック図で
ある。

【図３】本発明の第３の実施例の符号化側を説明するブ
ロック図である。

【図４】本発明の第３の実施例の復号側を説明するブロ
ック図である。

【図５】本発明の第４の実施例を説明するブロック図で
ある。

【図６】本発明の第５の実施例を説明するブロック図で
ある。

【図７】本発明の第６の実施例を説明するブロック図で
ある。

【図８】従来の符号化装置及び復号装置を説明するブロ
ック図である。

【図９】従来の符号量制御部を説明するブロック図であ
る。

【図１０】本発明の第１の実施例の効果を説明する図で
ある。

【図１１】本発明の第３の実施例における領域情報を近
似する例を示す説明図である。

【図１２】本発明の第４の実施例における重み情報の作
成方法例を示す説明図である。

【図１３】本発明の第６の実施例における符号量制御方
法による選択領域の目標符号量比率を説明する図であ
る。

【図１４】本発明の第６の実施例における符号量制御方
法による選択領域外の目標符号量比率を説明する図であ
る。

【図１５】本発明の第６の実施例における他の符号量制
御方法による選択領域外の目標符号量比率を説明する図
である。

【図１６】従来の動画像階層符号化の概念を説明する図
である。

【図１７】８方向量子化符号を説明する図である。

【図１８】従来の動画像階層符号化の問題点を説明する
図である。

【符号の説明】

１０１ 第１の領域抽出部 １０２ 第２の領域抽出部 １０３ コントローラ １０４ スイッチ １０５ 補間画像作成部 １０６ 加重平均部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 野村 敏男 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平１−198884（ＪＰ，Ａ) 角野、津田、ブン、栄藤，「透明度情 報を領域表現に用いた動画像符号化」, 情報処理学会研究報告 オーディオビジ ュアル複合情報処理 95−ＡＶＭ−９, 1995年７月，Ｖｏｌ．95，Ｎｏ．64，９ −１（ｐｐ．１−８) 栄藤、ブン、角野，「階層表現と多重 テンプレートを用いた画像符号化」，電 子情報通信学会技術研究報告，1995年３ 月，Ｖｏｌ．94，Ｎｏ．549，ｐｐ．99 −106) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 G06T 9/20 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 動画像シーケンス内の特定部品領域を符
   号化する動画像符号化手段と、 前記特定部品領域の領域形状を表す領域情報を符号化す
   る領域情報符号化手段とを備えた画像符号化装置であっ
   て、 前記領域情報符号化手段は、前記領域形状をより粗い形
   状に近似して、領域情報のデータ量を削減する領域情報
   近似手段と、 前記領域情報近似手段により領域形状が近似された領域
   情報を符号化する領域近似情報符号化手段と、 領域形状の近似を行わず、前記領域情報をそのまま符号
   化する領域非近似情報符号化手段と、 前記領域近似情報符号化手段と前記領域非近似情報符号
   化手段とを適応的に選択する適応選択手段とを有し、 さらに、前記適応選択手段における選択結果を示す選択
   情報と、前記動画像符号化手段によって符号化された部
   品動画像の符号化データと、前記領域情報符号化部によ
   って符号化された領域情報の符号化データとを統合する
   符号化データ統合手段とを備えたことを特徴とする画像
   符号化装置。
2. 【請求項２】 前記請求項１に記載の画像符号化装置に
   おいて、 前記領域非近似情報符号化手段は、さらに、領域情報を
   ８方向量子化データに変換する領域情報変換手段と、 前記８方向量子化データの差分データを求める差分デー
   タ算出手段と、 前記差分データを可変長符号化する可変長符号化手段と
   を有することを特徴とする画像符号化装置。
3. 【請求項３】 前記請求項１に記載の画像符号化装置に
   おいて、 前記領域近似情報符号化手段は、前記領域形状が近似さ
   れた領域情報のフレーム間差分を求めるフレーム間差分
   データ算出手段と、 前記差分データに基づいて、前記領域形状の変化の有無
   を示す変化情報を符号化する変化情報符号化手段とを有
   することを特徴とする画像符号化手段。
4. 【請求項４】 動画像シーケンス内の特定部品領域を符
   号化した符号化データを復号する動画像復号手段と、 前記特定部品領域の領域形状を表す領域情報を符号化し
   た符号化データを復号する領域情報復号手段とを備えた
   画像復号装置であって、 前記領域情報復号手段は、領域形状がより粗い形状に近
   似され、データ量が削減された領域情報を復号する領域
   近似情報復号手段と、 領域形状が近似されていない領域情報を復号する領域非
   近似情報復号手段と、 前記領域情報の符号化データが領域近似情報であるか否
   かを示す選択情報に従って、前記領域近似情報復号手段
   と前記領域非近似情報復号手段とを適応的に選択する適
   応選択手段とを有することを特徴とする画像復号装置。
5. 【請求項５】 前記請求項４に記載の画像復号装置にお
   いて、 前記領域非近似情報復号手段は、さらに、８方向量子化
   データに変換された領域情報の差分データを可変長復号
   する可変長復号手段を有し、 前記復号された差分データから８方向量子化データを算
   出し、領域情報を復号することを特徴とする画像復号装
   置。
6. 【請求項６】 前記請求項４に記載の画像復号装置にお
   いて、 前記領域近似情報復号手段は、前記領域形状が近似され
   た領域情報のフレーム間差分の変化の有無を示す変化情
   報を復号する変化情報復号手段を有し、 前記変化情報が領域形状のフレーム間の変化がないこと
   を示す場合には、領域情報として前フレームの領域情報
   を用いることを特徴とする画像復号装置。