JP3101195B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はディジタル画像処理
の分野に属し、画像データを高能率に符号化する動画像
符号化及びこの動画像符号化装置で作成された符号化デ
ータを復号する動画像復号装置に関するものである。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。

【０００３】文献「階層表現と多重テンプレートを用い
た画像符号化」（信学技報IE94-159,pp99-106 (1995))
では、背景となる動画像シーケンスと前景となる部品動
画像の動画像シーケンス（例えばクロマキー技術によっ
て切り出された人物画像や魚の映像など）を合成して新
たなシーケンスを作成する手法が述べられている。

【０００４】また文献「画像内容に基づく時間階層符号
化」（"Temporal Scalability based on image conten
t", ISO/IEC/ JTC1/SC29/WG11 MPEG95/211(1995)）で
は、フレームレートの低い動画像シーケンスにフレーム
レートの高い部品動画像の動画像シーケンスを合成して
新たなシーケンスを作成する手法が述べられている。こ
の方式では図１６に示すように下位レイヤでは低いフレ
ームレートで予測符号化が行われ、上位レイヤでは選択
領域（斜線部）についてのみ高いフレームレートで予測
符号化が行われる。ただし、下位レイヤで符号化したフ
レームは上位レイヤでは符号化せず、下位レイヤの復号
画像をそのままコピーして用いる。また、選択領域とし
ては例えば人物部分など視聴者の注目が集まる部分が選
ばれているものとする。

【０００５】図８に従来手法のブロック図を示す。まず
従来手法の符号化側では、入力動画像は第１の駒落し部
８０１及び第２の駒落し部８０２によってフレーム間引
きされ、入力画像のフレームレート以下とされた後それ
ぞれ上位レイヤ符号化部及び下位レイヤ符号化部に入力
される。ここで上位レイヤのフレームレートは下位レイ
ヤのフレームレート以上であるとする。

【０００６】下位レイヤ符号化部８０４では入力された
動画像全体が符号化される。符号化方式としては例えば
MPEGやH.261などの動画像符号化国際標準化方式が用い
られる。下位レイヤ符号化部８０４ではまた、下位レイ
ヤの復号画像が作成され、予測符号化に利用されると同
時に合成部８０５に入力される。

【０００７】図９は従来の符号化装置における符号量制
御部を示すブロック図である。図９の符号化部９０２は
動き補償予測、直交変換、量子化、可変長符号化などを
用いて動画像符号化を行う。また、量子化幅算出部９０
１は符号化部９０２で用いる量子化幅を算出し、発生符
号量算出部９０３は符号化データの累積を計算する。一
般に発生符号量が大きくなるとこれを抑えるために量子
化幅を大きく、逆に発生符号量が小さくなると量子化幅
を小さく制御する。

【０００８】図８の上位レイヤ符号化部８０３では入力
された動画像の選択領域のみが符号化される。ここでも
MPEGやH.261などの動画像符号化国際標準化方式が用い
られるが、領域情報に基づいて選択領域のみを符号化す
る。ただし下位レイヤで符号化されたフレームは上位レ
イヤでは符号化されない。領域情報は人物部などの選択
領域を示す情報であり、例えば選択領域の位置で値１、
それ以外の位置で値０をとる２値画像である。上位レイ
ヤ符号化部８０３ではまた、動画像の選択領域のみが復
号され、合成部８０５に入力される。

【０００９】領域情報符号化部８０６では領域情報が８
方向量子化符号を利用して符号化される。８方向量子化
符号は図１７のように、次の点への方向を数値で示した
もので、デジタル図形を表現する際に一般的に使用され
るものである。

【００１０】合成部８０５は合成対象フレームで下位レ
イヤフレームが符号化されている場合、下位レイヤの復
号画像を出力する。合成対象フレームで下位レイヤフレ
ームが符号化されていない場合は、合成対象フレームの
前後２枚の符号化された下位レイヤの復号画像と１枚の
上位レイヤ復号画像を用いて動画像を出力する。下位レ
イヤの２枚の画像のフレームは上位レイヤのフレームの
前及び後である。ここで作成された動画像は上位レイヤ
符号化部８０３に入力され、予測符号化に利用される。
合成部８０５における画像作成方法は以下の通りであ
る。

【００１１】まず、２枚の下位レイヤの補間画像が作成
される。時間tにおける下位レイヤの復号画像をB(x, y,
t)（ただし、x, yは空間内の画素位置を表す座標であ
る）とし、２枚の下位レイヤの時間をそれぞれt1, t2、
上位レイヤの時間をt3（ただし、t1<t3<t2である）とす
ると時間t3における補間画像I(x, y, t3)は I(x, y, t3) = [ (t2-t3)B(x, y, t1) + (t3-t1)B(x, y, t2) ]/(t2-t1) (1) によって計算される。次に上で求めた補間画像Iに上位
レイヤの復号画像Eを合成する。このために、領域情報M
(x, y, t)から合成のための重み情報W(x, y, t)を作成
し、次式によって合成画像Sを得る。

【００１２】 S(x, y, t) = [1-W(x, y, t)]I(x, y, t) + E(x, y, t)W(x, y, t) (2) 領域情報M(x, y, t)は選択領域内で１、選択領域外で０
の値をとる２値画像であり、この画像に低域通過フィル
タを複数回施す事によって重み情報W(x, y, t)を得る事
ができる。すなわち重み情報W(x, y, t)は選択領域内で
１、選択領域外で０、選択領域の境界部で０〜１の値を
とる。以上が合成部８０５における画像作成方法の説明
である。

【００１３】下位レイヤ符号化部、上位レイヤ符号化
部、領域情報符号化部で符号化された符号化データは、
図示しない符号化データ統合部で統合され、伝送あるい
は蓄積される。

【００１４】次に従来手法の復号側では、符号化データ
が図示しない符号化データ分解部にて下位レイヤの符号
化データ、上位レイヤの符号化データ、領域情報の符号
化データに分解される。これらの符号化データは図８に
示すように下位レイヤ復号部８０８、上位レイヤ復号部
８０７及び領域情報復号部８０９によって復号される。

【００１５】復号側の合成部８１０は符号化側の合成部
８０５と同一の装置からなり、下位レイヤ復号画像と上
位レイヤ復号画像を用い、符号化側の説明で述べたもの
と同一の方法によって画像が合成される。ここで合成さ
れた動画像はディスプレイに表示されると共に上位レイ
ヤ復号部８０７に入力され、上位レイヤの予測に利用さ
れる。

【００１６】ここでは下位レイヤと上位レイヤの両方を
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ符号化部８
０７、合成部８１０が不要であり、少ないハードウエア
規模で符号化データの一部を再生する事ができる。

【００１７】

【発明が解決しようとする課題】

（１）従来の技術においては(1)式のように２枚の下位
レイヤ復号画像と１枚の上位レイヤ復号画像から出力画
像を得る際に２枚の下位レイヤの補間を行っているた
め、選択領域の位置が時間的に変化する場合に選択領域
周辺に大きな歪みが発生し、画質を大きく劣化させると
いう問題がある。

【００１８】図１８はこの問題を説明するものである。
図１８（ａ）で画像A、Cは下位レイヤの２枚の復号画
像、画像Bは上位レイヤの復号画像であり、表示時間順
はA、B、Cの順である。ただし、選択領域を斜線で示し
ている。また、上位レイヤでは選択領域のみが符号化さ
れるため選択領域外を破線で示している。選択領域が動
いているため、画像Aと画像Cから求めた補間画像は図１
８（ｂ）の網点部のように２つの選択領域が重複したも
のになる。さらに画像Bを重み情報を用いて合成する
と、出力画像は図１８（ｃ）に示すように３つの選択領
域が重複した画像となる。特に上位レイヤの選択領域周
辺（外側）に下位レイヤの選択領域が残像のようにあら
われ、画質が大きく劣化する。動画像全体としては下位
レイヤのみが表示されている時には上記の歪みがなく、
上位レイヤと下位レイヤの合成画像が表示されている時
には上記の歪みが現われるため、フリッカ的歪みが発生
し非常に大きな画質劣化となる。

【００１９】（２）従来の技術においては領域情報の符
号化に８方向量子化符号（図１７）を用いているが、低
ビットレートに応用する場合や領域の形状が複雑になる
場合などに、領域情報のデータ量の全符号化データ量に
占める割合が割合が大きくなるため画質劣化の要因とな
る問題がある。

【００２０】（３）従来の技術においては領域情報に低
域通過フィルタを複数回施す事によって重み情報を得て
いるが、フィルタ操作を複数回行うため処理量が増大す
るという問題がある。

【００２１】（４）従来の技術においては予測符号化を
用いているが、下位レイヤでシーンチェンジがある場合
にも予測符号化を用いることがあり、大きな歪みが発生
する。下位レイヤでの歪みは上位レイヤにも波及するた
め、長時間に渡って歪みが持続するという問題がある。

【００２２】（５）従来の技術においては下位レイヤで
MPEGやH.261などの動画像符号化国際標準化方式が用い
られるため、選択領域とそれ以外の領域の間で画質の差
があまりない。これに対し上位レイヤでは選択領域だけ
が高画質で符号化されるため選択領域での画質が時間的
に変化し、これがフリッカ的な歪みとなって検知される
という問題がある。

【００２３】本発明の目的はこれらの問題を解決し、符
号化後のデータ量を削減する一方復号画像の品質を劣化
させないような符号化装置、及び復号装置を提供するこ
とにある。

【００２４】

【課題を解決するための手段】本願請求項１に係る動画
像符号化装置は、１つの動画像シーケンスを低いフレー
ムレートで符号化する下位レイヤ符号化手段と、前記動
画像シーケンスの１もしくは複数の特定部品領域のみを
高いフレームレートで符号化する上位レイヤ符号化手段
と、前記上位レイヤの動画像シーケンスを、前記下位レ
イヤの動画像シーケンスに合成して、前記上位レイヤ符
号化手段による予測符号化に利用するための動画像を作
成する合成手段とを備えた画像符号化装置において、前
記特定部品領域を示す２値の領域情報を水平方向に走査
して各行の長さを検出する水平長さ検出手段と、該水平
長さ検出手段で検出された水平長から水平方向の重み関
数を求める第１の重み関数決定手段と、前記特定部品領
域を示す２値の領域情報を垂直方向に走査して各列の長
さを検出する垂直長さ検出手段と、該垂直長さ検出手段
で検出された垂直長から垂直方向の重み関数を求める第
２の重み関数決定手段と、前記水平及び垂直方向の重み
関数から前記領域情報に対応する多値の重み情報を生成
する重み情報生成手段とを備え、前記合成手段は、前記
多値の重み情報に基づき、前記上記レイヤの動画像シー
ケンスを、荷重平均によって前記下位レイヤの動画像シ
ーケンスに合成するものである。本願請求項２に係る動
画像復号装置は、１つの動画像シーケンスを低いフレー
ムレートで符号化した符号化データを復号する下位レイ
ヤ復号手段と、前記動画像シーケンスの１もしくは複数
の特定部品領域のみを高いフレームレートで符号化した
符号化データを復号する上位レイヤ復号手段と、前記上
位レイヤの動画像シーケンスを、前記下位レイヤの動画
像シーケンスに合成する合成手段とを備えた画像復号装
置において、前記特定部品領域を示す２値の領域情報を
水平方向に走査して各行の長さを検出する水平長さ検出
手段と、該水平長さ検出手段で検出された水平長から水
平方向の重み関数を求める第１の重み関数決定手段と、
前記特定部品領域を示す２値の領域情報を垂直方向に走
査して各列の長さを検出する垂直長さ検出手段と、該垂
直長さ検出手段で検出された垂直長から垂直方向の重み
関数を求める第２の重み関数決定手段と、前記水平及び
垂直方向の重み関数から前記領域情報に対応する多値の
重み情報を生成する重み情報生成手段とを備え、前記合
成手段は、前記多値の重み情報に基づき、前記上記レイ
ヤの動画像シーケンスを、荷重平均によって前記下位レ
イヤの動画像シーケンスに合成するものである。

【００２５】

【発明の実施の形態】本発明の第１の実施例は、図８の
合成部８０５で発生する問題を解決するものである。そ
して、２枚の下位レイヤ復号画像から画像を合成する
際、上位レイヤの選択領域の周辺に残像のような歪みを
発生させない画像合成装置に関するものである。図１は
第１の実施例の画像合成装置を示すブロック図である。

【００２６】図１の第１の領域抽出部１０１は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から第１の領域でありかつ第２の領域でない領域を抽出
する。図１０（ａ）で第１の領域情報を点線で（点線内
部が値０、点線外部が値１を持つものとする）表し、同
様に第２の領域情報を破線であらわすとすると、第１の
領域抽出部１０１で抽出される領域は図１０の斜線部と
なる。

【００２７】図１の第２の領域抽出部１０２は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から第２の領域領域でありかつ第１の領域でない領域を
抽出する。図１０（ａ）の場合、網点部が抽出される。

【００２８】図１のコントローラ１０３は、第１の領域
抽出部１０１及び第２の領域抽出部１０２の出力により
スイッチ１０４を制御する部分である。すなわち、注目
画素位置が第１の領域のみの場合にはスイッチ１０４を
第２の復号画像側に接続し、注目画素位置が第２の領域
のみの場合にはスイッチ１０４を第１の復号側に接続
し、それ以外の場合にはスイッチ１０４を補間画像作成
部１０５からの出力に接続する。

【００２９】図１の補間画像作成部１０５は、下位レイ
ヤの第１の復号画像と下位レイヤの第２の復号画像との
補間画像を［従来の技術］で述べた式(1)に従って計算
する。ただし式(1)でB(x, y, t1)は第１の復号画像、B
(x, y, t2)は第２の復号画像、I(x, y, t3) は補間画像
であり、t1, t2, t3はそれぞれ第１の復号画像、第２の
復号画像及び補間画像の時間である。

【００３０】以上のようにして画像を作成するので、例
えば図１０（ａ）の場合、斜線部では第２の復号画像が
使用されるため選択領域外部の背景画素があらわれ、網
点部では第１の復号画像が使用されるため選択領域外部
の背景画素があらわれ、それ以外の部分では第1の復号
画像と第2の復号画像の補間画像があらわれる。このよ
うにして作成された画像の上に図１の加重平均部１０６
によって上位レイヤの復号画像を重ねるため、合成され
た画像は図１０（ｂ）のように選択領域（斜線部分）周
辺に残像がなく、歪みの少ない画像が得られる。図１の
加重平均部１０６は、上記の補間画像と上位レイヤの復
号画像を加重平均によって合成する。合成方法について
は上記［従来の技術］で述べたのでここでは説明を省略
する。

【００３１】上述の第１の実施例においては図１に示す
加重平均部１０５を設けたが、そのかわりに第１の復号
画像B(x,y,t1)と第２の復号画像B(x,y,t2)のうち上位レ
イヤの時間であるt3に時間的に近い復号画像の画素値を
用いるようにしても良い。その場合は各画像のフレーム
番号を用いて、t3-t1 < t1-t2の時は I(x, y, t3) = B(x, y, t1) とし、それ以外の時は I(x, y, t3) = B(x, y, t2) とする。ただし、t1, t2, t3はそれぞれ第１の復号画
像、第２の復号画像及び上位レイヤの復号画像の時間で
ある。

【００３２】次に、本発明の第２の実施例を説明する。
本実施例は第１の実施例の画像合成装置において、下位
レイヤの復号画像の動き情報を考慮してより正確に画像
を合成する画像合成装置に関するものである。図２は動
きパラメータを推定し、２枚の復号画像とそれらに対応
する２枚の領域情報を変形する装置のブロック図を示す
ものである。

【００３３】図２の動きパラメータ推定部２０１では、
下位レイヤにおける第１の復号画像から第２の復号画像
への動き情報を推定する。例えばブロック単位の動ベク
トルを求めたり、画像全体の動き（並行移動、回転、拡
大縮小など）を求め、動きパラメータとする。

【００３４】図２の変形部２０２では、第１の復号画
像、第２の復号画像、第１の領域情報、第２の領域情報
をそれぞれ推定された動きパラメータによって、合成対
象フレームの時間的位置に基づき変形する。例えば動き
パラメータとして第１の復号画像から第２の復号画像へ
の動ベクトル(MVx,MVy)が求められているとする。ここ
でMVxは動ベクトルの水平成分、MVyは動ベクトルの垂直
成分である。このとき、第１の復号画像から補間画像へ
の動ベクトルを (t3-t1)/(t2-t1)(MVx, MVy) によって計算し、第１の復号画像をこの動ベクトルにて
シフトする。動きパラメータとして回転、拡大縮小など
を用いる場合は単なるシフトではなく変形を伴う。図２
では変形されたデータをそれぞれa, b, c, dで表してい
るが、aは図１の第１の復号画像、bは図１の第２の復号
画像、cは図１の第１の領域情報、dは図１の第２の領域
情報として図１に示した画像合成装置に入力され、合成
画像が作成される。第２の実施例では２枚の復号画像か
ら動きパラメータを推定するようにしたが、予測符号化
の際には画像の各ブロックの動ベクトルが符号化データ
に含まれているのが一般的であるので、これらの動ベク
トルを利用してもよい。例えば復号された動ベクトルの
平均値を第１の復号画像から第２の復号画像への画像全
体の動ベクトルとしたり、あるいは復号された動ベクト
ルの頻度分布を求め、最も頻度の高いベクトルを第１の
復号画像から第２の復号画像への画像全体の動ベクトル
としても良い。上記の処理は水平方向・垂直方向で独立
して行われる。

【００３５】次に、本発明の第３の実施例を説明する。
第３の実施例は、領域情報を効率良く符号化する領域情
報符号化装置に関するものである。図３及び図４は本実
施例のブロック図であり、図３は符号化側、図４は復号
側のものである。

【００３６】図３の領域情報近似部３０１は、領域情報
を複数の図形で近似する。図１１に近似の例を示す。こ
の例では図形として矩形が用いられ、人物の領域情報
（斜線部）が２個の矩形で近似されている。矩形１は人
物の頭部を、矩形２は人物の胸部を表している。

【００３７】図３の領域近似情報符号化部３０２は、上
記の近似された領域情報を符号化する部分である。図１
１のように矩形で近似された場合には各矩形の左上の座
標値と矩形の大きさを固定長で符号化すれば良い。ある
いは楕円で近似された場合には、楕円の中心点の座標、
長軸の長さ及び短軸の長さを固定長で符号化すれば良
い。近似された領域情報と符号化されたデータは選択部
３０４に送られれる。

【００３８】図３の領域情報符号化部３０３は、［従来
の技術］で述べた領域情報符号化部８０６と同様に領域
情報を近似せず８方向量子化符号を用いて符号化する。
領域情報と符号化されたデータは選択部３０４に送られ
れる。

【００３９】図３の選択部３０４は、３０２の出力か３
０３の出力のいずれかを選択する。３０２の出力が選択
された時は領域近似情報の符号化データを１ビットの選
択情報（例えば０）と共に図示しない符号化データ統合
部に送り、領域近似情報を図示しない合成部に送る。ま
た、３０３の出力が選択された時は近似しない領域情報
の符号化データを１ビットの選択情報（例えば１）と共
に図示しない符号化データ統合部に送り、近似しない領
域情報を本発明の画像合成部に送る。画像合成部は本発
明の第１の実施例及び第２の実施例で説明したものであ
る。

【００４０】選択部３０４における選択手法としては、
例えば符号化データ量の小さい方を選択する手法、ある
いは近似しない領域情報の符号化データ量がある閾値以
内の時は３０３の出力を選び、閾値を越える時には３０
２の出力を選ぶようにする。このような選択を行うこと
により、領域情報の符号化歪みを抑えながら、符号化デ
ータ量を削減することができる。

【００４１】次に第３の実施例の復号側（図４）につい
て説明する。図４の選択部４０１は符号化データに含ま
れる１ビットの選択情報をもとに、符号化データが領域
近似情報のものであるか、領域情報のものであるかを選
択する。

【００４２】図４の領域近似情報復号部４０２は、領域
近似情報を復号する。図４の領域情報復号部４０３は、
近似していない領域情報を復号する。図４のスイッチ４
０４は選択部４０１からの信号によってコントロールさ
れ、合成部への出力として領域近似情報かあるいは近似
していない領域情報を選択する。

【００４３】以上のようにして領域近似情報と、近似し
ないもとの領域情報とを適応的に選択して符号化し復号
するので、領域情報が複雑で膨大なデータ量となる場合
には領域近似情報の符号化が選択され、少ない情報量で
領域情報を符号化することができる。

【００４４】上記の例では近似しない領域情報は８方向
量子化符号によって符号化したが、さらに予測符号化を
組み合わせて効率良く符号化しても良い。８方向量子化
符号は図１７のように０〜７の値を持つが、予測符号化
によって差分をとると−７〜７となってしまう。しか
し、差分値が−４以下の時は８を加え、差分値が４より
大きい時は８を引くことにより、差分値を−３〜４に抑
えることができる。復号時には前値に差分値を加え、そ
の結果が負の場合には８を加え、７を越える場合には８
を引くことにより、もとの８方向量子化値を得ることが
できる。以下にその例を示す。

【００４５】 ８方向量子化値 1, 6, 2, 1, 3, ... 差分値 5, -4, -1, -2, ... 変換値 -3, 4, -1, 2, ... 復号値 1, 6, 2, 1, 3, ... 例えば値６の前値との差分は５であるが、これから８を
引くことで−３となり、復号時には前値１に復号値−３
に加えることで−２が得られるが値が負であるためこれ
に８を加え、復号値６を得る。このような予測符号化
は、８方向量子化符号が巡回しているという性質を利用
したものである。

【００４６】第３の実施例では近似された領域情報の符
号化は各画像で独立に行われているが、一般に動画像は
フレーム間の相関が高いため、前回の符号化結果を利用
して符号化効率を高めるようにしても良い。すなわち、
近似された領域情報の符号化がフレーム間で連続する場
合、領域近似情報の差分のみを符号化するようにする。
例えば領域が矩形で近似され、前フレームの矩形が 左上の点：(10, 20)、大きさ：(100, 150) であらわされ、現フレームの矩形が 左上の点：(13, 18)、大きさ：(100, 152) であらわされる場合は現フレームでは 左上の差分値：(3, 2)、大きさの差分値：(0, 2) を符号化する。領域の形状変化が小さい場合には差分値
はいずれも０付近に集中するため、ハフマン符号化など
のエントロピー符号化を用いれば、領域情報の符号量が
大幅に削減できる。さらに矩形が変化しない場合が多い
時には、現フレームにおいて1ビットの情報を矩形の変
化情報として符号化すればよい。すなわち、矩形が変化
しない時にはこれを表す１ビットの情報（例えば０）の
みを符号化し、矩形が変化する時には１ビットの情報
（例えば１）と上記の差分情報を符号化する。

【００４７】次に、本発明の第４の実施例を説明する。
第４の実施例は、領域情報から多値の重み情報を作成す
る重み情報作成装置に関するものである。図５は本実施
例のブロック図である。

【００４８】図５の水平方向重み作成部５０１は、領域
情報を水平方向に走査して領域情報が１の部分を求め、
それに対応した重み関数を求める。具体的には領域の左
端の点の座標x0と領域の水平方向の長さNを求め、図１
２（ａ）に示す様な水平方向重み関数を計算する。重み
関数は直線を組み合わせて作成しても良いし、直線と三
角関数を組み合わせて作成しても良い。後者の例とし
て、三角関数部分の幅をWとする時、 N > 2Wならば、 0≦x＜W の時 sin[(x+1/2)π/(2W)]*sin[(x+1/2)π/(2W)] W≦x＜N-W の時 1 N-W≦x＜N の時 sin[(x-N+2W+1/2)π/(2W)]*sin[(x-N+2W+1/2)π/(2W)] N ≦ 2Wならば、 sin2[(x+1/2)π/N]*sin[(x+1/2)π/N] を用いることができる。ただし、領域の左端の点x0は０
としている。

【００４９】図５の垂直方向重み作成部５０２は、領域
情報を垂直方向に走査して領域情報が１の部分を求め、
それに対応した垂直方向重み関数を求める。具体的には
領域の上端の点の座標y0と領域の垂直方向の長さMを求
め、図１２（ｂ）に示す様な垂直方向重み関数を計算す
る。

【００５０】乗算器５０３は５０１と５０２の出力を画
素位置毎に掛け合わせ、重み情報を作成する。

【００５１】このようにして重み情報を作成すれば、領
域情報の形に合わせた重み情報を少ない演算量で求める
ことができる。

【００５２】次に、本発明の第５の実施例を説明する。
第５の実施例は、下位レイヤあるいは上位レイヤの予測
符号化において、フレーム内符号化とフレーム間予測符
号化を適応的に切替えるモード切替え方法に関するもの
である。図６は本実施例のブロック図である。

【００５３】図６の平均値計算部６０１は、原画像と領
域情報を入力とし、領域内部の画素値について画素値の
平均を計算する。平均値は差分器６０３と記憶部６０２
に入力される。

【００５４】図６の差分器６０３は記憶部６０２に記憶
された前回の平均値と平均値計算部６０１から出力され
た今回の平均値との差を計算する。

【００５５】図６の判定部６０４は差分器６０３で計算
された差分値の絶対値をあらかじめ定められた閾値と比
較し、モード切替え情報を出力する。差分値の絶対値が
閾値よりも大きい場合は、選択領域においてシーンチェ
ンジがあると判定し、常にフレーム内符号化を行うよう
にモード切替え情報を発生する。

【００５６】このようにモード切替えを選択領域のシー
ンチェンジを判定しながら行うことにより、例えば人物
が物影から現れたり、物体の表裏が反転したりする場合
にも良好な符号化画像を得ることができる。この実施例
は下位レイヤの符号化において選択領域とそれ以外の領
域を分離して符号化する方式に応用することができる。
その場合は領域情報を下位レイヤに入力するようにす
る。さらに、本実施例は上位レイヤの選択領域のみの符
号化に応用することもできる。

【００５７】次に、本発明の第６の実施例を説明する。
第６の実施例は、下位レイヤの符号化において、選択領
域とそれ以外の領域を分離して符号化する場合のデータ
量制御に関するものである。図７は本実施例のブロック
図である。

【００５８】図７の符号化部７０３は選択領域とそれ以
外の領域を分離して符号化する。領域判定部７０１には
領域情報が入力され、符号化している領域が選択領域内
であるか選択領域外であるかを判定する。発生符号量算
出部７０５ではこの判定結果に基づき、各領域での発生
符号量を算出する。目標符号量配分比算出部７０４で
は、各領域に割り当てるフレーム単位の目標符号量の配
分比を決定する。配分比の決定方法については後述す
る。量子化幅算出部では、目標符号量に応じて量子化幅
を決定するが、この決定方法についは従来法と同様であ
る。

【００５９】ここで、目標符号量配分比算出部における
配分比決定方法について説明する。まず、該当フレーム
の目標符号量Biは次式を用いて計算される。

【００６０】Bi=(使用可能符号量-前フレームまでの使
用符号量)/残りフレーム数 この目標符号量Biをある比率で選択領域内と選択領域外
に割り当てるのであるが、ここでは適当な固定比R0と前
フレーム複雑度比率Rpを用いてその比率を決定する。前
フレーム複雑度比率Rpは次式で決定される。

【００６１】Rp=(gen_bitF*avg_qF)/(gen_bitF*avg_qF+
gen_bitB*avg_qB) ここに、gen_bitF：前フレーム選択領域内発生符号量 gen_bitB：前フレーム選択領域外発生符号量 avg_qF：前フレームの選択領域内平均量子化幅 avg_qB：前フレームの選択領域外平均量子化幅 である。選択領域を高画質にするには、量子化幅を制御
し、選択領域内の平均量子化幅が選択領域外の平均量子
化幅よりもある程度小さな状態を保ち、しかも動画像シ
ーケンス内での画像の変化にも追随することが望まし
い。一般に、固定比R0による配分は選択領域内と選択領
域外の平均量子化幅の関係をほぼ一定に保つのに適し、
前フレーム複雑度比率Rpによる配分は動画像シーケンス
内での画像の変化に追随させるのに適する。そこで、本
発明では目標符号量配分比Raを固定比R0と前フレーム複
雑度比率Rpの平均とし、両者の長所を兼ね備えた制御を
行なう。すなわち、 Ra=(R0+Rp)/2 である。

【００６２】例えば、選択領域において固定比R0と前フ
レーム複雑度比率Rpが動画像シーケンス全体において図
１３の点線のようになったとする。このとき、目標符号
量配分比Raは図１３の実線のようになり、固定比R0から
あまり離れず、しかもある程度画像の変化を反映するこ
とがわかる。このとき、選択領域外の固定比を(1-R0)、
前フレーム複雑度比率を(1-Rp)とすると、両者の平均で
ある目標符号量配分比(1-Ra)は図１４の実線に示すよう
になり、選択領域内と選択領域外の目標符号量配分比を
加えたものは1となる。

【００６３】このようにして量子化幅を適切に制御する
ことができるが、フレームによっては発生符号量が目標
符号量Biを越える場合があるため、シーケンス全体のビ
ットレートが所定のビットレートに収まらないことが起
こりうる。そのような場合には、次に述べるような方法
をとることができる。

【００６４】選択領域内の目標符号量配分比Raは上述し
た通り、固定比R0と前フレーム複雑度比率Rpの平均とす
る。一方、選択領域外の目標符号量配分比は選択領域外
の固定比(1-R0)と前フレーム複雑度比率(1-Rp)の最小値
Rmとする。このようにすると選択領域外の目標符号量配
分比Rmの変化は、例えば図１５の実線に示すようにな
る。このとき、 Ra+Rm≦1 となることから、該当フレームの目標符号量を小さくす
ることができる。すなわち、背景領域の目標符号量を抑
えることにより、動画像シーケンス全体のビットレート
を所定のビットレートに収めることができる。

【００６５】

【発明の効果】本発明の画像符号化装置及び画像復号装
置によれば、下位レイヤの動画像シーケンスに、上位レ
イヤの部品動画像を合成する際、２値の領域情報を水平
方向に走査して各行の長さを検出し、水平方向の重み関
数を求めるとともに、２値の領域情報を垂直方向に走査
して各列の長さを検出し、垂直方向の重み関数を求め、
前記水平及び垂直方向の重み関数から領域情報に対応す
る多値の重み情報を生成するので、少ない処理量で重み
情報を生成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を説明するブロック図で
ある。

【図２】本発明の第２の実施例を説明するブロック図で
ある。

【図３】本発明の第３の実施例の符号化側を説明するブ
ロック図である。

【図４】本発明の第３の実施例の復号側を説明するブロ
ック図である。

【図５】本発明の第４の実施例を説明するブロック図で
ある。

【図６】本発明の第５の実施例を説明するブロック図で
ある。

【図７】本発明の第６の実施例を説明するブロック図で
ある。

【図８】従来の符号化方式及び復号方式を説明するブロ
ック図である。

【図９】従来の符号量制御方法を説明するブロック図で
ある。

【図１０】本発明の第１の実施例の効果を説明する図で
ある。

【図１１】本発明において領域情報を矩形で近似する例
を示した図である。

【図１２】本発明による重み情報の作成法方の例を示し
た図である。

【図１３】本発明の符号量制御方法における選択領域の
目標符号量比率を説明する図である。

【図１４】本発明の符号量制御方法における選択領域外
の目標符号量比率を説明する図である。

【図１５】本発明の他の符号量制御方法における選択領
域外の目標符号量比率を説明する図である。

【図１６】従来法の概念を示す図である。

【図１７】８方向量子化符号を説明する図である。

【図１８】従来法の問題点を説明する図である。

【符号の説明】

１０１ 第１の領域抽出部 １０２ 第２の領域抽出部 １０３ コントローラ １０４ スイッチ １０５ 補間画像作成部 １０６ 加重平均部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 野村 敏男 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 １つの動画像シーケンスを低いフレーム
   レートで符号化する下位レイヤ符号化手段と、 前記動画像シーケンスの１もしくは複数の特定部品領域
   のみを高いフレームレートで符号化する上位レイヤ符号
   化手段と、 前記上位レイヤの動画像シーケンスを、前記下位レイヤ
   の動画像シーケンスに合成して、前記上位レイヤ符号化
   手段による予測符号化に利用するための動画像を作成す
   る合成手段とを備えた画像符号化装置において、 前記特定部品領域を示す２値の領域情報を水平方向に走
   査して各行の長さを検出する水平長さ検出手段と、 該水平長さ検出手段で検出された水平長から水平方向の
   重み関数を求める第１の重み関数決定手段と、 前記特定部品領域を示す２値の領域情報を垂直方向に走
   査して各列の長さを検出する垂直長さ検出手段と、 該垂直長さ検出手段で検出された垂直長から垂直方向の
   重み関数を求める第２の重み関数決定手段と、 前記水平及び垂直方向の重み関数から前記領域情報に対
   応する多値の重み情報を生成する重み情報生成手段とを
   備え、 前記合成手段は、前記多値の重み情報に基づき、前記上
   記レイヤの動画像シーケンスを、荷重平均によって前記
   下位レイヤの動画像シーケンスに合成することを特徴と
   する画像符号化装置。
2. 【請求項２】 １つの動画像シーケンスを低いフレーム
   レートで符号化した符号化データを復号する下位レイヤ
   復号手段と、 前記動画像シーケンスの１もしくは複数の特定部品領域
   のみを高いフレームレートで符号化した符号化データを
   復号する上位レイヤ復号手段と、 前記上位レイヤの動画像シーケンスを、前記下位レイヤ
   の動画像シーケンスに合成する合成手段とを備えた画像
   復号装置において、 前記特定部品領域を示す２値の領域情報を水平方向に走
   査して各行の長さを検出する水平長さ検出手段と、 該水平長さ検出手段で検出された水平長から水平方向の
   重み関数を求める第１ の重み関数決定手段と、 前記特定部品領域を示す２値の領域情報を垂直方向に走
   査して各列の長さを検出する垂直長さ検出手段と、 該垂直長さ検出手段で検出された垂直長から垂直方向の
   重み関数を求める第２の重み関数決定手段と、 前記水平及び垂直方向の重み関数から前記領域情報に対
   応する多値の重み情報を生成する重み情報生成手段とを
   備え、 前記合成手段は、前記多値の重み情報に基づき、前記上
   位レイヤの動画像シーケンスを、荷重平均によって前記
   下位レイヤの動画像シーケンスに合成することを特徴と
   する画像復号装置 。