JPH09121346A

JPH09121346A - 画像符号化装置及び画像復号装置

Info

Publication number: JPH09121346A
Application number: JP27550195A
Authority: JP
Inventors: Hiroyuki Katada; 裕之堅田; Hiroshi Kusao; 寛草尾; Norio Ito; 典男伊藤; Toshio Nomura; 敏男野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-10-24
Filing date: 1995-10-24
Publication date: 1997-05-06
Anticipated expiration: 2015-10-24
Also published as: JP3101195B2

Abstract

(57)【要約】【課題】１つの動画像シーケンスを低いフレームレー
トで符号化する下位レイヤと、特定部品領域のみを高い
フレームレートで符号化する上位レイヤに分離し、上位
レイヤまでの復号時に、上位レイヤの部品領域を下位レ
イヤに合成して再生する従来の技術においては、選択領
域の位置が時間的に変化する場合に選択領域周辺に大き
な歪が発生し、画質を大きく劣化させる。【解決手段】時間的に前に存在する下位レイヤにある
第１部品領域情報と時間的に後に存在する下位レイヤに
ある第２部品領域情報を用い、合成する下位レイヤフレ
ーム上で第１部品領域と第２部品領域が重なる領域もし
くは第１部品領域でも第２部品領域でもない領域に対し
て時間的に前及び後に存在する下位レイヤフレームを加
重平均後に、合成する下位レイヤフレーム上で第１部品
領域のみの領域に対しては時間的に後にある下位レイヤ
フレームを用い、前記合成する下位レイヤフレーム上で
第２部品領域のみの領域に対しては時間的に前にある下
位レイヤフレームを用いることにより、下位レイヤフレ
ームを合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はディジタル画像処理
の分野に属し、画像データを高能率に符号化する動画像
符号化及びこの動画像符号化装置で作成された符号化デ
ータを復号する動画像復号装置に関するものである。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。

【０００３】文献「階層表現と多重テンプレートを用い
た画像符号化」（信学技報IE94-159,pp99-106 (1995))
では、背景となる動画像シーケンスと前景となる部品動
画像の動画像シーケンス（例えばクロマキー技術によっ
て切り出された人物画像や魚の映像など）を合成して新
たなシーケンスを作成する手法が述べられている。

【０００４】また文献「画像内容に基づく時間階層符号
化」（"Temporal Scalability based on image conten
t", ISO/IEC/ JTC1/SC29/WG11 MPEG95/211(1995)）で
は、フレームレートの低い動画像シーケンスにフレーム
レートの高い部品動画像の動画像シーケンスを合成して
新たなシーケンスを作成する手法が述べられている。こ
の方式では図１６に示すように下位レイヤでは低いフレ
ームレートで予測符号化が行われ、上位レイヤでは選択
領域（斜線部）についてのみ高いフレームレートで予測
符号化が行われる。ただし、下位レイヤで符号化したフ
レームは上位レイヤでは符号化せず、下位レイヤの復号
画像をそのままコピーして用いる。また、選択領域とし
ては例えば人物部分など視聴者の注目が集まる部分が選
ばれているものとする。

【０００５】図８に従来手法のブロック図を示す。まず
従来手法の符号化側では、入力動画像は第１の駒落し部
８０１及び第２の駒落し部８０２によってフレーム間引
きされ、入力画像のフレームレート以下とされた後それ
ぞれ上位レイヤ符号化部及び下位レイヤ符号化部に入力
される。ここで上位レイヤのフレームレートは下位レイ
ヤのフレームレート以上であるとする。

【０００６】下位レイヤ符号化部８０４では入力された
動画像全体が符号化される。符号化方式としては例えば
MPEGやH.261などの動画像符号化国際標準化方式が用い
られる。下位レイヤ符号化部８０４ではまた、下位レイ
ヤの復号画像が作成され、予測符号化に利用されると同
時に合成部８０５に入力される。

【０００７】図９は従来の符号化装置における符号量制
御部を示すブロック図である。図９の符号化部９０２は
動き補償予測、直交変換、量子化、可変長符号化などを
用いて動画像符号化を行う。また、量子化幅算出部９０
１は符号化部９０２で用いる量子化幅を算出し、発生符
号量算出部９０３は符号化データの累積を計算する。一
般に発生符号量が大きくなるとこれを抑えるために量子
化幅を大きく、逆に発生符号量が小さくなると量子化幅
を小さく制御する。

【０００８】図８の上位レイヤ符号化部８０３では入力
された動画像の選択領域のみが符号化される。ここでも
MPEGやH.261などの動画像符号化国際標準化方式が用い
られるが、領域情報に基づいて選択領域のみを符号化す
る。ただし下位レイヤで符号化されたフレームは上位レ
イヤでは符号化されない。領域情報は人物部などの選択
領域を示す情報であり、例えば選択領域の位置で値１、
それ以外の位置で値０をとる２値画像である。上位レイ
ヤ符号化部８０３ではまた、動画像の選択領域のみが復
号され、合成部８０５に入力される。

【０００９】領域情報符号化部８０６では領域情報が８
方向量子化符号を利用して符号化される。８方向量子化
符号は図１７のように、次の点への方向を数値で示した
もので、デジタル図形を表現する際に一般的に使用され
るものである。

【００１０】合成部８０５は合成対象フレームで下位レ
イヤフレームが符号化されている場合、下位レイヤの復
号画像を出力する。合成対象フレームで下位レイヤフレ
ームが符号化されていない場合は、合成対象フレームの
前後２枚の符号化された下位レイヤの復号画像と１枚の
上位レイヤ復号画像を用いて動画像を出力する。下位レ
イヤの２枚の画像のフレームは上位レイヤのフレームの
前及び後である。ここで作成された動画像は上位レイヤ
符号化部８０３に入力され、予測符号化に利用される。
合成部８０５における画像作成方法は以下の通りであ
る。

【００１１】まず、２枚の下位レイヤの補間画像が作成
される。時間tにおける下位レイヤの復号画像をB(x, y,
t)（ただし、x, yは空間内の画素位置を表す座標であ
る）とし、２枚の下位レイヤの時間をそれぞれt1, t2、
上位レイヤの時間をt3（ただし、t1<t3<t2である）とす
ると時間t3における補間画像I(x, y, t3)は I(x, y, t3) = [ (t2-t3)B(x, y, t1) + (t3-t1)B(x, y, t2) ]/(t2-t1) (1) によって計算される。次に上で求めた補間画像Iに上位
レイヤの復号画像Eを合成する。このために、領域情報M
(x, y, t)から合成のための重み情報W(x, y, t)を作成
し、次式によって合成画像Sを得る。

【００１２】 S(x, y, t) = [1-W(x, y, t)]I(x, y, t) + E(x, y, t)W(x, y, t) (2) 領域情報M(x, y, t)は選択領域内で１、選択領域外で０
の値をとる２値画像であり、この画像に低域通過フィル
タを複数回施す事によって重み情報W(x, y, t)を得る事
ができる。すなわち重み情報W(x, y, t)は選択領域内で
１、選択領域外で０、選択領域の境界部で０〜１の値を
とる。以上が合成部８０５における画像作成方法の説明
である。

【００１３】下位レイヤ符号化部、上位レイヤ符号化
部、領域情報符号化部で符号化された符号化データは、
図示しない符号化データ統合部で統合され、伝送あるい
は蓄積される。

【００１４】次に従来手法の復号側では、符号化データ
が図示しない符号化データ分解部にて下位レイヤの符号
化データ、上位レイヤの符号化データ、領域情報の符号
化データに分解される。これらの符号化データは図８に
示すように下位レイヤ復号部８０８、上位レイヤ復号部
８０７及び領域情報復号部８０９によって復号される。

【００１５】復号側の合成部８１０は符号化側の合成部
８０５と同一の装置からなり、下位レイヤ復号画像と上
位レイヤ復号画像を用い、符号化側の説明で述べたもの
と同一の方法によって画像が合成される。ここで合成さ
れた動画像はディスプレイに表示されると共に上位レイ
ヤ復号部８０７に入力され、上位レイヤの予測に利用さ
れる。

【００１６】ここでは下位レイヤと上位レイヤの両方を
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ符号化部８
０７、合成部８１０が不要であり、少ないハードウエア
規模で符号化データの一部を再生する事ができる。

【００１７】

【発明が解決しようとする課題】

（１）従来の技術においては(1)式のように２枚の下位
レイヤ復号画像と１枚の上位レイヤ復号画像から出力画
像を得る際に２枚の下位レイヤの補間を行っているた
め、選択領域の位置が時間的に変化する場合に選択領域
周辺に大きな歪みが発生し、画質を大きく劣化させると
いう問題がある。

【００１８】図１８はこの問題を説明するものである。
図１８（ａ）で画像A、Cは下位レイヤの２枚の復号画
像、画像Bは上位レイヤの復号画像であり、表示時間順
はA、B、Cの順である。ただし、選択領域を斜線で示し
ている。また、上位レイヤでは選択領域のみが符号化さ
れるため選択領域外を破線で示している。選択領域が動
いているため、画像Aと画像Cから求めた補間画像は図１
８（ｂ）の網点部のように２つの選択領域が重複したも
のになる。さらに画像Bを重み情報を用いて合成する
と、出力画像は図１８（ｃ）に示すように３つの選択領
域が重複した画像となる。特に上位レイヤの選択領域周
辺（外側）に下位レイヤの選択領域が残像のようにあら
われ、画質が大きく劣化する。動画像全体としては下位
レイヤのみが表示されている時には上記の歪みがなく、
上位レイヤと下位レイヤの合成画像が表示されている時
には上記の歪みが現われるため、フリッカ的歪みが発生
し非常に大きな画質劣化となる。

【００１９】（２）従来の技術においては領域情報の符
号化に８方向量子化符号（図１７）を用いているが、低
ビットレートに応用する場合や領域の形状が複雑になる
場合などに、領域情報のデータ量の全符号化データ量に
占める割合が割合が大きくなるため画質劣化の要因とな
る問題がある。

【００２０】（３）従来の技術においては領域情報に低
域通過フィルタを複数回施す事によって重み情報を得て
いるが、フィルタ操作を複数回行うため処理量が増大す
るという問題がある。

【００２１】（４）従来の技術においては予測符号化を
用いているが、下位レイヤでシーンチェンジがある場合
にも予測符号化を用いることがあり、大きな歪みが発生
する。下位レイヤでの歪みは上位レイヤにも波及するた
め、長時間に渡って歪みが持続するという問題がある。

【００２２】（５）従来の技術においては下位レイヤで
MPEGやH.261などの動画像符号化国際標準化方式が用い
られるため、選択領域とそれ以外の領域の間で画質の差
があまりない。これに対し上位レイヤでは選択領域だけ
が高画質で符号化されるため選択領域での画質が時間的
に変化し、これがフリッカ的な歪みとなって検知される
という問題がある。

【００２３】本発明の目的はこれらの問題を解決し、符
号化後のデータ量を削減する一方復号画像の品質を劣化
させないような符号化装置、及び復号装置を提供するこ
とにある。

【００２４】

【課題を解決するための手段】本発明は、上記目的を達
成するために（１）一つの動画像シーケンスを低いフレ
ームレートで符号化する下位レイヤと、前記動画像シー
ケンスの１つもしくは複数の特定部品領域のみを高いフ
レームレートで符号化する上位レイヤとに分離し、上位
レイヤまでの復号時には上位レイヤの部品領域を下位レ
イヤに合成して再生する動画像階層符号化及び復号装置
において、復号の際に上位レイヤのフレーム位置に対応
する下位レイヤフレームが存在しない場合には前後に存
在する下位レイヤを用いて前記存在しない下位レイヤフ
レームの合成を行い、前記合成に当たっては時間的に前
に存在する下位レイヤにある第１部品領域情報と時間的
に後に存在する下位レイヤにある第２部品領域情報を用
い、前記合成する下位レイヤフレーム上で第１部品領域
と第２部品領域が重なる領域もしくは第１部品領域でも
第２部品領域でもない領域に対しては時間的に前及び後
に存在する下位レイヤフレームを加重平均し、前記合成
する下位レイヤフレーム上で第１部品領域のみの領域に
対しては時間的に後にある下位レイヤフレームを用い、
前記合成する下位レイヤフレーム上で第２部品領域のみ
の領域に対しては時間的に前にある下位レイヤフレーム
を用いることにより前記存在しない下位レイヤフレーム
を合成すること、さらには（２）前記（１）の下位レイ
ヤフレーム合成の際に、第１部品領域と第２部品領域が
重なる領域もしくは第１部品領域でも第２部品領域でも
ない領域に対しては前記合成する下位レイヤフレームに
時間的に近い下位レイヤフレームを用いるか、あるいは
第１の下位レイヤフレームのみを用いるか、あるいは第
２の下位レイヤフレームのみを用いること、さらには
（３）前記（１）の下位レイヤフレーム合成の際に、時
間的に前に存在する第１の下位レイヤ画像と時間的に後
に存在する第２の下位レイヤ画像の間の動きパラメータ
を推定する動きパラメータ推定手段と、前記動きパラメ
ータによって第１の下位レイヤ画像、第２の下位レイヤ
画像、第１部品領域及び第２部品領域を、前記合成する
下位レイヤフレームの時間的位置に基づき、それぞれ動
き補償によって変形する変形手段とを備え、変形された
各々の画像及び領域情報を用いて下位レイヤ画像を作成
すること、さらには（４）前記（３）の下位レイヤフレ
ーム合成の際に、下位レイヤの動き補償予測符号化によ
って求めた動ベクトル情報を利用するものであり、前記
（３）の変形手段において各ブロックの動きベクトルを
前記（３）の動きパラメータとするか、あるいは各ブロ
ックの動きベクトルから画像全体の動きを表現するパラ
メータを求めこれを前記（３）の動きパラメータとする
こと、さらには（５）動画像内の物体や部品の領域形状
を表す領域情報を利用して動画像を符号化／復号する場
合、前記領域情報の符号化／復号の際に、領域情報を複
数の図形で近似する領域情報近似手段と、領域近似情報
符号化／復号手段と、領域の近似を行わず符号化する領
域非近似符号化／復号手段と、適応選択手段とを備え、
適応選択手段によって領域近似符号化／復号手段と領域
非近似符号化／復号手段とを適応的に選択することによ
って効率良く領域情報を符号化／復号すること、さらに
は（６）前記（５）の領域非近似情報符号化／復号の際
に、領域情報を８方向量子化データに変換する領域情報
変換手段と、前記８方向量子化データの差分データを求
める差分データ算出手段と、前記差分データを可変長符
号化／復号する可変長符号化／復号手段とを備え、領域
情報を効率良く可逆符号化／復号すること、さらには
（７）前記（５）の領域近似情報符号化／復号の際に、
図形を示す情報のフレーム間差分を求めるフレーム間差
分データ算出手段と、前記差分データを可変長符号化／
復号する可変長符号化／復号手段と、前記差分データが
全て０の場合には領域情報が変化しないことを示す情報
を付け加える変化情報付加手段とを備え、領域近似情報
を効率良く可逆符号化／復号すること、さらには（８）
一つの動画像シーケンスを低いフレームレートで符号化
する下位レイヤと、前記動画像シーケンスの１つもしく
は複数の特定部品領域のみを高いフレームレートで符号
化する上位レイヤとに分離し、符号化、復号する符号化
装置及び復号装置であって、上位レイヤ動画像シーケン
スを加重平均によって下位レイヤ動画像シーケンスに合
成する際に、部品の領域を示す２値の領域情報から加重
平均のための多値の重み情報を作成する重み情報作成装
置において、領域情報を水平に走査して各行の長さを検
出する水平長さ検出手段と、前記水平長から水平方向の
重み関数を求める第１の重み関数決定手段と、領域情報
を垂直に走査して各列の長さを検出する垂直長さ検出手
段と、前記垂直長から垂直方向の重み関数を求める第２
の重み関数決定手段とを備え、水平方向の重みと垂直方
向の重みを用いて領域情報に対応する多値の重み情報を
生成すること、さらには（９）動画像内の物体や部品の
領域形状を表す領域情報を利用して動画像を符号化／復
号する場合、予測符号化とフレーム内符号化を適応的に
切替える際に、入力画像とこれに対応する領域情報を用
いて領域内部の画素値の平均値を算出する平均値算出手
段と、前記平均値を記憶する記憶手段と、前フレームの
平均値と現フレームの平均値から平均値の差分を求める
差分手段と、前記平均値の差分と一定値とを比較する比
較手段を備え、前記差分が前記一定値を越えた時にフレ
ーム内符号化を選択すること、さらには（１０）動画像
シーケンスを背景領域と前景となる複数の部品画像に分
離し、符号化する符号化装置であって、符号量制御に際
して符号化データ及び符号化対象ブロックが部品領域内
か否かを判定する領域判定手段と、前記部品領域で発生
した符号化データ量と前記背景領域で発生した符号化デ
ータ量とを別々に算出する発生符号量算出手段と、前記
部品領域と前記背景領域の目標符号量の比率を定める目
標符号量配分比算出手段を設け、前記目標符号量の配分
比を適切に定めることを特徴としたものである。

【００２５】

【発明の実施の形態】本発明の第１の実施例は上記［課
題を解決するための手段］の（１）、すなわち図８の合
成部８０５で発生する問題を解決するものである。そし
て２枚の下位レイヤ復号画像から画像を合成する際、上
位レイヤの選択領域の周辺に残像のような歪みを発生さ
せない画像合成装置に関するものである。図１は第１の
実施例の画像合成装置を示すブロック図である。

【００２６】図１の第１の領域抽出部１０１は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から第１の領域でありかつ第２の領域でない領域を抽出
する。図１０（ａ）で第１の領域情報を点線で（点線内
部が値０、点線外部が値１を持つものとする）表し、同
様に第２の領域情報を破線であらわすとすると、第１の
領域抽出部１０１で抽出される領域は図１０の斜線部と
なる。

【００２７】図１の第２の領域抽出部１０２は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から第２の領域領域でありかつ第１の領域でない領域を
抽出する。図１０（ａ）の場合、網点部が抽出される。

【００２８】図１のコントローラ１０３は、第１の領域
抽出部１０１及び第２の領域抽出部１０２の出力により
スイッチ１０４を制御する部分である。すなわち、注目
画素位置が第１の領域のみの場合にはスイッチ１０４を
第２の復号画像側に接続し、注目画素位置が第２の領域
のみの場合にはスイッチ１０４を第１の復号側に接続
し、それ以外の場合にはスイッチ１０４を補間画像作成
部１０５からの出力に接続する。

【００２９】図１の補間画像作成部１０５は、下位レイ
ヤの第１の復号画像と下位レイヤの第２の復号画像との
補間画像を［従来の技術］で述べた式(1)に従って計算
する。ただし式(1)でB(x, y, t1)は第１の復号画像、B
(x, y, t2)は第２の復号画像、I(x, y, t3) は補間画像
であり、t1, t2, t3はそれぞれ第１の復号画像、第２の
復号画像及び補間画像の時間である。

【００３０】以上のようにして画像を作成するので、例
えば図１０（ａ）の場合、斜線部では第２の復号画像が
使用されるため選択領域外部の背景画素があらわれ、網
点部では第１の復号画像が使用されるため選択領域外部
の背景画素があらわれ、それ以外の部分では第1の復号
画像と第2の復号画像の補間画像があらわれる。このよ
うにして作成された画像の上に図１の加重平均部１０６
によって上位レイヤの復号画像を重ねるため、合成され
た画像は図１０（ｂ）のように選択領域（斜線部分）周
辺に残像がなく、歪みの少ない画像が得られる。図１の
加重平均部１０６は、上記の補間画像と上位レイヤの復
号画像を加重平均によって合成する。合成方法について
は上記［従来の技術］で述べたのでここでは説明を省略
する。

【００３１】上述の第１の実施例においては図１に示す
加重平均部１０５を設けたが、そのかわりに第１の復号
画像B(x,y,t1)と第２の復号画像B(x,y,t2)のうち上位レ
イヤの時間であるt3に時間的に近い復号画像の画素値を
用いるようにしても良い。その場合は各画像のフレーム
番号を用いて、t3-t1 < t1-t2の時は I(x, y, t3) = B(x, y, t1) とし、それ以外の時は I(x, y, t3) = B(x, y, t2) とする。ただし、t1, t2, t3はそれぞれ第１の復号画
像、第２の復号画像及び上位レイヤの復号画像の時間で
ある。

【００３２】次に、本発明の第２の実施例を説明する。
本実施例は第１の実施例の画像合成装置において、下位
レイヤの復号画像の動き情報を考慮してより正確に画像
を合成する画像合成装置に関するものである。図２は動
きパラメータを推定し、２枚の復号画像とそれらに対応
する２枚の領域情報を変形する装置のブロック図を示す
ものである。

【００３３】図２の動きパラメータ推定部２０１では、
下位レイヤにおける第１の復号画像から第２の復号画像
への動き情報を推定する。例えばブロック単位の動ベク
トルを求めたり、画像全体の動き（並行移動、回転、拡
大縮小など）を求め、動きパラメータとする。

【００３４】図２の変形部２０２では、第１の復号画
像、第２の復号画像、第１の領域情報、第２の領域情報
をそれぞれ推定された動きパラメータによって、合成対
象フレームの時間的位置に基づき変形する。例えば動き
パラメータとして第１の復号画像から第２の復号画像へ
の動ベクトル(MVx,MVy)が求められているとする。ここ
でMVxは動ベクトルの水平成分、MVyは動ベクトルの垂直
成分である。このとき、第１の復号画像から補間画像へ
の動ベクトルを (t3-t1)/(t2-t1)(MVx, MVy) によって計算し、第１の復号画像をこの動ベクトルにて
シフトする。動きパラメータとして回転、拡大縮小など
を用いる場合は単なるシフトではなく変形を伴う。図２
では変形されたデータをそれぞれa, b, c, dで表してい
るが、aは図１の第１の復号画像、bは図１の第２の復号
画像、cは図１の第１の領域情報、dは図１の第２の領域
情報として図１に示した画像合成装置に入力され、合成
画像が作成される。第２の実施例では２枚の復号画像か
ら動きパラメータを推定するようにしたが、予測符号化
の際には画像の各ブロックの動ベクトルが符号化データ
に含まれているのが一般的であるので、これらの動ベク
トルを利用してもよい。例えば復号された動ベクトルの
平均値を第１の復号画像から第２の復号画像への画像全
体の動ベクトルとしたり、あるいは復号された動ベクト
ルの頻度分布を求め、最も頻度の高いベクトルを第１の
復号画像から第２の復号画像への画像全体の動ベクトル
としても良い。上記の処理は水平方向・垂直方向で独立
して行われる。

【００３５】次に本発明の第３の実施例を説明する。第
３の実施例は［課題を解決するための手段］の（２）、
領域情報を効率良く符号化する領域情報符号化装置に関
するものである。図３及び図４は本実施例のブロック図
であり、図３は符号化側、図４は復号側のものである。

【００３６】図３の領域情報近似部３０１は、領域情報
を複数の図形で近似する。図１１に近似の例を示す。こ
の例では図形として矩形が用いられ、人物の領域情報
（斜線部）が２個の矩形で近似されている。矩形１は人
物の頭部を、矩形２は人物の胸部を表している。

【００３７】図３の領域近似情報符号化部３０２は、上
記の近似された領域情報を符号化する部分である。図１
１のように矩形で近似された場合には各矩形の左上の座
標値と矩形の大きさを固定長で符号化すれば良い。ある
いは楕円で近似された場合には、楕円の中心点の座標、
長軸の長さ及び短軸の長さを固定長で符号化すれば良
い。近似された領域情報と符号化されたデータは選択部
３０４に送られれる。

【００３８】図３の領域情報符号化部３０３は、［従来
の技術］で述べた領域情報符号化部８０６と同様に領域
情報を近似せず８方向量子化符号を用いて符号化する。
領域情報と符号化されたデータは選択部３０４に送られ
れる。

【００３９】図３の選択部３０４は、３０２の出力か３
０３の出力のいずれかを選択する。３０２の出力が選択
された時は領域近似情報の符号化データを１ビットの選
択情報（例えば０）と共に図示しない符号化データ統合
部に送り、領域近似情報を図示しない合成部に送る。ま
た、３０３の出力が選択された時は近似しない領域情報
の符号化データを１ビットの選択情報（例えば１）と共
に図示しない符号化データ統合部に送り、近似しない領
域情報を本発明の画像合成部に送る。画像合成部は本発
明の第１の実施例及び第２の実施例で説明したものであ
る。

【００４０】選択部３０４における選択手法としては、
例えば符号化データ量の小さい方を選択する手法、ある
いは近似しない領域情報の符号化データ量がある閾値以
内の時は３０３の出力を選び、閾値を越える時には３０
２の出力を選ぶようにする。このような選択を行うこと
により、領域情報の符号化歪みを抑えながら、符号化デ
ータ量を削減することができる。

【００４１】次に第３の実施例の復号側（図４）につい
て説明する。図４の選択部４０１は符号化データに含ま
れる１ビットの選択情報をもとに、符号化データが領域
近似情報のものであるか、領域情報のものであるかを選
択する。

【００４２】図４の領域近似情報復号部４０２は、領域
近似情報を復号する。図４の領域情報復号部４０３は、
近似していない領域情報を復号する。図４のスイッチ４
０４は選択部４０１からの信号によってコントロールさ
れ、合成部への出力として領域近似情報かあるいは近似
していない領域情報を選択する。

【００４３】以上のようにして領域近似情報と、近似し
ないもとの領域情報とを適応的に選択して符号化し復号
するので、領域情報が複雑で膨大なデータ量となる場合
には領域近似情報の符号化が選択され、少ない情報量で
領域情報を符号化することができる。

【００４４】上記の例では近似しない領域情報は８方向
量子化符号によって符号化したが、さらに予測符号化を
組み合わせて効率良く符号化しても良い。８方向量子化
符号は図１７のように０〜７の値を持つが、予測符号化
によって差分をとると−７〜７となってしまう。しか
し、差分値が−４以下の時は８を加え、差分値が４より
大きい時は８を引くことにより、差分値を−３〜４に抑
えることができる。復号時には前値に差分値を加え、そ
の結果が負の場合には８を加え、７を越える場合には８
を引くことにより、もとの８方向量子化値を得ることが
できる。以下にその例を示す。

【００４５】８方向量子化値 1, 6, 2, 1, 3, ... 差分値 5, -4, -1, -2, ... 変換値 -3, 4, -1, 2, ... 復号値 1, 6, 2, 1, 3, ... 例えば値６の前値との差分は５であるが、これから８を
引くことで−３となり、復号時には前値１に復号値−３
に加えることで−２が得られるが値が負であるためこれ
に８を加え、復号値６を得る。このような予測符号化
は、８方向量子化符号が巡回しているという性質を利用
したものである。

【００４６】第３の実施例では近似された領域情報の符
号化は各画像で独立に行われているが、一般に動画像は
フレーム間の相関が高いため、前回の符号化結果を利用
して符号化効率を高めるようにしても良い。すなわち、
近似された領域情報の符号化がフレーム間で連続する場
合、領域近似情報の差分のみを符号化するようにする。
例えば領域が矩形で近似され、前フレームの矩形が左上の点：(10, 20)、大きさ：(100, 150) であらわされ、現フレームの矩形が左上の点：(13, 18)、大きさ：(100, 152) であらわされる場合は現フレームでは左上の差分値：(3, 2)、大きさの差分値：(0, 2) を符号化する。領域の形状変化が小さい場合には差分値
はいずれも０付近に集中するため、ハフマン符号化など
のエントロピー符号化を用いれば、領域情報の符号量が
大幅に削減できる。さらに矩形が変化しない場合が多い
時には、現フレームにおいて1ビットの情報を矩形の変
化情報として符号化すればよい。すなわち、矩形が変化
しない時にはこれを表す１ビットの情報（例えば０）の
みを符号化し、矩形が変化する時には１ビットの情報
（例えば１）と上記の差分情報を符号化する。

【００４７】次に本発明の第４の実施例を説明する。第
４の実施例は［課題を解決するための手段］の（３）領
域情報から多値の重み情報を作成する重み情報作成装置
に関するものである。図５は本実施例のブロック図であ
る。

【００４８】図５の水平方向重み作成部５０１は、領域
情報を水平方向に走査して領域情報が１の部分を求め、
それに対応した重み関数を求める。具体的には領域の左
端の点の座標x0と領域の水平方向の長さNを求め、図１
２（ａ）に示す様な水平方向重み関数を計算する。重み
関数は直線を組み合わせて作成しても良いし、直線と三
角関数を組み合わせて作成しても良い。後者の例とし
て、三角関数部分の幅をWとする時、 N > 2Wならば、 0≦x＜W の時 sin[(x+1/2)π/(2W)]*sin[(x+1/2)π/(2W)] W≦x＜N-W の時 1 N-W≦x＜N の時 sin[(x-N+2W+1/2)π/(2W)]*sin[(x-N+2W+1/2)π/(2W)] N ≦ 2Wならば、 sin2[(x+1/2)π/N]*sin[(x+1/2)π/N] を用いることができる。ただし、領域の左端の点x0は０
としている。

【００４９】図５の垂直方向重み作成部５０２は、領域
情報を垂直方向に走査して領域情報が１の部分を求め、
それに対応した垂直方向重み関数を求める。具体的には
領域の上端の点の座標y0と領域の垂直方向の長さMを求
め、図１２（ｂ）に示す様な垂直方向重み関数を計算す
る。

【００５０】乗算器５０３は５０１と５０２の出力を画
素位置毎に掛け合わせ、重み情報を作成する。

【００５１】このようにして重み情報を作成すれば、領
域情報の形に合わせた重み情報を少ない演算量で求める
ことができる。

【００５２】次に本発明の第５の実施例を説明する。第
５の実施例は［課題を解決するための手段］の（４）下
位レイヤあるいは上位レイヤの予測符号化においてフレ
ーム内符号化とフレーム間予測符号化を適応的に切替え
るモード切替え方法に関するものである。図６は本実施
例のブロック図である。

【００５３】図６の平均値計算部６０１は、原画像と領
域情報を入力とし、領域内部の画素値について画素値の
平均を計算する。平均値は差分器６０３と記憶部６０２
に入力される。

【００５４】図６の差分器６０３は記憶部６０２に記憶
された前回の平均値と平均値計算部６０１から出力され
た今回の平均値との差を計算する。

【００５５】図６の判定部６０４は差分器６０３で計算
された差分値の絶対値をあらかじめ定められた閾値と比
較し、モード切替え情報を出力する。差分値の絶対値が
閾値よりも大きい場合は、選択領域においてシーンチェ
ンジがあると判定し、常にフレーム内符号化を行うよう
にモード切替え情報を発生する。

【００５６】このようにモード切替えを選択領域のシー
ンチェンジを判定しながら行うことにより、例えば人物
が物影から現れたり、物体の表裏が反転したりする場合
にも良好な符号化画像を得ることができる。この実施例
は下位レイヤの符号化において選択領域とそれ以外の領
域を分離して符号化する方式に応用することができる。
その場合は領域情報を下位レイヤに入力するようにす
る。さらに、本実施例は上位レイヤの選択領域のみの符
号化に応用することもできる。

【００５７】次に本発明の第６の実施例を説明する。第
６の実施例は［課題を解決するための手段］の（５）下
位レイヤの符号化において選択領域とそれ以外の領域を
分離して符号化する場合のデータ量制御に関するもので
ある。図７は本実施例のブロック図である。

【００５８】図７の符号化部７０３は選択領域とそれ以
外の領域を分離して符号化する。領域判定部７０１には
領域情報が入力され、符号化している領域が選択領域内
であるか選択領域外であるかを判定する。発生符号量算
出部７０５ではこの判定結果に基づき、各領域での発生
符号量を算出する。目標符号量配分比算出部７０４で
は、各領域に割り当てるフレーム単位の目標符号量の配
分比を決定する。配分比の決定方法については後述す
る。量子化幅算出部では、目標符号量に応じて量子化幅
を決定するが、この決定方法についは従来法と同様であ
る。

【００５９】ここで、目標符号量配分比算出部における
配分比決定方法について説明する。まず、該当フレーム
の目標符号量Biは次式を用いて計算される。

【００６０】Bi=(使用可能符号量-前フレームまでの使
用符号量)/残りフレーム数この目標符号量Biをある比率で選択領域内と選択領域外
に割り当てるのであるが、ここでは適当な固定比R0と前
フレーム複雑度比率Rpを用いてその比率を決定する。前
フレーム複雑度比率Rpは次式で決定される。

【００６１】Rp=(gen_bitF*avg_qF)/(gen_bitF*avg_qF+
gen_bitB*avg_qB) ここに、gen_bitF：前フレーム選択領域内発生符号量 gen_bitB：前フレーム選択領域外発生符号量 avg_qF：前フレームの選択領域内平均量子化幅 avg_qB：前フレームの選択領域外平均量子化幅である。選択領域を高画質にするには、量子化幅を制御
し、選択領域内の平均量子化幅が選択領域外の平均量子
化幅よりもある程度小さな状態を保ち、しかも動画像シ
ーケンス内での画像の変化にも追随することが望まし
い。一般に、固定比R0による配分は選択領域内と選択領
域外の平均量子化幅の関係をほぼ一定に保つのに適し、
前フレーム複雑度比率Rpによる配分は動画像シーケンス
内での画像の変化に追随させるのに適する。そこで、本
発明では目標符号量配分比Raを固定比R0と前フレーム複
雑度比率Rpの平均とし、両者の長所を兼ね備えた制御を
行なう。すなわち、 Ra=(R0+Rp)/2 である。

【００６２】例えば、選択領域において固定比R0と前フ
レーム複雑度比率Rpが動画像シーケンス全体において図
１３の点線のようになったとする。このとき、目標符号
量配分比Raは図１３の実線のようになり、固定比R0から
あまり離れず、しかもある程度画像の変化を反映するこ
とがわかる。このとき、選択領域外の固定比を(1-R0)、
前フレーム複雑度比率を(1-Rp)とすると、両者の平均で
ある目標符号量配分比(1-Ra)は図１４の実線に示すよう
になり、選択領域内と選択領域外の目標符号量配分比を
加えたものは1となる。

【００６３】このようにして量子化幅を適切に制御する
ことができるが、フレームによっては発生符号量が目標
符号量Biを越える場合があるため、シーケンス全体のビ
ットレートが所定のビットレートに収まらないことが起
こりうる。そのような場合には、次に述べるような方法
をとることができる。

【００６４】選択領域内の目標符号量配分比Raは上述し
た通り、固定比R0と前フレーム複雑度比率Rpの平均とす
る。一方、選択領域外の目標符号量配分比は選択領域外
の固定比(1-R0)と前フレーム複雑度比率(1-Rp)の最小値
Rmとする。このようにすると選択領域外の目標符号量配
分比Rmの変化は、例えば図１５の実線に示すようにな
る。このとき、 Ra+Rm≦1 となることから、該当フレームの目標符号量を小さくす
ることができる。すなわち、背景領域の目標符号量を抑
えることにより、動画像シーケンス全体のビットレート
を所定のビットレートに収めることができる。

【００６５】

【発明の効果】本発明の動画像符号化装置及び動画像復
号装置によれば、（１）符号化されていない下位レイヤ
フレームを前後の下位レイヤフレームから合成する際に
第１部品領域と第２部品領域が重なる領域もしくは第１
部品領域でも第２部品領域でもない領域に対しては時間
的に前及び後に存在する下位レイヤフレームを加重平均
し、第１部品領域のみの領域に対しては時間的に後にあ
る下位レイヤフレームを用い、第２部品領域のみの領域
に対しては時間的に前にある下位レイヤフレームを用い
ることにより、対象物体が動いている場合でも合成画像
に歪みがなく良好な画像を得ることができる。さらに、
（２）前記（１）の下位レイヤフレーム合成の際に、第
１部品領域と第２部品領域が重なる領域もしくは第１部
品領域でも第２部品領域でもない領域に対しては前記合
成する下位レイヤフレームに時間的に近い下位レイヤフ
レームを用いるか、あるいは第１の下位レイヤフレーム
のみを用いるか、あるいは第２の下位レイヤフレームの
みを用いることにより、下位レイヤの背景領域が動いて
いる時にも合成された背景画像が２重になることがな
く、良好な画像を得ることができる。さらに、（３）前
記（１）の下位レイヤフレーム合成の際に、動きパラメ
ータによって第１の下位レイヤ画像、第２の下位レイヤ
画像、第１部品領域及び第２部品領域を、合成する下位
レイヤフレームの時間的位置に基づき、それぞれ動き補
償によって変形することにより、下位レイヤの背景領域
が動いている時にもこの動きに追従した合成画像を作成
することができ、良好な画像を得ることができる。さら
に、（４）前記（３）の下位レイヤフレーム合成の際
に、下位レイヤの動き補償予測符号化によって求めた動
ベクトル情報を利用することにより、新たに動きパラメ
ータを推定するよりも少ない処理量で動きパラメータを
求めることができる。さらに、（５）領域情報の符号化
／復号の際に、領域情報を複数の図形で近似し符号化す
る場合と近似せずに符号化する場合を適応選択すること
によって効率良く領域情報を符号化／復号することがで
きる。さらに、（６）前記（５）にて領域情報を８方向
量子化データに変換し、８方向量子化データの差分デー
タを求め、これを可変長符号化／復号することで領域情
報をさらに効率良く可逆符号化／復号できる。さらに、
（７）前記（５）のにて、図形を示す情報のフレーム間
差分を求め、これを可変長符号化／復号し、差分データ
が全て０の場合には領域情報が変化しないことを示す情
報を付け加えるだけで他の領域情報を符号化しないこと
によって、近似された領域情報を効率良く可逆符号化／
復号することができる。さらに、（８）下位レイヤに、
上位レイヤの部品動画像を加重平均によって合成する際
の重み情報作成装置において、領域情報を水平に走査し
て各行の長さを検出し、水平方向の重み関数を求め、領
域情報を垂直に走査して各列の長さを検出し、垂直方向
の重み関数を求め、水平方向の重みと垂直方向の重みを
用いて領域情報に対応する多値の重み情報を生成するこ
とによって少ない処理量で重み情報を生成することがで
きる。さらに、（９）動画像内の物体や部品の領域形状
を表す領域情報を利用して動画像を符号化／復号する場
合、予測符号化とフレーム内符号化を適応的に切替える
際に、入力画像とこれに対応する領域情報を用いて領域
内部の画素値の平均値を算出し、前フレームの平均値と
現フレームの平均値から平均値の差分を求め、この差分
と一定値とを比較して差分が前記一定値を越えた時にフ
レーム内符号化を選択することで、シーンチェンジの時
にも正確にモード切替が行うことができ、良好な符号化
／復号画質を得ることができる。さらに、（１０）動画
像シーケンスを背景領域と前景となる複数の部品画像に
分離し、符号化する場合、符号量制御に際して符号化デ
ータ及び符号化対象ブロックが部品領域内か否かを判定
し、部品領域で発生した符号化データ量と背景領域で発
生した符号化データ量とを別々に算出して、部品領域と
背景領域の目標符号量の比率を定めることにより目標符
号量の配分比を適切に定めることができ、良好な符号化
画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を説明するブロック図で
ある。

【図２】本発明の第２の実施例を説明するブロック図で
ある。

【図３】本発明の第３の実施例の符号化側を説明するブ
ロック図である。

【図４】本発明の第３の実施例の復号側を説明するブロ
ック図である。

【図５】本発明の第４の実施例を説明するブロック図で
ある。

【図６】本発明の第５の実施例を説明するブロック図で
ある。

【図７】本発明の第６の実施例を説明するブロック図で
ある。

【図８】従来の符号化方式及び復号方式を説明するブロ
ック図である。

【図９】従来の符号量制御方法を説明するブロック図で
ある。

【図１０】本発明の第１の実施例の効果を説明する図で
ある。

【図１１】本発明において領域情報を矩形で近似する例
を示した図である。

【図１２】本発明による重み情報の作成法方の例を示し
た図である。

【図１３】本発明の符号量制御方法における選択領域の
目標符号量比率を説明する図である。

【図１４】本発明の符号量制御方法における選択領域外
の目標符号量比率を説明する図である。

【図１５】本発明の他の符号量制御方法における選択領
域外の目標符号量比率を説明する図である。

【図１６】従来法の概念を示す図である。

【図１７】８方向量子化符号を説明する図である。

【図１８】従来法の問題点を説明する図である。

【符号の説明】

１０１第１の領域抽出部１０２第２の領域抽出部１０３コントローラ１０４スイッチ１０５補間画像作成部１０６加重平均部

───────────────────────────────────────────────────── フロントページの続き (72)発明者野村敏男大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】一つの動画像シーケンスを低いフレーム
レートで符号化する下位レイヤと、前記動画像シーケン
スの１つもしくは複数の特定部品領域のみを高いフレー
ムレートで符号化する上位レイヤとに分離し、上位レイ
ヤまでの復号時には上位レイヤの部品領域を下位レイヤ
に合成して再生する動画像階層符号化及び復号装置にお
いて、復号の際に上位レイヤのフレーム位置に対応する
下位レイヤフレームが存在しない場合には前後に存在す
る下位レイヤを用いて前記存在しない下位レイヤフレー
ムの合成を行い、前記合成に当たっては時間的に前に存
在する下位レイヤにある第１部品領域情報と時間的に後
に存在する下位レイヤにある第２部品領域情報を用い、
前記合成する下位レイヤフレーム上で第１部品領域と第
２部品領域が重なる領域もしくは第１部品領域でも第２
部品領域でもない領域に対しては時間的に前及び後に存
在する下位レイヤフレームを加重平均し、前記合成する
下位レイヤフレーム上で第１部品領域のみの領域に対し
ては時間的に後にある下位レイヤフレームを用い、前記
合成する下位レイヤフレーム上で第２部品領域のみの領
域に対しては時間的に前にある下位レイヤフレームを用
いることにより前記存在しない下位レイヤフレームを合
成することを特徴とする動画像符号化装置及び動画像復
号装置。
【請求項２】請求項１の下位レイヤフレーム合成の際
に、第１部品領域と第２部品領域が重なる領域もしくは
第１部品領域でも第２部品領域でもない領域に対しては
前記合成する下位レイヤフレームに時間的に近い下位レ
イヤフレームを用いるか、あるいは第１の下位レイヤフ
レームのみを用いるか、あるいは第２の下位レイヤフレ
ームのみを用いることを特徴とする動画像符号化装置及
び動画像復号装置。
【請求項３】請求項１の下位レイヤフレーム合成の際
に、時間的に前に存在する第１の下位レイヤ画像と時間
的に後に存在する第２の下位レイヤ画像の間の動きパラ
メータを推定する動きパラメータ推定手段と、前記動き
パラメータによって第１の下位レイヤ画像、第２の下位
レイヤ画像、第１部品領域及び第２部品領域を、前記合
成する下位レイヤフレームの時間的位置に基づき、それ
ぞれ動き補償によって変形する変形手段とを備え、変形
された各々の画像及び領域情報を用いて下位レイヤ画像
を作成することを特徴とする動画像符号化装置及び動画
像復号装置。
【請求項４】請求項３の下位レイヤフレーム合成の際
に、下位レイヤの動き補償予測符号化によって求めた動
ベクトル情報を利用するものであり、請求項３の変形手
段において各ブロックの動きベクトルを請求項３の動き
パラメータとするか、あるいは各ブロックの動きベクト
ルから画像全体の動きを表現するパラメータを求めこれ
を請求項３の動きパラメータとすることを特徴とする動
画像符号化装置及び動画像復号装置。
【請求項５】動画像内の物体や部品の領域形状を表す
領域情報を利用して動画像を符号化／復号する装置であ
って、前記領域情報の符号化／復号の際に、領域情報を
複数の図形で近似する領域情報近似手段と、領域近似情
報符号化／復号手段と、領域の近似を行わず符号化する
領域非近似符号化／復号手段と、適応選択手段とを備
え、適応選択手段によって領域近似符号化／復号手段と
領域非近似符号化／復号手段とを適応的に選択すること
によって効率良く領域情報を符号化／復号することを特
徴とする動画像符号化装置及び動画像復号装置。
【請求項６】請求項５の領域非近似情報符号化／復号
の際に、領域情報を８方向量子化データに変換する領域
情報変換手段と、前記８方向量子化データの差分データ
を求める差分データ算出手段と、前記差分データを可変
長符号化／復号する可変長符号化／復号手段とを備え、
領域情報を効率良く可逆符号化／復号することを特徴と
する動画像符号化装置及び動画像復号装置。
【請求項７】請求項５の領域近似情報符号化／復号の
際に、図形を示す情報のフレーム間差分を求めるフレー
ム間差分データ算出手段と、前記差分データを可変長符
号化／復号する可変長符号化／復号手段と、前記差分デ
ータが全て０の場合には領域情報が変化しないことを示
す情報を付け加える変化情報付加手段とを備え、領域近
似情報を効率良く可逆符号化／復号することを特徴とす
る動画像符号化装置及び動画像復号装置。
【請求項８】一つの動画像シーケンスを低いフレーム
レートで符号化する下位レイヤと、前記動画像シーケン
スの１つもしくは複数の特定部品領域のみを高いフレー
ムレートで符号化する上位レイヤとに分離し、符号化、
復号する動画像符号化装置及び動画像復号装置であっ
て、上位レイヤ動画像シーケンスを加重平均によって下
位レイヤ動画像シーケンスに合成する際に、部品の領域
を示す２値の領域情報から加重平均のための多値の重み
情報を作成する重み情報作成装置において、領域情報を
水平に走査して各行の長さを検出する水平長さ検出手段
と、前記水平長から水平方向の重み関数を求める第１の
重み関数決定手段と、領域情報を垂直に走査して各列の
長さを検出する垂直長さ検出手段と、前記垂直長から垂
直方向の重み関数を求める第２の重み関数決定手段とを
備え、水平方向の重みと垂直方向の重みを用いて領域情
報に対応する多値の重み情報を生成することを特徴とす
る動画像符号化装置及び動画像復号装置。
【請求項９】動画像内の物体や部品の領域形状を表す
領域情報を利用して動画像を符号化／復号する装置であ
って、予測符号化とフレーム内符号化を適応的に切替え
る際に、入力画像とこれに対応する領域情報を用いて領
域内部の画素値の平均値を算出する平均値算出手段と、
前記平均値を記憶する記憶手段と、前フレームの平均値
と現フレームの平均値から平均値の差分を求める差分手
段と、前記平均値の差分と一定値とを比較する比較手段
を備え、前記差分が前記一定値を越えた時にフレーム内
符号化を選択することを特徴とする動画像符号化装置及
び動画像復号装置。
【請求項１０】動画像シーケンスを背景領域と前景と
なる複数の部品画像に分離し、符号化する符号化装置で
あって、符号量制御に際して符号化データ及び符号化対
象ブロックが部品領域内か否かを判定する領域判定手段
と、前記部品領域で発生した符号化データ量と前記背景
領域で発生した符号化データ量とを別々に算出する発生
符号量算出手段と、前記部品領域と前記背景領域の目標
符号量の比率を定める目標符号量配分比算出手段を設
け、前記目標符号量の配分比を適切に定めることを特徴
とする動画像符号化装置。