JP3148752B2 - 動画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置に関するものである。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。文献「階層表
現と多重テンプレートを用いた画像符号化」（信学技報
ＩＥ９４−１５９、ｐｐ９９−１０６（１９９５））で
は、背景となる動画像シーケンスと前景となる部品動画
像の動画像シーケンス（例えばクロマキー技術によって
切り出された人物画像や魚の映像など）を重畳して新た
なシーケンスを作成する手法が述べられている。

【０００３】また、文献「画像内容に基づく時間階層符
号化」（“Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ
ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｃｏｎｔｅｎｔ”，
ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰ
ＥＧ９５／２１１（１９９５））では、フレームレート
の低い動画像シーケンスにフレームレートの高い部品動
画像の動画像シーケンスを重畳して新たなシーケンスを
作成する手法が述べられている。

【０００４】この方式では、図１５に示すように、下位
レイヤでは低いフレームレートで予測符号化が行われ、
上位レイヤでは選択領域（網点部）についてのみ高いフ
レームレートで予測符号化が行われる。ただし、上位レ
イヤまで復号した画像フレームは、下位レイヤで復号し
た画像フレームと上位レイヤで復号した領域を重畳する
ことで得られる。

【０００５】また、下位レイヤで符号化したフレーム
は、上位レイヤでは符号化せず、下位レイヤの復号画像
をそのままコピーして用いる。また、選択領域としては
例えば人物部分など視聴者の注目が集まる部分が選ばれ
ているものとする。

【０００６】図１１に従来手法のブロック図を示す。ま
ず、従来手法の符号化側では、入力動画像は第１の駒落
し部１１０１及び第２の駒落し部１１０２によってフレ
ーム間引きされ、入力画像のフレームレート以下とされ
た後、それぞれ上位レイヤ符号化部１１０３及び下位レ
イヤ符号化部１１０４に入力される。ここで、上位レイ
ヤのフレームレートは、下位レイヤのフレームレート以
上であるとする。

【０００７】下位レイヤ符号化部１１０４では、入力さ
れた動画像全体が符号化される。符号化方式としては、
例えばＭＰＥＧやＨ．２６１などの動画像符号化国際標
準化方式が用いられる。下位レイヤ符号化部１１０４で
は、また下位レイヤの復号画像が作成され、予測符号化
に利用されると同時に、重畳部１１０５に入力される。

【０００８】図１１の上位レイヤ符号化部１１０３で
は、入力された動画像の選択領域のみが符号化される。
ここでも、ＭＰＥＧやＨ．２６１などの動画像符号化国
際標準化方式が用いられるが、領域情報に基づいて選択
領域のみを符号化する。ただし、下位レイヤで符号化さ
れたフレームは、上位レイヤでは符号化されない。

【０００９】領域情報は、人物部などの選択領域を示す
情報であり、例えば選択領域の位置で値１、それ以外の
位置で値０をとる２値画像である。上位レイヤ符号化部
１１０３では、また動画像の選択領域のみが復号され、
重畳部１１０５に入力される。

【００１０】領域情報符号化部１１０６では、領域情報
がチェイン符号などを利用して符号化される。重畳部１
１０５は、重畳対象フレームで下位レイヤフレームが符
号化されている場合、下位レイヤの復号画像を出力す
る。重畳対象フレームで下位レイヤフレームが符号化さ
れていない場合は、重畳対象フレームの前後２枚の符号
化された下位レイヤの復号画像と１枚の上位レイヤ復号
画像を用いて動画像を出力する。

【００１１】下位レイヤの２枚の画像フレームは、上位
レイヤフレームの前及び後である。ここで作成された動
画像は、上位レイヤ符号化部１１０３に入力され、予測
符号化に利用される。重畳部１１０５における画像作成
方法は、以下の通りである。

【００１２】まず、２枚の下位レイヤの補間画像が作成
される。時間ｔにおける下位レイヤの復号画像をＢ
（ｘ，ｙ，ｔ）（ただし、ｘ，ｙは空間内の画素位置を
表す座標である）とし、２枚の下位レイヤの時間をそれ
ぞれｔ１，ｔ２、上位レイヤの時間をｔ３（ただし、ｔ
１＜ｔ３＜ｔ２である）とすると、時間ｔ３における補
間画素Ｉ（ｘ，ｙ，ｔ３）は、次式（１）によって計算
される。

【００１３】 Ｉ（ｘ，ｙ，ｔ３）＝［（ｔ２−ｔ３）Ｂ（ｘ，ｙ，ｔ１） ＋（ｔ３−ｔ１）Ｂ（ｘ，ｙ，ｔ２）］／（ｔ２−ｔ１）・・・（１） 次に、上式（１）で求めた補間画像Ｉに、上位レイヤの
復号画像Ｅを重畳する。このために、領域情報Ｍ（ｘ，
ｙ，ｔ）から重畳のための重み情報Ｗ（ｘ，ｙ，ｔ）を
作成し、次式（２）によって重畳画像Ｓを得る。

【００１４】 Ｓ（ｘ，ｙ，ｔ）＝［１−Ｗ（ｘ，ｙ，ｔ）］Ｉ（ｘ，ｙ，ｔ） ＋Ｅ（ｘ，ｙ，ｔ）Ｗ（ｘ，ｙ，ｔ）・・・（２） ここで、領域情報Ｍ（ｘ，ｙ，ｔ）は、選択領域内で
１、選択領域外で０の値をとる２値画像であり、この画
像に低域通過フィルタを複数回施す事によって、重み情
報Ｗ（ｘ，ｙ，ｔ）を得る事ができる。すなわち、重み
情報Ｗ（ｘ，ｙ，ｔ）は、選択領域内で１、選択領域外
で０、選択領域の境界部で０〜１の値をとる。

【００１５】以上が、重畳部１１０５における画像作成
方法の説明である。下位レイヤ符号化部１１０４、上位
レイヤ符号化部１１０３、領域情報符号化部１１０６で
符号化された符号化データは、図示しない符号化データ
統合部で統合され、伝送あるいは蓄積される。

【００１６】次に、従来手法の復号側では、符号化デー
タが、図示しない符号化データ分解部にて、下位レイヤ
の符号化データ、上位レイヤの符号化データ、領域情報
の符号化データに分解される。これらの符号化データ
は、図１１に示すように、下位レイヤ復号部１１０８、
上位レイヤ復号部１１０７及び領域情報復号部１１０９
によって復号される。

【００１７】復号側の重畳部１１１０は、符号化側の重
畳部１１０５と同一の装置からなり、下位レイヤ復号画
像と上位レイヤ復号画像を用い、符号化側の説明で述べ
たものと同一の方法によって画像が重畳される。ここで
重畳された動画像は、ディスプレイに表示されると共
に、上位レイヤ復号部１１０７に入力され、上位レイヤ
の予測に利用される。

【００１８】ここでは、下位レイヤと上位レイヤの両方
を復号する復号装置について述べたが、下位レイヤの復
号部のみを備えた復号装置ならば、上位レイヤ符号化部
１１０７、重畳部１１１０が不要であり、少ないハード
ウェア規模で符号化データの一部を再生する事ができ
る。

【００１９】ところでこの時、下位レイヤと上位レイヤ
のフレームレートが異なっているため、上位レイヤに対
応する下位レイヤは時間的に前後の下位レイヤフレーム
から合成する必要がある。ところが、２枚の下位レイヤ
復号画像と１枚の上位レイヤ復号画像から出力画像を得
る際に、２枚の下位レイヤの補間によって合成するた
め、選択領域の位置が時間的に変化する場合に、選択領
域周辺に大きな歪みが発生し、画質を大きく劣化させて
しまう。

【００２０】これを、文献「画像内容に基づく時間階層
符号化」（“Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔ
ｙ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｍａｇ
ｅｃｏｎｔｅｎｔ”，ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ
２９／ＷＧ１１ ＭＰＥＧ９５／０３７７（１９９
５））などの手法を用いて解消することができる。

【００２１】図１４は前記文献に示されたこの問題の解
決手法を説明するものである。図１４（ａ）において、
画像Ａ、Ｃは下位レイヤの２枚の復号画像、画像Ｂは上
位レイヤの復号画像であり、表示時間順はＡ、Ｂ、Ｃの
順である。ただし、選択領域を斜線で示している。

【００２２】また、上位レイヤでは選択領域のみが符号
化されるため、選択領域外を破線で示している。選択領
域が図中矢印の向きに動いているため、画像Ａと画像Ｃ
から求めた補間画像は、図１４（ｂ）の網点部のように
２つの選択領域が重複したものになる。さらに、画像Ｂ
を式（２）を用いて重畳すると、出力画像は図１４
（ｃ）に示すように、３つの選択領域が重複した画像と
なる。

【００２３】特に、上位レイヤの選択領域周辺（外側）
に、下位レイヤの選択領域が残像のようにあらわれ、画
質が大きく劣化する。動画像全体としては、下位レイヤ
のみが表示されている時には上記の歪みがなく、上位レ
イヤと下位レイヤの重畳画像が表示されている時には上
記の歪みが現われるため、フリッカ的歪みが発生し、非
常に大きな画質劣化となる。

【００２４】しかし、図１４（ｃ）の左側の網点部は、
画像Ｃより得ることができ、また、図１４（ｃ）の右側
の網点部は、画像Ａより得ることができるため、こうし
て合成した下位レイヤを用いれば、前記歪みは解消でき
る。

【００２５】図１２は前記文献に示された従来の画像重
畳装置のブロック図を示す。図１２の第１の領域抽出部
１２０１は、下位レイヤの第１の領域情報及び下位レイ
ヤの第２の領域情報から、第１の領域でありかつ第２の
領域でない領域を抽出する。

【００２６】図１３（ａ）において、第１の領域情報を
点線（点線内部が値０、点線外部が値１を持つものとす
る）で表し、同様に第２の領域情報を破線であらわすと
すると、第１の領域抽出部１２０１で抽出される領域
は、図１３の斜線部となる。

【００２７】図１２の第２の領域抽出部１２０２は、下
位レイヤの第１の領域情報及び下位レイヤの第２の領域
情報から、第２の領域領域でありかつ第１の領域でない
領域を抽出する。図１３（ａ）の場合、網点部が抽出さ
れる。

【００２８】図１２のコントローラ１２０３は、第１の
領域抽出部１２０１及び第２の領域抽出部１２０２の出
力により、スイッチ１２０４を制御する部分である。す
なわち、注目画素位置が第１の領域のみの場合には、ス
イッチ１２０４を第２の復号画像側に接続し、注目画素
位置が第２の領域のみの場合には、スイッチ１２０４を
第１の復号画像側に接続し、それ以外の場合には、スイ
ッチ１２０４を補間画像作成部１２０５からの出力に接
続する。

【００２９】図１２の補間画像作成部１２０５は、下位
レイヤの第１の復号画像と下位レイヤの第２の復号画像
との補間画像を、式（１）に従って計算する。ただし、
式（１）において、Ｂ（ｘ，ｙ，ｔ１）は第１の復号画
像、Ｂ（ｘ，ｙ，ｔ２）は第２の復号画像、Ｉ（ｘ，
ｙ，ｔ３）は補間画像であり、ｔ１，ｔ２，ｔ３はそれ
ぞれ第１の復号画像、第２の復号画像及び補間画像の時
間である。

【００３０】以上のようにして、画像を作成するので、
例えば図１３（ａ）の場合、斜線部では第２の復号画像
が使用されるため、選択領域外部の背景画素があらわ
れ、網点部では第１の復号画像が使用されるため、選択
領域外部の背景画素があらわれ、それ以外の部分では第
１の復号画像と第２の復号画像の補間画像があらわれ
る。

【００３１】このようにして作成された画像の上に、図
１２の加重平均部１２０６によって上位レイヤの復号画
像を重ねるため、重畳された画像は、図１３（ｂ）のよ
うに、選択領域（斜線部分）周辺に残像がなく、歪みの
少ない画像が得られる。図１２の加重平均部１２０６
は、上記の合成画像と上位レイヤの復号画像を加重平均
によって重畳する。

【００３２】

【発明が解決しようとする課題】しかしながら、上述し
た従来の装置によれば、以下のような問題があった。

【００３３】（１）部品領域の動きによる形状変化の度
合が小さい場合に、従来手法では大きな画質改善が期待
できず、また、上位レイヤの部品形状に対応する前後２
つの形状情報を符号化する必要があるため、テクスチャ
情報符号化に使用できる符号量が相対的に減り、結果的
に画質低下を招くという問題（第１の問題）がある。

【００３４】（２）従来手法は、部品領域が一方に動く
場合には効果があるが、部品画像が往復するような動き
をする場合には、部品の背後の情報を原理的に得ること
ができず、画質改善が見られないという問題（第２の問
題）がある。図８及び図１０はこの問題を説明するため
の図である。例えば、図１０の画像ＡとＣにおける部品
画像領域の重なった領域の背景画像（図８の斜線領域）
は、画像ＡとＣより得ることはできない。

【００３５】（３）従来手法では、上位レイヤの画像に
対して時間的に前後する下位レイヤが必要であるが、画
像シーケンスの最初や最後、あるいはシーンチェンジの
前後などで下位レイヤフレームの一方が存在しない場合
があり得る。そのため、部品画像の周囲で画質改善が見
られないという問題（第３の問題）がある。

【００３６】（４）従来手法は、図１３（ａ）に示す４
つの領域毎に、選択的に補間処理を切替える必要があ
り、処理が複雑になるという問題（第４の問題）があ
る。

【００３７】本発明は、特に上記第１の問題に鑑みてな
されたものであり、上位レイヤフレームの部品画像領域
を拡張して、領域情報として符号化することにより、画
質を改善することができる動画像符号化装置を提供する
ことを目的とする。

【００３８】

【課題を解決するための手段】本願の発明に係る動画像
符号化装置は、一つの動画像シーケンスを低いフレーム
レートの下位レイヤと高いフレームレートの上位レイヤ
とに分離する手段と、前記下位レイヤにおいて、前記動
画像シーケンスの画像全体を符号化する下位レイヤ符号
化手段と、前記上位レイヤにおいて、前記動画像シーケ
ンスの画像の一部領域を部品画像として符号化する上位
レイヤ符号化手段とを備えた動画像符号化装置であっ
て、前記上位レイヤフレームに時間的に対応する下位レ
イヤフレームが存在しない場合、前記上位レイヤフレー
ムの部品画像領域を、該上位レイヤフレームの時間的に
前又は後に存在する下位レイヤフレームの部品画像領域
を含むように拡張する領域変換手段と、前記領域変換手
段により拡張された部品画像領域を示す領域情報を符号
化する領域情報符号化手段とを備えたことを特徴とす
る。

【００３９】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明の動画像符号
化装置および動画像復号装置は、図１１に示す従来装置
の画像重畳部１１０５および１１１０に相当する部分に
特徴を有するものであって、下位レイヤフレームを合成
し、これに下位レイヤと上位レイヤを重畳する際に、上
位レイヤの選択領域の周辺に発生する残像のような画像
の歪みを視覚上抑制するものである。

【００４０】以下、本発明の第１の実施の形態について
説明する。本実施形態に係る動画像符号化装置および動
画像復号装置は、前述の第１の問題を解決するためのも
のであり、図１１に示す従来装置の構成において、重畳
部１１０５及び１１１０に代えて、図１に示す画像重畳
部を備えて構成される。

【００４１】この画像重畳部は、一つの動画像シーケン
スの上位レイヤに対応するフレームが下位レイヤ側に存
在しない場合、下位レイヤのフレームを補間し、この補
間により得られたフレームを背景として、上位レイヤの
部品領域を重畳して補間画像（画像情報）を得るもので
ある。補間画像は上位レイヤの予測符号化／復号に用い
られる。以下、この画像重畳部を中心に本実施形態の装
置を説明する。

【００４２】ここで、図１において、第１の領域抽出部
１０１は、下位レイヤの第１の領域情報及び下位レイヤ
の第２の領域情報から、第１の領域でありかつ第２の領
域でない領域を抽出する。具体的には、図１３（ａ）に
おいて、第１の領域情報を点線で（点線内部が値０、点
線外部が値１を持つものとする）表し、同様に第２の領
域情報を破線で表すと、第１の領域抽出部１０１で抽出
される領域は、斜線部で表す領域となる。

【００４３】図１の第２の領域抽出部１０２は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から、第２の領域でありかつ第１の領域でない領域を抽
出する。図１３（ａ）の場合、網点部が抽出される。

【００４４】図１のコントローラ１０３は、第１の領域
抽出部１０１及び第２の領域抽出部１０２の出力によ
り、スイッチ１０４を制御する部分である。すなわち、
注目画素位置が第１の領域のみの場合には、スイッチ１
０４を第２の復号画像側に接続し、注目画素位置が第２
の領域のみの場合には、スイッチ１０４を第１の復号側
画像に接続し、それ以外の場合には、スイッチ１０４を
補間画像作成部１０５からの出力に接続する。

【００４５】図１の補間画像作成部１０５は、下位レイ
ヤの第１の復号画像と下位レイヤの第２の復号画像との
補間画像を、上記［従来の技術］で述べた式（１）に従
って計算する。

【００４６】ただし、式（１）において、Ｂ（ｘ，ｙ，
ｔ１）は第１の復号画像、Ｂ（ｘ，ｙ，ｔ２）は第２の
復号画像、Ｉ（ｘ，ｙ，ｔ３）は復号画像であり、ｔ
１，ｔ２，ｔ３はそれぞれ第１の復号画像、第２の復号
画像及び補間画像の時間である。

【００４７】図１の加重平均部１０６は、前述の式
（２）に従って作成された補間画像と、上位レイヤの復
号画像を重畳する。図１の背景補間判定部１０７は、下
位レイヤ第１の領域情報、下位レイヤ第２の領域情報お
よび上位レイヤ領域情報の３種類の領域情報をもとに、
図１４（ｃ）の網点で示された上位レイヤが前記２つの
下位レイヤ領域を覆うことのできない領域（即ち、背景
として現れる下位レイヤの部品領域）の大小によって、
前記残像のような歪みの発生を抑制する合成処理を行な
うか否かを判定する。

【００４８】前記領域が所定のしきい値よりも大きい場
合には、スイッチ１０８が左側（スイッチ１０４の出力
側）に接続し、合成処理して背景補間が行なわれる。即
ち、下位レイヤを加重平均して得られるフレームと下位
レイヤのフレームとを合成処理して背景補間し、上位レ
イヤを予測符号化／復号するための画像情報を生成す
る。

【００４９】一方、前記領域が所定のしきい値以下の場
合には、スイッチ１０８が右側（補間画像作成部１０５
の出力側）に接続し、補間画像作成部１０５の出力が上
位レイヤに合成される下位レイヤとして使用される。即
ち、補間画像作成部１０５は、下位レイヤを加重平均し
て得られる画像を、スイッチ１０８を介して加重平均部
１０６に与える。

【００５０】そして、加重平均部１０６は、この画像を
背景として上位レイヤに重畳して、上位レイヤを予測符
号化／復号するための画像情報を生成する。この場合
（前記領域が所定のしきい値以下の場合）、本実施形態
の装置では、下位レイヤの第１の領域情報、第２の領域
情報ともに用いないため、これらの情報は符号化されな
い。これによって、領域情報分の符号量を節約すること
ができる。

【００５１】図６は、図１の背景補間判定部１０７の構
成を示すブロック図である。本実施の形態では、前記合
成処理を行なうかどうかの判定を、図１４（ｃ）の網点
部の大きさによって判定するものとするが、これを実現
するための他の手法として、例えば前記領域の面積を用
いる方法を用いてもよい。

【００５２】図６に示す面積測定部６０１は、前記面積
を算出するものであって、図１４（ａ）の画面Ａの部品
領域（前景領域）をＦｒ（Ａ）、部品の背景領域をＢｒ
（Ａ）とした時、前記領域は、 ｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｂ）・・・（３） と表すことができる。ただし、この式中の’∪’は集合
の結びを、’∩’は、集合の交わりを表すものとする。

【００５３】また、前記領域の面積は、式（３）にて表
される領域の画素数で表すことができる。あるいは、前
記面積は領域の画素数を画像全体の画素数で正規化する
手法も考えられる。

【００５４】さらに、前記面積の他に前記領域の周囲の
長さ、前記領域の外接四角形の面積などが考えられる
が、これらの値は、前記面積の計算と同様に、画面全体
の画素数、大きさなどを用いて正規化する必要がある。

【００５５】なお、図１４に例示するように、Ｆｒ
（Ａ）∩Ｆｒ（Ｃ）の領域（Ｆｒ（Ｄ）とする）が全て
Ｆｒ（Ｃ）に含まれている場合には、上式（３）を用い
て前記領域を求めればよいが、より一般的には、前記領
域は、 ｛｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（４） として表される。

【００５６】図６の比較判定部６０２は、面積測定部６
０１で得られた面積と予め定められたしきい値（所定の
しきい値）とを比較し、前記面積がしきい値より大きけ
れば、図１に示すスイッチ１０８はスイッチ１０４側に
接続され、前記合成処理を行なわれる。

【００５７】また、前記面積がしきい値より大きくなけ
れば、スイッチ１０８は図１に示す補間画像作成部１０
５に接続され、前記合成処理を行なわれず、式（１）に
従って計算された補間画像が加重平均部１０６に与えら
れる。

【００５８】ここまでは、図１の補間画像作成部１０５
は、式（１）を用いて補間画像を作成するものとした
が、この補間画像を作成するかわりに、前後の下位レイ
ヤフレームの一方をそのまま補間画像作成部１０５の出
力としてもよい。

【００５９】例えば、２枚の下位レイヤの時間をそれぞ
れｔ１，ｔ２，上位レイヤの時間をｔ３（ただし、ｔ１
＜ｔ３＜ｔ２である）とすると、現在の上位レイヤフレ
ームに時間的に近い下位レイヤフレームの画素を用いる
場合、補間画素Ｉ（ｘ，ｙ，ｔ３）を、次式（５ａ）ま
たは（５ｂ）によって計算する。

【００６０】 ｔ３−ｔ１＜ｔ２−ｔ３の場合 Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ１）・・・（５ａ） ｔ３−ｔ１＞ｔ２−ｔ３の場合 Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ２）・・・（５ｂ） この場合、図１４（ｃ）の網点部で示した歪み領域（す
なわち背景補間によって補間される領域）は、図１６の
網点部のようになる。従って、図１の背景補間判定部１
０７で判定に用いる領域としては、図１６の網点部を用
いることになる。

【００６１】式（３）と同じ記号を用いれば、前記領域
（図１６の網点部）は、次式（６）で表される。

【００６２】 ｛Ｆｒ（Ａ）∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（６） ところで、背景部分が時間的に変化していると、上記の
手法では下位レイヤがうまく合成できない場合がある。
このような場合には、援用する図１４において、Ｂｒ
（Ａ）の領域については、画像Ｃの画素値をコピーし、
Ｆｒ（Ａ）の領域については、Ｆｒ（Ａ）の周囲の画素
値を用いて画素値の補間を行って、簡易的に背景を合成
することができる。

【００６３】この手法を実現するための画像重畳部の構
成は、図１の２点鎖線で囲む構成を、図１８に示す構成
に置き換えて得られる。ただし、上位レイヤ領域情報の
入力は無いものとする。ここで、図１８に示す選択部１
８０１は、２つの下位レイヤフレームの内、現在の上位
レイヤフレームに近いものを選択する。

【００６４】選択部１８０１により選択された領域情報
は、コントローラ１８０２と補間部１８０４に入力さ
れ、復号画像（画素情報）は、スイッチ１８０３に入力
される。

【００６５】コントローラ１８０２は、スイッチ１８０
３を制御し、合成される下位レイヤの画像の画素が、領
域内部（例えばＦｒ（Ａ））であればダミーデータを、
領域外部（例えばＢｒ（Ａ））であれば復号画像の画素
値を、補間部１８０４に与える。

【００６６】この補間部１８０４は、領域内部の画素値
を周囲の画素値から補間によって求める。この補間処理
は、背景の情報（画素値）を用いて行なうため、補間領
域（領域内部）の画素値は、背景画像のそれに近くなり
視覚的な画質低下が軽減される。

【００６７】具体的な補間手法として、文献「ＭＰＥＧ
４ Ｖｉｄｅｏ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅ
ｌ Ｖｅｒｓｉｏｎ ２．０」（ＩＳＯ／ＩＥＣ ＪＴ
Ｃ１／ＳＣ２９ ｎ１２６０，１９９６）に示されたパ
ディング手法がある。この他、背景領域の画素値の平均
値や、予め定めた一定の値を用いる補間方法、或いはフ
ラクタルを利用して背景領域のテクスチャ情報を再現す
るような補間画像作成法などを用いてもよい。

【００６８】次に、本発明の第２の実施の形態を説明す
る。これは、前述の第２の問題を解決するためのもので
あり、図２は本実施の形態の装置が備える画像重畳部の
構成を示すブロック図である。

【００６９】なお、図２に示す第１の領域抽出部１０
１、第２の領域抽出部１０２、コントローラ１０３、ス
イッチ１０４、補間画像作成部１０５、加重平均部１０
６は、図１に示すものと同様であるので、これらの詳細
な説明は省略する。

【００７０】図２の第３の領域抽出部２０７は、下位レ
イヤの第１の領域と第２の領域が交わる領域（即ち、背
景として現れる下位レイヤの部品領域の重なり領域）を
抽出する。図１３（ａ）の例では、点線と破線で囲まれ
た白色領域がこれに相当する。

【００７１】図２の画素値補間部２０８は、第３の領域
抽出部２０７にて抽出された領域の補間を行なう。即
ち、画素値補間部２０８は、コントローラ１０３とスイ
ッチ１０４によって作成された合成画素に対し、前記領
域（重なり領域）内の画素値を、その周辺部に隣接する
情報（即ち、背景として現れる下位レイヤの部品領域の
重なり領域の周囲の画素値）をもとに補間していく。

【００７２】これにより、上位レイヤを予測符号化／復
号するための画像情報を生成する。この補間処理は、既
に説明した図１８に示す補間部１８０４の処理と同様で
ある。

【００７３】次に、本発明の第３の実施の形態について
説明する。本実施形態の装置は、前述した第１及び第２
の課題を解決するためのものであり、前述の第２の実施
の形態に、第１の実施の形態で述べた適応的な背景補間
判定装置を組み込んで構成される。

【００７４】図３は第３の実施形態の装置が備える画像
重畳部の構成を示すブロック図である。図３の第１の領
域抽出部１０１、第２の領域抽出部１０２、コントロー
ラ１０３、スイッチ１０４、補間画像作成部１０５、背
景補間判定部１０８、加重平均部１０６、スイッチ１１
０は、図１に示すものと同様に動作し、また同様に、第
３の領域抽出部２０７、画素値補間部２０８は、図２に
示すものと同様に動作するものであるため、ここでの説
明は省略する。

【００７５】このように、本実施形態の装置は、前述の
第１及び第２の実施形態の装置の構成を併せ持つことに
より、動きが小さく補間の効果が見られない場合の無駄
な形状情報の符号化が避けられるだけでなく、上位レイ
ヤの部品領域が往復するような（折り返すような）動き
をするために生じる画質低下を軽減することができる。

【００７６】次に、本発明の第４の実施の形態について
説明する。これは、前述の第１、第２及び第４の問題を
解決するためのものであって、図４は本実施形態の装置
が備える画像重畳部の構成を示すブロック図である。

【００７７】ここで、図４の第１の画素値補間部４０１
は、下位レイヤの第１の復号画像中の第１の部品領域
を、図２の画素値補間部２０８と同様に補間する。同様
に、図４の第２の画素値補間部４０２は、下位レイヤの
第２の復号画像中の第２の部品領域の補間を行なう。具
体的な動作の説明は、図２の画素値補間部２０８の説明
で既になされているので、ここでは省略する。

【００７８】図４の第１の補間画像作成部４０３は、第
１の画素値補間部４０１と第２の画素値補間部４０２の
出力を、前述の式（１）に従って補間する。一方、図４
の第２の補間画像作成部４０４は、下位レイヤの第１の
復号画像と第２の復号画像を、第１の補間画像作成部４
０３と同様に、式（１）に従って補間する。

【００７９】いずれも、図１の補間画像作成部１０５と
全く同様の動作をするので、ここでの説明は省略する。
また、加重平均部１０６及びスイッチ１０８は、図１に
示すものと同様である。

【００８０】図４の背景補間判定部４０７は、図１の背
景補間作成部１０７と同様に、合成処理を行なうかどう
かを判定する部分であり、この判定に基づいて加重平均
部１０６に与える背景画像（上位レイヤに重畳する下位
レイヤ）を定める。

【００８１】即ち、背景補間判定部４０７が、背景とし
て現れる下位レイヤの部品領域が所定のしきい値よりも
大きいと判定した場合、加重平均部１０６は、下位レイ
ヤの部品領域の周囲の画素値を、第１の補間画像作成部
４０３から入力し、これを用いて部品領域の内部の画素
値を補間して、画像情報を生成する。

【００８２】また、背景補間判定部４０７が、背景とし
て現れる前記部品領域が前記所定のしきい値よりも小さ
いと判定した場合、加重平均部１０６は、下位レイヤを
加重平均して得られる画像を、第２の補間画像作成部４
０４から入力し、これを用いて部品領域の内部の画素値
を補間して、画像情報を生成する。

【００８３】本実施形態は、従来例での合成処理を簡略
化したもので、これによって大きな画質の低下を招かず
に、ハードウェアの規模を小さくすることかできる。

【００８４】なお、本実施形態の図４に示す第２の補間
画像作成部４０４は、式（１）に従って、補間を行うも
のとしたが、式（５）に従って、現在の上位レイヤフレ
ームに時間的に近い下位レイヤフレームの画素を用い
て、補間するものとして構成してもよい。

【００８５】即ち、例えば時間的に前の下位レイヤフレ
ームが時間的に近い場合、背景補間判定部４０７は、式
（６）で表される領域をもとに、背景補間を行うかどう
かの判定を行う。また、図４の第１の補間画像作成部４
０３は、第１の画素値補間部４０１で作成された画像を
そのまま出力する。

【００８６】次に、本発明の第５の実施の形態について
説明する。本実施形態の装置は、前述の第１の問題を解
決するためのものであって、下位レイヤの第１の部品領
域と第２の部品領域の位置及び形状の差が小さい場合
に、第２の部品領域を第１の部品領域に置き換えること
によって、第２の部品領域情報に要する符号量を削減す
るものである。

【００８７】本実施形態の装置が備える画像重畳部は、
図１から図４に示す構成において、下位レイヤの第１の
領域情報及び第２の領域情報の入力部に、図５に示す構
成要素をさらに備えて構成される。

【００８８】ここで、図５の比較部５０１は、下位レイ
ヤの２つの領域情報の違いを判定する部分である。下位
レイヤの部品画像があまり動かず、これを表す領域情報
の変化が小さければ、下位レイヤの第２の領域情報を利
用する代わりに、図５のスイッチ５０２が上側と接続
し、下位レイヤの第１の領域情報が出力され、符号化す
る必要のある領域情報を１つ減らす。

【００８９】また、下位レイヤの部品領域が大きく動く
場合には、スイッチは下側に接続し、それぞれの領域情
報が出力される。領域情報の変化の判断材料としては、
例えば図９に示す斜線部の面積を用いてもよい。

【００９０】次に、本発明の第６の実施の形態を説明す
る。本実施形態の装置は、前述の第３の問題を解決する
ためのものであり、図７は本実施形態の装置を構成する
画像重畳部の構成を示すブロック図である。

【００９１】同図に示すように、本装置が備える画像重
畳部は、図１に示す第１の実施形態の構成において、さ
らに、存在判定部７０９、第３の補間画像作成部７１
０、スイッチ７１１、７１２を備えて構成される。

【００９２】なお、図７の第１の領域抽出部１０１、第
２の領域抽出部１０２、加重平均部１０６、スイッチ１
０８の動作は、図１に示すものと同様であるので、ここ
での説明は省略する。また、コントローラ７０３、スイ
ッチ７０４、補間画像作成部７０５は、それぞれ図１の
コントローラ１０３、スイッチ１０４、補間画像作成部
１０５に対応する。

【００９３】先ず、背景補間判定部７０７が、背景とし
て現れる前記下位レイヤの部品領域が所定のしきい値よ
りも大きいと判断した場合、スイッチ１０８は左側（ス
イッチ７０４の出力）に接続する。

【００９４】そして、図７の存在判定部７０９は、下位
レイヤの第１の復号画像及び第２の復号画像が存在する
かどうか、即ち、背景補間に必要とする下位レイヤのフ
レームの数が満足されているかどうかの判定を行なう。

【００９５】ここで、存在判定部７０９が、一方の復号
画像が入力されてないと判断した場合、コントローラ７
０３を通してスイッチ７０４を、最も左（第３の補間画
像作成部７１０の出力）に接続する。

【００９６】同時に、スイッチ７１１及びスイッチ７１
２を、存在する方の復号画像及びそれに対応する領域情
報が第３の補間画像作成部７１０に入力されるよう接続
する。例えば、時間的に後の復号画像である第２の復号
画像が存在しない場合には、第１の復号画像と第１の領
域情報が入力されるようにスイッチが接続される。

【００９７】次に、図７の第３の補間画像作成部７１０
は、図２の画素値補間部２０８と同様の動作により、復
号画像の内部の部品領域を、その周囲の画素値を用いて
補間処理を行なう。存在判定部７０９にて、一方の入力
が無いと判定されている場合には、スイッチ７０４が最
も左に接続されているため、この場合、第３の補間画像
作成部７１０の出力が、画像フレームの重畳に使用され
る。

【００９８】図７の補間画像作成部７０５及び背景補間
判定部７０７は、一方の入力が無い場合がある。この場
合、補間画像判定部７０７は、入力された下位レイヤの
部品領域のうち、上位レイヤの部品領域が覆うことので
きない領域の大きさを用いて、背景補間を行なうか判定
する。また、補間画像作成部７０５は補間を行なわず、
復号画像をそのまま出力する。

【００９９】以上説明した第１から第６の実施の形態で
は、背景補間を行うかどうかの判定を、各々の上位レイ
ヤフレームについて行うものとしたが、連続した２枚の
下位レイヤフレームの間に複数の上位レイヤフレームが
存在する場合には、以下のようにして背景補間を行うも
のとして構成してもよい。

【０１００】すなわち、上記複数の上位レイヤフレーム
（下位レイヤ側に対応するフレームが存在しない上位レ
イヤフレーム）の各々に対して背景補間を行うか否かの
判定を一旦行い、各々の判定結果が全て背景補間を行わ
ないことを示すものである場合には、上記複数の上位レ
イヤフレームの全てについて背景補間を行わない。

【０１０１】この場合、上位レイヤフレームは前後の２
枚の下位レイヤフレームの補間画像に重畳されるか、あ
るいは時間的に近い下位レイヤフレームに重畳される。

【０１０２】また、少なくとも一枚の上位レイヤフレー
ムについて背景補間を行う判定が下された場合（複数の
上位レイヤの何れかについて背景として現れる下位レイ
ヤの部品領域が所定のしきい値よりも大きい場合）に
は、上記複数の上位レイヤフレームの全てについて、背
景補間によって合成された下位レイヤフレームを重畳す
る。

【０１０３】具体的には、前記複数の上位レイヤのすべ
てについて、下位レイヤを加重平均して得られるフレー
ムと下位レイヤのフレームとを合成して画像情報を生成
する。

【０１０４】この場合、前記複数の上位レイヤのフレー
ムの内、例えば時間的に最初のフレームに対してのみ背
景補間を行って、下位レイヤのフレームを合成し、残り
の上位レイヤフレームについては、最初の上位レイヤフ
レームに対して合成された下位レイヤフレームをそのま
ま用いればよい。

【０１０５】また、第１から第６の実施の形態の装置で
は、図１４（ｃ）や図１６において網点部で示される画
像の歪みが大きい場合に、背景補間によってこの歪みを
除去する。しかし、画像の歪みが小さい場合には背景補
間を行わず、この画像の歪みはわずかながら存在する。

【０１０６】この場合の画像の歪みは、視覚的に目立つ
ものではないが、次のようにして、この歪みを視覚上全
く発生させないようにすることができる。

【０１０７】すなわち、上位レイヤの符号化を行う際
に、上位レイヤの部品領域と共に、図１４（ｃ）や図１
６の網点部で示す下位レイヤの部品領域も符号化する。
このために、上位レイヤの部品領域を図１４（ｃ）や図
１６の斜線部と網点部を両方含むように変更する（拡張
／膨張させる）。

【０１０８】図１７はこの部品領域の変更の処理を行う
ための領域変換部のブロック図である。この領域変換部
は、下位レイヤの部品領域を用いて、上位レイヤの部品
領域を拡張し、これを画像情報の部品領域として生成す
ることにより、図１１に示す上位レイヤ符号化部１１０
３に与えられる領域情報を変換する。

【０１０９】ここで、図１７に示す領域変換部の各構成
要素の動作について説明する。同図において、スイッチ
１７０１は、領域情報を上位レイヤの領域情報と下位レ
イヤの領域情報とに分離する。図１７のメモリ１７０２
は、下位レイヤの領域情報を一時記憶する。領域統合部
１７０３は、上位レイヤの領域情報に下位レイヤの領域
情報の一部を統合して新たな領域情報を作成する。

【０１１０】具体的には、例えば、図１の補間画像作成
部１０５は、式（１）に従って、補間画像を作成する場
合、図１４（ｃ）の網点部を上位レイヤの領域情報に統
合して、新たな領域情報を作成する。また、補間画像作
成部１０５を、式（５）に従って、時間的に近い下位レ
イヤを選択して補間画像を作成するものして構成した場
合には、図１６の網点部が上位レイヤの領域情報に統合
される。

【０１１１】次に、図１７のスイッチ１７０４は、背景
補間を行うときは上側（上位レイヤ領域情報）に、行わ
ないときは下側（領域統合部１７０３の出力）に接続さ
れる。また、スイッチ１７０５は、スイッチ１７０１と
同期して、上位レイヤ領域情報が処理されているときは
上側に接続され、下位レイヤ領域情報が処理されている
ときには下側に接続される。

【０１１２】このように、背景補間が行われない場合に
は、上位レイヤの領域情報を変更して膨張／拡張させる
ことにより、画像の歪みを発生させないようにすること
ができる。

【０１１３】以上の説明から明らかなように、本発明の
各実施形態によれば、以下のような効果を得ることがで
きる。

【０１１４】（１）下位レイヤおよび上位レイヤ画像中
の部品領域があまり動かず、背景補間を行なっても視覚
的にその効果が得られない場合には、背景補間を行なわ
ず、逆に、部品領域が大きく動いた場合には、背景補間
を行なうことにより、背景補間のための形状情報を削減
でき、その分の高画質化を達成できる。

【０１１５】（２）下位レイヤ及び上位レイヤ画像中の
部品画像が、一方向へ動く代わりに往復運動や折り返し
運動、或いは方向転換運動などをする場合に、下位レイ
ヤの部品画像領域が重なる領域に対して、その周囲の画
素値を用いて補間することにより、視覚的な画質低下を
軽減することができる。

【０１１６】（３）符号化する上位レイヤの画像に対し
て時間的に前後する下位レイヤが存在しない場合に、存
在する下位レイヤのみを用いて、部品画像領域をその周
囲の画素値を用いて補間することにより、見かけ上の画
質低下を軽減することができる。

【０１１７】（４）部品画像領域の補間処理に使用する
画面を領域毎に切替えずに、部品画像領域の周囲の画素
値を用いて補間するという簡略化により、ハードウェア
の規模を小さくすることができる。

【０１１８】（５）連続した２枚の下位レイヤフレーム
の間に複数の上位レイヤフレームが存在する場合に、背
景補間を行うに際し、上記複数の上位レイヤフレームの
最初の上位レイヤフレームに対してのみ背景補間を行う
ことによって、背景補間の処理量、及び背景補間に必要
な下位レイヤの部品領域情報の符号量を少なくすること
ができる。

【０１１９】（６）背景補間を行わない場合に、上位レ
イヤを符号化するにあたって、上位レイヤフレームの部
品領域を、該上位レイヤフレームの時間的に前又は後に
存在する下位レイヤフレームの部品領域を含むように拡
張して、この拡張された領域を示す領域情報を符号化す
ることによって、背景補間を行わないために生じる画像
の歪みを、視覚上発生させないようにすることができ
る。

【０１２０】

【発明の効果】本発明の動画像符号化装置は、上述のよ
うな構成としているので、上位レイヤフレームに時間的
に対応する下位レイヤフレームが存在しない場合、前記
上位レイヤフレームの部品画像領域を拡張して、領域情
報として符号化することにより、該上位レイヤフレーム
の時間的に前又は後に存在する下位レイヤフレームの部
品画像領域を示す形状情報を符号化する必要がないた
め、テクスチャ情報符号化に使用できる符号量が相対的
に増え、画質を改善することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図２】本発明の第２の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図３】本発明の第３の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図４】本発明の第４の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図５】本発明の第５の実施形態に係る動画像符号化装
置および動画像復号装置が備える領域情報変換部の構成
を示すブロック図である。

【図６】本発明の第１の実施形態に係る装置の画像重畳
部が備える背景補間判定部の構成を示すブロック図であ
る。

【図７】本発明の第６の実施形態に係る装置が備える画
像重畳部の構成を示すブロック図である。

【図８】従来の装置の問題を説明するための図である。

【図９】本発明の第５の実施形態に係る装置の動作を説
明するための図である。

【図１０】従来の装置の問題を説明するための図であ
る。

【図１１】動画像符号化装置および動画像復号装置の構
成を示すブロック図である。

【図１２】従来の装置が備える画像重畳部の構成を示す
ブロック図である。

【図１３】従来の装置が備える画像重畳部の動作を説明
するための図である。

【図１４】従来の装置が備える画像重畳部の問題を説明
するための図である。

【図１５】動画像符号化装置および動画像復号装置にお
けるフレーム合成の概念を説明するための図である。

【図１６】本発明の第１の実施形態に係る装置の画像重
畳部が備える補間画像作成部の動作を説明するための図
である。

【図１７】本発明の実施形態に係る装置が備える領域情
報変換部の構成を示すブロック図である。

【図１８】本発明の実施形態に係る装置が備える画像重
畳部の他の構成を示すブロック図である。

【符号の説明】

１０１ 第１の領域抽出部 １０２ 第２の領域抽出部 １０３，７０３，１８０２ コントローラ １０４，１０８，５０２，７０４，７１１，７１２ ス
イッチ １０５，７０５ 補間画像作成部 １０６ 加重平均部 １０７，４０７，７０７ 背景補間判定部 ２０７ 第３の領域抽出部 ２０８ 画素値補間部 ３０５，４０３ 第１の補間画像作成部 ４０１ 第１の画素補間部 ４０２ 第２の画素補間部 ４０４ 第２の補間画像作成部 ５０１ 領域比較部 ６０１ 面積測定部 ６０２ 比較判定部 ７０９ 存在判定部 ７１０ 第３の補間画像作成部 １７０２ メモリ １７０３ 領域統合部 １８０１ 選択部 １８０４ 補間部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 草尾 寛 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平７−38899（ＪＰ，Ａ) 特開 昭60−206287（ＪＰ，Ａ) 特開 昭60−128791（ＪＰ，Ａ) 栄藤、ブン、角野，「階層表現と多重 テンプレートを用いた画像符号化」，電 子情報通信学会技術研究報告，1995年３ 月，Ｖｏｌ．94，Ｎｏ．549，ｐ．99− 106 角野、津田、ブン、栄藤，「透明度情 報を領域表現に用いた画像符号化」，情 報処理学会研究報告 オーディオビジュ アル複合情報処理 95−ＡＶＭ−９, 1995年７月，Ｖｏｌ．95，Ｎｏ．64, ｐ．１−８ (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 一つの動画像シーケンスを低いフレーム
   レートの下位レイヤと高いフレームレートの上位レイヤ
   とに分離する手段と、 前記下位レイヤにおいて、前記動画像シーケンスの画像
   全体を符号化する下位レイヤ符号化手段と、 前記上位レイヤにおいて、前記動画像シーケンスの画像
   の一部領域を部品画像として符号化する上位レイヤ符号
   化手段とを備えた動画像符号化装置であって、前記上位レイヤフレームに時間的に対応する下位レイヤ
   フレームが存在しない場合、 前記上位レイヤフレームの
   部品画像領域を、該上位レイヤフレームの時間的に前又
   は後に存在する下位レイヤフレームの部品画像領域を含
   むように拡張する領域変換手段と、 前記領域変換手段により拡張された部品画像領域を示す
   領域情報を符号化する領域情報符号化手段とを備えたこ
   とを特徴とする動画像符号化装置。