JPH10336643A

JPH10336643A - 画像符号化装置及び画像復号装置

Info

Publication number: JPH10336643A
Application number: JP13959297A
Authority: JP
Inventors: Norio Ito; 典男伊藤; Hiroyuki Katada; 裕之堅田; Tomoko Aono; 友子青野; Hiroshi Kusao; 寛草尾
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-05-29
Filing date: 1997-05-29
Publication date: 1998-12-18

Abstract

(57)【要約】【課題】任意形状の外部を外挿補間することで任意形
状サブバンド符号化を実現する場合、元の形状領域内部
の情報の他にその周囲の係数も必要である。このため、
形状領域をあらかじめ膨張させ、これを元に符号化領域
を決定していた。しかし、膨張量を全てのバンドで一律
に処理するため、必要な全ての情報を効率的に符号化で
きず画質が低下するという問題がある。【解決手段】どの係数を符号化するかを示す有意領域
作成のため各バンドの形状領域の膨張量をバンド毎に切
替える、もしくは各バンドの形状領域周辺が滑らかに１
から０になる重み値を作成し、これを用いてサブバンド
係数の重み付けをおこなう、さらに符号化する必要のな
い係数は符号化せずにスキップすることにより、従来法
より効率的に任意形状領域を符号化できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はディジタル画像処理
の分野に属し、画像データを高能率に符号化する動画像
符号化及びこの動画像符号化装置で作成された符号化デ
ータを復号する動画像復号装置に関するものである。

【０００２】

【従来の技術】画像符号化において、動画像を複数の領
域に分割した部品画像をそれぞれ独立に符号化し、復号
時に得られた部品画像を重ね合わせて動画像を再生する
方式が検討されている。例えば、動画像の国際標準規格
であるＭＰＥＧ４（ＩＳＯ／ＩＥＣＭＰＥＧ４）で
は、こうした画像再生を考慮した符号化、復号、合成方
式が検討されている。これらの部品画像は従来のような
矩形とは限らず任意の形状を取る。一般に、こうした任
意の形状をした部品画像は図１１のように部品の外周形
状とその内部の画像情報の組み合わせとして表される。

【０００３】従来、ＭＰＥＧのような国際標準化規格で
は、高能率符号化方式として離散コサイン変換（ＤＣ
Ｔ）に代表されるブロック変換符号化が用いられてい
る。これは画像を複数の矩形ブロックに分割し、そのブ
ロックにＤＣＴを施すことで冗長度の削減を行ってい
る。しかし、処理の対象をブロックに限定しているた
め、ＤＣＴは部品画像のような任意の形状を持つブロッ
クを直接取り扱うことができない。このため、ＭＰＥＧ
４では任意の形状ブロックにＤＣＴを適用すべく図１２
のようなパディングと呼ばれる外挿補間技術を施して矩
形ブロックを構成した後にＤＣＴを適用している。パデ
ィングは、領域端点の画素値を水平／垂直方向に矩形ブ
ロック境界までコピーする操作で、水平方向のコピーの
後に垂直方向にコピーする操作を全ての画素値が決まる
まで繰り返す。もしすでに水平方向にコピー済みの画素
に当たった場合はすでに格納されている値との平均値で
置き換える。

【０００４】一般に、ＤＣＴはブロック単位の処理のた
め、隣接するブロックの境界に、いわゆるブロック歪み
が発生する。そのため、近年、重複ブロック変換である
サブバンド符号化が検討されている。これは、隣接する
ブロックが相互に重なり合うため前述したブロック歪み
が発生せず、特に低ビットレートでの画像符号化に効果
があると言われている。

【０００５】図１３は、例として一般的なサブバンド符
号化のサブバンド分割処理の構成を示したものである。
中央の破線の左側が符号化器側、右側が復号器側であ
る。通常、画像符号化に用いられるサブバンド分割の構
成では同図ように低域バンド出力を次段の入力に再帰的
に組み合わせている。符号化器側においては、入力され
たデータはローパスフィルタ１３０１でフィルタ処理さ
れた後、間引き処理部１３０２にて１画素毎に間引かれ
る。

【０００６】同様に入力された画像のもう一方は、ハイ
パスフィルタ１３０３でフィルタ処理された後に、間引
き処理部１３０４にて同様の間引き処理される。間引き
処理部１３０２の出力は次段に入力され、同様の動作が
繰り返される。こうして得られた各間引き処理の出力が
サブバンド係数として独立に符号化される。復号器側で
は、受け取った情報を復号し、サブバンド係数を再生す
る。

【０００７】次に補間処理部１３０５で１画素毎に０を
挿入した後、ローパスフィルタ１３０６にてフィルタ処
理する。同様に入力データのもう一方は、補間処理部１
３０７にて同様の補間処理を施した後、ハイパスフィル
タ１３０８にてフィルタ処理し、ローパスフィルタ１３
０６の出力に足し合わせ、次段の補間処理部に入力され
る。これらの動作を順次繰り返して元のデータが得られ
る。画像の場合、これらの処理を、水平方向、垂直方向
独立して行なう２次元サブバンド分割が用いられる。こ
れは、２次元サブバンド分割を低域バンドのみに繰り返
し施したものである。図１４は、３回の分割によりＨＨ
１からＬＬ３バンドまでの１０のバンドに分割された場
合を示している。

【０００８】部品画像のサブバンド符号化方式は、例え
ば、「ＷａｖｅｌｅｔｂａｓｅｄＶｉｄｅｏｃｏｄ
ｉｎｇａｌｇｏｒｉｔｈｍｆｏｒＯｂｊｅｃｔ
Ｓｃａｌａｂｉｌｉｔｙ」（ＩＳＯＩＥＣ／ＪＴＣ１
ＭＰＥＧ９５／０５８３）に詳しく記載されている。
前記文献では、部品画像を囲む矩形の画像をパディング
により作成し、これをサブバンド分割することで部品画
像へ適用している。この結果、例えば人の上半身の部品
画像を符号化する場合、生成されるサブバンド係数は図
１５（ａ）のようになる。各バンド内の形状領域は図１
５（ｃ）に示すように、そのバンドの解像度に合わせて
縮小されたものであり、元の部品画像の情報のほとんど
はこのように表わされた領域内部に存在する。

【０００９】しかし、前記形状領域内部のサブバンド係
数を符号化しても元の部品画像を完全に再生できない。
これは、バンド分割にフィルタを使用するために、部品
画像内部の情報が外部に洩れ出てしまうためである。そ
こで、前記文献では、形状領域周辺の係数も符号化する
ことで問題の解決を行っている。このため、図１５
（ｂ）に示すように最初に形状領域を適切な量だけ膨張
させ、更に、各バンドの解像度に比例させて縮小した領
域の係数を有意係数とし、それ以外の係数は所定の値に
置換してそれぞれ符号化している。

【００１０】図１６に、前記文献にある従来方式の符号
化装置のブロック図を示す。領域外データ外挿部１６０
１では、入力された部品画像の形状領域外部をパディン
グ処理により外挿し、これを含む矩形の画像に変換す
る。サブバンド分割部１６０２は、前記矩形画像をサブ
バンド分割する。有意領域決定部１６０３では、形状膨
張部１６０４にて形状領域を後述する膨張処理をした
後、サブバンド形状作成部１６０５にて各バンドの解像
度に合わせて縮小し、図１５（ｂ）に示す有意領域が決
定される。

【００１１】ここで有意領域とはサブバンド係数のうち
元の部品画像の画像情報を持つ領域を指す。形状領域符
号化部１６０６では、形状領域を符号化して形状情報を
生成する。係数生成部１６０７では、該サブバンド係数
に対し有意領域外部の係数を所定値（ゼロ）にし、サブ
バンド係数符号化部１６０８では得られた係数を符号化
して画像符号化情報を生成する。最後に符号化情報合成
部１６０９にて形状情報と画像符号化情報を結合する。

【００１２】サブバンド係数符号化部で用いられる具体
的な符号化手法としては、文献「ＡＺｅｒｏｔｒｅｅ
ＷａｖｅｌｅｔＶｉｄｅｏＣｏｄｅｒ」（ＩＥＥＥ
Ｔｒａｎｓ．ｏｎＣＳＶＴＶｏｌ．７，Ｎｏ．１，
ｐｐ１０９−１１８、１９９７）に示されるＺＴＥ方式
がある。これは、図２０（ａ）に示すようにサブバンド
係数を各バンドの間で対応する位置にある画素値の関係
を表すツリー情報とそれに付随した画素値の組として表
現し、これを適応算術符号化するものである。ツリーは
最低位バンドの各画素を頂点として構成され、その数は
最低位バンドの画素数に一致する。それぞれのツリーと
画素値の組は図２０（ｂ）に示すようなブロックを構成
し、ブロック単位にを独立に符号化することも可能であ
る。

【００１３】図１７に前記文献にある従来方式の復号装
置のブロック図を示す。符号化情報分離部１７０１は、
入力された符号化情報を画像符号化情報と形状情報に分
離する。形状領域復号部１７０６では、形状情報を復号
して形状領域を生成する。有意領域再生部１７０３では
復号された形状領域を用いて図１６の有意領域決定部１
６０３と同一の動作により有意領域を再生する。サブバ
ンド係数復号部１７０２は、画像符号化情報を復号して
前記有意領域のサブバンド係数を生成する。外挿補間部
１７０４では前記領域以外の係数値を、前記復号された
係数の平均値で置換して全てのサブバンド係数を再生す
る。サブバンド合成部１７０５では、前記再生されたサ
ブバンド係数をサブバンド合成し、元の画像を得る。

【００１４】図１８は図１６の有意領域決定部１６０３
および図１７の有意領域再生部１７０３をより詳細に示
したブロック図である。形状膨張処理部１８０２は、入
力された形状領域を膨張処理する。ここで使用される膨
張量は、膨張量決定部１８０１であらかじめ固定的に定
められた値を用いる。間引き形状作成部１８０３を直列
に組み合わせ、該膨張された形状領域に対して間引き処
理を連続的に行い各バンドの解像度に比例して縮小され
た形状領域を複数作成する。領域決定部１８０４では、
これを組み合わせて図１５（ｂ）に示すような有意領域
を決定する。

【００１５】前記形状膨張部での膨張処理を図１９を用
いて説明する。形状領域１９０２内の各画素に対し、こ
れを中心とした３×３の窓領域１９０１を設定し、この
内部でＯＲ演算を行って該中心画素を演算結果で置換す
る。この結果、元の形状に対して約１画素程膨張する。
これを必要な回数繰り返すと所望する膨張形状が得られ
る。ここで形状領域は、領域内部で画素値２５５、領域
外部で画素値０を持つ２値画像とする。ＯＲ演算は３×
３領域の画素値のどれかが２５５を取るならば演算結果
を２５５とし、それ以外は０とする。

【００１６】

【発明が解決しようとする課題】しかしながら、従来手
法では膨張させる量を大きくすれば有意領域となるサブ
バンド画像係数が増え、符号化効率が低下する。逆にこ
れを小さくすれば形状領域周辺の情報が失われ、画質が
大きく劣化してしまう。

【００１７】

【表１】

【００１８】上記表１に９タップのフィルタを使用した
場合に各レベルで任意形状領域端点から何画素分だけ情
報の洩れがあるのかを示す。

【００１９】このように、有意領域とする必要のある膨
張領域はそれぞれのバンドで異なる。各サブバンドにお
いて、これだけの範囲を全て有意領域として符号化すれ
ば元の情報は失われない。しかし、膨張領域の端点に近
付くにつれ元の情報の寄与率は一般的に小さくなり、こ
れらを全て有意領域としても画質はあまり上昇しない。
そのため、最も効率的に有意領域を決定するためには、
各バンドそれぞれでフィルタの大きさを考慮して膨張量
を決めた方が良い。また、従来例は符号化は有意領域以
外のサブバンド画像係数を所定値（ゼロ）に置換した後
サブバンド画像全体に対して行っており、有意領域以外
すなわち本来不要な領域も全て符号化していたため、符
号化効率が劣化するという問題がある。

【００２０】本発明は上記問題を解決し、高効率に任意
形状をした領域をサブバンド符号化する機能を備えた動
画像符号化装置、復号装置を提供することにある。

【００２１】

【課題を解決するための手段】本発明は、上記目的を達
成するために以下の手段を有する。

【００２２】（１）任意の形状をした部品画像の、位置
および形状領域を符号化して形状符号化情報を再生する
形状領域符号化部と、前記部品画像を含む矩形において
部品画像外部を部品画像の周辺部の値を用いて外挿し矩
形画像を求める領域外データ外挿部と、該外挿された矩
形画像をサブバンドフィルタによりサブバンド分割する
サブバンド分割部と、サブバンド分割によって得られた
サブバンド係数のうち、元の部品画像の情報を含む係数
の位置を有意領域とし、この領域を部品画像の形状に基
づいて決定する有意領域決定部と、該有意領域外のサブ
バンド係数を所定の値に置換する係数生成部と、該作成
された矩形のサブバンド係数全体を符号化して画像符号
化情報を生成するサブバンド係数符号化部と、該形状符
号化情報と該画像符号化情報を結合して符号化情報とす
る符号化情報結合部からなる画像符号化装置であって、
前記有意領域決定部は、前記サブバンド係数に対して各
バンドの形状領域を部品画像の形状に基づいて作成する
サブバンド形状作成部と、各サブバンドの該領域を周辺
の所定の領域まで膨張させるサブバンド膨張部を備え、
該周辺領域の大きさは各バンド毎に決定すること。

【００２３】（２）（１）の画像符号化装置において、
前記サブバンド係数符号化部は、前記有意領域のサブバ
ンド係数のみを符号化対象とし、この際、該有意領域外
であっても該サブバンド係数符号化部の符号化処理に必
要となるサブバンド係数については前記係数生成部で所
定の値に置換して符号化対象とすること。

【００２４】（３）（１）の画像符号化装置において、
前記有意領域決定部を前記サブバンド形状作成部と重み
作成部よりなる重み決定部で置換し、前記係数作成部を
係数重み付け部で置換し、前記重み決定部は前記サブバ
ンド形状作成部にて各バンドの形状領域を作成した後前
記重み作成部にてサブバンド係数の重み値を作成し、前
記係数重み付け部は前記重み決定部にて作成された重み
値に従ってサブバンド係数の重み付けを行い、前記重み
値の生成にあたっては各バンドにおいて、該形状領域の
内部で大きな値を取り、該領域の周辺では形状領域の境
界部からの距離に伴って減少する重み値を定め、前記重
み値を定める関数をバンド毎に備えること。

【００２５】（４）（３）の画像符号化装置において、
前記サブバンド係数符号化部は、前記重み値がゼロ以外
のサブバンド係数のみを符号化対象とし、前記重み値が
ゼロであっても符号化処理に必要となるサブバンド係数
については前記符号化対象に含めること。

【００２６】（５）画像復号装置において、符号化情報
を形状符号化情報と画像符号化情報に分割する符号化情
報分離部と、形状符号化情報から形状領域を復号する形
状領域復号部と、前記画像符号化情報からサブバンド係
数を復号するサブバンド係数復号部と、該サブバンド係
数をサブバンドフィルタによりサブバンド合成するサブ
バンド合成部からなり、（１）の画像符号化装置に対応
すること。

【００２７】（６）（５）の画像復号装置において、符
号化されたサブバンド係数に対応する有意領域を前記復
号された形状領域から再生する有意領域再生部と、該有
意領域内部の係数は、前記サブバンド係数復号部で復号
された値を用い、有意領域外でも符号化がなされた係数
は前記サブバンド係数復号部で復号された値もしくは所
定の値を用い、それ以外の係数は所定の値を用いてサブ
バンド係数全体を再生する係数再生部を備え、（２）の
画像符号化装置に対応すること。

【００２８】（７）（５）の画像復号装置において、前
記有意領域再生部の代わりに復号された形状領域からサ
ブバンド係数の重み値を再生する重み再生部を備え、前
記サブバンド係数復号部で復号された全ての係数のう
ち、前記係数再生部では、該再生された重み値がゼロで
ない係数は前記重み値で重み付けの逆処理をなし、該再
生された重み値がゼロの係数はゼロとし、（３）の画像
符号化装置に対応すること。

【００２９】（８）（７）の画像復号装置において、前
記係数再生部では、前記重み再生部で再生された重み値
がゼロでない係数は前記サブバンド係数復号部で復号さ
れた値に対して前記重み値で重み付けの逆処理をなし、
重み値がゼロでも符号化がなされた係数は前記サブバン
ド係数復号部で復号された値もしくは所定の値を用い、
それ以外の係数は所定の値を用いてサブバンド係数を再
生し、（４）の画像符号化装置に対応すること。

【００３０】

【発明の実施の形態】以下、図を参照しながら本発明の
実施の形態を詳細に説明する。

【００３１】本発明の第１の実施の形態は、本発明の
「課題を解決するための手段」（１）と関連し、図１は
これを説明するためのブロック図である。なお、同図の
領域外データ外挿部１０１は１６０１と、同図のサブバ
ンド分割部１０２は１６０２と、同図の形状領域符号化
部１０６は１６０６と、同図の係数作成部１０７は１６
０７と、同図のサブバンド係数符号化部１０８は１６０
８と、さらには、同図の符号化情報合成部１０９は１６
０９と同一のものであり、これらの動作は既に「従来技
術」で詳細に述べているため、ここでの説明は省略す
る。有意領域決定部１０３は、サブバンド形状作成部１
０４で形状領域を各バンドの解像度に合わせて縮小し、
サブバンド形状膨張部１０５で該作成された各バンドの
形状領域の膨張処理を行い有意領域を決定する。

【００３２】図６は有意領域決定部の第１の実施の形態
をより詳細に説明するためのブロック図である。また、
図７は本発明による符号化領域決定部で、入力された形
状領域がどのように処理されるかを概念的に示した図で
ある。

【００３３】図６において間引き形状作成部６０３は、
入力された形状領域の解像度を１／２に間引く。前述の
間引き形状作成部は、直列に結合され、おのおのの出力
を取り出す事で各バンドの縮小形状領域を得る。膨張量
決定部６０１では、各バンドの膨張量を決定する。形状
膨張処理部６０２は、それぞれ対応する前記縮小された
形状領域に対し、膨張処理を行う。領域決定部６０４は
図１８の領域決定部１８０４と同一の動作を行い、各膨
張された形状領域を組み合わせて図１５（ｂ）に示すよ
うな有意領域を決定する。

【００３４】図７において、入力された形状領域（ａ）
は図６の直列された間引き形状作成部６０３で間引か
れ、それぞれの出力を取り出すと（ｂ−１）〜（ｂ−
３）になる。これが元の形状領域（ａ）の縮小された形
状領域に当たる。形状膨張処理部６０２では、それぞれ
の形状領域を膨張処理して（ｃ−１）〜（ｃ−３）にそ
れぞれ示す各バンドの有意領域が得られる。領域決定部
６０４でこれらをまとめ、（ｄ）に示す有意領域が決定
される。

【００３５】間引きには、単純な１／２サブサンプル以
外に、以下に述べる手法を用いても良い。ただし、形状
領域の画素値は０から２５５の間を取り、これが２値画
像の場合は０か２５５のみを取るものとする。即ち、形
状領域上の２×２の各ブロックに対し、ブロック内の４
画素でＯＲ演算をして前記４画素を画素値０もしくは２
５５の１画素に置き換える手法である。

【００３６】ここでも、ＯＲ演算は２×２領域のどれか
が２５５を取るならば演算結果を２５５、全て０の場合
のみ０にする処理である。この他、形状領域の各画素に
対し、これを中心とした３×３画素の窓領域で多数決演
算を行い、前記画素を０もしくは２５５で置き換えるな
どのローパスフィルタ処理をした後に単純な１／２サブ
サンプルを行っても良い。多数決処理は９画素中５画素
以上が２５５ならば中心の画素を２５５にし、そうでな
ければ０にする処理である。

【００３７】

【表２】

【００３８】膨張量決定部６０１で決定される各バンド
の膨張量はあらかじめ上記表２に示すような対応表を用
意しておき、ここから必要な値を取得する。このような
表は、符号化装置、復号装置で同じものを１つだけ用意
しても良いし、複数の表を用意しておいて符号化時にフ
ィルタに合わせて切替えても良い。後者の場合には、フ
ィルタの種類を符号化する必要がある。

【００３９】膨張処理法は「従来技術」で既に詳細に述
べた手法の他に、３×３の窓領域の代わりに形状領域の
各画素に対し、これを中心とした３×３画素で多数決演
算を行い、前記画素を０もしくは２５５で置き換えても
良い。その他、図８に示すように、まず水平方向に形状
領域を伸ばし、次いで垂直方向に同様の処理をしても良
い。また、使用されるフィルタのサイズがローパスフィ
ルタとハイパスフィルタで異なる場合には膨張処理を全
方向的に等方的に行わなくとも良い。例えば、図１４の
ＬＨ３，ＬＨ２，ＬＨ１にある縮小形状領域はｘ方向を
優先的に膨らませ、逆にＨＬ３、ＨＬ２、ＨＬ１にある
縮小形状領域はｙ方向を優先して膨らませ、残りは等方
的に膨らませる手法も考えられる。

【００４０】このように、本発明第１の実施の形態で示
した画像符号化装置によれば、部品画像をサブバンド符
号化する際にバンド毎に適応的に有意領域を定め、この
外部にある係数を所定の値に置換してから符号化する事
で、部品画像の周辺の画質を劣化させず高効率に符号化
する事ができる。

【００４１】本発明の第２の実施の形態は、本発明の
「課題を解決するための手段」（２）と関連し、第１の
実施例同様図１のブロック図で構成される。本実施の形
態において、同図係数生成部１０７の動作のみ異なり、
これ以外は既に本発明の第１の実施の形態で説明してあ
るので、係数生成部１０７以外の説明は省略する。

【００４２】同図の係数生成部１０７では、第１の実施
例と同様な手順で生成された矩形のサブバンド係数を図
２０（ｂ）に示すブロックに再配置し、そのブロックの
係数が全て有意領域外にあるならばこれをスキップす
る。一部の係数が有意領域外にある場合はその係数も符
号化処理に必要となるためその係数値を所定の値で置換
する。サブバンド係数符号化部１０８は係数生成部１０
７から出力される係数のブロックのみを符号化するた
め、この結果、元の部品画像にかかわる係数のみが符号
化されることになる。また、例えば有意領域内であって
もサブバンド係数が全てゼロとなるブロックも存在する
ため、サブバンド係数符号化部１０８は係数生成部１０
７の出力を全て符号化しても良いし、係数値がゼロにな
ったブロックについては符号化をスキップすることを示
すフラグのみを符号化しても良い。

【００４３】このように、本発明第２の実施の形態で示
した画像符号化装置によれば、部品画像をサブバンド符
号化する際にバンド毎に適応的に有意領域を定め、必要
な係数以外はスキップすることで部品画像の周辺の画質
を劣化させず高効率に符号化する事ができる。

【００４４】本発明の第３の実施の形態は、本発明の
「課題を解決するための手段」（３）と関連し、図２は
これを説明するためのブロック図である。同図は、本発
明第１の実施の形態で説明した符号化器の有意領域決定
部１０３を重み決定部２０３に、サブバンド形状膨張部
１０５を重み作成部２０１に、係数生成部１０７を係数
重み付け部２０２にそれぞれ置き換えたものであり、こ
れ以外の動作についてはすでに本発明第１の実施の形態
で詳細に述べているため、ここでの説明は省略する。重
み決定部２０３では、サブバンド形状作成部１０４に入
力された形状情報から各バンドの形状領域を作成後、重
み作成部２０１でサブバンド係数の重み値をバンド毎に
作成する。係数重み付け部２０２では、該作成された重
み値を用いてサブバンド係数の重み付けを行う。

【００４５】図９は、図２の重み決定部２０３の動作を
より詳細に示したブロック図である。間引き形状作成部
９０３は、図６の間引き形状作成部６０３と同一の動作
を行い、入力された形状領域の解像度を１／２にする。
前記間引き領域作成部は、直列に結合され、各々の出力
が各バンドの形状領域となる。重み付け量決定部９０１
では各バンドの重み付けの範囲Ｌを決定する。多値形状
領域作成部９０２では重み値を定める関数ｗ（ｘ）を用
いて各バンドの重み値がそれぞれ作成される。領域決定
部９０４では各バンドの形状領域を組み合わせて各係数
の重みが定められる。なお、Ｌ、ｘ、ｗ（ｘ）について
は後述する。

【００４６】図１０は、図９の多値形状領域作成部９０
２の動作を説明する概念図である。図１０（ａ）は、あ
るバンドの２値の形状領域１００１からそのバンドの係
数の重み値１００２を作成した結果を示したものであ
る。係数の重み値１００２の一部を図中の矢印に沿って
切ると重み値は図１０（ｂ）のように両端部がなだらか
に減少しゼロとなる。ただし、重み値は０から２５５の
値を取るものとする。

【００４７】各縮小形状領域の端点からの距離をｘ、な
だらかに重み値を変える範囲をＬとした時、重み値を定
める関数ｗ（ｘ）は、例えば、ｘ＞Ｌの場合００≦ｘ≦Ｌの場合（ｃｏｓ（πｘ／Ｌ）＋１）
×２５５／２と表す。Ｌの値に関してはあらかじめ決めておいても良
いし、使用したサブバンドフィルタの種類を元に決定し
ても良い。更にＬを固定しておいて重み値を定める関数
ｗ（ｘ）をフィルタに合わせて適応的に定義してもよ
い。

【００４８】図２の係数重み付け部２０２は、０から２
５５までの画素値として表される重み値を０から１の範
囲に正規化し、対応するサブバンド係数値と積を取って
重み付けを行う。こうして得られた係数はもとの係数の
形状領域の外部周辺を内部より荒く量子化するのと同じ
効果をあげる事ができる。

【００４９】このように、本発明第３の実施の形態で示
した画像符号化装置によれば、部品画像をサブバンド符
号化する際に、各バンドの形状領域の周辺領域がなだら
かに減少する重みを用いてサブバンド係数を重み付けす
ると、形状領域の外部周辺を内部より荒く量子化するの
と同様の効果を上げられ、これによって形状領域外部の
発生符号量を抑える事ができ、部品画像の周辺の画質劣
化を最小限にしながら高効率に符号化する事ができる。

【００５０】本発明の第４の実施の形態は、本発明の
「課題を解決するための手段」（４）と関連し、第３の
実施例同様図２のブロック図で構成される。本実施形態
において、同図係数重み付け部２０２の動作のみ異な
り、これ以外は既に本発明の第３の実施の形態で説明し
てあるので、これ以外の説明は省略する。

【００５１】同図の係数重み付け部２０２では、第２の
実施例と同様な手順で生成された矩形のサブバンド係数
を図２０（ｂ）に示すブロックに再配置し、そのブロッ
クの全ての係数の重み値がゼロの領域内にあるならば符
号化せずにスキップする。一部の係数が重み値がゼロの
領域内にある場合はその係数も符号化処理に必要となる
ため、その係数値も符号化する。

【００５２】サブバンド係数符号化部１０８は係数重み
付け部２０２から出力される係数のブロックのみを符号
化するため、この結果、元の部品画像にかかわる係数の
みが符号化されることになる。また、例えば重み値がゼ
ロでなくてもサブバンド係数が全てゼロとなるブロック
も存在するため、サブバンド係数符号化部１０８は係数
重み付け部２０２の出力を全て符号化しても良いし、係
数値がゼロになったブロックについては符号化をスキッ
プすることを示すフラグのみを符号化しても良い。

【００５３】このように、本発明第４の実施の形態で示
した画像符号化装置によれば、部品画像をサブバンド符
号化する際に各係数のバンド毎に適応的な重み値を作成
し、これを用いて重み付け行い、符号化する全ての係数
が前記重み値がゼロの領域にあるブロックは符号化せず
にスキップすることにより、部品画像の周辺の画質を劣
化させず高効率に符号化する事ができる。

【００５４】本発明の第５の実施の形態は、本発明の
「課題を解決するための手段」（５）と関連し、図３は
これを説明するためのブロック図である。同図は、図１
７に示す従来の復号器の外挿補間部１７０４および有意
領域再生部１７０３を削除したものである。本実施の形
態が示す復号装置は、本発明第１の実施の形態および第
３の実施の形態で説明した符号化器に対応するものであ
る。

【００５５】符号化情報分離部３０１は、入力された符
号化情報を画像符号化情報と形状情報に分離する。形状
領域復号部３０２は、形状情報を復号し、形状領域を生
成する。サブバンド係数復号部３０３は、画像符号化情
報からサブバンド係数を復号し、全てのサブバンド係数
が再生される。

【００５６】サブバンド合成部３０４は、前記出力をサ
ブバンドフィルタを用いてサブバンド合成し、画像情報
が再生される。こうして図１１に示したように形状領域
と画像情報からなる部品画像が得られる。また、本発明
第１の実施例および第３の実施例で説明した符号化器は
画像フレームに対応する全てのサブバンド係数を符号化
しているため、復号器側では、符号化された画像がフレ
ーム画像であっても部品画像であっても処理を区別する
必要が無い。すなわち、符号化側で部品画像は外挿され
て矩形になっているため、フレーム画像と同様に扱える
ことになる。

【００５７】このように、本発明第５の実施の形態で示
した画像復号装置によれば、本発明第１の実施の形態お
よび第３の実施の形態で示した画像符号化装置で符号化
した部品画像を復号することができ、さらに通常のフレ
ーム画像を符号化した場合も処理を区別せずに復号でき
る。

【００５８】本発明の第６の実施の形態は、本発明の
「課題を解決するための手段」（６）と関連し、図４は
これを説明するためのブロック図である。同図は、図３
の本発明第５の実施の形態に係数再生部４０１および有
意領域再生部４０２を追加したものである。このため、
これ以外の動作は既に本発明第５の実施の形態にて詳細
に説明しているため、ここでは省略する。本実施の形態
が示す復号装置は、本発明第２の実施の形態で説明した
符号化器に対応するものである。

【００５９】有意領域再生部４０２は図１の有意領域決
定部１０３と同一の動作を行う。係数再生部４０１は、
有意領域再生部４０２からの情報に基づき、有意領域外
部の符号化されずにスキップされたブロックを検出し、
これに対応する係数値を所定の値とする。それ以外は画
像符号化情報を復号し、係数再生部４０１で所定値に設
定された係数と合わせて矩形の全サブバンド係数を得
る。また、有意領域内部のブロックでも、処理をスキッ
プしたと言うフラグが復号された場合には、該当するブ
ロックの係数を所定の値にする。

【００６０】このように、本発明第６の実施の形態で示
した画像復号装置によれば、本発明第２の実施の形態で
示した画像符号化装置で符号化した部品画像を復号する
ことができる。

【００６１】本発明の第７の実施の形態は、本発明の
「課題を解決するための手段」（７）と関連し、図５は
これを説明するためのブロック図である。同図は、図４
に示す本発明第６の実施の形態の有意領域再生部４０２
を重み再生部５０２に置換したものであり、重み再生部
５０２と係数再生部５０１以外のブロックは本発明第６
の実施の形態にて詳細に説明しているため、ここでは説
明を省略する。本実施の形態が示す復号装置は、本発明
第３の実施の形態で説明した符号化器に対応するもので
ある。

【００６２】係数再生部５０１は、画像符号化情報を復
号し、得られた全てのサブバンド係数に対し、重み再生
部５０２で再生された重み値がゼロでない領域の係数値
を重み付けと逆の処理、例えば該重み値を用いた除算を
行い、残りの係数に対しては復号された値はそのまま用
いる。また、重み再生部５０２の動作は図２の重み決定
部２０３と同一である。なお、重み値は０と１の間に正
規化したものを使用する。

【００６３】もし、部品領域における重み値が一定値１
で、その周辺領域が減少してゼロになるような重み値を
用いた場合には部品領域の係数は重み値が１でありかつ
部品画像の周辺部は最終的には不要となるため、本実施
の形態のように重み値を再生して重み付けの逆処理を行
わずに復号された係数をそのまま用いてサブバンド合成
しても良く、そのため本発明第５の実施例の復号装置を
用いて復号することができる。

【００６４】このように、本発明第７の実施の形態で示
した画像復号装置によれば、本発明第３の実施の形態で
示した画像符号化装置で符号化した部品画像を復号する
ことができる。

【００６５】本発明の第８の実施の形態は、本発明の
「課題を解決するための手段」（８）と関連し、第７の
実施例同様図５のブロック図で構成される。同図係数再
生部５０１以外の動作は本発明第７の実施の形態にて詳
細に説明しているため、ここでは省略する。本実施の形
態が示す復号装置は、本発明第４の実施の形態で説明し
た符号化器に対応するものである。

【００６６】係数再生部５０１は、重み再生部５０２で
再生された重み値を用いて符号化されずにスキップされ
たブロックを検出し、これに対応する係数値は所定の値
（ゼロ）に置換する。それ以外は画像符号化情報を復号
して得られた係数に対し、前記重み値を用いて重み付け
と逆の処理、例えば該重み値で除算して係数を再生し、
前記ゼロに置換された係数と合わせて矩形の全サブバン
ド係数を得る。重み値がゼロでない領域内部のブロック
でも、処理をスキップしたと言うフラグが復号された場
合には、該当するサブバンド係数を所定の値（ゼロ）に
置換する。

【００６７】このように、本発明第８の実施の形態で示
した画像復号装置によれば、本発明第４の実施の形態で
示した画像符号化装置で符号化した部品画像を復号する
ことができる。

【００６８】

【発明の効果】本発明の動画像符号化及び復号装置を用
いれば以下の効果を奏する。

【００６９】（１）部品画像をサブバンド符号化する際
に、外挿して得られた矩形画像をサブバンド分割し、部
品領域に該当する係数のみを符号化した場合に生じる部
品画像の周辺の画質の劣化に対し、元の部品領域の周辺
部まで含めた領域である有意領域のサブバンド係数を符
号化対象とし、この周辺部の大きさをバンド毎に定める
ことで、各バンド毎に最適な周辺領域が設定できるた
め、従来のように各バンドで一意的に周辺領域を定める
のに対して画質を劣化させず高効率に符号化する事がで
きる。

【００７０】（２）部品画像をサブバンド符号化する際
に、有意領域外の係数については符号化に必要なもの以
外は符号化せずにスキップし、必要最小限の係数だけを
符号化することで符号化効率を上げることができる。

【００７１】（３）部品画像をサブバンド符号化する際
に、部品領域の周辺領域がなだらかに減少するような重
みを作成し、この周辺領域の大きさをバンド毎に適応的
に決めてサブバンド係数を重み付けすることで、部品領
域の外部を内部より荒く量子化するのと同じ効果により
外部の発生符号量を抑えられ、部品画像の周辺の画質劣
化を最小限にして高効率に符号化する事ができる。

【００７２】（４）部品画像をサブバンド符号化する際
に、重み付けされた係数のうち重み値がゼロの係数につ
いては、符号化に必要なもの以外は符号化せずにスキッ
プし、必要最小限の係数だけを符号化することで符号化
効率を上げることができる。

【００７３】（５）部品画像から得られた矩形の全サブ
バンド係数をスキップすることなく全て符号化した場合
には、復号装置として、部品の形状情報を取り扱う部分
以外は、従来の矩形画像に対するサブバンド復号装置を
そのまま使用することができる。

【図面の簡単な説明】

【図１】本発明の第１、第２の実施の形態が備える符号
化装置の構成例を示すブロック図である。

【図２】本発明の第３、第４の実施の形態が備える符号
化装置の構成例を示すブロック図である。

【図３】本発明の第５の実施の形態が備える復号装置の
構成例を示すブロック図である。

【図４】本発明の第６の実施の形態が備える復号装置の
構成例を示すブロック図である。

【図５】本発明の第７、第８の実施の形態が備える復号
装置の構成例を示すブロック図である。

【図６】本発明の有意領域作成部の構成例を示すブロッ
ク図である。

【図７】本発明の有意領域決定処理の手順を説明するた
めの概念図である。

【図８】本発明の形状膨張処理の手順を説明するための
概念図である。

【図９】本発明の重み作成部の構成例を示すブロック図
である。

【図１０】本発明の形状の重み付け処理の概念を説明す
る図である。

【図１１】任意形状領域を表現するのに必要な情報を説
明する図である。

【図１２】パディング処理を説明する図である。

【図１３】サブバンド分割、合成を説明するブロック図
である。

【図１４】サブバンド分割後のサブバンド画像の概念図
である。

【図１５】サブバンド分割した任意形状領域と有意領域
を示す概念図である。

【図１６】従来の任意形状領域をサブバンド符号化する
ための符号化装置の構成を示すブロック図である。

【図１７】従来の任意形状領域をサブバンド符号化する
ための復号装置の構成を示すブロック図である。

【図１８】従来の有意領域決定部の構成例を示すブロッ
ク図である。

【図１９】膨張処理を説明するための概念図である。

【図２０】ＺＴＥ符号化方式で使用する係数のブロック
を説明するための図である。

【符号の説明】

１０７、４０１、５０１、１６０７係数生成部１０３、１６０３有意領域決定部１０４、１６０５サブバンド形状作成部１０５サブバンド形状膨張部１０８、１６０８サブバンド係数符号化部２０１重み作成部２０２係数重み付け部２０３重み決定部３０１、１７０１符号化情報分離部３０２形状情報復号部３０３、１７０２サブバンド係数復号部３０４、１７０５サブバンド合成部４０２、１７０３有意領域再生部５０２重み再生部１０２、１６０２サブバンド分割部６０１、１８０１膨張量決定部６０２、１８０２形状膨張処理部６０３、９０１、１８０３間引き形状作成部６０４、９０４、１８０４領域決定部９０３重み付け量決定部９０２多値形状領域作成部１００１、１９０２形状領域１００２多値形状領域１３０１、１３０６ローパスフィルタ１３０３、１３０８ハイパスフィルタ１３０２、１３０４間引き処理部１３０５、１３０７補間処理部１０１、１６０１領域外データ外挿部１６０４形状膨張部１０６、１６０６形状領域符号化部１０９、１６０９符号化情報結合部１７０４外挿補間部１９０１３×３窓

───────────────────────────────────────────────────── フロントページの続き (72)発明者草尾寛大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】任意の形状をした部品画像の、位置およ
び形状領域を符号化して形状符号化情報を再生する形状
領域符号化部と、前記部品画像を含む矩形において部品
画像外部を部品画像の周辺部の値を用いて外挿し矩形画
像を求める領域外データ外挿部と、該外挿された矩形画
像をサブバンドフィルタによりサブバンド分割するサブ
バンド分割部と、サブバンド分割によって得られたサブ
バンド係数のうち、元の部品画像の情報を含む係数の位
置を有意領域とし、この領域を部品画像の形状に基づい
て決定する有意領域決定部と、該有意領域外のサブバン
ド係数を所定の値に置換する係数生成部と、該作成され
た矩形のサブバンド係数全体を符号化して画像符号化情
報を生成するサブバンド係数符号化部と、該形状符号化
情報と該画像符号化情報を結合して符号化情報とする符
号化情報結合部からなる画像符号化装置であって、前記有意領域決定部は、前記サブバンド係数に対して各
バンドの形状領域を部品画像の形状に基づいて作成する
サブバンド形状作成部と、各サブバンドの該領域を周辺
の所定の領域まで膨張させるサブバンド膨張部を備え、
該周辺領域の大きさは各バンド毎に決定することを特徴
とする画像符号化装置。
【請求項２】請求項１の画像符号化装置において、前
記サブバンド係数符号化部は、前記有意領域のサブバン
ド係数のみを符号化対象とし、この際、該有意領域外で
あっても該サブバンド係数符号化部の符号化処理に必要
となるサブバンド係数については前記係数生成部で所定
の値に置換して符号化対象とすることを特徴とする画像
符号化装置。
【請求項３】請求項１の画像符号化装置において、前
記有意領域決定部を前記サブバンド形状作成部と重み作
成部よりなる重み決定部で置換し、前記係数作成部を係
数重み付け部で置換し、前記重み決定部は前記サブバン
ド形状作成部にて各バンドの形状領域を作成した後前記
重み作成部にてサブバンド係数の重み値を作成し、前記
係数重み付け部は前記重み決定部にて作成された重み値
に従ってサブバンド係数の重み付けを行い、前記重み値
の生成にあたっては各バンドにおいて、該形状領域の内
部で大きな値を取り、該領域の周辺では形状領域の境界
部からの距離に伴って減少する重み値を定め、前記重み
値を定める関数をバンド毎に備えることを特徴とする画
像符号化装置。
【請求項４】請求項３の画像符号化装置において、前
記サブバンド係数符号化部は、前記重み値がゼロ以外の
サブバンド係数のみを符号化対象とし、前記重み値がゼ
ロであっても符号化処理に必要となるサブバンド係数に
ついては前記符号化対象に含めることを特徴とする画像
符号化装置。
【請求項５】画像復号装置において、符号化情報を形
状符号化情報と画像符号化情報に分割する符号化情報分
離部と、形状符号化情報から形状領域を復号する形状領
域復号部と、前記画像符号化情報からサブバンド係数を
復号するサブバンド係数復号部と、該サブバンド係数を
サブバンドフィルタによりサブバンド合成するサブバン
ド合成部からなることを特徴とする請求項１の画像符号
化装置に対応する画像復号装置。
【請求項６】請求項５の画像復号装置において、符号
化されたサブバンド係数に対応する有意領域を前記復号
された形状領域から再生する有意領域再生部と、該有意
領域内部の係数は、前記サブバンド係数復号部で復号さ
れた値を用い、有意領域外でも符号化がなされた係数は
前記サブバンド係数復号部で復号された値もしくは所定
の値を用い、それ以外の係数は所定の値を用いてサブバ
ンド係数全体を再生する係数再生部を備えることを特徴
とする請求項２の画像符号化装置に対応する画像復号装
置。
【請求項７】請求項５の画像復号装置において、前記
有意領域再生部の代わりに復号された形状領域からサブ
バンド係数の重み値を再生する重み再生部を備え、前記
サブバンド係数復号部で復号された全ての係数のうち、
前記係数再生部では、該再生された重み値がゼロでない
係数は前記重み値で重み付けの逆処理をなし、該再生さ
れた重み値がゼロの係数はゼロとすることを特徴とする
請求項３の画像符号化装置に対応する画像復号装置。
【請求項８】請求項７の画像復号装置において、前記
係数再生部では、前記重み再生部で再生された重み値が
ゼロでない係数は前記サブバンド係数復号部で復号され
た値に対して前記重み値で重み付けの逆処理をなし、重
み値がゼロでも符号化がなされた係数は前記サブバンド
係数復号部で復号された値もしくは所定の値を用い、そ
れ以外の係数は所定の値を用いてサブバンド係数を再生
することを特徴とする請求項４の画像符号化装置に対応
する画像復号装置。