JP4035281B2 - 動オブジェクト形状符号化装置 - Google Patents
動オブジェクト形状符号化装置 Download PDFInfo
- Publication number
- JP4035281B2 JP4035281B2 JP2000239499A JP2000239499A JP4035281B2 JP 4035281 B2 JP4035281 B2 JP 4035281B2 JP 2000239499 A JP2000239499 A JP 2000239499A JP 2000239499 A JP2000239499 A JP 2000239499A JP 4035281 B2 JP4035281 B2 JP 4035281B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- encoding
- direction vector
- encoded
- reference segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テクスチャ画像及び形状情報から構成したオブジェクトを符号化する動オブジェクト形状符号化装置に関するものである。
【０００２】
【従来の技術】
近年、ＭＰＥＧ−４映像符号化規格(ISO/IEC 14496-2:"Information technology − Generic coding of audio-visual objects − Part2: Visual")に代表されるオブジェクトベース符号化が注目されている。オブジェクトベース符号化とは、画面を前景や背景のようなオブジェクトに分割し、オブジェクト単位で符号化を行う方式である。オブジェクトベース符号化では、ＭＰＥＧ−２映像符号化規格(ISO/IEC 13818-2:"Information technology − Generic coding of moving pictures and associated audio information:Video")のように画面単位の符号化方式よりも高い符号化効率を実現できるだけでなく、オブジェクト単位の合成による映像制作を可能とする。映像制作では、オブジェクト間の大きさの調整や向きを修正するような形状操作に対する自由度が要求される。その結果、符号化効率が高く、かつ、操作性に優れた符号化方式が所望される。
【０００３】
オブジェクトは、テクスチャ画像及びオブジェクト形状情報から構成されている。オブジェクトを符号化するオブジェクトベース符号化では、テクスチャ符号化及び形状符号化が行われる。
【０００４】
オブジェクト形状を表現する方法として、オブジェクトの形状に属するか否かを示す２値のビットパターン画像で表現する方法と、輪郭のみを表現する方法がある。したがって、オブジェクト形状の符号化装置は、２値ビットパターン画像を符号化するものと、輪郭情報を符号化するものとに分類される。
【０００５】
２値ビットパターン画像を符号化する方法では、画像の走査順序で２値の情報の符号化を行う。フレーム内符号化方式の代表的な符号化方法として、ＪＢＩＧ規格(ISO/IEC 11544:"Progressive Bi-level Compression")と、ＭＭＲ(Modified Modified Read)と呼ばれる符号化規格(ITU-T T.6:"Facsimile coding schemes and coding control functions for Group 4 facsimile apparatus")がある。ＪＢＩＧは、走査順序で２値の情報を階層的に可逆符号化する方法である。ＭＭＲは、走査順序で２値の画素値が変化する位置を可逆符号化するものである。
【０００６】
２値ビットパターン画像で表現された動オブジェクト形状を、フレーム間相関を利用して効率的に符号化する方式として、ＭＰＥＧ−４の形状符号化方式が知られている。これは、２値ビットパターン画像を矩形ブロックに分割し、符号化対象フレーム及び動き予測フレームからブロックマッチング方によって動きベクトルを求め、動きベクトルで指示されたブロックのビットパターンを参照して符号化を行う手法である。ＭＰＥＧ−４形状符号化方式では、矩形ブロックをサブサンプルすることによって、非可逆の符号化も可能となる。
【０００７】
一方、輪郭情報を符号化する方法では、輪郭を構成する点の順序で符号化を行う。このような方法として、輪郭を構成する点の方向を符号化する方法や、輪郭線を構成する点の座標を符号化する方法がある。このような方法の一つとしてのチェーン符号化（長尾真：「ディジタル画像処理」、近代科学社、３８４−３８５頁、１９７８）は、輪郭を構成する点の連結方向に１から８までの整数値を割当てて、可逆的に符号化する方法である。
【０００８】
輪郭を構成する点の方向を符号化するに当たり、Myron Flickner等は、輪郭線をスプライン関数を用いて近似する方法を報告している(Myron Flickner，et al.:"Periodic Quasi-Orthogonal Spline Bases and Applications to Least-Squares Curve Fitting of Digital Images", IEEE Transatcion on Image Processing，vol.5 No.1,pp.71-88,Jan.1996)。スプライン関数の構成点の座標を符号化することによって、効率的な非可逆符号化が可能となる。しかしながら、輪郭を近似しているので、可逆符号化は不可能である。
【０００９】
また、ウェーブレット記述子を用いた符号化は、George Muller等によって報告されている(George Muller,et al.: "Progressive Transaction of Line Drawings Using the Wavelet Transform", IEEE Transaction on Image Processing, vol.5 No.4,pp.666-672,April 1996)。この手法では、線画を格子点に当てはめたときに取得される座標を内挿して輪郭線を取得し、輪郭線を等間隔にサンプリングしたときのサンプル点の座標列を符号化する。座標列は、Ｗａｖｅｌｅｔ変換によって多重解像度に解析され及び符号化される。この場合、輪郭線のサンプリング間隔によって再生品質を制御できるとともに、可逆的な符号化も可能となる。George Muller等による方式は、静止状態にある輪郭線の符号化方式であるが、一方では、時間方向の相関を利用して動輪郭線の符号化方式として拡張した方式が浅見等によって報告されている（浅見知弘他：「ウェーブレット記述子を用いた動輪郭線画像の符号化」、PCSJ97,P-5.13,pp.113-114,1997）。浅見等の方式によれば、フレーム当たりの１組のアフィンパラメータを用いてフレーム間の拡大率、回転角度、平行移動量を動き量として求め、符号化対象座標列と動き予測参照座標列との差分座標をウェーブレット変換し及び符号化する。
【００１０】
これまで説明した手法のような従来の輪郭符号化方式では、輪郭を入力信号として取り扱っている。２値ビットパターン画像を入力信号とする輪郭符号化方式は、例えば特願平１１−２５５４２０号に記載されている。この方式は、隣接する輪郭構成画素の位置を示す方向ベクトルを符号化するフレーム内符号化方式であり、動オブジェクト形状の効率的な符号化には適切ではない。
【００１１】
ある時点の事象の統計的性質が直前の事象で決定されるモデルがマルコフモデルである（安田浩、渡辺裕：「ディジタル画像圧縮の基礎」、日経ＢＰ出版センター、pp.37）。マルコフモデルは、ハフマン符号化や算術符号化のようにシンボルの生起確率の偏りを利用して情報源圧縮を行う可変長符号化（安田浩、渡辺裕：「ディジタル画像圧縮の基礎」、日経ＢＰ出版センター、pp.32-37）においてよく用いられる。すなわち、マルコフモデルを仮定すると、既知の情報の状態に基づいて生起確率モデルを切り替え、ほぼ最適な生起確率モデルに基づいた可変長符号化を行い、効率的な符号語を割り当てることができる。実際、ＭＰＥＧ−４の２値形状符号化方式では、２値形状の画素値符号化において、マルコフモデルを構成し、既に符号化された周辺画素の状態に基づいた生起確率モデルを用いて算術符号化を行っている。既に符号化された周辺画素として、現フレーム中で既に符号化された画素と、既に符号化されている予測参照フレーム中の画素が用いられる。
【００１２】
【発明が解決しようとする課題】
ＭＰＥＧ−４を代表とするオブジェクトベース符号化では、オブジェクト単位の合成による映像制作が可能である。映像制作では、オブジェクト間の大きさの調整や２次元平面上での向きを修正する自由度が求められている。また、符号量を節約した低品質のものから損失のない高品質のものまでの幅広い用途に対応できる符号化が所望されている。可逆符号化において、入力情報に符号化特性を考慮したフィルタ処理などを適用することによって、非可逆符号化を実現することができる。したがって、将来の符号化装置では、
１．拡大縮小のようなスケール変換や回転のような形状操作との整合性に優れた符号化であること
２．可逆符号化が可能であること
３．効率的な動オブジェクト形状符号化が可能であること
が要求される。以下、これらの観点に立って従来手法を概観し、従来の課題を説明する。
【００１３】
先ず、オブジェクト形状の操作の観点から従来手法を概観する。形状のスケール変換や回転は、形状を示す座標をそれぞれアフィン変換することによって実現される。２値ビットパターンを符号化する方法では、オブジェクト内の全画素にアフィン変換を適用する必要がある。一方、輪郭情報を符号化する方法では、輪郭部分のみにアフィン変換を適用すればよいので、アフィン変換に伴う計算量が少なくなる。輪郭情報を符号化する方法のうち、チェーン符号化のように隣接輪郭点の方向に１から８までの整数値を割り当てて符号化する方法では、方向を示す数値にアフィン変換を適用することができず、復号化を行った後にアフィン変換を適用しなければならない。したがって、輪郭点の座標を符号化する方法は、符号化の段階においてもアフィン変換を適用することが可能であり、操作に関しては優位である。
【００１４】
次に、可逆符号化の観点から従来手法を概観する。可逆符号化は、オブジェクト形状又は輪郭を近似しない限り可能であり、スプライン近似による符号化以外の方法で可能である。
【００１５】
これらを総合的に判断すると、１及び２の要件を満足する符号化方式は、ウェーブレット記述子を用いた符号化である。したがって、従来のウェーブレット記述子を用いた符号化方式に対して、動オブジェクト形状の符号化効率に関する課題を挙げる。
【００１６】
従来手法の輪郭情報の表現方法は、輪郭サンプリング点の座標列と輪郭構成画素の方向ベクトルとの２通りである。輪郭サンプリング点の座標で輪郭を表現する場合、座標の状態数が多くなり、連続した座標での高い相関が得られにくい。それに対して、輪郭構成画素の方向ベクトルは、ベクトル値の状態数が少なく、連続する方向ベクトルの相関が高いので、符号化しやすい情報と予想される。しかしながら、輪郭構成画素の方向ベクトルで輪郭表現を用いて符号化する方式は、フレーム内符号化であり、時間的な相関が用いられていない。
【００１７】
一方、ウェーブレット記述子の符号化において時間的な相関を用いている従来方式は、浅見等の方式である。浅見等の方式では、符号化対象輪郭の座標列と動きベクトルによる予測参照輪郭の座標列の差分を符号化している。既に説明したように、輪郭サンプリング点の座標で輪郭を表現するために、符号化効率が低下することが考えられる。また、浅見等の方式では、フレーム当たり１組のアフィンパラメータからなる動きベクトルしか伝送しないので、輪郭が部分的に変形する部位では、符号化対象輪郭の座標列と予測参照輪郭の座標列の差分が大きくなるという不都合がある。
【００１８】
本発明の目的は、可逆符号化及び効率的な動オブジェクト形状符号化を行う動オブジェクト形状符号化装置を提供することである。
【００１９】
本発明の他の目的は、形状操作との整合性に優れた動オブジェクト形状符号化装置を提供することである。
【００２０】
【課題を解決するための手段】
オブジェクト形状の輪郭を表す方向ベクトル列を１個以上の部分に分割した方向ベクトルセグメントで表現し及び符号化する動オブジェクト符号化装置であって、方向ベクトルセグメントを符号化して、符号化データを生成する符号化手段と、前記符号化手段から出力される符号化データを入力し、予め定めた列数の符号化データを復号して、次の符号化のための参照セグメントの方向ベクトル列を生成する局部復号化手段と、前記局部復号化手段から前記参照セグメントの方向ベクトル列を入力するとともに、符号化対象とする対象セグメントの方向ベクトル列を入力し、パターンマッチングにより前記対象セグメントと相関がある前記参照セグメントの方向ベクトル列を探索して参照セグメントを決定し、前記対象セグメントに対する参照セグメントの相対的な位置を位置情報として生成するとともに、前記パターンマッチングのマッチング評価量に応じてマッチングの状態を識別するためのフラグ情報を生成する探索手段と、前記探索手段によって生成された前記参照セグメントの位置情報を符号化する位置出力手段とを備え、前記フラグ情報は、前記マッチング評価量が一致を示す旨、前記マッチング評価量が所定の閾値より大きいことを示す旨、及び、前記マッチング評価量が前記所定の閾値以下を示す旨、の 3 つの状態で区別して示され、前記フラグ情報により前記マッチング評価量が一致を示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報のみを出力し、且つ、前記位置出力手段は、前記探索手段から受信した該位置情報のみを出力し、前記フラグ情報により前記マッチング評価量が所定の閾値より大きいことを示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報及び該参照セグメントを用いた符号化データを出力し、且つ、前記位置出力手段は、前記探索手段から受信した該位置情報のみを出力し、前記フラグ情報により前記マッチング評価量が所定の閾値以下を示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報及び該対象セグメントを用いた符号化データを出力することを特徴とするものである。
【００２１】
本発明によれば、先ず、オブジェクト形状の輪郭を表す方向ベクトル列を１個以上の部分に分割した方向ベクトルセグメントで表現する。輪郭の変形は、方向ベクトルの状態及び／又は個数の変化として表現される。輪郭に部分的な変形が生じると、大抵の場合、方向ベクトルの個数が変化する。
【００２２】
方向ベクトルの個数が変化すると、変形した個所に対応する方向ベクトルは、参照するすなわち探索した方向ベクトルと一致しにくく、特に、方向ベクトル全体を参照する場合に顕著に表れる。その結果、方向ベクトル列を１個以上の方向ベクトルセグメントに区分することによって、方向ベクトルセグメント単位で参照するセグメントを選択することができ、符号化を効率的に行うことができる。また、オブジェクト形状や輪郭を近似しないので、可逆符号化が可能になる。
【００２３】
なお、方向ベクトルセグメントへの分割方法として、その長さを固定長とする分割方法と、その長さを可変長とする分割方法とがある。前者の場合、方向ベクトルセグメントの長さを伝送する必要がなくなるという利点を有し、後者の場合、輪郭の動きに即した分割が可能であるという利点を有する。
【００２４】
前記符号化手段は、該参照セグメントを用いた符号化データを出力する際には、該参照セグメントの方向ベクトルの状態からマルコフモデルを構成して前記方向ベクトルを符号化し、該対象セグメントを用いた符号化データを出力する際には、該対象セグメントのフレームの既に符号化された方向ベクトルの中で直前の方向ベクトルの状態からマルコフモデルを構成して前記方向ベクトルを符号化する。
【００２５】
方向ベクトルセグメントであらわされる動オブジェクト形状を効率的に符号化するために、類似するパターンを検出し、マルコフモデルに基づいた符号化を行うのが好適である。この場合、既に符号化された方向ベクトル列において、符号化対象とする方向ベクトルセグメントをテンプレートとして、相関のある方向ベクトルセグメントをパターンマッチングによって検出する。本明細書中、符号化対象とする方向ベクトルセグメントを、通常「対象セグメント」と称し、探索されたセグメントを、通常「参照セグメント」と称する。
【００２６】
参照セグメントを検出する評価量を、例えば、対象セグメントと参照セグメントの候補に対して一致する方向ベクトルのサンプル数とする。
符号化対象とする方向ベクトルセグメントと、前記探索された方向ベクトルセグメントとを対比させる場合、例えば、以下説明するような第１-第３の状態を設定し、それぞれの状態に適切な符号化を行う。
【００２７】
第１の状態は、対象セグメントと参照セグメントとが完全に一致する場合である。この場合、対象セグメントの符号化情報として、参照セグメントの位置情報のみを伝送することを示すフラグ情報及び参照セグメントの位置情報の符号化データのみを出力することによって、符号量を大幅に削減することができる。
【００２８】
第２の状態は、予め設定されたしきい値以上の個数の方向ベクトルが一致する場合である。この場合、参照セグメントの状態からマルコフモデルを構成し、対象セグメントにおける個々の方向ベクトルを可変長符号化する。対象セグメントを構成する個々の方向ベクトルと、参照セグメント中で対応する位置の方向ベクトルとが一致する確率が高いので、可変長符号化によって、動オブジェクト形状の効率的な符号割り当てが可能になる。
【００２９】
第３の状態は、これら第１及び第２の状態以外の場合であり、対象セグメントの状態が参照セグメントの状態と大きく異なる場合である。この場合、連続する方向ベクトルの状態が高い相関関係にあることを利用して、符号化対象フレームにおける既に符号化されている直前の方向ベクトルの状態を用いてマルコフモデルを構成し、可変長符号化を行う。
【００３０】
前記符号化手段が、
前記符号化対象とする方向ベクトルセグメント及び前記探索された方向ベクトルセグメントをそれぞれ多重解像度のデータ系列に解析する解析手段と、
その多重解像度の各々のデータ系列を高圧縮符号化する高圧縮符号化手段とを有することもできる。
【００３１】
可変長符号化で符号割り当てをする前段において、対象セグメント及び参照セグメントをそれぞれウェーブレット変換して多重解像度に解析することによって、縮小変換のように多重解像度を利用した形状操作が可能になるので、形状操作との整合性に優れるようになり、かつ、符号化が更に効率的になる。
【００３２】
【発明の実施の形態】
本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による動オブジェクト形状符号化装置の実施の形態を示す図である。この動オブジェクト形状符号化装置は、参照セグメント探索部１と、符号化部２と、参照セグメント位置出力部３と、局部復号化部４とを具える。
【００３３】
動オブジェクト形状符号化装置には、オブジェクト形状の輪郭をあらわす方向ベクトル列を１個以上に分割した方向ベクトルセグメントすなわち対象セグメントの情報を有する信号Ｓ１が入力される。方向ベクトルの定義は、例えば特願平１１−２５５４２０号に記載されている。
【００３４】
参照セグメント探索部２には、信号Ｓ１と、局部復号化部４から出力される、既に符号化された方向ベクトル列の情報を有する信号Ｓ２とが入力される。この場合、参照セグメント探索部２は、対象セグメントをテンプレートとしたマッチングによって、既に符号化された方向ベクトル列において対象セグメントと相関する方向ベクトルセグメントすなわち参照セグメントを求める。
【００３５】
その後、参照セグメント探索部２は、マッチングの評価量、参照ベクトルセグメント及びその位置情報を有する信号Ｓ３を出力する。なお、参照ベクトルセグメントの位置情報を、現フレームの方向ベクトル列における方向ベクトルセグメントの位置と、既に符号化された方向ベクトル列にとける参照セグメントの位置との相対的な位置とする。
【００３６】
ここで、対象セグメントをテンプレートとするパターンマッチングの詳細な手順を、図２を用いて説明する。図２において、既に符号化された方向ベクトル列と、対象セグメントを含む現フレームにおける方向ベクトル列を示す。なお、各矢印は方向ベクトルを表す。二点鎖線で包囲される▲１▼−
【外１】
を付した１０サンプルの方向ベクトルの集合が対象セグメントであり、この対象セグメントに対するパターンマッチングを行う場合について考察する。
【００３７】
この場合、既に符号化された方向ベクトル列でｃを付した方向ベクトルと、対象セグメントで▲１▼を付した方向ベクトルとは、これら方向ベクトル列の開始点からの順番が同一であり、ともにｋ番目であるとする。
【００３８】
さらに、マッチングを行う範囲を±２サンプルの範囲とすると、参照セグメント探索部１は、ａを始点とする１０サンプルの方向ベクトルセグメントからｅを始点とする方向ベクトルセグメントを、参照セグメントの候補として対象セグメントのマッチングを行う。
【００３９】
マッチングの評価量を、対象セグメントと参照セグメント候補における個々の方向ベクトルとを対比させたときに一致する方向ベクトルの個数とする。ａを始点とする方向ベクトルセグメントに対しては、対象セグメントのうち▲５▼と
【外１】
の合計２サンプルの方向ベクトルが一致する。
【００４０】
同様に、ｂ−ｅを始点とする方向ベクトルセグメントと対象セグメントとが一致するサンプル数はそれぞれ、８，６，４，１となる。その結果、ｂを始点とする二点鎖線で示した方向ベクトルセグメントが参照セグメントとして検出され、方向ベクトルｂの番目（ｋ−１）と方向ベクトルｃの番目（ｋ）との差すなわち−１が、参照セグメントの位置情報となる。
【００４１】
符号化部２は、信号Ｓ１及びＳ３が入力され、符号化情報を示すフラグ情報及び符号化データを有する信号Ｓ４を出力する。また、参照セグメント位置出力部３は、信号Ｓ３が入力され、参照セグメントの位置情報を可変長符号化した符号化データを有する信号Ｓ５を出力する。
【００４２】
伝送する符号化情報は、マッチング評価量Ｍに応じて設定され、これについて図３を参照して説明する。伝送情報は、フラグ情報、参照セグメントの位置情報及び対象セグメント符号化データの３種類である。
【００４３】
先ず、ステップＳ１００において、マッチング評価量Ｍが最大値である、すなわち、対象セグメントと参照セグメントとが完全に一致するか否かを判定する。マッチング評価量Ｍが最大値である場合、符号化部２は、参照セグメントの位置情報のみを有する信号を伝送することを示すフラグ情報（この場合、０）を有する信号Ｓ４を出力し（ステップＳ１０１）、参照セグメント位置出力部３は、参照セグメント位置符号化データを有する信号Ｓ５を出力し（ステップＳ１０２）、本ルーチンを終了する。この場合、対象セグメント中の個々の方向ベクトルは符号化されない。
【００４４】
それに対して、マッチング評価量Ｍが最大値でない場合、ステップＳ１０３において、マッチング評価量が、予め設定されたしきい値Ｔｈよりも大きいか否か判別する。マッチング評価量が、予め設定されたしきい値Ｔｈよりも大きい場合、符号化部２は、参照セグメントを利用した符号化を行うことを示すフラグ情報（この場合、１）及び参照セグメントを有する信号Ｓ４を出力し（ステップＳ１０４）、参照セグメント位置出力部３は、参照セグメント位置符号化データを有する信号Ｓ５を出力する（ステップＳ１０５）。
【００４５】
次いで、符号化部２は、対象セグメント符号化データを有する信号Ｓ４を出力し（ステップＳ１０６）、本ルーチンを終了する。この際、対象セグメントにおける方向ベクトルと同一位置に対応する参照セグメントにおける方向ベクトルの状態を用いることによって、マルコフモデルが構成され、対象セグメント中の個々の方向ベクトルが可変長符号化される。
【００４６】
一方、マッチング評価量が、予め設定されたしきい値Ｔｈよりも大きくない場合、符号化部２は、対象セグメントの状態だけを利用して符号化を行うことを示すフラグ情報（この場合、２）を有する信号Ｓ４を出力する。この場合、参照セグメント位置出力部３は、参照セグメント位置符号化データを有する信号Ｓ５を出力しない。
【００４７】
次いで、符号化部２は、対象セグメント符号化データを有する信号Ｓ４を出力し（ステップＳ１０８）、本ルーチンを終了する。この際、現フレームにおける既に符号化された方向ベクトルの中で直前の方向ベクトルの状態からマルコフモデルが構成され、対象セグメント中の個々の方向ベクトルが可変長符号化される。
【００４８】
対象セグメント中の各方向ベクトルを可変長符号化する際に、対照セグメントを多重解像度に解析することによって、形状の操作性及び符号化効率が向上する。参照セグメントの状態からマルコフモデルを構成する場合、参照セグメントにおいても多重解像度に解析する。
【００４９】
図４は、多重解像度解析を実現する符号化部の詳細を示す図である。図４において、符号化部１１は、多重解像度解析部１２ａ及び１２ｂと、符号割り当て部１３ａ及び１３ｂとを有する。
【００５０】
オブジェクト形状を二次元画像で表現する場合、対象セグメント及び参照セグメントは、Ｘ系列{ｘｎ−ｘｎ−１}及びＹ系列{ｙｎ−ｙｎ−１}の二つのベクトル成分列から構成される。
【００５１】
多重解像度解析部１２ａ及び１２ｂは、対象セグメント及び参照セグメントの情報を有する信号がそれぞれ入力され、周波数別のデータ系列の情報を有する信号をそれぞれ出力する。
【００５２】
例えば、方向ベクトルのＸ系列に対し、ウェーブレット変換を適用することによって、低域成分と高域成分との二つのデータ系列を取得することができる。同様に、方向ベクトルのＹ系列に対しても二つのデータ系列を取得することができる。なお、参照セグメントの状態からマルコフモデルを構成する場合、参照セグメントの各データ系列においてそれぞれマルコフモデルを構成する。
【００５３】
符号割り当て部１３ａ及び１３ｂは、多重解像度解析による周波数別データ系列の情報を有する信号が入力され、低域成分符号化データ及び高域成分符号化データを有する信号をそれぞれ出力する。符号化割り当て部１３ａ及び１３ｂでは、ハフマン符号化や算術符号化によって高圧縮の符号化が行われる。
【００５４】
本実施の形態によれば、動オブジェクト形状の効率的な符号化を行うことができ、かつ、方向ベクトル表現による拡大・縮小のスケール変換や回転などの形状操作を簡単に行うことができる。
【図面の簡単な説明】
【図１】 本発明による動オブジェクト形状符号化装置の実施の形態を示す図である。
【図２】 対象セグメントをテンプレートとするパターンマッチングの詳細な手順を説明するための図である。
【図３】 マッチング量に応じた情報伝達を説明するための図である。
【図４】 多重解像度解析を実現する符号化部の詳細を示す図である。
【符号の説明】
１ 参照セグメント探索部
２，１１ 符号化部
３ 参照セグメント位置出力部
４ 局部復号化部
１２ａ，１２ｂ 多重解像度解析部
１３ａ，１３ｂ 符号割り当て部
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５ 信号
【発明の属する技術分野】
本発明は、テクスチャ画像及び形状情報から構成したオブジェクトを符号化する動オブジェクト形状符号化装置に関するものである。
【０００２】
【従来の技術】
近年、ＭＰＥＧ−４映像符号化規格(ISO/IEC 14496-2:"Information technology − Generic coding of audio-visual objects − Part2: Visual")に代表されるオブジェクトベース符号化が注目されている。オブジェクトベース符号化とは、画面を前景や背景のようなオブジェクトに分割し、オブジェクト単位で符号化を行う方式である。オブジェクトベース符号化では、ＭＰＥＧ−２映像符号化規格(ISO/IEC 13818-2:"Information technology − Generic coding of moving pictures and associated audio information:Video")のように画面単位の符号化方式よりも高い符号化効率を実現できるだけでなく、オブジェクト単位の合成による映像制作を可能とする。映像制作では、オブジェクト間の大きさの調整や向きを修正するような形状操作に対する自由度が要求される。その結果、符号化効率が高く、かつ、操作性に優れた符号化方式が所望される。
【０００３】
オブジェクトは、テクスチャ画像及びオブジェクト形状情報から構成されている。オブジェクトを符号化するオブジェクトベース符号化では、テクスチャ符号化及び形状符号化が行われる。
【０００４】
オブジェクト形状を表現する方法として、オブジェクトの形状に属するか否かを示す２値のビットパターン画像で表現する方法と、輪郭のみを表現する方法がある。したがって、オブジェクト形状の符号化装置は、２値ビットパターン画像を符号化するものと、輪郭情報を符号化するものとに分類される。
【０００５】
２値ビットパターン画像を符号化する方法では、画像の走査順序で２値の情報の符号化を行う。フレーム内符号化方式の代表的な符号化方法として、ＪＢＩＧ規格(ISO/IEC 11544:"Progressive Bi-level Compression")と、ＭＭＲ(Modified Modified Read)と呼ばれる符号化規格(ITU-T T.6:"Facsimile coding schemes and coding control functions for Group 4 facsimile apparatus")がある。ＪＢＩＧは、走査順序で２値の情報を階層的に可逆符号化する方法である。ＭＭＲは、走査順序で２値の画素値が変化する位置を可逆符号化するものである。
【０００６】
２値ビットパターン画像で表現された動オブジェクト形状を、フレーム間相関を利用して効率的に符号化する方式として、ＭＰＥＧ−４の形状符号化方式が知られている。これは、２値ビットパターン画像を矩形ブロックに分割し、符号化対象フレーム及び動き予測フレームからブロックマッチング方によって動きベクトルを求め、動きベクトルで指示されたブロックのビットパターンを参照して符号化を行う手法である。ＭＰＥＧ−４形状符号化方式では、矩形ブロックをサブサンプルすることによって、非可逆の符号化も可能となる。
【０００７】
一方、輪郭情報を符号化する方法では、輪郭を構成する点の順序で符号化を行う。このような方法として、輪郭を構成する点の方向を符号化する方法や、輪郭線を構成する点の座標を符号化する方法がある。このような方法の一つとしてのチェーン符号化（長尾真：「ディジタル画像処理」、近代科学社、３８４−３８５頁、１９７８）は、輪郭を構成する点の連結方向に１から８までの整数値を割当てて、可逆的に符号化する方法である。
【０００８】
輪郭を構成する点の方向を符号化するに当たり、Myron Flickner等は、輪郭線をスプライン関数を用いて近似する方法を報告している(Myron Flickner，et al.:"Periodic Quasi-Orthogonal Spline Bases and Applications to Least-Squares Curve Fitting of Digital Images", IEEE Transatcion on Image Processing，vol.5 No.1,pp.71-88,Jan.1996)。スプライン関数の構成点の座標を符号化することによって、効率的な非可逆符号化が可能となる。しかしながら、輪郭を近似しているので、可逆符号化は不可能である。
【０００９】
また、ウェーブレット記述子を用いた符号化は、George Muller等によって報告されている(George Muller,et al.: "Progressive Transaction of Line Drawings Using the Wavelet Transform", IEEE Transaction on Image Processing, vol.5 No.4,pp.666-672,April 1996)。この手法では、線画を格子点に当てはめたときに取得される座標を内挿して輪郭線を取得し、輪郭線を等間隔にサンプリングしたときのサンプル点の座標列を符号化する。座標列は、Ｗａｖｅｌｅｔ変換によって多重解像度に解析され及び符号化される。この場合、輪郭線のサンプリング間隔によって再生品質を制御できるとともに、可逆的な符号化も可能となる。George Muller等による方式は、静止状態にある輪郭線の符号化方式であるが、一方では、時間方向の相関を利用して動輪郭線の符号化方式として拡張した方式が浅見等によって報告されている（浅見知弘他：「ウェーブレット記述子を用いた動輪郭線画像の符号化」、PCSJ97,P-5.13,pp.113-114,1997）。浅見等の方式によれば、フレーム当たりの１組のアフィンパラメータを用いてフレーム間の拡大率、回転角度、平行移動量を動き量として求め、符号化対象座標列と動き予測参照座標列との差分座標をウェーブレット変換し及び符号化する。
【００１０】
これまで説明した手法のような従来の輪郭符号化方式では、輪郭を入力信号として取り扱っている。２値ビットパターン画像を入力信号とする輪郭符号化方式は、例えば特願平１１−２５５４２０号に記載されている。この方式は、隣接する輪郭構成画素の位置を示す方向ベクトルを符号化するフレーム内符号化方式であり、動オブジェクト形状の効率的な符号化には適切ではない。
【００１１】
ある時点の事象の統計的性質が直前の事象で決定されるモデルがマルコフモデルである（安田浩、渡辺裕：「ディジタル画像圧縮の基礎」、日経ＢＰ出版センター、pp.37）。マルコフモデルは、ハフマン符号化や算術符号化のようにシンボルの生起確率の偏りを利用して情報源圧縮を行う可変長符号化（安田浩、渡辺裕：「ディジタル画像圧縮の基礎」、日経ＢＰ出版センター、pp.32-37）においてよく用いられる。すなわち、マルコフモデルを仮定すると、既知の情報の状態に基づいて生起確率モデルを切り替え、ほぼ最適な生起確率モデルに基づいた可変長符号化を行い、効率的な符号語を割り当てることができる。実際、ＭＰＥＧ−４の２値形状符号化方式では、２値形状の画素値符号化において、マルコフモデルを構成し、既に符号化された周辺画素の状態に基づいた生起確率モデルを用いて算術符号化を行っている。既に符号化された周辺画素として、現フレーム中で既に符号化された画素と、既に符号化されている予測参照フレーム中の画素が用いられる。
【００１２】
【発明が解決しようとする課題】
ＭＰＥＧ−４を代表とするオブジェクトベース符号化では、オブジェクト単位の合成による映像制作が可能である。映像制作では、オブジェクト間の大きさの調整や２次元平面上での向きを修正する自由度が求められている。また、符号量を節約した低品質のものから損失のない高品質のものまでの幅広い用途に対応できる符号化が所望されている。可逆符号化において、入力情報に符号化特性を考慮したフィルタ処理などを適用することによって、非可逆符号化を実現することができる。したがって、将来の符号化装置では、
１．拡大縮小のようなスケール変換や回転のような形状操作との整合性に優れた符号化であること
２．可逆符号化が可能であること
３．効率的な動オブジェクト形状符号化が可能であること
が要求される。以下、これらの観点に立って従来手法を概観し、従来の課題を説明する。
【００１３】
先ず、オブジェクト形状の操作の観点から従来手法を概観する。形状のスケール変換や回転は、形状を示す座標をそれぞれアフィン変換することによって実現される。２値ビットパターンを符号化する方法では、オブジェクト内の全画素にアフィン変換を適用する必要がある。一方、輪郭情報を符号化する方法では、輪郭部分のみにアフィン変換を適用すればよいので、アフィン変換に伴う計算量が少なくなる。輪郭情報を符号化する方法のうち、チェーン符号化のように隣接輪郭点の方向に１から８までの整数値を割り当てて符号化する方法では、方向を示す数値にアフィン変換を適用することができず、復号化を行った後にアフィン変換を適用しなければならない。したがって、輪郭点の座標を符号化する方法は、符号化の段階においてもアフィン変換を適用することが可能であり、操作に関しては優位である。
【００１４】
次に、可逆符号化の観点から従来手法を概観する。可逆符号化は、オブジェクト形状又は輪郭を近似しない限り可能であり、スプライン近似による符号化以外の方法で可能である。
【００１５】
これらを総合的に判断すると、１及び２の要件を満足する符号化方式は、ウェーブレット記述子を用いた符号化である。したがって、従来のウェーブレット記述子を用いた符号化方式に対して、動オブジェクト形状の符号化効率に関する課題を挙げる。
【００１６】
従来手法の輪郭情報の表現方法は、輪郭サンプリング点の座標列と輪郭構成画素の方向ベクトルとの２通りである。輪郭サンプリング点の座標で輪郭を表現する場合、座標の状態数が多くなり、連続した座標での高い相関が得られにくい。それに対して、輪郭構成画素の方向ベクトルは、ベクトル値の状態数が少なく、連続する方向ベクトルの相関が高いので、符号化しやすい情報と予想される。しかしながら、輪郭構成画素の方向ベクトルで輪郭表現を用いて符号化する方式は、フレーム内符号化であり、時間的な相関が用いられていない。
【００１７】
一方、ウェーブレット記述子の符号化において時間的な相関を用いている従来方式は、浅見等の方式である。浅見等の方式では、符号化対象輪郭の座標列と動きベクトルによる予測参照輪郭の座標列の差分を符号化している。既に説明したように、輪郭サンプリング点の座標で輪郭を表現するために、符号化効率が低下することが考えられる。また、浅見等の方式では、フレーム当たり１組のアフィンパラメータからなる動きベクトルしか伝送しないので、輪郭が部分的に変形する部位では、符号化対象輪郭の座標列と予測参照輪郭の座標列の差分が大きくなるという不都合がある。
【００１８】
本発明の目的は、可逆符号化及び効率的な動オブジェクト形状符号化を行う動オブジェクト形状符号化装置を提供することである。
【００１９】
本発明の他の目的は、形状操作との整合性に優れた動オブジェクト形状符号化装置を提供することである。
【００２０】
【課題を解決するための手段】
オブジェクト形状の輪郭を表す方向ベクトル列を１個以上の部分に分割した方向ベクトルセグメントで表現し及び符号化する動オブジェクト符号化装置であって、方向ベクトルセグメントを符号化して、符号化データを生成する符号化手段と、前記符号化手段から出力される符号化データを入力し、予め定めた列数の符号化データを復号して、次の符号化のための参照セグメントの方向ベクトル列を生成する局部復号化手段と、前記局部復号化手段から前記参照セグメントの方向ベクトル列を入力するとともに、符号化対象とする対象セグメントの方向ベクトル列を入力し、パターンマッチングにより前記対象セグメントと相関がある前記参照セグメントの方向ベクトル列を探索して参照セグメントを決定し、前記対象セグメントに対する参照セグメントの相対的な位置を位置情報として生成するとともに、前記パターンマッチングのマッチング評価量に応じてマッチングの状態を識別するためのフラグ情報を生成する探索手段と、前記探索手段によって生成された前記参照セグメントの位置情報を符号化する位置出力手段とを備え、前記フラグ情報は、前記マッチング評価量が一致を示す旨、前記マッチング評価量が所定の閾値より大きいことを示す旨、及び、前記マッチング評価量が前記所定の閾値以下を示す旨、の 3 つの状態で区別して示され、前記フラグ情報により前記マッチング評価量が一致を示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報のみを出力し、且つ、前記位置出力手段は、前記探索手段から受信した該位置情報のみを出力し、前記フラグ情報により前記マッチング評価量が所定の閾値より大きいことを示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報及び該参照セグメントを用いた符号化データを出力し、且つ、前記位置出力手段は、前記探索手段から受信した該位置情報のみを出力し、前記フラグ情報により前記マッチング評価量が所定の閾値以下を示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報及び該対象セグメントを用いた符号化データを出力することを特徴とするものである。
【００２１】
本発明によれば、先ず、オブジェクト形状の輪郭を表す方向ベクトル列を１個以上の部分に分割した方向ベクトルセグメントで表現する。輪郭の変形は、方向ベクトルの状態及び／又は個数の変化として表現される。輪郭に部分的な変形が生じると、大抵の場合、方向ベクトルの個数が変化する。
【００２２】
方向ベクトルの個数が変化すると、変形した個所に対応する方向ベクトルは、参照するすなわち探索した方向ベクトルと一致しにくく、特に、方向ベクトル全体を参照する場合に顕著に表れる。その結果、方向ベクトル列を１個以上の方向ベクトルセグメントに区分することによって、方向ベクトルセグメント単位で参照するセグメントを選択することができ、符号化を効率的に行うことができる。また、オブジェクト形状や輪郭を近似しないので、可逆符号化が可能になる。
【００２３】
なお、方向ベクトルセグメントへの分割方法として、その長さを固定長とする分割方法と、その長さを可変長とする分割方法とがある。前者の場合、方向ベクトルセグメントの長さを伝送する必要がなくなるという利点を有し、後者の場合、輪郭の動きに即した分割が可能であるという利点を有する。
【００２４】
前記符号化手段は、該参照セグメントを用いた符号化データを出力する際には、該参照セグメントの方向ベクトルの状態からマルコフモデルを構成して前記方向ベクトルを符号化し、該対象セグメントを用いた符号化データを出力する際には、該対象セグメントのフレームの既に符号化された方向ベクトルの中で直前の方向ベクトルの状態からマルコフモデルを構成して前記方向ベクトルを符号化する。
【００２５】
方向ベクトルセグメントであらわされる動オブジェクト形状を効率的に符号化するために、類似するパターンを検出し、マルコフモデルに基づいた符号化を行うのが好適である。この場合、既に符号化された方向ベクトル列において、符号化対象とする方向ベクトルセグメントをテンプレートとして、相関のある方向ベクトルセグメントをパターンマッチングによって検出する。本明細書中、符号化対象とする方向ベクトルセグメントを、通常「対象セグメント」と称し、探索されたセグメントを、通常「参照セグメント」と称する。
【００２６】
参照セグメントを検出する評価量を、例えば、対象セグメントと参照セグメントの候補に対して一致する方向ベクトルのサンプル数とする。
符号化対象とする方向ベクトルセグメントと、前記探索された方向ベクトルセグメントとを対比させる場合、例えば、以下説明するような第１-第３の状態を設定し、それぞれの状態に適切な符号化を行う。
【００２７】
第１の状態は、対象セグメントと参照セグメントとが完全に一致する場合である。この場合、対象セグメントの符号化情報として、参照セグメントの位置情報のみを伝送することを示すフラグ情報及び参照セグメントの位置情報の符号化データのみを出力することによって、符号量を大幅に削減することができる。
【００２８】
第２の状態は、予め設定されたしきい値以上の個数の方向ベクトルが一致する場合である。この場合、参照セグメントの状態からマルコフモデルを構成し、対象セグメントにおける個々の方向ベクトルを可変長符号化する。対象セグメントを構成する個々の方向ベクトルと、参照セグメント中で対応する位置の方向ベクトルとが一致する確率が高いので、可変長符号化によって、動オブジェクト形状の効率的な符号割り当てが可能になる。
【００２９】
第３の状態は、これら第１及び第２の状態以外の場合であり、対象セグメントの状態が参照セグメントの状態と大きく異なる場合である。この場合、連続する方向ベクトルの状態が高い相関関係にあることを利用して、符号化対象フレームにおける既に符号化されている直前の方向ベクトルの状態を用いてマルコフモデルを構成し、可変長符号化を行う。
【００３０】
前記符号化手段が、
前記符号化対象とする方向ベクトルセグメント及び前記探索された方向ベクトルセグメントをそれぞれ多重解像度のデータ系列に解析する解析手段と、
その多重解像度の各々のデータ系列を高圧縮符号化する高圧縮符号化手段とを有することもできる。
【００３１】
可変長符号化で符号割り当てをする前段において、対象セグメント及び参照セグメントをそれぞれウェーブレット変換して多重解像度に解析することによって、縮小変換のように多重解像度を利用した形状操作が可能になるので、形状操作との整合性に優れるようになり、かつ、符号化が更に効率的になる。
【００３２】
【発明の実施の形態】
本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による動オブジェクト形状符号化装置の実施の形態を示す図である。この動オブジェクト形状符号化装置は、参照セグメント探索部１と、符号化部２と、参照セグメント位置出力部３と、局部復号化部４とを具える。
【００３３】
動オブジェクト形状符号化装置には、オブジェクト形状の輪郭をあらわす方向ベクトル列を１個以上に分割した方向ベクトルセグメントすなわち対象セグメントの情報を有する信号Ｓ１が入力される。方向ベクトルの定義は、例えば特願平１１−２５５４２０号に記載されている。
【００３４】
参照セグメント探索部２には、信号Ｓ１と、局部復号化部４から出力される、既に符号化された方向ベクトル列の情報を有する信号Ｓ２とが入力される。この場合、参照セグメント探索部２は、対象セグメントをテンプレートとしたマッチングによって、既に符号化された方向ベクトル列において対象セグメントと相関する方向ベクトルセグメントすなわち参照セグメントを求める。
【００３５】
その後、参照セグメント探索部２は、マッチングの評価量、参照ベクトルセグメント及びその位置情報を有する信号Ｓ３を出力する。なお、参照ベクトルセグメントの位置情報を、現フレームの方向ベクトル列における方向ベクトルセグメントの位置と、既に符号化された方向ベクトル列にとける参照セグメントの位置との相対的な位置とする。
【００３６】
ここで、対象セグメントをテンプレートとするパターンマッチングの詳細な手順を、図２を用いて説明する。図２において、既に符号化された方向ベクトル列と、対象セグメントを含む現フレームにおける方向ベクトル列を示す。なお、各矢印は方向ベクトルを表す。二点鎖線で包囲される▲１▼−
【外１】
【００３７】
この場合、既に符号化された方向ベクトル列でｃを付した方向ベクトルと、対象セグメントで▲１▼を付した方向ベクトルとは、これら方向ベクトル列の開始点からの順番が同一であり、ともにｋ番目であるとする。
【００３８】
さらに、マッチングを行う範囲を±２サンプルの範囲とすると、参照セグメント探索部１は、ａを始点とする１０サンプルの方向ベクトルセグメントからｅを始点とする方向ベクトルセグメントを、参照セグメントの候補として対象セグメントのマッチングを行う。
【００３９】
マッチングの評価量を、対象セグメントと参照セグメント候補における個々の方向ベクトルとを対比させたときに一致する方向ベクトルの個数とする。ａを始点とする方向ベクトルセグメントに対しては、対象セグメントのうち▲５▼と
【外１】
【００４０】
同様に、ｂ−ｅを始点とする方向ベクトルセグメントと対象セグメントとが一致するサンプル数はそれぞれ、８，６，４，１となる。その結果、ｂを始点とする二点鎖線で示した方向ベクトルセグメントが参照セグメントとして検出され、方向ベクトルｂの番目（ｋ−１）と方向ベクトルｃの番目（ｋ）との差すなわち−１が、参照セグメントの位置情報となる。
【００４１】
符号化部２は、信号Ｓ１及びＳ３が入力され、符号化情報を示すフラグ情報及び符号化データを有する信号Ｓ４を出力する。また、参照セグメント位置出力部３は、信号Ｓ３が入力され、参照セグメントの位置情報を可変長符号化した符号化データを有する信号Ｓ５を出力する。
【００４２】
伝送する符号化情報は、マッチング評価量Ｍに応じて設定され、これについて図３を参照して説明する。伝送情報は、フラグ情報、参照セグメントの位置情報及び対象セグメント符号化データの３種類である。
【００４３】
先ず、ステップＳ１００において、マッチング評価量Ｍが最大値である、すなわち、対象セグメントと参照セグメントとが完全に一致するか否かを判定する。マッチング評価量Ｍが最大値である場合、符号化部２は、参照セグメントの位置情報のみを有する信号を伝送することを示すフラグ情報（この場合、０）を有する信号Ｓ４を出力し（ステップＳ１０１）、参照セグメント位置出力部３は、参照セグメント位置符号化データを有する信号Ｓ５を出力し（ステップＳ１０２）、本ルーチンを終了する。この場合、対象セグメント中の個々の方向ベクトルは符号化されない。
【００４４】
それに対して、マッチング評価量Ｍが最大値でない場合、ステップＳ１０３において、マッチング評価量が、予め設定されたしきい値Ｔｈよりも大きいか否か判別する。マッチング評価量が、予め設定されたしきい値Ｔｈよりも大きい場合、符号化部２は、参照セグメントを利用した符号化を行うことを示すフラグ情報（この場合、１）及び参照セグメントを有する信号Ｓ４を出力し（ステップＳ１０４）、参照セグメント位置出力部３は、参照セグメント位置符号化データを有する信号Ｓ５を出力する（ステップＳ１０５）。
【００４５】
次いで、符号化部２は、対象セグメント符号化データを有する信号Ｓ４を出力し（ステップＳ１０６）、本ルーチンを終了する。この際、対象セグメントにおける方向ベクトルと同一位置に対応する参照セグメントにおける方向ベクトルの状態を用いることによって、マルコフモデルが構成され、対象セグメント中の個々の方向ベクトルが可変長符号化される。
【００４６】
一方、マッチング評価量が、予め設定されたしきい値Ｔｈよりも大きくない場合、符号化部２は、対象セグメントの状態だけを利用して符号化を行うことを示すフラグ情報（この場合、２）を有する信号Ｓ４を出力する。この場合、参照セグメント位置出力部３は、参照セグメント位置符号化データを有する信号Ｓ５を出力しない。
【００４７】
次いで、符号化部２は、対象セグメント符号化データを有する信号Ｓ４を出力し（ステップＳ１０８）、本ルーチンを終了する。この際、現フレームにおける既に符号化された方向ベクトルの中で直前の方向ベクトルの状態からマルコフモデルが構成され、対象セグメント中の個々の方向ベクトルが可変長符号化される。
【００４８】
対象セグメント中の各方向ベクトルを可変長符号化する際に、対照セグメントを多重解像度に解析することによって、形状の操作性及び符号化効率が向上する。参照セグメントの状態からマルコフモデルを構成する場合、参照セグメントにおいても多重解像度に解析する。
【００４９】
図４は、多重解像度解析を実現する符号化部の詳細を示す図である。図４において、符号化部１１は、多重解像度解析部１２ａ及び１２ｂと、符号割り当て部１３ａ及び１３ｂとを有する。
【００５０】
オブジェクト形状を二次元画像で表現する場合、対象セグメント及び参照セグメントは、Ｘ系列{ｘｎ−ｘｎ−１}及びＹ系列{ｙｎ−ｙｎ−１}の二つのベクトル成分列から構成される。
【００５１】
多重解像度解析部１２ａ及び１２ｂは、対象セグメント及び参照セグメントの情報を有する信号がそれぞれ入力され、周波数別のデータ系列の情報を有する信号をそれぞれ出力する。
【００５２】
例えば、方向ベクトルのＸ系列に対し、ウェーブレット変換を適用することによって、低域成分と高域成分との二つのデータ系列を取得することができる。同様に、方向ベクトルのＹ系列に対しても二つのデータ系列を取得することができる。なお、参照セグメントの状態からマルコフモデルを構成する場合、参照セグメントの各データ系列においてそれぞれマルコフモデルを構成する。
【００５３】
符号割り当て部１３ａ及び１３ｂは、多重解像度解析による周波数別データ系列の情報を有する信号が入力され、低域成分符号化データ及び高域成分符号化データを有する信号をそれぞれ出力する。符号化割り当て部１３ａ及び１３ｂでは、ハフマン符号化や算術符号化によって高圧縮の符号化が行われる。
【００５４】
本実施の形態によれば、動オブジェクト形状の効率的な符号化を行うことができ、かつ、方向ベクトル表現による拡大・縮小のスケール変換や回転などの形状操作を簡単に行うことができる。
【図面の簡単な説明】
【図１】 本発明による動オブジェクト形状符号化装置の実施の形態を示す図である。
【図２】 対象セグメントをテンプレートとするパターンマッチングの詳細な手順を説明するための図である。
【図３】 マッチング量に応じた情報伝達を説明するための図である。
【図４】 多重解像度解析を実現する符号化部の詳細を示す図である。
【符号の説明】
１ 参照セグメント探索部
２，１１ 符号化部
３ 参照セグメント位置出力部
４ 局部復号化部
１２ａ，１２ｂ 多重解像度解析部
１３ａ，１３ｂ 符号割り当て部
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５ 信号
Claims (3)
- オブジェクト形状の輪郭を表す方向ベクトル列を１個以上の部分に分割した方向ベクトルセグメントで表現し及び符号化する動オブジェクト符号化装置であって、
方向ベクトルセグメントを符号化して、符号化データを生成する符号化手段と、
前記符号化手段から出力される符号化データを入力し、予め定めた列数の符号化データを復号して、次の符号化のための参照セグメントの方向ベクトル列を生成する局部復号化手段と、
前記局部復号化手段から前記参照セグメントの方向ベクトル列を入力するとともに、符号化対象とする対象セグメントの方向ベクトル列を入力し、パターンマッチングにより前記対象セグメントと相関がある前記参照セグメントの方向ベクトル列を探索して参照セグメントを決定し、前記対象セグメントに対する参照セグメントの相対的な位置を位置情報として生成するとともに、前記パターンマッチングのマッチング評価量に応じてマッチングの状態を識別するためのフラグ情報を生成する探索手段と、
前記探索手段によって生成された前記参照セグメントの位置情報を符号化する位置出力手段とを備え、
前記フラグ情報は、前記マッチング評価量が一致を示す旨、前記マッチング評価量が所定の閾値より大きいことを示す旨、及び、前記マッチング評価量が前記所定の閾値以下を示す旨、の 3 つの状態で区別して示され、
前記フラグ情報により前記マッチング評価量が一致を示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報のみを出力し、且つ、前記位置出力手段は、前記探索手段から受信した該位置情報のみを出力し、
前記フラグ情報により前記マッチング評価量が所定の閾値より大きいことを示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報及び該参照セグメントを用いた符号化データを出力し、且つ、前記位置出力手段は、前記探索手段から受信した該位置情報のみを出力し、
前記フラグ情報により前記マッチング評価量が所定の閾値以下を示す場合には、前記符号化手段は、前記探索手段から受信した該フラグ情報及び該対象セグメントを用いた符号化データを出力することを特徴とする動オブジェクト形状符号化装置。 - 前記符号化手段は、
該参照セグメントを用いた符号化データを出力する際には、該参照セグメントの方向ベクトルの状態からマルコフモデルを構成して前記方向ベクトルを符号化し、
該対象セグメントを用いた符号化データを出力する際には、該対象セグメントのフレームの既に符号化された方向ベクトルの中で直前の方向ベクトルの状態からマルコフモデルを構成して前記方向ベクトルを符号化するようにしたことを特徴とする請求項１記載の動オブジェクト形状符号化装置。 - 前記符号化手段が、
前記符号化対象とする方向ベクトルセグメント及び前記探索された方向ベクトルセグメントをそれぞれ多重解像度のデータ系列に解析する解析手段と、
その多重解像度の各々のデータ系列を高圧縮符号化する高圧縮符号化手段とを有することを特徴とする請求項１記載の動オブジェクト形状符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000239499A JP4035281B2 (ja) | 2000-08-08 | 2000-08-08 | 動オブジェクト形状符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000239499A JP4035281B2 (ja) | 2000-08-08 | 2000-08-08 | 動オブジェクト形状符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002058019A JP2002058019A (ja) | 2002-02-22 |
| JP4035281B2 true JP4035281B2 (ja) | 2008-01-16 |
Family
ID=18731028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000239499A Expired - Fee Related JP4035281B2 (ja) | 2000-08-08 | 2000-08-08 | 動オブジェクト形状符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4035281B2 (ja) |
-
2000
- 2000-08-08 JP JP2000239499A patent/JP4035281B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002058019A (ja) | 2002-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6438168B2 (en) | Bandwidth scaling of a compressed video stream | |
| EP1379000B1 (en) | Signal encoding method and apparatus and decoding method and apparatus | |
| JP4572010B2 (ja) | マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法 | |
| EP0528293B1 (en) | Apparatus for reducing quantization artifacts in an interframe hybrid coding system with motion compensation | |
| JP4425563B2 (ja) | フェーディング補償のためのパラメータ化 | |
| EP1359770B1 (en) | Signaling for fading compensation in video encoding | |
| JP2017118573A (ja) | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法および符号化データ | |
| US20150172687A1 (en) | Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors | |
| CN100579233C (zh) | 变换域中零的早期检测 | |
| JP2001500688A (ja) | 逐次画像圧縮用のビット割当方法 | |
| JP2001112006A (ja) | レート−歪み特性推定方法 | |
| JP2007143176A (ja) | 動きベクトルの圧縮方法 | |
| CN1643608A (zh) | 已编码a/v序列的编辑 | |
| EP0675460B1 (en) | Method and apparatus for encoding a segmented image without loss of information | |
| WO2021197158A1 (zh) | 一种图像处理方法和图像处理装置 | |
| KR19980085643A (ko) | 주위 화소값의 적응 임계치를 이용한 이진 영상 보간 방법 | |
| KR100212559B1 (ko) | 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법 | |
| JP4490351B2 (ja) | 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体 | |
| JP4035281B2 (ja) | 動オブジェクト形状符号化装置 | |
| US6876773B2 (en) | Apparatus and method for coding binary image with improved efficiency | |
| JP2007151062A (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| EP1374599A1 (en) | Video encoder and recording apparatus | |
| KR100512276B1 (ko) | 영상 데이터의 압축 방법 및 장치 | |
| JP2000165873A (ja) | 動画像情報の圧縮方法およびそのシステム | |
| JP2004260251A (ja) | 動きベクトル検出装置及び動きベクトル検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070910 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |