JPH08153202A

JPH08153202A - ３段カスケード画像符号化装置および復号化装置

Info

Publication number: JPH08153202A
Application number: JP29332294A
Authority: JP
Inventors: Shii Yun Fuan; ユンファン・シー
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-11-28
Filing date: 1994-11-28
Publication date: 1996-06-11

Abstract

(57)【要約】【目的】超低ビットレート符号化及び復号化を行うた
めの３段カスケード画像符号化及び復号化装置を提供す
る。【構成】３段の圧縮処理は、第１が非線形サブサンプ
リング手段２、第２がＢスプライン表面近似手段４、そ
して第３がＤＣＴ変換符号化手段６である。画像の空間
的冗長性を利用し、画像内容に応じて可変サイズのブロ
ックに分割する。８×８よりも大きいブロックについて
は、非線形的なサブサンプリング処理が適用される（第
１の圧縮）。元の、またはサブサンプリングされた８×
８のブロックデータは、Ｂスプライン表面近似アルゴリ
ズムにより近似され、コントロールポイントとパラメー
タの小さな組に圧縮される（第２の圧縮）。コントロー
ルポイントは、ＤＣＴによりさらに符号化される（第３
の圧縮）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、現在ＩＳＯ／ＩＥＣ
ＪＴＣ１ＳＣ２９ＷＧ１１で取り組まれている、ＭＰ
ＥＧ−４国際標準の開発に用いられる超低速ビット伝送
（ＶＬＢＲ）映像符号化に関するものであり、例えば、
テレビ電話、テレビ会議、車載ＡＶ検索端末遠隔監視お
よびエキスパートシステムなどに広く適用されるもので
ある。

【０００２】

【従来の技術】超低速ビット伝送の国内標準を求める産
業界の要求が強くなるのに対応して、ＩＳＯ／ＩＥＣ
ＪＴＣ１ＳＣ２９ＷＧ１１（ＭＰＥＧ）は、成功を
収めたＭＰＥＧ−１およびＭＰＥＧ−２の国際標準の開
発を引き継ぐＭＰＥＧ−４という新しい計画に着手し
た。

【０００３】符号化技術の観点から見ると、ＭＰＥＧ−
１およびＭＰＥＧ−２は共に、ＤＣＴ変換符号化を採用
しており、総合的な符号化方法の基礎としての挙動推測
および補正を行う。一方、そのような符号化方法は、包
括的な映像光景に対して、強力で一貫した符号化能力を
発揮するが、超低速ビット伝送の運用に対しては限界が
ある。そのため新しいＭＰＥＧ−４計画は、ＭＰＥＧ−
１およびＭＰＥＧ−２国際標準ではまだ充分に考慮され
ていなかった超低速ビット伝送への適用において、より
高い符号化能力を提供するという新しい符号化方法を開
発するための特別な要求に応えるものである。

【０００４】表面近似技術は、大まかな３次元の形を描
写するのにコンピュータグラフィックスの分野では広く
用いられている。画像の符号化に対する応用としては、
いくつかに限定されており、低速ビット伝送ビデオ符号
化に効果のある符号化ツールの１つと見なされている。

【０００５】

【発明が解決しようとする課題】画像符号化に対する表
面近似手法の応用は、補間符号化方法に分類されるが、
適応型のＤＣＴ変換などの他の符号化方法と比較した場
合、事前調査によると、表面近似手法だけでは、高効率
な符号化を実現するには不十分であることが判明してい
る。

【０００６】本発明は、このような従来技術の課題を考
慮し、サブサンプリングとＢスプライン符号化とＤＣＴ
変換符号化との３段階の符号化手段を組み入れたカスケ
ード符号化装置及びその復号化装置を提供することを目
的とするものである。

【０００７】

【課題を解決するための手段】請求項１の本発明は、画
像を該内容に基づいて選択された画素領域に分割するた
めの非線形サブサンプリング手段と、２次元のブロック
データを３次元の表面のコントロールポイントに圧縮す
るためのＢスプライン表面近似手段と、少なくとも一つ
の所定の変換符号化方法により前記３次元の表面のコン
トロールポイントを符号化する変換符号化手段とを備え
たことを特徴とする３段カスケード画像符号化装置であ
る。

【０００８】請求項７の本発明は、入力画像を順次可変
サイズブロックに変換する可変サイズブロックジェネレ
ータと、前記ブロックのサイズに応じて、ブロックの次
元をより小さいサイズのブロックに縮小するための非線
形サブサンプリングフィルタと、前記非線形サブサンプ
リングフィルタに前記ブロックを接続する３つ１組のス
イッチと、Ｂスプライン変換のためのパラメータを生成
する距離パラメータジェネレータと、Ｂスプライン変換
のための基本関数を生成するための基本関数ジェネレー
タと、解析された前記ブロックのコントロールポイント
を抽出するためのＢスプラインアナライザと、該コント
ロールポイントの値の範囲を制限する正規化器と、前記
正規化されたコントロールポイントを周波数領域のＤＣ
Ｔ係数に変換するＤＣＴ変換器と、前記ＤＣＴ係数をデ
ジタル化する量子化器と、ハフマン符号化原理に基づく
可変長符号化器と、２組の付属情報を符号化するパラメ
ーター符号化器と、パラメータのビットストリームとコ
ントロールポイントのビットストリームとを統合化ビッ
トストリームに統合するマルチプレクサとを備えたこと
を特徴とする３段カスケード画像符号化装置である。

【０００９】請求項１４の本発明は、入力多重化ビット
ストリームからパラメータビットストリームおよびコン
トロールポイントビットストリームに分離するデマルチ
プレクサと、前記ビットストリームを量子化されたＤＣ
Ｔ係数に変換する可変長復号器と、前記ＤＣＴ係数を逆
量子化する逆量子化器と、前記逆量子化されたＤＣＴ係
数をＢスプライン表面のコントロールポイントに逆変換
するための逆ＤＣＴ変換器と、元のコントロールポイン
トの値を復号するための逆正規化器と、前記パラメータ
ビットストリームを２組の付属情報に逆変換するための
パラメータ復号器と、前記復号されたパラメータが付い
たコントロールポイントから３次元の表面を近似するＢ
スプライン表面近似器と、前記パラメータビットストリ
ームから復号されたブロックサイズの情報に従って、非
線形補間フィルタを接続する２つのスイッチと、原画像
のサイズを復元するように、ブロックデータをより大き
なサイズにアップサンプルする前記非線形補間フィルタ
と、一連のブロックを完全に復号された画像に統合する
ブロックインテグレータとを備えたことを特徴とする３
段カスケード画像復号化装置である。

【００１０】

【作用】画像符号化方法に基づく表面近似の基本的な考
え方は、３次元の大まかな形を２次元の画像として眺め
るところにあり、所定の透視規則のもとで一組のコント
ロールポイントにより近似的に描写するものである。そ
の透視処理とは、実際には３次元の大まかな形の表面近
似処理である。Ｂスプラインが、表面近似のツールとし
て選ばれたのは、Ｂｅｚｉｅｒ表面などの他の近似ツー
ルと比較して優れたパフォーマンスと柔軟性を有するた
めである。

【００１１】画像全体は、通常いろいろな対象物に関し
て、非常に複雑な光景を含んでいる。そのため画像全体
の表面近似は、コントロールポイントの数が多くなると
大量の計算を必要とし非常に複雑な処理となる。この技
術を採用するための現実的な方法は、画像全体を小さな
ブロックに分割し、それぞれのブロックについて、少な
いコントロールポイントを有するＢスプライン表面に対
して近似を行うことである。このコントロールポイント
を効果的に抽出することができれば、原画像の内容を、
コントロールポイントおよびＢスプライン表面の基本関
数を基にした表面近似アルゴリズムにより近似すること
ができるようになる。

【００１２】Ｂスプライン表面の２つの有用な特徴は、
コントロールポイントがアフィン変換において変化しな
いことと、コントロールポイントの集合がグレイレベル
の画像と等価なことである。この２つの特徴故に、任意
の変換符号化技術により、前記コントロールポイントを
さらに処理することが可能となる。このことが、カスケ
ード符号化装置の基本概念をもたらした所以である。も
し原画像と同じ解像度を有するコントロールポイントの
画像について、同じ圧縮比を実現できれば、直列２段の
圧縮により、画像全体の符号化に対する圧縮比を数倍高
くすることが可能となる。

【００１３】また画像のいろいろな領域において、画像
の内容が変化することを考慮すれば、第３の圧縮要素が
得られる。いくつかの領域はグレイレベルの変化に乏し
く、また、他の領域はグレイレベルの変化が大きい。そ
こで、可変ブロック分割アルゴリズムが、画像のこの特
徴を処理するのに用いられる。つまり、大きなサイズの
ブロックについては、小さなサイズのブロックよりも多
くの画素を含んでいる。Ｂスプラインを大きなブロック
に直接利用すると、小さなブロックと比較した場合、よ
り高い次元の計算が必要となり、実現すべき符号化手段
が複雑となる。この問題を解決するために、大きなサイ
ズのブロックから小さな一組のキーポイントを選ぶこと
で、Ｂスプラインの実行に伴うデータのサイズを減少さ
せることができる。このキーポイントの抽出処理が、本
発明の３段カスケード画像符号化におけるもう一つの圧
縮手段となる。

【００１４】

【実施例】以下に、本発明をその実施例を示す図に基づ
いて説明する。

【００１５】図１は、本発明の請求項１記載の３段カス
ケード画像符号化装置にかかる１実施例のブロック図で
ある。すなわち、入力画像１は、第１段目として、条件
付き非線形サブサンプリング手段２により処理され、第
２段目として、符号化に基づくＢスプライン表面近似手
段４により処理され、第３段目として、ＤＣＴ変換符号
化手段６により処理される。

【００１６】以下、前記３つの手段について順に説明す
る。（１）非線形サブサンプリング手段図２は、図１に示した非線形サブサンプリング手段２の
構成を示すブロック図である。すなわち、非線形サブサ
ンプリング手段は、画像を可変サイズブロックに分割す
るための可変サイズブロック分割手段１０と、前記ブロ
ックの大きさが８より大きいかどうかを判定するための
ブロックサイズ判定手段１２と、８より大きいブロック
に対してＢスプラインの引き数となる次数を減らすため
のキーポイントを抽出するキーポイント抽出手段とによ
り構成される。

【００１７】次に、上記非線形サブサンプリング手段の
動作について説明する。

【００１８】入力画像１が、可変サイズブロック分割手
段１０に入力されると、様々な領域における画像の内容
に基づくセグメンテーションアルゴリズムにより、可変
サイズブロックに分割される。すなわち、可変サイズブ
ロック分割１０の出力は、８×８や１６×１６や３２×
３２などの規模を含む一連のブロックとなる。その最大
のブロックサイズは、入力画像より小さいか、もしくは
同じサイズとなる。サイズが同じ場合とは、画像全体
が、特に限定された画像の内容のために一つのブロック
として処理できる場合である。

【００１９】ここで、セグメンテーションアルゴリズム
とは、所定の画像の画素値に基づき階層的な領域へ切り
分ける処理のことである。一般的に次の工程を含む。入力画像１を、原画像のサイズをカバーすることが
できる１つの最小の正方形ブロックに展開する。８の倍
数の可変サイズのブロックを生成するため、前記正方形
ブロックもまた８の倍数のサイズを持つことになる。例
えば、ＱＣＩＦ画像の１４４×１７６は、２５６×２５
６に拡大される。前記正方形ブロックを４つのサブブロックに分割す
る。前期４つのサブブロックを一つずつ検証する。すな
わち、もしそのサブブロックの画素値を所定のしきい値
と比較して、さらに分割可能であれば工程に戻り、そ
のサブブロックをさらに分割していく。また、そのサブ
ブロックが分割不可能であれば、このサブブロックにつ
いては分割操作を停止する。

【００２０】図３にそのセグメント化された画像を示
す。すなわち、前期入力画像は、様々なサイズの複数の
正方形ブロックに分割されている。このブロックは符号
化処理全体において順次処理される。

【００２１】次に、前記可変サイズブロック分割１０か
ら出力された様々なサイズの正方形ブロックは、図２に
示すブロックサイズ判定手段１２に入力され、その正方
形ブロックのサイズが、８×８の２次元のブロックを示
す８よりも大きいかどうかチェックされる。もしその正
方形ブロックサイズが８であれば、その８×８のブロッ
クは、接続線１３および１６を通して、図１に示すＢス
プライン表面近似手段４に入力される。もしその正方形
ブロックサイズが８よりも大きければ、そのブロックは
キーポイント抽出手段１８に入力される。

【００２２】次に、前記ブロックサイズ判定手段１２か
ら出力された８よりも大きい正方形ブロックは、図２に
示すキーポイント抽出手段１８に入力され、その正方形
ブロックに対して８×８のキーポイントが抽出される。
そして、そのキーポイントは接続線１５から出力され、
その付属情報は接続線１７から出力される。

【００２３】キーポイントとは、２次元の曲線や３次元
の表面の形状を決定するのに重要な役割を果たすピクセ
ルのことである。通常、これらのキーポイントは、極小
値または極大値である。曲線の両端および頂点が正確に
記録されたときには、その曲線の形状はＢスプライン近
似アルゴリズムにより近似され、実行すべき次元も少な
くすることができる。

【００２４】前記可変サイズブロック分割手段１０から
出力されるブロックサイズが８以上のブロックに対して
は、そのブロックがカバーする画像内容によっては、そ
のブロックサイズは例えば３２×３２程度まで大きくな
る。この３２×３２のブロックに対して、コントロール
ポイントを抽出するため、Ｂスプラインを直接適用する
と、一組の３２×３２の行列演算が必要となり、ハード
ウェアの実装上現実的ではない。そこで、ブロックサイ
ズが８以上の正方形ブロックに対して、水平および垂直
方向の両方について、その最大値を８に制限するキーポ
イントを抽出することで、最大の行列演算を８×８の次
数に制限することができ、現在のハードウェア技術で実
装可能となる。

【００２５】実際には、この処理は、入力画像の非線形
的なサブサンプリング処理である。この処理だけでは、
ブロックの複雑さやピクセル値の変動のため所定の圧縮
比しか得られない。２次元の画像については、異なる行
または列のキーポイントの分布は互いに異なる。２次元
の画像からこれらのキーポイントを正確に抽出するとき
には、キーポイントの位置を記録するための付属情報の
生成が必要となる。

【００２６】ここで、キーポイントの抽出と表現を簡略
化するための手段が発明されている。その手段は、水平
および他の垂直方向についてキーポイントの分布を一つ
だけ抽出するものである。つまり、異なる行の上のキー
ポイントは、同じ垂直位置を有し、異なる列の上のキー
ポイントは、同じ垂直位置を有する。そのようにして付
属情報は、２つの位置ベクトル、つまり水平位置ベクト
ルＰ_vxおよび垂直位置ベクトルＰ_vyに減縮される。図４
は、そのような簡略化された非線形的なサブサンプリン
グ処理の例を示し、１６×１６のブロックが８×８にサ
ブサンプリングされたことを示す図である。処理を単純
化するために、ブロックの形状およびキーポイントの次
元は正方形に設定される。

【００２７】図２に示す前記ブロックサイズ判定手段１
２から出力され、前記キーポイント抽出手段１８に入力
されるブロックサイズがＮ_i×Ｎ_iであるとき、垂直およ
び水平方向の両方について検出されたキーポイントの数
がＭ_i×Ｍ_iだとすると、本実施例の第１段目に当たる非
線形サブサンプリング手段による圧縮比Ｒ_lは次式によ
り計算される。

【００２８】

【数１】

【００２９】ここでＳ_i1は、Ｐ_vxおよびＰ_vyを符号化す
るための付属情報である。Ｐ_vxおよびＰ_vyに対して符号
化がまったくなされないという最悪のケースを考慮する
と、処理すべき値の数は、２（Ｍ_i−１）となる。Ｎ_iが
１６で、Ｍ_iが８だと仮定すると、圧縮比は次式とな
る。

【００３０】

【数２】

【００３１】（２）Ｂスプライン表面近似手段図５は、図１に示したＢスプライン表面近似手段４の構
成を示すブロック図である。すなわち、Ｂスプライン表
面近似手段は、Ｂスプライン変換のための距離パラメー
タを算出するＢスプラインパラメータ算出手段２０と、
前記距離パラメータとＢスプラインの次数に基づく基本
関数を計算する基本関数計算手段２２と、Ｂスプライン
変換によりコントロールポイントを抽出するコントロー
ルポイント抽出手段２４と、前記抽出されたコントロー
ルポイントを０から２５５までの１バイトの範囲に正規
化する１バイト正規化手段２８とにより構成される。

【００３２】まず、Ｂスプラインパラメータ算出手段２
０について説明する。図２に示した前記非線形サブサン
プリング手段で得られた付属情報Ｓ_i1１７および８×８
のブロック１６が、図５のＢスプラインパラメータ算出
手段２０に入力されると、パラメータベクトルＴ_xおよ
びＴ_yが算出される。そのアルゴリズムは次の工程を含
む。平均行ベクトルＸ_aおよび平均列ベクトルＹ_aを形成
する。その平均ベクトルＸ_aおよびＹ_aの隣接する要素間の
距離を計算する。その最初の要素からＸ_aおよびＹ_aの各要素の距離を
計算する。Ｘ_aおよびＹ_aのすべての距離セグメントの総和によ
り、距離パラメータを正規化する。この結果をＴ_xおよ
びＴ_yとする。

【００３３】非線形的にサブサンプリングされた画素の
位置情報は、前記Ｓ_i1により与えられる。この情報は、
上述の如くパラメータＴ_xおよびＴ_yの計算に必要とな
る。

【００３４】次に、図５に示す基本関数計算手段２２に
ついて説明する。その前に、Ｂスプラインの基本原理に
ついてふれておく。Ｂスプラインという名前は、ベーシ
ックスプラインに由来し、多項式を用いて表面の曲面を
近似するものである。画像データをＩ_xyとし、ｘおよび
ｙがそれぞれｘ方向、ｙ方向の座標値で、その座標値が
既知であるとすると、その画像データは、基本関数の線
形結合で近似でき次式で与えられる。

【００３５】

【数３】

【００３６】ここでＣは、コントロールポイントの行列
であり、Ｂ_xおよびＢ_yは、それぞれｘ方向およびｙ方向
の基本関数である。ｎおよびｍは、それぞれｘパラメー
タおよびｙパラメータ方向の、例えばコントロールポイ
ントなどの定義付け多角形の頂点の数である。この場合
のブロックデータの復号には、Ｂスプラインの基本関数
とコントロールポイントの２つの情報が必要になること
は明白である。

【００３７】そこで、８×８ブロック１６のデータが既
知であるため、開いたＢスプラインを考慮する。（な
お、他の形式のＢスプラインもこの符号化方法に適用す
ることができる。その場合の違いは、図５の基本関数計
算手段２２である。）まず、ブロック上のコントロール
ポイントの数が、ｘおよびｙ方向のそれぞれについて、
Ｎ_cxまたはＮ_cyであり、Ｂスプラインの次数がｋであ
り、パラメータベクトルがそれぞれＴ_xまたはＴ_yである
とする。その時、ｘ方向およびｙ方向の基本関数Ｂ _xお
よびＢ_yは、次式の如く計算される。

【００３８】Ｂ_x＝ｆ（ｋ，Ｎ_cx，Ｔ_x）Ｂ_y＝ｆ（ｋ，Ｎ_cy，Ｔ_y）また、１次元の場合は、Ｂスプラインのｉ番目の正規化
基本関数は、次式のＣｏｘ−ｄｅＢｏｏｒの帰納式で与
えられる。

【００３９】

【数４】

【００４０】上式のｔはパラメータであり、ｘ_iは、Ｘ_i
≦Ｘ_i＋１という関係を満たす節点ベクトルの要素であ
る。パラメータｔは、曲線Ｃ（ｔ）に沿ってｔ_minから
ｔ_maxまで変化する。また、０／０＝０であるとの取り
決めがある。

【００４１】ここで、前記節点ベクトルとは、Ｂスプラ
イン基本関数Ｂ_i,k（ｔ）に重要な影響を与えるパラメ
ータベクトルのことであり、次式で決定される。

【００４２】

【数５】

【００４３】上式のＸ_maxは、ｘの最大値であり、Ｎ_xは
中間のパラメータである。この節点ベクトルを基本関数
の計算に用いるには、正規化する必要がある。

【００４４】次に、図５に示すコントロールポイント抽
出手段２４について説明する。Ｂスプラインの用語で
は、このコントロールポイントは定義付け多角形の頂点
と呼ばれている。この定義付け多角形の頂点の位置は、
表面の形状を効果的に制御するので、本発明ではコント
ロールポイントと呼ぶことにする。

【００４５】図２に示した可変サイズブロック分割手段
１０から出力された正方形ブロックが、キーポイント抽
出手段１８によりサブサンプリングされたか否かにかか
わらず、非線形サブサンプリング手段から出力されるサ
イズが８の正方形ブロックの画素、もしくはキーポイン
ト抽出手段１８で抽出されたキーポイントのことを、こ
こからは便宜上データポイントと呼ぶことにする。この
データポイントは、コントロールポイント抽出手段２４
にて、Ｂスプライン変換の実行を施した一組のコントロ
ールポイントによりさらに近似され、そのコントロール
ポイントは、そのデータポイントを減縮した次元の値と
なる。

【００４６】次に、図５の１バイト正規化手段２８につ
いて説明する。前記コントロールポイントは、元のデー
タよりもわずかに広い範囲の値に分布している。そこ
で、次の第３の圧縮処理を容易にするため、そのコント
ロールポイントの値を、前記１バイト正規化手段２８に
より、０から２５５までの１バイトの範囲に正規化す
る。この正規化されたコントロールポイント２９の配列
は、例えばＤＣＴに基づく圧縮機構などの従来の画像圧
縮のアルゴリズムにより、さらに圧縮される画像として
正確に取り扱うことができる。

【００４７】キーポイントが８×８の配列であると、図
６に示すように、水平および垂直方向のそれぞれに４つ
のコントロールポイントが設定される。前記付属情報Ｓ
_i1を考慮しなければ圧縮比は４となり、前記付属情報Ｓ
_i1を考慮に入れた本実施例の第２段目に当たる圧縮比Ｒ
₂は次式にて計算される。

【００４８】

【数６】

【００４９】ここでＣ_iは、両方の座標方向のコントロ
ールポイントの数である。

【００５０】したがって、前記付属情報Ｓ_i1を含めた、
本実施例の前記第１段目および第２段目の統合された圧
縮比Ｒ₁₂は、次式で与えられる。

【００５１】

【数７】

【００５２】上式のＳ_i2は、Ｂスプライン近似アルゴリ
ズムの付属情報である。Ｓ_i2は、通常、２つのベクトル
パラメータＴ_xおよびＴ_yと、もう２つのスカラーパラメ
ータ、例えばＢスプラインの次数を示すｋおよびＢスプ
ラインのコントロールポイントの数を示すｎとを含む。

【００５３】前記２種類のベクトルパラメータが、それ
ぞれ３つの要素を含んでいるため、前記圧縮比Ｒ₁₂の概
算を算出すると次式となる。

【００５４】

【数８】

【００５５】ここで、Ｒ₁とＲ₂との間の関係について述
べる。大きなサイズのブロックについては、Ｒ₁が大き
くなりＲ₂が小さくなる傾向がある。小さなサイズのブ
ロックについては、Ｒ₁が小さくなりＲ₂が大きくなる傾
向がある。

【００５６】本実施例の第１段目の圧縮は、低次元化す
ることでＢスプラインの計算を簡略化するためである。
なお、より高い圧縮比を得るために、パラメータについ
ては、ある種のＤＰＣＭ符号化を用いることもできる。（３）ＤＣＴ変換符号化手段図７は、図１に示したＤＣＴ変換符号化手段６の構成を
示すブロック図である。すなわち、ＤＣＴ変換符号化手
段は、１バイトの範囲に正規化されたコントロールポイ
ントをＤＣＴ変換し、ＤＣＴ係数として出力するＤＣＴ
変換手段３１と、そのＤＣＴ係数を量子化する量子化手
段３３と、その量子化されたＤＣＴ係数をハフマン符号
化するハフマン符号化手段３５と、パラメータの符号化
を行うパラメータ符号化手段３７とにより構成される。

【００５７】次に、上記ＤＣＴ変換符号化手段の動作に
ついて説明する。

【００５８】まず、図７のＤＣＴ変換手段３１について
説明する。図５で示した前記正規化されたコントロール
ポイントは、従来の画像符号化方法により、さらに圧縮
することができる近似された画像を形成している。この
正規化されたコントロールポイント２９が、前記ＤＣＴ
変換手段３１に入力されると、４×４のＤＣＴ変換が施
され４×４のＤＣＴ係数３２となる。

【００５９】ここで、各サイズのブロックが、４×４の
サイズのコントロールポイントにより近似されるので、
そのコントロールポイントの分布密度は、違うサイズの
ブロックとは異なる。そのため、異なるブロックのコン
トロールポイントは一括処理できず、４×４の配列のコ
ントロールポイントを有するブロック毎に処理しなけれ
ばならない。従来の画像符号化で用いられる８×８のＤ
ＣＴの代わりに、４×４のＤＣＴを用いなければならな
い。

【００６０】次に、図７の量子化手段３３とハフマン符
号化手段３５について説明する。前記ＤＣＴ係数３２
が、量子化手段３３に入力されると量子化され、量子化
されたＤＣＴ係数を出力する。その量子化されたＤＣＴ
係数がハフマン符号化手段３５に入力されると、ハフマ
ン符号化されて可変長コード３６が出力される。前記Ｄ
ＣＴ係数は４×４のサイズなので、新しい可変長コード
（ＶＣＬ）のテーブルは、ハフマン符号化の変換係数に
合わせて設計される。

【００６１】したがって、４×４のＤＣＴ変換の圧縮比
が、本実施例の第３段目の圧縮比Ｒ₃となる。このと
き、本実施例の３段カスケード画像符号化装置によるシ
ステム全体の圧縮比Ｒは、次式で与えられる。

【００６２】Ｒ＝Ｒ₁Ｒ₂Ｒ₃ 上式に、前記した例のＲ₁Ｒ₂の値６．７４を代入する
と、前記システム全体の圧縮比Ｒは次式となる。

【００６３】Ｒ＝６．７４Ｒ₃ 上式より、本実施例の３段カスケード画像符号化は、コ
ントロールポイント画像の従来のＤＣＴ変換符号化に基
づく圧縮よりも６．７４倍も高い圧縮が実現できること
が分かる。原画像に直接ＤＣＴ符号化を適用する場合と
比較すると、符号化能力は圧縮比Ｒ₃に依存する。原画
像に直接ＤＣＴ符号化を施した時の圧縮比がＲ₀だと仮
定すると、もしＲ₃＞Ｒ₀／８ならばＲ＞Ｒ₀ということ
になる。すなわち、この条件のもとでは、符号化能力が
改善されることを意味する。

【００６４】次に、図７のパラメータ符号化手段３７に
ついて説明する。付属情報Ｓ_i1１７およびＳ_i2１８がパ
ラメータ符号化手段３７に入力されると、符号化され出
力ビットストリーム３８として出力される。そのビット
ストリーム３８がマルチプレクサ３９に入力されると、
符号化されたコントロールポイントのビットストリーム
である前記可変長コード３６と多重化される。その多重
化されたビットストリーム４０は、本実施例の３段カス
ケード画像符号化システムの全体的な符号化ビットスト
リームとなる。

【００６５】図８は、本発明の請求項７記載の３段カス
ケード画像符号化装置にかかる１実施例のブロック図で
ある。すなわち、入力画像５０を一連の可変サイズのブ
ロックに変換する可変サイズブロックジェネレータ５１
と、前記ブロックサイズが８より大きいブロックに対し
て、キーポイント５８を抽出し、その付属情報Ｓ_i1を出
力する非線形サブサンプリングフィルタ５７と、前記ブ
ロックサイズの情報５３により、前記ブロックと前記キ
ーポイント５８と前記付属情報Ｓ_i1の出力先を変えるＳ
１（５４）、Ｓ２（６０）およびＳ３（６１）の３つの
スイッチと、パラメータベクトルを出力する距離パラメ
ータジェネレータ６４と、前記パラメータベクトルと前
記付属情報Ｓ_i1とによりパラメータビットストリーム７
８に符号化するパラメータ符号化器７７と、Ｂスプライ
ンの基本関数を計算する基本関数ジェネレータ６６と、
前記キーポイントと前記基本関数とにより、Ｂスプライ
ン表面のコントロールポイント６９を出力するＢスプラ
インアナライザ６８と、そのコントロールポイント６９
を１バイトに正規化する１バイト正規化器８２と、その
正規化されたコントロールポイントをＤＣＴ変換するＤ
ＣＴ変換器７０と、そのＤＣＴ変換されたＤＣＴ係数を
量子化する量子化器７２と、その量子化されたＤＣＴ係
数を可変長符号化する可変長符号化器７４と、その符号
化されたビットストリームと前記パラメータビットスト
リーム７８と多重化するためのマルチプレクサ７９とに
より構成される。

【００６６】次に、上記実施例の動作について説明す
る。

【００６７】入力画像５０は、可変サイズブロックジェ
ネレータ５１により、最初に一連の可変サイズのブロッ
クに変換される。そのブロックサイズの情報５３は、Ｓ
１（５４）、Ｓ２（６０）およびＳ３（６１）の３つの
スイッチを制御するのに用いられる。もしブロックサイ
ズが８よりも大きければ、それらのスイッチはそれぞれ
５５、５８および５９の側の端子に接続され、そのブロ
ックデータは、パス５２および５５を介して非線形サブ
サンプリングフィルタ５７に入力される。その非線形サ
ブサンプリングフィルタ５７は２つの出力を有し、一つ
は前記ブロックデータから抽出されたキーポイント５８
で、距離パラメータジェネレータ６４にパス６２を介し
て送られる。もう一つの出力は付属情報Ｓ_i1で、同様に
パス５９および６３を介して距離パラメータジェネレー
タ６４に送られる。もしブロックサイズが８よりも小さ
ければ、非線形サブサンプリングフィルタ５７を介さず
に、そのブロックデータは、パス５２、５６および６２
を介して距離パラメータジェネレータ６４に直接入力さ
れる。その距離パラメータジェネレータ６４は、パラメ
ータベクトルを出力し、接続線６５を介して基本関数ジ
ェネレータ６６に入力され、Ｂスプラインの基本関数を
計算するのに用いられる。前記パラメータベクトルは、
前記付属情報Ｓ_i1とともに接続線７６を介してパラメー
タ符号化器７７に送られ、そこでパラメータビットスト
リーム７８に符号化される。スイッチＳ２（６０）の出
力から接続線８１を介したキーポイントと、接続線６７
からの基本関数とは、一括してＢスプラインアナライザ
６８に送られ、そこでＢスプライン表面のコントロール
ポイント６９が生成される。そのコントロールポイント
６９は、１バイト正規化器８２により１バイトに正規化
される。正規化されたコントロールポイント８３は、Ｄ
ＣＴ変換器７０を通過して、符号化されたビットストリ
ームを生成するために、量子化器７２および可変長符号
化器７４に入力される。前記符号化されたビットストリ
ームは、最終的に接続線７５を介してマルチプレクサ７
９に送られ、そこで接続線７８からの前記パラメータビ
ットストリーム７８と多重化される。その多重化された
ビットストリームは、接続線８０を介して、デジタル記
憶媒体か通信チャネルのどちらかに出力される。

【００６８】図９は、本発明の請求項１４記載の３段カ
スケード画像復号化装置にかかる１実施例のブロック図
である。すなわち、符号化されたパラメータのビットス
トリームと符号化されたコントロールポイントのビット
ストリームとに分離するデマルチプレクサ９１と、その
コントロールポイントのビットストリームを正規化され
たコントロールポイントに復号するための一連の可変長
復号器９３および逆量子化器９５および逆ＤＣＴ変換器
９７と、その正規化を解除するための逆正規化器１１５
と、前記パラメータのビットストリームを復号するため
のパラメータ復号器１００と、前記正規化を解除された
コントロールポイント１１６からブロック表面を近似す
るためのＢスプライン表面近似器１０２と、非線形補間
を行う非線形補間フィルタ１０６と、入力されるブロッ
クから画像を再構築するブロックインテグレータ１１２
と、前記近似されたブロック表面１０３の接続先を非線
形補間フィルタ１０６またはブロックインテグレータ１
１２に切り替えるためのＳ４およびＳ５とにより構成さ
れる。

【００６９】次に、上記実施例の動作について説明す
る。符号化されたビットストリーム９０は、まずデマル
チプレクサ９１により２つのビットストリームに多重分
離される。一つはパラメータビットストリーム９９であ
り、もう一つはコントロールポイントビットストリーム
９２である。そのコントロールポイントビットストリー
ム９２は、まず可変長復号器９３、逆量子化器９５およ
び逆ＤＣＴ変換器９７を通過して、正規化されたコント
ロールポイント９８に復号される。正規化されたコント
ロールポイント９８は、逆正規化器１１５により正規化
を解除される。前記パラメータストリーム９９は、パラ
メータ復号器１００により復号され、付属情報Ｓ_i1１０
８および付属情報Ｓ_i2１０１に復号される。後者は、復
号されたコントロールポイント１１６から、Ｂスプライ
ン表面近似器１０２により、ブロック表面を近似するの
に用いられる。Ｓ_ij１０８によって与えられるブロック
サイズの情報に依存して、復号された８×８の表面１０
３は、ブロックインテグレータ１１２か、非線形補間フ
ィルタ１０６のどちらかを通過する。非線形補間を正確
に行うために、接続線１１４を介してＳ_i1１０８によっ
て提供される画素距離情報が用いられる。スイッチＳ４
（１０４）およびＳ５（１０６）は、再び、Ｓ_i1１０８
からのブロックサイズパラメータにより制御される。前
記ブロックインテグレータ１１２の機能は、すべてのブ
ロックをひとつずつ寄せ集めて復号された画像が出力１
１３から得られるように正しい位置に配置することであ
る。それゆえ、ブロックインテグレータ１１２は、ブロ
ックを画像に変換する装置と見なすことができる。これ
に対応して、図８の符号化装置内の可変サイズブロック
ジェネレータ５１は、画像をブロックに変換する装置と
見なすことができる。

【００７０】

【発明の効果】以上述べたことから明らかなように本発
明は、Ｂスプライン表面近似技術に基づく可変サイズの
ブロックの画像符号化を効果的に行うことができる長所
を有する。すなわち、キーポイント抽出手段は、Ｂスプ
ライン処理の行列の次元を減縮し、装置のハードウェア
の実装を容易にすることができ、またＢスプライン技術
と符号化に基づくＤＣＴとの統合は、ＭＰＥＧ−１お
よびＭＰＥＧ−２の国際符号化標準の基礎となっている
適応性のあるＤＣＴ符号化より、高い符号化能力を発揮
することができる。

【図面の簡単な説明】

【図１】３段カスケード符号化装置を示すブロック図

【図２】第１段の非線形的なサブサンプリングのブロッ
ク図

【図３】可変サイズのブロックセグメンテーションの状
態を示す図

【図４】キーポイント検出処理の状態を示す図

【図５】Ｂスプライン表面近似処理のブロック図

【図６】Ｂスプライン解析から抽出されたコントロール
ポイントを示す図

【図７】ＤＣＴ変換符号化システムのブロック図

【図８】本発明の１実施例の符号化システムのブロック
図

【図９】本実施例の復号化システムのブロック図

【符号の説明】

１入力画像２非線形的なサブサンプリング４Ｂスプライン表面近似６ＤＣＴ変換符号化７出力ビットストリーム

Claims

【特許請求の範囲】

【請求項１】画像を該内容に基づいて選択された画素
領域に分割するための非線形サブサンプリング手段と、
２次元のブロックデータを３次元の表面のコントロール
ポイントに圧縮するためのＢスプライン表面近似手段
と、少なくとも一つの所定の変換符号化方法により前記
３次元の表面のコントロールポイントを符号化する変換
符号化手段とを備えたことを特徴とする３段カスケード
画像符号化装置。
【請求項２】前記非線形サブサンプリング手段に、前
記画像の様々な領域の画素を所定の測定値に基づき、前
記画像を可変サイズブロックに分割する可変サイズブロ
ック分割手段と、前記可変サイズブロックのうち、８よ
りも大きいサイズのブロックからキーポイントを抽出す
るキーポイント抽出手段とを備えたことを特徴とする請
求項１記載の３段カスケード画像符号化装置。
【請求項３】前記キーポイント抽出手段に、水平方向
のキーポイントの検出のために行平均ベクトルを計算す
る手段と、垂直方向のキーポイントの検出のために列平
均ベクトルを計算する手段と、２つの位置ベクトルに前
記キーポイントの位置を記録する手段と、行・列平均ベ
クトルからキーポイントを検出する手段と、各方向のコ
ントロールポイントの数を８に調整する手段と、前記キ
ーポイントを８×８の配列に記録する手段とを備えたこ
とを特徴とする請求項２記載の３段カスケード画像符号
化装置。
【請求項４】前記Ｂスプライン表面近似手段に、Ｂス
プライン変換のための距離パラメータを算出するＢスプ
ラインパラメータ算出手段と、前記距離パラメータとＢ
スプラインの次数に基づく基本関数を計算する基本関数
計算手段と、Ｂスプライン変換によりコントロールポイ
ントを抽出するコントロールポイント抽出手段と、前記
抽出されたコントロールポイントを１バイトの範囲に正
規化する１バイト正規化手段とを備えたことを特徴とす
る請求項１記載の３段カスケード画像符号化装置。
【請求項５】前記Ｂスプラインパラメータ算出手段
に、平均行ベクトルおよび一つの列ベクトルを形成する
手段と、前記平均ベクトルの隣接する要素間の距離を計
算する手段と、前記平均ベクトルの各要素の第１の要素
からの距離を計算する手段と、前記平均ベクトルの距離
セグメントの総和により距離パラメータを正規化する手
段とを備えたことを特徴とする請求項４記載の３段カス
ケード画像符号化装置。
【請求項６】前記変換符号化手段に、１バイトの範囲
に正規化されたコントロールポイントをＤＣＴ係数に変
換符号化するＤＣＴ変換手段と、該ＤＣＴ係数を量子化
する手段と、該量子化されたＤＣＴ係数を可変長符号化
する手段とを備えたことを特徴とする請求項１記載の３
段カスケード画像符号化装置。
【請求項７】入力画像を順次可変サイズブロックに変
換する可変サイズブロックジェネレータと、前記ブロッ
クのサイズに応じて、ブロックの次元をより小さいサイ
ズのブロックに縮小するための非線形サブサンプリング
フィルタと、前記非線形サブサンプリングフィルタに前
記ブロックを接続する３つ１組のスイッチと、Ｂスプラ
イン変換のためのパラメータを生成する距離パラメータ
ジェネレータと、Ｂスプライン変換のための基本関数を
生成するための基本関数ジェネレータと、解析された前
記ブロックのコントロールポイントを抽出するためのＢ
スプラインアナライザと、該コントロールポイントの値
の範囲を制限する正規化器と、前記正規化されたコント
ロールポイントを周波数領域のＤＣＴ係数に変換するＤ
ＣＴ変換器と、前記ＤＣＴ係数をデジタル化する量子化
器と、ハフマン符号化原理に基づく可変長符号化器と、
２組の付属情報を符号化するパラメーター符号化器と、
パラメータのビットストリームとコントロールポイント
のビットストリームとを統合化ビットストリームに統合
するマルチプレクサとを備えたことを特徴とする３段カ
スケード画像符号化装置。
【請求項８】前記可変サイズブロックジェネレータ
が、８×８の最小サイズのデータブロックと、複数の中
規模のブロックと、入力画像より小さいかまたは同じ大
きさで、水平及び垂直方向に８の倍数の画素を有する最
大サイズのブロックとの複数組の異なるサイズのブロッ
クを生成することを特徴とする請求項７記載の３段カス
ケード画像符号化装置。
【請求項９】前記スイッチが前記ブロックのサイズの
しきい値により制御されることを特徴とする請求項７記
載の３段カスケード画像符号化装置。
【請求項１０】前記ブロックの次元をより小さいサイ
ズのブロックに縮小するための非線形サブサンプリング
フィルタが、ブロックデータをより低い次元の一組のコ
ントロールポイントに変換するキーポイント抽出手段に
より実現されることを特徴とする請求項７記載の３段カ
スケード画像符号化装置。
【請求項１１】前記正規化器が、コントロールポイン
トの値の範囲を、０から２５５までの１バイトに制限す
ることを特徴とする請求項７記載の３段カスケード画像
符号化装置。
【請求項１２】前記ＤＣＴ変換器が、３よりも大きく
８よりも小さいコントロールポイントのサイズと同じサ
イズを有することを特徴とする請求項７記載の３段カス
ケード画像符号化装置。
【請求項１３】前記可変長符号化器が、前記ＤＣＴ変
換係数の統計に従って設計されていることを特徴とする
請求項７記載の３段カスケード画像符号化装置。
【請求項１４】入力多重化ビットストリームからパラ
メータビットストリームおよびコントロールポイントビ
ットストリームに分離するデマルチプレクサと、前記ビ
ットストリームを量子化されたＤＣＴ係数に変換する可
変長復号器と、前記ＤＣＴ係数を逆量子化する逆量子化
器と、前記逆量子化されたＤＣＴ係数をＢスプライン表
面のコントロールポイントに逆変換するための逆ＤＣＴ
変換器と、元のコントロールポイントの値を復号するた
めの逆正規化器と、前記パラメータビットストリームを
２組の付属情報に逆変換するためのパラメータ復号器
と、前記復号されたパラメータが付いたコントロールポ
イントから３次元の表面を近似するＢスプライン表面近
似器と、前記パラメータビットストリームから復号され
たブロックサイズの情報に従って、非線形補間フィルタ
を接続する２つのスイッチと、原画像のサイズを復元す
るように、ブロックデータをより大きなサイズにアップ
サンプルする前記非線形補間フィルタと、一連のブロッ
クを完全に復号された画像に統合するブロックインテグ
レータとを備えたことを特徴とする３段カスケード画像
復号化装置。
【請求項１５】前記逆正規化器は、１バイトに正規
化されたコントロールポイントから、元のコントロール
ポイントの値を復号することを特徴とする請求項１４記
載の３段カスケード画像復号化装置。
【請求項１６】前記Ｂスプライン表面近似器が、前記
パラメータ復号器からのパラメータに従って基本関数を
再発生させる手段と、Ｂスプライン変換からブロックデ
ータを復号する手段とを備えたことを特徴とする請求項
１４記載の３段カスケード画像復号化装置。
【請求項１７】前記２つのスイッチがブロックサイズ
の８のしきい値により制御されることを特徴とする請求
項１４記載の３段カスケード画像復号化装置。