JP3480971B2 - 画像データの生成方法及び復元方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入出力デバイスに依存
せず、また復元画像にブロック歪が生じず、さらに優れ
たスケーラビリティを有し、しかも動画像への拡張が容
易な画像データの表現方法および復元方法に関する。

【０００２】

【技術背景】近年、ＬＳＩ技術の飛躍的な進歩、アクセ
スタイムの短い低価格の大容量記憶媒体の提供により、
大量のデータを高速に処理することが容易となり、これ
までは主としてアナログ信号として取り扱われていた画
像（動画などの映像情報を含む）が急速にディジタル化
されつつある。これに伴い、ディジタル画像をコンピュ
ータ上で、テキストデータやディジタルオーディオ信号
と有機的に融合して処理することが可能となり、いわゆ
るマルチメディア化も急速に進歩している。また、画像
のディジタル化によって、情報の加工，修正等が容易と
なり、映画，印刷，医療などの種々の分野でディジタル
画像が積極的に利用されるようになっている。

【０００３】このようなことから、画像データを各分野
で相互に利用するという、情報のマルチユース化が進
み、たとえばある分野で作成した画像データを他の分野
で再利用したり、各分野相互間でデータをやり取りする
といった画像情報のインタラクティブ化に向けた試みも
なされている。

【０００４】画像情報のインタラクティブ化を図るため
には、さまざまなメディアに共通したディジタル画像技
術の確立が不可欠である。たとえば、通常、ディジタル
画像が利用される各分野においては、要求される解像
度，階調，色数等がそれぞれ異なるため、たとえばフォ
ーマットの階層化によりスケーラビリティに自由度を持
たせたり、符号化アルゴリスムの共通化等に向けた、技
術の体系化および規格の統合化が必要となる。しかし、
現状では、ディジタル画像のフォーマットは入出力デバ
イス等に依存して行われており、これが上記の画像情報
のインタラクティブ化阻害の一要因となっている。

【０００５】さらに、ディジタル画像の利用を同一分野
に限定した場合でも、画像データのフォーマットが各種
のデバイスに強く依存した形式であると、これがデータ
利用の面で大きな障害となり得る場合もある。たとえ
ば、画像データの入力デバイスとしてカメラを用いる場
合、表示する画像の大きさ，解像度，階調，色数等（動
画についてはさらに時間解像度等）が該カメラの仕様等
により規定される。この画像を、上記カメラに対応しな
い規格のディスプレイで表示するためには、データフォ
ーマットの変換が必要となり、画像データの相互利用と
いう観点からはかなりの制限を受ける場合も多い。

【０００６】このため、たとえば、現在ディジタル画像
の符号化に広く用いられている技術である離散コサイン
変換（ＤＣＴ）は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏ
ｇｒａｐｈｉｃ （Ｃｏｄｉｎｇ） Ｅｘｐｅｒｔｓ
Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒ
ｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１などのカラー静
止画像および蓄積メディア用動画像の符号化の国際標準
として採用されている。このＤＣＴの最大の欠点は、原
画像を取り込む際の入力デバイスによりデータのスキャ
ンライン数が規定されてしまうことである。さらに、Ｄ
ＣＴは基本的には順次操作による処理であり、伝送およ
び表示のスケーラビリティが劣るため、復元画像の品質
がデバイスに大きく依存し、高品質の復元画像を得よう
とすると、処理が複雑となるといった不都合がある。ま
た、ＤＣＴ変換係数を求めるために原画像全体を複数の
ブロックに分割しているため、復元画像にブロック歪
（ブロック同士の境界間における画像の歪）が発生する
という問題をも含んでいる。

【０００７】入力デバイスおよび表示デバイスに依存し
ない形式で画像データの表現方法および復元方法を実現
するためには、従来行われてきたような、画像データを
ラスタ走査に基づいて処理あるいは蓄積する方法は適し
ていない。たとえば、ある特定のデバイスによって空間
解像度が固定されたラスタデータを、異なる空間解像度
あるいは異なるアスペクト比に変換する処理は非常に困
難である。

【０００８】

【発明の目的】本発明は上記のような問題を解決するた
めに提案されたものであって、入出力デバイスに依存せ
ず、復元画像にブロック歪が生じず、しかも優れたスケ
ーラビリティを有し、さらに動画像への拡張が容易な画
像データの表現方法および復元方法を提供することを目
的とする。

【０００９】

【発明の概要】本発明者等は、ベクトルデータによる画
像表現形式は、空間的スケーラビリティに優れ、かつ自
由度が高く、また画像中の対象物の幾何学的な構造情報
を明示的に扱うことができるので画像データの表現に好
適である、という事実に着目した。そして、上記の目的
を達成するために、二次元の画像（ｘ−ｙ平面上の画
像）を、ｚ軸方向に画像の特徴量（輝度，色差，音の高
さ，圧力等）を持つ空間における曲面とみなし、幾何学
的な三次元構造を平面画像の前記特徴量の表現に積極的
に取り込むことで、画像等の処理が容易になるとの知見
を得て本発明をなすに至った。

【００１０】すなわち、本発明の画像データの表現方法
は、二次元の画像空間内の各点に与えられる特徴量の分
布を、該点特徴量の値をｚ軸方向に持つ曲面に形成され
る等高線により表すことを特徴とする。ここで、「特徴
量」とは特に画像の輝度や色差を意味するが、広くは、
圧力，音の高さなどをも含む量である。

【００１１】また、本発明の画像データの復元方法は、
上記のように表された特徴量の、等高線間の領域、およ
びピーク部あるいは鞍部における等高線が与えられてい
ないときはこれらが存在する領域を特徴量補間（たとえ
ば、特徴量が輝度の場合には輝度補間することをいい、
特徴量が色差の場合には色差補間することを言う）し、
前記曲面を多面体（通常、三角形または四角形パッチに
より作られる）で再現することを特徴とする。

【００１２】さらに、本発明の画像データの復元方法
は、上記の方法により表された特徴量が輝度であり、か
つ該輝度が二つの値のみを持つ場合（具体的には、画素
の値が“１”または“０”である場合）において、等高
線により区切られた領域に前記二つの値を交互に与える
ことをも特徴とする。

【００１３】本発明において、「等高線」とは、二次元
画像（ｘ−ｙ平面上の画像）の特徴量の値をｚ軸方向に
取り、該画像をｘ−ｙ−ｚ空間における曲面とみなした
場合において、ｚ軸に垂直にスライスしたときの断面の
輪郭を言う。「等高線」は、特徴量が輝度である場合に
は「等輝度線」とも称呼され、特徴量が色差である場合
には「等色差線」とも称呼される。

【００１４】また、「特徴量補間」とは、原則的には隣
接する２本の等高線間の領域を特徴量で補間することを
言う。具体的には、等高線間の領域を多面体で近似し、
一方の等高線から他方の等高線に向けて、輝度や色差等
の特徴量が徐々に移り変わるように補間することを言
う。「特徴量補間」は、特徴量が輝度である場合には
「輝度補間」とも称呼され、特徴量が色差である場合に
は「色差補間」とも称呼される。

【００１５】なお、ピーク，鞍部が等高線（等高線には
ピーク点や鞍点も含まれる）の値により表されていない
場合には、推定される特徴量の値と等高線との間の領域
を該特徴量で補間することを言う。具体的には、ピーク
あるいは鞍部における領域をたとえば多面体で近似し、
これらの部分での輝度や色差等の特徴量が徐々に移り変
わるように補間することを言う。

【００１６】本発明では、画像の特徴量を、幾何学的な
三次元構造である等高線により表し、これを画像データ
の表現形式とするものであり、このようにして得られた
画像データは、蓄積，伝送等に応用される。

【００１７】本発明の画像データの表現方法および復元
方法は、画像の特徴量が輝度や色差である場合に特に好
ましく応用できる。よって、以下特徴量が輝度や色差の
場合を中心に説明する。本発明の画像データの表現方法
による画像の輝度や色差は、カメラやスキャナー等の入
力デバイスの空間解像度とは独立に扱うことができる。
また、復元処理もデバイスに依存せずに行うことが可能
となり、種々のディスプレイ，プリンタ等の出力デバイ
スに応じた解像度で画像を容易に復元することができ
る。

【００１８】また、画像処理用のソフトウェア（ペイン
ト系，ドロー系などのグラフィックアプリケーションソ
フトウェア）により画像を出力する際に本発明の表現方
法を用いることができるし、同じく上記ソフトウェアが
この方法により表現された画像を取り込む際に本発明の
復元方法を用いることができる。

【００１９】本発明では、（１）画像データの表現方法
が原画像の入力デバイスによって決定される空間解像度
に依存しないこと、（２）基本的にブロック毎の処理で
はないので復元画像にブロック歪が現れないこと、
（３）各種デバイスの空間解像度（座標）とは独立の座
標系で画像データを表現しあるいは復元するので、優れ
た（自由度の高い）スケーラビリティが得られること、
（４）動画像への拡張が容易であること、（５）画像処
理技術を積極的に応用した手法であり応用性に優れてい
ること等、種々の利点を有している。

【００２０】また、上記画像データの復元方法は、補間
処理が必要とすることから、解像度の大きさによっては
処理に時間がかかる場合もある。このため、リアルタイ
ム性のないアプリケーションやデータベース等の用途に
特に適している。もちろん、この復元方法は、高速の画
像処理用のプロセッサを使用する等により、上記補間処
理に要する時間を短縮できるので、リアルタイム性のあ
るアプリケーション等への実用的な応用も十分に可能で
あることは言うまでもない。

【００２１】なお、前述したように、従来のＤＣＴにお
いては、復元した画像のブロックの境界に歪が生じるこ
とがあったが、本発明の画像データの表現方法および復
元方法では、仮に画像に歪が生じたとしても、該歪は画
面全体に分散されるので、ＤＣＴと比較して復元画像が
自然である。

【００２２】また、上記ＤＣＴに代表される従来の手法
では、画像を単純に二次元のデータとみなし、主として
信号処理技術を用いて輝度や色差の符号化や復号化を行
っている。これに対し、本発明では、画像を単なる二次
元データとみなすのではなく、輝度や色差をｚ軸方向に
持つ三次元データとして捉えている。これにより、輝
度，色差の処理を幾何学的なベクトル処理に置き換える
ことができ、たとえば物体（オブジェクト）の回転や移
動等を簡易に行うことができる。

【００２３】さらに、ディジタル画像（動画を含む）の
データベースサービス等を考慮すると、情報源は共通で
あるがそれぞれのユーザによって、これらの画像を取り
込むアプリケーションソフトウェアやハードウェアが異
なっていたり、また出力デバイスが異なっているのが通
常である。このため、従来では、ある方式で表現された
画像は、特定のアプリケーションソフトウェアやハード
ウェアでは取り込むことが不可能であったり、また特定
の出力デバイスで出力させることが不可能となる場合も
あった。

【００２４】これに対し、本発明によれば、表現した画
像を各種のデバイスに応じた解像度で復元（再構成）で
きるので、たとえばデバイスが異なっていても、デバイ
スの解像度に応じた変換を行うことができる。また、ユ
ーザが必要とするレベルに応じた復元画像の画質を制御
できることも本発明の特筆するべき点であり、たとえば
画像のデータベースにおいて、検索時には低い解像度で
画像を復元し、所望する画像については高い解像度で復
元する等の応用が可能となる。

【００２５】なお、本発明の表現方法により表された画
像データは、他のベクトル表現による画像データ、ある
いはベクトル表現でない画像（ビットマップ表示）デー
タと混在させて処理することができる。また、一つの画
像中の局所部分にのみ本発明における画像データの表現
方法を採り入れることもできる。

【００２６】また、本発明の画像データの表現方法は、
画像の特徴量の分布を、次の（１）〜（Ｎ）の等高線お
よび各等差分線により表すことで（言い換えると、三次
元で表現した曲面を再帰的にスライスすることで）、大
まかな近似情報から細かい情報へと段階的に表現するこ
とができる。

【００２７】（１）：特徴量の値をｚ軸方向に持つ曲面
に形成される等高線。 （２）：（１）の等高線に基づいて復元した画像の特徴
量の分布と原画像の特徴量の分布との誤差の値をｚ軸方
向に持つ第１の誤差曲面に形成される等差分線。 （ｋ）（ｋ＝３，・・・，Ｎ）：（ｋ−１）の等差分線
に基づいて復元した誤差値と、（ｋ−１）に示す第（ｋ
−２）の誤差曲面が示す誤差値との誤差の値をｚ軸方向
に持つ第（ｋ−１）の誤差曲面に形成される等差分線。

【００２８】「等差分線」は、上記の誤差曲面をｚ軸に
垂直にスライスしたときの断面の輪郭を意味する。ここ
で、画像の特徴量が輝度や色差である場合には、等高線
は前述したように等輝度線や等色差線であり、また「等
差分線」は「等差分輝度線」または「等差分色差線」と
も称呼される。

【００２９】なお、この画像データの表現方法において
も、得られた等高線は、画像データとして蓄積，伝送等
に応用される。

【００３０】より具体的には、以下の（１）〜（Ｎ）の
プロセスにより画像データの表現がなされる。 （１）： 画像の特徴量の値をｚ軸方向に持つ曲面ｚ＝ｆ（ｘ，
ｙ）を求め、 前記曲面ｚ＝ｆ（ｘ，ｙ）を等高線により表し、 これらの等高線をもとに、前述の特徴量輝度補間によ
る画像データの復元方法により多面体ｚ＝ｇ（ｘ，ｙ）
を作る。

【００３１】（２）： 曲面ｚ＝ｆ（ｘ，ｙ）と多面体ｚ＝ｇ（ｘ，ｙ）との
ｚ軸成分の誤差を求めることで、該誤差の値の正，負に
応じた誤差曲面ｚ＝ｈ_１，１（ｘ，ｙ），ｚ＝ｈ_１，２
（ｘ，ｙ）を求め、 これらの誤差曲面ｚ＝ｈ_１，１（ｘ，ｙ），ｚ＝ｈ
_１，２（ｘ，ｙ）を等高線により表し、 この等高線をもとに、前記画像データの復元方法によ
り多面体ｚ＝ｉ_１，１（ｘ，ｙ），ｚ＝ｉ_１，２（ｘ，
ｙ）を作る。

【００３２】（ｋ）（ｋ＝３，・・・，Ｎ−１）： 誤差曲面ｚ＝ｈ_{ｋ−２，１}（ｘ，ｙ）と多面体ｚ＝ｉ
_{ｋ−２，１}（ｘ，ｙ）とのｚ軸成分の誤差、および誤差
曲面ｚ＝ｈ_{ｋ−２，２}（ｘ，ｙ）と多面体ｚ＝ｉ
_{ｋ−２，２}（ｘ，ｙ）とのｚ軸成分の誤差を求めること
で、該誤差の値の正，負に応じた誤差曲面ｚ＝ｈ
_{ｋ−１，１}（ｘ，ｙ），ｚ＝ｈ_{ｋ−１，２}（ｘ，ｙ）を
求め、 これらの誤差曲面ｚ＝ｈ_{ｋ−１，１}（ｘ，ｙ），ｚ＝
ｈ_{ｋ−１，２}（ｘ，ｙ）を等差分線により表し、 これらの等差分線をもとに、前記画像データの復元方
法により多面体ｚ＝ｉ_{ｋ−１，１}（ｘ，ｙ），ｚ＝ｉ
_{ｋ−１，２}（ｘ，ｙ）を作る。

【００３３】（Ｎ）： 誤差曲面ｚ＝ｈ_N-2,1（ｘ，ｙ）と多面体ｚ＝ｉ_N-2,1
（ｘ，ｙ）とのｚ軸成分の誤差、および誤差曲面ｚ＝ｈ
_N-2,2（ｘ，ｙ）と多面体ｚ＝ｉ_N-2,2（ｘ，ｙ）とのｚ
軸成分の誤差を求めることで、該誤差の値の正，負に応
じた誤差曲面ｚ＝ｈ_N-1,1（ｘ，ｙ），ｚ＝ｈ
_N-1,2（ｘ，ｙ）を求め、これらの誤差曲面ｚ＝ｈ
_N-1,1（ｘ，ｙ），ｚ＝ｈ _N-1,2（ｘ，ｙ）を等差分線に
より表す。

【００３４】この画像データは、上記（１）の等高線に
基づき復元した特徴量に、（２）〜（Ｎ）の等差分線に
基づき復元される誤差値を順次（ｊ）（２≦ｊ≦Ｎ）ま
で加算することで復元される。すなわち、この場合に
は、復元の程度を浅くする（たとえば、ｊ＝２とする）
こともできるし、深くする（たとえばｊ＝Ｎとする）こ
ともできるので、画像のデータベース等において、検索
の際には画像をラフに表現し、目的とする画像を特定し
たときは復元の程度を深くすることができる。

【００３５】

【実施例】

（１）画像データの表現方法における符号化処理：以
下、輝度の符号化について二値画像、濃淡画像およびカ
ラー画像の場合に分けて説明する。

【００３６】〔二値画像の符号化処理〕原画像Ｇをｘ−
ｙ平面上に定義し、各画素の輝度値をｚ軸方向にプロッ
トすると、二値画像データは、ｚ＝ｆ（ｘ，ｙ）で定義
することができる。この場合、ｚ＝ｆ（ｘ，ｙ）は三次
元空間において図１に示すような平面で表される。な
お、図１においては、輝度が大きくなる方向を、ｚ軸の
正方向にとっているが、逆に輝度が大きくなる方向を、
ｚ軸の負方向にとることもできる。

【００３７】二値画像の符号化は次のように行われる。
まず、原画像Ｇからエッジを検出する。すなわち、原画
像Ｇにエッジ追跡の処理を施しラスタデータ形式からベ
クトル形式への変換を行う。一般に、検出されたエッジ
は曲線であるが、これに適当な精度での多角形近似を施
す（同図の拡大図α参照）。こうして得られた多角形を
構成する各ベクトルの端点に関する情報を符号化し、原
画像Ｇの蓄積データあるいは伝送データとして用いる。

【００３８】なお、上記ラスタデータ形式からベクトク
ル形式への変換は、「Ａｎ Ｅｆｆｉｃｉｅｎｔ Ａｌ
ｇｏｒｉｓｍ ｆｏｒ ｔｈｅ Ｐｉｅｃｅｗｉｓｅ
Ｌｉｎｅａｒ Ａｐｐｒｏｘｉｍａｔｉｏｎ ｏｆ Ｐ
ｌａｎｅｒ ｃｕｒｖｅｓ」（Ｃ．Ｍ．Ｗｉｌｌｉａｍ
ｓ 著 ＣＧＩＰ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ
ｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）１９
７８，Ｖｏｌ．８）、「多次元データ構造を用いた図面
処理−図形のベクトル化」（大沢・坂内，電子通信学会
論文誌 Ｖｏｌ．Ｊ・８６−Ｄ．Ｎｏ．４（１９８
５））等の文献に記載されており、周知手法であるため
説明は省略する。

【００３９】なお、図１では検出されたエッジが原画像
Ｇの表示領域中で閉じている場合について説明したが、
該表示領域の縁端においてエッジが終了し、該エッジが
開いているかのごとく見える場合もある。この場合には
前記表示領域の縁端をエッジの一部と考えれば、エッジ
が閉じたものとして扱うことができる。

【００４０】原画像のエッジを多角形で近似するとき、
どの程度の精度にするかによって符号化効率および復号
画像の画質などが決定される。すなわち、どの程度近似
するかが符号化効率（表現効率）の選択パラメータの１
つとなる。

【００４１】〔濃淡画像の符号化処理〕二値画像と同様
に濃淡画像データを、ｚ＝ｆ（ｘ，ｙ）で定義すると、
原画像Ｇはｚが非負（０または正）の単一の値を持つ凹
凸面を有する曲面関数で表現される。図２にこの場合の
曲面ｚ＝ｆ（ｘ，ｙ）を例示する。

【００４２】（ａ）等輝度線の作成には、適当な間隔で
選択されたｚ方向に垂直なｓ個のレベル面を三次元空間
に想定する。いま、ｓ個のスライスレベルｚ_０，ｚ_１，
・・・，ｚ_ｓ−１でそれぞれスライスしたときの断面を
Ｐ_ｚ０，Ｐ_ｚ１，・・・，Ｐ_ｚｓ−１とすると、これら
の間には、次の関係がある。

【００４３】

【数１】Ｐ_ｚ０⊇Ｐ_ｚ１⊇・・・⊇Ｐ_ｚｓ−１

【００４４】図３にｓ＝４としてｚ＝ｆ（ｘ，ｙ）をス
ライスした様子を、図４にこのときのＰ_ｚ０，Ｐ_ｚ１，
Ｐ_ｚ２を示す。なお、Ｐ_ｚ３は、ｚ＝ｆ（ｘ，ｙ）と交
差していないので図４には表れていない。このようにし
て得られたそれぞれのレベルにおける断面の輪郭（すな
わち、等輝度線）を二値画像と同様の手法で多角形近似
してベクトル符号化する。ここで、それぞれの等輝度線
のスライスレベル（すなわち、輝度）の値も同時に符号
化する。

【００４５】（ｂ）三次元表示された濃淡画像データ
を、あるレベルｚ_ｕでスライスしたとき、図５に示すよ
うにｚ_ｕには等輝度線が生じるが、ｚ_ｕ＋１には等輝度
線が生じないような正の整数ｕが存在する。このときに
は、同図に示すように、ｚ_ｕとｚ_ｕ＋１の間を更にｖ個
（同図では５個）のレベルでスライスし、等輝度線が生
じているか否かを調べることによりピークの位置をより
正確に知ることができる。これらのレベルを、ｚ_ｕ，ｋ
（ｋ＝０，１，・・・，ｖ−１）で表すとすると、ピー
クは、初めて等輝度線が存在しなくなったｚ_{ｕ，ｉ＋１}
と、その直前のｚ_{ｕ ，ｉ}との間に存在することがわかる
（ただし、０≦ｉ≦ｖ−１）。このときのピークを、ｚ
_ｕ，ｉの等輝度線を多角形近似したデータと、ｚ_ｕ，ｉ
とｚ_ｕとの差分（ｚ_ｕ，ｉ−ｚ_ｕ）で記述する。

【００４６】（ｃ）スライスレベルｚ_ｕとｚ_ｕ＋１にお
いて、図６（ａ）に示すような分岐が生じた時は、同図
（ｂ）に示したようにピークの検出と同様の手法により
分岐の鞍部（サドル）Ｓを検出する。すなわち、ｚ_ｕと
ｚ_ｕ＋１との間を更にｗ個のレベルでスライスし、分岐
の有無を調べることにより鞍部Ｓの位置をより正確に知
ることができる。これらのレベルを、ｚ_ｕ，ｋ（ｋ＝
０，１，・・・，ｗ−１）で表すとすると、鞍部Ｓは初
めて分岐が生じたｚ_{ｕ，ｉ＋１}と、その直前のｚ_ｕ，ｉ
との間に存在することがわかる（ただし、０≦ｉ≦ｖ−
１）。

【００４７】このとき、ｚ_{ｕ，ｉ＋１}における等輝度線
を多角形近似したデータと、ｚ_{ｕ，ｉ＋１}とｚ_ｕとの差
分（ｚ_{ｕ，ｉ＋１}−ｚ_ｕ）で鞍部を記述する。以上述べ
た（ａ）〜（ｃ）の操作により、元の濃淡画像が近似表
現できる。

【００４８】〔カラー画像の符号化処理〕カラー画像の
撮像デバイスの基本となる色成分は、ＲＧＢであるが、
人間の視覚系では輝度と色彩に対する感度が非常に異な
るという特性を持つ。これを考慮すると、カラー画像の
符号化を行うときには輝度情報と色情報（色差情報）と
を分けて処理した方が効率的であるし、またモノクロプ
リンタにより画像を出力する場合等を考慮すると、輝度
情報と色差情報とを分けた方が、輝度情報のみを取り出
すことができるので効率的である。

【００４９】カラー情報を表現するときの色空間とし
て、カラー信号を輝度信号と２つの色差信号に分解した
ものが有効とされ、実際に種々の色空間が提案されてい
る。代表的なものとして、ＹＣｂＣｒ、（Ｙ，Ｂ−Ｙ，
Ｒ−Ｙ）、ＹＰｂＰｒ、ＹＵＶ、ＹＩＱなどがある。本
発明ではこれらの何れをも採用することができるが、通
常ＣＣＩＲ勧告６０１に準拠するコンポーネント信号に
用いられる色空間ＹＣｂＣｒが採用される。

【００５０】上述したように、人間の視覚系は輝度信号
（Ｙ）に対して高い感度を示すため、上で述べた濃淡画
像と同様のアルゴリズムで符号化する。一方、色差信号
（Ｃｂ，Ｃｒ）に対する感度は比較的悪い特性を示すの
で、これらの信号は輝度信号（Ｙ）と同等の精度で符号
化する必要はなく、通常は輝度信号よりも粗い精度で符
号化される。

【００５１】以下、図７〜図１０により輝度についての
符号化処理をより具体的に説明する。図７は、輝度につ
いての符号化処理の全体の流れを示す図であり、この処
理は、（Ｉ）前処理、（ＩＩ）最低レベル処理、（ＩＩ
Ｉ）中間レベル処理、（ＩＶ）最高レベル処理からな
る。

【００５２】（Ｉ）の前処理では、処理対象となる画像
が２値画像画像、濃淡画像またはカラー画像の何れであ
るかが指定されると共に、スライスレベル間隔も指定さ
れる。また、スライス間隔より小さいレベルでの輝度の
変化が調べられ、等輝度線のできる最も低い輝度レベル
（最低レベル）が調べられる。図１１に示すように、デ
ータの始まりを示すフラグ、画像に関する種々のデータ
（上記の画像の種類や色空間の指定等）から成るビット
ストリームを作成した後、（ＩＩ）の最低レベル処理に
移行する。

【００５３】（ＩＩ）の最低レベル処理では、図８に示
すように、最低レベル（すなわち輝度０からスライスを
開始し最初に等輝度線ができる輝度レベル）における等
輝度線を作成し（Ｓ１０１）、ビットストリームにレベ
ル番号を追加する（Ｓ１０２，図１１参照））。

【００５４】次いで、等輝度線の多角形近似（Ｓ１０
３）を行い、これらの多角形の形状等を表すベクトルを
コード化し（Ｓ１０４）、これらのデータをビットスト
リームに追加（Ｓ１０５，図１１参照）した後に、（Ｉ
ＩＩ）の中間レベルの処理へ移行する。なお、Ｓ１０３
〜Ｓ１０５の処理は最低レベルにおけるすべての等輝度
線に対して行う。

【００５５】（ＩＩＩ）の中間レベル処理では、図９に
示すように、次のレベルのスライス処理を行い（Ｓ２０
１）、このスライス処理により等輝度線が存在するか否
かが判断される（Ｓ２０２）。ここで、等輝度線が存在
しないときは（ＩＶ）の最高レベル処理に移るが、存在
するときはビットストリームにレベル番号を追加し（Ｓ
２０３，図１１参照）、以下の処理に移る。

【００５６】すなわち、ピークが存在するか否かが判断
され（Ｓ２０４）、ピークが存在するときはピークのレ
ベルを求めビットストリームに追加する（Ｓ２０５）。
そして、ピークの形状を多角形近似し、ベクトルコード
化し（Ｓ２０６）、これらのデータをビットストリーム
に追加し（Ｓ２０７，図１１参照）、この領域について
の処理は終了する。

【００５７】Ｓ２０４において、ピークが存在しないと
きは、多角形近似を行い（Ｓ２０８）、次いで鞍部が存
在するか否かが判断される（Ｓ２０９）。ここで、鞍部
が存在するときは、ビットストリームに「鞍部あり」の
フラグをセットし（Ｓ２１０，図１１）、場合によって
は後述するように多角形の形状，等輝度線の輝度情報等
を表すベクトルをコード化する。 Ｓ２０９において、
鞍部が存在するときは、Ｓ２１０を経ることなくＳ２１
１に処理が移る。Ｓ２１１においてベクトルコード化が
なされ、これらのコードをビットストリームに追加する
（Ｓ２１２，図１１参照）。この後、処理は前述したＳ
２０１に戻される。なお、Ｓ２０４以降の処理は等輝度
線に対して行う。

【００５８】（ＩＶ）の最高レベル処理では、図１０に
示すように、最も高いピークの処理を行う。すなわち、
ピークのレベルを求め（Ｓ３０１）、ピークの形状を求
め（Ｓ３０２）、ビットストリームにピークのレベル番
号と形状のベクトルコードを追加し（Ｓ３０３，図１１
参照）、データの終わりを示すフラグをビットストリー
ムに追加し（Ｓ３０４，図１１参照）処理を終了する。

【００５９】（２）本発明の画像データの復元方法にお
ける復号化処理：画像データの復号化は、以下の手順で
行われる。

【００６０】（Ｉ）伝送された画像データからベクトル
図形（等輝度線を多角形で近似表現したもの）を復元す
る。

【００６１】（ＩＩ）各レベルの復元された等輝度線の
間を補間処理して各画素の輝度値を求める。すなわち、
後述するように、ピークと鞍部を復元しながら三角形や
四角形のパッチ（本実施例では三角形パッチ）で表面を
覆って各輝度を計算する。

【００６２】なお、各レベル間の補間処理はそれぞれの
等輝度線の形状に強く依存するが、等輝度線の形状を、
次表に示すように、いくつかのパターンに場合分けして
おき、これらのパターンのみを処理することで復号化を
行うことができる。

【００６３】

【表１】

【００６４】〔凸図形だけの場合〕はじめに、あるレベ
ルの等輝度線により作られる図形および次のレベルの等
輝度線により作られる多角形が共に凸図形で、かつ分岐
がない場合についての補間処理について以下に述べる。
なお、図１２（ａ）〜（ｃ）に示すように、低レベルの
等輝度線をＰとし、高レベルの等輝度線をＱとする。

【００６５】第１ステップ：図１２（ａ）に示すよう
に、Ｐのそれぞれのベクトル端点から最も近いＱのベク
トル端点を直線で結ぶ。これらは、図中では破線で示し
てある。 第２ステップ：図１２（ｂ）に示すように、第１ステッ
プで残されたＱの端点（同図ではｑ_０）から、最も近い
Ｐのベクトルの端点を直線で結ぶ。これらは図中では破
線（ｑ_０，ｐ_０））で示してある。 第３ステップ：こうして得られた図形が三角形となれば
そのまま次の処理に移る。 第４ステップ：図１２（ｃ）に示すように、上記図形が
四角形となった場合は、２つの対角線のうち短い方を選
んでベクトル端点同士を結び、２つの三角形パッチに分
割する。これらは図中点線で示してある。

【００６６】以上の操作により、等輝度線ＰとＱとの間
が三角形のパッチで埋め尽くされる。なお、本実施例で
は、第２，第３ステップで得られた図形が四角形のとき
は、第４ステップにおいて、三角形パッチに分割した
が、四角形パッチのままとして処理することもできる。

【００６７】〔少なくとも一方の等輝度線により作られ
る多角形が凹図形である場合〕あるレベルの等輝度線に
より作られる多角形、次のレベルの等輝度線により作ら
れる多角形のうち少なくとも一方が凹図形である場合
は、どちらのレベルの図形が凹図形であるか、また凹部
がどのような形状であるか、双方が凹図形である場合に
各凹部同士がどのような位置関係にあるかにより処理が
異なる。基本的な処理としては、凹図形から凹部分を切
り離してこれを凸図形として扱う。

【００６８】（ａ）高レベルの等輝度線により作られる
多角形が凹図形であるとき：はじめに、凹部分を仮想ベ
クトルにより切り離したとき、図１３に示すように凹部
分を構成するベクトルｒ_１〜ｒ_３と仮想ベクトルＩから
なる四角形Ｒが凸とみなせる場合の処理について述べ
る。

【００６９】第１ステップ：仮想ベクトルＩにより切り
離された四角形Ｒの重心Ｇを求める。 第２ステップ：重心Ｇのレベルを、たとえば２つの等輝
度線ＰとＱとの中間レベルとみなし、四角形Ｒの各頂点
と重心Ｇとを結んで三角化処理を行う。 第３ステップ：重心に最も近い低レベルの等輝度線Ｐの
頂点（同図では、ｐ_１で示す）を求め、この頂点と重心
Ｇおよび切り離し処理を行った仮想ベクトルＩの両端を
結び三角化処理を行う。 第４ステップ：残りのベクトル端点については、仮想ベ
クトルＩを高レベルの等輝度線Ｑの１つのベクトルとみ
なし、〔凸図形だけの場合〕と同様の処理手順で三角化
処理を行う。

【００７０】なお、上述の例では、重心Ｇを求めること
により三角化処理を行ったが、重心に代えて他の点（中
点等）を用いることもでき、また重心Ｇのレベルを定め
る方法として、第２ステップで述べた方法以外にも、
Ｐ，Ｑから重心Ｇまでのそれぞれの距離の比に応じて定
めるなど、種々の方法を採用することができることは言
うまでもない。

【００７１】一方、図１４に示したように、仮想ベクト
ルにより切り離された部分が凹図形となる場合の処理は
次のように行う。

【００７２】第１ステップ：切り離された図形をさらに
いくつかの凸図形（同図ではＲ_１，Ｒ_２）に分離し、そ
れぞれの凸図形の重心を求めて重心同士をつなぐ（図１
４の例ではＧ_１とＧ_２をつなぐ）。 第２ステップ：重心同士を結んだ線を２つの等輝度線Ｐ
とＱの中間レベルとみなし、凹図形として切り離された
部分を構成するベクトルｒ_１′〜ｒ_４′と仮想ベクトル
Ｉ_１，Ｉ_２からなる図形との間で三角化処理を行う。 第３ステップ：凹図形の入口に近い重心Ｇ_２と、これに
最も近い低レベルの等輝度線Ｐの頂点（同図ではｐ_１で
示す）を結ぶ。さらに、この頂点と切り離し処理を行っ
た仮想ベクトルＩ_１の端点を結び、三角化処理を施す。 第４ステップ：残りの各ベクトル端点については、仮想
ベクトルＩ_１を等輝度線Ｑの１つのベクトルとみなし、
〔凸図形だけの場合〕と同様の処理手続で三角化処理を
行う。

【００７３】以上の処理により、低レベルの等輝度線Ｐ
と高レベルの等輝度線Ｑの差の部分が三角形パッチで覆
い尽くされる。

【００７４】（ｂ）低レベルの等輝度線により作られる
多角形が凹図形であるとき：図１５に示したように、低
レベルの等輝度線Ｐにより作られる多角形が凹図形であ
るときは次のように処理する。仮想ベクトルＩ′により
切り離した凹図形の、該仮想ベクトルＩ′から最も遠い
頂点（図１５の例では頂点Ｆ）を求め、この頂点と最も
近い等輝度線Ｑのベクトルの端点（同図ではｑ_１で示
す）をつなぐ。凹部の他の頂点については、高レベルの
等輝度線Ｑのうち最も近いベクトル端点とを結んで三角
化処理を行う。残りの各ベクトル端点については、仮想
ベクトルＩ′を等輝度線Ｑの１つのベクトルとみなし、
〔凸図形だけの場合〕と同様の処理手続で三角化処理を
行う。このようにして、低レベルの等輝度線Ｐと高レベ
ルの等輝度線Ｑとの間がが三角形パッチで覆い尽くされ
る。

【００７５】（ｃ）双方のレベルの等輝度線により作ら
れる多角形が凹図形であるとき： （ｉ）原則；図１６（ａ）に示すように双方のレベルの
等輝度線により作られる多角形が共に凹図形である場合
には、仮想ベクトルＩ，Ｉ′により双方のレベルの凹部
をすべて切り離して前記多角形を凸図形とみなして処理
する。そして、仮想ベクトルＩ，Ｉ′の両端点をそれぞ
れ交わらないように結ぶ。それ以外の端点については、
〔凸図形だけの場合〕と同様の処理を行う。ただし、こ
の時点では三角形となっていない部分（すなわち、四角
形）の三角化処理は行わない。高レベルの等輝度線によ
り作られる多角形の凹部の重心Ｇを求めた後、この重心
Ｇのレベルを等輝度線ＰとＱとの中間であるとみなし、
該凹部の各頂点と重心Ｇをつないで三角化処理を行う。
低レベルの等輝度線により作られる多角形の凹部につい
ては、仮想ベクトルＩ′から最も遠い頂点Ｆと、高レベ
ルの仮想ベクトルＩとの両端点ｑ_１，ｑ_２および重心Ｇ
とを結ぶ。こようにして、前述の四角形部分の三角化処
理により、低レベルの等輝度線Ｐと高レベルの等輝度線
との間が三角形パッチで覆いつくされる。

【００７６】（ｉｉ）例外；図１６（ｂ）に示すよう
に、高レベルの等輝度線により作られる多角形の凹部の
重心Ｇが、低レベルの等輝度線により作られる多角形の
凹部の外側に位置する場合、 前記頂点Ｆと上記ｑ_１，
ｑ_２とを結ぶベクトル、あるいは、前記頂点Ｆと上記重
心Ｇとを結ぶベクトルが等輝度線と交差する場合など、
（ｉｉ）の原則によることができないときには、前記重
心Ｇを求める処理はせずに、上記（ａ）あるいは（ｂ）
の処理を行う。

【００７７】〔分岐が生じる場合〕あるレベルから次の
レベルに進む過程において分岐が生じる場合、分岐の鞍
部に対する処理が必要となる。鞍部の復元アルゴリズム
としては、符号化データに鞍部の情報が含まれるか否か
に応じて種々の方法があるが、ここでは代表的なものと
して次の２つの方法を例示する。

【００７８】（ａ）符号化された鞍部の形状を用いる方
法：符号化処理過程において検出された鞍部の形状に関
する情報を用いて復元する場合のアルゴリズムを示す。
このとき、図１７に示すように各レベルの等輝度線と多
角形近似された鞍部の形状とが用いられ、これらの間を
三角形パッチで覆いつくす。なお、以下、等輝度線Ｐ，
Ｑ_１，Ｑ_２、輝度鞍点を近似する多角形Ｓ_０の頂点同士
を結ぶに際しては、Ｑ_１，Ｑ_２、Ｓ_０との交差が生じな
いような操作を行わなければならない。

【００７９】第１ステップ：鞍部を近似する多角形（同
図ではＳ_０）の各頂点に最も近い高レベルの等輝度線Ｑ
_１，Ｑ_２でのベクトルを見つけ、それぞれの頂点とベク
トル端点を結ぶ。 第２ステップ：鞍部を近似する多角形Ｓ_０の各頂点と、
これらに最も近い低レベルの等輝度線Ｐの頂点とをつな
ぐ。 第３ステップ：低レベルの等輝度線の各頂点から最も近
い高レベルの等輝度線の点をそれぞれ結ぶ。 第４ステップ：第３ステップで処理されなかった高レベ
ルの等輝度線の頂点と最も近い低レベルの等輝度線の頂
点とをつなぐ。 第５ステップ：上記のようにして作られる図形が三角形
とならないとき（四角形となったとき）は、対角線のう
ち短い方を結んで三角化処理を行う。なお、該図形が三
角形とならない場合には、〔凸図形だけの場合〕で述べ
たと同様、四角形パッチのままとして処理することもで
きる。

【００８０】（ｂ）輝度鞍点を推定する方法：鞍部の情
報が符号化データに含まれない場合、既に復元された上
位レベルの等輝度線の形状から鞍部の代表点を推定し、
この点と２つのレベルの間を三角形パッチで覆いつく
す。輝度鞍点の推定方法を図１８に示す。分岐した、等
輝度線により構成される多角形の重心Ｇ_１とＧ_２とをつ
ないだときに交差する２つのベクトルの両端点ｑ_１，ｑ
_４、ｑ_２，ｑ_３をそれぞれ仮想ベクトルＩ_１，Ｉ_２で結
び、その四角形の重心を鞍部の代表点（輝度鞍点Ｓ）と
みなす。鞍点Ｓのレベルは等輝度線ＰおよびＱの中間レ
ベルとする。推定された鞍点Ｓに基づいて図１９に示す
ように以下の手順で分岐の鞍部を復元する。

【００８１】第１ステップ：鞍点Ｓと推定に用いた仮想
ベクトルＩ_１，Ｉ_２の両端点をつなぐ。 第２ステップ：鞍点Ｓとこれに最も近い低レベルの等輝
度線Ｐの頂点ｐ_１をつなぐ。 第３ステップ：第２ステップで選ばれた低レベルの頂点
と、鞍点の推定に用いた仮想ベクトルＩ_１の端点ｑ_１，
ｑ_２を結ぶ。 第４ステップ：低レベルの各頂点から最も近い高レベル
の頂点とをそれぞれ結ぶ。 第５ステップ：第３ステップで処理されなかった高レベ
ルの頂点と最も近い低レベルの頂点とをつなぐ。 第６ステップ：上記のようにして作られる図形が三角形
とならないとき（四角形となったとき）は、対角線のう
ち短い方を結んで三角化処理を行う。

【００８２】〔ピークの処理〕ピークについては、図２
０に示すように、〔凸図形だけの場合〕または〔少なく
とも一方の等輝度線により作られる多角形が凹図形であ
る場合〕と同様の操作で三角化処理を行う。以上の処理
で、画像の三次元形状が復元できた後、各画素毎にそれ
ぞれの輝度値を計算すると画像データの復元が可能とな
る。

【００８３】（３）スライスレベルの選択：原画像から
等輝度線を作成するときの、スライスレベルの選択方法
について述べる。対象とする画像のタイプおよび利用分
野で要求される画質等の要因に応じて種々の方法が採用
されるが、ここでは代表的なものとして次の２つの方法
を例示する。

【００８４】〔方法１〕画像のヒストグラムをつくり、
出現頻度の大きい輝度レベルから順にスライスレベルと
して選択する。この方法では、個々の画像に応じたスラ
イスレベルの選択が可能となり、比較的高画質が要求さ
れる静止画の表現方法に適したスライスレベルの選択方
法であると考えられる。

【００８５】〔方法２〕視覚系の感度特性を考慮して、
輝度の低い領域では間隔が粗くなるように画像によらず
スライスレベル数およびレベル値を決めておく。この方
法で選択されたスライスレベルは、個々の画像に依存し
ていないため、〔方法１〕に比べて画質が悪くなると予
想される。逆に、画像によらずスライスレベルが決まっ
ているため、動画像の符号化などには適していると考え
られる。すなわち、動画像への応用では、動きに対する
視覚特性を考慮すると、静止画像ほどの高画質は要求さ
れないこともこの方法の有利な点であるし、また物体の
対応点の探索が容易であるといった利点も有している。
ただし、動画像の符号化アルゴリズムの詳細については
後述する。

【００８６】（４）符号化パラメータの選択：（１）で
述べたように、本発明における符号化には以下に示すよ
うな各種の符号化パラメータがあり、これらを適切に調
整することによって符号化の性能を制御することが可能
である。

【００８７】ｓ：原画像から等輝度線を作るときのスラ
イスレベル数。 ｖ：ピークおよび鞍部を検出するために等輝度線のレベ
ル間をさらにスライスするときのレベル数。 等輝度線の近似：スライスして得られた等輝度線をどの
程度まで近似するかを決めるパラーメータ。 ピークおよび鞍部の形状：ピークおよび鞍部の形状は画
像のテクスチャの復元に関するもので、これらの形状を
どの程度まで近似するかを決めるパラメータ。 ピークおよび鞍部のレベル：ピークおよび鞍部のレベル
を実際の値にするか、あるいはスライスレベルに近いと
きはどちらのレベルと同一レベルであるとみなすかを切
り換えるパラメータ。

【００８８】以下、図２１により輝度についての復号化
処理をより具体的に説明する。同図において、図１１に
示したビットストリームのレベル番号を参照し、最低レ
ベル（たとえば、レベル１とする）における等輝度線の
ベクトルコードの復元（Ｓ４０１）を行う。また、次の
レベル（たとえば、レベル２とする）における等輝度線
の復元を行う（Ｓ４０２）。

【００８９】ここで鞍部があるか否かが判断される（Ｓ
４０３）。なお、ビットストリームに書かれている鞍部
に関するデータが、形状を示すデータであるか否かによ
り処理は異なる。本例では、鞍部についてのデータは形
状を示すデータが含まれないものとして説明を続ける。
鞍部があるときは鞍点の推定が行われ（Ｓ４０４）、
さらに、鞍点付近の三角形パッチによる再構成が行われ
る（Ｓ４０５）。この後、復元された等輝度線が作る図
形の形状に応じた補間処理による再構成が行われる（Ｓ
４０６）。鞍部がないときには、直ちにＳ４０６に処理
が移される。また、Ｓ４０３〜Ｓ４０６までの処理は、
各等輝度線に対して行われる。この後、最高レベルに達
したか否かが判断され（Ｓ４０７）、未だ最高レベルで
ないときには処理はＳ４０２に戻される。一方、最高レ
ベルに達したときは、これらの復元されたデータは必要
な解像度の画像データとして保存され（Ｓ４０８）、復
元処理は終了する。

【００９０】（５）動画像への応用：以上、静止画像を
対象とした場合について説明したが、本発明は動画像へ
も容易に適用することができる。すなわち、動画像デー
タを入出力デバイスに依存しない形式（解像度等の制限
を受けない形式）で効率的に表現することが可能とな
る。

【００９１】〔動き情報の符号化〕基本的な考え方とし
ては、動画像での物体の動きを、すべての等輝度線によ
り作られる多角形が時間の経過にしたがってどのように
移動したかで捉え、これらの情報をベクトル形式で表現
するものである。ここでは、移動に関する情報を物体の
平行移動、回転移動で表現する。

【００９２】この処理は、フレームをある一定の時間間
隔でまとめた画像系列を単位として行うが、これは移動
情報に関する誤差の蓄積を避けること、逆再生を実現す
ることなどを目的としている。また、動画像の場合はシ
ーンチェンジが起こるが、このときも新しい画像系列と
して処理を行う。

【００９３】まず、画像系列の先頭フレームは静止画像
と同様の処理を行い、等輝度線に関する初期状態の情報
として符号化する。次に、図２２に示したように、連続
する２つのフレームから対応する等輝度線を探索し、該
等輝度線により作られる多角形の重心Ｇを求め、その移
動量から等輝度線により作られる多角形の平行移動に関
する動きベクトルＶｍを算出する。等輝度線の探索にお
いては、『連続するフレームの時間間隔は小さいので、
物体の動きおよび変形は十分小さい』との仮定に基づ
き、前記多角形の面積や重心間の距離などの幾何学的な
条件を用いる。

【００９４】さらに、等輝度線により作られる多角形の
回転移動に関する情報を抽出する。つまり、図２３のよ
うに２つの連続するフレームで対応する等輝度線により
作られる多角形の重心Ｇを重ね合わせ、重心Ｇを中心と
して回転させたときに２つの重なる面積が最大となる角
度を回転角度とすることができる。

【００９５】こうして算出された前記多角形の平行移動
と回転移動を物体の動き情報とみなし、符号化する。ま
た、上記多角形を探索した結果、候補が見つからなかっ
たときは、シーンチェンジが起こったとして、それ以降
のフレームを新しい画像系列とみなして再び画像全体の
符号化から始める。

【００９６】動画像の符号化では、フレーム間での対応
を探索する必要がある。このとき、もし画像のヒストグ
ラムからスライスレベルを選択すると、各フレーム毎に
スライスレベルが変化することになり、対応探索の処理
に一貫性がなくなってしまう。したがって、スライスレ
ベルの選択に関しては前記（３）の〔方法２〕で述べた
ように、事前にスライスレベルを決める方法が妥当であ
る。

【００９７】〔逆再生アルゴリズム〕本手法を動画像へ
応用したときの特徴的な機能の一つとして、ビデオの逆
再生が可能である点が挙げられる。これは符号化におい
て導入した画像系列の再生順序を変更することにより実
現できる。図２４に逆再生アルゴリズムの概念を示す。

【００９８】同図に示すように、順方向（Ｆｏｒｗａｒ
ｄ）の再生では、画像系列の初期状態と動きに関する
（平行移動と回転移動）情報から動画像系列を復号化す
る。一方、逆方向（Ｒｅｖｅｒｓｅ）の再生では、図２
４に示したように画像系列の構成を変更する。すなわ
ち、ある画像系列の初期状態と、１つ前の画像系列の動
きに関する情報から新しく逆再生のための系列を生成す
る。なお、図２４において、平行移動操作を示すベクト
ルおよび回転移動操作における回転方向を、順方向につ
いては黒塗りの矢印で、逆方向については白抜き矢印で
示す。上述した方法はシーンチェンジが起こらないとき
であるが、もしシーンチェンが発生した場合はそのフレ
ームの処理をスキップして滑らかな動きまで戻り、再生
を開始する。

【００９９】以下、図２５，図２６により輝度について
の動画の符号化処理および復号化処理をより具体的に説
明する。符号化処理においては、図２５に示すように、
まずグループの第１フレームに静止画像と同様の処理を
施して、図２７に例示するようなビットストリームを生
成し（Ｓ５０１）、次のフレームの各輝度レベルにおけ
る等輝度線の作成を行う（Ｓ５０２）。なお、図２７で
は動き情報はグループ１〜ｎにより構成され、各グルー
プは第１フレーム（ＩＮＩＴ＿ＦＲＡＭＥ）、およびこ
れに続く第２，第３・・・のフレームからなる。

【０１００】次いで、シーンチェンジの有無判断を行い
（Ｓ５０３）、シーンチェンジがあるときには、「シー
ンチェンジあり」のフラグをビットストリームに追加し
（Ｓ５０４）、処理をＳ５０１に戻す。シーンチェンジ
がないときには、各レベルにおける等輝度線により作ら
れる多角形の動き情報を算出し（Ｓ５０５）、動き情報
をビットストリームに追加する（Ｓ５０６，図２７参
照）。

【０１０１】この後、現在処理の対象となっているフレ
ームがグループの最終フレームであるか否かが判断され
（Ｓ５０７）、グループの最終フレームでないときには
処理はＳ５０２に戻され、グループの最終フレームであ
るときには、グループの終わりを示すフラグを追加する
（Ｓ５０８，図２７参照）。そして、次のグループが存
在するか否かが判断され（Ｓ５０９）、次のグループが
存在するときには、グループの始まりのフラグをビット
ストリームに追加し（Ｓ５１０，図２７参照）、処理を
Ｓ５０１に戻す。また、次のグループが存在しないとき
には、処理を終了する。

【０１０２】復号化処理においては、図２６に示すよう
に、まず動画像データの始まりを検出し（Ｓ６０１）、
静止画像の復元処理アルゴリズムを用いてグループの第
１フレームを復元する（Ｓ６０２）。そして、シーンチ
ェンジフラグがあるか否かを判断し（Ｓ６０３）、該フ
ラグがあるときには処理をＳ６０２に戻し、シーンチェ
ンジフラグがないときには動き情報に基づき等輝度線に
より作られる多角形を移動させる（Ｓ６０４）。この
後、現在処理の対象となっているフレームがグループの
最終フレームであるか否かを判断し（Ｓ６０５）、該フ
レームがグループの最終フレームでないときには処理を
Ｓ６０４に戻し、最終フレームであるときには、次のグ
ループが存在する否かを判断する（Ｓ６０６）。そし
て、次のグループが存在するときには処理をＳ６０２に
戻し、次のグループが存在しないときには処理を終了す
る。

【０１０３】次に、輝度曲面を再帰的にスライスする実
施例（プロセス（１）〜（Ｎ）から構成される）につい
て説明する。 （１）図２８に示すように、原画像の輝度の分布を三
次元の曲面ｚ＝ｆ（ｘ，ｙ）で表し、これを大まかな
間隔でスライスし等輝度線を作る（同図ではスライスレ
ベルをＺ_０〜Ｚ_３の４つのレベルで示す）。そして、
これらの等輝度線をもとに、既に述べた復元方法により
多面体ｚ＝ｇ（ｘ，ｙ）を作る（同図において点線で示
す）。

【０１０４】（２）曲面ｚ＝ｆ（ｘ，ｙ）と多面体ｚ
＝ｇ（ｘ，ｙ）とのｚ軸成分の誤差Δｚを求めること
で、Δｚの値の正，負に応じた誤差曲面ｚ＝ｈ
_１，１（ｘ，ｙ），ｚ＝ｈ_１，２（ｘ，ｙ）を求める。
この誤差曲面を図２９に示す。なお、同図では誤差Δｚ
の最大値（ｍａｘ）および最小値（ｍｉｎ）を示す。そ
して誤差曲面ｚ＝ｈ_１，１（ｘ，ｙ）およびｚ＝ｈ
_１，２（ｘ，ｙ）を等差分輝度線により表し（同図では
スライスレベルを正，負それぞれ４つのレベルで示
す）、これらの等差分輝度線をもとに、前述した復元
方法により多面体ｚ＝ｉ_１，１（ｘ，ｙ）およびｚ＝ｉ
_１，２（ｘ，ｙ）を作る（同図において、点線で示
す）。

【０１０５】同様にして（以下、図示は省略する）、 （３）誤差曲面ｚ＝ｈ_１，１（ｘ，ｙ）と前記多面体
ｚ＝ｉ_１，１（ｘ，ｙ）とのｚ軸成分の誤差、および誤
差曲面ｚ＝ｈ_１，２（ｘ，ｙ）と多面体ｚ＝ｉ
_１，２（ｘ，ｙ）とのｚ軸成分の誤差を求めることで誤
差曲面ｚ＝ｈ_２，１（ｘ，ｙ），ｚ＝ｈ_２，２（ｘ，
ｙ）を求め、各誤差曲面ｚ＝ｈ_２，１（ｘ，ｙ），ｚ
＝ｈ_２，２（ｘ，ｙ）を等差分輝度線により表し、こ
れらの等差分輝度線をもとに、前述した復元方法により
多面体ｚ＝ｉ_２，１（ｘ，ｙ），ｚ＝ｉ_２，２（ｘ，
ｙ）を作る。・・・

【０１０６】（Ｎ）誤差曲面ｚ＝ｈ_N-2,1（ｘ，ｙ）
と多面体ｚ＝ｉ_N-2,1（ｘ，ｙ）とのｚ軸成分の誤差、
および誤差曲面ｚ＝ｈ_N-2,1（ｘ，ｙ）と多面体ｚ＝ｉ
_N-2,2（ｘ，ｙ）とのｚ軸成分の誤差を求めることで、
該誤差の値の正，負に応じた誤差曲面ｚ＝ｈ
_N-1,1（ｘ，ｙ），ｚ＝ｈ_N-1,2（ｘ，ｙ）を求め、こ
れらの誤差曲面ｚ＝ｈ _N-1,1（ｘ，ｙ），ｚ＝ｈ
_N-1,2（ｘ，ｙ）を等差分輝度線により表す。

【０１０７】各プロセス（２）〜（Ｎ）において得られ
る誤差Δｚの絶対値は徐々に小さくなるので、複雑な輝
度を劣化を殆ど生じさせることなく、画像データとして
蓄積、伝送することができる。また、たとえば、ＤＰＣ
Ｍ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ
Ｍｏｄｕｌａｔｉｏｎ）のアルゴリズムを用い、Ｌｏ
ｓｓｌｅｓｓ（誤差なし）の符号化を行うこともでき
る。

【０１０８】図３０に本実施例のビットストリームの構
成例を示す。同図に示したように、このビットストリー
ムの構成は、図１１で述べたビットストリームの構成と
略同様である。

【０１０９】上記の画像データは、上記（１）の等輝度
線に基づき復元した輝度に、（２）〜（Ｎ）の等差分輝
度線に基づき復元される誤差を（ｊ）（２≦ｊ≦Ｎ）ま
で順次加算することで復元される。

【０１１０】

【発明の効果】本発明は、以上のように構成したので、
以下の効果を奏することができる。 （１）画像の表現方法が原画像の入力デバイスによって
決定される空間解像度（画素数）に依存せず、また出力
デバイスにも依存しない。 （２）ブロックごとの処理ではないので復元画像にブロ
ック歪が現れない。 （３）各種デバイスの空間解像度（座標）とは独立の座
標系で符号化あるいは復号化するためにスケーラビリテ
ィの実現が容易となる。 （４）動画像符号化への拡張が容易である。 （５）特徴量の値をｚ軸方向に持つ曲面を作り、該曲面
曲面を再帰的にスライスすることにしたので、特徴量を
大まかな近似情報から細かい情報へと段階的に表現する
ことができる。

【図面の簡単な説明】

【図１】本発明の画像データの表現方法において、二値
画像をｘ−ｙ平面上に定義し、各画素の輝度値をｚ軸方
向にプロットした様子を示す図である。

【図２】本発明の画像データの表現方法において、濃淡
画像をｘ−ｙ平面上に定義し、各画素の輝度値をｚ軸方
向にプロットした様子を示す図である。

【図３】スライスレベルを４つとしたときの、画像デー
タを表す曲面をスライスした様子を示す図である。

【図４】図３における画像データを表す曲面の等輝度線
の様子を示す図である。

【図５】本発明の画像データの表現方法においてピーク
の位置を検出する場合の説明図である。

【図６】本発明の画像データの表現方法において鞍部の
位置を検出する場合の説明図であり、（ａ）は分岐が生
じた様子を示す図、（ｂ）は鞍部を検出する場合の説明
図である。

【図７】本発明の画像データの表現方法において静止画
像の符号化処理の全体の流れを示すフローチャートであ
る。

【図８】図７における最低レベル処理の流れを示すフロ
ーチャートである。

【図９】図７における中間レベル処理の流れを示すフロ
ーチャートである。

【図１０】図７における最高レベル処理の流れを示すフ
ローチャートである。

【図１１】本発明の画像データの表現方法において静止
画像の符号化処理におけるビットストリームを例示する
図である。

【図１２】本発明の画像データの復元方法において、等
輝度線により作られる多角形が凸図形で、かつ分岐がな
い場合についての補間処理を説明するための図（（ａ）
〜（ｃ））である。

【図１３】本発明の画像データの復元方法において、高
レベルの等輝度線により作られる多角形が凹図形である
場合における補間処理を説明するための図である。

【図１４】図１３と同様、本発明の画像データの復元方
法において高レベルの等輝度線により作られる多角形が
凹図形である場合における補間処理を説明するための図
である。

【図１５】本発明の画像データの復元方法において、低
レベルの等輝度線により作られる多角形が凹図形である
場合における補間処理を説明するための図である。

【図１６】本発明の画像データの復元方法において、低
レベルおよび高レベルの双方のレベルの等輝度線により
作られる多角形が凹図形である場合における補間処理を
説明するための図である。

【図１７】本発明の画像データの復元方法において、鞍
部の補間処理を説明するための図である。

【図１８】本発明の画像データの復元方法において、鞍
点の推定方法を示す図である。

【図１９】本発明の画像データの復元方法において、推
定された鞍点に基づいて分岐の鞍部を復元する様子を示
す図である。

【図２０】本発明の画像データの復元方法において、ピ
ークの復元・推定方法を示す図である。

【図２１】本発明の画像データの復元方法において、輝
度についての復号化処理をより具体的に説明するフロー
チャートである。

【図２２】本発明を動画に応用した場合において、等輝
度線により作られる多角形の平行移動に関する動きベク
トルを説明するための図である。

【図２３】本発明を動画に応用した場合において、等輝
度線により作られる多角形の回転移動に関する情報の抽
出を説明するための図である。

【図２４】本発明を動画に応用した場合において、逆再
生アルゴリズムの概念を示す図である。

【図２５】本発明を動画に応用した場合において、動画
の符号化処理をより具体的に説明するためのフローチャ
ートである。

【図２６】本発明を動画に応用した場合において、動画
の復号化処理をより具体的に説明するためのフローチャ
ートである。

【図２７】本発明を動画に応用した場合において、動画
の符号化処理におけるビットストリームを例示する図で
ある。

【図２８】本発明の画像データの復元方法において、輝
度曲面を再帰的にスライスする場合を示するための図で
ある。

【図２９】図２８の実施例において、ｚ軸成分の誤差Δ
ｚを示す図である。

【図３０】図２８の実施例の符号化処理におけるビット
ストリームを例示する図である。

フロントページの続き (72)発明者 釜江 尚彦 神奈川県川崎市高津区坂戸３丁目２番２ 号 ヒューレット・パッカードラボラト リーズジャパンインク内 (56)参考文献 特開 昭57−135588（ＪＰ，Ａ) 特開 昭63−45684（ＪＰ，Ａ) 特開 平４−371072（ＪＰ，Ａ) 特開 昭61−131180（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 7/60 G01R 31/00

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 以下の（１）〜（Ｎ）のプロセスからな
   ることを特徴とする画像データの生成方法。 （１） (i) 画像の特徴量の値をｚ軸方向に持つ曲面ｚ＝ｆ
   （ｘ，ｙ）を求め、 (ii) 前記曲面ｚ＝ｆ（ｘ，ｙ）を等高線により表し、 (iii) これらの等高線をもとに、等高線間の領域、およ
   びピーク部あるいは鞍部における等高線が与えられてい
   ないときはこれらが存在する領域を特徴量補間し、前記
   曲面を多面体で再現する復元方法により多面体ｚ＝ｇ
   （ｘ，ｙ）を作る。 （２） (i) 曲面ｚ＝ｆ（ｘ，ｙ）と多面体ｚ＝ｇ（ｘ，ｙ）と
   のｚ軸成分の誤差を求めることで、該誤差の値の正，負
   に応じた誤差曲面ｚ＝ｈ_1,1（ｘ，ｙ），ｚ＝ｈ
   _1,2（ｘ，ｙ）を求め、 (ii) これらの誤差曲面ｚ＝ｈ_1,1（ｘ，ｙ），ｚ＝ｈ
   _1,2（ｘ，ｙ）を等差分線により表し、 (iii) この等差分線をもとに、等高線間の領域、および
   ピーク部あるいは鞍部における等高線が与えられていな
   いときはこれらが存在する領域を特徴量補間し、前記曲
   面を多面体で再現する復元方法により多面体ｚ＝ｉ_1,1
   （ｘ，ｙ），ｚ＝ｉ_1,2（ｘ，ｙ）を作る。 （ｋ）（ｋ＝３，・・・，Ｎ−１） (i) 誤差曲面ｚ＝ｈ_k-2,1（ｘ，ｙ）と多面体ｚ＝ｉ
   _k-2,1（ｘ，ｙ）とのｚ軸成分の誤差、および誤差曲面
   ｚ＝ｈ_k-2,2（ｘ，ｙ）と多面体ｚ＝ｉ_k-2,2（ｘ，ｙ）
   とのｚ軸成分の誤差を求めることで、該誤差の値の正，
   負に応じた誤差曲面ｚ＝ｈ_k-1,1（ｘ，ｙ），ｚ＝ｈ
   _k-1,2（ｘ，ｙ）を求め、 (ii) これらの誤差曲面ｚ＝ｈ_k-1,1（ｘ，ｙ），ｚ＝ｈ
   _k-1,2（ｘ，ｙ）を等差分線により表し、 (iii) これらの等差分線をもとに、等高線間の領域、お
   よびピーク部あるいは鞍部における等高線が与えられて
   いないときはこれらが存在する領域を特徴量補間し、前
   記曲面を多面体で再現する復元方法により多面体ｚ＝ｉ
   _k-1,1（ｘ，ｙ），ｚ＝ｉ_k-1,2（ｘ，ｙ）を作る。 （Ｎ） (i) 誤差曲面ｚ＝ｈ_N-2,1（ｘ，ｙ）と多面体ｚ＝ｉ
   _N-2,1（ｘ，ｙ）とのｚ軸成分の誤差、および誤差曲面
   ｚ＝ｈ_N-2,2（ｘ，ｙ）と多面体ｚ＝ｉ_N-2,2（ｘ，ｙ）
   とのｚ軸成分の誤差を求めることで、該誤差の値の正，
   負に応じた誤差曲面ｚ＝ｈ_N-1,1（ｘ，ｙ），ｚ＝ｈ
   _N-1,2（ｘ，ｙ）を求め、 (ii) これらの誤差曲面ｚ＝ｈ_N-1,1（ｘ，ｙ），ｚ＝ｈ
   _N-1,2（ｘ，ｙ）を等差分線により表す。
2. 【請求項２】 請求項１（１）の等高線に基づき復元し
   た特徴量に、同じく請求項１（２）〜（Ｎ）の等差分線
   に基づき復元される誤差値を順次、（ｊ）（２≦ｊ≦
   Ｎ）まで加算することを特徴とする画像データの復元方
   法。
3. 【請求項３】 特徴量が輝度または色差であることを特
   徴とする請求項１に記載の画像データの生成方法。
4. 【請求項４】 特徴量が輝度または色差であることを特
   徴とする請求項２に記載の画像データの復元方法。