JP4042594B2 - 画像処理方法および画像処理装置ならびに画像処理プログラム - Google Patents
画像処理方法および画像処理装置ならびに画像処理プログラム Download PDFInfo
- Publication number
- JP4042594B2 JP4042594B2 JP2003062072A JP2003062072A JP4042594B2 JP 4042594 B2 JP4042594 B2 JP 4042594B2 JP 2003062072 A JP2003062072 A JP 2003062072A JP 2003062072 A JP2003062072 A JP 2003062072A JP 4042594 B2 JP4042594 B2 JP 4042594B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- triangular
- data
- triangle
- square
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び画像処理装置並びに画像処理プログラムに関する。特に、画像を正方形領域とし、その正方形領域を三角形領域に分割し、分割された三角形領域に対し画像処理行う画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
【０００２】
【従来の技術】
ネットワーク環境の普及により、画像のようなデータ量の多い情報も通信対象としてごく普通に用いられるようになってきており、様々な機器の上で画像を取り扱うことが一般的になっている。このとき、同一の画像データであっても、その出力機器の能力に対応し、その大きさ、解像度などを効率よく最適化することが要求されている。
【０００３】
また、伝送能力の低い通信路で画像が送られる場合や大量の画像を閲覧するような場合においては、データ量を削減するために、あるいはユーザにとって意味のある部分を優先的に表示するために、画像の一部分のみの解像度を効率良く上げることが要求されている。
【０００４】
特に、情報量をできるだけ保存しつつデータ量を削減するために、様々な方法が用いられている。この符号化方法としては、たとえば、ＲＧＢなど通常の色空間でのデータをそのまま用いる方法と、それを周波数分析した周波数空間でのデータを用いる方法の２種類に大別することができる。
【０００５】
通常の色空間を用いる方法としては、特開平９−８４００２号公報に記載の技術、特開平９−１９１４０９号公報に記載の技術などがある。この特開平９−８４００２号公報に記載の技術は、その公報に記載された図１に見られるように、入力された画像を、所定の相関を有するオブジェクト領域へ分割し、そのオブジェクト領域のそれぞれを多角形で近似し、その内部を階層的に平面近似するものである。これは画像を構成するオブジェクト毎に最適な解像度を設定でき、またユーザが関心を持つであろうオブジェクトを優先的に伝送できるなどの利点がある。
【０００６】
また、特開平９−１９１４０９号公報に記載の技術は、その公報の図８に見られるように、画像を三角形領域平面の集合として表現するものである。このため、相対的に少ない計算量、メモリ量での処理が可能であると考えられ、汎用機器、小型機器においての使用に利点がある。
【０００７】
一方、周波数空間データを用いる方法としては、特開平１１−２９８８９７号公報に記載の技術、特開２０００−１２５２９４号公報に記載の技術などがある。
【０００８】
特開平１１−２９８８９７号公報に記載の技術は、ＪＰＥＧ２０００規格と同様に、画像処理部分においては、ウェーブレット変換、あるいは、周波数領域で表現した画像データのオクターブ分割により、画像を表現するものであって、その公報に記載された図２および図３に見られるように、オクターブ分割により再帰的に縮小画像、つまり、画像の低周波数成分と、画像の高周波数成分とが分離される。このように、画像の周波数空間での処理を行うことにより、通常の座標空間でのデータの滑らかさが損なわれないようにすることができる。
【０００９】
また、特開２０００−１２５２９４号公報に記載の技術は、特開平１１−２９８８９７号公報に記載の技術と同様であるが、ウェーブレット変換を主にはハードウェアにおいて実行することを意図したものである。この場合、処理速度などの改善が期待できる。
【００１０】
【特許文献１】
特開平９−８４００２号公報
【特許文献２】
特開平９−１９１４０９号公報
【特許文献３】
特開平１１−２９８８９７号公報
【特許文献４】
特開２０００−１２５２９４号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、通常の色空間データを用いる方法である特開平９−８４００２号公報に記載の技術においては、オブジェクト領域抽出のための大きな計算量、また大きなメモリ量を必要とすると言う問題がある。また、オブジェクト領域抽出に失敗した場合の画像の劣化も非常に大きいものとなる。
【００１２】
また、同様に通常の色空間データを用いる方法である特開平９−１９１４０９号公報に記載の技術においては、その公報に記載された図７、図１１に見られるように、この画像の伝送には、３頂点の座標及び画像情報が必要であり、伝送される情報量が多いことになる。最悪の場合、元データの数倍のデータ量となる場合すら考えられる。また、この技術においては、部分的な解像度の改善、段階的な解像度の向上は非常に困難である。
【００１３】
また、周波数空間でのデータを用いる方法である特開平１１−２９８８９７号公報に記載の技術においては、処理を行うために非常に大きな計算量とメモリ量が必要とされる。これは、汎用的な装置、また小型情報機器などにおいては非常に大きな問題となる。
【００１４】
同様に周波数空間でのデータを用いる方法の特開２０００−１２５２９４号公報に記載の技術においては、この処理をソフトウェアで実行した場合の課題は、特開平１１−２９８８９７号公報に記載の技術と同様である。また、この特開２０００−１２５２９４号公報に記載の技術をハードウェアで実行した場合は、装置としての汎用性が損なわれると言う課題がある。
【００１５】
そこで本発明は、より少ない計算量、メモリ量、データ量での画像符号化を可能とする画像処理方法および画像処理装置ならびに画像処理プログラムを実現することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、画像データの符号化および復号化を行うものであるが、その符号化および復号化を行うに際して、処理対象となる画像を正方形とすることが前提である。この画像の正方形化を行う際、処理対象画像を１つ以上の正方形領域に分割する方法、もう１つは処理対象画像を正方形に変形させることで１つの正方形領域を生成する方法が考えられるが、本発明では前者、すなわち、処理対象画像を１つ以上の正方形領域に分割する方法を採用する。
【００１７】
まず、本発明の画像処理方法について言えば、この画像処理方法の符号化側は、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理方法であって、その画像処理手順として、処理対象となる画像を入力する画像入力ステップと、入力された画像を１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定するデータ省略可否判定ステップと、このデータ省略可否判定ステップの判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成ステップと、生成された符号化データを出力する符号化データ出力ステップとを含むことを特徴としている。
【００１８】
この画像処理方法において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記データ省略可否判定ステップは、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否処理として行い、このデータ省略可否処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するようにしている。
【００１９】
また、この画像処理方法において、前記データ省略可否判定処理によって、ある三角形領域のそれ以上の分割が省略可能とされた場合、三角形領域の分割省略を示す情報は、分割省略可能とされた最上位の三角形領域のみに付されるようにしている。
【００２０】
また、本発明の画像処理方法において、その復号化側は、１つ以上の正方形領域に分割された画像のそれぞれの正方形領域が再帰的三角形領域分割処理され、その分割された三角形領域が符号化された符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定ステップと、このデータ省略判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００２１】
この画像処理方法において、前記データ省略判定ステップが行うデータ省略がなされているか否かの判定は、データ省略の有無を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしている。
【００２２】
また、本発明の画像処理装置において、その符号化側は、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理装置であって、その構成要素として、画像を入力する画像入力手段と、入力された画像を１つ以上の正方形領域に分割する正方形領域分割手段と、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段と、分割された三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定するデータ省略可否判定手段と、このデータ省略可否判定手段の判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成手段と、生成された符号化データを出力する符号化データ出力手段とを含むことを特徴としている。
【００２３】
この画像処理装置において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記データ省略可否判定ステップは、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否処理として行い、このデータ省略可否処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するようにしている。
【００２４】
また、この画像処理装置において、前記データ省略可否処理によって、ある三角形領域のそれ以上の分割が省略可能とされた場合、三角形領域の分割省略を示す情報は、分割省略可能とされた最上位の三角形領域のみに付されるようにしている。
【００２５】
また、本発明の画像処理装置において、その復号化側は、１つ以上の正方形領域に分割された画像のそれぞれの正方形領域が再帰的三角形領域分割処理され、その分割された三角形領域が符号化された符号化データを復号化する画像処理装置であって、その構成要素として、符号化データを入力する符号化データ入力手段と、この符号化データ入力手段に入力された符号化データを解析する符号化データ解析手段と、この符号化データ解析手段による解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定手段と、このデータ省略判定手段の判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成手段と、合成された三角形領域により正方形領域を合成する正方形領域合成手段と、合成された正方形領域から画像データを復元して出力する画像データ出力手段と、を含むことを特徴としている。
【００２６】
また、この画像処理装置において、前記データ省略判定ステップが行うデータ省略がなされているか否かの判定は、データ省略の有無を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしている。
【００２７】
また、本発明の画像処理プログラムにおいて、その符号化側は、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する処理をコンピュータで実行するための画像処理プログラムであって、その画像処理プログラムは、処理対象となる画像を入力する画像入力ステップと、入力された画像を１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定するデータ省略可否判定ステップと、このデータ省略可否判定ステップの判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成ステップと、生成された符号化データを出力する符号化データ出力ステップと含むことを特徴としている。
【００２８】
この画像処理プログラムにおいて、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記データ省略可否判定ステップは、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否処理として行い、このデータ省略可否処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するようにしている。
【００２９】
また、前記データ省略可否判定処理によって、前記データ省略可否処理によって、ある三角形領域のそれ以上の分割が省略可能とされた場合、三角形領域の分割省略を示す情報は、分割省略可能とされた最上位の三角形領域のみに付されるようにしている。
【００３０】
また、本発明の画像処理プログラムにおいて、その復号化側は、１つ以上の正方形領域に分割された画像のそれぞれの正方形領域が再帰的三角形領域分割処理され、その分割された三角形領域が符号化された符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定ステップと、このデータ省略判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００３１】
この画像処理プログラムにおいて、前記データ省略判定ステップが行うデータ省略がなされているか否かの判定は、データ省略の有無を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしている。
【００３２】
このように本発明は、画像を正方形領域とした上で処理を行うものであり、その符号化側の発明によれば、処理対象となる画像データを符号化するに際して、処理対象の画像データを１つ以上の正方形領域に分割し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素情報（以下では画素値という）と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形に対する分割の仕方を決めておけば、あとは分割順にしたがって自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承でき、斜辺中点の画素値も元の正方形から求めることができる。そして、このような再帰的三角形分割処理による三角形の型と保持すべき画素値（斜辺中点画素値）を２分木で表現でき、その２分木に基づいて１次元化された符号化データとして出力することができる。
【００３３】
これによれば、処理対象となる画像データを符号化する際、符号化を行う際に保持あるいは伝送すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【００３４】
また、本発明ではそれに加えて、省略できる符号化データについてはそれを省略することでデータ量のより一層の削減を図るようにしている。このデータ省略を行う際、データ省略が可能か否かを判定する。このデータ省略可否判定は、処理対象の三角形領域を再帰的に２分割して得られた各三角形領域について再帰的に行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域より下位の三角形領域の符号化データ出力を省略可能であるとする。これによって、符号化データ量を削減することができる。
【００３５】
また、データ省略可否処理によって、ある三角形領域より下位の三角形領域の符号化が省略可能とされた場合、三角形領域の符号化の省略を示す情報は、その最上位の三角形領域のみに付され、それよりも下位の三角形領域においては、その三角形領域が省略されていることを明示的に示す必要がないことも特徴の１つである。これは、本発明においては、それぞれの三角形領域の位置関係が自明であるため、上位の三角形領域においてそれ以上の分割省略を行った場合、それより下位のどの三角形領域が省略されているかが自明となるためであり、それによって、その省略された三角形領域において、その省略を示すためのデータを付加する必要がなくなる。
【００３６】
また、本発明では、符号化側からの符号化データを復号する際は、分割省略がなされているか否かを判定して、その判定結果に基づいて、三角形領域の合成をおこなうようにしている。このとき、分割省略がなされているか否かの判定は、省略がなされた最上位の三角形領域に付された符号化の省略を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が存在する場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを復号化するようにしているので、効率的な三角形領域の合成が行える。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。まず、本発明の基礎となる技術として、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理と、それによって符号化された符号化データを復号化する画像処理について説明し、そのあとで、本発明において行われるデータ省略処理について説明する。
【００３８】
図１は本発明に係る画像処理装置の符号化、すなわち、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する符号化側の構成を示すブロック図である。その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６を有した構成となっている。
【００３９】
画像データ入力手段１は、図２に示すように、個々の画素データを入力する画素データ入力手段１０１と、入力された画素の色データを各色成分へ分離する色成分分離手段１０２と、分離された色データに基づき、たとえば、ＲＧＢからＹＵＶデータへ変換する色変換手段１０３と、必要であるならばデータの間引きを行うデータ間引き手段１０４を有している。なお、この画像データ入力手段１に入力される画像データは、たとえば、カメラからの画像データ、ファイルからの画像データ、何らかの通信手段からの画像データなどが考えられる。
【００４０】
再帰的三角形領域分割手段３は、少なくとも、複数種類の三角形型（これについては後述する）を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段３３と、後述する規則（図１１参照）を用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５とを有している。
【００４１】
以下に図１で示した各構成要素の動作について詳細に説明する。
【００４２】
本発明は、処理すべき画像データを正方形とし、それを再帰的に三角形領域へ分割してその三角形領域に対して画像処理を行う。たとえば、画像データ入力手段１から得られた画像データのある１つの色成分が図３（ａ）のようであるとする。本発明は、これを、図３（ｂ）のように三角形領域の集合として表現する。
【００４３】
このように、本発明では処理すべき画像データが正方形であることを前提に処理を行うが、画像データ入力手段１から得られる画像データは必ずしも正方形であるとは限らない。そこで、画像データが正方形ではない場合の処理について説明する。
【００４４】
入力された画像データが正方形ではない場合、正方形領域分割手段２によって入力された画像データを１つ以上の正方形領域へ分割する。たとえば、入力された画像データが、図４（ａ）のような横長の長方形画像である場合、これを図４（ｂ）で示すような複数の正方形領域へ分割する。この時、分割される正方形の１辺に含まれる画素数をＬとすると、Ｌは２のＮ剰＋１であることが望ましい。この理由は後述する。なお、Ｎは自然数である。
【００４５】
このように、もともと正方形でない画像を正方形領域分割手段２によって正方形領域へ分割すると、図４（ｂ）に示すように、画像の端部に重なる正方形部分には画像の存在しない空白部が生じる。また、一般的には、画像データの幅と高さは、Ｌの整数倍とはならない。この空白部に対する処理と画像データの幅と高さが、Ｌの整数倍とはならない場合の処理について図５のフローチャートと図６の画像例を参照しながら説明する。
【００４６】
図５は正方形領域分割処理手段２が行う正方形領域分割処理手順を説明するフローチャートであり、まず、分割すべき正方形領域の１辺値としてＬを入力する（ステップＳ１）。ただし、上述したように、Ｌは２のＮ剰＋１とする（Ｎは自然数）とする。ここで、当該画像の幅ＷがＬの整数倍ではないとき、当該画像の幅がＬの整数倍となるまで０を挿入する（ステップＳ２）。また、同様に、当該画像の高さＨがＬの整数倍ではないとき、当該画像の高さＨがＬの整数倍となるまで０を挿入する（ステップＳ３）。
【００４７】
図６は、ある横長の画像に対し、図５で説明した正方形領域分割処理を施した例である。この図６からもわかるように、当該画像の幅ＷはＬの整数倍ではないので、当該画像の幅がＬの整数倍であるとして、その余白部に０を補填している。同様に、当該画像の高さＨはＬの整数倍ではないので、当該画像の高さＨがＬの整数倍であるとして、その余白部に０を補填している。
【００４８】
この図５および図６で説明した例は、画像の幅方向および高さ方向をＬの整数倍として、それによって生じる余白部に０を補填するようにした例について説明したが、それ以外にも、たとえば、ＪＰＥＧなどの処理に見られるように、幅方向においては、当該画像における最も右側の列の画素値を繰り返し、また高さ方向においては、当該画像における最も下側の行の画素値を繰り返すと言うようなものであってもよい。また、ＪＰＥＧ２０００などに見られるように、幅方向においては、当該画像における最も右側の列で画像値を折り返す、また高さ方向においては、当該画像における最も下側の行で画像値を折り返すと言うようなものであってもよい。
【００４９】
なお、これ以降の処理は、ＪＰＥＧなどと同様に、この分割された正方形領域のそれぞれにおいて独立した処理となるので、一般性を損なうことなく、画像データは正方形であるとして説明を続ける。
【００５０】
次に上述したように正方形領域に分割されたそれぞれの正方形を三角形に分割する処理について説明する。この三角形に分割する処理は、再帰的三角形領域分割手段３によって行われる。この再帰的三角形領域分割手段３は、それぞれの正方形領域を再帰的に三角形領域へ分割するもので、たとえば、図７（ａ），（ｂ）に示すように、ある１つの正方形領域は、２つの三角形に分割される。そして、この図７（ａ），（ｂ）では図示されていないが、分割された三角形はさらにそれぞれ三角形に分割される。
【００５１】
この正方形を三角形に分割する方法は二通りあり、その第１の方法としては図７（ａ）示すような分割の仕方であり、第２の方法としては図７（ｂ）に示すような分割の仕方である。
【００５２】
すなわち、正方形の４つの角部の画素値をａ，ｂ，ｃ，ｄとしたとき、図７（ａ）は第１の方法によって２つの三角形に分割し、図７（ｂ）は第２の方法によって２つの三角形に分割した例であり、これら第１および第２の方法を用いて分割されることによって生成される三角形の型を、それぞれの図中で示したように、＃１、＃２、＃３、＃４と表すことにする。
【００５３】
ところで、この図７（ａ），（ｂ）のように分割された三角形を再帰的に分割して得られる三角形は合計で８種あり、その８種類のそれぞれを図８に示すように、＃１、＃２、＃３、＃４、＃５、＃６、＃７、＃８の型番号を付す。なお、この図８に示される各三角形のそれぞれの頂点に付されたａ，ｂ，ｃはそれぞれその位置における画素値を表しており、また、それぞれの斜辺に付されたｄは、その斜辺中点位置における画素値を表すが、これについては後に説明する。
【００５４】
このような再帰的三角形領域分割されたそれぞれの三角形の型（三角形型）は相互に関連つけることができる。たとえば、図９に示すように、＃６の型の三角形を分割すると、＃１と＃４の型の三角形が生成される。つまり、本発明の再帰的三角形領域分割処理において、分割処理後の３角形の型は、その元となる三角形の型から自動的に定まるので、出力データの中に三角形の型を保存する必要はない。
【００５５】
ところで、上述した図７により正方形を三角形に分割する方法（第１の方法および第２の方法）について説明をしたが、このとき、正方形の４頂点の位置の画素値がどのようにして三角形に継承されるのかを説明する。
【００５６】
ここで、正方形の４頂点の画素値がａ，ｂ，ｃ，ｄであったとすると、この正方形の４頂点の画素値ａ，ｂ，ｃ，ｄの継承パタンとしては図７（ａ），（ｂ）で説明した分割の仕方によって２種類がある。
【００５７】
図１０はこの継承規則を示したものである。たとえば、正方形が図７（ａ）のような方法（第１の方法）で三角形に分割されたとすると、図１０の上段に示すように、分割前（正方形）の型をここでは＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃１型の三角形の画素値として（ａ，ｂ，ｃ，−）が継承され、＃２型の三角形の画素値として（ｂ，ｃ，ｄ，−）が継承される。
【００５８】
一方、正方形が図７（ｂ）のような方法（第２の方法）で三角形分割されたとすると、図１０の下段に示すように、分割前（正方形）の型をここでも＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃３型の三角形の画素値として（ａ，ｃ，ｄ，）が継承され、＃４型の三角形の画素値として（ａ，ｂ，ｄ，−）が継承される。
【００５９】
なお、本発明においては、それぞれの三角形の３頂点の画素値に加え、三角形の斜辺中点の画素情報も加えた４つの画素値を考慮するが、図１０の中で、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００６０】
図１１は図８で示した８種類の三角形をさらに分割したときの画素値の継承規則を示すものであり、この図１１に示されるように、分割前にある型（＃１から＃８）であった三角形は、それを分割すると、それぞれ２つの型の三角形となるが、そのときの画素値はこの図１１に示すように継承される。なお、この図１１においても、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００６１】
この図１１によれば、たとえば、頂点の画素値がａ，ｂ，ｃ、斜辺中点の画素値がｄである＃６型の三角形を分割すると、＃１型と＃４型の２つの三角形に分割され（図９参照）、＃１型の三角形の画素値は（ａ，ｄ，ｃ，−）、＃４型の三角形の画素値は（ｃ，ｄ，ｂ，−）となる。
【００６２】
以上の再帰的三角形分割処理のまとめを図１２により説明する。ある１つの正方形を、たとえば、＃１と＃２の型の三角形に分割するものとする。この、＃１と＃２の型の三角形は、＃１型についてはさらに＃５型と＃６型に分割され、＃２型についてはさらに＃７型と＃８型に分割される。この分割された三角形は、さらに、より小さな三角形に分割される。なお、この再帰的な分割処理は、斜辺中点に画素が存在する限りは次々と分割可能であるが、分割限界に達しなくても所定の段階で分割処理を終了することも可能である。どの段階まで分割するかは予め設定しておくことができる。
【００６３】
上述した再帰的三角形分割処理は、図１３に示すような２分木で表現することができる。図１３において、○の中の数字は三角形の型を示す。最も上部の内部に数字の無い○を正方形とし、これをルート（根）Ｒとした２分木が生成される。
【００６４】
ルートＲから生成される２つのノード（節）Ｎ１１，Ｎ１２の三角形型は、図７（ａ），（ｂ）の２つの分割方法（第１の方法または第２の方法）に対応しているが、これが決定されてしまえば、それぞれのノードを２分割してできる三角形は、図１１に示すような継承規則により一意に定まる。たとえば、＃１型を持つ三角形は、図１１からわかるように、＃５型と＃６型の三角形に２分される。同様に、＃５型を持つ三角形は、図１１からわかるように、＃１型と＃３型の三角形に２分される。
【００６５】
以降、記述の簡略化のため、三角形型がＴ、３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形を、Ｔ（ａ，ｂ，ｃ，ｄ）と表す。たとえば、三角形型が＃６でその３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形は、＃６（ａ，ｂ，ｃ，ｄ）で表され、それは、＃１（ｄ，ｂ，ｃ，−）と＃４（ａ，ｄ，ｃ，−）へ分割されるというように表される。
【００６６】
この例から明らかなように、このそれぞれの三角形を分割した後の三角形において、ハイフンで示した不定である斜辺中点の画素値を補うことにより、図１１の継承規則を用いて三角形領域分割を再帰的に行うことができる。
【００６７】
これは、前述の従来技術の項で引用した特開平９−１９１４０９号公報に記載された技術のように、一つの三角形を表現するために、３つの頂点のＸ座標値が３個、Ｙ座標値が３個、３つの頂点の画素値として３個の合計９個の画素情報を必要としそれを保持する必要のあるものに比較して、ワーストケースにおいて、１／９のデータ量である。
【００６８】
以上より、図１に示した再帰的三角形領域分割手段３は、少なくとも、＃１型１から＃８型の８通りの三角形型を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点の画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点画素値を補う斜辺中点画素値取得手段３３と、図１１に示す継承規則用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５により、再帰的に三角形領域を分割することができる。
【００６９】
以上の再帰的三角形領域分割処理を具体的な数値例を用いて説明する。説明を簡単にするために、図１４に示すように、１辺の画素数ＬがＬ＝３（この場合は、Ｌが２のＮ乗＋１であるという条件において、Ｎ＝１とした場合である）の正方形を例にとる。なお、図１４において、それぞれの画素を黒丸で表し、それぞれの画素に付された数値はその画素における画素値を表している。
【００７０】
このような正方形に対し、図７（ａ）で示したような方法（第１の方法）で２分割したとすると、図１５（ａ）に示すように、２つの三角形に分割される。この左上の三角形は、＃１型の三角形であり、その頂点の画素値は（３，９，１）であるので、＃１（３，９，１，−）と表され、これに斜辺中点の画素値７を補うことにより、＃１（３，９，１，７）という情報を生成することができる。
【００７１】
このような情報が生成されたら、この情報を用い、図１６のフローチャートに示す手順で分割後の三角形を得る。すなわち、現在の型情報を用いて図１１で示した継承規則の検索を行い、分割後の２つの三角形の情報を求める（ステップＳ２１）。そして、図１１で示した継承規則の情報に基づき、現三角形の４つの画素値の並べ替えを行い、２つの新三角形を得る（ステップＳ２２）。
【００７２】
つまり、この例では、図１７に示すように、＃１（３，９，１，７）の情報を有する三角形は、＃５（３，７，１，−）と、＃６（３，９，７，−）に分割されることになる。これを示したものが、図１５（ａ），（ｂ）であり、＃１（３，９，１，−）の情報を有する三角形は、その斜辺中点に７の画素値を補填し、それを２分割すると、＃５（３，７，１，−）の情報を有する三角形と＃６（３，９，７，−）の情報を有する三角形が得られる。以降、これら三角形のそれぞれの斜辺中点の画素値として、図１５（ｃ）に示すように、＃５型の三角形については５を補填し、＃６型の三角形Ｔ１２については４を補填するという処理を行うことにより再帰的三角形領域分割を行う。
【００７３】
以上の図１４から図１７で説明した処理は、図１８に示すような２分木で表現できる。この図１８の２分木表現も図１３で示した２分木表現と同様に、２分木の○の中に示した三角形型は、その上位の型から一意に定まるために、データとして出力する必要はなく、その○の下に示した斜辺中点の画素値のみを補うことにより、より下位の三角形領域分割を行うことができる。
【００７４】
この図１８は、図１４で示した正方形を三角形領域分割する場合の２分木表現であり、ルートＲに相当する正方形は図１４からもわかるように、その４頂点の画素値は（３，９，１，８）であって、このような正方形を図１５（ａ），（ｂ），（ｃ）で説明したような三角形領域分割処理を行ったものである。
【００７５】
このように、処理対象となる画像データに対し、最初の正方形の４頂点の画素値、それを最初に３角形分割したときの三角形の型、分割された三角形の斜辺中点の画素値の連鎖の３種のデータによって、正方形領域の画像を表現することができる。
【００７６】
なお、このデータのうち、正方形を最初に三角形に分割する際、図７（ａ），（ｂ）の第１の方法または第２の方法のいずれかで行うかを固定することは可能である。また、正方形領域の１辺に含まれる画素数Ｌは、２のＮ剰＋１（Ｎは自然数）となるような条件を満たすようにすると、分割された三角形の斜辺中点には必ず画素が存在する。このため、処理を容易にするためには、正方形領域の１辺に含まれる画素数Ｌが２のＮ剰＋１（Ｎは自然数）であることが望ましい。
【００７７】
以上のような処理の結果、たとえば図１９に示すように、ある画像が複数の正方形領域に分割されている場合、そのそれぞれの正方形領域は、図２０に示されるような複数の２分木に変換されることになる。
【００７８】
ところで、２分木として表現された画像データを、伝送、記録するためには、それを１次元のデータ列に変換する必要がある。その順序には幾つもの方法が考えられるが、たとえば、以下のような２種の方法も可能である。
【００７９】
図２１は、２分木の幅方向優先の出力方法を示したものである。これは数字の下にアルファベットＡ，Ｂ，Ｃ，・・・で示した順番（アルファベット順）にデータが１次元化される。たとえば、最初に、ルートＲとして正方形のデータ（４頂点の画素値）Ａが出力され、その後、このルートＲの下位の同じ深さのノードＮ１１、Ｎ１２のデータ（斜辺中点の画素値）Ｂ，Ｃが出力され、さらに、その後、ノードＮ１１，Ｎ１２の下位の同じ深さのノードＮ２１，Ｎ２２，Ｎ２３，Ｎ２４のデータ（斜辺中点の画素値）Ｄ，Ｅ，Ｆ，Ｇが出力される。
【００８０】
図２２は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ．Ｂ，Ｃ，・・・に対応した画素値が出力される。
【００８１】
図２３は、２分木の深さ方向優先の出力方法を示したものである。これも図２１と同様にアルファベットＡ，Ｂ，Ｃ，・・・で出力の順番を示してある。この場合、ルートＲのデータＡを出力したあと、ノードＮ１１のデータＢを出力し、その後は、それの下位にあたるノードＮ２１のデータＣの出力が行われる。このように、２分木の底に到達するまでの出力が行われると、ノードＮ２２のデータＤの出力が行われる。そして、今度は、ノードＮ１２のデータＥの出力が行われ、続いて、そのノードＮ１２の下位にあたるノードルＮ２３のデータＦを出力するというようなデータ出力順序となる。
【００８２】
図２４は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ．Ｂ，Ｃ，・・・に対応した画素値が出力される。
【００８３】
以上のようにして、処理対象となる画像データの符号化処理が終了する。これによって符号化されたデータは、たとえば、図２１または図２３示されるような２分木のデータ構造となっており、その２分木に基づいて、図２２または図２４のようなデータ形式で出力される。
【００８４】
以上説明した符号化処理をフローチャートにまとめたものが図２５である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【００８５】
図２５において、まず、正方形領域分割処理を行う（ステップＳ３１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ３２）、すべての正方形に対してすでに符号化されていれば処理が終了したものとするが、符号化されていなければ、その正方形の４頂点画素値を出力する（ステップＳ３３）。
【００８６】
そして、三角形分割処理が終了したか否かを判断し（ステップＳ３４）、終了していれば、ステップＳ３２に戻り、終了していなければ、すべての三角形を符号化したかを判断する（ステップＳ３５）。ここで、すべての三角形の符号化が終了していなければ、斜辺中点の画素値を出力し（ステップＳ３６）、三角形領域更新処理を行い（ステップＳ３７）、ステップＳ３５に戻る。
【００８７】
そして、すべての三角形の符号化が終了し、かつ、三角形分割処理が終了し、さらに、すべての正方形領域の符号化が終了していれば、その画像に対する符号化処理を終了する。
【００８８】
以上の説明は処理対象となる画像データを符号化する処理についての説明であるが、そのおおまかな処理としては、処理対象の画像データを正方形領域として取り出し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素値と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形を２分割の仕方を決めておけば、以降は分割順に従って自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承できるので、斜辺中点の画素値を元の正方形から求めれば、画像全体を図１８に示すような２分木で表現でき、それを図２１と図２２または図２３と図２４に示すように１次元化して出力することができる。
【００８９】
このような処理を行うことにより、処理対象となる画像データを表現するために保持すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【００９０】
次に、符号化されたデータを復号化する処理について説明する。図２６は本発明の基礎となる画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６を有している。
【００９１】
再帰的三角形領域合成手段１３は、少なくとも、分割された三角形の型（前述の符号化の説明においては＃１型から＃８型の８種類としているので、ここでも＃１型から＃８型の８種類とする）の三角形型を記憶する形状型記憶手段１３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段１３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段１３３と、前述の図１１の継承規則を用いて三角形型を更新する形状型更新手段１３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段１３５とを有している。
【００９２】
また、符号化データ入力手段１１は、図１で示した符号化データ出力手段６からの符号化データ（たとえば、図２２や図２４に示したような符号化データ）を、伝送路や記憶媒体から入力する。この符号化データ入力手段１１に入力される符号化データとしては、図２７（ａ）に示されるように、最初に、正方形の４頂点の画素値が入力される。たとえば、符号化データとして図２４を例にとれば、まず、図２４で示す符号化データにおける下線部Ａの部分が読み込まれ、正方形の４頂点の画素値（３、９、１、８）が復元される。その後、図２４の下線部Ｂに対応する画素値（７）が読み込まれ、図２７（ａ）に示すような２分木の太線の部分が復元される。またそれは、正方形領域の太線部分に対応する。以降、次々にデータ（画素値）が読み込まれ、図２７（ｂ），（ｃ）のように、データの２分木の太線部分が復元され、それによって、正方形領域の太線部分が復元される。
【００９３】
図２８は、図２７の処理内容をプログレッシブな復元の立場から説明したものである。図２２で示す符号化データフォーマットによれば、最初に図２８（ａ）のように２分木の上位層のみが復元され、続いて、同図（ｂ）のように２分木の次の階層が復元され、さらに、同図（ｃ）のように２分木のさらに次の階層が復元されというように、２分木の階層ごとに順次復元され、最終的には同図（ｄ）に示すように、２分木の底までの復元がなされる。
【００９４】
これによって、処理対象となる画像は、２分木の階層ごとの復元に伴って、順次、大きく、あるいは、解像度が上がったものとなる。
【００９５】
なお、たとえば、図２８（ａ）のようなデータ量が少なく小さい画像をそのまま最終画像と同じように拡大しようとすると、解像度の小さい画像となる。すなわち、これは、画像の見え方と言う観点で言えば、画像全体を縮小表示したものであると考えることができる。あるいは、画像サイズを元データと同じとした場合は、それを低い解像度で示したものであると考えることもできる。
【００９６】
仮に、画像全体を低い解像度で表現したものであると考える場合、各々の三角形領域は拡大されることになる。この時、三角形領域の内部は、その３頂点の画素値を用いて平面として内挿することにより求めることもできる。勿論、その周辺の三角形領域のデータを用いて、より高次の推定を行うことも可能である。
【００９７】
３頂点の画素値を用いて平面として内挿する場合は、図２９のような方法を用いることが可能である。この図２９について簡単に説明する。三角形の３頂点への位置ベクトルをａ，ｂ，ｃ（ａ，ｂ，ｃそれぞれの上に→が付される）とし、その頂点における画素値をＡ，Ｂ，Ｃとする。ここで、画素値を求めるべき位置（ｐとする）の位置ベクトルをｐ（ｐの上に→が付される）とし、この位置ベクトルｐ（ｐの上に→が付される）が、
で与えられるものとする。なお、画素値を求めるべき位置ｐがその三角形領域の内部であるためには、ｘ、ｙ、ｚは０以上の実数または重み係数であり、かつ、
ｘ＋ｙ＋ｚ＝１ （２）
の条件を満たす必要がある。このｘ，ｙ，ｚを用い、位置ｐにおける画素値Ｐは、
Ｐ＝ｘＡ＋ｙＢ＋ｚＣ （３）
により求められる。
【００９８】
ところで、前述の実施形態１における図２１、図２２または図２３、図２４で示したデータの１次元化方法は、画像データの内容とは無関係なものである。しかし、符号化方法あるいは記憶媒体からのデータの読み出し方法を変えることにより、関心領域あるいはＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を優先的に高画質化することができる。
【００９９】
たとえば、図３０に示すように、２分木の中の斜線を施した部分を優先的に伝送あるいは読み出すとする。仮に、この２分木の階層の深い部分が、図３１に示すように、本発明の実施形態１および実施形態２の説明で用いている画像例としての猿の顔画像の目の部分であるとする。そうすると、図３０の２分木の浅い階層の復元処理では図３２（ａ）のように、画像全体が低解像度で復元されたものが、階層が深くなるに連れ、図３２（ｂ）のように、先ず目の部分から高解像度化が進行し、最終的に、図３２（ｃ）のように全体が高解像度化されるというような表示が可能である。勿論、このような表示は途中の段階で中止することもできる。
【０１００】
このように、２分木で表されるデータの伝送あるいは読み出し順に、関心領域あるいはＲＯＩに基づいて優先度を設定することによって、画像全体の中のある特定部分のみをいち早く高解像度で表示させることができる。
【０１０１】
これによって、多数の画像データの中から所望とする画像データを検索したり画像データの分類を行うような場合、個々の画像の特徴的な部分のみをいち早く高解像度で表示させることができるので、検索や分類を効率よく行うことができる。また、このとき、個々の画像の内容がわかった段階で表示処理を中止し、それ以降の表示処理を行わないようにすることもできる。
【０１０２】
以上説明した復号化処理をフローチャートにまとめたものが図３３である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【０１０３】
図３３において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ４１）、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号する（ステップＳ４２）。そして、三角形合成処理が終了かを判断し（ステップＳ４３）、終了していれば、ステップＳ４１に戻り、終了していなければ、すべての三角形を合成したかを判断する（ステップＳ４４）。そして、すべての三角形の合成が終了していなければ、斜辺中点の画素値を復号し（ステップＳ４５）、三角形領域合成処理を行い（ステップＳ４６）、ステップＳ４４に戻る。
【０１０４】
そして、すべての正方形領域の復号化が終了していれば（ステップＳ４１）、正方形領域合成処理を行い（ステップＳ４７）、復号化処理を終了する。
【０１０５】
このステップＳ４７による正方形領域合成処理された画像データは、図２６で示した画像データ出力手段１６によって出力処理される。この画像データ出力手段１６は、図３４に示すように、色データ入力手段１６１、間引きデータ復元手段１６２、色変換手段１６３、画素データ復元手段１６４を有した構成となっており、復元された画像データから、画像幅、画像高さを正方形の１辺の整数倍にするために補填されたデータを取り除き、元の画像を出力する。なお、この画像データ出力手段１６が行う画像データ出力処理には、ノイズ低減処理であるとか、何らかの後処理などが含まれても良い。
【０１０６】
次にこれまで説明した画像処技術を基に、本発明の画像処理方法および画像処理装置ならびに画像処理プログラムについて説明する。
【０１０７】
本発明では、上述したような画像処理技術において、画像データのより一層の削減を実現するものである。以下、詳細に説明する。
【０１０８】
図３５は本発明の画像処理装置の符号化側の構成を示すもので、その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６、データ省略可否判定手段１０（近似誤差判定手段７とデータ省略判定出力手段８からなる）を有した構成となっている。
【０１０９】
この図３５の構成は図１で示した構成に対して、三角形領域分割制御手段４と符号化データ生成手段５との間に、データ省略可否判定手段１０としての近似誤差判定手段７とデータ省略判定出力手段８とが設けられている点が異なるだけで、その他は図１と同じ構成であるので、同一構成要素についての説明はここでは省略する。
【０１１０】
図３６は画像を１つ以上の正方形領域に分割して、分割されたそれぞれの正方形領域の符号化を行う処理手順を示すもので、図３７は分割されたある１つの正方形領域内における符号化手順を示すものであり、これらのフローチャートは、先に説明した本発明の基礎となる画像処理技術における符号化処理の説明に用いた図２５のフローチャートを、画像を１つ以上の正方形領域に分割して、それぞれの正方形領域の符号化を行う処理手順と、分割されたある１つの正方形領域内における符号化を行う処理手順とに分けて示すものである。
【０１１１】
この図３７の処理手順は基本的には図２５と同じであるが、図３７では、切り出されたある１つの正方形領域内を符号化する処理において、再帰的分割処理により得られる三角形領域を平面近似した画素値と実際の画素値との差異を誤差として取得し、その誤差の大きさに基づいて以降の再帰的三角形領域分割を制御する処理が追加されている。なお、平面近似された画素値と実際の画素値との誤差を取得する処理についての詳細は後述する。
【０１１２】
図３６において、まず、正方形領域分割処理を行う（ステップＳ５１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ５２）、すべての正方形に対してすでに符号化されていれば符号化処理が終了したものとするが、すべての正方形領域の符号化がなされていなければ、その正方形領域の４頂点画素値を出力し（ステップＳ５３）、その正方形領域内の符号化処理（図３７参照）を行う（ステップＳ５４）。
【０１１３】
図３７はある１つの正方形領域内の符号化処理手順であり、まず、ある１つの正方形領域における２分木の全階層について符号化したかを判断し（ステップＳ６１）、全階層の符号化が終了していれば符号化処理を終了し、全階層の符号化が終了していなければ、三角形領域更新処理を行い（ステップＳ６２）、その階層のすべての三角形領域を符号化したかを判断する（ステップＳ６３）。
【０１１４】
ここで、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻る。また、その階層のすべての三角形領域の符号化が終了していなければ、その三角形領域（現在、符号化処理対象となっている三角形領域）がそれよりも上位の階層で分割省略済みとされた三角形領域であるか否かを判定し（ステップＳ６４）、分割省略済みとされた三角形領域であればステップＳ６３に戻り、なければ、分割省略済みとされた三角形領域でなければその三角形領域内の最大近似誤差値を取得する処理（これについては後述する）を行う（ステップＳ６５）。
【０１１５】
このステップＳ６５における三角形領域内の最大近似誤差値を取得する処理を行った結果、得られた誤差が所定値未満か否かを判定し（ステップＳ６６）、所定値未満である場合は分割省略可であることを示す情報を出力し（ステップＳ６７）、所定値以上である場合には、分割省略不可であることを示す情報を出力する（ステップＳ６８）。
【０１１６】
そして、その三角形領域の斜辺中点画素値を取得し（ステップＳ６９）、その取得した斜辺中点画素値を出力し（ステップＳ７０）、ステップＳ６３に戻り、その階層のすべての三角形の符号化が終了していなければ、ステップＳ６３以降の処理を繰り返し、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻って、全階層の符号化を終了したか否かを判断し、全階層の符号化を終了していれば、符号化処理を終了し、全階層の符号化を終了していなければ、ステップＳ６２以降の処理を繰り返す。
【０１１７】
図３８は本発明に係る画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６、データ省略判定手段１７を有している。
【０１１８】
この図３８の構成は図２６で示した構成に対して、符号化データ解析手段１２と三角形領域合成制御手段１４との間に、符号化データ解析手段１２の解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定手段１７が設けられている点が異なるだけで、あとは、図２６と同じであるので、同一構成要素については同一符号を付すことでその説明はここでは省略する。
【０１１９】
図３９および図４０は本発明の復号化処理手順を説明するためのフローチャートであり、図３９は分割されたすべての正方形領域の復号化を行う処理手順を示すもので、図４０はある１つの正方形領域における復号化手順を示すものである。
【０１２０】
なお、これら図３９および図４０のフローチャートは、先に説明した本発明の基礎となる画像処理技術における復号化処理の説明に用いた図３３のフローチャートを、分割されたすべての正方形領域の復号化を行う処理手順と、ある１つの正方形領域内における復号化を行う処理手順とに分けて示すものであり、基本的な処理は図３３と同じであるが、図４０に示すある１つの正方形領域内を復号化する処理において、現在処理対象となっている三角形領域が上位の階層で分割省略済みとされた三角形領域であるか否かを判定する処理が追加されている。
【０１２１】
図３９において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ７１）、すべての正方形領域の復号化が終了していれば、正方形領域合成処理を行って（ステップＳ７２）、復号化処理を終了し、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号し（ステップＳ７３）、その正方形領域内の合成処理（図４０参照）を行う（ステップＳ７４）。
【０１２２】
図４０はある１つの正方形領域の復号化処理を示すもので、まず、全階層を復号化したかを判断し（ステップＳ８１）、全階層の復号化が終了していれば復号化処理を終了し、全階層の復号化が終了していなければ、その階層（現在処理対象となっている階層）のすべての三角形を合成したかを判断する（ステップＳ８２）。
【０１２３】
そして、その階層のすべての三角形の合成が終了していなければ、その三角形領域（現在、符号化処理対象となっている三角形領域）がそれよりも上位の階層で分割省略済みとされた三角形領域であるか否かを判定し（ステップＳ８３）、分割省略済みとされた三角形領域であれば、ステップＳ８２に戻って、当該階層の他の三角形領域について上述同様の処理を行ない、分割省略済みとされた三角形領域でなければ、データ入力を行なってその三角形領域の斜辺中点画素値を復号（ステップＳ８４）したのち、ステップＳ８２に戻る。
【０１２４】
そして、当該階層のすべての三角形について処理を終了していれば、その階層の三角形領域合成処理を行い（ステップＳ８５）、ステップＳ８１に戻る。
【０１２５】
次に本発明の画像処理における符号化および復号化ついて具体例を参照しながら説明する。この符号化および復号化についての説明で用いる２分木を図４１に示す。
【０１２６】
この図４１に示す２分木は、ある１つの正方形領域について図４２（ａ）〜（ｄ）に示すような三角形領域分割処理を行った場合に生成されるものであり、ここでは、説明の都合上、２分木を構成するそれぞれの三角形に付される符号（型番号）は、これまでの説明で用いた２分木（たとえば、図１３など）とは異なった符号が付されている。
【０１２７】
この場合、正方形を２分割して得られた第１階層の２つの三角形領域に＃１０，＃１１の型番号を付し、この第１階層の三角形領域＃１０，＃１１をそれぞれ２分割して得られた第２階層の４つの三角形領域に＃２０，＃２１，＃２２，＃２３の型番号を付し、この第２階層の三角形領域＃２０，＃２１，＃２２，＃２３＃をそれぞれ２分割して得られた第３階層の８つの三角形領域に＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７の型番号を付し、この第３階層の８つの三角形領域＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７をそれぞれ２分割して得られた第４階層の１６個の三角形領域に＃４０，＃４１，＃４２，・・・，＃４９，＃４ａ，＃４ｂ，＃４ｃ，＃４ｄ，＃４ｅ，＃４ｆの型番号を付すことにする。
【０１２８】
このような第１階層から第４階層の４つの階層で構成される２分木として表現された画像データを、１次元のデータ列に変換する。ここでは、図４３で示すように２分木の幅方向優先の出力方法によって、データ（各三角形領域の斜辺中点画素値）を出力、すなわち、第１階から第４階層において、それぞれの階層ごとに太線で示す矢印方向に沿ってデータ（各三角形領域の斜辺中点画素値）を出力すると、図４４のような１次元のデータ列が得られる。
【０１２９】
この図４４に示すデータは、本発明が行なおうとするデータ省略処理は未だなされていない状態であるが、この時点においても、従来技術（たとえば、特許文献２として挙げた特開平９−１９１４０９など）と比べると、データ量は大幅に少なくなっていることは前述した通りである。
【０１３０】
ここで、本発明の課題でもあるデータ省略の具体例について説明する。このデータ省略を行うために、データ省略が可能であるか否かを判定するためのデータ省略判定処理を行う。以下、この処理について詳細に説明する。
【０１３１】
図４５は再帰的分割されて得られたある１つの三角形領域（これを仮に図４２の＃１０の三角形領域とする）内のそれぞれの位置における画素値を示すもので、本来は２次元の平面上におけるそれぞれの位置に対する画素値を考えることになるが、ここでは説明を簡単にするために、三角形領域内のそれぞれの位置における画素値を模式的１次元で表した例で説明する。
【０１３２】
図４５（ａ），（ｂ），（ｃ）における曲線はその三角形領域内のそれぞれの位置における実際の画素値の変化曲線であり、直線はそれを平面近似したもの（平面近似直線という）である。
【０１３３】
図４５（ａ）は＃１０の三角形領域全体を平面近似した場合あり、この場合は平面近似直線と実際の変化曲線との最大誤差Ｄｍａｘを求めると、図４５（ａ）のような最大誤差Ｄｍａｘが得られる。この最大誤差Ｄｍａｘを所定値（Ｄ０とする）と比較し、Ｄｍａｘ＜Ｄ０あれば、それ以上の分割は省略できることを示す情報を出力し、Ｄｍａｘ≧Ｄ０であればそれ以降の分割省略は不可であることを示す情報を出力する。
【０１３４】
この場合、Ｄｍａｘ≧Ｄ０であるとする。これによって、分割省略不可であることを示す情報が出力され、その三角形領域はその斜辺中点画素値で図４５（ｂ）に示すように２分割され＃２０と＃２１の三角形領域が生成される。
【０１３５】
そして、この図４５（ｃ）のように２分割されて生成された＃２０と＃２１の三角形領域それぞれについて上述同様平面近似して、それぞれの最大誤差Ｄｍａｘを求め、それぞれの最大誤差Ｄｍａｘと所定値Ｄ０とを比較すると、この場合、＃２０の三角形領域の最大誤差ＤｍａｘはＤｍａｘ≧Ｄ０であって、＃２１の三角形領域の最大誤差ＤｍａｘはＤｍａｘ＜Ｄ０であったとする。
【０１３６】
したがって、この場合は、＃２０の三角形領域に対しては分割省略不可であることを示す情報が出力され、＃２１の三角形領域に対しては分割省略可であることを示す情報が出力される。
【０１３７】
これによって、この場合は、＃２０の三角形領域はその斜辺中点画素値で図４５（ｃ）に示すように２分割され、＃３０と＃３１の三角形領域が生成される。一方、＃２１の三角形領域は分割省略可とされるのでそれ以降の分割は行われない。
【０１３８】
そして、この図４５（ｃ）のように２分割されて生成された＃３０と＃３１の三角形領域それぞれについて、上述同様、平面近似して、それぞれの最大誤差Ｄｍａｘを求め、それぞれの最大誤差Ｄｍａｘと所定値Ｄ０とを比較すると、この場合、＃３０と＃３１の三角形領域の最大誤差ＤｍａｘはともにＤ０＞Ｄｍａｘであったとする。したがって、この場合は、＃３０と＃３１の三角形領域に対してはともに分割省略可であることを示す情報が出力され、それ以降の分割処理は行われない。
【０１３９】
ところで、上述の説明は、ある１つの三角形領域を模式的に１次元として説明したが、実際には三角形領域は２次元で現されるので、最大誤差を求めるには三角形領域全体から求める必要がある。すなわち、三角形領域の２次元平面上における各位置の実際の画素値と平面近似画素値との誤差を計算し、その中から最大誤差を求める必要がある。
【０１４０】
ここで、図２９で説明したように、３頂点ａ，ｂ，ｃ上のデータ（画素値）をそれぞれＡ，Ｂ，Ｃとすると、位置ｐの画素値は、ｘ，ｙ，ｚとＡ，Ｂ，Ｃを用いて、前述した（３）式のように求めることができる。よって、位置ベクトルｐを変数とし、ｐの位置での画素値をＩ（ｐ）とし、その位置での平面近似画素値をＰ（ｐ）とするとき、それぞれの位置ｐにおける誤差（自乗誤差）Ｅｒｒは下記の（４）式のように求めることができる。なお、関数Ｐ（ｐ）は、前述の（１）式、（２）式、（３）式の関係を模式的に示したものである。
ただし、この（４）式を直接に実行すると、多くの計算量を要する。そこで、再帰的三角形領域分割で用いる斜辺中点のみで誤差を求めて、その誤差が所定値未満であるか否かの判定を行う。この方法について以下に説明する。
【０１４１】
図４６は図２９に対し、斜辺中点のみで誤差Ｅｒｒを求める方法を説明するもので、その斜辺中点における誤差Ｅｒｒは下記に示す（５）式によって求めることができる。
【０１４２】
Ｅｒｒ＝〔Ｐ−｛（Ａ＋Ｃ＋１）＞＞１｝〕２ （５）
この（５）式において、Ｐは斜辺中点における実際の画素値、ＡとＣは斜辺の両端の画素値である。また、＞＞１は右１ビットシフトを示し、これはＡ＋Ｃを２で割り算、つまり、ＡとＣの平均を取ることを意味している。なお、Ａ＋Ｃに１を加えてＡ＋Ｃ＋１としているのは１ビットシフトに先立ち、丸め演算を行うためである。
【０１４３】
この（５）式は、斜辺中点における実際の画素値と斜辺の両端を直線で結んだときの斜辺両端の画素値の平均値（これを近似画素値という）との差の二乗を誤差Ｅｒｒとして求めるものである。
【０１４４】
このようにして、（５）式を計算することによって、ある三角形領域の斜辺中点における実際の画素値と近似画素値との誤差Ｅｒｒが求められ、その誤差Ｅｒｒと所定値とを比較した結果、誤差Ｅｒｒが所定値より小さいと判定された場合、その斜辺中点画素値は、近似画素値である（Ａ＋Ｂ＋１）＞＞１に置き換えられる。そして、その三角形領域を当該斜辺中点で２分割し、それによって得られた２つの三角形領域の双方に対し、同様の処理、つまり、（５）式を計算して誤差Ｅｒｒを求め、誤差Ｅｒｒが所定値未満であるか否かを判定する処理を行う。
【０１４５】
図４７（ａ）〜（ｄ）はこの処理をより詳細に説明するもので、この図４７において、白丸はすでに誤差判定の済んだ点であり、黒丸はそれぞれの段階で誤差判定する点を示している。この図４７（ａ）〜（ｄ）のように、再帰的三角形領域分割処理の進行に連れて、分割されて得られたそれぞれの三角形領域の斜辺中点が元の三角形領域内に次々と生成され、それぞれの斜辺中点について誤差判定を行うことによって、結局は、元の三角形領域内全体を誤差判定したのと同等となる。
【０１４６】
このように、再帰的な三角形領域分割処理の進行に沿って、分割されたそれぞれの三角形領域の斜辺中点の画素値とその近似画素値との比較を行ってその誤差を求める処理を行う。これによって、それぞれの三角形領域においては斜辺中点のみの誤差を求める処理であるが、三角形領域の細分化に伴って逐次的に誤差を求める処理がなされるので、最終的には、ある三角形領域の内部のすべての点においても実際の画素値と近似画素値との誤差を求めることができる。
【０１４７】
また、このような処理を行うことによって、処理対象となる点ｐが現在処理中の三角形領域内にあるか否かの判断や、係数ｘ、ｙ、ｚを求める演算処理、点ｐを変数とする（４）式のような乗算を含む多くの演算量を必要とする演算を行う必要がなくなる。すなわち、本発明で用いる（５）式は、二乗の他には加減算とシフトのみで行われる簡単な演算で済む。
【０１４８】
図４８は図４６および図４７で説明した誤差の評価手順を用いたデータ省略可否処理を説明するフローチャートであり、その手順を説明する。まず、判定する三角形領域のデータ、つまり、２分木における当該三角形領域に対応するノードを入力し（ステップＳ９１）、その三角形領域の斜辺両端の画素値をＡとＣとしたとき、（Ａ＋Ｃ＋１）＞＞１によって求められる画素値とその斜辺中点画素値Ｐとの誤差Ｅｒｒを（５）式によって求める（ステップＳ９２）。
【０１４９】
そして、求められた誤差Ｅｒｒが所定値未満であるか否かを判定し（ステップＳ９３）、所定値以上であると判定された場合は、省略不可であることを示す情報を返す（ステップＳ９４）。ここで、誤差Ｅｒｒが所定値未満であると判定された場合は、現在処理中の三角形領域がそれ以上分割可能であるか否かを判定し（ステップＳ９５）、分割不可であると判定された場合は、省略可能であることを示す情報を出力する（ステップＳ９９）。また、分割可能であると判定された場合は、その斜辺中点画素値を、仮に、（Ａ＋Ｃ＋１）＞＞１として、その三角形領域を２分割する（ステップＳ９６）。
【０１５０】
そして、２分割された双方の三角形領域おいて符号化データの出力を省略できるか否かの判定を行う（ステップＳ９７）。このステップＳ９７におけるデータ省略可否の判定処理は、分割されて生成された２つの三角形領域それぞれについて、ステップＳ９１からの処理を再帰的に読み出して行うもので、この再帰的なデータ省略判定処理を行った結果、双方の三角形領域ともに省略可能か否か（誤差Ｅｒｒが所定値未満か否か）を判定し（ステップＳ９８）、双方の三角形領域がともに省略可能であると判定された場合は、省略可能を示す情報を返す（ステップＳ９９）。一方、双方の三角形領域のいずれかまたは双方が省略可能でないと判定された場合は、省略不可能を示す情報を返す（ステップＳ９４）。
【０１５１】
この図４８の処理手順の具体例を図４９の２分木を用いて説明する。今、図４９の２分木における＃２１の三角形領域に注目し、この＃２１の三角形領域を基点に図４８の処理手順に沿って処理を行うとする。
【０１５２】
この＃２１の三角形領域について、ステップＳ９１以降の処理を行い、（５）式によって求められた誤差Ｅｒｒが所定値未満と判定されたとする（ステップＳ９３）。ここで、当該三角形領域は分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する（ステップＳ９５，Ｓ９６）。
【０１５３】
そして、その２分割によって生成された＃３２と＃３３の２つの三角形領域のそれぞれについて、上述したような再帰的なデータ省略可判定処理を行う。すなわち、＃３２の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃３３の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃３２と＃３３の双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃２１の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では＃２１の三角形領域が省略可能であることはまだ確定していない。
【０１５４】
そして、今度は、これら＃３２と＃３３のそれぞれの三角形領域についてこれらの三角形領域が分割可能か否かを判定し（ステップＳ９５）、この場合、これら＃３２と＃３３のそれぞれの三角形領域は分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する（ステップＳ９６）。これによって、＃３２の三角形領域に対しては＃４４と＃４５の２つの三角形領域と、＃３３の三角形領域に対しては＃４６と＃４７の２つの三角形領域とが生成される。
【０１５５】
そして、まず、＃４４と＃４５の２つの三角形領域のそれぞれについて、上述したようなデータ省略判定処理を行う。すなわち、＃４４の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃４５の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃４４と＃４５の双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃３２の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では、＃３２の三角形領域が省略可能であることはまだ確定していない。
【０１５６】
同様に、＃４６と＃４７の２つの三角形領域のそれぞれについて、上述したような再帰的な省略判定処理を行う。すなわち、＃４６の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃４７の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃４６と＃４７の双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃３３の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では、＃３３の三角形領域が省略可能であることはまだ確定していない。
【０１５７】
そして、これら＃４４、＃４５、＃４６、＃４７のそれぞれの三角形領域についてこれらの三角形領域が分割可能か否かをそれぞれ判定したところ（ステップＳ９５）、この場合、これらの三角形領域は分割不可能であるので、その段階で、省略可能であることを示す情報を返す。
【０１５８】
このようにして、２分木の最終階層までの処理が終了すると、この場合、＃２１の三角形領域はその誤差Ｅｒｒが所定値未満で、かつ、それを２分割して得られた＃３２と＃３３の三角形領域もそれぞれの誤差Ｅｒｒが所定値未満であり、さらに、＃３２を２分割して得られた＃４４と＃４５の２つの三角形領域と＃３２を２分割して得られた＃４６と＃４７の２つの三角形領域の誤差Ｅｒｒがそれぞれ所定値未満であると判定される。
【０１５９】
これによって、この２分木の最下層の＃４４と＃４５の三角形領域がともに省略可能であるので、その上位の＃３２の三角形領域も省略可能であることが確定し、また、２分木の最下層の＃４６と＃４７の三角形領域がともに省略可能であるので、その上位の＃３３の三角形領域も省略可能であることが確定し、これら、＃３２と＃３３の三角形領域がともに省略可能であるので、その上位の＃２１の三角形領域も省略可能であることが確定する。これによって、＃２１は以降の分割が省略される。これを示したものが図５０である。
【０１６０】
また、図４９で示す２分木において、＃２３の三角形領域に注目し、この＃２３の三角形領域を基点に図４８の処理手順に沿って処理を行う例を図５１を参照しながら簡単に説明する。
【０１６１】
この＃２３の三角形領域について、ステップＳ９１以降の処理を行い、（５）式によって求められた誤差Ｅｒｒが所定値未満と判定されたとする。ここで、当該三角形領域は分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する。
【０１６２】
そして、その２分割によって生成された＃３６と＃３７の２つの三角形領域のそれぞれについて、再帰的な省略判定処理を行う。すなわち、＃３６の三角形領についてステップＳ９１以降の処理を行い、その結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃３７の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値以上であると判定されたとすると、この場合は、ステップＳ９８において双方の三角形領域がともに省略可能と判定されないので、省略不可能であることを示す情報を返す（ステップＳ９４）。
【０１６３】
一方、ステップＳ９３において誤差Ｅｒｒが所定値未満であると判定された＃３６の三角形領域は、ステップＳ９５において分割可能か否かが判定され、この場合、分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する（ステップＳ９６）。これによって、＃３６の三角形領域を２分割した＃４ｃと＃４ｄの２つの三角形領域が生成される。
【０１６４】
そして、＃４ｃと＃４ｄの２つの三角形領域のそれぞれについて、上述したような再帰的な省略判定処理を行う。すなわち、＃４ｃの三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃４ｄの三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃４ｃと＃４ｄの双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃３６の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では、＃３６の三角形領域が省略可能であることはまだ確定していない。
【０１６５】
そして、これら＃４ｃと＃４ｄの三角形領域それぞれについて、これらの三角形領域が分割可能か否かをそれぞれ判定したところ（ステップＳ９５）、この場合、これらの三角形領域は分割不可能であるので、その段階で、省略可能であることを示す情報を返す。
【０１６６】
このようにして、＃２３を起点に２分木の最終階層までの処理が終了すると、この場合、＃３６の三角形領域が省略可能、＃４ｃと＃４ｄの三角形領域がともに省略可能と判定され、この結果、＃４ｃと＃４ｄの三角形領域がともに省略可能であるので、その上位の＃３６の三角形領域も省略可能であることが確定し、＃３６以下の三角形領域はすべて省略することができる。
【０１６７】
図５２は上述したように、＃２１の三角形領域よりも下の階層の三角形領域と＃３６の三角形領域よりも下の階層の三角形領域が省略された２分木を示すものであり、それを１つの正方形領域で示したものが図５３（ａ）〜（ｄ）である。
【０１６８】
この図５３によれば、＃２１の三角形領域（斜線の施された領域）はそれよりあとの分割は省略され、また、＃３６の三角形領域（斜線の施された領域）もそれよりあとの分割が省略されており、これらの領域はその三角形領域、すなわち、＃２１の三角形領域の符号化データと＃３６の三角形領域の符号化データがそれぞれ対応する領域の符号化データとして出力される。
【０１６９】
以上のような処理によって省略された２分木のデータを図５４のようなデータ読み出しが行われることによって１次元のデータ配列を生成することができる。この図５４は図５３に示した２分木を第１階層から第４階層までそれぞれの階層ごとに図示の太線矢印で示すような方向にデータ読み出しを行う例を説明する図であり、これを縦に並べて示したものが図５５である。
【０１７０】
この図５５は先に説明した図４４の１次元化されたデータ配列（上述したデータ圧縮処理がなされていない場合の１次元化されたデータ配列）に対応するものである。この図５５の右端に示される四角で囲った“０”または“１”の１ビットのデータは、対応する三角形領域のそれ以上の分割が省略されているか否かを示すもので、“０”が与えられた三角形領域はそれ以降において分割省略がなされていないことを示し、“１” が与えられた三角形領域はそれ以降において分割省略がなされていることを示している。
【０１７１】
たとえば、＃１０、＃１１，＃２０の三角形領域は“０”が与えられ、＃２１の三角形領域は“１”が与えられている。同様に、＃３０、＃３１、＃３４、＃３５の三角形領域は“０”が与えられ、＃３６の三角形領域は“１”が与えられている。以下、＃４０以降の三角形領域はすべて“０”が与えられている。
【０１７２】
これは、＃２１と＃３５の三角形領域はそれ以降の分割が省略されていることを示し、それ以外の三角形領域は分割省略がなされていないことを示している。したがって、＃２１の三角形領域はその第３階層以下の符号化データ（第３階層においては＃３２と＃３３、第４階層においては＃４４、＃４５、＃４６、＃４７）は出力されず、＃２１の三角形領域の符号化データが用いられる。
【０１７３】
同様に、＃３６の三角形領域は第４階層の符号化データ（＃４ｃ、＃４ｄ）は出力されず、＃３６の三角形領域の符号化データが用いられる。
【０１７４】
この図５５で示す１次元化されたデータ配列を図４４で示した１次元化されたデータ配列と比較すると、より多くのデータが省略されていることがわかり、データ圧縮率がより高いものとなっている。
【０１７５】
また、この図５５からもわかるように、ある三角形領域（たとえば、＃２１の三角形領域や＃３６の三角形領域）においてそれ以降の分割省略がなされた場合、それよりも下位の三角形領域においては、その三角形領域が省略されていることを明示的に示す必要がないことも特徴の１つである。これは、本発明においては、それぞれの三角形領域の位置関係が自明であるため、上位の三角形領域においてそれ以上の分割省略を行った場合、それより下位のどの三角形領域が省略されているかが自明となるためであり、それによって、その省略された三角形領域において、その省略を示すためのデータの付加は不要となる。
【０１７６】
そして、この図５５で示す符号化データは復号化側に送られて復号化される。この復号化処理は、図３９および図４０で示したフローチャートに沿った処理手順で復号化されるが、その要部についてのみ説明すると、この場合、図５５で示した分割省略の有無を示す情報（“０”または“１”）を符号化データ解析手段１２の解析結果に基づいてデータ省略判定手段１７が調べる。そして、その結果、現在、復号化対象の三角形領域の上位の三角形領域で分割省略がなされていないことを示す“０”が与えられていれば、その三角形領域についてはデータ入力を行って斜辺中点画素値を復号化し、上位の三角形領域で分割省略がなされていることを示す“１”が与えられていれば、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報“１”の付加された三角形領域の符号化データを用いて復号化する。なお、この全体的な復号化処理については、前述の本発明の基礎となる画像処理技術の説明の中でなされているので、それについての説明は省略する。
【０１７７】
なお、本発明は上述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述した符号化データ（図５５で示す１次元化されたデータ）を所定の暗号化鍵を用いて暗号化してそれを復号化側に送信し、復号化側ではその暗号化された符号化データを所定の復号化鍵を用いて復号化するということもできる。
【０１７８】
たとえば、この暗号化として、２分木の各階層ごとの符号化データを階層に対応して用意された暗号化鍵を用いて暗号化する。これによって、各階層ごとのそれぞれの三角形領域のデータ（斜辺中点画素値）がその階層に用意された暗号化鍵で暗号化されたデータとして出力することができる。そして、このような符号化側からの暗号化データを復号化する際は、２分木の各階層に対応して用意された復号化鍵を取得して各階層ごとに復号するようにする。これによって、各階層対応の復号化鍵によってそれぞれの階層に応じた解像度の画像が復元されるので、たとえば、第２階層までの復号化鍵しか取得できなかった場合には、第２階層に対応した解像度での画像しか得ることができず、また、第３階層までの復号化鍵を取得すれば、第３階層までの解像度の画像を得ることができるというように、どの階層までの復号化鍵を取得したかによって、その階層に応じた解像度の画像を得ることができる。
【０１７９】
これによって、たとえば、画像データの閲覧システムなどにおいて、ユーザが閲覧できる階層（解像度）を制限することができ、閲覧する解像度に応じた課金の設定などを行うことができる。また、著作権の保護の目的などにも適用することができるといった効果が得られる。
【０１８０】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【０１８１】
【発明の効果】
以上説明したように本発明によれば、三角形領域内を平面近似した画素値と実際の画素値との誤差が所定値より小さいとき、この領域を平面で近似し、以降のデータ出力を省略するようにしている。これにより、出力される符号化データ量を削減することができる。本発明は、基本的には、通常の座標空間での処理と同様であるが、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理技術（本発明の基礎となる画像処理技術）を用いることにより、符号化の後処理としてのデータ省略操作が可能となり、これによって、計算量を少なくすることができ、データ削減に要する処理量を少なくすることができる。また、本発明は再帰的三角形領域分割と同時処理でのデータ省略操作も可能となり、これらによって、たとえば、リアルタイム処理などにおいて、データ省略操作を途中出中断し、それまでの結果を符号化出力とすることも可能である。
【０１８２】
また、復号化側では、分割省略がなされているか否かを判定して、その判定結果に基づいて、三角形領域の合成をおこなうようにしている。このとき、分割省略がなされているか否かの判定は、省略がなされた最上位の三角形領域に付された符号化の省略を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が存在する場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを復号化するようにしているので、効率的な三角形領域の合成が行える。
【図面の簡単な説明】
【図１】 本発明の基礎となる画像処理技術についての符号化側の構成図である。
【図２】 図１で示した画像データ入力手段の構成を説明する図である。
【図３】 処理対象画像が正方形である場合、その画像を三角形に分割した例を示す図である。
【図４】 処理対象画像が正方形でない場合、その画像を複数の正方形領域に分割した例を示す図である。
【図５】 画像を複数の正方形領域に分割する際の分割処理手順を説明するフローチャートである。
【図６】 画像を複数の正方形領域に分割する際に生じる空白部分へ画素値０を補填する例を説明する図である。
【図７】 ある１つの正方形を２つの三角形に分割する２つの方法（第１の方法と第２の方法）について説明する図である。
【図８】 ある１つの正方形を２分割して２つの三角形を得て、さらに、その２つの三角形を再帰的に分割して得られた三角形の８種類の型を示す図である。
【図９】 図８で示した三角形の型が相互に関連つけられることを説明する図である。
【図１０】 図７で示した２つの分割方法によって分割された三角形と元の正方形との画素値の継承規則を示す図である。
【図１１】 図８で示した８種類の型をそれぞれ２分割して得られた三角形の型とその画素値の継承規則を示す図である。
【図１２】 ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割して得られる三角形の型を示す図である。
【図１３】 ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割し、それをさらに２分割して得られる三角形の型を２分木で表現した図である。
【図１４】 図１で示した符号側の具体的な処理を説明するために一辺の画素数が３で、それぞれの画素に具体的な数値（画素値）を与えた図である。
【図１５】 図１４を用いて三角形領域の再帰的分割処理を行う例を説明する図である。
【図１６】 図１５で示した三角形領域の再帰的分割処理手順を説明するフローチャートである。
【図１７】 図１５で示した三角形領域の再帰的分割処理手順を行う際の求めるべき画素値を図１１に示す継承規則を参照して得る処理を説明する図である。
【図１８】 図１５から図１７で示した処理を２分木で表現した図であり、図１３の２分木表現に斜辺中点の画素値を加えた図である。
【図１９】 処理対象画像を複数の正方形領域に分割した例を示す図である。
【図２０】 図１９で得られた正方形領域それぞれを２分木で表現した例を説明する図である。
【図２１】 ある１つの２分木で表現される画像データを符号化する順序の一例を説明する図である。
【図２２】 図２１で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２３】 ある１つの２分木で表現される画像データを符号化する順序の他の例を説明する図である。
【図２４】 図２３で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２５】 本発明の基礎となる画像処理技術についての符号化処理手順を説明するフローチャートである。
【図２６】 本発明の基礎となる画像処理技術についての復号化側の構成図である。
【図２７】 図２２の符号化データを復号化する手順を説明する図である。
【図２８】 図２７の復号化手順を実際の画像の復元を例にとって説明する図である。
【図２９】 画像データを復号化する際の三角形内部にデータを補間する処理の一例を説明する図である。
【図３０】 画像データを復号化する際、ある特定の領域（たとえば関心領域）を優先的に高解像度で複合する処理を説明する図である。
【図３１】 図３０におけるある特定の領域を処理対象となる画像に対応させた例を示す図である。
【図３２】 図３０による復号化手順によって復元される画像の復元度合い変化を示す図である。
【図３３】 本発明の基礎となる画像処理技術についての復号化処理手順を説明するフローチャートである。
【図３４】 図２６で示した画像データ出力手段の構成を説明する図である。
【図３５】 本発明の画像処理装置の符号化側の実施形態を説明する構成図である。
【図３６】 本発明の符号化側の処理手順を説明するフローチャートであり、正方形領域分割とその符号化手順を説明するフローチャートである。
【図３７】 本発明の符号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の符号化手順を説明するフローチャートである。
【図３８】 本発明の画像処理装置の復号化側の実施形態を説明する構成図である。
【図３９】 本発明の復号化側の処理手順を説明するフローチャートであり、それぞれの正方形領域の復号化と正方形領域の合成処理手順を説明するフローチャートである。
【図４０】 本発明の復号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の復号化手順を説明するフローチャートである。
【図４１】 本発明の実施形態の具体例を説明するための２分木の例を示す図である。
【図４２】 図４１に示す２分木に対応する再帰的三角形領域分割例を示す図である。
【図４３】 図４１の２分木で表現される画像データを符号化する順序を説明する図である。
【図４４】 図４３に示す順序で符号化されたデータを縦方向に並べたデータ配列を示す図である。
【図４５】 再帰的分割されて得られたある１つの三角形領域内のそれぞれの位置における画素値の変化を１次元的に表し、それを直線近似した図である。
【図４６】 斜辺中点の画素値に対する近似誤差を説明するための図である。
【図４７】 ある三角形領域を再帰的三角形領域分割処理することによって、斜辺中点のみにおける誤差判定であってもその三角形領域全体の誤差判定が可能であることを説明する図である。
【図４８】 本発明が行うデータ省略可否処理を説明するフローチャートである。
【図４９】 図４８のフローチャートによる処理の具体例を図４１の２分木の＃２１の三角形領域を用いて説明する図である。
【図５０】 図４９の２分木において＃２１の三角形領域についてデータ省略判定を行った結果のデータ省略例を示す図である。
【図５１】 図４８のフローチャートによる処理の具体例を図４１の２分木の＃２３の三角形領域を用いて説明する図である。
【図５２】 図５０の２分木において、さらに、＃２３の三角形領域についてデータ省略可否を行った結果のデータ省略例を示す図である。
【図５３】 図５２のデータ省略結果をある１つの四角形領域として示す図である。
【図５４】 図５２に示すデータ省略がなされた２分木において符号化データ出力例を説明する図である。
【図５５】 図５４による符号化データを縦に並べたデータ配列を示す図である。
【符号の説明】
１ 画像データ入力手段
２ 正方形領域分割手段
３ 再帰的三角形領域分割手段
４ 三角形領域分割制御手段
５ 符号化データ生成手段
６ 符号化データ出力手段
７ 近似誤差判定手段
８ データ省略判定出力手段
１０ データ省略可否判定手段
１１ 符号化データ入力手段
１２ 符号化データ解析手段
１３ 再帰的三角形領域合成手段
１４ 三角形領域合成制御手段
１５ 正方形領域合成手段
１６ 画像データ出力手段
１７ データ省略判定手段
３１ 形状型記憶手段
３２ 頂点画素値記憶手段
３３ 斜辺中点画素値取得手段
３４ 形状型更新手段
３５ 頂点画素値更新手段
＃１〜＃８ 三角形型
【発明の属する技術分野】
本発明は画像処理方法及び画像処理装置並びに画像処理プログラムに関する。特に、画像を正方形領域とし、その正方形領域を三角形領域に分割し、分割された三角形領域に対し画像処理行う画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
【０００２】
【従来の技術】
ネットワーク環境の普及により、画像のようなデータ量の多い情報も通信対象としてごく普通に用いられるようになってきており、様々な機器の上で画像を取り扱うことが一般的になっている。このとき、同一の画像データであっても、その出力機器の能力に対応し、その大きさ、解像度などを効率よく最適化することが要求されている。
【０００３】
また、伝送能力の低い通信路で画像が送られる場合や大量の画像を閲覧するような場合においては、データ量を削減するために、あるいはユーザにとって意味のある部分を優先的に表示するために、画像の一部分のみの解像度を効率良く上げることが要求されている。
【０００４】
特に、情報量をできるだけ保存しつつデータ量を削減するために、様々な方法が用いられている。この符号化方法としては、たとえば、ＲＧＢなど通常の色空間でのデータをそのまま用いる方法と、それを周波数分析した周波数空間でのデータを用いる方法の２種類に大別することができる。
【０００５】
通常の色空間を用いる方法としては、特開平９−８４００２号公報に記載の技術、特開平９−１９１４０９号公報に記載の技術などがある。この特開平９−８４００２号公報に記載の技術は、その公報に記載された図１に見られるように、入力された画像を、所定の相関を有するオブジェクト領域へ分割し、そのオブジェクト領域のそれぞれを多角形で近似し、その内部を階層的に平面近似するものである。これは画像を構成するオブジェクト毎に最適な解像度を設定でき、またユーザが関心を持つであろうオブジェクトを優先的に伝送できるなどの利点がある。
【０００６】
また、特開平９−１９１４０９号公報に記載の技術は、その公報の図８に見られるように、画像を三角形領域平面の集合として表現するものである。このため、相対的に少ない計算量、メモリ量での処理が可能であると考えられ、汎用機器、小型機器においての使用に利点がある。
【０００７】
一方、周波数空間データを用いる方法としては、特開平１１−２９８８９７号公報に記載の技術、特開２０００−１２５２９４号公報に記載の技術などがある。
【０００８】
特開平１１−２９８８９７号公報に記載の技術は、ＪＰＥＧ２０００規格と同様に、画像処理部分においては、ウェーブレット変換、あるいは、周波数領域で表現した画像データのオクターブ分割により、画像を表現するものであって、その公報に記載された図２および図３に見られるように、オクターブ分割により再帰的に縮小画像、つまり、画像の低周波数成分と、画像の高周波数成分とが分離される。このように、画像の周波数空間での処理を行うことにより、通常の座標空間でのデータの滑らかさが損なわれないようにすることができる。
【０００９】
また、特開２０００−１２５２９４号公報に記載の技術は、特開平１１−２９８８９７号公報に記載の技術と同様であるが、ウェーブレット変換を主にはハードウェアにおいて実行することを意図したものである。この場合、処理速度などの改善が期待できる。
【００１０】
【特許文献１】
特開平９−８４００２号公報
【特許文献２】
特開平９−１９１４０９号公報
【特許文献３】
特開平１１−２９８８９７号公報
【特許文献４】
特開２０００−１２５２９４号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、通常の色空間データを用いる方法である特開平９−８４００２号公報に記載の技術においては、オブジェクト領域抽出のための大きな計算量、また大きなメモリ量を必要とすると言う問題がある。また、オブジェクト領域抽出に失敗した場合の画像の劣化も非常に大きいものとなる。
【００１２】
また、同様に通常の色空間データを用いる方法である特開平９−１９１４０９号公報に記載の技術においては、その公報に記載された図７、図１１に見られるように、この画像の伝送には、３頂点の座標及び画像情報が必要であり、伝送される情報量が多いことになる。最悪の場合、元データの数倍のデータ量となる場合すら考えられる。また、この技術においては、部分的な解像度の改善、段階的な解像度の向上は非常に困難である。
【００１３】
また、周波数空間でのデータを用いる方法である特開平１１−２９８８９７号公報に記載の技術においては、処理を行うために非常に大きな計算量とメモリ量が必要とされる。これは、汎用的な装置、また小型情報機器などにおいては非常に大きな問題となる。
【００１４】
同様に周波数空間でのデータを用いる方法の特開２０００−１２５２９４号公報に記載の技術においては、この処理をソフトウェアで実行した場合の課題は、特開平１１−２９８８９７号公報に記載の技術と同様である。また、この特開２０００−１２５２９４号公報に記載の技術をハードウェアで実行した場合は、装置としての汎用性が損なわれると言う課題がある。
【００１５】
そこで本発明は、より少ない計算量、メモリ量、データ量での画像符号化を可能とする画像処理方法および画像処理装置ならびに画像処理プログラムを実現することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、画像データの符号化および復号化を行うものであるが、その符号化および復号化を行うに際して、処理対象となる画像を正方形とすることが前提である。この画像の正方形化を行う際、処理対象画像を１つ以上の正方形領域に分割する方法、もう１つは処理対象画像を正方形に変形させることで１つの正方形領域を生成する方法が考えられるが、本発明では前者、すなわち、処理対象画像を１つ以上の正方形領域に分割する方法を採用する。
【００１７】
まず、本発明の画像処理方法について言えば、この画像処理方法の符号化側は、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理方法であって、その画像処理手順として、処理対象となる画像を入力する画像入力ステップと、入力された画像を１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定するデータ省略可否判定ステップと、このデータ省略可否判定ステップの判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成ステップと、生成された符号化データを出力する符号化データ出力ステップとを含むことを特徴としている。
【００１８】
この画像処理方法において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記データ省略可否判定ステップは、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否処理として行い、このデータ省略可否処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するようにしている。
【００１９】
また、この画像処理方法において、前記データ省略可否判定処理によって、ある三角形領域のそれ以上の分割が省略可能とされた場合、三角形領域の分割省略を示す情報は、分割省略可能とされた最上位の三角形領域のみに付されるようにしている。
【００２０】
また、本発明の画像処理方法において、その復号化側は、１つ以上の正方形領域に分割された画像のそれぞれの正方形領域が再帰的三角形領域分割処理され、その分割された三角形領域が符号化された符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定ステップと、このデータ省略判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００２１】
この画像処理方法において、前記データ省略判定ステップが行うデータ省略がなされているか否かの判定は、データ省略の有無を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしている。
【００２２】
また、本発明の画像処理装置において、その符号化側は、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理装置であって、その構成要素として、画像を入力する画像入力手段と、入力された画像を１つ以上の正方形領域に分割する正方形領域分割手段と、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段と、分割された三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定するデータ省略可否判定手段と、このデータ省略可否判定手段の判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成手段と、生成された符号化データを出力する符号化データ出力手段とを含むことを特徴としている。
【００２３】
この画像処理装置において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記データ省略可否判定ステップは、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否処理として行い、このデータ省略可否処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するようにしている。
【００２４】
また、この画像処理装置において、前記データ省略可否処理によって、ある三角形領域のそれ以上の分割が省略可能とされた場合、三角形領域の分割省略を示す情報は、分割省略可能とされた最上位の三角形領域のみに付されるようにしている。
【００２５】
また、本発明の画像処理装置において、その復号化側は、１つ以上の正方形領域に分割された画像のそれぞれの正方形領域が再帰的三角形領域分割処理され、その分割された三角形領域が符号化された符号化データを復号化する画像処理装置であって、その構成要素として、符号化データを入力する符号化データ入力手段と、この符号化データ入力手段に入力された符号化データを解析する符号化データ解析手段と、この符号化データ解析手段による解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定手段と、このデータ省略判定手段の判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成手段と、合成された三角形領域により正方形領域を合成する正方形領域合成手段と、合成された正方形領域から画像データを復元して出力する画像データ出力手段と、を含むことを特徴としている。
【００２６】
また、この画像処理装置において、前記データ省略判定ステップが行うデータ省略がなされているか否かの判定は、データ省略の有無を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしている。
【００２７】
また、本発明の画像処理プログラムにおいて、その符号化側は、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する処理をコンピュータで実行するための画像処理プログラムであって、その画像処理プログラムは、処理対象となる画像を入力する画像入力ステップと、入力された画像を１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定するデータ省略可否判定ステップと、このデータ省略可否判定ステップの判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成ステップと、生成された符号化データを出力する符号化データ出力ステップと含むことを特徴としている。
【００２８】
この画像処理プログラムにおいて、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記データ省略可否判定ステップは、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否処理として行い、このデータ省略可否処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するようにしている。
【００２９】
また、前記データ省略可否判定処理によって、前記データ省略可否処理によって、ある三角形領域のそれ以上の分割が省略可能とされた場合、三角形領域の分割省略を示す情報は、分割省略可能とされた最上位の三角形領域のみに付されるようにしている。
【００３０】
また、本発明の画像処理プログラムにおいて、その復号化側は、１つ以上の正方形領域に分割された画像のそれぞれの正方形領域が再帰的三角形領域分割処理され、その分割された三角形領域が符号化された符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定ステップと、このデータ省略判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００３１】
この画像処理プログラムにおいて、前記データ省略判定ステップが行うデータ省略がなされているか否かの判定は、データ省略の有無を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしている。
【００３２】
このように本発明は、画像を正方形領域とした上で処理を行うものであり、その符号化側の発明によれば、処理対象となる画像データを符号化するに際して、処理対象の画像データを１つ以上の正方形領域に分割し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素情報（以下では画素値という）と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形に対する分割の仕方を決めておけば、あとは分割順にしたがって自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承でき、斜辺中点の画素値も元の正方形から求めることができる。そして、このような再帰的三角形分割処理による三角形の型と保持すべき画素値（斜辺中点画素値）を２分木で表現でき、その２分木に基づいて１次元化された符号化データとして出力することができる。
【００３３】
これによれば、処理対象となる画像データを符号化する際、符号化を行う際に保持あるいは伝送すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【００３４】
また、本発明ではそれに加えて、省略できる符号化データについてはそれを省略することでデータ量のより一層の削減を図るようにしている。このデータ省略を行う際、データ省略が可能か否かを判定する。このデータ省略可否判定は、処理対象の三角形領域を再帰的に２分割して得られた各三角形領域について再帰的に行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域より下位の三角形領域の符号化データ出力を省略可能であるとする。これによって、符号化データ量を削減することができる。
【００３５】
また、データ省略可否処理によって、ある三角形領域より下位の三角形領域の符号化が省略可能とされた場合、三角形領域の符号化の省略を示す情報は、その最上位の三角形領域のみに付され、それよりも下位の三角形領域においては、その三角形領域が省略されていることを明示的に示す必要がないことも特徴の１つである。これは、本発明においては、それぞれの三角形領域の位置関係が自明であるため、上位の三角形領域においてそれ以上の分割省略を行った場合、それより下位のどの三角形領域が省略されているかが自明となるためであり、それによって、その省略された三角形領域において、その省略を示すためのデータを付加する必要がなくなる。
【００３６】
また、本発明では、符号化側からの符号化データを復号する際は、分割省略がなされているか否かを判定して、その判定結果に基づいて、三角形領域の合成をおこなうようにしている。このとき、分割省略がなされているか否かの判定は、省略がなされた最上位の三角形領域に付された符号化の省略を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が存在する場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを復号化するようにしているので、効率的な三角形領域の合成が行える。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。まず、本発明の基礎となる技術として、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理と、それによって符号化された符号化データを復号化する画像処理について説明し、そのあとで、本発明において行われるデータ省略処理について説明する。
【００３８】
図１は本発明に係る画像処理装置の符号化、すなわち、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する符号化側の構成を示すブロック図である。その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６を有した構成となっている。
【００３９】
画像データ入力手段１は、図２に示すように、個々の画素データを入力する画素データ入力手段１０１と、入力された画素の色データを各色成分へ分離する色成分分離手段１０２と、分離された色データに基づき、たとえば、ＲＧＢからＹＵＶデータへ変換する色変換手段１０３と、必要であるならばデータの間引きを行うデータ間引き手段１０４を有している。なお、この画像データ入力手段１に入力される画像データは、たとえば、カメラからの画像データ、ファイルからの画像データ、何らかの通信手段からの画像データなどが考えられる。
【００４０】
再帰的三角形領域分割手段３は、少なくとも、複数種類の三角形型（これについては後述する）を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段３３と、後述する規則（図１１参照）を用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５とを有している。
【００４１】
以下に図１で示した各構成要素の動作について詳細に説明する。
【００４２】
本発明は、処理すべき画像データを正方形とし、それを再帰的に三角形領域へ分割してその三角形領域に対して画像処理を行う。たとえば、画像データ入力手段１から得られた画像データのある１つの色成分が図３（ａ）のようであるとする。本発明は、これを、図３（ｂ）のように三角形領域の集合として表現する。
【００４３】
このように、本発明では処理すべき画像データが正方形であることを前提に処理を行うが、画像データ入力手段１から得られる画像データは必ずしも正方形であるとは限らない。そこで、画像データが正方形ではない場合の処理について説明する。
【００４４】
入力された画像データが正方形ではない場合、正方形領域分割手段２によって入力された画像データを１つ以上の正方形領域へ分割する。たとえば、入力された画像データが、図４（ａ）のような横長の長方形画像である場合、これを図４（ｂ）で示すような複数の正方形領域へ分割する。この時、分割される正方形の１辺に含まれる画素数をＬとすると、Ｌは２のＮ剰＋１であることが望ましい。この理由は後述する。なお、Ｎは自然数である。
【００４５】
このように、もともと正方形でない画像を正方形領域分割手段２によって正方形領域へ分割すると、図４（ｂ）に示すように、画像の端部に重なる正方形部分には画像の存在しない空白部が生じる。また、一般的には、画像データの幅と高さは、Ｌの整数倍とはならない。この空白部に対する処理と画像データの幅と高さが、Ｌの整数倍とはならない場合の処理について図５のフローチャートと図６の画像例を参照しながら説明する。
【００４６】
図５は正方形領域分割処理手段２が行う正方形領域分割処理手順を説明するフローチャートであり、まず、分割すべき正方形領域の１辺値としてＬを入力する（ステップＳ１）。ただし、上述したように、Ｌは２のＮ剰＋１とする（Ｎは自然数）とする。ここで、当該画像の幅ＷがＬの整数倍ではないとき、当該画像の幅がＬの整数倍となるまで０を挿入する（ステップＳ２）。また、同様に、当該画像の高さＨがＬの整数倍ではないとき、当該画像の高さＨがＬの整数倍となるまで０を挿入する（ステップＳ３）。
【００４７】
図６は、ある横長の画像に対し、図５で説明した正方形領域分割処理を施した例である。この図６からもわかるように、当該画像の幅ＷはＬの整数倍ではないので、当該画像の幅がＬの整数倍であるとして、その余白部に０を補填している。同様に、当該画像の高さＨはＬの整数倍ではないので、当該画像の高さＨがＬの整数倍であるとして、その余白部に０を補填している。
【００４８】
この図５および図６で説明した例は、画像の幅方向および高さ方向をＬの整数倍として、それによって生じる余白部に０を補填するようにした例について説明したが、それ以外にも、たとえば、ＪＰＥＧなどの処理に見られるように、幅方向においては、当該画像における最も右側の列の画素値を繰り返し、また高さ方向においては、当該画像における最も下側の行の画素値を繰り返すと言うようなものであってもよい。また、ＪＰＥＧ２０００などに見られるように、幅方向においては、当該画像における最も右側の列で画像値を折り返す、また高さ方向においては、当該画像における最も下側の行で画像値を折り返すと言うようなものであってもよい。
【００４９】
なお、これ以降の処理は、ＪＰＥＧなどと同様に、この分割された正方形領域のそれぞれにおいて独立した処理となるので、一般性を損なうことなく、画像データは正方形であるとして説明を続ける。
【００５０】
次に上述したように正方形領域に分割されたそれぞれの正方形を三角形に分割する処理について説明する。この三角形に分割する処理は、再帰的三角形領域分割手段３によって行われる。この再帰的三角形領域分割手段３は、それぞれの正方形領域を再帰的に三角形領域へ分割するもので、たとえば、図７（ａ），（ｂ）に示すように、ある１つの正方形領域は、２つの三角形に分割される。そして、この図７（ａ），（ｂ）では図示されていないが、分割された三角形はさらにそれぞれ三角形に分割される。
【００５１】
この正方形を三角形に分割する方法は二通りあり、その第１の方法としては図７（ａ）示すような分割の仕方であり、第２の方法としては図７（ｂ）に示すような分割の仕方である。
【００５２】
すなわち、正方形の４つの角部の画素値をａ，ｂ，ｃ，ｄとしたとき、図７（ａ）は第１の方法によって２つの三角形に分割し、図７（ｂ）は第２の方法によって２つの三角形に分割した例であり、これら第１および第２の方法を用いて分割されることによって生成される三角形の型を、それぞれの図中で示したように、＃１、＃２、＃３、＃４と表すことにする。
【００５３】
ところで、この図７（ａ），（ｂ）のように分割された三角形を再帰的に分割して得られる三角形は合計で８種あり、その８種類のそれぞれを図８に示すように、＃１、＃２、＃３、＃４、＃５、＃６、＃７、＃８の型番号を付す。なお、この図８に示される各三角形のそれぞれの頂点に付されたａ，ｂ，ｃはそれぞれその位置における画素値を表しており、また、それぞれの斜辺に付されたｄは、その斜辺中点位置における画素値を表すが、これについては後に説明する。
【００５４】
このような再帰的三角形領域分割されたそれぞれの三角形の型（三角形型）は相互に関連つけることができる。たとえば、図９に示すように、＃６の型の三角形を分割すると、＃１と＃４の型の三角形が生成される。つまり、本発明の再帰的三角形領域分割処理において、分割処理後の３角形の型は、その元となる三角形の型から自動的に定まるので、出力データの中に三角形の型を保存する必要はない。
【００５５】
ところで、上述した図７により正方形を三角形に分割する方法（第１の方法および第２の方法）について説明をしたが、このとき、正方形の４頂点の位置の画素値がどのようにして三角形に継承されるのかを説明する。
【００５６】
ここで、正方形の４頂点の画素値がａ，ｂ，ｃ，ｄであったとすると、この正方形の４頂点の画素値ａ，ｂ，ｃ，ｄの継承パタンとしては図７（ａ），（ｂ）で説明した分割の仕方によって２種類がある。
【００５７】
図１０はこの継承規則を示したものである。たとえば、正方形が図７（ａ）のような方法（第１の方法）で三角形に分割されたとすると、図１０の上段に示すように、分割前（正方形）の型をここでは＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃１型の三角形の画素値として（ａ，ｂ，ｃ，−）が継承され、＃２型の三角形の画素値として（ｂ，ｃ，ｄ，−）が継承される。
【００５８】
一方、正方形が図７（ｂ）のような方法（第２の方法）で三角形分割されたとすると、図１０の下段に示すように、分割前（正方形）の型をここでも＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃３型の三角形の画素値として（ａ，ｃ，ｄ，）が継承され、＃４型の三角形の画素値として（ａ，ｂ，ｄ，−）が継承される。
【００５９】
なお、本発明においては、それぞれの三角形の３頂点の画素値に加え、三角形の斜辺中点の画素情報も加えた４つの画素値を考慮するが、図１０の中で、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００６０】
図１１は図８で示した８種類の三角形をさらに分割したときの画素値の継承規則を示すものであり、この図１１に示されるように、分割前にある型（＃１から＃８）であった三角形は、それを分割すると、それぞれ２つの型の三角形となるが、そのときの画素値はこの図１１に示すように継承される。なお、この図１１においても、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００６１】
この図１１によれば、たとえば、頂点の画素値がａ，ｂ，ｃ、斜辺中点の画素値がｄである＃６型の三角形を分割すると、＃１型と＃４型の２つの三角形に分割され（図９参照）、＃１型の三角形の画素値は（ａ，ｄ，ｃ，−）、＃４型の三角形の画素値は（ｃ，ｄ，ｂ，−）となる。
【００６２】
以上の再帰的三角形分割処理のまとめを図１２により説明する。ある１つの正方形を、たとえば、＃１と＃２の型の三角形に分割するものとする。この、＃１と＃２の型の三角形は、＃１型についてはさらに＃５型と＃６型に分割され、＃２型についてはさらに＃７型と＃８型に分割される。この分割された三角形は、さらに、より小さな三角形に分割される。なお、この再帰的な分割処理は、斜辺中点に画素が存在する限りは次々と分割可能であるが、分割限界に達しなくても所定の段階で分割処理を終了することも可能である。どの段階まで分割するかは予め設定しておくことができる。
【００６３】
上述した再帰的三角形分割処理は、図１３に示すような２分木で表現することができる。図１３において、○の中の数字は三角形の型を示す。最も上部の内部に数字の無い○を正方形とし、これをルート（根）Ｒとした２分木が生成される。
【００６４】
ルートＲから生成される２つのノード（節）Ｎ１１，Ｎ１２の三角形型は、図７（ａ），（ｂ）の２つの分割方法（第１の方法または第２の方法）に対応しているが、これが決定されてしまえば、それぞれのノードを２分割してできる三角形は、図１１に示すような継承規則により一意に定まる。たとえば、＃１型を持つ三角形は、図１１からわかるように、＃５型と＃６型の三角形に２分される。同様に、＃５型を持つ三角形は、図１１からわかるように、＃１型と＃３型の三角形に２分される。
【００６５】
以降、記述の簡略化のため、三角形型がＴ、３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形を、Ｔ（ａ，ｂ，ｃ，ｄ）と表す。たとえば、三角形型が＃６でその３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形は、＃６（ａ，ｂ，ｃ，ｄ）で表され、それは、＃１（ｄ，ｂ，ｃ，−）と＃４（ａ，ｄ，ｃ，−）へ分割されるというように表される。
【００６６】
この例から明らかなように、このそれぞれの三角形を分割した後の三角形において、ハイフンで示した不定である斜辺中点の画素値を補うことにより、図１１の継承規則を用いて三角形領域分割を再帰的に行うことができる。
【００６７】
これは、前述の従来技術の項で引用した特開平９−１９１４０９号公報に記載された技術のように、一つの三角形を表現するために、３つの頂点のＸ座標値が３個、Ｙ座標値が３個、３つの頂点の画素値として３個の合計９個の画素情報を必要としそれを保持する必要のあるものに比較して、ワーストケースにおいて、１／９のデータ量である。
【００６８】
以上より、図１に示した再帰的三角形領域分割手段３は、少なくとも、＃１型１から＃８型の８通りの三角形型を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点の画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点画素値を補う斜辺中点画素値取得手段３３と、図１１に示す継承規則用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５により、再帰的に三角形領域を分割することができる。
【００６９】
以上の再帰的三角形領域分割処理を具体的な数値例を用いて説明する。説明を簡単にするために、図１４に示すように、１辺の画素数ＬがＬ＝３（この場合は、Ｌが２のＮ乗＋１であるという条件において、Ｎ＝１とした場合である）の正方形を例にとる。なお、図１４において、それぞれの画素を黒丸で表し、それぞれの画素に付された数値はその画素における画素値を表している。
【００７０】
このような正方形に対し、図７（ａ）で示したような方法（第１の方法）で２分割したとすると、図１５（ａ）に示すように、２つの三角形に分割される。この左上の三角形は、＃１型の三角形であり、その頂点の画素値は（３，９，１）であるので、＃１（３，９，１，−）と表され、これに斜辺中点の画素値７を補うことにより、＃１（３，９，１，７）という情報を生成することができる。
【００７１】
このような情報が生成されたら、この情報を用い、図１６のフローチャートに示す手順で分割後の三角形を得る。すなわち、現在の型情報を用いて図１１で示した継承規則の検索を行い、分割後の２つの三角形の情報を求める（ステップＳ２１）。そして、図１１で示した継承規則の情報に基づき、現三角形の４つの画素値の並べ替えを行い、２つの新三角形を得る（ステップＳ２２）。
【００７２】
つまり、この例では、図１７に示すように、＃１（３，９，１，７）の情報を有する三角形は、＃５（３，７，１，−）と、＃６（３，９，７，−）に分割されることになる。これを示したものが、図１５（ａ），（ｂ）であり、＃１（３，９，１，−）の情報を有する三角形は、その斜辺中点に７の画素値を補填し、それを２分割すると、＃５（３，７，１，−）の情報を有する三角形と＃６（３，９，７，−）の情報を有する三角形が得られる。以降、これら三角形のそれぞれの斜辺中点の画素値として、図１５（ｃ）に示すように、＃５型の三角形については５を補填し、＃６型の三角形Ｔ１２については４を補填するという処理を行うことにより再帰的三角形領域分割を行う。
【００７３】
以上の図１４から図１７で説明した処理は、図１８に示すような２分木で表現できる。この図１８の２分木表現も図１３で示した２分木表現と同様に、２分木の○の中に示した三角形型は、その上位の型から一意に定まるために、データとして出力する必要はなく、その○の下に示した斜辺中点の画素値のみを補うことにより、より下位の三角形領域分割を行うことができる。
【００７４】
この図１８は、図１４で示した正方形を三角形領域分割する場合の２分木表現であり、ルートＲに相当する正方形は図１４からもわかるように、その４頂点の画素値は（３，９，１，８）であって、このような正方形を図１５（ａ），（ｂ），（ｃ）で説明したような三角形領域分割処理を行ったものである。
【００７５】
このように、処理対象となる画像データに対し、最初の正方形の４頂点の画素値、それを最初に３角形分割したときの三角形の型、分割された三角形の斜辺中点の画素値の連鎖の３種のデータによって、正方形領域の画像を表現することができる。
【００７６】
なお、このデータのうち、正方形を最初に三角形に分割する際、図７（ａ），（ｂ）の第１の方法または第２の方法のいずれかで行うかを固定することは可能である。また、正方形領域の１辺に含まれる画素数Ｌは、２のＮ剰＋１（Ｎは自然数）となるような条件を満たすようにすると、分割された三角形の斜辺中点には必ず画素が存在する。このため、処理を容易にするためには、正方形領域の１辺に含まれる画素数Ｌが２のＮ剰＋１（Ｎは自然数）であることが望ましい。
【００７７】
以上のような処理の結果、たとえば図１９に示すように、ある画像が複数の正方形領域に分割されている場合、そのそれぞれの正方形領域は、図２０に示されるような複数の２分木に変換されることになる。
【００７８】
ところで、２分木として表現された画像データを、伝送、記録するためには、それを１次元のデータ列に変換する必要がある。その順序には幾つもの方法が考えられるが、たとえば、以下のような２種の方法も可能である。
【００７９】
図２１は、２分木の幅方向優先の出力方法を示したものである。これは数字の下にアルファベットＡ，Ｂ，Ｃ，・・・で示した順番（アルファベット順）にデータが１次元化される。たとえば、最初に、ルートＲとして正方形のデータ（４頂点の画素値）Ａが出力され、その後、このルートＲの下位の同じ深さのノードＮ１１、Ｎ１２のデータ（斜辺中点の画素値）Ｂ，Ｃが出力され、さらに、その後、ノードＮ１１，Ｎ１２の下位の同じ深さのノードＮ２１，Ｎ２２，Ｎ２３，Ｎ２４のデータ（斜辺中点の画素値）Ｄ，Ｅ，Ｆ，Ｇが出力される。
【００８０】
図２２は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ．Ｂ，Ｃ，・・・に対応した画素値が出力される。
【００８１】
図２３は、２分木の深さ方向優先の出力方法を示したものである。これも図２１と同様にアルファベットＡ，Ｂ，Ｃ，・・・で出力の順番を示してある。この場合、ルートＲのデータＡを出力したあと、ノードＮ１１のデータＢを出力し、その後は、それの下位にあたるノードＮ２１のデータＣの出力が行われる。このように、２分木の底に到達するまでの出力が行われると、ノードＮ２２のデータＤの出力が行われる。そして、今度は、ノードＮ１２のデータＥの出力が行われ、続いて、そのノードＮ１２の下位にあたるノードルＮ２３のデータＦを出力するというようなデータ出力順序となる。
【００８２】
図２４は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ．Ｂ，Ｃ，・・・に対応した画素値が出力される。
【００８３】
以上のようにして、処理対象となる画像データの符号化処理が終了する。これによって符号化されたデータは、たとえば、図２１または図２３示されるような２分木のデータ構造となっており、その２分木に基づいて、図２２または図２４のようなデータ形式で出力される。
【００８４】
以上説明した符号化処理をフローチャートにまとめたものが図２５である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【００８５】
図２５において、まず、正方形領域分割処理を行う（ステップＳ３１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ３２）、すべての正方形に対してすでに符号化されていれば処理が終了したものとするが、符号化されていなければ、その正方形の４頂点画素値を出力する（ステップＳ３３）。
【００８６】
そして、三角形分割処理が終了したか否かを判断し（ステップＳ３４）、終了していれば、ステップＳ３２に戻り、終了していなければ、すべての三角形を符号化したかを判断する（ステップＳ３５）。ここで、すべての三角形の符号化が終了していなければ、斜辺中点の画素値を出力し（ステップＳ３６）、三角形領域更新処理を行い（ステップＳ３７）、ステップＳ３５に戻る。
【００８７】
そして、すべての三角形の符号化が終了し、かつ、三角形分割処理が終了し、さらに、すべての正方形領域の符号化が終了していれば、その画像に対する符号化処理を終了する。
【００８８】
以上の説明は処理対象となる画像データを符号化する処理についての説明であるが、そのおおまかな処理としては、処理対象の画像データを正方形領域として取り出し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素値と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形を２分割の仕方を決めておけば、以降は分割順に従って自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承できるので、斜辺中点の画素値を元の正方形から求めれば、画像全体を図１８に示すような２分木で表現でき、それを図２１と図２２または図２３と図２４に示すように１次元化して出力することができる。
【００８９】
このような処理を行うことにより、処理対象となる画像データを表現するために保持すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【００９０】
次に、符号化されたデータを復号化する処理について説明する。図２６は本発明の基礎となる画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６を有している。
【００９１】
再帰的三角形領域合成手段１３は、少なくとも、分割された三角形の型（前述の符号化の説明においては＃１型から＃８型の８種類としているので、ここでも＃１型から＃８型の８種類とする）の三角形型を記憶する形状型記憶手段１３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段１３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段１３３と、前述の図１１の継承規則を用いて三角形型を更新する形状型更新手段１３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段１３５とを有している。
【００９２】
また、符号化データ入力手段１１は、図１で示した符号化データ出力手段６からの符号化データ（たとえば、図２２や図２４に示したような符号化データ）を、伝送路や記憶媒体から入力する。この符号化データ入力手段１１に入力される符号化データとしては、図２７（ａ）に示されるように、最初に、正方形の４頂点の画素値が入力される。たとえば、符号化データとして図２４を例にとれば、まず、図２４で示す符号化データにおける下線部Ａの部分が読み込まれ、正方形の４頂点の画素値（３、９、１、８）が復元される。その後、図２４の下線部Ｂに対応する画素値（７）が読み込まれ、図２７（ａ）に示すような２分木の太線の部分が復元される。またそれは、正方形領域の太線部分に対応する。以降、次々にデータ（画素値）が読み込まれ、図２７（ｂ），（ｃ）のように、データの２分木の太線部分が復元され、それによって、正方形領域の太線部分が復元される。
【００９３】
図２８は、図２７の処理内容をプログレッシブな復元の立場から説明したものである。図２２で示す符号化データフォーマットによれば、最初に図２８（ａ）のように２分木の上位層のみが復元され、続いて、同図（ｂ）のように２分木の次の階層が復元され、さらに、同図（ｃ）のように２分木のさらに次の階層が復元されというように、２分木の階層ごとに順次復元され、最終的には同図（ｄ）に示すように、２分木の底までの復元がなされる。
【００９４】
これによって、処理対象となる画像は、２分木の階層ごとの復元に伴って、順次、大きく、あるいは、解像度が上がったものとなる。
【００９５】
なお、たとえば、図２８（ａ）のようなデータ量が少なく小さい画像をそのまま最終画像と同じように拡大しようとすると、解像度の小さい画像となる。すなわち、これは、画像の見え方と言う観点で言えば、画像全体を縮小表示したものであると考えることができる。あるいは、画像サイズを元データと同じとした場合は、それを低い解像度で示したものであると考えることもできる。
【００９６】
仮に、画像全体を低い解像度で表現したものであると考える場合、各々の三角形領域は拡大されることになる。この時、三角形領域の内部は、その３頂点の画素値を用いて平面として内挿することにより求めることもできる。勿論、その周辺の三角形領域のデータを用いて、より高次の推定を行うことも可能である。
【００９７】
３頂点の画素値を用いて平面として内挿する場合は、図２９のような方法を用いることが可能である。この図２９について簡単に説明する。三角形の３頂点への位置ベクトルをａ，ｂ，ｃ（ａ，ｂ，ｃそれぞれの上に→が付される）とし、その頂点における画素値をＡ，Ｂ，Ｃとする。ここで、画素値を求めるべき位置（ｐとする）の位置ベクトルをｐ（ｐの上に→が付される）とし、この位置ベクトルｐ（ｐの上に→が付される）が、
ｘ＋ｙ＋ｚ＝１ （２）
の条件を満たす必要がある。このｘ，ｙ，ｚを用い、位置ｐにおける画素値Ｐは、
Ｐ＝ｘＡ＋ｙＢ＋ｚＣ （３）
により求められる。
【００９８】
ところで、前述の実施形態１における図２１、図２２または図２３、図２４で示したデータの１次元化方法は、画像データの内容とは無関係なものである。しかし、符号化方法あるいは記憶媒体からのデータの読み出し方法を変えることにより、関心領域あるいはＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を優先的に高画質化することができる。
【００９９】
たとえば、図３０に示すように、２分木の中の斜線を施した部分を優先的に伝送あるいは読み出すとする。仮に、この２分木の階層の深い部分が、図３１に示すように、本発明の実施形態１および実施形態２の説明で用いている画像例としての猿の顔画像の目の部分であるとする。そうすると、図３０の２分木の浅い階層の復元処理では図３２（ａ）のように、画像全体が低解像度で復元されたものが、階層が深くなるに連れ、図３２（ｂ）のように、先ず目の部分から高解像度化が進行し、最終的に、図３２（ｃ）のように全体が高解像度化されるというような表示が可能である。勿論、このような表示は途中の段階で中止することもできる。
【０１００】
このように、２分木で表されるデータの伝送あるいは読み出し順に、関心領域あるいはＲＯＩに基づいて優先度を設定することによって、画像全体の中のある特定部分のみをいち早く高解像度で表示させることができる。
【０１０１】
これによって、多数の画像データの中から所望とする画像データを検索したり画像データの分類を行うような場合、個々の画像の特徴的な部分のみをいち早く高解像度で表示させることができるので、検索や分類を効率よく行うことができる。また、このとき、個々の画像の内容がわかった段階で表示処理を中止し、それ以降の表示処理を行わないようにすることもできる。
【０１０２】
以上説明した復号化処理をフローチャートにまとめたものが図３３である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【０１０３】
図３３において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ４１）、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号する（ステップＳ４２）。そして、三角形合成処理が終了かを判断し（ステップＳ４３）、終了していれば、ステップＳ４１に戻り、終了していなければ、すべての三角形を合成したかを判断する（ステップＳ４４）。そして、すべての三角形の合成が終了していなければ、斜辺中点の画素値を復号し（ステップＳ４５）、三角形領域合成処理を行い（ステップＳ４６）、ステップＳ４４に戻る。
【０１０４】
そして、すべての正方形領域の復号化が終了していれば（ステップＳ４１）、正方形領域合成処理を行い（ステップＳ４７）、復号化処理を終了する。
【０１０５】
このステップＳ４７による正方形領域合成処理された画像データは、図２６で示した画像データ出力手段１６によって出力処理される。この画像データ出力手段１６は、図３４に示すように、色データ入力手段１６１、間引きデータ復元手段１６２、色変換手段１６３、画素データ復元手段１６４を有した構成となっており、復元された画像データから、画像幅、画像高さを正方形の１辺の整数倍にするために補填されたデータを取り除き、元の画像を出力する。なお、この画像データ出力手段１６が行う画像データ出力処理には、ノイズ低減処理であるとか、何らかの後処理などが含まれても良い。
【０１０６】
次にこれまで説明した画像処技術を基に、本発明の画像処理方法および画像処理装置ならびに画像処理プログラムについて説明する。
【０１０７】
本発明では、上述したような画像処理技術において、画像データのより一層の削減を実現するものである。以下、詳細に説明する。
【０１０８】
図３５は本発明の画像処理装置の符号化側の構成を示すもので、その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６、データ省略可否判定手段１０（近似誤差判定手段７とデータ省略判定出力手段８からなる）を有した構成となっている。
【０１０９】
この図３５の構成は図１で示した構成に対して、三角形領域分割制御手段４と符号化データ生成手段５との間に、データ省略可否判定手段１０としての近似誤差判定手段７とデータ省略判定出力手段８とが設けられている点が異なるだけで、その他は図１と同じ構成であるので、同一構成要素についての説明はここでは省略する。
【０１１０】
図３６は画像を１つ以上の正方形領域に分割して、分割されたそれぞれの正方形領域の符号化を行う処理手順を示すもので、図３７は分割されたある１つの正方形領域内における符号化手順を示すものであり、これらのフローチャートは、先に説明した本発明の基礎となる画像処理技術における符号化処理の説明に用いた図２５のフローチャートを、画像を１つ以上の正方形領域に分割して、それぞれの正方形領域の符号化を行う処理手順と、分割されたある１つの正方形領域内における符号化を行う処理手順とに分けて示すものである。
【０１１１】
この図３７の処理手順は基本的には図２５と同じであるが、図３７では、切り出されたある１つの正方形領域内を符号化する処理において、再帰的分割処理により得られる三角形領域を平面近似した画素値と実際の画素値との差異を誤差として取得し、その誤差の大きさに基づいて以降の再帰的三角形領域分割を制御する処理が追加されている。なお、平面近似された画素値と実際の画素値との誤差を取得する処理についての詳細は後述する。
【０１１２】
図３６において、まず、正方形領域分割処理を行う（ステップＳ５１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ５２）、すべての正方形に対してすでに符号化されていれば符号化処理が終了したものとするが、すべての正方形領域の符号化がなされていなければ、その正方形領域の４頂点画素値を出力し（ステップＳ５３）、その正方形領域内の符号化処理（図３７参照）を行う（ステップＳ５４）。
【０１１３】
図３７はある１つの正方形領域内の符号化処理手順であり、まず、ある１つの正方形領域における２分木の全階層について符号化したかを判断し（ステップＳ６１）、全階層の符号化が終了していれば符号化処理を終了し、全階層の符号化が終了していなければ、三角形領域更新処理を行い（ステップＳ６２）、その階層のすべての三角形領域を符号化したかを判断する（ステップＳ６３）。
【０１１４】
ここで、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻る。また、その階層のすべての三角形領域の符号化が終了していなければ、その三角形領域（現在、符号化処理対象となっている三角形領域）がそれよりも上位の階層で分割省略済みとされた三角形領域であるか否かを判定し（ステップＳ６４）、分割省略済みとされた三角形領域であればステップＳ６３に戻り、なければ、分割省略済みとされた三角形領域でなければその三角形領域内の最大近似誤差値を取得する処理（これについては後述する）を行う（ステップＳ６５）。
【０１１５】
このステップＳ６５における三角形領域内の最大近似誤差値を取得する処理を行った結果、得られた誤差が所定値未満か否かを判定し（ステップＳ６６）、所定値未満である場合は分割省略可であることを示す情報を出力し（ステップＳ６７）、所定値以上である場合には、分割省略不可であることを示す情報を出力する（ステップＳ６８）。
【０１１６】
そして、その三角形領域の斜辺中点画素値を取得し（ステップＳ６９）、その取得した斜辺中点画素値を出力し（ステップＳ７０）、ステップＳ６３に戻り、その階層のすべての三角形の符号化が終了していなければ、ステップＳ６３以降の処理を繰り返し、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻って、全階層の符号化を終了したか否かを判断し、全階層の符号化を終了していれば、符号化処理を終了し、全階層の符号化を終了していなければ、ステップＳ６２以降の処理を繰り返す。
【０１１７】
図３８は本発明に係る画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６、データ省略判定手段１７を有している。
【０１１８】
この図３８の構成は図２６で示した構成に対して、符号化データ解析手段１２と三角形領域合成制御手段１４との間に、符号化データ解析手段１２の解析結果に基づいて、データ省略がなされているか否かを判定するデータ省略判定手段１７が設けられている点が異なるだけで、あとは、図２６と同じであるので、同一構成要素については同一符号を付すことでその説明はここでは省略する。
【０１１９】
図３９および図４０は本発明の復号化処理手順を説明するためのフローチャートであり、図３９は分割されたすべての正方形領域の復号化を行う処理手順を示すもので、図４０はある１つの正方形領域における復号化手順を示すものである。
【０１２０】
なお、これら図３９および図４０のフローチャートは、先に説明した本発明の基礎となる画像処理技術における復号化処理の説明に用いた図３３のフローチャートを、分割されたすべての正方形領域の復号化を行う処理手順と、ある１つの正方形領域内における復号化を行う処理手順とに分けて示すものであり、基本的な処理は図３３と同じであるが、図４０に示すある１つの正方形領域内を復号化する処理において、現在処理対象となっている三角形領域が上位の階層で分割省略済みとされた三角形領域であるか否かを判定する処理が追加されている。
【０１２１】
図３９において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ７１）、すべての正方形領域の復号化が終了していれば、正方形領域合成処理を行って（ステップＳ７２）、復号化処理を終了し、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号し（ステップＳ７３）、その正方形領域内の合成処理（図４０参照）を行う（ステップＳ７４）。
【０１２２】
図４０はある１つの正方形領域の復号化処理を示すもので、まず、全階層を復号化したかを判断し（ステップＳ８１）、全階層の復号化が終了していれば復号化処理を終了し、全階層の復号化が終了していなければ、その階層（現在処理対象となっている階層）のすべての三角形を合成したかを判断する（ステップＳ８２）。
【０１２３】
そして、その階層のすべての三角形の合成が終了していなければ、その三角形領域（現在、符号化処理対象となっている三角形領域）がそれよりも上位の階層で分割省略済みとされた三角形領域であるか否かを判定し（ステップＳ８３）、分割省略済みとされた三角形領域であれば、ステップＳ８２に戻って、当該階層の他の三角形領域について上述同様の処理を行ない、分割省略済みとされた三角形領域でなければ、データ入力を行なってその三角形領域の斜辺中点画素値を復号（ステップＳ８４）したのち、ステップＳ８２に戻る。
【０１２４】
そして、当該階層のすべての三角形について処理を終了していれば、その階層の三角形領域合成処理を行い（ステップＳ８５）、ステップＳ８１に戻る。
【０１２５】
次に本発明の画像処理における符号化および復号化ついて具体例を参照しながら説明する。この符号化および復号化についての説明で用いる２分木を図４１に示す。
【０１２６】
この図４１に示す２分木は、ある１つの正方形領域について図４２（ａ）〜（ｄ）に示すような三角形領域分割処理を行った場合に生成されるものであり、ここでは、説明の都合上、２分木を構成するそれぞれの三角形に付される符号（型番号）は、これまでの説明で用いた２分木（たとえば、図１３など）とは異なった符号が付されている。
【０１２７】
この場合、正方形を２分割して得られた第１階層の２つの三角形領域に＃１０，＃１１の型番号を付し、この第１階層の三角形領域＃１０，＃１１をそれぞれ２分割して得られた第２階層の４つの三角形領域に＃２０，＃２１，＃２２，＃２３の型番号を付し、この第２階層の三角形領域＃２０，＃２１，＃２２，＃２３＃をそれぞれ２分割して得られた第３階層の８つの三角形領域に＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７の型番号を付し、この第３階層の８つの三角形領域＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７をそれぞれ２分割して得られた第４階層の１６個の三角形領域に＃４０，＃４１，＃４２，・・・，＃４９，＃４ａ，＃４ｂ，＃４ｃ，＃４ｄ，＃４ｅ，＃４ｆの型番号を付すことにする。
【０１２８】
このような第１階層から第４階層の４つの階層で構成される２分木として表現された画像データを、１次元のデータ列に変換する。ここでは、図４３で示すように２分木の幅方向優先の出力方法によって、データ（各三角形領域の斜辺中点画素値）を出力、すなわち、第１階から第４階層において、それぞれの階層ごとに太線で示す矢印方向に沿ってデータ（各三角形領域の斜辺中点画素値）を出力すると、図４４のような１次元のデータ列が得られる。
【０１２９】
この図４４に示すデータは、本発明が行なおうとするデータ省略処理は未だなされていない状態であるが、この時点においても、従来技術（たとえば、特許文献２として挙げた特開平９−１９１４０９など）と比べると、データ量は大幅に少なくなっていることは前述した通りである。
【０１３０】
ここで、本発明の課題でもあるデータ省略の具体例について説明する。このデータ省略を行うために、データ省略が可能であるか否かを判定するためのデータ省略判定処理を行う。以下、この処理について詳細に説明する。
【０１３１】
図４５は再帰的分割されて得られたある１つの三角形領域（これを仮に図４２の＃１０の三角形領域とする）内のそれぞれの位置における画素値を示すもので、本来は２次元の平面上におけるそれぞれの位置に対する画素値を考えることになるが、ここでは説明を簡単にするために、三角形領域内のそれぞれの位置における画素値を模式的１次元で表した例で説明する。
【０１３２】
図４５（ａ），（ｂ），（ｃ）における曲線はその三角形領域内のそれぞれの位置における実際の画素値の変化曲線であり、直線はそれを平面近似したもの（平面近似直線という）である。
【０１３３】
図４５（ａ）は＃１０の三角形領域全体を平面近似した場合あり、この場合は平面近似直線と実際の変化曲線との最大誤差Ｄｍａｘを求めると、図４５（ａ）のような最大誤差Ｄｍａｘが得られる。この最大誤差Ｄｍａｘを所定値（Ｄ０とする）と比較し、Ｄｍａｘ＜Ｄ０あれば、それ以上の分割は省略できることを示す情報を出力し、Ｄｍａｘ≧Ｄ０であればそれ以降の分割省略は不可であることを示す情報を出力する。
【０１３４】
この場合、Ｄｍａｘ≧Ｄ０であるとする。これによって、分割省略不可であることを示す情報が出力され、その三角形領域はその斜辺中点画素値で図４５（ｂ）に示すように２分割され＃２０と＃２１の三角形領域が生成される。
【０１３５】
そして、この図４５（ｃ）のように２分割されて生成された＃２０と＃２１の三角形領域それぞれについて上述同様平面近似して、それぞれの最大誤差Ｄｍａｘを求め、それぞれの最大誤差Ｄｍａｘと所定値Ｄ０とを比較すると、この場合、＃２０の三角形領域の最大誤差ＤｍａｘはＤｍａｘ≧Ｄ０であって、＃２１の三角形領域の最大誤差ＤｍａｘはＤｍａｘ＜Ｄ０であったとする。
【０１３６】
したがって、この場合は、＃２０の三角形領域に対しては分割省略不可であることを示す情報が出力され、＃２１の三角形領域に対しては分割省略可であることを示す情報が出力される。
【０１３７】
これによって、この場合は、＃２０の三角形領域はその斜辺中点画素値で図４５（ｃ）に示すように２分割され、＃３０と＃３１の三角形領域が生成される。一方、＃２１の三角形領域は分割省略可とされるのでそれ以降の分割は行われない。
【０１３８】
そして、この図４５（ｃ）のように２分割されて生成された＃３０と＃３１の三角形領域それぞれについて、上述同様、平面近似して、それぞれの最大誤差Ｄｍａｘを求め、それぞれの最大誤差Ｄｍａｘと所定値Ｄ０とを比較すると、この場合、＃３０と＃３１の三角形領域の最大誤差ＤｍａｘはともにＤ０＞Ｄｍａｘであったとする。したがって、この場合は、＃３０と＃３１の三角形領域に対してはともに分割省略可であることを示す情報が出力され、それ以降の分割処理は行われない。
【０１３９】
ところで、上述の説明は、ある１つの三角形領域を模式的に１次元として説明したが、実際には三角形領域は２次元で現されるので、最大誤差を求めるには三角形領域全体から求める必要がある。すなわち、三角形領域の２次元平面上における各位置の実際の画素値と平面近似画素値との誤差を計算し、その中から最大誤差を求める必要がある。
【０１４０】
ここで、図２９で説明したように、３頂点ａ，ｂ，ｃ上のデータ（画素値）をそれぞれＡ，Ｂ，Ｃとすると、位置ｐの画素値は、ｘ，ｙ，ｚとＡ，Ｂ，Ｃを用いて、前述した（３）式のように求めることができる。よって、位置ベクトルｐを変数とし、ｐの位置での画素値をＩ（ｐ）とし、その位置での平面近似画素値をＰ（ｐ）とするとき、それぞれの位置ｐにおける誤差（自乗誤差）Ｅｒｒは下記の（４）式のように求めることができる。なお、関数Ｐ（ｐ）は、前述の（１）式、（２）式、（３）式の関係を模式的に示したものである。
【０１４１】
図４６は図２９に対し、斜辺中点のみで誤差Ｅｒｒを求める方法を説明するもので、その斜辺中点における誤差Ｅｒｒは下記に示す（５）式によって求めることができる。
【０１４２】
Ｅｒｒ＝〔Ｐ−｛（Ａ＋Ｃ＋１）＞＞１｝〕２ （５）
この（５）式において、Ｐは斜辺中点における実際の画素値、ＡとＣは斜辺の両端の画素値である。また、＞＞１は右１ビットシフトを示し、これはＡ＋Ｃを２で割り算、つまり、ＡとＣの平均を取ることを意味している。なお、Ａ＋Ｃに１を加えてＡ＋Ｃ＋１としているのは１ビットシフトに先立ち、丸め演算を行うためである。
【０１４３】
この（５）式は、斜辺中点における実際の画素値と斜辺の両端を直線で結んだときの斜辺両端の画素値の平均値（これを近似画素値という）との差の二乗を誤差Ｅｒｒとして求めるものである。
【０１４４】
このようにして、（５）式を計算することによって、ある三角形領域の斜辺中点における実際の画素値と近似画素値との誤差Ｅｒｒが求められ、その誤差Ｅｒｒと所定値とを比較した結果、誤差Ｅｒｒが所定値より小さいと判定された場合、その斜辺中点画素値は、近似画素値である（Ａ＋Ｂ＋１）＞＞１に置き換えられる。そして、その三角形領域を当該斜辺中点で２分割し、それによって得られた２つの三角形領域の双方に対し、同様の処理、つまり、（５）式を計算して誤差Ｅｒｒを求め、誤差Ｅｒｒが所定値未満であるか否かを判定する処理を行う。
【０１４５】
図４７（ａ）〜（ｄ）はこの処理をより詳細に説明するもので、この図４７において、白丸はすでに誤差判定の済んだ点であり、黒丸はそれぞれの段階で誤差判定する点を示している。この図４７（ａ）〜（ｄ）のように、再帰的三角形領域分割処理の進行に連れて、分割されて得られたそれぞれの三角形領域の斜辺中点が元の三角形領域内に次々と生成され、それぞれの斜辺中点について誤差判定を行うことによって、結局は、元の三角形領域内全体を誤差判定したのと同等となる。
【０１４６】
このように、再帰的な三角形領域分割処理の進行に沿って、分割されたそれぞれの三角形領域の斜辺中点の画素値とその近似画素値との比較を行ってその誤差を求める処理を行う。これによって、それぞれの三角形領域においては斜辺中点のみの誤差を求める処理であるが、三角形領域の細分化に伴って逐次的に誤差を求める処理がなされるので、最終的には、ある三角形領域の内部のすべての点においても実際の画素値と近似画素値との誤差を求めることができる。
【０１４７】
また、このような処理を行うことによって、処理対象となる点ｐが現在処理中の三角形領域内にあるか否かの判断や、係数ｘ、ｙ、ｚを求める演算処理、点ｐを変数とする（４）式のような乗算を含む多くの演算量を必要とする演算を行う必要がなくなる。すなわち、本発明で用いる（５）式は、二乗の他には加減算とシフトのみで行われる簡単な演算で済む。
【０１４８】
図４８は図４６および図４７で説明した誤差の評価手順を用いたデータ省略可否処理を説明するフローチャートであり、その手順を説明する。まず、判定する三角形領域のデータ、つまり、２分木における当該三角形領域に対応するノードを入力し（ステップＳ９１）、その三角形領域の斜辺両端の画素値をＡとＣとしたとき、（Ａ＋Ｃ＋１）＞＞１によって求められる画素値とその斜辺中点画素値Ｐとの誤差Ｅｒｒを（５）式によって求める（ステップＳ９２）。
【０１４９】
そして、求められた誤差Ｅｒｒが所定値未満であるか否かを判定し（ステップＳ９３）、所定値以上であると判定された場合は、省略不可であることを示す情報を返す（ステップＳ９４）。ここで、誤差Ｅｒｒが所定値未満であると判定された場合は、現在処理中の三角形領域がそれ以上分割可能であるか否かを判定し（ステップＳ９５）、分割不可であると判定された場合は、省略可能であることを示す情報を出力する（ステップＳ９９）。また、分割可能であると判定された場合は、その斜辺中点画素値を、仮に、（Ａ＋Ｃ＋１）＞＞１として、その三角形領域を２分割する（ステップＳ９６）。
【０１５０】
そして、２分割された双方の三角形領域おいて符号化データの出力を省略できるか否かの判定を行う（ステップＳ９７）。このステップＳ９７におけるデータ省略可否の判定処理は、分割されて生成された２つの三角形領域それぞれについて、ステップＳ９１からの処理を再帰的に読み出して行うもので、この再帰的なデータ省略判定処理を行った結果、双方の三角形領域ともに省略可能か否か（誤差Ｅｒｒが所定値未満か否か）を判定し（ステップＳ９８）、双方の三角形領域がともに省略可能であると判定された場合は、省略可能を示す情報を返す（ステップＳ９９）。一方、双方の三角形領域のいずれかまたは双方が省略可能でないと判定された場合は、省略不可能を示す情報を返す（ステップＳ９４）。
【０１５１】
この図４８の処理手順の具体例を図４９の２分木を用いて説明する。今、図４９の２分木における＃２１の三角形領域に注目し、この＃２１の三角形領域を基点に図４８の処理手順に沿って処理を行うとする。
【０１５２】
この＃２１の三角形領域について、ステップＳ９１以降の処理を行い、（５）式によって求められた誤差Ｅｒｒが所定値未満と判定されたとする（ステップＳ９３）。ここで、当該三角形領域は分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する（ステップＳ９５，Ｓ９６）。
【０１５３】
そして、その２分割によって生成された＃３２と＃３３の２つの三角形領域のそれぞれについて、上述したような再帰的なデータ省略可判定処理を行う。すなわち、＃３２の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃３３の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃３２と＃３３の双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃２１の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では＃２１の三角形領域が省略可能であることはまだ確定していない。
【０１５４】
そして、今度は、これら＃３２と＃３３のそれぞれの三角形領域についてこれらの三角形領域が分割可能か否かを判定し（ステップＳ９５）、この場合、これら＃３２と＃３３のそれぞれの三角形領域は分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する（ステップＳ９６）。これによって、＃３２の三角形領域に対しては＃４４と＃４５の２つの三角形領域と、＃３３の三角形領域に対しては＃４６と＃４７の２つの三角形領域とが生成される。
【０１５５】
そして、まず、＃４４と＃４５の２つの三角形領域のそれぞれについて、上述したようなデータ省略判定処理を行う。すなわち、＃４４の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃４５の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃４４と＃４５の双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃３２の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では、＃３２の三角形領域が省略可能であることはまだ確定していない。
【０１５６】
同様に、＃４６と＃４７の２つの三角形領域のそれぞれについて、上述したような再帰的な省略判定処理を行う。すなわち、＃４６の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃４７の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃４６と＃４７の双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃３３の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では、＃３３の三角形領域が省略可能であることはまだ確定していない。
【０１５７】
そして、これら＃４４、＃４５、＃４６、＃４７のそれぞれの三角形領域についてこれらの三角形領域が分割可能か否かをそれぞれ判定したところ（ステップＳ９５）、この場合、これらの三角形領域は分割不可能であるので、その段階で、省略可能であることを示す情報を返す。
【０１５８】
このようにして、２分木の最終階層までの処理が終了すると、この場合、＃２１の三角形領域はその誤差Ｅｒｒが所定値未満で、かつ、それを２分割して得られた＃３２と＃３３の三角形領域もそれぞれの誤差Ｅｒｒが所定値未満であり、さらに、＃３２を２分割して得られた＃４４と＃４５の２つの三角形領域と＃３２を２分割して得られた＃４６と＃４７の２つの三角形領域の誤差Ｅｒｒがそれぞれ所定値未満であると判定される。
【０１５９】
これによって、この２分木の最下層の＃４４と＃４５の三角形領域がともに省略可能であるので、その上位の＃３２の三角形領域も省略可能であることが確定し、また、２分木の最下層の＃４６と＃４７の三角形領域がともに省略可能であるので、その上位の＃３３の三角形領域も省略可能であることが確定し、これら、＃３２と＃３３の三角形領域がともに省略可能であるので、その上位の＃２１の三角形領域も省略可能であることが確定する。これによって、＃２１は以降の分割が省略される。これを示したものが図５０である。
【０１６０】
また、図４９で示す２分木において、＃２３の三角形領域に注目し、この＃２３の三角形領域を基点に図４８の処理手順に沿って処理を行う例を図５１を参照しながら簡単に説明する。
【０１６１】
この＃２３の三角形領域について、ステップＳ９１以降の処理を行い、（５）式によって求められた誤差Ｅｒｒが所定値未満と判定されたとする。ここで、当該三角形領域は分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する。
【０１６２】
そして、その２分割によって生成された＃３６と＃３７の２つの三角形領域のそれぞれについて、再帰的な省略判定処理を行う。すなわち、＃３６の三角形領についてステップＳ９１以降の処理を行い、その結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃３７の三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値以上であると判定されたとすると、この場合は、ステップＳ９８において双方の三角形領域がともに省略可能と判定されないので、省略不可能であることを示す情報を返す（ステップＳ９４）。
【０１６３】
一方、ステップＳ９３において誤差Ｅｒｒが所定値未満であると判定された＃３６の三角形領域は、ステップＳ９５において分割可能か否かが判定され、この場合、分割可能であるので、その斜辺中点画素値を（Ａ＋Ｃ＋１）＞＞１としてその三角形領域を２分割する（ステップＳ９６）。これによって、＃３６の三角形領域を２分割した＃４ｃと＃４ｄの２つの三角形領域が生成される。
【０１６４】
そして、＃４ｃと＃４ｄの２つの三角形領域のそれぞれについて、上述したような再帰的な省略判定処理を行う。すなわち、＃４ｃの三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定され、また、＃４ｄの三角形領についてステップＳ９１以降の処理を行った結果、求められた誤差Ｅｒｒが所定値未満と判定されたとすると、これら＃４ｃと＃４ｄの双方の三角形領域がともに省略可能と判定され（ステップＳ９８）、＃３６の三角形領域が省略可能であることを示す情報を返す（ステップＳ９９）。なお、この時点では、＃３６の三角形領域が省略可能であることはまだ確定していない。
【０１６５】
そして、これら＃４ｃと＃４ｄの三角形領域それぞれについて、これらの三角形領域が分割可能か否かをそれぞれ判定したところ（ステップＳ９５）、この場合、これらの三角形領域は分割不可能であるので、その段階で、省略可能であることを示す情報を返す。
【０１６６】
このようにして、＃２３を起点に２分木の最終階層までの処理が終了すると、この場合、＃３６の三角形領域が省略可能、＃４ｃと＃４ｄの三角形領域がともに省略可能と判定され、この結果、＃４ｃと＃４ｄの三角形領域がともに省略可能であるので、その上位の＃３６の三角形領域も省略可能であることが確定し、＃３６以下の三角形領域はすべて省略することができる。
【０１６７】
図５２は上述したように、＃２１の三角形領域よりも下の階層の三角形領域と＃３６の三角形領域よりも下の階層の三角形領域が省略された２分木を示すものであり、それを１つの正方形領域で示したものが図５３（ａ）〜（ｄ）である。
【０１６８】
この図５３によれば、＃２１の三角形領域（斜線の施された領域）はそれよりあとの分割は省略され、また、＃３６の三角形領域（斜線の施された領域）もそれよりあとの分割が省略されており、これらの領域はその三角形領域、すなわち、＃２１の三角形領域の符号化データと＃３６の三角形領域の符号化データがそれぞれ対応する領域の符号化データとして出力される。
【０１６９】
以上のような処理によって省略された２分木のデータを図５４のようなデータ読み出しが行われることによって１次元のデータ配列を生成することができる。この図５４は図５３に示した２分木を第１階層から第４階層までそれぞれの階層ごとに図示の太線矢印で示すような方向にデータ読み出しを行う例を説明する図であり、これを縦に並べて示したものが図５５である。
【０１７０】
この図５５は先に説明した図４４の１次元化されたデータ配列（上述したデータ圧縮処理がなされていない場合の１次元化されたデータ配列）に対応するものである。この図５５の右端に示される四角で囲った“０”または“１”の１ビットのデータは、対応する三角形領域のそれ以上の分割が省略されているか否かを示すもので、“０”が与えられた三角形領域はそれ以降において分割省略がなされていないことを示し、“１” が与えられた三角形領域はそれ以降において分割省略がなされていることを示している。
【０１７１】
たとえば、＃１０、＃１１，＃２０の三角形領域は“０”が与えられ、＃２１の三角形領域は“１”が与えられている。同様に、＃３０、＃３１、＃３４、＃３５の三角形領域は“０”が与えられ、＃３６の三角形領域は“１”が与えられている。以下、＃４０以降の三角形領域はすべて“０”が与えられている。
【０１７２】
これは、＃２１と＃３５の三角形領域はそれ以降の分割が省略されていることを示し、それ以外の三角形領域は分割省略がなされていないことを示している。したがって、＃２１の三角形領域はその第３階層以下の符号化データ（第３階層においては＃３２と＃３３、第４階層においては＃４４、＃４５、＃４６、＃４７）は出力されず、＃２１の三角形領域の符号化データが用いられる。
【０１７３】
同様に、＃３６の三角形領域は第４階層の符号化データ（＃４ｃ、＃４ｄ）は出力されず、＃３６の三角形領域の符号化データが用いられる。
【０１７４】
この図５５で示す１次元化されたデータ配列を図４４で示した１次元化されたデータ配列と比較すると、より多くのデータが省略されていることがわかり、データ圧縮率がより高いものとなっている。
【０１７５】
また、この図５５からもわかるように、ある三角形領域（たとえば、＃２１の三角形領域や＃３６の三角形領域）においてそれ以降の分割省略がなされた場合、それよりも下位の三角形領域においては、その三角形領域が省略されていることを明示的に示す必要がないことも特徴の１つである。これは、本発明においては、それぞれの三角形領域の位置関係が自明であるため、上位の三角形領域においてそれ以上の分割省略を行った場合、それより下位のどの三角形領域が省略されているかが自明となるためであり、それによって、その省略された三角形領域において、その省略を示すためのデータの付加は不要となる。
【０１７６】
そして、この図５５で示す符号化データは復号化側に送られて復号化される。この復号化処理は、図３９および図４０で示したフローチャートに沿った処理手順で復号化されるが、その要部についてのみ説明すると、この場合、図５５で示した分割省略の有無を示す情報（“０”または“１”）を符号化データ解析手段１２の解析結果に基づいてデータ省略判定手段１７が調べる。そして、その結果、現在、復号化対象の三角形領域の上位の三角形領域で分割省略がなされていないことを示す“０”が与えられていれば、その三角形領域についてはデータ入力を行って斜辺中点画素値を復号化し、上位の三角形領域で分割省略がなされていることを示す“１”が与えられていれば、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報“１”の付加された三角形領域の符号化データを用いて復号化する。なお、この全体的な復号化処理については、前述の本発明の基礎となる画像処理技術の説明の中でなされているので、それについての説明は省略する。
【０１７７】
なお、本発明は上述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述した符号化データ（図５５で示す１次元化されたデータ）を所定の暗号化鍵を用いて暗号化してそれを復号化側に送信し、復号化側ではその暗号化された符号化データを所定の復号化鍵を用いて復号化するということもできる。
【０１７８】
たとえば、この暗号化として、２分木の各階層ごとの符号化データを階層に対応して用意された暗号化鍵を用いて暗号化する。これによって、各階層ごとのそれぞれの三角形領域のデータ（斜辺中点画素値）がその階層に用意された暗号化鍵で暗号化されたデータとして出力することができる。そして、このような符号化側からの暗号化データを復号化する際は、２分木の各階層に対応して用意された復号化鍵を取得して各階層ごとに復号するようにする。これによって、各階層対応の復号化鍵によってそれぞれの階層に応じた解像度の画像が復元されるので、たとえば、第２階層までの復号化鍵しか取得できなかった場合には、第２階層に対応した解像度での画像しか得ることができず、また、第３階層までの復号化鍵を取得すれば、第３階層までの解像度の画像を得ることができるというように、どの階層までの復号化鍵を取得したかによって、その階層に応じた解像度の画像を得ることができる。
【０１７９】
これによって、たとえば、画像データの閲覧システムなどにおいて、ユーザが閲覧できる階層（解像度）を制限することができ、閲覧する解像度に応じた課金の設定などを行うことができる。また、著作権の保護の目的などにも適用することができるといった効果が得られる。
【０１８０】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【０１８１】
【発明の効果】
以上説明したように本発明によれば、三角形領域内を平面近似した画素値と実際の画素値との誤差が所定値より小さいとき、この領域を平面で近似し、以降のデータ出力を省略するようにしている。これにより、出力される符号化データ量を削減することができる。本発明は、基本的には、通常の座標空間での処理と同様であるが、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理技術（本発明の基礎となる画像処理技術）を用いることにより、符号化の後処理としてのデータ省略操作が可能となり、これによって、計算量を少なくすることができ、データ削減に要する処理量を少なくすることができる。また、本発明は再帰的三角形領域分割と同時処理でのデータ省略操作も可能となり、これらによって、たとえば、リアルタイム処理などにおいて、データ省略操作を途中出中断し、それまでの結果を符号化出力とすることも可能である。
【０１８２】
また、復号化側では、分割省略がなされているか否かを判定して、その判定結果に基づいて、三角形領域の合成をおこなうようにしている。このとき、分割省略がなされているか否かの判定は、省略がなされた最上位の三角形領域に付された符号化の省略を示す情報に基づいて行い、ある三角形領域に対してデータ省略されていることを示す情報が存在する場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ省略されていることを示す情報の付加された三角形領域の符号化データを復号化するようにしているので、効率的な三角形領域の合成が行える。
【図面の簡単な説明】
【図１】 本発明の基礎となる画像処理技術についての符号化側の構成図である。
【図２】 図１で示した画像データ入力手段の構成を説明する図である。
【図３】 処理対象画像が正方形である場合、その画像を三角形に分割した例を示す図である。
【図４】 処理対象画像が正方形でない場合、その画像を複数の正方形領域に分割した例を示す図である。
【図５】 画像を複数の正方形領域に分割する際の分割処理手順を説明するフローチャートである。
【図６】 画像を複数の正方形領域に分割する際に生じる空白部分へ画素値０を補填する例を説明する図である。
【図７】 ある１つの正方形を２つの三角形に分割する２つの方法（第１の方法と第２の方法）について説明する図である。
【図８】 ある１つの正方形を２分割して２つの三角形を得て、さらに、その２つの三角形を再帰的に分割して得られた三角形の８種類の型を示す図である。
【図９】 図８で示した三角形の型が相互に関連つけられることを説明する図である。
【図１０】 図７で示した２つの分割方法によって分割された三角形と元の正方形との画素値の継承規則を示す図である。
【図１１】 図８で示した８種類の型をそれぞれ２分割して得られた三角形の型とその画素値の継承規則を示す図である。
【図１２】 ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割して得られる三角形の型を示す図である。
【図１３】 ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割し、それをさらに２分割して得られる三角形の型を２分木で表現した図である。
【図１４】 図１で示した符号側の具体的な処理を説明するために一辺の画素数が３で、それぞれの画素に具体的な数値（画素値）を与えた図である。
【図１５】 図１４を用いて三角形領域の再帰的分割処理を行う例を説明する図である。
【図１６】 図１５で示した三角形領域の再帰的分割処理手順を説明するフローチャートである。
【図１７】 図１５で示した三角形領域の再帰的分割処理手順を行う際の求めるべき画素値を図１１に示す継承規則を参照して得る処理を説明する図である。
【図１８】 図１５から図１７で示した処理を２分木で表現した図であり、図１３の２分木表現に斜辺中点の画素値を加えた図である。
【図１９】 処理対象画像を複数の正方形領域に分割した例を示す図である。
【図２０】 図１９で得られた正方形領域それぞれを２分木で表現した例を説明する図である。
【図２１】 ある１つの２分木で表現される画像データを符号化する順序の一例を説明する図である。
【図２２】 図２１で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２３】 ある１つの２分木で表現される画像データを符号化する順序の他の例を説明する図である。
【図２４】 図２３で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２５】 本発明の基礎となる画像処理技術についての符号化処理手順を説明するフローチャートである。
【図２６】 本発明の基礎となる画像処理技術についての復号化側の構成図である。
【図２７】 図２２の符号化データを復号化する手順を説明する図である。
【図２８】 図２７の復号化手順を実際の画像の復元を例にとって説明する図である。
【図２９】 画像データを復号化する際の三角形内部にデータを補間する処理の一例を説明する図である。
【図３０】 画像データを復号化する際、ある特定の領域（たとえば関心領域）を優先的に高解像度で複合する処理を説明する図である。
【図３１】 図３０におけるある特定の領域を処理対象となる画像に対応させた例を示す図である。
【図３２】 図３０による復号化手順によって復元される画像の復元度合い変化を示す図である。
【図３３】 本発明の基礎となる画像処理技術についての復号化処理手順を説明するフローチャートである。
【図３４】 図２６で示した画像データ出力手段の構成を説明する図である。
【図３５】 本発明の画像処理装置の符号化側の実施形態を説明する構成図である。
【図３６】 本発明の符号化側の処理手順を説明するフローチャートであり、正方形領域分割とその符号化手順を説明するフローチャートである。
【図３７】 本発明の符号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の符号化手順を説明するフローチャートである。
【図３８】 本発明の画像処理装置の復号化側の実施形態を説明する構成図である。
【図３９】 本発明の復号化側の処理手順を説明するフローチャートであり、それぞれの正方形領域の復号化と正方形領域の合成処理手順を説明するフローチャートである。
【図４０】 本発明の復号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の復号化手順を説明するフローチャートである。
【図４１】 本発明の実施形態の具体例を説明するための２分木の例を示す図である。
【図４２】 図４１に示す２分木に対応する再帰的三角形領域分割例を示す図である。
【図４３】 図４１の２分木で表現される画像データを符号化する順序を説明する図である。
【図４４】 図４３に示す順序で符号化されたデータを縦方向に並べたデータ配列を示す図である。
【図４５】 再帰的分割されて得られたある１つの三角形領域内のそれぞれの位置における画素値の変化を１次元的に表し、それを直線近似した図である。
【図４６】 斜辺中点の画素値に対する近似誤差を説明するための図である。
【図４７】 ある三角形領域を再帰的三角形領域分割処理することによって、斜辺中点のみにおける誤差判定であってもその三角形領域全体の誤差判定が可能であることを説明する図である。
【図４８】 本発明が行うデータ省略可否処理を説明するフローチャートである。
【図４９】 図４８のフローチャートによる処理の具体例を図４１の２分木の＃２１の三角形領域を用いて説明する図である。
【図５０】 図４９の２分木において＃２１の三角形領域についてデータ省略判定を行った結果のデータ省略例を示す図である。
【図５１】 図４８のフローチャートによる処理の具体例を図４１の２分木の＃２３の三角形領域を用いて説明する図である。
【図５２】 図５０の２分木において、さらに、＃２３の三角形領域についてデータ省略可否を行った結果のデータ省略例を示す図である。
【図５３】 図５２のデータ省略結果をある１つの四角形領域として示す図である。
【図５４】 図５２に示すデータ省略がなされた２分木において符号化データ出力例を説明する図である。
【図５５】 図５４による符号化データを縦に並べたデータ配列を示す図である。
【符号の説明】
１ 画像データ入力手段
２ 正方形領域分割手段
３ 再帰的三角形領域分割手段
４ 三角形領域分割制御手段
５ 符号化データ生成手段
６ 符号化データ出力手段
７ 近似誤差判定手段
８ データ省略判定出力手段
１０ データ省略可否判定手段
１１ 符号化データ入力手段
１２ 符号化データ解析手段
１３ 再帰的三角形領域合成手段
１４ 三角形領域合成制御手段
１５ 正方形領域合成手段
１６ 画像データ出力手段
１７ データ省略判定手段
３１ 形状型記憶手段
３２ 頂点画素値記憶手段
３３ 斜辺中点画素値取得手段
３４ 形状型更新手段
３５ 頂点画素値更新手段
＃１〜＃８ 三角形型
Claims (3)
- 処理対象となる画像を1つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理方法であって、前記画像処理方法の画像処理手順として、
処理対象となる画像を入力する画像入力ステップと、
前記入力された画像を１つ以上の正方形領域に分割する正方形領域分割ステップと、
前記分割されたそれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、
前記再帰的に分割されたそれぞれの三角形領域を、前記三角形領域の元となる正方形領域を根とする２分木で表現し、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、前記近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否判定処理として行い、前記データ省略可否判定処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、前記三角形領域を再帰的分割して得られる個々の三角形領域が最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するデータ省略可否判定ステップと
前記データ省略可否判定ステップの判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成ステップと、
生成された符号化データを出力する符号化データ出力ステップと、
を含むことを特徴とする画像処理方法。 - 処理対象となる画像を1つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理装置であって、前記画像処理装置の構成要素として、
画像を入力する画像入力手段と、
前記入力された画像を１つ以上の正方形領域に分割する正方形領域分割手段と、
前記分割されたそれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段と、
前記再帰的に分割されたそれぞれの三角形領域を、前記三角形領域の元となる正方形領域を根とする２分木で表現し、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、前記近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否判定処理として行い、前記データ省略可否判定処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、前記三角形領域を再帰的分割して得られる個々の三角形領域が最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するデータ省略可否判定手段と、
前記データ省略可否判定手段の判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成手段と、
生成された符号化データを出力する符号化データ出力手段と、
を含むことを特徴とする画像処理装置。 - 処理対象となる画像を1つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する処理をコンピュータで実行する画像処理プログラムであって、前記画像処理プログラムは、
処理対象となる画像を入力する画像入力ステップと、
前記入力された画像を１つ以上の正方形領域に分割する正方形領域分割ステップと、
前記分割されたそれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、
前記再帰的に分割されたそれぞれの三角形領域を、前記三角形領域の元となる正方形領域を根とする２分木で表現し、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、前記近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略可否判定処理として行い、前記データ省略可否判定処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、前記三角形領域を再帰的分割して得られる個々の三角形領域が最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力するデータ省略可否判定ステップと、
前記データ省略可否判定ステップの判定結果に基づいて符号化すべき三角形領域の符号化データを生成する符号化データ生成ステップと、
生成された符号化データを出力する符号化データ出力ステップと、
を含むことを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003062072A JP4042594B2 (ja) | 2003-03-07 | 2003-03-07 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003062072A JP4042594B2 (ja) | 2003-03-07 | 2003-03-07 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004274371A JP2004274371A (ja) | 2004-09-30 |
| JP4042594B2 true JP4042594B2 (ja) | 2008-02-06 |
Family
ID=33124103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003062072A Expired - Fee Related JP4042594B2 (ja) | 2003-03-07 | 2003-03-07 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4042594B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5113049B2 (ja) | 2005-07-29 | 2013-01-09 | エルジー エレクトロニクス インコーポレイティド | 符号化されたオーディオ信号の生成方法及びオーディオ信号の処理方法 |
| US8718389B2 (en) * | 2011-04-13 | 2014-05-06 | Huawei Technologies Co., Ltd. | Image encoding and decoding methods and related devices |
| CN113056917B (zh) * | 2018-11-06 | 2024-02-06 | 北京字节跳动网络技术有限公司 | 为视频处理使用具有几何分割的帧间预测 |
-
2003
- 2003-03-07 JP JP2003062072A patent/JP4042594B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004274371A (ja) | 2004-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11348285B2 (en) | Mesh compression via point cloud representation | |
| KR102709925B1 (ko) | 투영 기반 메시 압축 | |
| JP3031613B2 (ja) | カラー／濃淡画像入力出力装置と入力出力方法 | |
| JP4166679B2 (ja) | ３次元オブジェクトデータの符号化及び復号化方法、並びに、その装置 | |
| JP4759291B2 (ja) | 適応的２ｎ進ツリーの生成方法、ならびにそれを利用して３次元体積データを符号化／復号化する方法および装置 | |
| KR100437187B1 (ko) | 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체 | |
| US6985630B2 (en) | Image processing apparatus and method, program and storage medium | |
| KR100574702B1 (ko) | 화상부호／복호방법 및 그 프로그램을 기록한 기록매체 | |
| JP2008278464A (ja) | 多次元データの符号化装置及び復号装置並びにその制御方法 | |
| KR20230131878A (ko) | 포인트 클라우드 프로세싱을 위한 장치 및 방법 | |
| US20200236401A1 (en) | Point cloud coding using homography transform | |
| JP4712885B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4082194B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP4042594B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP4232496B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| CN111343466B (zh) | 一种基于二维直方图平移的视频可逆数据隐藏方法 | |
| US20030063812A1 (en) | System and method for compressing image files while preserving visually significant aspects | |
| JP2004274370A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP4696738B2 (ja) | 画像データの圧縮方法および装置並びに擬似階調画像の復元方法 | |
| Sujatha et al. | Generation of 3D Images from Single View 2D Images Using Autoencoder | |
| Fung et al. | A technique for producing scalable color-quantized images with error diffusion | |
| JP4971880B2 (ja) | 画像符号化装置及び画像復号装置、並びにそれらの制御方法 | |
| JP2003274399A (ja) | 画像符号化方法と装置、画像復号方法と装置 | |
| CN114913247A (zh) | 一种光场相机的光场重建方法及系统 | |
| Váša | Methods for dynamic mesh size reduction: technical report no. DCSE/TR-2006-07 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060306 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |