JP5461419B2 - 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、高精度の画素値予測を実現するための画素予測値生成手順を自動生成する画素予測値生成手順自動生成方法およびその装置と、それにより生成された画素予測値生成手順を実装することで画像を効率よく符号化する画像符号化方法およびその装置と、その画像符号化により生成された符号化データを効率よく復号する画像復号方法およびその装置と、それらの方法の実現に用いられるプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００８年１０月２７日に出願された特願２００８−２７５８１１号に基づき優先権を主張し、その内容をここに援用する。

画像符号化においては、既に復号された前や上などの画素を用いて、符号化対象の画素値を予測し、予測残差を符号化する予測符号化方式が主流である。

この予測符号化方式では、これから符号化しようとする画素（ｐとする）を符号化する際、周辺の復号済み画素（例えば図１４に示すようなＩｎｗ，Ｉｎ，Ｉｎｅ，Ｉｗなど）が一般にｐと高い相関を持つことを利用して、これらを用いてｐの予測値を生成する。以後、ｐの予測値をｐ' とする。続いて、予測誤差ｐ−ｐ' をエントロピ符号化する。

例えばＪＰＥＧ（非特許文献１参照）のLossless Mode は７通りの予測器を持ち、このうちの一つを選択して、画素値を予測・符号化する。
例えばＪＰＥＧの予測器の手法の一つ「平均予測」と呼ばれるものは、ＩｎとＩｗの平均により
ｘ' ＝（Ｉｎ＋Ｉｗ）／２ ・・・・ 式（１）
と予測するものである。
その他に、
ｘ' ＝Ｉｎ＋Ｉｗ−Ｉｎｗ 平面予測 ・・・・ 式（２）
ｘ' ＝Ｉｎ 前値予測 ・・・・ 式（３）
ｘ' ＝Ｉｎｗ＋（Ｉｎ−Ｉｗ）／２ 複合予測 ・・・・ 式（４）
など６種がある。

ＪＰＥＧよりさらに効率を高めた予測符号化方式ＪＰＥＧ−ＬＳ（非特許文献２参照）では、次に示すような「ＭＥＤ予測」と呼ばれる若干複雑な予測方法が用いられている。

ｉｆ Ｉｎｗ≧ｍａｘ（Ｉｗ，Ｉｎ） ｔｈｅｎ
ｘ' ＝ｍｉｎ（Ｉｗ，Ｉｎ）
ｅｌｓｅ ｉｆ Ｉｎｗ≦ｍｉｎ（Ｉｗ，Ｉｎ） ｔｈｅｎ
ｘ' ＝ｍａｘ（Ｉｗ，Ｉｎ）
ｅｌｓｅ
ｘ' ＝Ｉｗ＋Ｉｎ−Ｉｎｗ
ここで、ｍａｘ（ｘ，ｙ）はｘ，ｙのうち大きい方を返し、ｍｉｎ（ｘ，ｙ）はｘ，ｙのうち小さい方を返す関数である。

また、周辺画素の重み付平均を予測値とする方法も一般的であり、簡単には画像毎に最小二乗法により各周辺画素の重みを求めたり、符号量が最小となるよう係数を最適化する方法（非特許文献３参照）も存在する。

また、予測符号化の範疇ではなくなるが、画像・映像符号化の符号化パラメータの最適化に「遺伝的アルゴリズム」（Genetic Algorithm, ＧＡ）を用いた方式としては下記の非特許文献４があり、２値画像を符号化する際のコンテクストを生成する「テンプレート」を遺伝的アルゴリズムにより変化させ、効率を改善させる。テンプレートが一種のパラメータと考えられ、符号化手順は固定である。

同様の方向性の手法として、下記の非特許文献５では、符号化する単位領域の分割形状を遺伝的アルゴリズムにより動的変化させ、効率を改善させる。これも非特許文献４のテンプレートと同様、符号化手順自体は固定である。

ISO/IEC SC29/WG1, ISO/IEC 10918-1 "Digital compression and coding of continuous-tone still images", p.133, 1993 M. Weinberger, G. Seroussi, G. Sapiro, "The LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS", IEEE Trans. Image Processing, Vol. 9, No. 8, pp.1309-1324, August 2000 Ichiro Matsuda, Nau Ozaki, Yuji Umezu and Susumu Itoh, "Lossless Coding Using Variable Block-Size Adaptive Prediction Optimized for Each Image", Proceedings of 13th European Signal Processing Conference (EUSIPCO 2005), WedAmPO3, Sep. 2005. 田中, 坂無, 溝口, 樋口："遺伝的アルゴリズムを用いたディジタル印刷画像の２値画像符号化",電子情報通信学会論文誌 D-II vol.J83-D-II, no.5, pp.1274-1283, May 2000 高木, 小池, 松本, 山本："遺伝的アルゴリズムを用いた動画像動き補償・領域分割符号化方式",電子情報通信学会論文誌 D-II vol.J83-D-II, no.6, pp.1437-1445, June 2000

このように、従来の予測方式は、重みなどの数値パラメータを画像毎に最適化する程度の柔軟性しか有しておらず、どの画素を予測計算に用いるか、どの式を条件分岐に用いるかといった「予測手順」は固定であった。

つまり、新たな予測手順は、人間が試行錯誤的に試しながら生成するしかなかった。従って、予測器の構成は人間の把握しうる程度の複雑さを超えることができなかった。

さらに、入力画像に特化した予測手順を、画像毎に新たに生成するような方式も存在していなかった。

また、画像処理応用では、処理の目標とする画像つまり「教師情報」を人間が作り、与える必要があった。

以上のような問題に鑑み、本発明は、「予測値生成に復号済みの周辺画素を用いる点」においては従来の予測方法と同様であるが、入力された画像に適した、より符号量を削減できる予測手続きを計算機が自動生成することを実現することにより、高能率な符号化・復号に資する新たな技術の提供を目的とするものである。

〔１〕本発明の画素予測値生成手順自動生成装置の構成
はじめに、本発明の画素予測値生成手順自動生成装置の構成について説明する。

本発明の画素予測値生成手順自動生成装置は、符号化対象の画素の値を復号済み画素を用いて予測する予測値生成手順の自動生成を実現するものであり、この実現のために、（１）木構造で表される予測値生成手順をランダムに生成することで母集団を生成する第１の手段と、（２）母集団から親となる複数の予測値生成手順を選択し、それらを処理対象として、既存の予測値生成関数を木の終端ノードになりうるものとして実行する所定の木構造進化手法に基づいて、子となる１つ又は複数の予測値生成手順を生成する第２の手段と、（３）子の予測値生成手順および親の予測値生成手順を選択対象とし、木構造を表現するための情報量とその木構造により得られる画素予測値から見積もられる画像符号量との和を評価コストとして用いて、該評価コストが最小となる予測値生成手順を符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順として選択して、その選択した予測値生成手順とそれ以外の１つ又は複数の予測値生成手順とを母集団に保存する第３の手段と、（４）所定の条件を充足するまで第２および第３の手段による処理を繰り返すように制御して、その結果得られる最良の評価コストを示す予測値生成手順を最終的な予測値生成手順として生成する第４の手段とを備えるように構成する。

この構成を採るときに、第２の手段は、画像内の画素の座標値を出力する関数についても木の終端ノードになりうるものとして実行する所定の木構造進化手法に基づいて、子の予測値生成手順を生成することがある。

また、第１の手段は、既存の予測値生成関数を前記母集団に入れるようにして母集団を生成することがある。

以上の各処理手段が動作することで実現される本発明の画素予測値生成手順自動生成方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画素予測値生成手順自動生成装置では、木構造で表される画素予測値の生成手順をランダムに生成することで母集団を生成すると、母集団から親となる複数の予測値生成手順を選択し、それらを処理対象として、所定の木構造進化手法に基づいて、子となる１つ又は複数の予測値生成手順を生成して、木構造を表現するための情報量（後述のアルゴリズム１などにより求められる）と、その木構造により得られる画素予測値（後述のアルゴリズム２などにより求められる）から見積もられる画像符号量との和を評価コストとして用いて、該評価コストが最小となる予測値生成手順を符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順として選択する。そして、その選択した予測値生成手順とそれ以外の予測値生成手順とを母集団に保存することを繰り返していくことで、新たな画素予測値の生成手順を自動生成することを実現する。

このように、本発明の画素予測値生成手順自動生成装置は、遺伝的プログラミングのような木構造進化手法に基づいて、新たな画素予測値の生成手順を自動生成することにより高精度の画素値予測を実現するものであるが、このとき、木構造を表現するための情報量と、その木構造により得られる画素予測値から見積もられる画像符号量との和を評価コストとして用いることから、木の肥大化を抑制しつつ、高効率の画像符号化を実現する画素予測値の生成手順を自動生成することができるようになる。

そして、このとき、既存の予測値生成関数を木の終端ノードになりうるものとしてその木構造進化手法を実行することから、従来方式と同等の予測効率を担保することができるようになる。
このことの実現をさらに確実なものとするために、母集団を生成するときに、既存の予測値生成関数の木構造を母集団に入れるようにして母集団を生成するようにすることがある。

しかも、このとき、画像内の画素の座標値を出力する関数についても木の終端ノードになりうるものとしてその木構造進化手法を実行することがあり、この実行により、画像内部の構造に応じ、ｘ，ｙの座標値を用いて局所的に画素予測値の生成手順を切り替えるというようなことも可能となる。

〔２〕本発明の画像符号化装置および画像復号装置の構成（その１）
復号側に対して、自動生成した画素予測値の生成手順を伝達するという構成を採る場合には、本発明の画像符号化装置および画像復号装置を次のように構成する。

〔２−１〕本発明の画像符号化装置の構成
本発明の画像符号化装置は、復号側に画素予測値の生成手順を伝達するという構成を採る場合には、（１）本発明の画素予測値生成手順自動生成装置の実行する処理に従って、符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順を生成する第１の手段と、（２）第１の手段で生成した予測値生成手順を符号化（後述するアルゴリズム３などにより符号化）する第２の手段と、（３）第１の手段で生成した予測値生成手順に基づいて符号化対象画像の持つ画素の予測値を生成（後述するアルゴリズム２などにより生成）する第３の手段と、（４）第３の手段で生成した画素予測値に基づいて算出される予測残差信号を符号化する第４の手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

この構成に従って、本発明の画像符号化装置は、本発明の画素予測値生成手順自動生成装置が生成する、高精度の画素値予測を実現し、かつ、高効率の画像符号化を実現する画素予測値の生成手順を用いて画像の符号化を実行することから、高効率の画像符号化を実現することができるようになる。

〔２−２〕本発明の画像復号装置の構成
本発明の画像復号装置は、〔２−１〕に記載の本発明の画像符号化装置が生成した符号化データを復号するために、（１）符号化側で生成された符号化データであって、本発明の画素予測値生成手順自動生成装置の実行する処理により生成された予測値生成手順についての符号化データを復号（後述するアルゴリズム４などにより復号）する第１の手段と、（２）第１の手段で復号した予測値生成手順に基づいて復号対象画像の持つ画素の予測値を生成（後述するアルゴリズム２などにより生成）する第２の手段と、（３）符号化側で生成された符号化データであって、第１の手段で復号した予測値生成手順に基づいて生成された画素予測値により算出された予測残差信号についての符号化データを復号する第３の手段と、（４）第２の手段で生成した画素予測値と第３の手段で復号した予測残差信号とに基づいて、復号対象画像を復元する第４の手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

この構成に従って、本発明の画像復号装置は、〔２−１〕に記載の本発明の画像符号化装置が生成した符号化データを復号することを実現するのである。

〔３〕本発明の画像符号化装置および画像復号装置の構成（その２）
符号化側で符号化した画像については、符号化側でも復号画像を生成することになる。これから符号化側と復号側とで同じ復号画像を共通に保有することができることで、本発明の実現にあたって必要となる画素予測値の生成手順を符号化側から復号側に伝送しないで済むことを実現できる可能性がある。

そこで、本発明ではこのことを実現するために、本発明の画像符号化装置および画像復号装置を次のように構成する。

〔３−１〕本発明の画像符号化装置の構成
本発明の画像符号化装置は、復号側に画素予測値の生成手順を伝達しないようにするという構成を採る場合には、（１）木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いて、所定の大きさを持つ符号化対象画像部分を符号化する第１の手段と、（２）第１の手段で符号化した際に得た符号化対象画像部分の復号画像を符号化する場合について、木構造を表現するための情報量をゼロとして見積もって実行する本発明の画素予測値生成手順自動生成装置の実行する処理に従って最良の評価コストを示す予測値生成手順を生成する第２の手段と、（３）第２の手段で生成した予測値生成手順に基づいて、第１の手段で符号化していない符号化対象画像部分の画素について予測値を生成（後述するアルゴリズム２などにより生成）する第３の手段と、（４）第３の手段で生成した画素予測値に基づいて算出される予測残差信号を符号化する第４の手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

この構成に従って、本発明の画像符号化装置は、本発明の画素予測値生成手順自動生成装置が生成する、高精度の画素値予測を実現し、かつ、高効率の画像符号化を実現する画素予測値の生成手順を用いて画像の符号化を実行することから、高効率の画像符号化を実現することができるようになる。

しかも、本発明の画像符号化装置は、木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いて、所定の大きさを持つ符号化対象画像部分を符号化することで、復号側と共通に保有することができるその符号化対象画像部分の復号画像を生成するようにして、それを使って復号側でも生成可能となる最良の評価コストを示す予測値生成手順を生成するようにしたことから、復号側に画素予測値の生成手順を伝達しないようにすることを実現できるようになる。

〔３−２〕本発明の画像復号装置の構成
本発明の画像復号装置は、〔３−１〕に記載の本発明の画像符号化装置が生成した符号化データを復号するために、（１）符号化側で生成された符号化データであって、木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いることで符号化された所定の大きさを持つ復号対象画像部分についての符号化データを復号する第１の手段と、（２）第１の手段で復号した復号対象画像部分を符号化する場合について、木構造を表現するための情報量をゼロとして見積もって実行する本発明の画素予測値生成手順自動生成装置の実行する処理に従って最良の評価コストを示す予測値生成手順を生成する第２の手段と、（３）第２の手段で生成した予測値生成手順に基づいて、第１の手段で復号していない復号対象画像部分の持つ画素について予測値を生成（後述するアルゴリズム２などにより生成）する第３の手段と、（４）符号化側で生成された符号化データであって、第２の手段で生成した予測値生成手順に基づいて生成された画素予測値により算出された予測残差信号についての符号化データを復号する第４の手段と、（５）第３の手段で生成した画素予測値と第４の手段で復号した予測残差信号とに基づいて、第１の手段で復号していない復号対象画像部分を復元する第５の手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

この構成に従って、本発明の画像復号装置は、〔３−１〕に記載の本発明の画像符号化装置が生成した符号化データを復号することを実現するのである。

しかも、本発明の画像復号装置は、木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いることで符号化された所定の大きさを持つ復号対象画像部分についての符号化データを復号することで、符号化側と共通に保有することができるその復号対象画像部分の復号画像を生成するようにして、それを使って符号化側でも生成可能となる最良の評価コストを示す予測値生成手順を生成するようにしたことから、符号化側から画素予測値の生成手順が伝達されなくても済むことを実現できるようになる。

以上詳説したように、本発明によれば、画素値を予測する手順自体を、その情報量を見積りつつ計算機により自動変化させることで、あるいは、既存方式により既に符号化された画素を用いて復号側でも進化計算を行うことで、残差情報量の低減に注力した予測器を利用することが可能になり、結果として、より少ない符号量で画像を符号化することができるようになる。

また、本発明の終端ノード候補には従来方式による予測器関数も含んでいるため、最悪でも従来方式と同等の予測効率を得ることができる。加えて、「符号化される画素の座標」も含むため、画像内部の構造に応じ予測手順を切り替えることもできる。

また、後述の長尾らの進化的画像処理方法（参考文献４）は、入力画像は無論固定できないため、様々な入力画像に対し汎用的に動作することが期待されるが、未知入力画像に必ず良好動作するかどうか保障することは実際上不可能であった。それに対し、本発明では、現在の入力画像だけを効率的に符号化することだけが期待されるため、そのような未知入力対応の必要がなく、実用性が高い。

また、本発明においては、「残差情報量と木の情報量との和」が最小化すべき唯一の指標であるため、画像処理応用では事前に人間が作る必要のあった「教師情報」は不要である。

平均予測の木構造表現の説明図である。 交叉処理の説明図である。 突然変異処理の説明図である。 逆位処理の説明図である。 本発明の一実施形態の、進化予測器生成装置の装置構成図である。 同実施形態の進化予測器生成装置の実行するフローチャートである。 本発明の一実施形態の、画像符号化装置および画像復号装置の装置構成図である。 同実施形態の画像符号化装置の実行するフローチャートである。 同実施形態の画像復号装置の実行するフローチャートである。 本発明の別の実施形態の、画像符号化装置および画像復号装置の装置構成図である。 同実施形態の画像符号化装置の実行するフローチャートである。 同実施形態の画像復号装置の実行するフローチャートである。 本発明の有効性を検証するために行った実験の説明図である。 着目画素の周辺に位置する復号済み画素の説明図である。

本発明は、「遺伝的プログラミング」（Genetic Programming,ＧＰ）を使って、入力された動画像や静止画像（以下、画像と称する）に適した、より符号量を削減できる予測手続きを計算機が自動生成することを実現する。

次に、本発明の基本的な考え方について説明する。

〔１〕予測手順の木構造表現
例えば、前述の式（１）で表される平均予測は、図１のように木構造により表現できる。便宜的に、この木表現と等価な記法として「Ｓ式（Symbolic Expression)」というものを用いることもある。

後述する遺伝的プログラミングにおいては、このＳ式を用いて木構造を表現することが慣例になっている。

Ｓ式によれば、例えば前述のｍａｘ（ｘ，ｙ）は、（ｍａｘ ｘ ｙ）と書かれるし、前述のＭＥＤ予測は、
（Ｔ（ｓｕｂ（Ｉｎｗ）（ｍａｘ（Ｉｗ）（Ｉｎ）））（ｍｉｎ（Ｉｗ）（Ｉｎ））（Ｔ（ｓｕｂ（ｍｉｎ（Ｉｗ）（Ｉｎ））（Ｉｎｗ））（ｍａｘ（Ｉｗ）（Ｉｎ））（ａｄｄ（Ｉｗ）（ｓｕｂ（Ｉｎ）（Ｉｎｗ）））））
のように書かれる。なお、改行に特に意味はない。

ここで、関数Ｔは３つの引数をとるもので、
（Ｔ Ａ Ｂ Ｃ）＝Ｂ Ａ≧０の場合
＝Ｃ Ａ＜０の場合 ・・・・ 式（５）という条件分岐を表すもの、としている。
なお、Ｔはternary(三項）の頭文字である。

以上のように、任意のアルゴリズムを木として記述することができ、当然ながら画素値の予測アルゴリズムも同様に木構造により記述できる。

ここで、関数としては、上記のＴの他、加減乗除、三角関数、二乗、平方根、指数、対数、絶対値、最小値、最大値などが考えられる。
これらの関数は引数をとるため、木の終端でない部分に現れる。従って「非終端ノード」とも呼ばれる。これは事前に用意しておくもののほか、動的に定義してもよい（下記の参考文献１参照）。

〔参考文献１〕J. Koza: "Genetic Programming II, Automatic Discovery of Reusable Programs", The MIT Press, pp. 41, 1998
また、それ自体が値を持つため木の終端に位置する「終端ノード」として、例えば、0.148 のような数値、図１４に示すＩｗ，Ｉｎ，Ｉｎｅ，Ｉｎｗのような周辺画素値がある。

〔２〕本発明における終端ノードの特徴
本発明では、終端ノードとなりうる候補の中に、「既存符号化方式により予測値を出力する関数」も含む。
関数は一般的には引数を必要とすることから、本来的には終端ノードとはならないものであるが、既存符号化方式により予測値を出力する関数は、既存符号化方式についての関数であるが故にどういうものが引数となるのかが決められているので、終端ノードとなりうるのである。

この「既存符号化方式により予測値を出力する関数」の出力する予測値は、上述の周辺画素値のように、符号化される画素（着目画素）ごとに異なる値をとるものである。
この関数の出力する予測値は、例えば、「最小二乗予測値」、「平面予測値」、「復号予測値」、「ＣＡＬＩＣ（下記の参考文献２参照）の予測値」、「ＪＰＥＧ−ＬＳの予測値」などである。
〔参考文献２〕X. Wu and N. Memon: "Context-Based, Adaptive, Lossless Image Coding", IEEE Transactions on Communications, vol.45, no.4, pp. 437-444, Apr. 1997

このように、終端ノードとなりうる候補の中に「既存符号化方式により予測値を出力する関数」を含めることにより、ほぼオーバーヘッドなしで従来方式と同等の予測効率を得ることができる。

すなわち、本発明では、後述するように、遺伝的プログラミングを使って画素値予測の予測手順（木構造）を進化させていくことで、予測効率のよい予測器（予測手順）を自動生成することを実現するのであるが、終端ノードとなりうる候補の中に「既存符号化方式により予測値を出力する関数」を含めることで、従来方式の予測器も進化の対象に含められることになる。
これにより、従来方式の予測器の方が他の自動生成される予測器よりも予測効率がよい場合には、その従来方式の予測器が最終的に遺伝的プログラミングにより自動生成されることから、ほぼオーバーヘッドなしで従来方式と同等の予測効率を得ることができるのである。

もちろん、遺伝的プログラミングを使って進化させた予測器、従来方式の予測器の組み合わせにより、さらに効率的な予測が得られるのであれば、そちらが符号化に採用される。

加えて、本発明では、終端ノードとなりうる候補の中に、「符号化される画素（着目画素）の座標を出力する関数」も含む。
これらの関数の出力する座標は、例えば、画像の左端の画素はｘ＝−１、右端はｘ＝１、画像の上端の画素はｙ＝−１、下端はｙ＝１となるよう、正規化した値でもよいし、純粋な座標値でもよい。

着目画素の画面内座標値を出力する関数は、例えばランダムに画面内座標値を出力するというように、引数を必要とすることなく画面内座標値を出力することができることから、終端ノードとなりうるのである。

このように、終端ノードとなりうる候補の中に「着目画素の画面内座標値を出力する関数」を含めることにより、画像内部の構造に応じ、ｘ，ｙの座標値を用いて局所的に処理を切り替えるということも可能となる。

例えば、画像の上５／６はこれこれの予測手順を用いる予測器、画像の下１／６はこれこれの予測手順を用いる予測器を用いるというように、ｙの値により処理を切り替える予測器というようなものを生成することが可能になるのである。

〔３〕予測手順の評価値、木の情報量、予測値の求め方
〔３−１〕予測手順の評価値
予測手順を後述のように進化させる際、何らかの評価尺度が必要となる。
本発明では、予測手順を表す個体の評価値（遺伝的プログラミングでは適合度と呼ぶ）として、
（ｉ）木構造を表現するための情報量Ｘ
（ii）実際にその木構造の予測手順により画素値予測した予測残差の情報量Ｙの和（Ｘ＋Ｙ）
を用いる。

ここで、本発明では、個体（遺伝的プログラミングでは木を個体と称している）の評価値を予測残差の情報量Ｙだけで決めるのではなくて、木の情報量Ｘを考慮して決めるようにしているが、これはひとつには、予測手順そのものを復号側に伝達する必要があることに、その理由がある。
また、別の理由として、個体の評価値を木の情報量Ｘを考慮して決めるようにすることで、遺伝的プログラミングで問題となるブロートと呼ばれる木の肥大化の発生を抑制することができるようになることがある。

〔３−２〕木構造を表現するための情報量Ｘ
木構造を表現するための情報量Ｘは、その木に含まれる全てのノードの情報量の和である。

木構造を表現するための情報量は、例えば次のような再帰的関数により求めることができる。ここで、木のノードが表す数値は、例えば１０ビット固定小数点整数により表現されているとする。

〔アルゴリズム１〕
ｆｕｎｃｔｉｏｎ ｔｒｅｅ＿ｉｎｆｏ（ｔ）
ｂｅｇｉｎ
ｉｆ ｔが数値の場合 ｔｈｅｎ
ｒｅｔｕｒｎ ＦＵＮＣＩＮＦＯ＋１０
ｅｌｓｅ ｂｅｇｉｎ
ｓ：＝ＦＵＮＣＩＮＦＯ／／関数の分
ｆｏｒｅａｃｈ（ｔに接続するすべての下位ノードｃについて）ｂｅｇｉｎ
ｓ：＝ｓ＋ｔｒｅｅ＿ｉｎｆｏ（ｃ）
ｅｎｄ
ｒｅｔｕｒｎ ｓ
ｅｎｄ
ｅｎｄ
ここで、各関数には０からＮ−１までの固有の通し番号がついているとする。
ＦＵＮＣＩＮＦＯは、すべての関数（ｍａｘやｍｉｎ，ａｄｄなど）の数をＮとしたとき、関数を固定長符号化したときの符号量を表す以下の量である：
ＦＵＮＣＩＮＦＯ＝ｌｏｇ₂ （Ｎ＋１） ・・・・ 式（６）
この式（６）においてＮ＋１となっているのは、関数の場合に加え、数値（２や１／４など）の場合も含めるためである。
ここでは固定長符号化を仮定しているが、関数毎の生起頻度を考慮した可変長符号化や算術符号化を行ってもよい。

しかるのち、着目している予測手順（木）の最上位ノードをｒｏｏｔとしたとき
Ｘ＝ｔｒｅｅ＿ｉｎｆｏ（ｒｏｏｔ） ・・・・ 式（７）を求めれば、木の情報量Ｘが求まる。

〔３−３〕予測値の求め方
与えられた木が表す予測手順に基づいた予測値の求め方であるが、これも次のように再帰的な関数により求めることができる。

〔アルゴリズム２〕
ｆｕｎｃｔｉｏｎ ｔｒｅｅ＿ｅｖａｌ（ｔ）
ｂｅｇｉｎ
ｉｆ ｔが数値の場合 ｔｈｅｎ／／即値の場合
ｒｅｔｕｒｎ その数値
ｅｌｓｅ ｉｆ ｔが引数を持たない場合 ｔｈｅｎ／／例：Ｉｎ
ｒｅｔｕｒｎ ｔの関数値
ｅｌｓｅ ｉｆ ｔが引数を１個持つ場合 ｔｈｅｎ／／例：ｓｑｒｔ（Ａ）
ｒｅｔｕｒｎ ｔの関数（ｔｒｅｅ＿ｅｖａｌ（ｔの１番目の下位ノード））
ｅｌｓｅ ｉｆ ｔが引数を２個持つ場合 ｔｈｅｎ／／例：ａｄｄ（Ａ，Ｂ）
ｒｅｔｕｒｎ ｔの関数（ｔｒｅｅ＿ｅｖａｌ（ｔの１番目の下位ノード），
ｔｒｅｅ＿ｅｖａｌ（ｔの２番目の下位ノード））
ｅｌｓｅ ｉｆ ｔが引数を３個持つ場合ｔｈｅｎ／／例：三項演算子Ｔ
ｒｅｔｕｒｎ ｔの関数（ｔｒｅｅ＿ｅｖａｌ（ｔの１番目の下位ノード），
ｔｒｅｅ＿ｅｖａｌ（ｔの２番目の下位ノード），
ｔｒｅｅ＿ｅｖａｌ（ｔの３番目の下位ノード））
ｅｎｄ
ここでは引数の個数が３個までの関数しか仮定していないが、引数個数の上限が４個、５個と増えても処理は同様である。

しかるのち、着目している予測手順（木）の最上位ノードをｒｏｏｔとしたとき
ｘ' ＝ｔｒｅｅ＿ｅｖａｌ（ｒｏｏｔ） ・・・・ 式（８）として、現在の着目画素における予測値ｐ' を求めることができる。

また、予測残差の情報量Ｙは、例えば以下のようにして求める。

ここで、ｈ_d は予測誤差ｄ（＝ｘ−ｘ' ）の画像全体での生起回数（ヒストグラム）であり、Ｗ，Ｈは、それぞれ画像の横・縦の画素数である。

さらに、ＣＡＬＩＣが行っているように、「コンテクスト分離」や「error feedback」、「error flipping」と呼ばれる手法により情報量削減を行っても構わない。

〔４〕予測手順の符号化・復号
〔４−１〕予測手順の符号化
予測手順の符号化も、情報量推定と同様な以下の再帰的手続きで実行できる。

〔アルゴリズム３〕
ｐｒｏｃｅｄｕｒｅ ｔｒｅｅ＿ｅｎｃｏｄｅ（ｔ）
ｂｅｇｉｎ
ｉｆ ｔが数値の場合 ｔｈｅｎ ｂｅｇｉｎ
ＦＵＮＣＩＮＦＯビットを用いて「Ｎ」（数値を表す）を符号化
１０ビットを用いて数値（固定小数点）を符号化
ｅｎｄ ｅｌｓｅ ｂｅｇｉｎ
ＦＵＮＣＩＮＦＯビットを用いて「ｔの関数番号（０..Ｎ−１）」を符号化
ｆｏｒｅａｃｈ（ｔに接続するすべての下位ノードｃについて）ｂｅｇｉｎ
ｔｒｅｅ＿ｅｎｃｏｄｅ（ｃ）
ｅｎｄ
ｅｎｄ
ｅｎｄ
しかるのち、着目している予測手順（木）の最上位ノードをｒｏｏｔとしたときｔｒｅｅ＿ｅｎｃｏｄｅ（ｒｏｏｔ）を実行すれば、その木が符号化できる。このときの必要符号量の下限はｔｒｅｅ＿ｉｎｆｏ（ｒｏｏｔ）に一致する。

〔４−２〕予測手順の復号
アルゴリズム３により符号化された予測手順の復号も、同様な以下の再帰的関数で実行できる。

〔アルゴリズム４〕
ｆｕｎｃｔｉｏｎ ｔｒｅｅ＿ｄｅｃｏｄｅ（）
ｂｅｇｉｎ
空の木Ｔを作成
ＦＵＮＣＩＮＦＯビットを復号し関数番号ｎを復号
ｉｆ ｎ＝Ｎ ｔｈｅｎ ｂｅｇｉｎ／／数値の場合
１０ビットを復号し１０ビット固定小数点数ｘを復号する
Ｔ：＝ｘ
ｅｎｄ ｅｌｓｅ ｂｅｇｉｎ
関数番号ｎに対応する関数Ｆを求める
Ｔ：＝Ｆ
ｆｏｒ ｉ＝１ ｔｏ Ｆが必要とする引数の数 ｂｅｇｉｎ
Ｔのｉ番目の下位ノード：＝ｔｒｅｅ＿ｄｅｃｏｄｅ（）
ｅｎｄ
ｅｎｄ
ｒｅｔｕｒｎ Ｔ
ｅｎｄ
ここで、「Ｆが必要とする引数の数」とは、たとえばＦ＝ａｄｄであれば２、Ｆ＝Ｔであれば３など、その関数が値を出すのに用いる値の個数（符号化側、復号側ともに既知）である。
Ｆはその個数だけ下位ノードを自分の引数として持っている。

しかるのち、ｔｒｅｅ＿ｄｅｃｏｄｅ（）を実行すれば、ビットストリームより木が復号され、返される。

〔５〕遺伝的プログラミングによる予測手順の自動進化
本発明では、一般に知られた以下のような遺伝的プログラミングの手順（複製選択、子の生成、生存選択）により、予測器を進化させる。
遺伝的プログラミングにおいては木を「個体」と呼ぶ。ここではそれに倣い説明する。

１．まず母集団を、乱数で生成したものや既存の予測アルゴリズム（上述の平面予測やＭＥＤ予測）などから生成しておく
２．次いで、その中から親集合を選択する（複製選択）
３．親集合から子個体集合を生成し（子の生成）、評価する（評価尺度については上述）
４．評価の結果に基づき子個体集合から生存させるものを選択する（生存選択）
ここで、「子」については、親として選ばれた個体同士で、
・図２に示すような交叉（crossover ：親１と親２の交叉点をランダムに選び、それぞれ交叉点に応じた部分木同士で交叉させる）、
・図３に示すような突然変異（mutation：ランダムに突然変異点を選び、その点に応じた部分木と突然変異木とを入れ替える) 、
・図４に示すような逆位（inversion ：兄弟木を入れ替える）
などの処理により生成する。

また、複製選択および生存選択をあわせて「世代交代モデル」と呼ぶが、これには例えば一般的に知られた下記の参考文献３の提案しているＭＧＧ（minimal generation gap）法などを用いることができる。

〔参考文献３〕佐藤, 小野, 小林： "遺伝的アルゴリズムにおける世代交代モデルの提案と評価", 人工知能学会誌, vol.12, no.5, pp.734-744, 1996
このように、遺伝的プログラミングにより処理手順を進化させる方法として代表的なものに下記の参考文献４がある。ただし、これは画像処理手順に関するものである。
〔参考文献４〕藤嶋, 長尾： "ＧＰによる構造最適化とＧＡによる数値最適化を併用した画像処理自動生成法ＰＴ−ＡＣＴＩＴ", 映像情報メディア学会誌 vol.59, no.11, pp.1687-1693, 2005

しかしながら、本発明のように「画像」符号化手順を進化させる手法はまだ提案されていない。前述した非特許文献４や非特許文献５の手法は符号化パラメータの最適化にすぎない。

以下、実施の形態に従って、本発明を詳細に説明する。

図５に、本発明の一実施形態例である進化予測器生成装置１の構成を図示する。

本実施形態の進化予測器生成装置１は、遺伝的プログラミング（遺伝的プログラミングでは木を「個体」と呼ぶ）を使って、画素予測値を生成する予測器（以下、本実施形態が生成する予測器を進化予測器と称する）を自動生成することを実現するものである。
この自動生成を実現するために、図５に示すように、母集団生成部１０と、母集団記憶部１１と、親個体選択複製部１２と、子個体生成部１３と、突然変異用情報記憶部１４と、評価値算出部１５と、生存個体決定部１６と、収束判定部１７と、進化予測器決定部１８とを備える。

母集団生成部１０は、進化予測器の生成元となる予測器の個体をランダムに生成することで母集団を生成して、それを母集団記憶部１１に保存する。このとき、既存の予測値生成関数（個体）を母集団に入れる形態で母集団を生成して、それを保存することになる。
さらに、母集団生成部１０は、評価値算出部１５に対して、母集団記憶部１１に保存する個体についての評価値の算出を要求して、その要求に応答して評価値算出部１５から返される評価値を受け取り、それを、保存する個体と対応をとりつつ母集団記憶部１１に保存する処理を行う。

親個体選択複製部１２は、母集団記憶部１１に保存される複数の個体を選択してそれを複製することで、複数の親個体を生成する。
さらに、親個体選択複製部１２は、その生成した親個体の生成元となった個体を母集団記憶部１１から削除する処理を行う。

子個体生成部１３は、遺伝的プログラミングに従って、親個体選択複製部１２の生成した親個体に対して、図２に示すような交叉を施したり、突然変異用情報記憶部１４に保存される突然変異用情報を使って図３に示すような突然変異を施したり、図４に示すような逆位を施すことなどにより、子個体を生成する。
さらに、子個体生成部１３は、評価値算出部１５に対して、生成した子個体についての評価値の算出を要求して、その要求に応答して評価値算出部１５から返される評価値を受け取ることで、生成した子個体の評価値を算出する。

突然変異用情報記憶部１４は、子個体生成部１３が親個体に対して突然変異を施す場合に必要となる突然変異用情報（突然変異木）を保存するものであり、画像内の座標値を出力する関数（個体）と既存の予測値生成関数（個体）とが含まれる突然変異用情報を保存する。

評価値算出部１５は、個体を指定してその個体の評価値の算出要求があると、木構造を表現するための情報量（前述のＸ：個体情報量）と、実際にその木構造の予測手順により画素値予測した全画面の予測残差の情報量（前述のＹ：予測残差情報量）との和である情報量総和を算出して、その算出した情報量総和を個体の評価値として評価値算出要求元へ返す処理を行う。

生存個体決定部１６は、親個体選択複製部１２の生成した親個体の持つ評価値（母集団記憶部１１から読み出す）と、子個体生成部１３の生成した子個体の持つ評価値とに基づいて、最良の評価値を持つ個体を選択して、その選択した個体とそれ以外の１つ又は複数の個体とをその評価値とともに母集団記憶部１１に保存する。

収束判定部１７は、評価値算出部１５の算出する評価値などに基づいて、進化予測器の生成完了を示す収束条件が成立したのか否かを判定して、その収束条件が成立したことを判定するときには、進化予測器決定部１８に対して、進化予測器を決定することを指示する。

進化予測器決定部１８は、収束判定部１７から進化予測器の決定要求があると、母集団記憶部１１に保存される個体の中から最良の評価値を持つ個体を特定して、その特定した個体を進化予測器として決定して出力する。

図６に、このように構成される本実施形態の進化予測器生成装置１の実行するフローチャートを図示する。

次に、このフローチャートに従って、進化予測器生成装置１の実行する処理について詳細に説明する。

本実施形態の進化予測器生成装置１は、符号化対象となる画像についての進化予測器の生成要求があると、図６のフローチャートに示すように、まず最初に、ステップＳ１０１で、既存符号化方式の予測値を出力する個体を含める形で母集団（進化の元となる個体の集団）を生成する。

続いて、ステップＳ１０２で、母集団の各個体について、木構造を表現するための情報量Ｘと、実際にその木構造の予測手順により画素値予測した全画面の予測残差の情報Ｙとの和を算出することで、評価値を算出する。
ここで、木構造を表現するための情報量Ｘについては前述のアルゴリズム１により算出することになる。
また、木構造の予測手順により予測される画素値については前述のアルゴリズム２により算出することになる。

続いて、ステップＳ１０３で、母集団の各個体をそれが持つ評価値とともに、母集団記憶部１１に保存する。

続いて、ステップＳ１０４で、母集団記憶部１１に保存される母集団の個体の中からＮ個の親個体を選択し、それが持つ評価値を読み出す。

続いて、ステップＳ１０５で、選択したＮ個の親個体を複写するとともに、選択したＮ個の親個体を母集団記憶部１１から削除する。

続いて、ステップＳ１０６で、突然変異用情報記憶部１４の保存する突然変異用情報を利用しつつ、遺伝的プログラミングによって、図２に示すような交叉や図３に示すような突然変異や図４に示すような逆位を施すことなどにより、複写したＮ個の親個体からＭ個の子個体を生成する。
このとき、突然変異において個体（木）に加えられる候補として、「従来方式による予測値の生成関数」、「被符号化画素のｘ座標、ｙ座標を出力する関数」が含まれている。

続いて、ステップＳ１０７で、生成したＭ個の子個体について、木構造を表現するための情報量Ｘと、実際にその木構造の予測手順により画素値予測した予測残差の情報Ｙとの和を算出することで、評価値を算出する。

続いて、ステップＳ１０８で、生成したＭ個の子個体と複写したＮ個の親個体とを選択対象として、最良の評価値を持つ個体と、それ以外の個体の中からランダムに選択した（Ｎ−１）個の個体とを生存個体として選択する。

続いて、ステップＳ１０９で、選択した生存個体をそれが持つ評価値とともに、母集団記憶部１１に保存する。

続いて、ステップＳ１１０で、所定の収束条件に到達したのか否かを判断して、収束条件に到達していないことを判断するときには、進化が十分でないことを判断して、ステップＳ１０４の処理に戻る。
このときに用いる収束条件としては、例えば、評価値Ｚ（＝Ｘ＋Ｙ）の減少割合が一定値（e.g., 0.1％）を下回るとか、評価回数が一定値（e.g., 1万回）を超えるなどの条件を用いる。

一方、ステップＳ１１０の判断処理に従って、所定の収束条件に到達したことを判断するときには、ステップＳ１１１に進んで、母集団記憶部１１に保存される母集団の個体の中から、最良の評価値を持つ個体を最終的な進化個体（進化予測器）として選択して出力して、処理を終了する。

このようにして、本実施形態の進化予測器生成装置１は、遺伝的プログラミングを使って、高精度の画素値予測を実現する進化予測器を自動生成することを実現するのである。

この実現にあたって、本実施形態の進化予測器生成装置１は、木構造を表現するための情報量Ｘと、実際にその木構造の予測手順により画素値予測した全画面の予測残差の情報Ｙとの和を評価値として用いることから、高効率の画像符号化を実現する画素値予測を行う予測器を自動生成することができるようになる。

そして、このとき、個体に加えられる候補として、「従来方式による予測値の生成関数」を含めることから、従来方式と同等の予測効率を得ることができるようになる。
さらに、母集団を生成するときに、この「従来方式による予測値の生成関数」の個体を母集団に含めるようにすれば、このことの実現がさらに確実なものとなる。

しかも、このとき、個体に加えられる候補として、「被符号化画素のｘ座標、ｙ座標を出力する関数」を含めることから、画像内部の構造に応じ、ｘ，ｙの座標値を用いて局所的に進化予測器を切り替えるというようなことも実現可能となる。

図７に、このような特徴を持つ本実施形態の進化予測器生成装置１を利用する画像符号化装置１００および画像復号装置２００の一実施形態例を図示する。

図７に示す本実施形態の画像符号化装置１００は、本実施形態の進化予測器生成装置１の実行する処理に従って符号化対象画像に適用される進化予測器を生成する進化予測器生成部１０１と、進化予測器生成部１０１の生成した進化予測器を符号化する進化予測器符号化部１０２と、進化予測器生成部１０１の生成した進化予測器を使って符号化対象画像を符号化する画像符号化部１０３と、進化予測器符号化部１０２および画像符号化部１０３の生成した符号化データを本実施形態の画像復号装置２００に送信する符号化データ送信部１０７とを備える。

そして、この画像符号化部１０３は、符号化対象画像を符号化するために、進化予測器生成部１０１の生成した進化予測器を使って画素値を予測する画素予測値生成部１０４と、画素予測値生成部１０４の予測した画素予測値に基づいて予測残差を算出する予測残差算出部１０５と、予測残差算出部１０５の算出した予測残差を符号化する予測残差符号化部１０６とを備える。

一方、図７に示す本実施形態の画像復号装置２００は、本実施形態の画像符号化装置１００から送信されてくる符号化データを受信する符号化データ受信部２０１と、符号化データ受信部２０１の受信した進化予測器の符号化データを復号することで画像符号化装置１００が生成した進化予測器を復号する進化予測器復号部２０２と、進化予測器復号部２０２が復号した進化予測器と符号化データ受信部２０１の受信した符号化データとに基づいて、画像符号化装置１００が符号化した画像を復号する画像復号部２０３とを備える。

そして、この画像復号部２０３は、本実施形態の画像符号化装置１００が符号化した画像を復号するために、進化予測器復号部２０２の復号した進化予測器を使って画素値を予測する画素予測値生成部２０４と、符号化データ受信部２０１の受信した予測残差の符号化データを復号する予測残差復号部２０５と、画素予測値生成部２０４の予測した画素予測値と予測残差復号部２０５の復号した予測残差とに基づいて、画像符号化装置１００が符号化した画像を復元する画像復元部２０６とを備える。

図８に、図７に示す画像符号化装置１００の実行するフローチャートを図示し、図９に、図７に示す画像復号装置２００の実行するフローチャートを図示する。

次に、これらのフローチャートに従って、図７のように構成される本実施形態の画像符号化装置１００および画像復号装置２００の実行する処理について説明する。

図７のように構成される画像符号化装置１００は、符号化対象画像の符号化要求があると、図８のフローチャートに示すように、まず最初に、ステップＳ２０１で、上述の進化予測器生成装置１の実行する処理に従って符号化対象画像に適用される進化予測器を生成し、続くステップＳ２０２で、その生成した進化予測器を前述のアルゴリズム３に従って符号化する。

続いて、符号化対象画像の符号化に入って、ステップＳ２０３で、生成した進化予測器を使って画素予測値（前述したｐ' ）を生成し、続くステップＳ２０４で、その生成した画素予測値に基づいて予測残差（前述したｐ−ｐ' ）を算出する。

続いて、ステップＳ２０５で、その算出した予測残差を符号化し、続くステップＳ２０６で、符号化対象画像の持つ全画素について符号化を終了したのか否かを判断して、全画素について符号化を終了していないことを判断するときには、ステップＳ２０３の処理に戻り、全画素について符号化を終了したことを判断するときには、処理を終了する。

この画像符号化装置１００の生成した符号化データを受けて、図７のように構成される画像復号装置２００は、図９のフローチャートに示すように、まず最初に、ステップＳ３０１で、進化予測器の符号化データを前述のアルゴリズム４に従って復号することで、画像符号化装置１００が生成した進化予測器を復号する。

続いて、復号対象画像の復号に入って、ステップＳ３０２で、復号した進化予測器を使って画素予測値（前述したｐ' ）を生成し、続くステップＳ３０３で、予測残差の符号化データを復号することで予測残差（前述したｐ−ｐ' ）を復号し、続くステップＳ３０４で、その生成した画素予測値とその復号した予測残差とに基づいて画素値を生成して出力する。

続いて、ステップＳ３０５で、復号画像の持つ全画素について復号を終了したのか否かを判断して、全画素について復号を終了していないことを判断するときには、ステップＳ３０２の処理に戻り、全画素について復号を終了したことを判断するときには、処理を終了する。

このようにして、図７のように構成される画像符号化装置１００は、進化予測器を生成し、それを使って画像を符号化するとともに、進化予測器についても符号化するようにし、一方、図７のように構成される画像復号装置２００は、進化予測器の符号化データを復号することで画像符号化装置１００が生成した進化予測器を得るようにして、それを使って画像を復号するように処理するのである。

前述したように、進化予測器生成装置１は、高精度の画素値予測を実現する進化予測器を自動生成する。

これから、この進化予測器生成装置１の生成する進化予測器を使って画像を符号化し復号する、画像符号化装置１００および画像復号装置２００によれば、高い符号化効率を実現できるようになる。

図１０に、上述の進化予測器生成装置１を利用する画像符号化装置１００および画像復号装置２００の他の実施形態例を図示する。

図７に示す画像符号化装置１００および画像復号装置２００では、進化予測器を符号化伝送する必要があるが、図１０に示す画像符号化装置１００’および画像復号装置２００’では、進化予測器については符号化伝送せずに、復号側で、既に伝送済みの画素を用いて符号化側が生成した進化予測器を生成できるようにする。これにより、符号化側と復号側とが同一の進化予測器を用いて画像を符号化・復号できるようにすることを実現する。

この実現のために、図１０に示す画像符号化装置１００’は、既存の予測器を用いて符号化対象画像の持つ所定の大きさの画像部分を符号化する第１の画像符号化部１１０と、第１の画像符号化部１１０が符号化にあたって復号した符号化画像部分の復号画像を用いて、その復号画像に適用される進化予測器を生成する進化予測器生成部１１１と、進化予測器生成部１１１の生成した進化予測器を使って符号化対象画像の残りの画像部分を符号化する第２の画像符号化部１１２と、第１の画像符号化部１１０および第２の画像符号化部１１２の生成した符号化データを画像復号装置２００’に送信する符号化データ送信部１１６とを備える。

そして、この第２の画像符号化部１１２は、第１の画像符号化部１１０が符号化しない画像部分を符号化するために、進化予測器生成部１１１の生成した進化予測器を使って画素値を予測する画素予測値生成部１１３と、画素予測値生成部１１３の予測した画素予測値に基づいて予測残差を算出する予測残差算出部１１４と、予測残差算出部１１４の算出した予測残差を符号化する予測残差符号化部１１５とを備える。

一方、図１０に示す画像復号装置２００’は、画像符号化装置１００’から送信されてくる符号化データを受信する符号化データ受信部２１０と、符号化データ受信部２１０の受信した符号化データに含まれる第１の画像符号化部１１０の生成した符号化データを復号する第１の画像復号部２１１と、第１の画像復号部２１１の復号した画像部分に適用される進化予測器を生成する進化予測器生成部２１２と、進化予測器生成部２１２が生成した進化予測器と符号化データ受信部２１０の受信した符号化データに含まれる第２の画像符号化部１１２の生成した符号化データとに基づいて、第１の画像復号部２１１が復号しない画像部分を復号する第２の画像復号部２１３と、第１の画像復号部２１１の復号した画像と第２の画像復号部２１３の復号した画像とを統合することで復号対象の画像を生成する画像統合部２１７とを備える。

そして、この第２の画像復号部２１３は、第１の画像復号部２１１が復号しない画像部分を復号するために、進化予測器生成部２１２の生成した進化予測器を使って画素値を予測する画素予測値生成部２１４と、符号化データ受信部２１０の受信した第１の画像復号部２１１が復号しない画像部分についての予測残差の符号化データを復号する予測残差復号部２１５と、画素予測値生成部２１４の予測した画素予測値と予測残差復号部２１５の復号した予測残差とに基づいて第１の画像復号部２１１が復号しない画像部分を復元する画像復元部２１６とを備える。

図１１に、図１０に示す画像符号化装置１００’の実行するフローチャートを図示し、図１２に、図１０に示す画像復号装置２００’の実行するフローチャートを図示する。

次に、これらのフローチャートに従って、画像符号化装置１００’および画像復号装置２００’の実行する処理について説明する。

画像符号化装置１００’は、画像の符号化要求があると、まず最初に、ステップＳ４０１で、既存の予測器を用いて符号化対象画像の持つ所定の大きさの画像部分（画素数がＮ個であるとする）の符号化に入り、続くステップＳ４０２で、その画像部分の符号化終了の確認が得られるまで、その符号化を行うことで、その画像部分を符号化する。
例えば、ＪＰＥＧ−ＬＳ等を使って、符号化対象画像の持つ所定の大きさの画像部分を符号化するのである。

続いて、ステップＳ４０３で、上述の進化予測器生成装置１の実行する処理に従って、ステップＳ４０１の符号化で得た復号画像（符号化した画像部分についての復号画像）に適用される進化予測器を生成する。

ここで、進化予測器の生成にあたっては、前述したように、原則的には、木構造を表現するための情報量Ｘと、実際にその木構造の予測手順により画素値予測した全画面の予測残差の情報Ｙとの和で定義される評価値に従って、最良な評価値を示す進化予測器を生成することになるのであるが、この実施形態例の場合には、進化予測器を伝送する必要がないので、情報量Ｘ＝０として評価値を算出するようにして（進化手順に変更はない）、それに基づいて進化予測器を生成するように処理することになる。

続いて、ステップＳ４０１で符号化していない符号化対象画像の画像部分の符号化に入って、ステップＳ４０４で、生成した進化予測器を使って画素予測値（前述したｐ’）を生成し、続くステップＳ４０５で、その生成した画素予測値に基づいて予測残差（前述したｐ−ｐ’）を算出する。

続いて、ステップＳ４０６で、その算出した予測残差を符号化し、続くステップＳ４０７で、符号化対象画像の持つ全画素について符号化を終了したのか否かを判断して、全画素について符号化を終了していないことを判断するときには、ステップＳ４０４の処理に戻り、全画素について符号化を終了したことを判断するときには、処理を終了する。

画像符号化装置１００’の生成した符号化データを受けて、画像復号装置２００’は、図１２のフローチャートに示すように、まず最初に、ステップＳ５０１で、画像符号化装置１００’が既存の予測器を用いて符号化した画像部分（画素数がＮであるとする）の符号化データの復号に入り、続くステップＳ５０２で、その画像部分の復号終了の確認が得られるまで、その復号を行うことで、その画像部分を復号する。
例えば、ＪＰＥＧ−ＬＳ等を使って、所定の大きさを持つ画像部分を復号するのである。

続いて、ステップＳ５０３で、上述の進化予測器生成装置１の実行する処理に従って、ステップＳ５０１の復号で得た復号画像に適用される進化予測器を生成する。

ここで、進化予測器の生成にあたっては、前述したように、原則的には、木構造を表現するための情報量Ｘと、実際にその木構造の予測手順により画素値予測した全画面の予測残差の情報Ｙとの和で定義される評価値に従って、最良な評価値を示す進化予測器を生成することになるのであるが、この実施形態例の場合には、進化予測器を伝送する必要がないので、情報量Ｘ＝０として評価値を算出するようにして（進化手順に変更はない）、それに基づいて進化予測器を生成するように処理することになる。

続いて、復号対象画像の持つ残りの画像部分の復号に入って、ステップＳ５０４で、生成した進化予測器を使って画素予測値（前述したｐ' ）を生成し、続くステップＳ５０５で、予測残差の符号化データを復号することで予測残差（前述したｐ−ｐ' ）を復号する。
続くステップＳ５０６で、その生成した画素予測値とその復号した予測残差とに基づいて画素値を生成して出力する。

続いて、ステップＳ５０７で、復号対象画像の持つ残りの画像部分の全画素について復号を終了したのか否かを判断して、全画素について復号を終了していないことを判断するときには、ステップＳ５０４の処理に戻り、全画素について復号を終了したことを判断するときには、処理を終了する。

このようにして、図１０のように構成される画像符号化装置１００’は、符号化対象画像の一部分を既存の符号化方式で符号化して、その符号化にあたって生成した復号画像を用いて進化予測器を生成し、そのようにして生成した進化予測器を使って残りの画像部分を符号化する。
一方、図１０のように構成される画像復号装置２００’は、既存の復号方式に従って符号化データを復号することで復号対象画像の一部分を復号して、その復号した画像を用いて進化予測器を生成し、そのようにして生成した進化予測器を使って残りの画像部分を復号するように処理するのである。

前述したように、進化予測器生成装置１は、高精度の画素値予測を実現する進化予測器を自動生成する。

これから、この進化予測器生成装置１の生成する進化予測器を使って画像を符号化し復号する、画像符号化装置１００’および画像復号装置２００’によれば、高い符号化効率を実現できるようになる。

以上に説明した本発明の有効性を検証すべく本発明者が行った実験で、ある画像について評価値Ｘ＋Ｙを最小化すると、次のような比較的シンプルな進化予測器を生成することができた。

（ａｄｄ（ｓｕｂ ０．５ （ｓｕｂ（ｄｉｖ（Ｉｇａｐ）（Ｉｎｅ））（Ｉｇａｐ）））（ｄｉｖ（Ｉｎｗ）（Ｉｇａｐ）））
ここで、Ｉｇａｐは周辺からの非線形予測値、Ｉｎｅ、Ｉｎｗは図１４に示される周辺画素値である。

このときの評価値Ｘ＋Ｙは１１７０２３５[bit] で、現在ある既存の予測器の最高値１１７６０９０[bit] よりも優れていることを示した。
この進化予測器では、予測値同士を割るということを行っており、本発明は従来の予測器では考えられないような予測値生成手順を生成することが分かる。

次に、本発明の有効性を検証するために行った実験の結果について説明する。なお、この実験では、既存の予測値生成関数（個体）については母集団に入れないようにして実験を行った。

この実験では、比較対象とする予測木は、線形予測の最小二乗予測器（ＬＳ）、線形予測の最小エントロピ予測器（ＬＥ）、非線形予測のＣＡＬＩＣのＧＡＰ予測器（本発明と同様に、図１４に示す近傍４画素を利用）、非線形予測のＪＰＥＧ−ＬＳのＭＥＤ予測器（近傍３画素を利用）とした。

ここで、ＬＥ予測はＬＳ予測の５係数を初期値としPowell 法による多次元探索でＹを最小化したもので、線形予測中最高効率と言える。

図１３に、使用した画像（いずれも５１２×５１２画素、８ビット、輝度のみ）毎のオーバーヘッド（ＬＳ，ＬＥは５０、ＧＡＰ，ＭＥＤは０、本発明はＸ bits ）込みの残差情報量（Ｘ＋Ｙ）と、それらの本発明からの増分を示す。また、最下段に、各画像に対する本発明の木の情報量Ｘを示す。なお、残差情報量の単位はｂｐｐ(bit per pixel）である。

この実験結果から、本発明により自動生成された予測器が最も効率が高いことが確認できた。本発明により自動生成された予測器の木情報量Ｘは平均７２６bitsで、ＧＡＰ，ＭＥＤ予測器（それぞれ 349.5、116.0 bits 。本実験ではともに０とおいた）より若干複雑になっている。

画像Lena について、別に、木情報量Ｘを考慮せず残差情報量Ｙのみを最小化するよう進化計算した結果、本発明の手法に関し、図１３の結果と比較して、Ｙ（Ｙ単体では図１３に記載していない）は０．０６％減少したが、Ｘは３倍強のサイズ（Ｘ＝2795 bits）となり、Ｘ＋Ｙは逆に０．１４％増加した。木の肥大化はＧＰ固有のブロートと呼ばれる問題であるが、本発明ではＸも考慮することで、その発生が自然に抑制されている。

また、画像Baboon について、画像の下約１／６か否かで処理を分ける予測木が生成された。これは髭のみの領域か否かに対応しており、ＧＰの探索能力の高さを裏付けるものと言える。

これらの実験結果から本発明の有効性を検証することができた。

本発明は、動画像や静止画像を符号化し復号する場合に適用できるものであり、本発明を適用することで高精度の画素値予測を実現することで、入力された画像に適した、より符号量を削減できる予測手続きを計算機により自動生成することを実現できるようになる。

１ 進化予測器生成装置
１０ 母集団生成部
１１ 母集団記憶部
１２ 親個体選択複製部
１３ 子個体生成部
１４ 突然変異用情報記憶部
１５ 評価値算出部
１６ 生存個体決定部
１７ 収束判定部
１８ 進化予測器決定部

Claims (20)

1. 符号化対象の画素の値を復号済み画素を用いて予測する予測値生成手順の生成に用いられる画素予測値生成手順自動生成方法であって、
   木構造で表される予測値生成手順をランダムに生成することで母集団を生成する第１の過程と、
   前記母集団から親となる複数の予測値生成手順を選択し、それらを処理対象として、既存の予測値生成関数を木の終端ノードになりうるものとして実行する所定の木構造進化手法に基づいて、子となる１つ又は複数の予測値生成手順を生成する第２の過程と、
   前記子の予測値生成手順および前記親の予測値生成手順を選択対象とし、木構造を表現するための情報量とその木構造により得られる画素予測値から見積もられる画像符号量との和を評価コストとして用いて、該評価コストが最小となる予測値生成手順を符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順として選択して、その選択した予測値生成手順とそれ以外の１つ又は複数の予測値生成手順とを前記母集団に保存する第３の過程と、
   所定の条件を充足するまで前記第２および第３の過程の処理を繰り返すように制御して、その結果得られる最良の評価コストを示す予測値生成手順を最終的な予測値生成手順として生成する第４の過程とを備えることを、
   特徴とする画素予測値生成手順自動生成方法。
2. 請求項１に記載の画素予測値生成手順自動生成方法において、
   前記第２の過程では、画像内の画素の座標値を出力する関数についても木の終端ノードになりうるものとして実行する所定の木構造進化手法に基づいて、前記子の予測値生成手順を生成することを、
   特徴とする画素予測値生成手順自動生成方法。
3. 請求項１に記載の画素予測値生成手順自動生成方法において、
   前記第１の過程では、既存の予測値生成関数を前記母集団に入れるようにして前記母集団を生成することを、
   特徴とする画素予測値生成手順自動生成方法。
4. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて画像を符号化する画像符号化方法であって、
   請求項１に記載の画素予測値生成手順自動生成方法に従って、符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順を生成する第１の過程と、
   前記第１の過程で生成した予測値生成手順を符号化する第２の過程と、
   前記第１の過程で生成した予測値生成手順に基づいて符号化対象画像の持つ画素の予測値を生成する第３の過程と、
   前記第３の過程で生成した画素予測値に基づいて算出される予測残差信号を符号化する第４の過程とを備えることを、
   特徴とする画像符号化方法。
5. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて符号化された画像の符号化データを復号する画像復号方法であって、
   符号化側で生成された符号化データであって、請求項１に記載の画素予測値生成手順自動生成方法により生成された予測値生成手順についての符号化データを復号する第１の過程と、
   前記第１の過程で復号した予測値生成手順に基づいて復号対象画像の持つ画素の予測値を生成する第２の過程と、
   符号化側で生成された符号化データであって、前記第１の過程で復号した予測値生成手順に基づいて生成された画素予測値により算出された予測残差信号についての符号化データを復号する第３の過程と、
   前記第２の過程で生成した画素予測値と前記第３の過程で復号した予測残差信号とに基づいて、復号対象画像を復元する第４の過程とを備えることを、
   特徴とする画像復号方法。
6. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて画像を符号化する画像符号化方法であって、
   木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いて、所定の大きさを持つ符号化対象画像部分を符号化する第１の過程と、
   前記第１の過程で符号化した際に得た符号化対象画像部分の復号画像を符号化する場合について、木構造を表現するための情報量をゼロとして見積もって実行する請求項１に記載の画素予測値生成手順自動生成方法に従って最良の評価コストを示す予測値生成手順を生成する第２の過程と、
   前記第２の過程で生成した予測値生成手順に基づいて、前記第１の過程で符号化していない符号化対象画像部分の画素について予測値を生成する第３の過程と、
   前記第３の過程で生成した画素予測値に基づいて算出される予測残差信号を符号化する第４の過程とを備えることを、
   特徴とする画像符号化方法。
7. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて符号化された画像の符号化データを復号する画像復号方法であって、
   符号化側で生成された符号化データであって、木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いることで符号化された所定の大きさを持つ復号対象画像部分についての符号化データを復号する第１の過程と、
   前記第１の過程で復号した復号対象画像部分を符号化する場合について、木構造を表現するための情報量をゼロとして見積もって実行する請求項１に記載の画素予測値生成手順自動生成方法に従って最良の評価コストを示す予測値生成手順を生成する第２の過程と、
   前記第２の過程で生成した予測値生成手順に基づいて、前記第１の過程で復号していない復号対象画像部分の持つ画素について予測値を生成する第３の過程と、
   符号化側で生成された符号化データであって、前記第２の過程で生成した予測値生成手順に基づいて生成された画素予測値により算出された予測残差信号についての符号化データを復号する第４の過程と、
   前記第３の過程で生成した画素予測値と前記第４の過程で復号した予測残差信号とに基づいて、前記第１の過程で復号していない復号対象画像部分を復元する第５の過程とを備えることを、
   特徴とする画像復号方法。
8. 符号化対象の画素の値を復号済み画素を用いて予測する予測値生成手順の生成に用いられる画素予測値生成手順自動生成装置であって、
   木構造で表される予測値生成手順をランダムに生成することで母集団を生成する第１の手段と、
   前記母集団から親となる複数の予測値生成手順を選択し、それらを処理対象として、既存の予測値生成関数を木の終端ノードになりうるものとして実行する所定の木構造進化手法に基づいて、子となる１つ又は複数の予測値生成手順を生成する第２の手段と、
   前記子の予測値生成手順および前記親の予測値生成手順を選択対象とし、木構造を表現するための情報量とその木構造により得られる画素予測値から見積もられる画像符号量との和を評価コストとして用いて、該評価コストが最小となる予測値生成手順を符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順として選択して、その選択した予測値生成手順とそれ以外の１つ又は複数の予測値生成手順とを前記母集団に保存する第３の手段と、
   所定の条件を充足するまで前記第２および第３の手段の処理を繰り返すように制御して、その結果得られる最良の評価コストを示す予測値生成手順を最終的な予測値生成手順として生成する第４の手段とを備えることを、
   特徴とする画素予測値生成手順自動生成装置。
9. 請求項８に記載の画素予測値生成手順自動生成装置において、
   前記第２の手段は、画像内の画素の座標値を出力する関数についても木の終端ノードになりうるものとして実行する所定の木構造進化手法に基づいて、前記子の予測値生成手順を生成することを、
   特徴とする画素予測値生成手順自動生成装置。
10. 請求項８に記載の画素予測値生成手順自動生成装置において、
    前記第１の手段は、既存の予測値生成関数を前記母集団に入れるようにして前記母集団を生成することを、
    特徴とする画素予測値生成手順自動生成装置。
11. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて画像を符号化する画像符号化装置であって、
    請求項８に記載の画素予測値生成手順自動生成装置の処理に従って、符号化対象画像を符号化する場合における最良の評価コストを示す予測値生成手順を生成する第１の手段と、
    前記第１の手段で生成した予測値生成手順を符号化する第２の手段と、
    前記第１の手段で生成した予測値生成手順に基づいて符号化対象画像の持つ画素の予測値を生成する第３の手段と、
    前記第３の手段で生成した画素予測値に基づいて算出される予測残差信号を符号化する第４の手段とを備えることを、
    特徴とする画像符号化装置。
12. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて符号化された画像の符号化データを復号する画像復号装置であって、
    符号化側で生成された符号化データであって、請求項８に記載の画素予測値生成手順自動生成装置の処理により生成された予測値生成手順についての符号化データを復号する第１の手段と、
    前記第１の手段で復号した予測値生成手順に基づいて復号対象画像の持つ画素の予測値を生成する第２の手段と、
    符号化側で生成された符号化データであって、前記第１の手段で復号した予測値生成手順に基づいて生成された画素予測値により算出された予測残差信号についての符号化データを復号する第３の手段と、
    前記第２の手段で生成した画素予測値と前記第３の手段で復号した予測残差信号とに基づいて、復号対象画像を復元する第４の手段とを備えることを、
    特徴とする画像復号装置。
13. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて画像を符号化する画像符号化装置であって、
    木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いて、所定の大きさを持つ符号化対象画像部分を符号化する第１の手段と、
    前記第１の手段で符号化した際に得た符号化対象画像部分の復号画像を符号化する場合について、木構造を表現するための情報量をゼロとして見積もって実行する請求項８に記載の画素予測値生成手順自動生成装置の処理に従って最良の評価コストを示す予測値生成手順を生成する第２の手段と、
    前記第２の手段で生成した予測値生成手順に基づいて、前記第１の手段で符号化していない符号化対象画像部分の画素について予測値を生成する第３の手段と、
    前記第３の手段で生成した画素予測値に基づいて算出される予測残差信号を符号化する第４の手段とを備えることを、
    特徴とする画像符号化装置。
14. 符号化対象の画素の値を復号済み画素を用いて予測する所定の予測値生成手順により生成される画素予測値を用いて符号化された画像の符号化データを復号する画像復号装置であって、
    符号化側で生成された符号化データであって、木構造進化手法に依らないで生成された既存の画素予測値生成手順を用いることで符号化された所定の大きさを持つ復号対象画像部分についての符号化データを復号する第１の手段と、
    前記第１の手段で復号した復号対象画像部分を符号化する場合について、木構造を表現するための情報量をゼロとして見積もって実行する請求項８に記載の画素予測値生成手順自動生成装置の処理に従って最良の評価コストを示す予測値生成手順を生成する第２の手段と、
    前記第２の手段で生成した予測値生成手順に基づいて、前記第１の手段で復号していない復号対象画像部分の持つ画素について予測値を生成する第３の手段と、
    符号化側で生成された符号化データであって、前記第２の手段で生成した予測値生成手順に基づいて生成された画素予測値により算出された予測残差信号についての符号化データを復号する第４の手段と、
    前記第３の手段で生成した画素予測値と前記第４の手段で復号した予測残差信号とに基づいて、前記第１の手段で復号していない復号対象画像部分を復元する第５の手段とを備えることを、
    特徴とする画像復号装置。
15. 請求項１に記載の画素予測値生成手順自動生成方法をコンピュータに実行させるための画素予測値生成手順自動生成プログラム。
16. 請求項１に記載の画素予測値生成手順自動生成方法をコンピュータに実行させるための画素予測値生成手順自動生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 請求項４又は６に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
18. 請求項４又は６に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
19. 請求項５又は７に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
20. 請求項５又は７に記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images