JP3922473B2 - Image conversion device, image conversion method, learning device, learning method, and recording medium - Google Patents

Description

【００１３】
例えば、ｎ＝３である場合には、図１１に示すように、ＳＤ画像の所定のブロックを構成する画素データｘ₀乃至ｘ₃が予測式（１）に代入されて、ＨＤ画像の所定の画素データｙが生成されることになる。
【００１４】
【発明が解決しようとする課題】
ところで、以上の従来例においては、式（１）に示すような線形結合式によりＨＤ画像を予測していたため、非線形要素を扱うことが出来なかった。そのため、高品質の画像を得ることが困難であるという課題があった。
【００１５】
本発明は、以上のような状況に鑑みてなされたものであり、非線形要素も扱うことができる画像変換装置を提供するものである。
【００１６】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像の所定の領域の画素データを抽出する抽出手段と、抽出手段によって抽出された画素データを用いて、抽出された画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定手段と、全てのクラスに対応する予測式を記憶する記憶手段と、算定手段によって得られたクラスコードに対応する予測式を記憶手段から読み出す読み出し手段と、読み出し手段により読み出された予測式に抽出手段によって抽出された画素データを代入して、第２の画像中の画素データを算出する演算手段とを備え、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出手段によって抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力することを特徴とする。
【００１７】
本発明の画像変換方法は、第１の画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定ステップと、算定ステップの処理で得られたクラスコードに対応する予測式を、全てのクラスに対応する予測式を予め記憶している記憶手段から読み出す読み出しステップと、読み出しステップの処理で読み出された予測式に抽出ステップの処理で抽出された画素データを代入して、第２の画像中の画素データを算出する演算ステップとを含み、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力することを特徴とする。
【００１８】
本発明の第１の学習装置は、学習用の第１の画像の所定の領域の画素データを抽出する抽出手段と、抽出手段によって抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定手段と、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出手段によって抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成手段とを備え、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００１９】
本発明の第１の学習方法は、学習用の第１の画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００２０】
本発明の第２の学習方法は、学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、適応度の低いものを淘汰する淘汰ステップと、候補がＮ種類になるように増殖させる増殖ステップと、候補について交叉させる交叉ステップと、候補に対して突然変異を発生させる突然変異ステップと、計算ステップの処理、淘汰ステップの処理、増殖ステップの処理、交叉ステップの処理、および突然変異ステップの処理を、適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
本発明の記録媒体のプログラムは、学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、適応度の低いものを淘汰する淘汰ステップと、候補がＮ種類になるように増殖させる増殖ステップと、候補について交叉させる交叉ステップと、候補に対して突然変異を発生させる突然変異ステップと、計算ステップの処理、淘汰ステップの処理、増殖ステップの処理、交叉ステップの処理、および突然変異ステップの処理を、適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００２１】
本発明の画像変換装置、および画像変換方法においては、第１の画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データの画素パターンのクラスが分類され、対応するクラスコードが出力される。また、得られたクラスコードに対応する予測式が記憶手段から読み出され、読み出された予測式に、抽出された画素データが代入されて、第２の画像中の画素データが算出される。なお、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムでは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力される。
【００２２】
本発明の学習装置、および第１の学習方法においては、学習用の第１の画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データが属するクラスが算定される。そして、各クラスにそれぞれ対応する予測式について
所定長のランダムなビット列で表される予測係数の組の候補がＮ種類用意され、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理が、適応度が所定の値を越える候補が出現するまで繰返し行われ、適応度が最も高い候補が予測係数の組とし出力される。なお、予測係数には、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含まれる。
【００２３】
本発明の第２の学習方法、および記録媒体のプログラムにおいては、学習用のＳＤ画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データが属するクラスが算定され、算定されたクラスに対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補がＮ種類用意され、用意されたＮ種類の予測係数の組の各候補それぞれについて予測係数と抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度が計算される。また、計算された適応度の低い候補が淘汰され、淘汰された分に対応して候補がＮ種類になるように増殖され、さらに、候補に含まれる予測係数が交叉され、さらに、候補に対して突然変異が発生される。これらの計算処理、淘汰処理、増殖処理、交叉処理、および突然変異処理は、適応度が所定の値を越える候補が出現するまで繰返し実行され、適応度が最も高い候補が予測係数の組とし出力される。なお、予測係数には、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含まれる。
【００２６】
【発明の実施の形態】
図１は、本発明の実施の形態の構成例を示すブロック図である。
【００２７】
この図において、図９の場合と対応する部分には同一の符号を付してあるのでその説明は適宜省略する。なお、この実施の形態においては、図９の場合と比較して、ＲＯＭ３がＲＯＭ２０（記憶手段）に置換されており、また、予測演算回路４が予測演算回路２１（読み出し手段、演算手段）に置換されている。その他の構成は、図９における場合と同様である。
【００２８】
ＲＯＭ２０は、各クラスに対応する予測式を格納しており、クラスコード検索回路２（算定手段）から供給されたクラスコードに対応する予測式を読み出して、予測演算回路２１に供給するようになされている。予測演算回路２１は、ＲＯＭ２０から供給された予測式に、領域抽出回路５（抽出手段）から供給されたデータｘ₀乃至ｘ_nを代入して、ＨＤ画像データを算出するようになされている。
【００２９】
次に、以上の実施の形態の動作について説明する。
【００３０】
ＳＤ画像データが入力されると、領域抽出回路１（抽出手段）および領域抽出回路５は、ＳＤ画像を（ｎ＋１）個の画素から構成される複数の画素ブロックに分割して、所望の画素ブロックを逐次抽出する。
【００３１】
クラスコード検索回路２は、領域抽出回路１により抽出された画素ブロックを、その画素パターンに応じて、クラス０乃至クラスＰの（Ｐ＋１）種類のクラスに分類し、対応するクラスコードを出力する。
【００３２】
ＲＯＭ２０は、クラスコード検索回路２から出力されたクラスコードに対応する予測式を読み出して予測演算回路２１に出力する。ＲＯＭ２０は、例えば、クラス０に関しては、以下に示す式（２）乃至（４）何れかを格納している。
【００３３】

【００３４】

【００３５】

【００３６】
なお、以上の予測式はほんの一例であり、これ以外にも種々の式を用いることができる。
【００３７】
予測演算回路２１は、領域抽出回路５から供給された画素ブロックを構成するデータｘ₀乃至ｘ_nを、ＲＯＭ２０から読み出された予測式に代入して演算し、得られた結果をＨＤ画像データとして出力する。
【００３８】
ところで、式（２）乃至式（４）に示す予測式に含まれている予測係数は、従来のように最小２乗法を用いて求めることは困難である。即ち、式（２）の場合では、予測係数ａ₀₀を求めようとすると、この係数はｘ₀だけでなくｘ₁およびｘ₂にも乗算されているため、例えば、データｘ₀に注目してａ₀₀近似解を求めようとすると、他のデータｘ₁，ｘ₂にも影響を与えてしまうので、解を求めることが困難である。また、式（３）では、ｅｘｐ（ｘ）は、正の値しか取らないこと、また、式（４）では、ｓｉｎ（ｘ）が−１から＋１の値しか取らないことに起因して最小２乗法によって予測係数を求めることが困難である。
【００３９】
しかしながら、本実施の形態においては、遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）を用いてこれらの予測式の係数を求めるようにしている。
【００４０】
図２は、遺伝的アルゴリズムを用いて、式（２）乃至（４）に示すような高次の予測式の予測係数を学習する学習装置である。
【００４１】
この図において、領域抽出回路３０（抽出手段）は、学習用ＳＤ画像の所定の領域の画素ブロックを抽出するようになされている。クラスコード検索回路３１（算定手段）は、領域抽出回路３０により抽出された画素ブロックの示す画素パターンが属するクラスを検索し、対応するクラスコードを出力するようになされている。
【００４２】
領域抽出回路３２は、領域抽出回路３０が抽出したのと同一の領域の画素ブロックを抽出して、ＧＡによる係数生成回路３３に供給するようになされている。
【００４３】
ＧＡによる係数生成回路３３は、クラスコード検索回路３１から供給されたクラスコードに対応する予測式（式（２）乃至（４）参照）に含まれている予測係数を遺伝的アルゴリズムを用いて生成するようになされている。
【００４４】
遅延回路３４は、学習用のＳＤ信号に対応する学習用のＨＤ信号を所定の時間だけ保持して出力するようになされている。
【００４５】
遅延回路３４から出力された学習用ＨＤ画像は、ＧＡによる係数生成回路３３に供給される。ＧＡによる係数生成回路３３は、領域抽出回路３２から供給される画素ブロックのデータと生成した予測係数とを予測式に代入して得られた値と、遅延回路３４から供給された学習用ＨＤ画像とを比較し、その結果に応じて、予測係数を再度生成するか、または、解が収束したとして係数を出力するようになされている。
【００４６】
図３は、図２に示すＧＡによる係数生成回路３３の詳細な構成例を示すブロック図である。
【００４７】
この図において、ＣＰＵ（Central Processing Unit）３３ａ（検索手段、算出手段、演算手段、比較手段、制御手段）は、装置の各部を制御するとともに、所定の演算を行うようになされている。ＲＯＭ３３ｂは、ＣＰＵ３３ａが実行するプログラムやデータ等を格納するようになされている。ＲＡＭ（Random Access Memory）３３ｃ（記憶手段）は、ＣＰＵ３３ａが所定の演算を行う際に、演算途中のデータを一時的に格納したり、プログラムの一部を格納するようになされている。ＩＦ（Interface）３３ｄは、ＣＰＵ３３ａが外部の装置との間でデータを授受する場合に、必要に応じてデータの形式を変換するようになされている。バス３３ｅは、ＣＰＵ３３ａ、ＲＯＭ３３ｂ、ＲＡＭ３３ｃ、ＩＦ３３ｄを相互に接続するようになされている。
【００４８】
次に、図４に示すフローチャートを参照して、図２に示す実施の形態の動作について説明する。
【００４９】
図４は、図３に示すＣＰＵ３３ａが実行する処理の一例を説明するフローチャートである。
【００５０】
この処理は、図２に示す学習装置にＳＤ画像とＨＤ画像がそれぞれ入力され、領域抽出回路３０により所定の領域が抽出されて、その領域に対応するクラスコードがクラスコード検索回路３１から出力された場合に実行される。
【００５１】
なお、学習用のＳＤ画像とＨＤ画像としては、複数の画像の中から典型的なパターンを（Ｐ＋１）種類だけ抽出し、それぞれをクラス０乃至Ｐとした場合に、各クラスに対応する領域を含む画像を用いる。
【００５２】
この処理が実行されると、ステップＳ１０において、ＣＰＵ３３ａは、クラスコード検索回路３１から出力されるクラスコードに対応する予測式に含まれている予測係数の初期ストリング集団を乱数によりＮ個だけ生成する。
【００５３】
図５は、クラス０に対応する予測式に含まれている係数の初期ストリングの一例を示す図である。この図に示すように、ステップＳ１０の処理では、クラス０に対応する予測式に含まれている予測係数の初期ストリングとして、Ｎ個の個体が生成される。各個体は、係数ａ₀₀乃至ａ_0mをビットデータに展開して結合させたものであり、各係数のデータは、前述のように、乱数により生成される。
【００５４】
ステップＳ１１では、ＣＰＵ３３ａは、Ｎ個の個体のそれぞれの適応度Ａ_i（ｉ＝１，２，・・・，Ｎ）を算出する。適応度は、クラス０では、例えば、以下のような式を用いて算出する。
【００５５】
Ａ_i＝ｋ−ＳＵＭ（ｙ−Ｆ（ｘ₀，ｘ₁，ｘ₂，・・・，ｘ_n，ａ₀₀，ａ₀₁，ａ₀₂，・・・，ａ_0n，・・・，ａ_0m））² ・・・（５）
【００５６】
ここで、ＳＵＭ（）は、括弧内の演算を学習画像全体（または、複数の学習画像）に対して施した場合の総和を意味しており、また、ｙは求めようとする値（真値）を示している。更に、ｋは所定の正の値であり、右辺第２項の値が小さい程適応度が大きくなるようにするための項である。
【００５７】
以上に示すように、ステップＳ１１では、クラス０に関しては、クラス０に分類される学習用の画素ブロックが複数読み込まれ、それぞれの個体に対して、式（５）に基づく適応度（予測値の誤差の２乗の総和を正定数から減算した値）が算出された後、適応度Ａ_iが算出される。
【００５８】
続いてステップＳ１２では、所定の適応度以上の個体が存在するか否かが判定される。その結果、所定の適応度以上の個体が存在する（ＹＥＳ）と判定された場合は、ステップＳ１４に進む。また、所定の適応度以上の個体が存在しない（ＮＯ）と判定した場合には、ステップＳ１３に進む。
【００５９】
即ち、遺伝的アルゴリズムでは、世代が進むにつれて各個体の適応度は増加するので、例えば、適応度が所定の値を越える個体が生成された場合には、最適な解が得られたとして処理を中断する。
【００６０】
ステップＳ１３では、適応度Ａ_iが低い個体が淘汰される。例えば、ＣＰＵ３３ａは、適応度が高い順にＮ／２個の個体を選出し、その他の個体は淘汰（消去）する。
【００６１】
続くステップＳ１５では、ＣＰＵ３３ａは、選択された各個体を１回ずつコピーしてＮ／２個の個体を新たに生成し、個体の総数をＮ個に復元する。例えば、図６に示すように、ステップＳ１３において選択された（生き残った）個体１を１回だけコピーすることにより２個の個体を生成する。この例では、個体１から個体ｇが新たに生成されており、この個体ｇには、淘汰された個体の個体番号（例えば、１１など）が付与されることになる。
【００６２】
続くステップＳ１６では、ＣＰＵ３３ａは、新たに生成された個体を含む合計Ｎ個の個体の中から、乱数に応じて２つの個体を選出し、選出した２つの個体の所定の部分を交叉させる。
【００６３】
図７は、このような交叉の一例を示す図である。この図の例では、図７（Ａ）に示すように、個体１と個体２とが交叉の対象として選択されており、また、交叉される部分としては係数ａ₀₁が選択されている。交叉が実行されると、図７（Ｂ）に示すように、それぞれの個体の係数ａ₀₁に対応する部分のデータが交換され、個体１’と個体２’とが新たに生成されることになる。
【００６４】
なお、以上の例では、１つの係数を全て交叉するようにしているが、例えば、所定の係数の一部だけを交叉したり、複数の係数に亘って交叉を行うようにしてもよい。
【００６５】
続くステップＳ１７では、ＣＰＵ３３ａは、適当に選んだ個体のビットを反転させ、突然変異を発生させる。
【００６６】
図８は、以上のような突然変異の一例を説明する図である。この例では、個体１が対象として選択されており、また、突然変異の部位としては、係数ａ₀₀のＬＳＢ（Least Significant Bit）と、係数ａ₀₁の第２ビットが選択され、それぞれのビットが反転されている。その結果、個体１（図７（Ａ））から個体１’（図７（Ｂ））が生成されることになる。
【００６７】
ステップＳ１７の処理が終了すると、ＣＰＵ３３ａは、ステップＳ１１に戻り、前述の場合と同様の処理を繰り返す。そして、以上のような処理が繰り返され、所定の適応度以上の個体が生成された場合には、ステップＳ１２において（ＹＥＳ）と判定され、ステップＳ１４に進むことになる。
【００６８】
ステップＳ１４では、ＣＰＵ３３ａは、Ｎ個の個体のなかで、適応度が最も大きい個体を選択し、その個体に含まれている係数を抽出し、所定のクラスに含まれている係数として出力する。例えば、クラス０の場合では、Ｎ個の個体の中から、適応度Ａ_iが最も大きい個体が選択され、その個体を構成している係数ａ₀₀乃至ａ_0mが分離されて出力される。
【００６９】
このような処理は、クラス０乃至クラスＰの全てに対して実行され、図１に示すＲＯＭ２０に格納されている全ての予測係数が算出されることになる。
【００７０】
以上のような処理によれば、予測式に含まれている予測係数が、式（２）乃至（４）に示すように、誤差２乗法により解を求めることが困難な場合においても、最適な予測係数を求めることが可能となる。
【００７１】
また、予測式が非線形項を含む場合においても、適切な予測係数を算出することが可能となるので、予測式が線形項のみにより構成される従来例と比較して、変換後の画像の画質を改善することが可能となる。
【００７２】
なお、本明細書中では、伝送媒体は、ＦＤ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、ディジタル衛星などのネットワーク伝送媒体も意味している。
【００７３】
【発明の効果】
本発明の画像変換装置および方法によれば、高画質の第２の画像を得ることが可能となる。
【００７４】
本発明の学習装置および方法、並びに記録媒体のプログラムによれば、予測式が非線形項を含む場合においても、予測係数を確実に求めることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像変換装置の実施の形態の構成例を示すブロック図である。
【図２】本発明の学習装置の実施の形態の構成例を示すブロック図である。
【図３】図２に示すＧＡによる係数生成回路３３の詳細な構成例を示すブロック図である。
【図４】図３に示すＣＰＵ３３ａが実行する処理の一例を説明するためのフローチャートである。
【図５】係数の初期ストリング集団の一例を示す図である。
【図６】図４のステップＳ１５において実行される処理の具体例を示す図である。
【図７】図４のステップＳ１６において実行される処理の具体例を示す図である。
【図８】図４のステップＳ１７において実行される処理の具体例を示す図である。
【図９】従来の画像変換装置の構成例を示すブロック図である。
【図１０】図９に示すＲＯＭ３に格納されている係数データの一例を示す図である。
【図１１】ＳＤ画像をＨＤ画像に変換する様子を説明する図である。
【符号の説明】
１，５ 領域抽出回路（抽出手段）， ２ クラスコード検索回路（算定手段）， ２０ ＲＯＭ（記憶手段）， ２１ 予測演算回路（読み出し手段、演算手段）， ３０，３１ 領域抽出回路（抽出手段）， ３１ クラスコード検索回路（算定手段）， ３３ｃ ＲＡＭ（記憶手段）， ３３ａ ＣＰＵ（算出手段、演算手段、比較手段、制御手段）[0001]
BACKGROUND OF THE INVENTION
  The present invention provides an image conversion device, an image conversion method, a learning device, a learning method, andRecordRegarding the medium, in particular, an image conversion apparatus, an image conversion method, a learning apparatus, a learning method, and an image conversion apparatus that convert a first image into a second image having a different resolutionRecordIt relates to the medium.
[0002]
[Prior art]
For example, as a method for converting an SD (Standard Definition) image into an HD (High Definition) image, a method using a prediction coefficient is known. In such a method, the original SD image is divided into predetermined blocks, each block is classified into a plurality of classes, and then an HD image is generated using a prediction coefficient corresponding to each class.
[0003]
FIG. 9 is a block diagram illustrating a configuration example of a conventional image conversion apparatus using the above-described prediction coefficient.
[0004]
In this figure, a region extraction circuit 1 extracts pixel blocks in a predetermined region of an input SD image. The class code search circuit 2 searches for a class to which the pixel pattern of the pixel block supplied from the region extraction circuit 1 belongs, and outputs it as a class code.
[0005]
A ROM (Read Only Memory) 3 reads a prediction coefficient corresponding to the class code supplied from the class code search circuit 2 and supplies it to the prediction calculation circuit 4.
[0006]
The prediction calculation circuit 4 is a data block (x₀Thru x_n) And the prediction coefficient supplied from the ROM 3, and the obtained result is output as HD image data.
[0007]
Next, the operation of the above conventional example will be described.
[0008]
When the SD image data is input, the region extraction circuits 1 and 5 divide the SD image into a plurality of pixel blocks composed of (n + 1) pixels, and sequentially extract each pixel block.
[0009]
The class code search circuit 2 classifies the pixel block extracted by the region extraction circuit 1 into (P + 1) classes of class 0 to class P according to the pixel pattern, and outputs a corresponding class code.
[0010]
The ROM 3 reads the prediction coefficient corresponding to the class code output from the class code search circuit 2 and outputs it to the prediction calculation circuit 4. That is, a prediction coefficient as shown in FIG. 10 is stored in the ROM 3, and when a class code is supplied from the class code search circuit 2, the ROM 3 reads and outputs a prediction coefficient corresponding to the class code. In this example, prediction coefficients corresponding to (P + 1) types of classes from class 0 to class P are stored. For example, when a value 0 is supplied as a class code, a₀₀, A₀₁, A₀₂, ..., a_0mIs read and output.
[0011]
The prediction coefficient output from the ROM 3 is supplied to the prediction calculation circuit 4 where the data x constituting the pixel block supplied from the region extraction circuit 5 is supplied.₀Thru x_nThe product-sum operation is performed, and the obtained result is output as HD image data. For example, the following calculation is performed on class 0 data, and the obtained value y is output as HD image data.
[0012]

[0013]
For example, when n = 3, as shown in FIG. 11, pixel data x constituting a predetermined block of the SD image₀Thru x_ThreeIs substituted into the prediction formula (1), and predetermined pixel data y of the HD image is generated.
[0014]
[Problems to be solved by the invention]
By the way, in the above conventional example, since the HD image is predicted by a linear combination equation as shown in the equation (1), the nonlinear element cannot be handled. For this reason, there is a problem that it is difficult to obtain a high-quality image.
[0015]
The present invention has been made in view of the above situation, and provides an image conversion apparatus capable of handling nonlinear elements.
[0016]
[Means for Solving the Problems]
  The present inventionThe image conversion apparatus includes: an extraction unit that extracts pixel data of a predetermined region of the first image; and the pixel data extracted by the extraction unit.Pixel patternclassClass and output the corresponding class codeCalculation means, storage means for storing prediction formulas corresponding to all classes, and classes obtained by calculation meanscodeReading means for reading the prediction formula corresponding to the storage means, and the pixel data extracted by the extraction means to the prediction formula read by the reading meansAssignmentAnd a calculation unit that calculates pixel data in the second image, and the prediction coefficient included in the prediction formula stored in the storage unit is calculated in advance using a genetic algorithm.The prediction formula takes a non-linear value with respect to the prediction coefficient.Includes at least prediction formulas that include nonlinear termsIn this regard, the genetic algorithm prepares N types of prediction coefficient pairs represented by a random bit string of a predetermined length for each prediction formula corresponding to each class, and for each candidate of the N types of prediction coefficient sets. The fitness indicating the degree of similarity between the image data of the second image calculated by substituting the prediction coefficient and the pixel data extracted by the extracting means into the prediction formula and the image data consisting of the true value of the second image Calculation process for calculating, selection process for selecting low fitness items, propagation process for increasing the number of candidates to N types, crossover process for crossing candidates, and mutation process for generating mutations for candidates Is repeated until a candidate whose fitness exceeds a predetermined value appears, and the candidate with the highest fitness is output as a set of prediction coefficients.It is characterized by that.
[0017]
  The present inventionThe image conversion method includes an extraction step of extracting pixel data of a predetermined region of the first image, and an extraction stepIn processingUsing the extracted pixel data, the extracted pixel dataPixel patternclassClass and output the corresponding class codeCalculation steps and calculation stepsIn processingClass obtainedcodeA reading step for reading prediction formulas corresponding to the above from a storage means that stores prediction formulas corresponding to all classes in advance, and a reading stepIn processingExtraction step to the read prediction formulaIn processingExtracted pixel dataAssignmentAnd calculating the pixel data in the second image, and the prediction coefficient included in the prediction formula stored in the storage means is calculated in advance using a genetic algorithm.AndThe prediction formula isTake a non-linear value for the prediction coefficientIncludes at least prediction formulas that include nonlinear termsIn this regard, the genetic algorithm prepares N types of prediction coefficient pairs represented by a random bit string of a predetermined length for each prediction formula corresponding to each class, and for each candidate of the N types of prediction coefficient sets. An adaptation indicating the similarity between the image data of the second image calculated by substituting the prediction coefficient and the pixel data extracted in the processing of the extraction step into the prediction formula and the image data consisting of the true value of the second image Computation processing for calculating the degree, selection processing for low fitness, propagation processing for increasing the number of candidates to N types, crossover processing for crossing candidates, and sudden generation of mutations for candidates Mutation processing is repeated until a candidate whose fitness level exceeds a predetermined value appears, and the candidate with the highest fitness level is output as a set of prediction coefficients.It is characterized by that.
[0018]
  First of the present inventionThe learning device uses an extraction means for extracting pixel data of a predetermined region of the first image for learning, and a calculation for calculating a class to which the extracted pixel data belongs using the pixel data extracted by the extraction means Means and prediction formulas corresponding to each classRepresented by a random bit string of a predetermined lengthN types of prediction coefficient group candidates are prepared, and each of the N types of prediction coefficient group candidates is prepared.Indicates the degree of similarity between the image data of the second image calculated by substituting the prediction coefficient and the pixel data extracted by the extracting means into the prediction formula, and the image data consisting of the true value of the second image.Calculation processing for calculating fitness, selection processing for low fitness, growth processing for increasing the number of candidates to N types, crossover processing for crossing candidates, and generating mutations for candidates The mutation process is repeated until a candidate whose fitness exceeds a predetermined value appears, and the candidate with the highest fitness is used as a set of prediction coefficients.TheA coefficient generation means based on a genetic algorithm to output, and the prediction coefficient isIs a term of the prediction formula and takes a non-linear value for the prediction coefficientThe coefficient of the nonlinear termat leastIt is characterized by including.
[0019]
  The first learning method of the present invention includes an extraction step of extracting pixel data of a predetermined region of the first image for learning, and an extraction stepIn processingUsing the extracted pixel data, the calculation step for calculating the class to which the extracted pixel data belongs and the prediction formula corresponding to each classRepresented by a random bit string of a predetermined lengthN types of prediction coefficient group candidates are prepared, and each of the N types of prediction coefficient group candidates is prepared.Indicates the degree of similarity between the image data of the second image calculated by substituting the prediction coefficient and the pixel data extracted in the processing of the extraction step into the prediction formula, and the image data consisting of the true value of the second image.Calculation processing for calculating fitness, selection processing for low fitness, growth processing for increasing the number of candidates to N types, crossover processing for crossing candidates, and generating mutations for candidates The mutation process is repeated until a candidate whose fitness exceeds a predetermined value appears, and the candidate with the highest fitness is used as a set of prediction coefficients.TheA coefficient generation step by a genetic algorithm to output, the prediction coefficient isIs a term of the prediction formula and takes a non-linear value for the prediction coefficientThe coefficient of the nonlinear termat leastIt is characterized by including.
[0020]
  The second of the present inventionA learning method includes an extraction step of extracting pixel data of a predetermined region of a learning SD image, and an extraction stepIn processingUsing the extracted pixel data, the calculation step for calculating the class to which the extracted pixel data belongs and the prediction formula corresponding to each classRepresented by a random bit string of a predetermined lengthN types of prediction coefficient group candidates are prepared, and each of the N types of prediction coefficient group candidates is prepared.The degree of similarity between the image data of the HD image calculated by substituting the prediction coefficient and the pixel data extracted in the extraction step processing into the prediction formula and the image data composed of the true value of the HD image is shown.A calculation step for calculating fitness, a selection step for selecting a low fitness value, a growth step for increasing the number of candidates to be N, a crossover step for crossing candidates, and a mutation for the candidates Repeat the mutation step to be generated, the calculation step processing, the drought step processing, the multiplication step processing, the crossover step processing, and the mutation step processing until a candidate whose fitness exceeds a predetermined value appears. The candidate with the highest fitness is the set of prediction coefficientsTheOutput control step, and the prediction coefficient isIs a term of the prediction formula and takes a non-linear value for the prediction coefficientThe coefficient of the nonlinear termat leastIt is characterized by including.
  Of the present inventionA recording medium program includes: an extraction step for extracting pixel data of a predetermined area of an SD image for learning; and an extraction stepIn processingUsing the extracted pixel data, the calculation step for calculating the class to which the extracted pixel data belongs and the prediction formula corresponding to each classRepresented by a random bit string of a predetermined lengthN types of prediction coefficient group candidates are prepared, and each of the N types of prediction coefficient group candidates is prepared.The degree of similarity between the image data of the HD image calculated by substituting the prediction coefficient and the pixel data extracted in the extraction step processing into the prediction formula and the image data composed of the true value of the HD image is shown.A calculation step for calculating fitness, a selection step for selecting a low fitness value, a growth step for increasing the number of candidates to be N, a crossover step for crossing candidates, and a mutation for the candidates Repeat the mutation step to be generated, the calculation step processing, the drought step processing, the multiplication step processing, the crossover step processing, and the mutation step processing until a candidate whose fitness exceeds a predetermined value appears. The candidate with the highest fitness is the set of prediction coefficientsTheOutput control step, and the prediction coefficient isIs a term of the prediction formula and takes a non-linear value for the prediction coefficientThe coefficient of the nonlinear termat leastIt is characterized by including.
[0021]
  The present inventionImage conversion device, andPictureIn the image conversion method, pixel data of a predetermined area of the first image is extracted, and the extracted pixel data is extracted using the extracted pixel data.Pixel patternclassAre classified and the corresponding class code is output. Also,Class obtainedcodeIs read from the storage means, and the extracted pixel data is included in the read prediction expression.AssignedPixel data in the second image is calculated. Note that the prediction coefficient included in the prediction formula stored in the storage means is calculated in advance using a genetic algorithm.The prediction formula takes a non-linear value with respect to the prediction coefficient.Includes at least prediction formulas that include nonlinear termsIn the genetic algorithm, N types of prediction coefficient pairs represented by a random bit string of a predetermined length are prepared for each prediction formula corresponding to each class, and each of the N types of prediction coefficient sets is prepared. Calculation for calculating the fitness indicating the similarity between the image data of the second image calculated by substituting the prediction coefficient and the extracted pixel data into the prediction formula and the image data including the true value of the second image Fitness, wrinkle processing that picks up low-fitness, growth processing that proliferates candidates to N types, crossover processing that crosses candidates, and mutation processing that generates mutations for candidates Is repeated until a candidate that exceeds a predetermined value appears, and the candidate with the highest fitness is output as a set of prediction coefficients.
[0022]
  The present inventionLearning device, andFirstIn the learning method, pixel data of a predetermined region of the first image for learning is extracted, and a class to which the extracted pixel data belongs is calculated using the extracted pixel data. And the prediction formulas corresponding to each class
Represented by a random bit string of a predetermined lengthN types of prediction coefficient group candidates are prepared, and each of the N types of prediction coefficient group candidates is provided.Indicates the degree of similarity between the image data of the second image calculated by substituting the prediction coefficient and the extracted pixel data into the prediction formula and the image data consisting of the true value of the second imageCalculation processing for calculating fitness, selection processing for low fitness, propagation processing for increasing the number of candidates to N types, crossover processing for crossing candidates, and generating mutations for candidates The mutation process is repeated until a candidate whose fitness level exceeds a predetermined value appears, and the candidate with the highest fitness level is output as a set of prediction coefficients.Note that the prediction coefficient is a term of the prediction formula, and includes at least a coefficient of a nonlinear term that takes a nonlinear value with respect to the prediction coefficient.
[0023]
  Second of the present inventionLearning methods, andRecordIn the recording medium program, pixel data of a predetermined area of the SD image for learning is extracted, and the class to which the extracted pixel data belongs is calculated using the extracted pixel data, and corresponds to the calculated class. Prediction formulaRepresented by a random bit string of a predetermined lengthN types of prediction coefficient group candidates are prepared, and for each of the prepared N types of prediction coefficient groups,Indicates the degree of similarity between the HD image image data calculated by substituting the prediction coefficient and the extracted pixel data into the prediction formula, and the image data consisting of the true value of the HD imageFitness is calculated. In addition, candidates with low fitness values calculated are selected, and the number of candidates is increased to be N types corresponding to the amount of selection, and prediction coefficients included in the candidates are further crossed. Mutations are generated. These calculation processing, selection processing, multiplication processing, crossover processing, and mutation processing are repeated until a candidate whose fitness exceeds a predetermined value appears, and the candidate with the highest fitness is output as a set of prediction coefficients. Is done.Note that the prediction coefficient is a term of the prediction formula, and includes at least a coefficient of a nonlinear term that takes a nonlinear value with respect to the prediction coefficient.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration example of an embodiment of the present invention.
[0027]
In this figure, parts corresponding to those in FIG. 9 are denoted by the same reference numerals, and the description thereof is omitted as appropriate. In this embodiment, as compared with the case of FIG. 9, the ROM 3 is replaced with the ROM 20 (storage means), and the prediction calculation circuit 4 is replaced with the prediction calculation circuit 21 (reading means, calculation means). Has been replaced. Other configurations are the same as those in FIG.
[0028]
The ROM 20 stores a prediction formula corresponding to each class, reads a prediction formula corresponding to the class code supplied from the class code search circuit 2 (calculation means), and supplies the prediction formula to the prediction calculation circuit 21. ing. The prediction calculation circuit 21 adds the data x supplied from the region extraction circuit 5 (extraction means) to the prediction formula supplied from the ROM 20.₀Thru x_nIs substituted to calculate HD image data.
[0029]
Next, the operation of the above embodiment will be described.
[0030]
When the SD image data is input, the region extraction circuit 1 (extraction means) and the region extraction circuit 5 divide the SD image into a plurality of pixel blocks composed of (n + 1) pixels to obtain a desired pixel block. Are extracted sequentially.
[0031]
The class code search circuit 2 classifies the pixel blocks extracted by the region extraction circuit 1 into (P + 1) types of classes from class 0 to class P according to the pixel pattern, and outputs a corresponding class code.
[0032]
The ROM 20 reads out the prediction formula corresponding to the class code output from the class code search circuit 2 and outputs it to the prediction calculation circuit 21. The ROM 20 stores, for example, any one of the following formulas (2) to (4) for class 0.
[0033]

[0034]

[0035]

[0036]
The above prediction formula is only an example, and various other formulas can be used.
[0037]
The prediction calculation circuit 21 receives data x constituting the pixel block supplied from the region extraction circuit 5.₀Thru x_nIs substituted into the prediction equation read from the ROM 20, and the obtained result is output as HD image data.
[0038]
By the way, it is difficult to obtain the prediction coefficients included in the prediction equations shown in the equations (2) to (4) by using the least square method as in the prior art. That is, in the case of equation (2), the prediction coefficient a₀₀This coefficient is x₀Not only x₁And x₂For example, the data x₀Pay attention to a₀₀When trying to find an approximate solution, other data x₁, X₂It is difficult to obtain a solution. Also, in expression (3), exp (x) takes only a positive value, and in expression (4), sin (x) takes only a value from −1 to +1. It is difficult to obtain a prediction coefficient by the square method.
[0039]
However, in the present embodiment, the coefficients of these prediction formulas are obtained using a genetic algorithm (GA).
[0040]
FIG. 2 is a learning device that learns prediction coefficients of higher-order prediction equations as shown in equations (2) to (4) using a genetic algorithm.
[0041]
In this figure, an area extraction circuit 30 (extraction means) extracts a pixel block in a predetermined area of the learning SD image. The class code search circuit 31 (calculation means) searches for a class to which the pixel pattern indicated by the pixel block extracted by the region extraction circuit 30 belongs, and outputs a corresponding class code.
[0042]
The region extraction circuit 32 extracts a pixel block in the same region extracted by the region extraction circuit 30 and supplies it to the coefficient generation circuit 33 by GA.
[0043]
The GA coefficient generation circuit 33 generates a prediction coefficient included in a prediction expression (see equations (2) to (4)) corresponding to the class code supplied from the class code search circuit 31, using a genetic algorithm. It is made to do.
[0044]
The delay circuit 34 holds and outputs a learning HD signal corresponding to the learning SD signal for a predetermined time.
[0045]
The learning HD image output from the delay circuit 34 is supplied to the coefficient generation circuit 33 by GA. The coefficient generation circuit 33 using GA is a value obtained by substituting the pixel block data supplied from the region extraction circuit 32 and the generated prediction coefficient into the prediction formula, and the learning HD image supplied from the delay circuit 34. And a prediction coefficient is generated again according to the result, or the coefficient is output on the assumption that the solution has converged.
[0046]
FIG. 3 is a block diagram showing a detailed configuration example of the coefficient generation circuit 33 by GA shown in FIG.
[0047]
In this figure, a CPU (Central Processing Unit) 33a (search means, calculation means, calculation means, comparison means, control means) controls each part of the apparatus and performs predetermined calculations. The ROM 33b stores programs executed by the CPU 33a, data, and the like. A RAM (Random Access Memory) 33c (storage means) temporarily stores data in the middle of calculation or stores a part of a program when the CPU 33a performs a predetermined calculation. The IF (Interface) 33d converts the data format as necessary when the CPU 33a exchanges data with an external device. The bus 33e connects the CPU 33a, ROM 33b, RAM 33c, and IF 33d to each other.
[0048]
Next, the operation of the embodiment shown in FIG. 2 will be described with reference to the flowchart shown in FIG.
[0049]
FIG. 4 is a flowchart for explaining an example of processing executed by the CPU 33a shown in FIG.
[0050]
In this process, an SD image and an HD image are respectively input to the learning device shown in FIG. 2, a predetermined area is extracted by the area extraction circuit 30, and a class code corresponding to the area is output from the class code search circuit 31. It is executed when
[0051]
In addition, as learning SD images and HD images, when (P + 1) types of typical patterns are extracted from a plurality of images, and each is defined as class 0 to P, areas corresponding to the classes are defined. Use the image that contains it.
[0052]
When this process is executed, in step S10, the CPU 33a generates N initial string groups of prediction coefficients included in the prediction formula corresponding to the class code output from the class code search circuit 31 by random numbers. .
[0053]
FIG. 5 is a diagram illustrating an example of an initial string of coefficients included in a prediction expression corresponding to class 0. As shown in this figure, in the process of step S10, N individuals are generated as an initial string of prediction coefficients included in the prediction equation corresponding to class 0. Each individual has a coefficient a₀₀Thru a_0mAre expanded and combined into bit data, and the data of each coefficient is generated by random numbers as described above.
[0054]
In step S11, the CPU 33a determines the fitness A of each of the N individuals._i(I = 1, 2,..., N) is calculated. In the class 0, the fitness is calculated using, for example, the following formula.
[0055]
A_i= K-SUM (y-F (x₀, X₁, X₂, ..., x_n, A₀₀, A₀₁, A₀₂, ..., a_0n, ..., a_0m))²  ... (5)
[0056]
Here, SUM () means the sum when the operation in parentheses is performed on the entire learning image (or a plurality of learning images), and y is a value (true value) to be obtained. ). Furthermore, k is a predetermined positive value, and is a term for increasing the fitness as the value of the second term on the right side is smaller.
[0057]
As described above, in step S11, for class 0, a plurality of learning pixel blocks classified into class 0 are read, and fitness (prediction value of prediction value) based on equation (5) is read for each individual. After calculating the sum of squared errors from a positive constant), fitness A_iIs calculated.
[0058]
Subsequently, in step S12, it is determined whether there is an individual having a predetermined fitness or more. As a result, when it is determined that there is an individual having a predetermined fitness or higher (YES), the process proceeds to step S14. On the other hand, if it is determined that there is no individual with a predetermined fitness or higher (NO), the process proceeds to step S13.
[0059]
In other words, in the genetic algorithm, the fitness of each individual increases as the generation progresses.For example, when an individual whose fitness exceeds a predetermined value is generated, the process is performed assuming that an optimal solution is obtained. Interrupt.
[0060]
In step S13, fitness A_iIndividuals with low are trapped. For example, the CPU 33a selects N / 2 individuals in descending order of fitness, and other individuals are selected (erased).
[0061]
In subsequent step S15, the CPU 33a copies each selected individual once to newly generate N / 2 individuals, and restores the total number of individuals to N. For example, as shown in FIG. 6, two individuals are generated by copying the individual 1 selected (survived) in step S13 only once. In this example, an individual g is newly generated from the individual 1, and an individual number (for example, 11 or the like) of the deceived individual is given to the individual g.
[0062]
In subsequent step S16, the CPU 33a selects two individuals according to a random number from a total of N individuals including newly generated individuals, and crosses a predetermined portion of the selected two individuals.
[0063]
FIG. 7 is a diagram showing an example of such crossover. In the example of this figure, as shown in FIG. 7A, the individual 1 and the individual 2 are selected as crossover targets, and the crossover part is a coefficient a.₀₁Is selected. When the crossover is executed, as shown in FIG.₀₁The data of the part corresponding to is exchanged, and the individual 1 'and the individual 2' are newly generated.
[0064]
In the above example, all of one coefficient is crossed. However, for example, only a part of a predetermined coefficient may be crossed, or crossover may be performed over a plurality of coefficients.
[0065]
In the subsequent step S17, the CPU 33a inverts the bit of the appropriately selected individual to generate a mutation.
[0066]
FIG. 8 is a diagram for explaining an example of the mutation as described above. In this example, the individual 1 is selected as the object, and the coefficient a₀₀LSB (Least Significant Bit) and coefficient a₀₁The second bit is selected and each bit is inverted. As a result, an individual 1 ′ (FIG. 7B) is generated from the individual 1 (FIG. 7A).
[0067]
When the process of step S17 ends, the CPU 33a returns to step S11 and repeats the same process as described above. If the above processing is repeated and an individual with a predetermined fitness or higher is generated, it is determined as (YES) in step S12, and the process proceeds to step S14.
[0068]
In step S14, the CPU 33a selects an individual having the highest fitness among the N individuals, extracts a coefficient included in the individual, and outputs it as a coefficient included in a predetermined class. For example, in the case of class 0, fitness A is selected from N individuals._iThe individual having the largest is selected and the coefficient a constituting the individual is a₀₀Thru a_0mAre separated and output.
[0069]
Such processing is executed for all of class 0 to class P, and all prediction coefficients stored in the ROM 20 shown in FIG. 1 are calculated.
[0070]
According to the above processing, even when the prediction coefficient included in the prediction formula is difficult to obtain a solution by the error square method as shown in the formulas (2) to (4), the optimum coefficient is obtained. A prediction coefficient can be obtained.
[0071]
In addition, even when the prediction formula includes a nonlinear term, it is possible to calculate an appropriate prediction coefficient. Therefore, compared with the conventional example in which the prediction formula includes only a linear term, the image quality of the converted image is improved. Can be improved.
[0072]
In this specification, the transmission medium means a network transmission medium such as the Internet and a digital satellite in addition to an information recording medium such as an FD and a CD-ROM.
[0073]
【The invention's effect】
  Image conversion apparatus and method of the present inventionAccording to,A high-quality second image can be obtained.
[0074]
  Learning apparatus and method, and recording medium program of the present inventionAccording to,Even when the prediction formula includes a nonlinear term, the prediction coefficient can be reliably obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image conversion apparatus according to the present invention.
FIG. 2 is a block diagram illustrating a configuration example of an embodiment of a learning device according to the present invention.
FIG. 3 is a block diagram showing a detailed configuration example of a coefficient generation circuit 33 using GA shown in FIG. 2;
4 is a flowchart for explaining an example of processing executed by a CPU 33a shown in FIG.
FIG. 5 is a diagram illustrating an example of an initial string group of coefficients.
6 is a diagram showing a specific example of processing executed in step S15 of FIG.
7 is a diagram showing a specific example of processing executed in step S16 of FIG.
FIG. 8 is a diagram showing a specific example of processing executed in step S17 of FIG.
FIG. 9 is a block diagram illustrating a configuration example of a conventional image conversion apparatus.
FIG. 10 is a diagram showing an example of coefficient data stored in the ROM 3 shown in FIG. 9;
FIG. 11 is a diagram illustrating a state in which an SD image is converted into an HD image.
[Explanation of symbols]
1, 5 area extraction circuit (extraction means), 2 class code search circuit (calculation means), 20 ROM (storage means), 21 prediction calculation circuit (reading means, calculation means), 30, 31 area extraction circuit (extraction means) , 31 Class code search circuit (calculation means), 33c RAM (storage means), 33a CPU (calculation means, calculation means, comparison means, control means)

Claims (8)

In an image conversion apparatus for converting a first image into a second image having a higher resolution,
Extraction means for extracting pixel data of a predetermined region of the first image;
Using the pixel data extracted by the extracting means , classifying a pixel pattern class of the extracted pixel data, and outputting a corresponding class code ;
Storage means for storing prediction formulas corresponding to all classes;
Reading means for reading out the prediction formula corresponding to the class code obtained by the calculating means from the storage means;
Computing means for calculating pixel data in the second image by substituting the pixel data extracted by the extracting means into the prediction formula read by the reading means;
The prediction coefficient included in the prediction formula stored in the storage means is calculated in advance using a genetic algorithm, and the prediction formula has a non-linear value with respect to the prediction coefficient. at least look including a prediction equation including the nonlinear terms to take,
The genetic algorithm prepares N types of prediction coefficient sets represented by a random bit string of a predetermined length for each prediction formula corresponding to each class, and each of the N types of prediction coefficient sets , The image data of the second image calculated by substituting the prediction coefficient and the pixel data extracted by the extraction unit into the prediction formula, and image data composed of true values of the second image Calculation processing for calculating fitness indicating similarity, selection processing for low fitness, multiplication processing for increasing the number of candidates to N types, crossover processing for crossing the candidates, Mutation processing for generating mutations is repeated until a candidate whose fitness exceeds a predetermined value appears, and the candidate with the highest fitness is set as a set of prediction coefficients. Image conversion device and outputs. The image conversion apparatus according to claim 1, wherein the first image is an SD image, and the second image is an HD image. In an image conversion method of an image conversion apparatus for converting a first image into a second image having a higher resolution,
An extraction step of extracting pixel data of a predetermined region of the first image;
Using the pixel data extracted in the processing of the extraction step , classifying a pixel pattern class of the extracted pixel data, and outputting a corresponding class code ;
A reading step of reading prediction formulas corresponding to the class codes obtained by the processing of the calculation step from a storage unit that stores in advance prediction formulas corresponding to all classes;
Calculating the pixel data in the second image by substituting the pixel data extracted in the extraction step processing into the prediction formula read out in the reading step processing ,
The prediction is included in the prediction equation coefficients stored in the storage unit, which has been calculated in advance using a genetic algorithm, the prediction expression is a nonlinear values for the prediction coefficients at least look including a prediction equation including the nonlinear terms to take,
The genetic algorithm prepares N types of prediction coefficient sets represented by a random bit string of a predetermined length for each prediction formula corresponding to each class, and each of the N types of prediction coefficient sets Image data composed of the image data of the second image and the true value of the second image calculated by substituting the prediction coefficient and the pixel data extracted in the processing of the extraction step into the prediction formula A calculation process for calculating the fitness indicating the similarity to the above, a selection process for reducing the fitness value, a proliferation process for increasing the number of candidates to be N, a crossover process for crossing the candidates, and the fitness mutations process for generating mutations repeated until the candidate appears above a predetermined value for a candidate, the set of prediction coefficients to highest candidate fitness Image conversion method characterized by and output. The first image is divided into a plurality of blocks, and an operation for applying the pixel data constituting the block to the prediction formula corresponding to the class to which the pixel pattern of the pixel data of each block belongs is performed. In a learning device for learning a prediction coefficient in a prediction formula for converting an image into a second image having a higher resolution,
Extraction means for extracting pixel data of a predetermined region of the first image for learning;
Calculating means for calculating a class to which the extracted pixel data belongs using the pixel data extracted by the extracting means;
N types of prediction coefficient pairs represented by a random bit string of a predetermined length are prepared for prediction formulas corresponding to the respective classes, and the prediction coefficients and the candidates for each of the N types of prediction coefficient sets are prepared. The fitness indicating the degree of similarity between the image data of the second image calculated by substituting the pixel data extracted by the extraction unit into the prediction formula and the image data including the true value of the second image. Calculation process for calculating, selection process for selecting a low fitness level, propagation process for increasing the number of candidates to N, crossover process for crossing the candidates, and generating mutations for the candidates genetic algorithm mutation process the fitness repeated until the candidate appears above a predetermined value, and outputs the highest candidate fitness as a set of prediction coefficients And a coefficient generation unit by,
The prediction device is a term of the prediction formula, and includes at least a coefficient of a nonlinear term that takes a nonlinear value with respect to the prediction coefficient . The learning apparatus according to claim 4 , wherein the first image is an SD image, and the second image is an HD image. The first image is divided into a plurality of blocks, and an operation for applying the pixel data constituting the block to the prediction formula corresponding to the class to which the pixel pattern of the pixel data of each block belongs is performed. In a learning method of a learning device that learns a prediction coefficient in a prediction formula for converting an image into a second image having a higher resolution,
An extraction step of extracting pixel data of a predetermined region of the first image for learning;
A calculation step of the using the pixel data extracted in the process of extracting step, extracting said pixel data to calculate the class to which it belongs,
N types of prediction coefficient pairs represented by a random bit string of a predetermined length are prepared for prediction formulas corresponding to the respective classes, and the prediction coefficients and the candidates for each of the N types of prediction coefficient sets are prepared. Adaptation indicating similarity between image data of the second image calculated by substituting the pixel data extracted in the processing of the extraction step into the prediction formula and image data consisting of true values of the second image A calculation process for calculating the degree, a selection process for selecting a low fitness value, a growth process for increasing the number of candidates to N types, a crossover process for crossing the candidates, and a mutation for the candidates. genetic Arugori said fitness mutations process of generating the repeated until the candidate appears above a predetermined value, and outputs the highest candidate fitness as a set of prediction coefficients And a coefficient generation step by beam,
The prediction method is a term of the prediction formula, and includes at least a coefficient of a nonlinear term that takes a nonlinear value with respect to the prediction coefficient . By dividing the SD image into a plurality of blocks and performing an operation of applying the pixel data constituting the block to the prediction formula corresponding to the class to which the pixel pattern of the pixel data of each block belongs, the SD image is further resolved. In a learning method of a learning device that learns a prediction coefficient in a prediction formula for converting to a high-definition HD image,
An extraction step for extracting pixel data of a predetermined region of the learning SD image;
A calculation step of the using the pixel data extracted in the process of extracting step, extracting said pixel data to calculate the class to which it belongs,
N types of prediction coefficient pairs represented by a random bit string of a predetermined length are prepared for prediction formulas corresponding to the respective classes, and the prediction coefficients and the candidates for each of the N types of prediction coefficient sets are prepared. The fitness indicating the similarity between the image data of the HD image calculated by substituting the pixel data extracted in the extraction step process into the prediction formula and the image data composed of the true value of the HD image is calculated. A calculation step;
淘汰 Steps to defeat the low fitness,
A growth step for growing the candidates so that there are N types;
A crossover step of crossing the candidates;
A mutation step for generating a mutation for said candidate;
The calculation step process, the cocoon step process, the multiplication step process, the crossing step process, and the mutation step process are repeated until a candidate whose fitness exceeds a predetermined value appears, and a control step of outputting the highest candidate fitness as a set of prediction coefficients,
The prediction method is a term of the prediction formula, and includes at least a coefficient of a nonlinear term that takes a nonlinear value with respect to the prediction coefficient . By dividing the SD image into a plurality of blocks and performing an operation of applying the pixel data constituting the block to the prediction formula corresponding to the class to which the pixel pattern of the pixel data of each block belongs, the SD image is further resolved. A learning program for controlling a learning device that learns a prediction coefficient in a prediction formula for conversion into a high-definition HD image,
An extraction step for extracting pixel data of a predetermined region of the learning SD image;
A calculation step of the using the pixel data extracted in the process of extracting step, extracting said pixel data to calculate the class to which it belongs,
N types of prediction coefficient pairs represented by a random bit string of a predetermined length are prepared for prediction formulas corresponding to the respective classes, and the prediction coefficients and the candidates for each of the N types of prediction coefficient sets are prepared. The fitness indicating the similarity between the image data of the HD image calculated by substituting the pixel data extracted in the extraction step process into the prediction formula and the image data composed of the true value of the HD image is calculated. A calculation step;
淘汰 Steps to defeat the low fitness,
A growth step for growing the candidates so that there are N types;
A crossover step of crossing the candidates;
A mutation step for generating a mutation for said candidate;
The calculation step process, the cocoon step process, the multiplication step process, the crossing step process, and the mutation step process are repeated until a candidate whose fitness exceeds a predetermined value appears, and a control step of outputting the highest candidate fitness as a set of prediction coefficients,
The prediction coefficient is a term of the prediction formula, and a program for causing a computer of a learning device to execute processing including at least a coefficient of a nonlinear term that takes a nonlinear value with respect to the prediction coefficient is recorded. Recording media to be used.

Images