JP3539533B2 - 画像データ補間装置 - Google Patents
画像データ補間装置 Download PDFInfo
- Publication number
- JP3539533B2 JP3539533B2 JP31384896A JP31384896A JP3539533B2 JP 3539533 B2 JP3539533 B2 JP 3539533B2 JP 31384896 A JP31384896 A JP 31384896A JP 31384896 A JP31384896 A JP 31384896A JP 3539533 B2 JP3539533 B2 JP 3539533B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- neural network
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオテープレコーダやテレビ等において高品質な静止画像を表示するための画像データ補間装置に関し、特に、インターレース走査においてフィールド画像から画像データを補間してフレーム画像を生成する画像データ補間装置に関するものである。
【０００２】
【従来の技術】
従来より、ビデオテープレコーダやテレビ等において、映像を映し出す方法として、一般にインターレース走査方法が採用されている。インターレース走査方法とは、１枚のフレーム画像を、時間を異にした２枚のフィールド画像に分けて、１回目の走査の軌跡に２回目の走査が埋まるように、２回に分けて走査して映像を映し出す走査方法である。このように、２回に分けて映し出される２枚の画像は、人間の視覚特性上の残像効果により、１枚の画像として認識される。
【０００３】
しかしながら、２回に分けて送られてきた２枚のフィールド画像をそのままフレーム画像に変換して静止画像を生成する場合、被写体およびその被写体を撮像するためのカメラが完全に静止していれば問題はないが、何れかが動いていれば、フィールド画像間の時間上のずれにより、画像の奇数走査線と偶数走査線との間で画像の連続性が損なわれ、２枚のフィールド画像の間にずれが生じることになる。
【０００４】
そこで、インターレース走査方式を採用するビデオテープレコーダ等の画像データ処理装置において静止画像を表示する場合、何れか一方のフィールド画像を基にしてフレーム画像を導くことが考えられている。つまり、フィールド画像を補間処理してフレーム画像を生成することにより、２枚のフィールド画像の間の映像の時間上のずれを排除して高品質な１枚の静止画像を表示するようになっている。
【０００５】
このような２枚のフィールド画像のうちの何れか一方のフィールド画像を補間処理してフレーム画像を生成する画像データ補間方法について、図１３ないし図１７を参照しながら以下に説明する。ここで、図１３に示すようなフィールド画像１００の補間処理について説明する。また、図１４は、図１３に示すフィールド画像１００の一部の領域（図中○で示す）の拡大図である。この図では、奇数番目の水平走査線に画像データが存在し、偶数番目の水平走査線に画像データが存在しない状態を示している。つまり、以下の各補間方法は、この画像データの存在しない水平走査線上に画像データを補間する処理方法を示している。
【０００６】
尚、以下の説明において、補間すべき画素（以下、補間画素と称する）の画素データをＢ（０）で示し、補間の際に参照される上記補間画素の上側および下側の水平走査線（以下、単に走査線と称する）のそれぞれの参照画素の画素データをＡ（ｎ）、Ｃ（ｎ）で示すものとする。但し、ｎは画素データＢ（０）を基準とした水平走査線上の参照画素の配列番号を表す。
【０００７】
第１の補間方法は、図１５に示すように、フィールド画像の奇数番目の走査線１、走査線３、…のそれぞれの補間画素の画素データを、各奇数番目の走査線の下側の偶数番目の走査線２、走査線４、…の参照画素の画素データとして補間する方法である。即ち、上記の補間方法によれば、Ｂ（０）＝Ａ（０）として補間することになる。この場合、奇数番目の走査線上に参照画素の画素データが存在しているので、奇数番目の走査線から偶数番目の走査線を補間するようになっているが、逆に偶数番目の走査線上に参照画素の画素データが存在している場合には、偶数番目の走査線から奇数番目の走査線を補間する。
【０００８】
しかしながら、上記第１の補間方法では、垂直方向の解像度が１／２になり、画像周縁部の斜線にギザギザが極めて目立つようになる。
【０００９】
第２の補間方法は、図１６に示すように、補間画素の画素データを、該補間画素の上下の２つの参照画素の画像データの平均値で補間する方法である。即ち、上記の補間方法によれば、Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２として補間することになる。
【００１０】
しかしながら、上記第２の補間方法では、画像周縁部の斜線のギザギザは、上記第１の補間方法に比べて目立たなくなるが、斜線部分（エッジ）の劣化により画像全体がぼけた状態で認識される。
【００１１】
第３の補間方法は、図１７に示すように、エッジの方向性に注目し、補間画素の垂直方向だけでなく右上から左下方向、および左上から右下方向の全部で３方向について、その方向の補間画素を挟む２個の参照画素の画素データに対して絶対値差分を計算し、これが最小になる方向の２個の参照画素の画素データの平均値で補間する方法である。
【００１２】
即ち、上記の補間方法によれば、｜Ａ（−１）−Ｃ（１）｜、｜Ａ（０）−Ｃ（０）｜、｜Ａ（１）−Ｃ（−１）｜のうち最小のものを見つけて、それぞれに対応して、
Ｂ（０）＝（Ａ（−１）＋Ｃ（１））／２、
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２、
Ｂ（０）＝（Ａ（１）＋Ｃ（−１））／２、
のいずれかで補間することになる。例えば、｜Ａ（０）−Ｃ（０）｜が最小であれば、Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２を用いて補間処理する。
【００１３】
ところが、かなり水平に近い傾斜エッジを有する画像を補間する場合、上記第３の補間方法のように３方向の参照画素だけでは十分に補間することができない虞がある。
【００１４】
これに対処するためには、例えば図１８に示すように、５方向の参照画素の画素データを利用したり、図１９に示すように、７方向の参照画素の画素データを利用したりする必要がある。図１８および図１９において、図１５ないし図１７と同様に、Ｂ（０）は補間画素を示し、Ａ（ｎ）、Ｃ（ｎ）は参照画素を示している。但し、ｎは画像データＢ（０）を基準とした水平走査線上の参照画素の配列番号を表す。
【００１５】
しかしながら、上記のように参照画素数を増やしても、補間画素から参照画素までが遠い場合、例えば図１９では、Ａ（−３）とＣ（３）、またはＡ（３）とＣ（−３）の各参照画素で画素データの差が最小となった場合、実際にこれらが適当な補間方向であれば問題は生じないが、適当な補間方向でないときには、Ｂ（０）は隣接した画素とは全く異なる値で置き換えられる可能性がある。このような場合、補間画素が画像上では極めて目立つノイズとなって現れる。
【００１６】
そこで、上記の問題点を解決するために、例えば特開平５−３７９１０号公報には、ニューラルネットワークを用いてライン補間するライン補間装置が開示されている。このライン補間装置は、図２０に示すように、補間すべきラインの画素に対して場所的・時間的に異なる所定の画素情報を遅延させる遅延回路２０１…と、遅延された画像情報が入力されてライン補間用の信号が出力されるニューラルネットワーク２００とからなり、インターレース走査方式で入力された画像信号を複数の遅延回路２０１…を通すことで並列化して、補間すべき画素の周囲に位置する複数の参照画素の画像データを、予め学習されたニューラルネットワーク２００に入力して補間画素の画素データを得るようになっている。
【００１７】
このように、予め学習されたニューラルネットワーク２００により補間画素の画像データを得る補間方法では、上記ニューラルネットワーク２００に多くの種類の画像を予め学習させることで、画像の輪郭線が連続であることなどが学習され、ライン補間用の信号の生成が効率良く成される。
【００１８】
【発明が解決しようとする課題】
ところが、上記公報に開示された技術では、高画質化テレビジョンのノンインターレース表示時に適用されるものであり、ビデオレート処理の高速化が必要とされている。このため、補間画素の画素データを迅速に得る必要がある。これに対応させるには、ニューラルネットワークによって予め学習させる画像の種類を多くする必要がある。
【００１９】
しかも、上記公報に開示された技術では、ビデオレート処理の高速化のために、参照画素の画素データの並列化された多入力方式の規模が大きく複雑なニューラルネットワークの回路が要求され、装置が大きなものとなるという問題が生じる。
【００２０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、動画像から導かれた単発的な静止画像の表示やビデオプリンタ出力等のビデオレート処理を行わない装置に適用することを前提とし、入力画像毎にニューラルネットワークを学習させることで、入力画像に応じた補間処理を行うことで高品質の静止画像を得ることができ、しかも、各参照画素の画素データを順番に入力するような構造にすることで、構築されるニューラルネットワークを簡略化できる画像データ補間装置を提供することにある。
【００２１】
【課題を解決するための手段】
請求項１の画像データ補間装置は、上記の課題を解決するために、フレーム画像を構成する２枚のフィールド画像のうち、１枚のフィールド画像の補間すべき画素の画素データを、該フィールド画像の走査線上の既存画素の画素データを用いて補間処理して生成する画像データ補間装置において、入力されるアナログのビデオ信号をＡ／Ｄ変換してデジタル化した画像データを生成するＡ／Ｄコンバータと、上記Ａ／Ｄコンバータにてデジタル化して得られた画像データの１フレーム分の画像データを格納するフレームメモリと、補間すべき画素毎に、それぞれの補間すべき画素を含む所定範囲内の既存の周辺画素の画素データに基づいて学習すると共に、処理対象の画素を移動するときは新たに必要となる既存の周辺画素の画素データのみを入力する階層型ニューラルネットワークによって、補間すべき画素の画像データを生成する処理により、上記フレームメモリに格納された１フレーム分の画像データにおける１フィールド分の画像データを使用して、１フィールド分の画像データを生成し、この１フレーム分の画像データ、および既に存在する上記１フィールド分の画素データとを合わせて1フレーム分の画像データを生成する補間画素データ生成手段とが設けられていることを特徴としている。
【００２２】
上記の構成によれば、補間すべき画素毎に学習可能な階層型ニューラルネットワークを用いて補間処理を行うようになっているので、入力画像に応じた高品位の静止画像を得ることができる。しかも、補間処理が階層型ニューラルネットワークを用いて行われているので、出力画像のエッジ部をハッキリさせることができると共に、斜め線をギザギザのない滑らかな線にすることができる。
【００２３】
また、上述のように、上記階層型ニューラルネットワークは、補間画素毎に学習可能であるので、随時学習が可能となり、階層型ニューラルネットワークの結合の重み調整を入力画像毎にリアルタイムで行うことができ、入力されるどのような画像に対しても入出力関係を最適にすることができる。
【００２４】
このようなリアルタイムに学習可能な階層型ニューラルネットワークを用いて、補間すべき画素毎に、補間処理が行われると、それぞれの入力画像毎にネットワークの重みを調整することができるので、常に最適な補間処理が可能となる。したがって、どのような入力画像に対しても、補間処理において生じる問題としてのエッジ部分のボケや、斜め線のギザギザを無くすことができるので、補間処理後の静止画像に滑らかさが生じ、静止画像の品位を向上させることができる。
【００２５】
さらに、上記構成の画像データ補間装置では、静止画像を得るものであるので、ビデオレート処理の必要はなく、ビデオレート処理の高速化のために、参照画素の画素データを並列化してニューラルネットワークに入力する必要がなくなる。よって、参照画素の画素データは、順番にニューラルネットワークに入力すればよいので、従来のように参照画素の画素データの並列化された多入力方式のように回路規模が大きく複雑にならず、階層型ニューラルネットワークを簡略化できる。
【００２６】
請求項２の画像データ補間装置は、請求項１の構成に加えて、階層型ニューラルネットワークは、学習により補間画素とその周辺の画素とを含めた各画素の位置情報と画素データとが対応する画素データ曲面を形成することを特徴としている。
【００２７】
上記の構成によれば、請求項１の作用に加えて、階層型ニューラルネットワークの学習によって得られた画素データ曲面を用いれば、補間画素の画素データを周囲の画像に応じで生成することができるので、さらに、静止画像の品位を向上させることができる。
【００２８】
請求項３の画像データ補間装置は、請求項１または２の構成に加えて、階層型ニューラルネットワークは、各画素の位置情報を入力とし、入力された位置情報における画素データを出力とするように構成されていることを特徴としている。
【００２９】
上記の構成によれば、請求項１または２の構成による作用に加えて、フィールド画像の補間すべき画素に対して補間処理を行うには、階層型ニューラルネットワークの入力が補間すべき画素の位置情報だけで十分であり、また、このときの出力が補間画素の画素データであるので、階層型ニューラルネットワークにおける入出力関係が複雑にならずに、規模が小さく、簡単な構造の階層型ニューラルネットワークを用いることができる。
【００３０】
また、請求項４の画像データ補間装置は、上記の課題を解決するために、請求項１、２または３の構成に加えて、補間処理手段は、補間処理を行う際、先ず、補間すべき画素を含む所定範囲の周辺画素の既存の画素データを教師データとし、その既存の画素データの位置情報を入力データとして階層型ニューラルネットワークに学習させ、学習終了後、補間すべき画素の位置情報を入力することによって補間すべき画素の画素データを生成することを特徴としている。
【００３１】
上記の構成によれば、請求項１、２または３の構成による作用に加えて、補間処理を行う際、階層型ニューラルネットワークの学習方法が、既存画素の位置情報とその画素データを用いて行われるので、学習のための計算量が少なくて済み、高速に学習を行うことができる。これにより、補間すべき画素の補間処理の高速化を図ることができる。
【００３２】
請求項５の画像データ補間装置は、上記の課題を解決するために、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、少なくとも１つ以上のノードからなる中間層、１つのノードからなる出力層より構成されるバックプロパゲーション型ニューラルネットワークであることを特徴としている。
【００３３】
上記の構成によれば、請求項３または４の構成による作用に加えて、フィールド画像の補間すべき画素に対して、補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のバックプロパゲーション型ニューラルネットワークが用いられているので、入出力関係が簡素であり、簡単なハード構成にて入力画像の変換処理を行うことができる。
【００３４】
請求項６の画像データ補間装置は、上記の課題を解決するために、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現するメンバーシップ関数を構成する２つの層からなるメンバーシップ層、２つの入力に対して全てのメンバーシップ値の組み合わせをとり、ファジィの理論積を得るように構成されるルール層、１つのノードからなる出力層より構成されるファジィ・ニューラルネットワークであることを特徴としている。
【００３５】
上記の構成によれば、請求項３または４の構成による作用に加えて、フィールド画像の補正すべき画素に対して補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のファジィ・ニューラルネットワークが用いられているので、ハード構成上は上記の請求項５記載のバックプロバケーション型ニューラルネットワークよりも複雑になるものの、より細かい部分画像の階調曲面を表現することが可能となり、請求項５のバックプロバケーション型ニューラルネットワークより最適な補間画素データを得ることが可能となる。
【００３６】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図１２に基づいて説明すれば、以下の通りである。
【００３７】
本実施の形態に係る画像データ補間装置は、図１に示すように、入力されるアナログのビデオ信号（以下、入力ビデオ信号と称する）ＰｉをＡ／Ｄ変換してデジタル化した画像データＤを生成するＡ／Ｄコンバータ１と、画像データＤに対して所定の補間処理する補間処理部６、補間処理された画像データＤ’をＤ／Ａ変換して、外部に出力するアナログのビデオ信号（以下、出力ビデオ信号と称する）Ｐｏを生成するＤ／Ａコンバータ３とで構成されている。
【００３８】
上記補間処理部６は、フレームメモリ２、コントローラ４、ＣＰＵ５からなり、Ａ／Ｄコンバータ１で得られた画像データＤを１フレーム分毎補間処理を行うようになっている。尚、補間処理の詳細については、後述する。
【００３９】
上記フレームメモリ２は、Ａ／Ｄコンバータ１にてデジタル化して得られた画像データＤの１フレーム分の画像データを格納すると共に、上記ＣＰＵ５にて補間処理された画像データＤ’を格納するようになっている。尚、１フレーム分の画像データは、１フレーム画像を構成する２枚のフィールド画像、即ち第１フィールド画像の画像データ（以下、第１フィールドデータと称する）と、第２フィールド画像の画像データ（以下、第２フィールドデータと称する）とで構成されている。
【００４０】
したがって、フレームメモリ２では、１フレーム分の画像データのうち、第１フィールドデータを構成する画素データをフレーム画像の奇数番目の水平走査線に対応するデータ格納領域である奇数行アドレスに、第２フィールドデータを構成する画素データをフレーム画像の偶数番目の水平走査線に対応するデータ格納領域である偶数行アドレスに、それぞれ対応づけて格納するようになっている。
【００４１】
フレームメモリ２は、コントローラ４による制御によって格納された画像データＤあるいはＤ’をＤ／Ａコンバータ３に転送するようになっている。
【００４２】
上記コントローラ４は、ＣＰＵ５の指示に基づいて、Ａ／Ｄコンバータ１、フレームメモリ２、Ｄ／Ａコンバータ３の動作を制御するようになっている。
【００４３】
ＣＰＵ５は、フレームメモリ２およびコントローラ４の動作を制御するようになっている。また、ＣＰＵ５は、フィールド画素の補間すべき画素（以下、補間画素と称する）の画素データ（以下、補間画素データと称する）を、該補間画素を含む所定範囲内の既存の周辺画素（以下、参照画素と称する）の画素データに基づいて生成するようになっている。したがって、このＣＰＵ５には、補間処理用の制御プログラムを格納したＲＯＭが内蔵されており、階層型のニューラルネットワークを用いて補間処理する補間処理機能を有している。
【００４４】
上記の構成の画像データ補間装置の動作について図１に示すブロック図および図４に示すフローチャートを参照しながら以下に説明する。尚、本説明では、入力ビデオ信号Ｐｉをデジタル化して得られる画像データＤとして、輝度データを想定した場合について述べる。また、本動作は、上記ＣＰＵ５に内蔵されたＲＯＭに格納された補間処理用の制御プログラムに沿って行われる。
【００４５】
先ず、ＣＰＵ５は、コントローラ４がＡ／Ｄコンバータ１を制御することによって、入力ビデオ信号Ｐｉを画像データＤにＡ／Ｄ変換する（Ｓ１）。
【００４６】
そして、変換して得られた画像データＤのうち、１フレーム分の画像データＤを、コントローラ４の制御によりフレームメモリ２に入力し、所定の格納領域に格納する（Ｓ２）。つまり、フレームメモリ２では、入力した１フレーム分の画像データのうち第１フィールド画像を構成する画素データを奇数行アドレスに、また第２フィールド画像を構成する画素データを偶数行アドレスに対応させて格納している。
【００４７】
次に、ＣＰＵ５は、フレームメモリ２に格納された１枚のフィールド画像の画像データを読み込み、参照画素から補間画素の画素データを生成する補間処理を行う（Ｓ３）。この補間処理では、フィールド画像の補間画素毎に補間処理して画素データを１フィールド分生成し、この１フィールド分の画素データからなる画像データと、既に存在する１フィールド分の画素データからなる画像データとを合わせて１枚のフレーム画像の画像データＤ’を生成するようになっている。
【００４８】
続いて、ＣＰＵ５は、一つの補間画素を補間処理して得た画素データＤ’をフレームメモリ２の所定の格納領域に格納する（Ｓ４）。そして、１フィールド分の補間処理が終了したか否かを判定する（Ｓ５）。ここで、補間処理が終了していなければ、１フィールド分の補間処理が終了するまで繰り返される。
【００４９】
そして、Ｓ５にて、ＣＰＵ５は、１フィールド分の補間処理が終了したと判定したときに、フレームメモリ２に格納された１フレーム分の画像データＤ’をＤ／Ａコンバータ３に転送し、コントローラ４を介してＤ／Ａコンバータ３を制御することでアナログの出力ビデオ信号Ｐｏに変換させる（Ｓ６）。そして、このＤ／Ａ変換され画像データＤ’を外部に出力して、最終的に、入力ビデオ信号Ｐｉの１フレーム分の画像の静止画像を得る。
【００５０】
以上のように、ＣＰＵ５は、補間画素に対して、該補間画素を含む所定範囲内の既存の参照画素の画素データを用いて補間処理を施す補間処理機能を有している。具体的には、ＣＰＵ５の補間処理は、既存の画素データによって良く学習された階層型のニューラルネットワークを用いて行われる。このＣＰＵ５の補間処理機能について以下に説明する。
【００５１】
上記ＣＰＵ５の補間処理機能とは、例えば図２に示すように、既に存在する１枚のフィールド画像の各行の画像データ（図中、斜線で示した部分）からこのフィールド画像の各行の間の行の画像データ（図中、白抜きの部分）を生成するものである。具体的には、補間画素１２の周囲にある既存の画素でマトリクス状に囲まれた領域（以下、参照画像領域と称する）１１内に含まれる参照画素の画素データを用いて一つずつ補間して、上記補間画素１２の画素データを生成し、１フィールド分の画像データを生成するようになっている。
【００５２】
つまり、ＣＰＵ５は、図３に示すように、参照画像領域１１内の既在のフィールド画像の『・・・，ｉ−１，ｉ＋１，・・・』の行の画像データから、『・・・，ｉ−２，ｉ，ｉ＋２，．．．』の行の画像データを生成するものとし、第ｉ行ｊ列の補間画素１２の画素データ（以下、補間画素データと称する）ｆ(j,i) を生成して補間するようになっている。ここでは、一つの補間画素１２について、４×７の参照画素１３…を用いて補間処理を行っている。尚、この参照画素１３の数は、特に限定するものではない。
【００５３】
そして、ＣＰＵ５は、１フィールド内の各補間画素１２…について、それぞれ参照画像領域１１の既存の参照画素の画素データを用いて補間処理を行い、１フィールド分の補間画素の画素データを生成するようになっている。
【００５４】
ここで、上述の補間処理について、図３に示すマトリクス状の参照画像領域１１および図５に示すフローチャートを参照しながら以下に説明する。
【００５５】
先ず、ＣＰＵ５は、フレームメモリ２から図３に示す第ｉ−３行、第ｉ−１行、第ｉ＋１行、第ｉ＋３行における第ｊ−３列、第ｊ−２列、第ｊ−１列、第ｊ列、第ｊ＋１列、第ｊ＋２列、第ｊ＋３列の参照画素の画素データを読み込む（Ｓ１１）。
【００５６】
次に、ＣＰＵ５は、読み込んだ参照画像領域１１内の既存画像データを用いてニューラルネットワークの学習を行う（Ｓ１２）。つまり、ＣＰＵ５は、読み込んだ参照画像領域１１の４×７画素領域内の画像データ（以下、部分画像データと称する）の位置情報（ｘ，ｙ）（ｘ＝−３，−２，−１，０，１，２，３：ｙ＝−３，−１，１，３）とそれぞれの位置での画素データｆ（ｘ，ｙ）とを、それぞれ階層型ニューラルネットワークの入力データ、および教師データとする。教師データとは、ニューラルネットワークがそれぞれの入力値に対して正しい出力値が出力できるように目標値として与えるデータであり、ニューラルネットワークは出力値がこの教師データに近づくように、ネットワークの結合の重みを変化させてゆく。
【００５７】
次いで、ＣＰＵ５は、ニューラルネットワークの学習回数、つまり、一つの画素に対して行われる学習回数が１０００回達成したか否かを判定する（Ｓ１３）。もし、学習回数が１０００回達成していれば、Ｓ１５に移行し、学習回数が１０００回達成していなければ、Ｓ１４に移行して、学習誤差が５％以内であるか否かを判定する（Ｓ１４）。ここで、学習誤差が５％以内であれば、Ｓ１５に移行し、学習誤差が５％以内でなければ、Ｓ１２に移行して、再びニューラルネットワークの学習を行う。
【００５８】
Ｓ１５では、学習後のニューラルネットワークへの、補間画素１２の位置情報の入力が行われる。次いで、ニューラルネットワークにて上記位置情報から、補間画素位置での補間画素１２の画素データの出力が行われ（Ｓ１６）、図４のフローチャートのＳ４に移行し、補間画素１２の画素データがフレームメモリ２に格納される。
【００５９】
同様にして、補間画素を移動して、図３に示す第ｉ行の全ての画素について、順次繰り返し補間画素データを求め、この補間画素データをフレームメモリ２の対応するアドレスに格納して１行分の補間画素データを得る。ここで、補間に必要な参照画素データの読み出しは処理対象の画素を移動したことにより新たに必要になった分だけ行えば良い。こうすれば、補間処理のための参照画素データの読み込みやデータの演算等の処理を必要最小限にすることができるので、補間処理速度を向上させることができる。
【００６０】
さらに、同様にして、上述した補間処理を各行毎に繰り返して行い、最終的に１フィールド分の画像データから１フレーム分の画像データＤ’が生成される。そして、一連のフィールド画像の補間処理が終了して１フレーム分の画像データＤ’が得られると、ＣＰＵ５は、コントローラ４を介してフレームメモリ２およびＤ／Ａコンバータ３を制御し、フレームメモリ２に格納された１フレーム分の画像データＤ’をＤ／Ａコンバータ３により出力ビデオ信号Ｐｏに変換して外部に出力する。
【００６１】
本実施の形態では、ＣＰＵ５にて補間処理に用いられる階層型ニューラルネットワークとして、バックプロパゲーション型ニューラルネットワークとファジィ・ニューラルネットワークとを用いた場合について説明する。尚、各階層型ニューラルネットワークの詳細は、上記学習方法と共に後述する。
【００６２】
上述したニューラルネットワークの学習によって、図６に示すような既存の画素データの位置にある矢印の先端部を非線形な曲線で結んだときに形成される階調曲面（画素データ曲面）が得られる。図６では、実線の矢印は既存の画素データを表し、破線の矢印は補間画素の画素データを表しており、矢印の長さが各画素データｆ（x,y)の大きさ、即ち輝度データの大きさを表している。ここで、ｘ、ｙはそれぞれフィールド画像の補間画素の位置情報を示すｘ軸、ｙ軸を示し、ｆ（x,y)は画素値（輝度データの大きさ）を示している。
【００６３】
ここで、上記ＣＰＵ５で使用される２種類の階層型ニューラルネットワークについて、図７ないし図１２に基づいて以下に説明する。
【００６４】
先ず、バックプロパゲーション型ニューラルネットワークについて説明する。本ニューラルネットワークは、図７に示すように、２入力１出力となっており、入力層１１、中間層１２、出力層１３の３層で構成されている。上記ニューラルネットワークにおいて、２つの入力項目はそれぞれ画素の位置情報であり、１つの出力項目は入力された画素位置における画素値である。
【００６５】
入力層１１は、入力値Ｘ１が入力されるノードＡ１、入力値Ｘ２が入力されるノードＡ２の２つのノードからなる。参照符Ｘ１・Ｘ２は、画素の位置情報、即ちＸ１は画素のｘ軸の位置情報、Ｘ２は画素のｙ軸の位置情報を示す。
【００６６】
中間層１２は、９つのノードＤ１〜Ｄ９からなり、これらノードＤ１〜Ｄ９は入力層１１のノードＡ１と重みＷ11〜Ｗ19で結合されると共に、入力層１１のノードＡ２と重みＷ21〜Ｗ29で結合されている。この重みＷ11〜Ｗ19、Ｗ21〜Ｗ29は、後述する学習により調整するようになっている。
【００６７】
尚、中間層１２のノード数は、サンプルの画像データを用いて中間層１２におけるノード数を１から順に１個ずつ増やして学習させたときに、一番精度良く学習できたときのノード数を用いるようになっている。したがって、本実施の形態のように、中間層１２のノード数を９個に限定するものではなく、学習精度を考慮して任意のノード数にしても良い。
【００６８】
出力層１３は、１つのノードＥ１からなり、このノードＥ１は中間層１２のノードＤ１〜Ｄ９と重みＶ11〜Ｖ91で結合されている。この重みＶ11〜Ｖ91は、後述する学習により決定され、出力値Ｙ１として出力されるようになっている。
【００６９】
上記のように構築されたバックプロパゲーション型のニューラルネットワークの学習方法について以下に説明する。
【００７０】
先ず、入力層１１から出力層１３までの順方向の演算について説明する。
最初に、入力層１１では部分画像データの位置情報を入力データ（Ｘ１・Ｘ２）として入力し、そのまま中間層１２に出力する。即ち、以下の（１）式に示すようになる。
【００７１】
【数１】
【００７２】
ここで、Ｉi は入力層１１の各ノードからの出力値であり、例えばノードＡ１からの出力値はＩ1 となり、ノードＡ２からの出力値はＩ2 となる。また、Ｘｉは画素の位置情報を表す入力データを表し、例えばＸ１は画素のｘ軸の位置情報、Ｘ２は画素のｙ軸の位置情報を表す入力データを表す。
【００７３】
次に、中間層１２では、入力層１１からの出力値に基づいて演算が行われ、各ノードＤ１〜Ｄ９の出力値が決定される。即ち、入力層１１と中間層１２との間では、以下の（２）式による演算が行われる。
【００７４】
【数２】
【００７５】
ここで、Ｈj は中間層１２の各ノードからの出力値であり、例えばノードＤ１からの出力値はＨ1 、ノードＤ２からの出力値はＨ2 となる。また、Ｗijは入力層１１の各ノードと中間層１２の各ノードとの結合の度合いを示す重みであり、例えば入力層１１のノードＡ１と中間層１２のノードＤ１との結合の重みはＷ11である。また、θj は中間層１２の各ノードにおけるオフセット値である。
【００７６】
上記の（２）式の（Ｉi ・Ｗij＋θj ）を入力値Ｘとした場合、ｆ（Ｘ）は入力値Ｘに対して単調に増加する非線形な単調増加関数であり、例えば図８に示すようなシグモイド関数が適用される。このシグモイド関数は、以下の（３）式で表される。
【００７７】
【数３】
【００７８】
最後に、出力層１３では、中間層１２からの出力値に基づいて演算が行われ、ノードＥ１の出力値が決定される。即ち、中間層１２と出力層１３との間では、以下の（４）式による演算が行われる。
【００７９】
【数４】
【００８０】
ここで、Ｏｋは出力層１３のノードＥ１からの出力値Ｙ１である。また、Ｖjkは中間層１２の各ノードＤ１〜Ｄ９と出力層１３のノードＥ１との結合の度合いを示す重みであり、例えば中間層１２のノードＤ１とノードＥ１との結合の重みはＶ11である。また、θk は出力層１３のノードＥ１におけるオフセット値である。
【００８１】
上記の（４）式の（Ｈj ・Ｖjk＋θk ）を入力値Ｘとした場合、ｆ（Ｘ）は入力値Ｘに対して単調に増加する非線形な単調増加関数であり、上述した（２）式と同様に、例えば図８に示すようなシグモイド関数が適用される。
【００８２】
ここまでが、学習のための順方向の演算である。
【００８３】
次に、学習のための逆方向の演算について以下に説明する。
この学習の目的は、ニューラルネットワークにおける最適な入出力関係を得ることであり、このために、教師データを目標にして、ネットワーク中の結合の重みを微調整するようになっている。以下に、ネットワークの結合の重みの微調整の方法について説明する。
【００８４】
先ず、出力層１３のノードＥ１の出力値と教師データとの２乗誤差を、以下の（５）式を用いて計算する。
【００８５】
【数５】
【００８６】
ここで、Ｅｋは教師データと出力値との２乗誤差であり、Ｔｋは教師データである。つまり、この学習の目的は、上記Ｅｋを小さくすることになる。そこで、以下の（６）式を用いて、ＥｋをＯｋで偏微分することにより、ＯｋによるＥｋへの影響を求める。
【００８７】
【数６】
【００８８】
更に、中間層１２と出力層１３との間の結合の重みＶjkによるＥｋへの影響、および入力層１１と中間層１２との間の結合の重みＷijによるＥｋへの影響を、以下の（７）・（８）式を用いて求める。
【００８９】
【数７】
【００９０】
【数８】
【００９１】
上記の（７）・（８）式を用いて求めたＥｋへの影響に基づき、以下の（９）・（１０）式を用いて各結合の重みを微調整する。
【００９２】
【数９】
【００９３】
【数１０】
【００９４】
ここで、αは微調整する度合いを示す値であり、通常０．０５〜０．２５ぐらいの値を用いる。また、ｔは学習回数を表している。
【００９５】
したがって、上記（９）・（１０）式では、現在の結合の重み（Ｖjk、Ｗij）に微調整する値を加えて、次回の演算／学習のときの結合の重みとしている。
【００９６】
以上のように、上記のアルゴリズムに従って繰り返し学習を行い、結合の重みを修正していくことで、教師データと出力値との２乗誤差をある程度まで小さくできるようになる。そして、予め設定された学習回数、もしくは誤差の値が誤差の許容値以下になった時点で学習を終了する。尚、本実施の形態では、前述した通り規定の学習回数を１０００回とし、誤差の許容値は５％とし、学習回数が１０００回あるいは誤差が５％以下になった時点で学習を終了するようになっている。
【００９７】
このように学習されたバックプロパゲーション型ニューラルネットワークにより、解像度変換処理や変倍処理を入力された画像の全ての部分画像に対して行うことによって、入力された画像が変換処理され、解像度が変換された画像、もしくは倍率が変換された画像となる。
【００９８】
次に、ファジィ・ニューラルネットワークについて説明する。本ニューラルネットワークは、図９に示すように、２入力１出力となっており、入力層２１、中間層としてのメンバーシップ層前半部２２、メンバーシップ層後半部２３、ルール層２４、および出力層２５の５つの層からなり、２層目と３層目を合わせてメンバーシップ層を構築している。上記ファジィ・ニューラルネットワークにおいて、２つの入力項目はそれぞれ画素の位置情報であり、１つの出力項目は入力された画素位置における画素値である。
【００９９】
上記のファジィ・ニューラルネットワークにおける各層のノードとノードとの間の結合は以下のようにして構成される。
【０１００】
先ず、入力層２１は、入力項目毎に２つのノードＡ１、Ａ２およびノードＡ３、Ａ４で構成されており、ノードＡ２、Ａ４にはそれぞれ定数１が入力され、ノードＡ１には入力値Ｘ１（ｘ軸の位置情報）が入力され、ノードＡ３には入力値Ｘ２（ｙ軸の位置情報）が入力されるようになっている。
【０１０１】
次に、メンバーシップ層では、各入力項目毎に、図１０〜図１２に示すような、ｓｍａｌｌ、ｍｉｄｄｌｅ、ｂｉｇのメンバーシップ関数が構成されている。
【０１０２】
従って、メンバーシップ層前半部２２では、ノードＢ１〜Ｂ４、ノードＢ５〜Ｂ８の各４つのノードを構成し、ノードＢ１〜Ｂ４では定数１と入力値Ｘ１とを結合させ、ノードＢ５〜Ｂ８では定数１と入力値Ｘ２とを結合させる一方、メンバーシップ層後半部２３では、ノードＣ１〜Ｃ３、ノードＣ４〜Ｃ５の各３つのノードを構成し、メンバーシップ層前半部２２の１つまたは２つのノードを結合させるようになっている。
【０１０３】
即ち、図９に示すメンバーシップ層後半部２３の１つのノードを結合させる部分であるノードＣ１、Ｃ４は、図１２に示すｂｉｇのメンバーシップ関数を構成する部分となり、ノードＣ３、Ｃ６は、図１０に示すｓｍａｌｌのメンバーシップ関数を構成する部分となる。また、メンバーシップ層後半部２３の２つのノードを結合させる部分であるノードＣ２、Ｃ５は、図１１に示すｍｉｄｄｌｅを構成する部分となる。
【０１０４】
上記構成のメンバーシップ層の各ノードは、１入力項目毎に必ず構成されるものであり、入力項目毎のノード数は固定である。本実施の形態では、１入力項目に対するメンバーシップ層前半部２２のノード数は４、メンバーシップ層後半部２３のノード数は３となっている。
【０１０５】
次いで、ルール層２４では、メンバーシップ層後半部２３の入力値Ｘ１に関係するノードＣ１に対して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと論理積を取るようにノードＤ１〜Ｄ３が構成されている。同様にして入力値Ｘ１に関係するノードＣ２に対して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと論理積を取るようにノードＤ４〜Ｄ６が構成され、入力値Ｘ１に関係するノードＣ３に対して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと論理積を取るようにノードＤ７〜Ｄ９が構成されている。即ち、ルール層２４では、２つの入力値Ｘ１・Ｘ２に対して全てのメンバーシップ値の組み合わせをとり、ファジィの論理積を得るように構成されている。
【０１０６】
最後に、出力層２５では、ルール層２４からの出力を全て結合し、入力画像の各画素位置での画素値である出力値Ｙ１を出力する１つのノードＥ１を有している。
【０１０７】
このようにして構成されたファジィ・ニューラルネットワークのノード間の結合部分には、結合毎に全て重みがある。
【０１０８】
従って、入力層２１とメンバーシップ層前半部２２との結合部分では、メンバーシップ関数のセンター値（メンバーシップ関数の出力値が０．５となるときの入力値）が重みＷｃ11〜Ｗｃ14およびＷｃ21〜Ｗｃ24となっている。
【０１０９】
即ち、メンバーシップ関数は、前述したように３種類あり、それぞれのメンバーシップ関数のセンター値は各重みと一致している。例えば、入力値Ｘ１のｂｉｇを表すメンバーシップ関数のセンター値の重みはＷｃ11であり、ｍｉｄｄｌｅを表すメンバーシップ関数のセンター値の重みはＷｃ12とＷｃ13であり、ｓｍａｌｌを表すメンバーシップ関数のセンター値の重みはＷｃ14である。尚、ｍｉｄｄｌｅは、２つのメンバーシップ関数の論理積の形となっているので、２つのセンター値を有している。
【０１１０】
次に、メンバーシップ層前半部２２とメンバーシップ層後半部２３との結合部分では、メンバーシップ関数の傾きが重みＷｇ11〜Ｗｇ14およびＷｇ21〜Ｗｇ24となっている。この場合、メンバーシップ関数の傾きが各重みと一致している。例えば、入力値Ｘ１のｂｉｇを表すメンバーシップ関数の傾きの重みはＷｇ11であり、ｍｉｄｄｌｅを表すメンバーシップ関数の傾きの重みはＷｇ12とＷｇ13であり、ｓｍａｌｌを表すメンバーシップ関数の傾きの重みはＷｇ14である。尚、ｍｉｄｄｌｅは、２つのメンバーシップ関数の論理積の形となっているので、２つの傾きを有している。
【０１１１】
最後に、ルール層２４と出力層２５との結合部分では、エキスパートから得た知識が重みＷｆ1 〜Ｗｆ9 となっている。このエキスパートから得た知識では、出力値が大きくなるような入力値の組み合わせのルールの重みは１に近い値とし、出力値が小さくなるような入力値の組み合わせのルールの重みは０に近い値とする。それ以外のルールの重みは０．５に初期設定しておく。
【０１１２】
また、上述した結合部分以外の結合部分の重み、例えばメンバーシップ層後半部２３とルール層２４との結合部分の重みは、１で固定されている。
【０１１３】
上記構成のファジィ・ニューラルネットワークにおいて、各層の出力値を求める方法について以下に説明する。尚、入力層２１の出力値は、入力値と同じであるので説明は省略する。
【０１１４】
メンバーシップ層は、以下の（１１）式に示すように、２層目でメンバーシップ関数のセンター値Ｗｃ11〜Ｗｃ14およびＷｃ21〜Ｗｃ24を加える。
【０１１５】
【数１１】
【０１１６】
ここで、ｘは入力層２１の出力値、Ｗｃはメンバーシップ関数のセンター値、Ｈは２層目の出力である。また、ｉは各入力項目の数であり、ｊはｂｉｇのとき１、ｍｉｄｄｌｅのとき２または３、ｓｍａｌｌのとき４となっている。
【０１１７】
上記（１１）式は、後に代入する以下の（１２）式に示すようなシグモイド関数の原点の位置をメンバーシップ関数のセンター値の位置に合わせることを示している。
【０１１８】
次に、以下の（１３）式に示すように、３層目でメンバーシップ関数の傾きを掛けてシグモイド関数に代入することにより、その入力値の各領域でのメンバーシップ関数の出力値を得るようになっている。尚、ｍｉｄｄｌｅの場合は（１３）式の代わりに以下の（１４）式を用いる。
【０１１９】
【数１２】
【０１２０】
【数１３】
【０１２１】
【数１４】
【０１２２】
ここで、Ｗｇはメンバーシップ関数の傾きの値、ｆ（Ｘ）はシグモイド関数、Ｍはメンバーシップ関数の出力値、ｍｉｎ｛ｆ（Ｘ１），ｆ（Ｘ２）｝はｆ（Ｘ１）とｆ（Ｘ２）との論理積を示す。また、ｋはメンバーシップ層後半部２３のノードの番号であり、ｉはｂｉｇのとき１、ｍｉｄｄｌｅのとき２、ｓｍａｌｌのとき３となっている。また、上記（１４）式では、論理積を計算することにより、ｍｉｎのカッコの中の２つの関数のうち、小さい方の値を選択することになる。
【０１２３】
次いで、ルール層２４では、以下の（１５）式を用いてＡＮＤルールの計算が行われる。即ち、２つの入力項目の中で、それぞれ３つの領域（ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌ）から１つずつ選び、その２つのメンバーシップ出力値の論理積の計算が行われる。
【０１２４】
【数１５】
【０１２５】
ここで、ＲはＡＮＤルールの出力値であり、ｋ１とｋ２はメンバーシップ層後半部２３のノード番号である。また、ここでも論理積の計算により、ｍｉｎのカッコの中の２つの関数のうち、小さい方の値を選択することになる。
【０１２６】
最後に、出力層２５では、以下の（１６）式を用いて出力値の計算が行われる。即ち、ファジィルールの前件部命題（例：Ｘ１がｂｉｇである）によって得られた各ＡＮＤルールの出力値とそのルールからの結合の重みの値Ｗｆを掛け合わせて、それをＡＮＤルールの出力全体の合計値で割ったものの総和を取ることで計算が行われる。
【０１２７】
【数１６】
【０１２８】
ここで、ｎはルール層２４のノード番号である。
【０１２９】
以上が、上記のファジィ・ニューラルネットワークに入力値を代入してから出力値を得るまでの計算の過程を示す。尚、上記構成のファジィ・ニューラルネットワークを初めに構築した状態では、各層のノード間の結合の重みの値は各層毎に決まった値を有しており、入力値を代入しても、出力値はでたらめな値であり、対象物の入出力関係を正しくシミュレートできない。そこで、正しくシミュレートするために、結合の重みの調整を行う必要がある。これがファジィ・ニューラルネットワークにおける学習である。
【０１３０】
上記ファジィ・ニューラルネットワークにおける学習について以下に説明する。
【０１３１】
対象物の入出力関係を表したサンプルデータの出力値を教師データＴとし、以下の（１７）式を用いて、この教師データＴと、サンプルデータの入力値（Ｘ１、Ｘ２、…、Ｘｎ）から上記の（１１）〜（１６）式によって得られた出力値ｙとの２乗誤差を用いる。
【０１３２】
【数１７】
【０１３３】
ここで、Ｅは教師データＴと出力値ｙとの２乗誤差を表す。この誤差を少なくすることによって対象物の入出力関係が正しくシミュレートできているものと判断する。
【０１３４】
この誤差を減らす方法として、バックプロパゲーション法に基づいて学習アルゴリズムを用いる。以下、この学習アルゴリズムについて説明する。
【０１３５】
上記（１７）式をｙにおいて偏微分すると、以下の（１８）式に示すようになる。これが、誤差に対する出力値ｙの影響を示す。
【０１３６】
【数１８】
【０１３７】
次いで、上記（１７）式をＷｆにおいて偏微分すると、以下の（１９）式に示すようになる。このとき、上記（１７）式のｙに上記（１６）式を代入する。
【０１３８】
【数１９】
【０１３９】
次に、上記（１７）式をＷｇ、Ｗｃにおいてそれぞれ偏微分すると、以下の（２０）（２１）式に示すようになる。このとき、上記（１７）式に、上記（１６）式、（１５）式および（１４）式、または（１３）式、（１１）式を代入する。
【０１４０】
【数２０】
【０１４１】
【数２１】
【０１４２】
上記（１９）〜（２１）式までが誤差に対するそれぞれの結合の重みの影響を示す。ここで、上記（２０）式および（２１）式におけるｒは修正すべきメンバーシップ関数を実現している重みからＡＮＤルールの出力として選択された数だけ、ルール層２４のノードからの誤差の総和を取っている。
【０１４３】
これらの影響が少なくなる方向に重みを修正することによって、全体的に誤差を減らすようにする。この修正する量は、以下の（２２）〜（２４）式に示すようになる。
【０１４４】
【数２２】
【０１４５】
【数２３】
【０１４６】
【数２４】
【０１４７】
ここで、α、β、γは学習パラメータであり、影響を小さくする重みの修正量を決定するためのパラメータである。このパラメータを用いて、以下の（２５）〜（２７）式に示すような修正が行われる。
【０１４８】
【数２５】
【０１４９】
【数２６】
【０１５０】
【数２７】
【０１５１】
以上のような学習アルゴリズムに従って繰り返し学習を行い、重みを修正することで誤差を小さくしている。そして、誤差の値が予め設定した誤差の許容値以下になった時点で学習を終了とする。この誤差の許容値は予め設定されるものであり、本実施の形態では５％以下になった時点で学習を終了するものとする。
【０１５２】
上記構成の画像データ補間装置において、補間画素に対して補間処理を行う際、先ず、補間画素周りに既に存在する画素（参照画素）の画素データを教師データとし、その既存の画素の画素値に対応する位置情報を入力データとしてＣＰＵ５にて階層型ニューラルネットワークに学習させ、学習終了後、補間画素の位置情報を入力することによって補間画素の画素データを得るようになっている。
【０１５３】
このように、入力画像毎に学習可能な階層型ニューラルネットワークであるバックプロパゲーション型ニューラルネットワークやファジィ・ニューラルネットワークを用いて補間処理がが行われるので、１フレーム分の画像に対応する静止画像を形成する場合に、出力画像のエッジ部をハッキリさせることができると共に、斜め線をギザギザのない滑らかな線にすることができる。
【０１５４】
しかも、上記階層型ニューラルネットワークは、補間画素毎に学習可能であるので、入力されるどのような画像に対しても入出力関係を最適にすることができる。このようなリアルタイムに学習可能な階層型ニューラルネットワークを用いて、補間画素毎に、補間処理が行われると、それぞれの入力画像毎にネットワークの重みを調整することができるので、常に最適な変換処理が可能となる。
【０１５５】
したがって、どのような入力画像に対しても、変換処理において生じる問題としてのエッジ部分のボケや、斜め線のギザギザを無くすことができるので、変換後の画像に滑らかさが生じ、変換後の静止画像の品位を向上させることができる。
【０１５６】
また、上記画像データ補間装置では、階層型ニューラルネットワークが学習により補間画素とその周辺の画素とを含め、それぞれの画素位置と画素データとが対応する画素データ曲面である階調曲面を形成している。本実施の形態では、画像データとして輝度データを用いていることから、画像データ曲面が階調曲面となっている。よって、処理対象となる画像データが他のデータであれば、それに応じた画像データ曲面が形成される。
【０１５７】
上記階調曲面を用いれば、補間画素の画素データを周囲の画像に応じて容易に生成することができるので、さらに、静止画像の品位を向上させることができる。
【０１５８】
また、上記画像データ補間装置における階層型ニューラルネットワークは、入力画像の各補間画素周囲の各マトリクス内に配置された画素の位置情報を入力とし、入力された各画素の位置情報における画素値を出力とするように構成されている。
【０１５９】
このように、フィールド画像に対して補間処理を行うには、階層型ニューラルネットワークは、入力が各補間画素の位置情報だけで十分であり、また、このときの出力がフィールド画像の各マトリクス内における各補間画素の位置での画素データであるので、ニューラルネットワークにおける入出力関係が複雑にならずに、規模が小さく、簡単な構造のニューラルネットワークを用いることができる。
【０１６０】
さらに、本実施の形態の画像データ補間装置では、補間処理を行う際、階層型ニューラルネットワークの学習方法が、既存画素の位置情報とその既存画素の画素データを用いて行われるので、学習のための計算量が少なくて済み、高速に学習を行うことができる。これにより、補間処理の高速化を図ることができる。
【０１６１】
さらに、フィールド画像に対して補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のファジィ・ニューラルネットワークが用いられているので、ハード構成上は上記のバックプロバケーション型ニューラルネットワークよりも複雑になるものの、より細かい部分画像の階調曲面を表現することが可能となり、バックプロバケーション型ニューラルネットワークより最適な補間画素値あるいは変倍画素値を得ることが可能となる。
【０１６２】
尚、本実施の形態では、画像データ補間装置の補間処理部６を構成するＣＰＵ５が、内部のＲＯＭに格納されたプログラムに従って階層型ニューラルネットワークを用いた補間処理を行うようになっているが、これに限定されるものではない。即ち、上記補間処理における演算処理を他のハードウェアによって実現して良く、また、パーソナルコンピュータやワークステーションによりソフトウェアによって同様の補間処理を全て実行するようにしても良い。
【０１６３】
また、上記ＣＰＵ５に採用された階層型ニューラルネットワークとして、図７に示すバックプロパゲーション型ニューラルネットワークや、図９に示すファジィ・ニューラルネットワークを用いたが、これらに限定するものではなく、入力層から出力層へ向かう結合のみがある他の階層型ニューラルネットワークを用いても同様の効果を奏する。
【０１６４】
さらに、本実施の形態の画像データ補間装置によれば、フレームメモリ２の後方にＤ／Ａコンバータ３が接続され、静止画像を生成する装置となっているが、このＤ／Ａコンバータ３の代わりにプリンタエンジンを接続すれば、高画質なビデオプリンタを実現することができる。
【０１６５】
【発明の効果】
請求項１の発明の画像データ補間装置は、以上のように、フレーム画像を構成する２枚のフィールド画像のうち、１枚のフィールド画像の補間すべき画素の画素データを、該フィールド画像の走査線上の既存画素の画素データを用いて補間処理して生成する画像データ補間装置において、入力されるアナログのビデオ信号をＡ／Ｄ変換してデジタル化した画像データを生成するＡ／Ｄコンバータと、上記Ａ／Ｄコンバータにてデジタル化して得られた画像データの１フレーム分の画像データを格納するフレームメモリと、補間すべき画素毎に、それぞれの補間すべき画素を含む所定範囲内の既存の周辺画素の画素データに基づいて学習すると共に、処理対象の画素を移動するときは新たに必要となる既存の周辺画素の画素データのみを入力する階層型ニューラルネットワークによって、補間すべき画素の画像データを生成する処理により、上記フレームメモリに格納された１フレーム分の画像データにおける１フィールド分の画像データを使用して、１フィールド分の画像データを生成し、この１フレーム分の画像データ、および既に存在する上記１フィールド分の画素データとを合わせて1フレーム分の画像データを生成する補間画素データ生成手段とが設けられている構成である。
【０１６６】
それゆえ、補間すべき画素毎に学習可能な階層型ニューラルネットワークを用いて補間処理を行うようになっているので、入力画像に応じた高品位の静止画像を得ることができる。しかも、補間処理が階層型ニューラルネットワークを用いて行われているので、出力画像のエッジ部をハッキリさせることができると共に、斜め線をギザギザのない滑らかな線にすることができる。
【０１６７】
また、上述のように、上記階層型ニューラルネットワークは、入力画像毎に学習可能であるので、随時学習が可能となり、階層型ニューラルネットワークの結合の重み調整を入力画像毎にリアルタイムで行うことができ、入力されるどのような画像に対しても入出力関係を最適にすることができる。
【０１６８】
このようなリアルタイムに学習可能な階層型ニューラルネットワークを用いて、補間すべき画素毎に、補間処理が行われると、それぞれの入力画像毎にネットワークの重みを調整することができるので、常に最適な補間処理が可能となる。したがって、どのような入力画像に対しても、補間処理において生じる問題としてのエッジ部分のボケや、斜め線のギザギザを無くすことができるので、補間処理後の静止画像に滑らかさが生じ、静止画像の品位を向上させることができる。
【０１６９】
さらに、上記構成の画像データ補間装置では、静止画像を得るものであるので、ビデオレート処理の必要はなく、ビデオレート処理の高速化のために、参照画素の画素データを並列化してニューラルネットワークに入力する必要がなくなる。よって、参照画素の画素データは、順番にニューラルネットワークに入力すればよいので、従来のように参照画素の画素データの並列化された多入力方式のように回路規模が大きく複雑にならず、階層型ニューラルネットワークを簡略化できるという効果を奏する。
【０１７０】
請求項２の発明の画像データ補間装置は、請求項１の構成に加えて、階層型ニューラルネットワークは、学習により補間画素とその周辺の画素とを含めた各画素の位置情報と画素データとが対応する画素データ曲面を形成する構成である。
【０１７１】
それゆえ、請求項１の構成による効果に加えて、階層型ニューラルネットワークの学習によって得られた画素データ曲面を用いれば、補間画素の画素データを周囲の画像に応じで生成することができるので、さらに、静止画像の品位を向上させることができるという効果を奏する。
【０１７２】
請求項３の発明の画像データ補間装置は、以上のように、請求項１または２の構成に加えて、階層型ニューラルネットワークは、各画素の位置情報を入力とし、入力された位置情報における画素データを出力とするように構成されている。
【０１７３】
それゆえ、請求項１または２の構成による効果に加えて、フィールド画像の補間すべき画素に対して補間処理を行うには、階層型ニューラルネットワークの入力が補間すべき画素の位置情報だけで十分であり、また、このときの出力が補間画素の画素データであるので、階層型ニューラルネットワークにおける入出力関係が複雑にならずに、規模が小さく、簡単な構造の階層型ニューラルネットワークを用いることができるという効果を奏する。
【０１７４】
請求項４の発明の画像データ補間装置は、以上のように、請求項１、２または３の構成に加えて、補間処理手段は、補間処理を行う際、先ず、補間すべき画素を含む所定範囲の周辺画素の既存の画素データを教師データとし、その既存の画素データの位置情報を入力データとして階層型ニューラルネットワークに学習させ、学習終了後、補間すべき画素の位置情報を入力することによって補間すべき画素の画素データを生成する構成である。
【０１７５】
それゆえ、請求項１、２または３の構成による効果に加えて、補間処理を行う際、階層型ニューラルネットワークの学習方法が、既存画素の位置情報とその画素データを用いて行われるので、学習のための計算量が少なくて済み、高速に学習を行うことができる。これにより、補間すべき画素の補間処理の高速化を図ることができるという効果を奏する。
【０１７６】
請求項５の発明の画像データ補間装置は、以上のように、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、少なくとも１つ以上のノードからなる中間層、１つのノードからなる出力層より構成されるバックプロパゲーション型ニューラルネットワークである構成である。
【０１７７】
それゆえ、請求項３または４の構成による効果に加えて、フィールド画像の補間すべき画素に対して、補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のバックプロパゲーション型ニューラルネットワークが用いられているので、入出力関係が簡素であり、簡単なハード構成にて入力画像の変換処理を行うことができるという効果を奏する。
【０１７８】
請求項６の発明の画像データ補間装置は、以上のように、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現するメンバーシップ関数を構成する２つの層からなるメンバーシップ層、２つの入力に対して全てのメンバーシップ値の組み合わせをとり、ファジィの理論積を得るように構成されるルール層、１つのノードからなる出力層より構成されるファジィ・ニューラルネットワークである構成である。
【０１７９】
それゆえ、請求項３または４の構成による効果に加えて、フィールド画像の補正すべき画素に対して補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のファジィ・ニューラルネットワークが用いられているので、ハード構成上は上記の請求項５記載のバックプロバケーション型ニューラルネットワークよりも複雑になるものの、より細かい部分画像の階調曲面を表現することが可能となり、請求項５のバックプロバケーション型ニューラルネットワークより最適な補間画素データを得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像データ補間装置の概略構成ブロック図である。
【図２】１フィールド画像の画素配置を示す説明図である。
【図３】図２に示したフィールド画像の補間画素周辺の拡大図である。
【図４】図１に示す画像データ補間装置の動作の流れを示すフローチャートである。
【図５】図１に示す画像データ補間装置の補間処理の流れを示すフローチャートである。
【図６】図１に示す画像データ補間装置に備えられた階層型ニューラルネットワークの学習によって得られた補間画素近傍の階調曲面を示す説明図である。
【図７】図１に示す画像データ補間装置に適用される階層型ニューラルネットワークとしてのバックプロパゲーション型のニューラルネットワークを示す模式図である。
【図８】シグモイド関数を示すグラフである。
【図９】図１に示す画像処理装置に適用される階層型ニューラルネットワークとしてのファジィ・ニューラルネットワークを示す模式図である。
【図１０】上記ファジィ・ニューラルネットワークのメンバーシップ層のｓｍａｌｌを示すメンバーシップ関数のグラフである。
【図１１】上記ファジィ・ニューラルネットワークのメンバーシップ層のｍｉｄｄｌｅを示すメンバーシップ関数のグラフである。
【図１２】上記ファジィ・ニューラルネットワークのメンバーシップ層のｂｉｇを示すメンバーシップ関数のグラフである。
【図１３】フィールド画像の一例を示す説明図である。
【図１４】図１３に示すフィールド画像の補間すべき画素近傍の拡大図である。
【図１５】従来の補間方法において、図１３に示したフィールド画像の補間すべき画素を垂直方向に隣接した上下の何れかの画素で補間する場合の説明図である。
【図１６】従来の補間方法において、図１３に示したフィールド画像の補間すべき画素を垂直方向に隣接した上下の画素の平均値で補間する場合の説明図である。
【図１７】従来の補間方法において、図１３に示したフィールド画像の補間すべき画素を、該画素の斜め方向の画素の相関性を使用して補間する場合の説明図である。
【図１８】従来の補間方法において、補間すべき画素を、該画素の５方向の画素に基づいて補間する場合の説明図である。
【図１９】従来の補間方法において、補間すべき画素を、該画素の７方向の画素に基づいて補間する場合の説明図である。
【図２０】従来のニューラルネットワークを用いて補間すべき画素の補間処理を行う場合の説明図である。
【符号の説明】
１ Ａ／Ｄコンバータ
２ フレームメモリ
３ Ｄ／Ａコンバータ
４ コントローラ
５ ＣＰＵ（補間画素データ生成手段）
６ 補間処理部
【発明の属する技術分野】
本発明は、ビデオテープレコーダやテレビ等において高品質な静止画像を表示するための画像データ補間装置に関し、特に、インターレース走査においてフィールド画像から画像データを補間してフレーム画像を生成する画像データ補間装置に関するものである。
【０００２】
【従来の技術】
従来より、ビデオテープレコーダやテレビ等において、映像を映し出す方法として、一般にインターレース走査方法が採用されている。インターレース走査方法とは、１枚のフレーム画像を、時間を異にした２枚のフィールド画像に分けて、１回目の走査の軌跡に２回目の走査が埋まるように、２回に分けて走査して映像を映し出す走査方法である。このように、２回に分けて映し出される２枚の画像は、人間の視覚特性上の残像効果により、１枚の画像として認識される。
【０００３】
しかしながら、２回に分けて送られてきた２枚のフィールド画像をそのままフレーム画像に変換して静止画像を生成する場合、被写体およびその被写体を撮像するためのカメラが完全に静止していれば問題はないが、何れかが動いていれば、フィールド画像間の時間上のずれにより、画像の奇数走査線と偶数走査線との間で画像の連続性が損なわれ、２枚のフィールド画像の間にずれが生じることになる。
【０００４】
そこで、インターレース走査方式を採用するビデオテープレコーダ等の画像データ処理装置において静止画像を表示する場合、何れか一方のフィールド画像を基にしてフレーム画像を導くことが考えられている。つまり、フィールド画像を補間処理してフレーム画像を生成することにより、２枚のフィールド画像の間の映像の時間上のずれを排除して高品質な１枚の静止画像を表示するようになっている。
【０００５】
このような２枚のフィールド画像のうちの何れか一方のフィールド画像を補間処理してフレーム画像を生成する画像データ補間方法について、図１３ないし図１７を参照しながら以下に説明する。ここで、図１３に示すようなフィールド画像１００の補間処理について説明する。また、図１４は、図１３に示すフィールド画像１００の一部の領域（図中○で示す）の拡大図である。この図では、奇数番目の水平走査線に画像データが存在し、偶数番目の水平走査線に画像データが存在しない状態を示している。つまり、以下の各補間方法は、この画像データの存在しない水平走査線上に画像データを補間する処理方法を示している。
【０００６】
尚、以下の説明において、補間すべき画素（以下、補間画素と称する）の画素データをＢ（０）で示し、補間の際に参照される上記補間画素の上側および下側の水平走査線（以下、単に走査線と称する）のそれぞれの参照画素の画素データをＡ（ｎ）、Ｃ（ｎ）で示すものとする。但し、ｎは画素データＢ（０）を基準とした水平走査線上の参照画素の配列番号を表す。
【０００７】
第１の補間方法は、図１５に示すように、フィールド画像の奇数番目の走査線１、走査線３、…のそれぞれの補間画素の画素データを、各奇数番目の走査線の下側の偶数番目の走査線２、走査線４、…の参照画素の画素データとして補間する方法である。即ち、上記の補間方法によれば、Ｂ（０）＝Ａ（０）として補間することになる。この場合、奇数番目の走査線上に参照画素の画素データが存在しているので、奇数番目の走査線から偶数番目の走査線を補間するようになっているが、逆に偶数番目の走査線上に参照画素の画素データが存在している場合には、偶数番目の走査線から奇数番目の走査線を補間する。
【０００８】
しかしながら、上記第１の補間方法では、垂直方向の解像度が１／２になり、画像周縁部の斜線にギザギザが極めて目立つようになる。
【０００９】
第２の補間方法は、図１６に示すように、補間画素の画素データを、該補間画素の上下の２つの参照画素の画像データの平均値で補間する方法である。即ち、上記の補間方法によれば、Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２として補間することになる。
【００１０】
しかしながら、上記第２の補間方法では、画像周縁部の斜線のギザギザは、上記第１の補間方法に比べて目立たなくなるが、斜線部分（エッジ）の劣化により画像全体がぼけた状態で認識される。
【００１１】
第３の補間方法は、図１７に示すように、エッジの方向性に注目し、補間画素の垂直方向だけでなく右上から左下方向、および左上から右下方向の全部で３方向について、その方向の補間画素を挟む２個の参照画素の画素データに対して絶対値差分を計算し、これが最小になる方向の２個の参照画素の画素データの平均値で補間する方法である。
【００１２】
即ち、上記の補間方法によれば、｜Ａ（−１）−Ｃ（１）｜、｜Ａ（０）−Ｃ（０）｜、｜Ａ（１）−Ｃ（−１）｜のうち最小のものを見つけて、それぞれに対応して、
Ｂ（０）＝（Ａ（−１）＋Ｃ（１））／２、
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２、
Ｂ（０）＝（Ａ（１）＋Ｃ（−１））／２、
のいずれかで補間することになる。例えば、｜Ａ（０）−Ｃ（０）｜が最小であれば、Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２を用いて補間処理する。
【００１３】
ところが、かなり水平に近い傾斜エッジを有する画像を補間する場合、上記第３の補間方法のように３方向の参照画素だけでは十分に補間することができない虞がある。
【００１４】
これに対処するためには、例えば図１８に示すように、５方向の参照画素の画素データを利用したり、図１９に示すように、７方向の参照画素の画素データを利用したりする必要がある。図１８および図１９において、図１５ないし図１７と同様に、Ｂ（０）は補間画素を示し、Ａ（ｎ）、Ｃ（ｎ）は参照画素を示している。但し、ｎは画像データＢ（０）を基準とした水平走査線上の参照画素の配列番号を表す。
【００１５】
しかしながら、上記のように参照画素数を増やしても、補間画素から参照画素までが遠い場合、例えば図１９では、Ａ（−３）とＣ（３）、またはＡ（３）とＣ（−３）の各参照画素で画素データの差が最小となった場合、実際にこれらが適当な補間方向であれば問題は生じないが、適当な補間方向でないときには、Ｂ（０）は隣接した画素とは全く異なる値で置き換えられる可能性がある。このような場合、補間画素が画像上では極めて目立つノイズとなって現れる。
【００１６】
そこで、上記の問題点を解決するために、例えば特開平５−３７９１０号公報には、ニューラルネットワークを用いてライン補間するライン補間装置が開示されている。このライン補間装置は、図２０に示すように、補間すべきラインの画素に対して場所的・時間的に異なる所定の画素情報を遅延させる遅延回路２０１…と、遅延された画像情報が入力されてライン補間用の信号が出力されるニューラルネットワーク２００とからなり、インターレース走査方式で入力された画像信号を複数の遅延回路２０１…を通すことで並列化して、補間すべき画素の周囲に位置する複数の参照画素の画像データを、予め学習されたニューラルネットワーク２００に入力して補間画素の画素データを得るようになっている。
【００１７】
このように、予め学習されたニューラルネットワーク２００により補間画素の画像データを得る補間方法では、上記ニューラルネットワーク２００に多くの種類の画像を予め学習させることで、画像の輪郭線が連続であることなどが学習され、ライン補間用の信号の生成が効率良く成される。
【００１８】
【発明が解決しようとする課題】
ところが、上記公報に開示された技術では、高画質化テレビジョンのノンインターレース表示時に適用されるものであり、ビデオレート処理の高速化が必要とされている。このため、補間画素の画素データを迅速に得る必要がある。これに対応させるには、ニューラルネットワークによって予め学習させる画像の種類を多くする必要がある。
【００１９】
しかも、上記公報に開示された技術では、ビデオレート処理の高速化のために、参照画素の画素データの並列化された多入力方式の規模が大きく複雑なニューラルネットワークの回路が要求され、装置が大きなものとなるという問題が生じる。
【００２０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、動画像から導かれた単発的な静止画像の表示やビデオプリンタ出力等のビデオレート処理を行わない装置に適用することを前提とし、入力画像毎にニューラルネットワークを学習させることで、入力画像に応じた補間処理を行うことで高品質の静止画像を得ることができ、しかも、各参照画素の画素データを順番に入力するような構造にすることで、構築されるニューラルネットワークを簡略化できる画像データ補間装置を提供することにある。
【００２１】
【課題を解決するための手段】
請求項１の画像データ補間装置は、上記の課題を解決するために、フレーム画像を構成する２枚のフィールド画像のうち、１枚のフィールド画像の補間すべき画素の画素データを、該フィールド画像の走査線上の既存画素の画素データを用いて補間処理して生成する画像データ補間装置において、入力されるアナログのビデオ信号をＡ／Ｄ変換してデジタル化した画像データを生成するＡ／Ｄコンバータと、上記Ａ／Ｄコンバータにてデジタル化して得られた画像データの１フレーム分の画像データを格納するフレームメモリと、補間すべき画素毎に、それぞれの補間すべき画素を含む所定範囲内の既存の周辺画素の画素データに基づいて学習すると共に、処理対象の画素を移動するときは新たに必要となる既存の周辺画素の画素データのみを入力する階層型ニューラルネットワークによって、補間すべき画素の画像データを生成する処理により、上記フレームメモリに格納された１フレーム分の画像データにおける１フィールド分の画像データを使用して、１フィールド分の画像データを生成し、この１フレーム分の画像データ、および既に存在する上記１フィールド分の画素データとを合わせて1フレーム分の画像データを生成する補間画素データ生成手段とが設けられていることを特徴としている。
【００２２】
上記の構成によれば、補間すべき画素毎に学習可能な階層型ニューラルネットワークを用いて補間処理を行うようになっているので、入力画像に応じた高品位の静止画像を得ることができる。しかも、補間処理が階層型ニューラルネットワークを用いて行われているので、出力画像のエッジ部をハッキリさせることができると共に、斜め線をギザギザのない滑らかな線にすることができる。
【００２３】
また、上述のように、上記階層型ニューラルネットワークは、補間画素毎に学習可能であるので、随時学習が可能となり、階層型ニューラルネットワークの結合の重み調整を入力画像毎にリアルタイムで行うことができ、入力されるどのような画像に対しても入出力関係を最適にすることができる。
【００２４】
このようなリアルタイムに学習可能な階層型ニューラルネットワークを用いて、補間すべき画素毎に、補間処理が行われると、それぞれの入力画像毎にネットワークの重みを調整することができるので、常に最適な補間処理が可能となる。したがって、どのような入力画像に対しても、補間処理において生じる問題としてのエッジ部分のボケや、斜め線のギザギザを無くすことができるので、補間処理後の静止画像に滑らかさが生じ、静止画像の品位を向上させることができる。
【００２５】
さらに、上記構成の画像データ補間装置では、静止画像を得るものであるので、ビデオレート処理の必要はなく、ビデオレート処理の高速化のために、参照画素の画素データを並列化してニューラルネットワークに入力する必要がなくなる。よって、参照画素の画素データは、順番にニューラルネットワークに入力すればよいので、従来のように参照画素の画素データの並列化された多入力方式のように回路規模が大きく複雑にならず、階層型ニューラルネットワークを簡略化できる。
【００２６】
請求項２の画像データ補間装置は、請求項１の構成に加えて、階層型ニューラルネットワークは、学習により補間画素とその周辺の画素とを含めた各画素の位置情報と画素データとが対応する画素データ曲面を形成することを特徴としている。
【００２７】
上記の構成によれば、請求項１の作用に加えて、階層型ニューラルネットワークの学習によって得られた画素データ曲面を用いれば、補間画素の画素データを周囲の画像に応じで生成することができるので、さらに、静止画像の品位を向上させることができる。
【００２８】
請求項３の画像データ補間装置は、請求項１または２の構成に加えて、階層型ニューラルネットワークは、各画素の位置情報を入力とし、入力された位置情報における画素データを出力とするように構成されていることを特徴としている。
【００２９】
上記の構成によれば、請求項１または２の構成による作用に加えて、フィールド画像の補間すべき画素に対して補間処理を行うには、階層型ニューラルネットワークの入力が補間すべき画素の位置情報だけで十分であり、また、このときの出力が補間画素の画素データであるので、階層型ニューラルネットワークにおける入出力関係が複雑にならずに、規模が小さく、簡単な構造の階層型ニューラルネットワークを用いることができる。
【００３０】
また、請求項４の画像データ補間装置は、上記の課題を解決するために、請求項１、２または３の構成に加えて、補間処理手段は、補間処理を行う際、先ず、補間すべき画素を含む所定範囲の周辺画素の既存の画素データを教師データとし、その既存の画素データの位置情報を入力データとして階層型ニューラルネットワークに学習させ、学習終了後、補間すべき画素の位置情報を入力することによって補間すべき画素の画素データを生成することを特徴としている。
【００３１】
上記の構成によれば、請求項１、２または３の構成による作用に加えて、補間処理を行う際、階層型ニューラルネットワークの学習方法が、既存画素の位置情報とその画素データを用いて行われるので、学習のための計算量が少なくて済み、高速に学習を行うことができる。これにより、補間すべき画素の補間処理の高速化を図ることができる。
【００３２】
請求項５の画像データ補間装置は、上記の課題を解決するために、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、少なくとも１つ以上のノードからなる中間層、１つのノードからなる出力層より構成されるバックプロパゲーション型ニューラルネットワークであることを特徴としている。
【００３３】
上記の構成によれば、請求項３または４の構成による作用に加えて、フィールド画像の補間すべき画素に対して、補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のバックプロパゲーション型ニューラルネットワークが用いられているので、入出力関係が簡素であり、簡単なハード構成にて入力画像の変換処理を行うことができる。
【００３４】
請求項６の画像データ補間装置は、上記の課題を解決するために、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現するメンバーシップ関数を構成する２つの層からなるメンバーシップ層、２つの入力に対して全てのメンバーシップ値の組み合わせをとり、ファジィの理論積を得るように構成されるルール層、１つのノードからなる出力層より構成されるファジィ・ニューラルネットワークであることを特徴としている。
【００３５】
上記の構成によれば、請求項３または４の構成による作用に加えて、フィールド画像の補正すべき画素に対して補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のファジィ・ニューラルネットワークが用いられているので、ハード構成上は上記の請求項５記載のバックプロバケーション型ニューラルネットワークよりも複雑になるものの、より細かい部分画像の階調曲面を表現することが可能となり、請求項５のバックプロバケーション型ニューラルネットワークより最適な補間画素データを得ることが可能となる。
【００３６】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図１２に基づいて説明すれば、以下の通りである。
【００３７】
本実施の形態に係る画像データ補間装置は、図１に示すように、入力されるアナログのビデオ信号（以下、入力ビデオ信号と称する）ＰｉをＡ／Ｄ変換してデジタル化した画像データＤを生成するＡ／Ｄコンバータ１と、画像データＤに対して所定の補間処理する補間処理部６、補間処理された画像データＤ’をＤ／Ａ変換して、外部に出力するアナログのビデオ信号（以下、出力ビデオ信号と称する）Ｐｏを生成するＤ／Ａコンバータ３とで構成されている。
【００３８】
上記補間処理部６は、フレームメモリ２、コントローラ４、ＣＰＵ５からなり、Ａ／Ｄコンバータ１で得られた画像データＤを１フレーム分毎補間処理を行うようになっている。尚、補間処理の詳細については、後述する。
【００３９】
上記フレームメモリ２は、Ａ／Ｄコンバータ１にてデジタル化して得られた画像データＤの１フレーム分の画像データを格納すると共に、上記ＣＰＵ５にて補間処理された画像データＤ’を格納するようになっている。尚、１フレーム分の画像データは、１フレーム画像を構成する２枚のフィールド画像、即ち第１フィールド画像の画像データ（以下、第１フィールドデータと称する）と、第２フィールド画像の画像データ（以下、第２フィールドデータと称する）とで構成されている。
【００４０】
したがって、フレームメモリ２では、１フレーム分の画像データのうち、第１フィールドデータを構成する画素データをフレーム画像の奇数番目の水平走査線に対応するデータ格納領域である奇数行アドレスに、第２フィールドデータを構成する画素データをフレーム画像の偶数番目の水平走査線に対応するデータ格納領域である偶数行アドレスに、それぞれ対応づけて格納するようになっている。
【００４１】
フレームメモリ２は、コントローラ４による制御によって格納された画像データＤあるいはＤ’をＤ／Ａコンバータ３に転送するようになっている。
【００４２】
上記コントローラ４は、ＣＰＵ５の指示に基づいて、Ａ／Ｄコンバータ１、フレームメモリ２、Ｄ／Ａコンバータ３の動作を制御するようになっている。
【００４３】
ＣＰＵ５は、フレームメモリ２およびコントローラ４の動作を制御するようになっている。また、ＣＰＵ５は、フィールド画素の補間すべき画素（以下、補間画素と称する）の画素データ（以下、補間画素データと称する）を、該補間画素を含む所定範囲内の既存の周辺画素（以下、参照画素と称する）の画素データに基づいて生成するようになっている。したがって、このＣＰＵ５には、補間処理用の制御プログラムを格納したＲＯＭが内蔵されており、階層型のニューラルネットワークを用いて補間処理する補間処理機能を有している。
【００４４】
上記の構成の画像データ補間装置の動作について図１に示すブロック図および図４に示すフローチャートを参照しながら以下に説明する。尚、本説明では、入力ビデオ信号Ｐｉをデジタル化して得られる画像データＤとして、輝度データを想定した場合について述べる。また、本動作は、上記ＣＰＵ５に内蔵されたＲＯＭに格納された補間処理用の制御プログラムに沿って行われる。
【００４５】
先ず、ＣＰＵ５は、コントローラ４がＡ／Ｄコンバータ１を制御することによって、入力ビデオ信号Ｐｉを画像データＤにＡ／Ｄ変換する（Ｓ１）。
【００４６】
そして、変換して得られた画像データＤのうち、１フレーム分の画像データＤを、コントローラ４の制御によりフレームメモリ２に入力し、所定の格納領域に格納する（Ｓ２）。つまり、フレームメモリ２では、入力した１フレーム分の画像データのうち第１フィールド画像を構成する画素データを奇数行アドレスに、また第２フィールド画像を構成する画素データを偶数行アドレスに対応させて格納している。
【００４７】
次に、ＣＰＵ５は、フレームメモリ２に格納された１枚のフィールド画像の画像データを読み込み、参照画素から補間画素の画素データを生成する補間処理を行う（Ｓ３）。この補間処理では、フィールド画像の補間画素毎に補間処理して画素データを１フィールド分生成し、この１フィールド分の画素データからなる画像データと、既に存在する１フィールド分の画素データからなる画像データとを合わせて１枚のフレーム画像の画像データＤ’を生成するようになっている。
【００４８】
続いて、ＣＰＵ５は、一つの補間画素を補間処理して得た画素データＤ’をフレームメモリ２の所定の格納領域に格納する（Ｓ４）。そして、１フィールド分の補間処理が終了したか否かを判定する（Ｓ５）。ここで、補間処理が終了していなければ、１フィールド分の補間処理が終了するまで繰り返される。
【００４９】
そして、Ｓ５にて、ＣＰＵ５は、１フィールド分の補間処理が終了したと判定したときに、フレームメモリ２に格納された１フレーム分の画像データＤ’をＤ／Ａコンバータ３に転送し、コントローラ４を介してＤ／Ａコンバータ３を制御することでアナログの出力ビデオ信号Ｐｏに変換させる（Ｓ６）。そして、このＤ／Ａ変換され画像データＤ’を外部に出力して、最終的に、入力ビデオ信号Ｐｉの１フレーム分の画像の静止画像を得る。
【００５０】
以上のように、ＣＰＵ５は、補間画素に対して、該補間画素を含む所定範囲内の既存の参照画素の画素データを用いて補間処理を施す補間処理機能を有している。具体的には、ＣＰＵ５の補間処理は、既存の画素データによって良く学習された階層型のニューラルネットワークを用いて行われる。このＣＰＵ５の補間処理機能について以下に説明する。
【００５１】
上記ＣＰＵ５の補間処理機能とは、例えば図２に示すように、既に存在する１枚のフィールド画像の各行の画像データ（図中、斜線で示した部分）からこのフィールド画像の各行の間の行の画像データ（図中、白抜きの部分）を生成するものである。具体的には、補間画素１２の周囲にある既存の画素でマトリクス状に囲まれた領域（以下、参照画像領域と称する）１１内に含まれる参照画素の画素データを用いて一つずつ補間して、上記補間画素１２の画素データを生成し、１フィールド分の画像データを生成するようになっている。
【００５２】
つまり、ＣＰＵ５は、図３に示すように、参照画像領域１１内の既在のフィールド画像の『・・・，ｉ−１，ｉ＋１，・・・』の行の画像データから、『・・・，ｉ−２，ｉ，ｉ＋２，．．．』の行の画像データを生成するものとし、第ｉ行ｊ列の補間画素１２の画素データ（以下、補間画素データと称する）ｆ(j,i) を生成して補間するようになっている。ここでは、一つの補間画素１２について、４×７の参照画素１３…を用いて補間処理を行っている。尚、この参照画素１３の数は、特に限定するものではない。
【００５３】
そして、ＣＰＵ５は、１フィールド内の各補間画素１２…について、それぞれ参照画像領域１１の既存の参照画素の画素データを用いて補間処理を行い、１フィールド分の補間画素の画素データを生成するようになっている。
【００５４】
ここで、上述の補間処理について、図３に示すマトリクス状の参照画像領域１１および図５に示すフローチャートを参照しながら以下に説明する。
【００５５】
先ず、ＣＰＵ５は、フレームメモリ２から図３に示す第ｉ−３行、第ｉ−１行、第ｉ＋１行、第ｉ＋３行における第ｊ−３列、第ｊ−２列、第ｊ−１列、第ｊ列、第ｊ＋１列、第ｊ＋２列、第ｊ＋３列の参照画素の画素データを読み込む（Ｓ１１）。
【００５６】
次に、ＣＰＵ５は、読み込んだ参照画像領域１１内の既存画像データを用いてニューラルネットワークの学習を行う（Ｓ１２）。つまり、ＣＰＵ５は、読み込んだ参照画像領域１１の４×７画素領域内の画像データ（以下、部分画像データと称する）の位置情報（ｘ，ｙ）（ｘ＝−３，−２，−１，０，１，２，３：ｙ＝−３，−１，１，３）とそれぞれの位置での画素データｆ（ｘ，ｙ）とを、それぞれ階層型ニューラルネットワークの入力データ、および教師データとする。教師データとは、ニューラルネットワークがそれぞれの入力値に対して正しい出力値が出力できるように目標値として与えるデータであり、ニューラルネットワークは出力値がこの教師データに近づくように、ネットワークの結合の重みを変化させてゆく。
【００５７】
次いで、ＣＰＵ５は、ニューラルネットワークの学習回数、つまり、一つの画素に対して行われる学習回数が１０００回達成したか否かを判定する（Ｓ１３）。もし、学習回数が１０００回達成していれば、Ｓ１５に移行し、学習回数が１０００回達成していなければ、Ｓ１４に移行して、学習誤差が５％以内であるか否かを判定する（Ｓ１４）。ここで、学習誤差が５％以内であれば、Ｓ１５に移行し、学習誤差が５％以内でなければ、Ｓ１２に移行して、再びニューラルネットワークの学習を行う。
【００５８】
Ｓ１５では、学習後のニューラルネットワークへの、補間画素１２の位置情報の入力が行われる。次いで、ニューラルネットワークにて上記位置情報から、補間画素位置での補間画素１２の画素データの出力が行われ（Ｓ１６）、図４のフローチャートのＳ４に移行し、補間画素１２の画素データがフレームメモリ２に格納される。
【００５９】
同様にして、補間画素を移動して、図３に示す第ｉ行の全ての画素について、順次繰り返し補間画素データを求め、この補間画素データをフレームメモリ２の対応するアドレスに格納して１行分の補間画素データを得る。ここで、補間に必要な参照画素データの読み出しは処理対象の画素を移動したことにより新たに必要になった分だけ行えば良い。こうすれば、補間処理のための参照画素データの読み込みやデータの演算等の処理を必要最小限にすることができるので、補間処理速度を向上させることができる。
【００６０】
さらに、同様にして、上述した補間処理を各行毎に繰り返して行い、最終的に１フィールド分の画像データから１フレーム分の画像データＤ’が生成される。そして、一連のフィールド画像の補間処理が終了して１フレーム分の画像データＤ’が得られると、ＣＰＵ５は、コントローラ４を介してフレームメモリ２およびＤ／Ａコンバータ３を制御し、フレームメモリ２に格納された１フレーム分の画像データＤ’をＤ／Ａコンバータ３により出力ビデオ信号Ｐｏに変換して外部に出力する。
【００６１】
本実施の形態では、ＣＰＵ５にて補間処理に用いられる階層型ニューラルネットワークとして、バックプロパゲーション型ニューラルネットワークとファジィ・ニューラルネットワークとを用いた場合について説明する。尚、各階層型ニューラルネットワークの詳細は、上記学習方法と共に後述する。
【００６２】
上述したニューラルネットワークの学習によって、図６に示すような既存の画素データの位置にある矢印の先端部を非線形な曲線で結んだときに形成される階調曲面（画素データ曲面）が得られる。図６では、実線の矢印は既存の画素データを表し、破線の矢印は補間画素の画素データを表しており、矢印の長さが各画素データｆ（x,y)の大きさ、即ち輝度データの大きさを表している。ここで、ｘ、ｙはそれぞれフィールド画像の補間画素の位置情報を示すｘ軸、ｙ軸を示し、ｆ（x,y)は画素値（輝度データの大きさ）を示している。
【００６３】
ここで、上記ＣＰＵ５で使用される２種類の階層型ニューラルネットワークについて、図７ないし図１２に基づいて以下に説明する。
【００６４】
先ず、バックプロパゲーション型ニューラルネットワークについて説明する。本ニューラルネットワークは、図７に示すように、２入力１出力となっており、入力層１１、中間層１２、出力層１３の３層で構成されている。上記ニューラルネットワークにおいて、２つの入力項目はそれぞれ画素の位置情報であり、１つの出力項目は入力された画素位置における画素値である。
【００６５】
入力層１１は、入力値Ｘ１が入力されるノードＡ１、入力値Ｘ２が入力されるノードＡ２の２つのノードからなる。参照符Ｘ１・Ｘ２は、画素の位置情報、即ちＸ１は画素のｘ軸の位置情報、Ｘ２は画素のｙ軸の位置情報を示す。
【００６６】
中間層１２は、９つのノードＤ１〜Ｄ９からなり、これらノードＤ１〜Ｄ９は入力層１１のノードＡ１と重みＷ11〜Ｗ19で結合されると共に、入力層１１のノードＡ２と重みＷ21〜Ｗ29で結合されている。この重みＷ11〜Ｗ19、Ｗ21〜Ｗ29は、後述する学習により調整するようになっている。
【００６７】
尚、中間層１２のノード数は、サンプルの画像データを用いて中間層１２におけるノード数を１から順に１個ずつ増やして学習させたときに、一番精度良く学習できたときのノード数を用いるようになっている。したがって、本実施の形態のように、中間層１２のノード数を９個に限定するものではなく、学習精度を考慮して任意のノード数にしても良い。
【００６８】
出力層１３は、１つのノードＥ１からなり、このノードＥ１は中間層１２のノードＤ１〜Ｄ９と重みＶ11〜Ｖ91で結合されている。この重みＶ11〜Ｖ91は、後述する学習により決定され、出力値Ｙ１として出力されるようになっている。
【００６９】
上記のように構築されたバックプロパゲーション型のニューラルネットワークの学習方法について以下に説明する。
【００７０】
先ず、入力層１１から出力層１３までの順方向の演算について説明する。
最初に、入力層１１では部分画像データの位置情報を入力データ（Ｘ１・Ｘ２）として入力し、そのまま中間層１２に出力する。即ち、以下の（１）式に示すようになる。
【００７１】
【数１】
ここで、Ｉi は入力層１１の各ノードからの出力値であり、例えばノードＡ１からの出力値はＩ1 となり、ノードＡ２からの出力値はＩ2 となる。また、Ｘｉは画素の位置情報を表す入力データを表し、例えばＸ１は画素のｘ軸の位置情報、Ｘ２は画素のｙ軸の位置情報を表す入力データを表す。
【００７３】
次に、中間層１２では、入力層１１からの出力値に基づいて演算が行われ、各ノードＤ１〜Ｄ９の出力値が決定される。即ち、入力層１１と中間層１２との間では、以下の（２）式による演算が行われる。
【００７４】
【数２】
ここで、Ｈj は中間層１２の各ノードからの出力値であり、例えばノードＤ１からの出力値はＨ1 、ノードＤ２からの出力値はＨ2 となる。また、Ｗijは入力層１１の各ノードと中間層１２の各ノードとの結合の度合いを示す重みであり、例えば入力層１１のノードＡ１と中間層１２のノードＤ１との結合の重みはＷ11である。また、θj は中間層１２の各ノードにおけるオフセット値である。
【００７６】
上記の（２）式の（Ｉi ・Ｗij＋θj ）を入力値Ｘとした場合、ｆ（Ｘ）は入力値Ｘに対して単調に増加する非線形な単調増加関数であり、例えば図８に示すようなシグモイド関数が適用される。このシグモイド関数は、以下の（３）式で表される。
【００７７】
【数３】
最後に、出力層１３では、中間層１２からの出力値に基づいて演算が行われ、ノードＥ１の出力値が決定される。即ち、中間層１２と出力層１３との間では、以下の（４）式による演算が行われる。
【００７９】
【数４】
ここで、Ｏｋは出力層１３のノードＥ１からの出力値Ｙ１である。また、Ｖjkは中間層１２の各ノードＤ１〜Ｄ９と出力層１３のノードＥ１との結合の度合いを示す重みであり、例えば中間層１２のノードＤ１とノードＥ１との結合の重みはＶ11である。また、θk は出力層１３のノードＥ１におけるオフセット値である。
【００８１】
上記の（４）式の（Ｈj ・Ｖjk＋θk ）を入力値Ｘとした場合、ｆ（Ｘ）は入力値Ｘに対して単調に増加する非線形な単調増加関数であり、上述した（２）式と同様に、例えば図８に示すようなシグモイド関数が適用される。
【００８２】
ここまでが、学習のための順方向の演算である。
【００８３】
次に、学習のための逆方向の演算について以下に説明する。
この学習の目的は、ニューラルネットワークにおける最適な入出力関係を得ることであり、このために、教師データを目標にして、ネットワーク中の結合の重みを微調整するようになっている。以下に、ネットワークの結合の重みの微調整の方法について説明する。
【００８４】
先ず、出力層１３のノードＥ１の出力値と教師データとの２乗誤差を、以下の（５）式を用いて計算する。
【００８５】
【数５】
ここで、Ｅｋは教師データと出力値との２乗誤差であり、Ｔｋは教師データである。つまり、この学習の目的は、上記Ｅｋを小さくすることになる。そこで、以下の（６）式を用いて、ＥｋをＯｋで偏微分することにより、ＯｋによるＥｋへの影響を求める。
【００８７】
【数６】
更に、中間層１２と出力層１３との間の結合の重みＶjkによるＥｋへの影響、および入力層１１と中間層１２との間の結合の重みＷijによるＥｋへの影響を、以下の（７）・（８）式を用いて求める。
【００８９】
【数７】
【数８】
上記の（７）・（８）式を用いて求めたＥｋへの影響に基づき、以下の（９）・（１０）式を用いて各結合の重みを微調整する。
【００９２】
【数９】
【数１０】
ここで、αは微調整する度合いを示す値であり、通常０．０５〜０．２５ぐらいの値を用いる。また、ｔは学習回数を表している。
【００９５】
したがって、上記（９）・（１０）式では、現在の結合の重み（Ｖjk、Ｗij）に微調整する値を加えて、次回の演算／学習のときの結合の重みとしている。
【００９６】
以上のように、上記のアルゴリズムに従って繰り返し学習を行い、結合の重みを修正していくことで、教師データと出力値との２乗誤差をある程度まで小さくできるようになる。そして、予め設定された学習回数、もしくは誤差の値が誤差の許容値以下になった時点で学習を終了する。尚、本実施の形態では、前述した通り規定の学習回数を１０００回とし、誤差の許容値は５％とし、学習回数が１０００回あるいは誤差が５％以下になった時点で学習を終了するようになっている。
【００９７】
このように学習されたバックプロパゲーション型ニューラルネットワークにより、解像度変換処理や変倍処理を入力された画像の全ての部分画像に対して行うことによって、入力された画像が変換処理され、解像度が変換された画像、もしくは倍率が変換された画像となる。
【００９８】
次に、ファジィ・ニューラルネットワークについて説明する。本ニューラルネットワークは、図９に示すように、２入力１出力となっており、入力層２１、中間層としてのメンバーシップ層前半部２２、メンバーシップ層後半部２３、ルール層２４、および出力層２５の５つの層からなり、２層目と３層目を合わせてメンバーシップ層を構築している。上記ファジィ・ニューラルネットワークにおいて、２つの入力項目はそれぞれ画素の位置情報であり、１つの出力項目は入力された画素位置における画素値である。
【００９９】
上記のファジィ・ニューラルネットワークにおける各層のノードとノードとの間の結合は以下のようにして構成される。
【０１００】
先ず、入力層２１は、入力項目毎に２つのノードＡ１、Ａ２およびノードＡ３、Ａ４で構成されており、ノードＡ２、Ａ４にはそれぞれ定数１が入力され、ノードＡ１には入力値Ｘ１（ｘ軸の位置情報）が入力され、ノードＡ３には入力値Ｘ２（ｙ軸の位置情報）が入力されるようになっている。
【０１０１】
次に、メンバーシップ層では、各入力項目毎に、図１０〜図１２に示すような、ｓｍａｌｌ、ｍｉｄｄｌｅ、ｂｉｇのメンバーシップ関数が構成されている。
【０１０２】
従って、メンバーシップ層前半部２２では、ノードＢ１〜Ｂ４、ノードＢ５〜Ｂ８の各４つのノードを構成し、ノードＢ１〜Ｂ４では定数１と入力値Ｘ１とを結合させ、ノードＢ５〜Ｂ８では定数１と入力値Ｘ２とを結合させる一方、メンバーシップ層後半部２３では、ノードＣ１〜Ｃ３、ノードＣ４〜Ｃ５の各３つのノードを構成し、メンバーシップ層前半部２２の１つまたは２つのノードを結合させるようになっている。
【０１０３】
即ち、図９に示すメンバーシップ層後半部２３の１つのノードを結合させる部分であるノードＣ１、Ｃ４は、図１２に示すｂｉｇのメンバーシップ関数を構成する部分となり、ノードＣ３、Ｃ６は、図１０に示すｓｍａｌｌのメンバーシップ関数を構成する部分となる。また、メンバーシップ層後半部２３の２つのノードを結合させる部分であるノードＣ２、Ｃ５は、図１１に示すｍｉｄｄｌｅを構成する部分となる。
【０１０４】
上記構成のメンバーシップ層の各ノードは、１入力項目毎に必ず構成されるものであり、入力項目毎のノード数は固定である。本実施の形態では、１入力項目に対するメンバーシップ層前半部２２のノード数は４、メンバーシップ層後半部２３のノード数は３となっている。
【０１０５】
次いで、ルール層２４では、メンバーシップ層後半部２３の入力値Ｘ１に関係するノードＣ１に対して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと論理積を取るようにノードＤ１〜Ｄ３が構成されている。同様にして入力値Ｘ１に関係するノードＣ２に対して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと論理積を取るようにノードＤ４〜Ｄ６が構成され、入力値Ｘ１に関係するノードＣ３に対して入力値Ｘ２に関係するノードＣ４〜Ｃ６のそれぞれと論理積を取るようにノードＤ７〜Ｄ９が構成されている。即ち、ルール層２４では、２つの入力値Ｘ１・Ｘ２に対して全てのメンバーシップ値の組み合わせをとり、ファジィの論理積を得るように構成されている。
【０１０６】
最後に、出力層２５では、ルール層２４からの出力を全て結合し、入力画像の各画素位置での画素値である出力値Ｙ１を出力する１つのノードＥ１を有している。
【０１０７】
このようにして構成されたファジィ・ニューラルネットワークのノード間の結合部分には、結合毎に全て重みがある。
【０１０８】
従って、入力層２１とメンバーシップ層前半部２２との結合部分では、メンバーシップ関数のセンター値（メンバーシップ関数の出力値が０．５となるときの入力値）が重みＷｃ11〜Ｗｃ14およびＷｃ21〜Ｗｃ24となっている。
【０１０９】
即ち、メンバーシップ関数は、前述したように３種類あり、それぞれのメンバーシップ関数のセンター値は各重みと一致している。例えば、入力値Ｘ１のｂｉｇを表すメンバーシップ関数のセンター値の重みはＷｃ11であり、ｍｉｄｄｌｅを表すメンバーシップ関数のセンター値の重みはＷｃ12とＷｃ13であり、ｓｍａｌｌを表すメンバーシップ関数のセンター値の重みはＷｃ14である。尚、ｍｉｄｄｌｅは、２つのメンバーシップ関数の論理積の形となっているので、２つのセンター値を有している。
【０１１０】
次に、メンバーシップ層前半部２２とメンバーシップ層後半部２３との結合部分では、メンバーシップ関数の傾きが重みＷｇ11〜Ｗｇ14およびＷｇ21〜Ｗｇ24となっている。この場合、メンバーシップ関数の傾きが各重みと一致している。例えば、入力値Ｘ１のｂｉｇを表すメンバーシップ関数の傾きの重みはＷｇ11であり、ｍｉｄｄｌｅを表すメンバーシップ関数の傾きの重みはＷｇ12とＷｇ13であり、ｓｍａｌｌを表すメンバーシップ関数の傾きの重みはＷｇ14である。尚、ｍｉｄｄｌｅは、２つのメンバーシップ関数の論理積の形となっているので、２つの傾きを有している。
【０１１１】
最後に、ルール層２４と出力層２５との結合部分では、エキスパートから得た知識が重みＷｆ1 〜Ｗｆ9 となっている。このエキスパートから得た知識では、出力値が大きくなるような入力値の組み合わせのルールの重みは１に近い値とし、出力値が小さくなるような入力値の組み合わせのルールの重みは０に近い値とする。それ以外のルールの重みは０．５に初期設定しておく。
【０１１２】
また、上述した結合部分以外の結合部分の重み、例えばメンバーシップ層後半部２３とルール層２４との結合部分の重みは、１で固定されている。
【０１１３】
上記構成のファジィ・ニューラルネットワークにおいて、各層の出力値を求める方法について以下に説明する。尚、入力層２１の出力値は、入力値と同じであるので説明は省略する。
【０１１４】
メンバーシップ層は、以下の（１１）式に示すように、２層目でメンバーシップ関数のセンター値Ｗｃ11〜Ｗｃ14およびＷｃ21〜Ｗｃ24を加える。
【０１１５】
【数１１】
ここで、ｘは入力層２１の出力値、Ｗｃはメンバーシップ関数のセンター値、Ｈは２層目の出力である。また、ｉは各入力項目の数であり、ｊはｂｉｇのとき１、ｍｉｄｄｌｅのとき２または３、ｓｍａｌｌのとき４となっている。
【０１１７】
上記（１１）式は、後に代入する以下の（１２）式に示すようなシグモイド関数の原点の位置をメンバーシップ関数のセンター値の位置に合わせることを示している。
【０１１８】
次に、以下の（１３）式に示すように、３層目でメンバーシップ関数の傾きを掛けてシグモイド関数に代入することにより、その入力値の各領域でのメンバーシップ関数の出力値を得るようになっている。尚、ｍｉｄｄｌｅの場合は（１３）式の代わりに以下の（１４）式を用いる。
【０１１９】
【数１２】
【数１３】
【数１４】
ここで、Ｗｇはメンバーシップ関数の傾きの値、ｆ（Ｘ）はシグモイド関数、Ｍはメンバーシップ関数の出力値、ｍｉｎ｛ｆ（Ｘ１），ｆ（Ｘ２）｝はｆ（Ｘ１）とｆ（Ｘ２）との論理積を示す。また、ｋはメンバーシップ層後半部２３のノードの番号であり、ｉはｂｉｇのとき１、ｍｉｄｄｌｅのとき２、ｓｍａｌｌのとき３となっている。また、上記（１４）式では、論理積を計算することにより、ｍｉｎのカッコの中の２つの関数のうち、小さい方の値を選択することになる。
【０１２３】
次いで、ルール層２４では、以下の（１５）式を用いてＡＮＤルールの計算が行われる。即ち、２つの入力項目の中で、それぞれ３つの領域（ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌ）から１つずつ選び、その２つのメンバーシップ出力値の論理積の計算が行われる。
【０１２４】
【数１５】
ここで、ＲはＡＮＤルールの出力値であり、ｋ１とｋ２はメンバーシップ層後半部２３のノード番号である。また、ここでも論理積の計算により、ｍｉｎのカッコの中の２つの関数のうち、小さい方の値を選択することになる。
【０１２６】
最後に、出力層２５では、以下の（１６）式を用いて出力値の計算が行われる。即ち、ファジィルールの前件部命題（例：Ｘ１がｂｉｇである）によって得られた各ＡＮＤルールの出力値とそのルールからの結合の重みの値Ｗｆを掛け合わせて、それをＡＮＤルールの出力全体の合計値で割ったものの総和を取ることで計算が行われる。
【０１２７】
【数１６】
ここで、ｎはルール層２４のノード番号である。
【０１２９】
以上が、上記のファジィ・ニューラルネットワークに入力値を代入してから出力値を得るまでの計算の過程を示す。尚、上記構成のファジィ・ニューラルネットワークを初めに構築した状態では、各層のノード間の結合の重みの値は各層毎に決まった値を有しており、入力値を代入しても、出力値はでたらめな値であり、対象物の入出力関係を正しくシミュレートできない。そこで、正しくシミュレートするために、結合の重みの調整を行う必要がある。これがファジィ・ニューラルネットワークにおける学習である。
【０１３０】
上記ファジィ・ニューラルネットワークにおける学習について以下に説明する。
【０１３１】
対象物の入出力関係を表したサンプルデータの出力値を教師データＴとし、以下の（１７）式を用いて、この教師データＴと、サンプルデータの入力値（Ｘ１、Ｘ２、…、Ｘｎ）から上記の（１１）〜（１６）式によって得られた出力値ｙとの２乗誤差を用いる。
【０１３２】
【数１７】
ここで、Ｅは教師データＴと出力値ｙとの２乗誤差を表す。この誤差を少なくすることによって対象物の入出力関係が正しくシミュレートできているものと判断する。
【０１３４】
この誤差を減らす方法として、バックプロパゲーション法に基づいて学習アルゴリズムを用いる。以下、この学習アルゴリズムについて説明する。
【０１３５】
上記（１７）式をｙにおいて偏微分すると、以下の（１８）式に示すようになる。これが、誤差に対する出力値ｙの影響を示す。
【０１３６】
【数１８】
次いで、上記（１７）式をＷｆにおいて偏微分すると、以下の（１９）式に示すようになる。このとき、上記（１７）式のｙに上記（１６）式を代入する。
【０１３８】
【数１９】
次に、上記（１７）式をＷｇ、Ｗｃにおいてそれぞれ偏微分すると、以下の（２０）（２１）式に示すようになる。このとき、上記（１７）式に、上記（１６）式、（１５）式および（１４）式、または（１３）式、（１１）式を代入する。
【０１４０】
【数２０】
【数２１】
上記（１９）〜（２１）式までが誤差に対するそれぞれの結合の重みの影響を示す。ここで、上記（２０）式および（２１）式におけるｒは修正すべきメンバーシップ関数を実現している重みからＡＮＤルールの出力として選択された数だけ、ルール層２４のノードからの誤差の総和を取っている。
【０１４３】
これらの影響が少なくなる方向に重みを修正することによって、全体的に誤差を減らすようにする。この修正する量は、以下の（２２）〜（２４）式に示すようになる。
【０１４４】
【数２２】
【数２３】
【数２４】
ここで、α、β、γは学習パラメータであり、影響を小さくする重みの修正量を決定するためのパラメータである。このパラメータを用いて、以下の（２５）〜（２７）式に示すような修正が行われる。
【０１４８】
【数２５】
【数２６】
【数２７】
以上のような学習アルゴリズムに従って繰り返し学習を行い、重みを修正することで誤差を小さくしている。そして、誤差の値が予め設定した誤差の許容値以下になった時点で学習を終了とする。この誤差の許容値は予め設定されるものであり、本実施の形態では５％以下になった時点で学習を終了するものとする。
【０１５２】
上記構成の画像データ補間装置において、補間画素に対して補間処理を行う際、先ず、補間画素周りに既に存在する画素（参照画素）の画素データを教師データとし、その既存の画素の画素値に対応する位置情報を入力データとしてＣＰＵ５にて階層型ニューラルネットワークに学習させ、学習終了後、補間画素の位置情報を入力することによって補間画素の画素データを得るようになっている。
【０１５３】
このように、入力画像毎に学習可能な階層型ニューラルネットワークであるバックプロパゲーション型ニューラルネットワークやファジィ・ニューラルネットワークを用いて補間処理がが行われるので、１フレーム分の画像に対応する静止画像を形成する場合に、出力画像のエッジ部をハッキリさせることができると共に、斜め線をギザギザのない滑らかな線にすることができる。
【０１５４】
しかも、上記階層型ニューラルネットワークは、補間画素毎に学習可能であるので、入力されるどのような画像に対しても入出力関係を最適にすることができる。このようなリアルタイムに学習可能な階層型ニューラルネットワークを用いて、補間画素毎に、補間処理が行われると、それぞれの入力画像毎にネットワークの重みを調整することができるので、常に最適な変換処理が可能となる。
【０１５５】
したがって、どのような入力画像に対しても、変換処理において生じる問題としてのエッジ部分のボケや、斜め線のギザギザを無くすことができるので、変換後の画像に滑らかさが生じ、変換後の静止画像の品位を向上させることができる。
【０１５６】
また、上記画像データ補間装置では、階層型ニューラルネットワークが学習により補間画素とその周辺の画素とを含め、それぞれの画素位置と画素データとが対応する画素データ曲面である階調曲面を形成している。本実施の形態では、画像データとして輝度データを用いていることから、画像データ曲面が階調曲面となっている。よって、処理対象となる画像データが他のデータであれば、それに応じた画像データ曲面が形成される。
【０１５７】
上記階調曲面を用いれば、補間画素の画素データを周囲の画像に応じて容易に生成することができるので、さらに、静止画像の品位を向上させることができる。
【０１５８】
また、上記画像データ補間装置における階層型ニューラルネットワークは、入力画像の各補間画素周囲の各マトリクス内に配置された画素の位置情報を入力とし、入力された各画素の位置情報における画素値を出力とするように構成されている。
【０１５９】
このように、フィールド画像に対して補間処理を行うには、階層型ニューラルネットワークは、入力が各補間画素の位置情報だけで十分であり、また、このときの出力がフィールド画像の各マトリクス内における各補間画素の位置での画素データであるので、ニューラルネットワークにおける入出力関係が複雑にならずに、規模が小さく、簡単な構造のニューラルネットワークを用いることができる。
【０１６０】
さらに、本実施の形態の画像データ補間装置では、補間処理を行う際、階層型ニューラルネットワークの学習方法が、既存画素の位置情報とその既存画素の画素データを用いて行われるので、学習のための計算量が少なくて済み、高速に学習を行うことができる。これにより、補間処理の高速化を図ることができる。
【０１６１】
さらに、フィールド画像に対して補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のファジィ・ニューラルネットワークが用いられているので、ハード構成上は上記のバックプロバケーション型ニューラルネットワークよりも複雑になるものの、より細かい部分画像の階調曲面を表現することが可能となり、バックプロバケーション型ニューラルネットワークより最適な補間画素値あるいは変倍画素値を得ることが可能となる。
【０１６２】
尚、本実施の形態では、画像データ補間装置の補間処理部６を構成するＣＰＵ５が、内部のＲＯＭに格納されたプログラムに従って階層型ニューラルネットワークを用いた補間処理を行うようになっているが、これに限定されるものではない。即ち、上記補間処理における演算処理を他のハードウェアによって実現して良く、また、パーソナルコンピュータやワークステーションによりソフトウェアによって同様の補間処理を全て実行するようにしても良い。
【０１６３】
また、上記ＣＰＵ５に採用された階層型ニューラルネットワークとして、図７に示すバックプロパゲーション型ニューラルネットワークや、図９に示すファジィ・ニューラルネットワークを用いたが、これらに限定するものではなく、入力層から出力層へ向かう結合のみがある他の階層型ニューラルネットワークを用いても同様の効果を奏する。
【０１６４】
さらに、本実施の形態の画像データ補間装置によれば、フレームメモリ２の後方にＤ／Ａコンバータ３が接続され、静止画像を生成する装置となっているが、このＤ／Ａコンバータ３の代わりにプリンタエンジンを接続すれば、高画質なビデオプリンタを実現することができる。
【０１６５】
【発明の効果】
請求項１の発明の画像データ補間装置は、以上のように、フレーム画像を構成する２枚のフィールド画像のうち、１枚のフィールド画像の補間すべき画素の画素データを、該フィールド画像の走査線上の既存画素の画素データを用いて補間処理して生成する画像データ補間装置において、入力されるアナログのビデオ信号をＡ／Ｄ変換してデジタル化した画像データを生成するＡ／Ｄコンバータと、上記Ａ／Ｄコンバータにてデジタル化して得られた画像データの１フレーム分の画像データを格納するフレームメモリと、補間すべき画素毎に、それぞれの補間すべき画素を含む所定範囲内の既存の周辺画素の画素データに基づいて学習すると共に、処理対象の画素を移動するときは新たに必要となる既存の周辺画素の画素データのみを入力する階層型ニューラルネットワークによって、補間すべき画素の画像データを生成する処理により、上記フレームメモリに格納された１フレーム分の画像データにおける１フィールド分の画像データを使用して、１フィールド分の画像データを生成し、この１フレーム分の画像データ、および既に存在する上記１フィールド分の画素データとを合わせて1フレーム分の画像データを生成する補間画素データ生成手段とが設けられている構成である。
【０１６６】
それゆえ、補間すべき画素毎に学習可能な階層型ニューラルネットワークを用いて補間処理を行うようになっているので、入力画像に応じた高品位の静止画像を得ることができる。しかも、補間処理が階層型ニューラルネットワークを用いて行われているので、出力画像のエッジ部をハッキリさせることができると共に、斜め線をギザギザのない滑らかな線にすることができる。
【０１６７】
また、上述のように、上記階層型ニューラルネットワークは、入力画像毎に学習可能であるので、随時学習が可能となり、階層型ニューラルネットワークの結合の重み調整を入力画像毎にリアルタイムで行うことができ、入力されるどのような画像に対しても入出力関係を最適にすることができる。
【０１６８】
このようなリアルタイムに学習可能な階層型ニューラルネットワークを用いて、補間すべき画素毎に、補間処理が行われると、それぞれの入力画像毎にネットワークの重みを調整することができるので、常に最適な補間処理が可能となる。したがって、どのような入力画像に対しても、補間処理において生じる問題としてのエッジ部分のボケや、斜め線のギザギザを無くすことができるので、補間処理後の静止画像に滑らかさが生じ、静止画像の品位を向上させることができる。
【０１６９】
さらに、上記構成の画像データ補間装置では、静止画像を得るものであるので、ビデオレート処理の必要はなく、ビデオレート処理の高速化のために、参照画素の画素データを並列化してニューラルネットワークに入力する必要がなくなる。よって、参照画素の画素データは、順番にニューラルネットワークに入力すればよいので、従来のように参照画素の画素データの並列化された多入力方式のように回路規模が大きく複雑にならず、階層型ニューラルネットワークを簡略化できるという効果を奏する。
【０１７０】
請求項２の発明の画像データ補間装置は、請求項１の構成に加えて、階層型ニューラルネットワークは、学習により補間画素とその周辺の画素とを含めた各画素の位置情報と画素データとが対応する画素データ曲面を形成する構成である。
【０１７１】
それゆえ、請求項１の構成による効果に加えて、階層型ニューラルネットワークの学習によって得られた画素データ曲面を用いれば、補間画素の画素データを周囲の画像に応じで生成することができるので、さらに、静止画像の品位を向上させることができるという効果を奏する。
【０１７２】
請求項３の発明の画像データ補間装置は、以上のように、請求項１または２の構成に加えて、階層型ニューラルネットワークは、各画素の位置情報を入力とし、入力された位置情報における画素データを出力とするように構成されている。
【０１７３】
それゆえ、請求項１または２の構成による効果に加えて、フィールド画像の補間すべき画素に対して補間処理を行うには、階層型ニューラルネットワークの入力が補間すべき画素の位置情報だけで十分であり、また、このときの出力が補間画素の画素データであるので、階層型ニューラルネットワークにおける入出力関係が複雑にならずに、規模が小さく、簡単な構造の階層型ニューラルネットワークを用いることができるという効果を奏する。
【０１７４】
請求項４の発明の画像データ補間装置は、以上のように、請求項１、２または３の構成に加えて、補間処理手段は、補間処理を行う際、先ず、補間すべき画素を含む所定範囲の周辺画素の既存の画素データを教師データとし、その既存の画素データの位置情報を入力データとして階層型ニューラルネットワークに学習させ、学習終了後、補間すべき画素の位置情報を入力することによって補間すべき画素の画素データを生成する構成である。
【０１７５】
それゆえ、請求項１、２または３の構成による効果に加えて、補間処理を行う際、階層型ニューラルネットワークの学習方法が、既存画素の位置情報とその画素データを用いて行われるので、学習のための計算量が少なくて済み、高速に学習を行うことができる。これにより、補間すべき画素の補間処理の高速化を図ることができるという効果を奏する。
【０１７６】
請求項５の発明の画像データ補間装置は、以上のように、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、少なくとも１つ以上のノードからなる中間層、１つのノードからなる出力層より構成されるバックプロパゲーション型ニューラルネットワークである構成である。
【０１７７】
それゆえ、請求項３または４の構成による効果に加えて、フィールド画像の補間すべき画素に対して、補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のバックプロパゲーション型ニューラルネットワークが用いられているので、入出力関係が簡素であり、簡単なハード構成にて入力画像の変換処理を行うことができるという効果を奏する。
【０１７８】
請求項６の発明の画像データ補間装置は、以上のように、請求項３または４の構成に加えて、階層型ニューラルネットワークは、２つのノードからなる入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現するメンバーシップ関数を構成する２つの層からなるメンバーシップ層、２つの入力に対して全てのメンバーシップ値の組み合わせをとり、ファジィの理論積を得るように構成されるルール層、１つのノードからなる出力層より構成されるファジィ・ニューラルネットワークである構成である。
【０１７９】
それゆえ、請求項３または４の構成による効果に加えて、フィールド画像の補正すべき画素に対して補間処理を行う場合、階層型ニューラルネットワークとして、２入力１出力のファジィ・ニューラルネットワークが用いられているので、ハード構成上は上記の請求項５記載のバックプロバケーション型ニューラルネットワークよりも複雑になるものの、より細かい部分画像の階調曲面を表現することが可能となり、請求項５のバックプロバケーション型ニューラルネットワークより最適な補間画素データを得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像データ補間装置の概略構成ブロック図である。
【図２】１フィールド画像の画素配置を示す説明図である。
【図３】図２に示したフィールド画像の補間画素周辺の拡大図である。
【図４】図１に示す画像データ補間装置の動作の流れを示すフローチャートである。
【図５】図１に示す画像データ補間装置の補間処理の流れを示すフローチャートである。
【図６】図１に示す画像データ補間装置に備えられた階層型ニューラルネットワークの学習によって得られた補間画素近傍の階調曲面を示す説明図である。
【図７】図１に示す画像データ補間装置に適用される階層型ニューラルネットワークとしてのバックプロパゲーション型のニューラルネットワークを示す模式図である。
【図８】シグモイド関数を示すグラフである。
【図９】図１に示す画像処理装置に適用される階層型ニューラルネットワークとしてのファジィ・ニューラルネットワークを示す模式図である。
【図１０】上記ファジィ・ニューラルネットワークのメンバーシップ層のｓｍａｌｌを示すメンバーシップ関数のグラフである。
【図１１】上記ファジィ・ニューラルネットワークのメンバーシップ層のｍｉｄｄｌｅを示すメンバーシップ関数のグラフである。
【図１２】上記ファジィ・ニューラルネットワークのメンバーシップ層のｂｉｇを示すメンバーシップ関数のグラフである。
【図１３】フィールド画像の一例を示す説明図である。
【図１４】図１３に示すフィールド画像の補間すべき画素近傍の拡大図である。
【図１５】従来の補間方法において、図１３に示したフィールド画像の補間すべき画素を垂直方向に隣接した上下の何れかの画素で補間する場合の説明図である。
【図１６】従来の補間方法において、図１３に示したフィールド画像の補間すべき画素を垂直方向に隣接した上下の画素の平均値で補間する場合の説明図である。
【図１７】従来の補間方法において、図１３に示したフィールド画像の補間すべき画素を、該画素の斜め方向の画素の相関性を使用して補間する場合の説明図である。
【図１８】従来の補間方法において、補間すべき画素を、該画素の５方向の画素に基づいて補間する場合の説明図である。
【図１９】従来の補間方法において、補間すべき画素を、該画素の７方向の画素に基づいて補間する場合の説明図である。
【図２０】従来のニューラルネットワークを用いて補間すべき画素の補間処理を行う場合の説明図である。
【符号の説明】
１ Ａ／Ｄコンバータ
２ フレームメモリ
３ Ｄ／Ａコンバータ
４ コントローラ
５ ＣＰＵ（補間画素データ生成手段）
６ 補間処理部
Claims (6)
- フレーム画像を構成する２枚のフィールド画像のうち、１枚のフィールド画像の補間すべき画素の画素データを、該フィールド画像の走査線上の既存画素の画素データを用いて補間処理して生成する画像データ補間装置において、
入力されるアナログのビデオ信号をＡ／Ｄ変換してデジタル化した画像データを生成するＡ／Ｄコンバータと、
上記Ａ／Ｄコンバータにてデジタル化して得られた画像データの１フレーム分の画像データを格納するフレームメモリと、
補間すべき画素毎に、それぞれの補間すべき画素を含む所定範囲内の既存の周辺画素の画素データに基づいて学習すると共に、処理対象の画素を移動するときは新たに必要となる既存の周辺画素の画素データのみを入力する階層型ニューラルネットワークによって、補間すべき画素の画像データを生成する処理により、上記フレームメモリに格納された１フレーム分の画像データにおける１フィールド分の画像データを使用して、１フィールド分の画像データを生成し、この１フレーム分の画像データ、および既に存在する上記１フィールド分の画素データとを合わせて1フレーム分の画像データを生成する補間画素データ生成手段とが設けられていることを特徴とする画像データ補間装置。 - 上記階層型ニューラルネットワークは、学習により補間画素とその周辺の画素とを含めた各画素の位置情報と画素データとが対応する画素データ曲面を形成することを特徴とする請求項１記載の画像データ補間装置。
- 上記階層型ニューラルネットワークは、各画素の位置情報を入力とし、入力された位置情報における画素データを出力とするように構成されていることを特徴とする請求項１または２記載の画像データ補間装置。
- 上記補間処理手段は、補間処理を行う際、先ず、補間すべき画素を含む所定範囲内の既存の周辺画素の画素データを教師データとし、その既存の画素データの位置情報を入力データとして階層型ニューラルネットワークに学習させ、学習終了後、補間すべき画素の位置情報を入力することによって補間すべき画素の画素データを生成することを特徴とする請求項１、２または３に記載の画像データ補間装置。
- 上記階層型ニューラルネットワークは、２つのノードからなる入力層、少なくとも１つ以上のノードからなる中間層、１つのノードからなる出力層より構成されるバックプロパゲーション型ニューラルネットワークであることを特徴とする請求項３または４記載の画像データ補間装置。
- 上記階層型ニューラルネットワークは、２つのノードからなる入力層、ｂｉｇ、ｍｉｄｄｌｅ、ｓｍａｌｌを表現するメンバーシップ関数を構成する２つの層からなるメンバーシップ層、２つの入力に対して全てのメンバーシップ値の組み合わせをとり、ファジィの理論積を得るように構成されるルール層、１つのノードからなる出力層より構成されるファジィ・ニューラルネットワークであることを特徴とする請求項３または４記載の画像データ補間装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31384896A JP3539533B2 (ja) | 1996-11-25 | 1996-11-25 | 画像データ補間装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31384896A JP3539533B2 (ja) | 1996-11-25 | 1996-11-25 | 画像データ補間装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10164519A JPH10164519A (ja) | 1998-06-19 |
| JP3539533B2 true JP3539533B2 (ja) | 2004-07-07 |
Family
ID=18046244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31384896A Expired - Fee Related JP3539533B2 (ja) | 1996-11-25 | 1996-11-25 | 画像データ補間装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3539533B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3458704B2 (ja) * | 1998-04-10 | 2003-10-20 | トヨタ自動車株式会社 | 曲面生成方法 |
| JP2004328634A (ja) | 2003-04-28 | 2004-11-18 | Sony Corp | 画像復号化装置及び方法 |
| CN113067959B (zh) * | 2021-03-16 | 2022-05-03 | 合肥合芯微电子科技有限公司 | 影像插补方法、装置和存储介质 |
-
1996
- 1996-11-25 JP JP31384896A patent/JP3539533B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10164519A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3184092B2 (ja) | 画像処理方法 | |
| JP3058774B2 (ja) | 映像合成装置及び映像合成方法 | |
| KR100270268B1 (ko) | 디지탈 화상프로세서 및 디지탈 화상처리 방법 | |
| JPH10243407A (ja) | 画像信号処理装置及び画像入力処理装置 | |
| JP3333839B2 (ja) | 補間ライン検出方法及び補間ライン検出装置 | |
| WO2005025232A1 (ja) | 撮像装置 | |
| JP3539533B2 (ja) | 画像データ補間装置 | |
| JPH076228A (ja) | Ｘ線検査装置 | |
| JP3378167B2 (ja) | 画像処理方法 | |
| JPH1141565A (ja) | 画像データ補間装置 | |
| JPH0981723A (ja) | 画像処理装置 | |
| JP4258976B2 (ja) | 画像処理装置および処理方法 | |
| JP2920635B2 (ja) | 画像処理装置 | |
| JP3539552B2 (ja) | 画像処理装置 | |
| JP3444170B2 (ja) | フィールド画像補間方法及びフィールド画像補間装置 | |
| JP3179475B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP2000078538A (ja) | 画像データ補間装置 | |
| JP3061945B2 (ja) | 画像補正装置 | |
| JPH07240901A (ja) | ニューラルネットワークによるライン補間装置 | |
| JPH08102850A (ja) | 画像処理装置 | |
| JPH11185033A (ja) | 画像処理方法及び装置 | |
| JPH0818926A (ja) | ニューラルネットワークによるライン補間装置 | |
| JP3411950B2 (ja) | 動き検出装置 | |
| JPH1040363A (ja) | 画像処理装置 | |
| JPH10164358A (ja) | 画像処理方法および画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080402 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |