JP4311014B2 - Motion determination apparatus and motion determination method, image signal processing apparatus using the same, and program for executing each method - Google Patents

Description

【００５４】
また、画像信号処理部１１０は、レジスタ１３０〜１３３と、係数メモリ１３４とを有している。後述する線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、線順次変換回路１２９の動作を指定する動作指定情報を格納するものである。線順次変換回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【００５５】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数のＳＤ画素に対して番号付けを行い、選択するＳＤ画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００５６】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００５７】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスＭＶによって選択される。
【００５８】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、作成すべき画素と同一フィールド内のＳＤ画素のみとされる。
【００５９】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスＭＶによって選択されるようにしてもよい。
【００６０】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【００６１】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号としての５２５ｉ信号を、ＨＤ信号としての５２５ｐ信号または１０５０ｉ信号に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給される。
【００６２】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。
【００６３】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、線順次変換回路１２９を５２５ｐ信号を出力するように動作させるための第１の動作指定情報と、線順次変換回路１２９を１０５０ｉ信号を出力するように動作させるための第２の動作指定情報とが予め蓄えられている。
【００６４】
ユーザはリモコン送信機２００を操作することで、ＨＤ信号として５２５ｐ信号を出力する第１の変換方法、またはＨＤ信号として１０５０ｉ信号を出力する第２の変換方法を選択できる。情報メモリバンク１３５にはシステムコントローラ１０１よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１の動作指定情報または第２の動作指定情報がロードされる。
【００６５】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【００６６】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。なお、第１および第２のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【００６７】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【００６８】
また、情報メモリバンク１３５には、第１および第２の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。
【００６９】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（３）式の推定式によって、作成すべきＨＤ画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（３）式におけるｎは１０となる。
【００７０】
【数２】

【００７１】
そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、（４）式に示すように、パラメータｒ，ｚを含む生成式によって生成される。情報メモリバンク１３５には、この生成式の係数データである係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）が、変換方法毎かつクラス毎に、記憶されている。この係数種データの生成方法については後述する。
【００７２】
【数３】

【００７３】
また、画像信号処理部１１０は、各クラスの係数種データおよびパラメータｒ，ｚの値とを用い、（４）式によって、クラス毎に、パラメータｒ，ｚの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６には、情報メモリバンク１３５より、上述した変換方法の選択情報に従って第１の変換方法または第２の変換方法に対応した各クラスの係数種データがロードされる。また、この係数生成回路１３６には、システムコントローラ１０１より、パラメータｒ，ｚの値が供給される。
【００７４】
この係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｒ，ｚの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｒ，ｚの値に対応したものに即座に変更でき、ユーザによる解像度、ノイズ除去度の調整がスムーズに行われる。
【００７５】
また、画像信号処理部１１０は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（５）式によって、演算する正規化係数生成回路１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８を有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給される。
【００７６】
【数４】

【００７７】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号における注目位置の画素データを演算する推定予測演算回路１２７を有している。
【００７８】
この推定予測演算回路１２７では、５２５ｐ信号を出力する場合、上述した図４に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とを生成し、また各ラインの画素数を２倍とする必要がある。また、この推定予測演算回路１２７では、１０５０ｉ信号を出力する場合、上述した図５に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とを生成し、また各ラインの画素数を２倍とする必要がある。
【００７９】
したがって、推定予測演算回路１２７では、ＨＤ信号を構成する４画素のデータが同時的に生成される。例えば、４画素のデータはそれぞれ係数データを異にする推定式を使用して同時的に生成されるものであり、係数メモリ１３４からはそれぞれの推定式の係数データが供給される。ここで、推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、上述の（３）式の推定式によって、作成すべきＨＤ画素データｙが演算される。
【００８０】
また、画像信号処理部１１０は、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙを、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算されるＨＤ画素データｙは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【００８１】
また、画像信号処理部１１０は、水平周期を１／２倍とするライン倍速処理を行って、推定予測演算回路１２７より正規化演算回路１２８を介して供給されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を線順次化する線順次変換回路１２９を有している。
【００８２】
図６は、５２５ｐ信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。上述したように、推定予測演算回路１２７によってラインデータＬ１，Ｌ２が生成される。ラインデータＬ１には順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１２９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力ａ０，ｂ０，ａ１，ｂ１，・・・を形成する。
【００８３】
なお、１０５０ｉ信号を出力する場合には、奇数フィールドおよび偶数フィールドでインタレース関係を満たすように、線順次変換回路１２９が線順次出力を発生する。したがって、線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。その動作指定情報は、上述したようにレジスタ１３０より供給される。
【００８４】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【００８５】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【００８６】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【００８７】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラスＭＶ（主に動きの程度を表すためのクラス分類）が得られる。この動きクラス検出回路１２６には、システムコントローラ１０１よりパラメータｒ，ｚの値が供給される。これにより、動き検出回路１２６で得られる動きクラスＭＶは、パラメータｒ，ｚに対応したものとされる。
【００８８】
この動きクラスＭＶおよび上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動きクラスＭＶと再量子化コードＱｉとから、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（２）式参照）。このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【００８９】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｒ，ｚの値および変換方法に対応した、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【００９０】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【００９１】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号における注目位置の画素データ（ＨＤ画素データ）ｙが演算される（（３）式参照）。この場合、ＨＤ信号を構成する４画素のデータが同時的に生成される。
【００９２】
これにより、５２５ｐ信号を出力する第１の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが生成される（図４参照）。また、１０５０ｉ信号を出力する第２の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが生成される（図５参照）。
【００９３】
このように推定予測演算回路１２７で生成されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は正規化演算回路１２８に供給される。正規化係数メモリ１３８に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この正規化係数メモリ１３８からクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが読み出されて推定予測演算回路１２７に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（４）式参照）で推定式（（３）式参照）の係数データを求める際の丸め誤差による注目点の情報データのレベル変動が除去される。
【００９４】
このように正規化演算回路１２８で正規化されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は、線順次変換回路１２９に供給される。そして、この線順次変換回路１２９では、ラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）が線順次化されてＨＤ信号が生成される。この場合、線順次変換回路１２９は、レジスタ１３０より供給される、ユーザによって選択された変換方法に対応した動作指定情報に従った動作をする。そのため、ユーザによって第１の変換方法（５２５ｐ）が選択されているときは、線順次変換回路１２９より５２５ｐ信号が出力される。一方、ユーザによって第２の変換方法（１０５０ｉ）が選択されているときは、線順次変換回路１２９より１０５０ｉ信号が出力される。
【００９５】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｒ，ｚの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１〜ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｒ，ｚの値を調整することで、ＨＤ信号によって得られる画像の解像度およびノイズ除去度を、無段階になめらかに調整することができる。なおこの場合、調整されたパラメータｒ，ｚの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【００９６】
また、動きクラス検出回路１２５に上述したパラメータｒ，ｚの値が供給され、この動き検出回路１２５からはそのパラメータｒ，ｚの値に対応した動きクラスＭＶが得られる。したがって、パラメータｒ，ｚの値に対応した動きクラスのクラス分けが行われることとなり、ＨＤ画素データｙを精度よく生成できる。
【００９７】
次に、動きクラス検出回路１２５の詳細について説明する。この動きクラス検出回路１２５は、動き判定部１０と多数決判定部５０とで構成されている。
まず、動き判定部１０について説明する。図７は、動き判定部１０の構成を示している。
この動き判定部１０は、第３のタップ選択回路１２３（図１参照）で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）が入力される入力端子１１を有している。本実施の形態では、図８に示すように、５０個の画素が動きクラスタップとして選択される。図８は、ｔ−１，ｔ，ｔ＋１と時間方向に連続する３フィールドの画素を示している。図３中のドットは画素を示し、また「×」で示す位置は作成すべきＨＤ信号における注目位置を示している。
【００９８】
ｔ−１フィールドでは、連続する３ラインのそれぞれから５個の画素が選択される。同様に、ｔ＋１フィールドでは、連続する３ラインのそれぞれから５個の画素が選択される。これらｔ−１，ｔ＋１のフィールドのそれぞれで選択される画素の空間的な位置は同一である。また、ｔフィールド（現在フィールド）では、連続する４ラインのそれぞれから５個の画素が選択される。インタレース方式であるため、このｔフィールドの４ラインは、ｔ−１，ｔ＋１のフィールドのラインとは１／２ライン間隔だけずれている。
【００９９】
また、動き判定部１０は、入力端子１１に入力される動きクラスタップのデータ（ＳＤ画素データ）に基づいて、空間勾配ＳＧsumを検出する空間勾配検出回路１２を有している。ここで、空間勾配ＳＧsum は、ｔ−１フィールドの空間勾配ＳＧ（ｔ−１）、ｔフィールドの空間勾配ＳＧｔ、ｔ＋１フィールドの空間勾配ＳＧ（ｔ＋１）の合計値である。この空間勾配は空間アクティビティの一つである。
【０１００】
各フィールドの空間勾配は、それぞれの画素と隣接画素との差分絶対値を求め、それらを合計した値である。例えばｔ−１のフィールドにおいて、左上コーナーの画素の場合では、その真下の画素と右側の画素とが隣接画素であり、自分の画素値と各隣接画素の画素値の差分絶対値が計算される。同様に、他の画素に関しても、垂直方向および水平方向における隣接画素との差分絶対値が計算される。そして、１５個の画素に関する差分絶対値を合計することによって、ｔ−１フィールドの空間勾配ＳＧ（ｔ−１）が求められる。他のフィールドの空間勾配ＳＧｔおよびＳＧ（ｔ＋１）も同様に求められる。
【０１０１】
また、動き判定部１０は、検出回路１２で検出される空間勾配ＳＧsumが属する区間を判定する区間判定回路１３と、その空間勾配ＳＧsumの区間内位置情報ＰＯＳを算出する区間内位置算出回路１４と、区間を規定するための値Ａ₀〜Ａ₃（Ａ₀＜Ａ₁＜Ａ₂＜Ａ₃）を生成する生成回路１５とを有している。
【０１０２】
生成回路１５は、システムコントローラ１０１（図１参照）から供給されるパラメータｒ，ｚの値および係数データＡ_i1〜Ａ_i3（ｉ＝０〜３）を用い、（６）式〜（９）式に基づいて、値Ａ₀〜Ａ₃を生成する。係数データＡ_i1〜Ａ_i3（ｉ＝０〜３）は、メモリ１６に予め格納されている。生成回路１５は、このメモリ１６から係数データＡ_i1〜Ａ_i3を読み出して用いる。
【０１０３】
Ａ₀＝Ａ₀₁＋Ａ₀₂×ｒ＋Ａ₀₃×ｚ ・・・（６）
Ａ₁＝Ａ₁₁＋Ａ₁₂×ｒ＋Ａ₁₃×ｚ ・・・（７）
Ａ₂＝Ａ₂₁＋Ａ₂₂×ｒ＋Ａ₂₃×ｚ ・・・（８）
Ａ₃＝Ａ₃₁＋Ａ₃₂×ｒ＋Ａ₃₃×ｚ ・・・（９）
【０１０４】
区間判定回路１３は、検出回路１２で検出される空間勾配ＳＧsumを生成回路１５で生成される値Ａ₀〜Ａ₃と比較することで空間勾配ＳＧsumが属する区間の判定を行って判定信号ＳＡを出力する。例えば、Ａ₀≦ＳＧsum＜Ａ₁であり、空間勾配ＳＧsumが第１の区間に属するときはＳＡ＝０、Ａ₁≦ＳＧsum＜Ａ₂であり、空間勾配ＳＧsumが第２の区間に属するときはＳＡ＝１、Ａ₂≦ＳＧsum＜Ａ₃であり、空間勾配ＳＧsumが第３の区間に属するときはＳＡ＝２、Ａ₃≦ＳＧsumであり、空間勾配ＳＧsumが第４の区間に属するときはＳＡ＝３となる。
【０１０５】
区間内位置算出回路１４は、生成回路１５で生成される値Ａ₀〜Ａ₃、区間判定回路１３より出力される判定信号ＳＡ、および検出回路１２で検出される空間勾配ＳＧsumに基づいて、この空間勾配ＳＧsumの区間内位置情報ＰＯＳを算出する。この区間内位置算出回路１４は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値をＡＬ、上端値をＡＨとして、（１０）式に基づいて、区間内位置情報ＰＯＳを算出する。
ＰＯＳ＝（ＳＧsum−ＡＬ）／（ＡＨ−ＡＬ） ・・・（１０）
【０１０６】
また、動き判定部１０は、システムコントローラ１０１（図１参照）より供給されるパラメータｒ，ｚの値および区間判定回路１３より出力される判定信号ＳＡに基づいて、閾値決定用の値を生成する生成回路１７_-1〜１７_-3と、この生成回路１７_-1〜１７_-3より出力される閾値決定用の値、算出回路１４で算出された区間内位置情報ＰＯＳおよび区間判定回路１３より出力される判定信号ＳＡに基づいて、閾値ｔｈ１〜ｔｈ３（ｔｈ１＞ｔｈ２＞ｔｈ３）を算出する閾値算出回路１８_-1〜１８_-3とを有している。
【０１０７】
生成回路１７_-1は、閾値算出回路１８_-1で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。すなわち、空間勾配ＳＧsumが第１の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₁₀，Ｂ₁₁を生成する。空間勾配ＳＧsumが第２の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₁₁，Ｂ₁₂を生成する。空間勾配ＳＧsumが第３の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₁₂，Ｂ₁₃を生成する。空間勾配ＳＧsumが第４の区間に属するときは、下端値に対応した閾値Ｂ₁₃を生成する。
【０１０８】
生成回路１７_-1は、パラメータｒ，ｚの値および係数データＢ_1i1〜Ｂ_1i3（ｉ＝０〜３）を用い、（１１）式〜（１４）式に基づいて、閾値Ｂ₁₀〜Ｂ₁₃を生成する。係数データＢ_1i1〜Ｂ_1i3（ｉ＝０〜３）は、メモリ１９_-1に予め格納されている。生成回路１７_-1は、このメモリ１９_-1から係数データを読み出して用いる。
【０１０９】
Ｂ₁₀＝Ｂ₁₀₁＋Ｂ₁₀₂×ｒ＋Ｂ₁₀₃×ｚ ・・・（１１）
Ｂ₁₁＝Ｂ₁₁₁＋Ｂ₁₁₂×ｒ＋Ｂ₁₁₃×ｚ ・・・（１２）
Ｂ₁₂＝Ｂ₁₂₁＋Ｂ₁₂₂×ｒ＋Ｂ₁₂₃×ｚ ・・・（１３）
Ｂ₁₃＝Ｂ₁₃₁＋Ｂ₁₃₂×ｒ＋Ｂ₁₃₃×ｚ ・・・（１４）
【０１１０】
また、閾値算出回路１８_-1は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値に対応した閾値をＢＬ、その区間の上端値に対応した閾値をＢＨとして、（１５）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ１を線形補間によって算出し、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ１をその区間の下端値に対応した閾値Ｂ₁₃とする。
ｔｈ１＝（ＢＨ−ＢＬ）×ＰＯＳ＋ＢＬ ・・・（１５）
【０１１１】
同様に、生成回路１７_-2は、閾値算出回路１８_-2で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。すなわち、空間勾配ＳＧsumが第１の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₂₀，Ｂ₂₁を生成する。空間勾配ＳＧsumが第２の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₂₁，Ｂ₂₂を生成する。空間勾配ＳＧsumが第３の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₂₂，Ｂ₂₃を生成する。空間勾配ＳＧsumが第４の区間に属するときは、下端値に対応した閾値Ｂ₂₃を生成する。
【０１１２】
生成回路１７_-2は、パラメータｒ，ｚの値および係数データＢ_2i1〜Ｂ_2i3（ｉ＝０〜３）を用い、（１６）式〜（１９）式に基づいて、閾値Ｂ₂₀〜Ｂ₂₃を生成する。係数データＢ_2i1〜Ｂ_2i3（ｉ＝０〜３）は、メモリ１９_-2に予め格納されている。生成回路１７_-2は、このメモリ１９_-2から係数データを読み出して用いる。
【０１１３】
Ｂ₂₀＝Ｂ₂₀₁＋Ｂ₂₀₂×ｒ＋Ｂ₂₀₃×ｚ ・・・（１６）
Ｂ₂₁＝Ｂ₂₁₁＋Ｂ₂₁₂×ｒ＋Ｂ₂₁₃×ｚ ・・・（１７）
Ｂ₂₂＝Ｂ₂₂₁＋Ｂ₂₂₂×ｒ＋Ｂ₂₂₃×ｚ ・・・（１８）
Ｂ₂₃＝Ｂ₂₃₁＋Ｂ₂₃₂×ｒ＋Ｂ₂₃₃×ｚ ・・・（１９）
【０１１４】
また、閾値算出回路１８_-2は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値に対応した閾値をＢＬ、その区間の上端値に対応した閾値をＢＨとして、（２０）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ２を線形補間によって算出し、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ２をその区間の下端値に対応した閾値Ｂ₂₃とする。
ｔｈ２＝（ＢＨ−ＢＬ）×ＰＯＳ＋ＢＬ ・・・（２０）
【０１１５】
同様に、生成回路１７_-3は、閾値算出回路１８_-3で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。すなわち、空間勾配ＳＧsumが第１の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₃₀，Ｂ₃₁を生成する。空間勾配ＳＧsumが第２の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₃₁，Ｂ₃₂を生成する。空間勾配ＳＧsumが第３の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ₃₂，Ｂ₃₃を生成する。空間勾配ＳＧsumが第４の区間に属するときは、下端値に対応した閾値Ｂ₃₃を生成する。
【０１１６】
生成回路１７_-3は、パラメータｒ，ｚの値および係数データＢ_3i1〜Ｂ_3i3（ｉ＝０〜３）を用い、（２１）式〜（２４）式に基づいて、閾値Ｂ₃₀〜Ｂ₃₃を生成する。係数データＢ_3i1〜Ｂ_3i3（ｉ＝０〜３）は、メモリ１９_-3に予め格納されている。生成回路１７_-3は、このメモリ１９_-3から係数データを読み出して用いる。
【０１１７】
Ｂ₃₀＝Ｂ₃₀₁＋Ｂ₃₀₂×ｒ＋Ｂ₃₀₃×ｚ ・・・（２１）
Ｂ₃₁＝Ｂ₃₁₁＋Ｂ₃₁₂×ｒ＋Ｂ₃₁₃×ｚ ・・・（２２）
Ｂ₃₂＝Ｂ₃₂₁＋Ｂ₃₂₂×ｒ＋Ｂ₃₂₃×ｚ ・・・（２３）
Ｂ₃₃＝Ｂ₃₃₁＋Ｂ₃₃₂×ｒ＋Ｂ₃₃₃×ｚ ・・・（２４）
【０１１８】
また、閾値算出回路１８_-は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値に対応した閾値をＢＬ、その区間の上端値に対応した閾値をＢＨとして、（２５）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ３を線形補間によって算出し、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ３をその区間の下端値に対応した閾値Ｂ₃₃とする。
ｔｈ３＝（ＢＨ−ＢＬ）×ＰＯＳ＋ＢＬ ・・・（２５）
【０１１９】
また、動き判定部１０は、入力端子１１に入力される動きクラスタップのデータ（ＳＤ画素データ）に基づいて、フレーム間差分ＦｒＧを検出するフレーム間差分検出回路２０を有している。
【０１２０】
フレーム間差分ＦｒＧは、ｔ−１フィールドの１５個の画素の値のそれぞれと、ｔ＋１フィールドの空間的に同一位置の１５個の画素の値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらにそれら絶対値を合計した値である。
【０１２１】
また、動き判定部１０は、検出回路２０で検出されるフレーム間差分ＦｒＧを、それぞれ上述した閾値算出回路１８_-1〜１８_-3で算出される閾値ｔｈ１〜ｔｈ３と比較する比較器２１_-1〜２１_-3を有している。これら比較器２１_-1〜２１_-3のそれぞれは、フレーム間差分ＦｒＧが閾値以上のときは出力信号Ｓ１〜Ｓ３として「１」を出力し、フレーム間差分ＦｒＧが閾値より小さいときは出力信号Ｓ１〜Ｓ３として「０」を出力する。
【０１２２】
また、動き判定部１０は、比較器２１_-1〜２１_-3の出力信号Ｓ１〜Ｓ３に基づいて、動きクラスＭＪを決定する動きクラス決定回路２２と、この動きクラス決定回路２２で決定された動きクラスＭＪを出力する出力端子２３とを有している。
【０１２３】
動きクラス決定回路２２は、ＦｒＧ＜ｔｈ３（Ｓ１＝０，Ｓ２＝０，Ｓ３＝０）であるときは、ＭＪ＝０とし、ｔｈ３≦ＦｒＧ＜ｔｈ２（Ｓ１＝０，Ｓ２＝０，Ｓ３＝１）であるときは、ＭＪ＝１とする。また、動きクラス決定回路２２は、ｔｈ２≦ＦｒＧ＜ｔｈ３（Ｓ１＝０，Ｓ２＝１，Ｓ３＝１）であるときは、ＭＪ＝２とし、ｔｈ３≦ＦｒＧ（Ｓ１＝１，Ｓ２＝１，Ｓ３＝１）であるときは、ＭＪ＝３とする。図９は、比較器２１_-1〜２１_-3の出力信号Ｓ１〜Ｓ３と動きクラスＭＪとの関係を示している。なお、動きクラスＭＪは２ビットのデータとして出力される。
【０１２４】
図１０は、上述した空間勾配ＳＧsum、フレーム間差分ＦｒＧ、閾値ｔｈ１〜ｔｈ３、動きクラスＭＪの関係を示している。
【０１２５】
なお、上述したメモリ１６，１９_-1〜１９_-3に予め格納される係数データＡ_i1〜Ａ_i3，Ｂ_1i1〜Ｂ_1i3，Ｂ_2i1〜Ｂ_2i3，Ｂ_3i1〜Ｂ_3i3は、経験的に得られたものである。すなわち、後述する係数種データ生成装置において係数データＡ_i1〜Ａ_i3，Ｂ_1i1〜Ｂ_1i3，Ｂ_2i1〜Ｂ_2i3，Ｂ_3i1〜Ｂ_3i3を種々に変化させて、上述した情報メモリバンク１３５に格納される各クラスの係数種データｗ_i0〜ｗ_i9を生成する。そして、それぞれの係数データＡ_i1〜Ａ_i3，Ｂ_1i1〜Ｂ_1i3，Ｂ_2i1〜Ｂ_2i3，Ｂ_3i1〜Ｂ_3i3および係数種データｗ_i0〜ｗ_i9を図１の画像信号処理部１１０で用い、パラメータｒ，ｚの各値に対応して得られるＨＤ信号による画像が良好となる場合の係数データＡ_i1〜Ａ_i3，Ｂ_1i1〜Ｂ_1i3，Ｂ_2i1〜Ｂ_2i3，Ｂ_3i1〜Ｂ_3i3および係数種データｗ_i0〜ｗ_i9を採用する。
【０１２６】
図７に示す動き判定部１０の動作を説明する。
第３のタップ選択回路１２３（図１参照）で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）が入力端子１１に入力される。この動きクラスタップのデータは空間勾配検出回路１２に供給される。この検出回路１２は、動きクラスタップのデータに基づいて、空間勾配ＳＧsumを検出する。この空間勾配ＳＧsumは、区間判定回路１３および区間内位置算出回路１４に供給される。
【０１２７】
生成回路１５には、システムコントローラ１０１（図１参照）からパラメータｒ，ｚが供給される。この生成回路１５は、パラメータｒ，ｚおよびメモリ１６より読み出される係数データＡ_i1〜Ａ_i3（ｉ＝０〜３）を用い、（６）式〜（９）式に基づいて、区間を規定するための値Ａ₀〜Ａ₃（Ａ₀＜Ａ₁＜Ａ₂＜Ａ₃）を生成する。この値Ａ₀〜Ａ₃は、区間判定回路１３および区間内位置算出回路１４に供給される。
【０１２８】
区間判定回路１３は、検出回路１２で検出される空間勾配ＳＧsumを生成回路１５で生成される値Ａ₀〜Ａ₃と比較することで、空間勾配ＳＧsumが属する区間を判定し、判定信号ＳＡを出力する。この場合、Ａ₀≦ＳＧsum＜Ａ₁であり、空間勾配ＳＧsumが第１の区間に属するときはＳＡ＝０、Ａ₁≦ＳＧsum＜Ａ₂であり、空間勾配ＳＧsumが第２の区間に属するときはＳＡ＝１、Ａ₂≦ＳＧsum＜Ａ₃であり、空間勾配ＳＧsumが第３の区間に属するときはＳＡ＝２、Ａ₃≦ＳＧsumであり、空間勾配ＳＧsumが第４の区間に属するときはＳＡ＝３となる。この判定信号ＳＡは、区間内位置判定回路１４、生成回路１７_-1〜１７_-3および閾値算出回路１８_-1〜１８_-3に供給される。
【０１２９】
区間内位置算出回路１４は、生成回路１５で生成される値Ａ₀〜Ａ₃および検出回路１２で検出される空間勾配ＳＧsumに基づいて、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値をＡＬ、上端値をＡＨとして、（１０）式に基づいて、区間内位置情報ＰＯＳを算出する。この区間内位置情報ＰＯＳは、閾値算出回路１８_-1〜１８_-3に供給される。
【０１３０】
生成回路１７_-1は、システムコントローラ１０１より供給されるパラメータｒ，ｚの値およびメモリ１９_-1より読み出される係数データＢ_1i1〜Ｂ_1i3（ｉ＝０〜３）を用い、（１１）式〜（１４）式に基づいて、閾値算出回路１８_-1で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。
【０１３１】
そして、閾値算出回路１８_-1は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、生成回路１７_-1で生成される、その区間の下端値、上端値に対応した閾値ＢＬ，ＢＨおよび算出回路１４で得られる区間内位置情報ＰＯＳを用い、（１５）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ１を算出する。また、閾値算出回路１８_-1は、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ１をＢ₁₃とする。これにより、閾値算出回路１８_-1からは、空間勾配ＳＧsumに対応した閾値ｔｈ１が得られる。
【０１３２】
生成回路１７_-2、閾値算出回路１８_-2、および生成回路１７_-3、閾値算出回路１８_-3も、上述した生成回路１７_-1、閾値算出回路１８_-1と同様に動作する。そして、閾値算出回路１８_-2，１８_-3からは、それぞれ空間勾配ＳＧsumに対応した閾値ｔｈ２，ｔｈ３が得られる。閾値算出回路１８_-1〜１８_-3で算出される閾値ｔｈ１〜ｔｈ３は、それぞれ比較器２１_-1〜２１_-3に供給される。
【０１３３】
また、入力端子１１に入力される動きクラスタップのデータ（ＳＤ画素データ）はフレーム間差分検出回路２０に供給される。この検出回路２０は、動きクラスタップのデータに基づいて、フレーム間差分ＦｒＧを検出する。このフレーム間差分ＦｒＧは、比較器２１_-1〜２１_-3に供給される。比較器２１_-1〜２１_-3のそれぞれは、フレーム間差分ＦｒＧが閾値以上のときは出力信号Ｓ１〜Ｓ３として「１」を出力し、フレーム間差分ＦｒＧが閾値より小さいときは出力信号Ｓ１〜Ｓ３として「０」を出力する。
【０１３４】
比較器２１_-1〜２１_-3の出力信号Ｓ１〜Ｓ３は、動きクラス決定回路２２に供給される。動きクラス決定回路２２は、出力信号Ｓ１〜Ｓ３に基づいて、動きクラスＭＪ（２ビットのデータ）を決定する。この場合、ＦｒＧ＜ｔｈ３であるときＭＪ＝０、ｔｈ３≦ＦｒＧ＜ｔｈ２であるときＭＪ＝１、ｔｈ２≦ＦｒＧ＜ｔｈ３であるときＭＪ＝２、ｔｈ３≦ＦｒＧであるときＭＪ＝３となる。
【０１３５】
上述した動き判定部１０では、閾値決定用の値Ｂ₁₀〜Ｂ₁₃，Ｂ₂₀〜Ｂ₂₃，Ｂ₂₀〜Ｂ₃₃をパラメータｒ，ｚを含む生成式（（１１）〜（１４）式、（１６）〜（１９）式、（２１）〜（２４）式参照）によって生成するものであり、パラメータｒ，ｚの値に対応した動きクラスＭＪを得ることができる。
【０１３６】
また、上述した動き判定部１０では、区間を規定するための値Ａ₀〜Ａ₃をパラメータｒ，ｚを含む生成式（（６）〜（９）式参照）によって生成するものであり、パラメータｒ，ｚの値に対応した動きクラスＭＪを、さらに良好に決定できる。
【０１３７】
ここで、上述した図７に示す動き判定部１０における動き判定処理を、ソフトウェアで行う場合の手順を、図１１のフローチャートを参照して説明する。
先ず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、動きクラスタップのデータに基づいて、空間勾配ＳＧsumを算出する。
【０１３８】
次に、ステップＳＴ３で、区間を規定するための値Ａ₀〜Ａ₃を、（６）式〜（９）式に基づいて、生成する。そして、ステップＳＴ４で、ステップＳＴ２で算出された空間勾配ＳＧsumを、ステップＳＴ３で生成された値Ａ₀〜Ａ₃と比較して、空間勾配ＳＧsumが属する区間を判定する。
【０１３９】
次に、ステップＳＴ５で、ステップＳＴ３で生成された値Ａ₀〜Ａ₃、ステップＳＴ２で算出された空間勾配ＳＧsumおよびステップＳＴ４の区間の判定結果を用い、（１０）式に基づいて、区間内位置情報ＰＯＳを算出する。
【０１４０】
次に、ステップＳＴ６で、閾値ｔｈ１〜ｔｈ３を決定するための値を生成する。この場合、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値、上端値に対応した閾値ＢＬ，ＢＨを閾値生成用の値として生成する。この閾値ＢＬ，ＢＨの生成は、（１１）〜（１４）式、（１６）〜（１９）式、（２１）〜（２４）式に基づいて行う。
【０１４１】
次に、ステップＳＴ７で、ステップＳＴ６で生成された閾値ＢＬ，ＢＨおよびステップＳＴ５で算出された区間内位置情報ＰＯＳを用い、空間勾配ＳＧsumが第１〜第３の区間に属するときは、（１５）式、（２０）式、（２５）式に基づいて、閾値ｔｈ１〜ｔｈ３を算出する。一方、空間勾配ＳＧsumが第４の区間に属するときは、その区間の下端値に対応した閾値Ｂ₁₃〜Ｂ₃₃を、そのまま閾値ｔｈ１〜ｔｈ３とする。
【０１４２】
次に、ステップＳＴ８で、動きクラスタップのデータに基づいて、フレーム間差分ＦｒＧを算出する。そして、ステップＳＴ９で、ＦｒＧ＜ｔｈ３であるか否かを判定する。ＦｒＧ＜ｔｈ３であるときは、ステップＳＴ１０で、動きクラスＭＪ＝０を出力し、ステップＳＴ１１で、処理を終了する。一方、ＦｒＧ＜ｔｈ３でないときは、ステップＳＴ１２に進む。
【０１４３】
ステップＳＴ１２では、ＦｒＧ＜ｔｈ２であるか否かを判定する。ＦｒＧ＜ｔｈ２であるときは、ステップＳＴ１３で、動きクラスＭＪ＝１を出力し、ステップＳＴ１１で、処理を終了する。一方、ＦｒＧ＜ｔｈ２でないときは、ステップＳＴ１４に進む。
【０１４４】
ステップＳＴ１４では、ＦｒＧ＜ｔｈ１であるか否かを判定する。ＦｒＧ＜ｔｈ１であるときは、ステップＳＴ１５で、動きクラスＭＪ＝２を出力し、ステップＳＴ１１で、処理を終了する。一方、ＦｒＧ＜ｔｈ１でないときは、ステップＳＴ１６で、動きクラスＭＪ＝３を出力し、ステップＳＴ１１で、処理を終了する。
【０１４５】
次に、多数決判定部５０について説明する。図１２は、多数決判定部５０の構成を示している。この多数決判定部５０は、動きクラスＭＪの孤立点を、近傍の動きクラスＭＪに整合したものとして、最終的な動きクラスＭＶを出力するための処理を行う。
【０１４６】
この多数決判定部５０は、上述した動き判定部１０より出力される動きクラスＭＪが入力される入力端子５１と、この入力端子５１に入力される動きクラスＭＪを１ライン期間遅延させるライン遅延回路５３と、入力端子５１に入力される動きクラスＭＪを１フィールド期間遅延させるフィールド遅延回路５４と、このフィールド遅延回路５４の出力信号を１ライン期間遅延させるライン遅延回路５５とを有している。
【０１４７】
また、多数決判決部５０は、タップ構築回路５２を有している。このタップ構築回路５２は、入力端子５１に入力された動きクラスＭＪと、ライン遅延回路５３からの１ライン前の動きクラスＭＪと、フィールド遅延回路５４からの１フィールド前の動きクラスＭＪと、フィールド遅延回路５４およびライン遅延回路５５を通ることで形成された前フィールドで且つ１ライン前の動きクラスＭＪとから多数決判定のためのタップを構築する。
【０１４８】
図１３は、多数決判定の対象としてのＨＤ信号における注目位置の近傍に位置する複数のタップの一例を示している。すなわち、各タップは、ＨＤ信号における各画素に対応している。また、注目位置のタップＰ０が存在する現行ラインと同一フィールド内の１ライン上（−１Ｈライン）と、現行ラインより空間的に１ライン上の前フィールドのライン（−２６３Ｈライン）と、現行ラインより空間的に１ライン下の前フィールドのライン（−２６２Ｈライン）とが示されている。
【０１４９】
注目位置のタップＰ０と垂直方向に整列する、−１Ｈライン上のタップＰ１、−２６３Ｈライン上のタップＰａが選択される。タップＰａの左右のタップＰｂが選択される。タップＰ１より一つのタップを飛ばした左右の位置のタップＰ３が選択される。注目位置のタップＰ０より一つのタップを飛ばした左側のタップＰ２が選択される。注目位置のタップＰ０の下側の位置に対して左右のタップＰｃが選択される。このように選択されたタップ数は、全てで１０個存在する。
【０１５０】
タップ構築回路５２は、図１３に示される全タップの内で、モードに応じて多数決判定に使用するタップを選択できる。モードは、例えば、ＳＤ信号の絵柄、動きの程度等に応じてユーザが選択する。図１４は、モードの種類と各モードで選択されるタップを示す。モード０、モード１、モード２、モード３の４通りのモードと、各モードに関して、フィールド内処理とフレーム間処理とが設定される。従って、選択されるタップの組み合わせとしては、全てで８種類存在する。
【０１５１】
最も単純なモード０では、フィールド内処理の場合には、注目位置のタップＰ０のみが使用され、フレーム間処理の場合では、Ｐ０およびＰａのタップが使用される。最も複雑なモード３では、フィールド内処理の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３の５個のタップが使用され、フレーム間処理の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐｂ、Ｐｃの９個のタップが使用される。
【０１５２】
図１２に戻って、また、多数決判定部５０は、カウンタ５６〜５８を有している。カウンタ５６は、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが３である動きクラスＭＪの個数をカウントする。カウンタ５７は、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが２以上である動きクラスＭＪの個数をカウントする。カウンタ５８は、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが１以上である動きクラスＭＪの個数をカウントする。
【０１５３】
また、多数決判定部５０は、カウンタ５６〜５８のカウント値を、それぞれ閾値ｔｈｒ３〜ｔｈｒ１と比較する比較器５９〜６１を有している。比較器５９〜６１は、それぞれ、カウント値が閾値ｔｈｒ３〜ｔｈｒ１以上であるときは出力信号ＣＤ３〜ＣＤ１として「１」を出力し、カウント値がｔｈｒ３〜ｔｈｒ１より小さいときは出力信号ＣＤ３〜ＣＤ１として「０」を出力する。ここで、閾値ｔｈｒ３〜ｔｈｒ１の値は、モードに応じて予め設定されている。
【０１５４】
また、多数決判定部５０は、比較器５９〜６１の出力信号ＣＤ３〜ＣＤ１に基づいて、注目位置の最終的な動きクラスＭＶを決定する動きクラス決定回路６２と、この決定された動きクラスＭＶ（２ビットのデータ）を出力する出力端子６３とを有している。この場合、動きクラス決定回路６２は、ＣＤ３が「１」であるときは動きクラスＭＶ＝３とし、ＣＤ２が「１」であるときは動きクラスＭＶ＝２とし、ＣＤ１が「１」であるときは動きクラスＭＶ＝１とし、ＣＤ３〜ＣＤ１のいずれも「０」であるときは動きクラスＭＶ＝０とする。
【０１５５】
図１２に示す多数決判定部５０の動作を説明する。
動き判定部１０より出力される動きクラスＭＪが入力端子５１に入力される。入力端子５１に入力される動きクラスＭＪはそのままタップ構築回路５２に供給される。また、入力端子５１に入力される動きクラスＭＪはライン遅延回路５３で１ライン期間遅延されてタップ構築回路５２に供給される。また、入力端子５１に入力される動きクラスＭＪはフィールド遅延回路５４で１フィールド期間遅延されてタップ構築回路５２に供給される。さらに、入力端子５１に入力される動きクラスＭＪはフィールド遅延回路５４およびライン遅延回路５５で１フィールド期間および１ライン遅延されてタップ構築回路５２に供給される。そして、タップ構築回路５２で、モードに応じて、多数決判定のためのタップが構築される（図１３、図１４参照）。
【０１５６】
また、カウンタ５６で、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが３である動きクラスＭＪの個数がカウントされる。カウンタ５７で、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが２以上である動きクラスＭＪの個数がカウントされる。カウンタ５８で、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが１以上である動きクラスＭＪの個数がカウントされる。
【０１５７】
カウンタ５６〜５８のカウント値は、それぞれ比較器５９〜６１に供給されて、閾値ｔｈｒ３〜ｔｈｒ１と比較される。そして、この比較器５９〜６１の出力信号ＣＤ３〜ＣＤ１は動きクラス決定回路６２に供給される。動きクラス決定回路６２では、ＣＤ３が「１」であるときは動きクラスＭＶ＝３とされ、ＣＤ２が「１」であるときは動きクラスＭＶ＝２とされ、ＣＤ１が「１」であるときは動きクラスＭＶ＝１とされ、ＣＤ３〜ＣＤ１のいずれも「０」であるときは動きクラスＭＶ＝０とされる。そして、このように動きクラス決定回路６２で決定された動きクラスＭＶが出力端子６３に出力される。
【０１５８】
ここで、上述した図１２に示す多数決判定部５０における多数決判定処理を、ソフトウェアで行う場合の手順を、図１５のフローチャートを参照して説明する。
【０１５９】
先ず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、モードに応じたタップを構築する。そして、ステップＳＴ２３で、各タップの動きクラスＭＪを取得する。
【０１６０】
次に、ステップＳＴ２４で、動きクラス３の個数が閾値ｔｈｒ３以上か否かを判定する。判定結果が肯定であるときは、ステップＳＴ２５で、動きクラスＭＶ＝３を出力し、ステップＳＴ２６で、処理を終了する。一方、判定結果が否定であるときは、ステップＳＴ２７に進む。
【０１６１】
ステップＳＴ２７では、動きクラス２以上の個数が閾値ｔｈｒ２以上か否かを判定する。判定結果が肯定であるときは、ステップＳＴ２８で、動きクラスＭＶ＝２を出力し、ステップＳＴ２６で、処理を終了する。一方、判定結果が否定であるときは、ステップＳＴ２９に進む。
【０１６２】
ステップＳＴ２９では、動きクラス１以上の個数が閾値ｔｈｒ１以上か否かを判定する。判定結果が肯定であるときは、ステップＳＴ３０で、動きクラスＭＶ＝１を出力し、ステップＳＴ２６で、処理を終了する。一方、判定結果が否定であるときは、ステップＳＴ３１で、動きクラスＭＶ＝０を出力し、ステップＳＴ２６で、処理を終了する。
【０１６３】
なお、上述の図７に示す動き判定部１０では、例えば、生成回路１７_-1で値Ｂ₁₀を、（１１）式で生成するものであるが、２次以上の項を持つ生成式、例えば（２６）式で生成してもよい。これは、他の値Ｂ₁₁〜Ｂ₁₃，Ｂ₂₀〜Ｂ₂₃，Ｂ₃₀〜Ｂ₃₃，Ａ₀〜Ａ₃に関しても同様である。
Ｂ₁₀＝Ｂ₁₀₁＋Ｂ₁₀₂×ｒ＋Ｂ₁₀₃×ｚ＋Ｂ₁₀₄×ｒ²
＋Ｂ₁₀₅×ｒｚ＋Ｂ₁₀₆×ｚ² ・・・（２６）
【０１６４】
しかしこの場合、係数データの個数が増加するので、例えば図１６に示すように、閾値ｔｈ１〜ｔｈ３を決定するための値、区間を規定するための値を、少なくすることも考えられる。また、区間を規定するための値Ａ₀〜Ａ₃は、固定としてもよい。
【０１６５】
次に、図１の画像信号処理部１１０の情報メモリバンク１３５に格納される係数種データの生成方法について説明する。情報メモリバンク１３５には、上述したように、係数種データが、変換方法毎かつクラス毎に、記憶されている。この係数種データは、予め学習によって生成される。
【０１６６】
まず、この生成方法の一例について説明する。（４）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9（ｎ＝１〜９）を求める例を示すものとする。
【０１６７】
ここで、以下の説明のため、（２７）式のように、ｔｊ（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｒ，ｔ₂＝ｚ，ｔ₃＝ｒ²，ｔ₄＝ｒｚ，ｔ₅＝ｚ²，
ｔ₆＝ｒ³，ｔ₇＝ｒ²ｚ，ｔ₈＝ｒｚ²，ｔ₉＝ｚ³
・・・（２７）
この（２７）式を用いると、（４）式は、（２８）式のように書き換えられる。
【０１６８】
【数５】

【０１６９】
最終的に、学習によって未定係数ｗ_ijを求める。すなわち、変換方法毎かつクラス毎に、ＳＤ信号の画素データとＨＤ信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（３）式および（４）式を用いて、Ｅは（２９）式で表される。ここで、ｘ_ikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するＨＤ信号のｋ番目の画素データを表している。
【０１７０】
【数６】

【０１７１】
最小二乗法による解法では、（２９）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（３０）式で示される。
【０１７２】
【数７】

【０１７３】
以下、（３１）式、（３２）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（３０）式は、行列を用いて（３３）式のように書き換えられる。
【０１７４】
【数８】

【０１７５】
【数９】

【０１７６】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_ijについて解かれ、係数種データが算出される。
【０１７７】
図１７は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から生徒信号としてのＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより解像度の異なるＳＤ信号を生成する。解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数が生成される。
【０１７８】
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
【０１７９】
ノイズを加える量としては、例えば（３４）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（３４）
【０１８０】
例えば、周波数特性を可変するパラメータｒを０〜８の９段階に可変し、ノイズを加える量を可変するパラメータｚを０〜８の９段階に可変し、合計８１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図１の画像信号処理部１１０におけるパラメータｒ，ｚに対応するものである。
【０１８１】
図１８は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（５２５ｐ信号／１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１８２】
このＳＤ信号生成回路１５２には、変換方法選択信号が制御信号として供給される。第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される（図４参照）。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される（図５参照）。
【０１８３】
また、ＳＤ信号生成回路１５２には、パラメータｒ，ｚが供給される。パラメータｒに対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚに対応して、ＳＤ信号に加えるノイズの量が可変される。
【０１８４】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。
【０１８５】
これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。これら第１〜第３のタップ選択回路１５３〜１５５で選択されるタップは、タップ選択制御回路１５６からのタップ位置情報によって指定される。
【０１８６】
タップ選択制御回路１５６には、変換方法選択信号が制御信号として供給される。第１の変換方法が選択される場合と第２の変換方法が選択される場合とで、第１〜第３のタップ選択回路１５３〜１５５に供給されるタップ位置情報が異なるようにされている。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。
【０１８７】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７、動きクラス検出回路１５８、クラス合成回路１５９を有しているが、これらは上述した画像信号処理部１１０における空間クラス検出回路１２４、動きクラス検出回路１２５、クラス合成回路１２６と同様である。空間クラス検出回路１５７、動きクラス検出回路１５８はそれぞれ第２、第３のタップ選択回路から取り出されるタップデータ（画素データ）を入力とする。
【０１８８】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｒ，ｚとから、クラス毎に、係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を得るための正規方程式（（３３）式参照）を生成する正規方程式生成部１６０を有している。
【０１８９】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｒ，ｚが順次変更されていき、それに応じたＳＤ信号が順次生成され、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。このように周波数特性およびノイズ加算量の異なるＳＤ信号を順次作成して学習データを登録することで、任意の解像度およびノイズ抑圧度の画素データを得るための係数種データを求めることが可能となる。
【０１９０】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１９１】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ_i0〜ｗ_i9を求める係数種データ決定部１６１と、この求められた係数種データｗ_i0〜ｗ_i9を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ_i0〜ｗ_i9が求められる。
【０１９２】
図１８に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０１９３】
この場合、第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１９４】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１９５】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１９６】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１９７】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）ＭＶが得られる。
【０１９８】
この動きクラスＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動きクラスＭＶと再量子化コードＱｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目値の画素データが属するクラスを示すクラスコードＣＬが得られる（（２）式参照）。
【０１９９】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２００】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｒ，ｚとから、正規方程式生成部１６０では、クラス毎に、係数種データｗ_i0〜ｗ_i9（ｎ＝１〜９）を生成するための正規方程式（（３３）式参照）が生成される。
【０２０１】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラスの係数種データｗ_i0〜ｗ_i9が求められ、その係数種データｗ_i0〜ｗ_i9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０２０２】
このように、図１８に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される各クラスの係数種データｗ_i0〜ｗ_i9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０２０３】
なお、図１８に示す係数種生成装置１５０は、間引きフィルタの周波数特性を指定するパラメータｒ、ノイズの加算割合を指定するパラメータｚを順次変更していき、多くの学習データが登録された正規方程式を作成し、各クラスの係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を一度に求めている。
【０２０４】
係数種データｗ_i0〜ｗ_i9を求める別の方法としては、パラメータｒ，ｚの各組み合わせによって生成されるＳＤ信号の各々について学習を行い、パラメータｒ，ｚの各組み合わせに対応した係数データＷｉをまず個別に求める。そして個別に求まった係数データＷｉを教師データとし、（４）式の関係を満たすように（２７）式を変数として最小二乗法を用いることで係数種データｗ_i0〜ｗ_i9を求めてもよい。
【０２０５】
なお、図１の画像信号処理部１１０における処理を、例えば図１９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０２０６】
まず、図１９に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラム、係数種データ、動きクラスを検出する際の閾値決定用の値を得るための係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０２０７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（Ｒ）ディスク３０６をドライブするフロッピー（Ｒ）ディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０２０８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０２０９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０２１０】
また、画像信号処理装置３００は、ＳＤ信号（５２５ｉ信号）を入力するための入力端子３１４と、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０２１１】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー（Ｒ）ディスク３０６で提供するようにしてもよい。
【０２１２】
また、ＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、ＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０２１３】
図２０のフローチャートを参照して、図１９に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、ＳＤ信号を１フレーム分または１フィールド分入力する。このＳＤ信号が入力端子３１４より入力される場合には、このＳＤ信号をＲＡＭ３０３に一時的に格納する。また、このＳＤ信号がハードディスクに記録されている場合には、ハードディスクドライブ３０５でこのＳＤ信号を読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３３で、入力ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ３４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ３５に進む。
【０２１４】
このステップＳＴ３５では、ユーザがリモコン送信機２００を操作して入力したパラメータｒ，ｚの値を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ３６で、取得したパラメータｒ，ｚおよび各クラスの係数種データを使用して、生成式（例えば（４）式）によって、各クラスの推定式（（３）式参照）の係数データＷｉを生成する。
【０２１５】
次に、ステップＳＴ３７で、ステップＳＴ３２で入力されたＳＤ信号より、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ３８で、ステップＳＴ３２で入力されたＳＤ信号の全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ３２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ３９に進む。
【０２１６】
このステップＳＴ３９では、ステップＳＴ３７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。この場合、クラスコードＣＬに含まれる動きクラスＭＶは、パラメータｒ，ｚに対応したものとされる。そして、ステップＳＴ４０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ信号の画素データ（ＨＤ画素データ）を生成し、その後にステップＳＴ３７に戻って、上述したと同様の処理を繰り返す。
【０２１７】
このように、図２０に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２１８】
また、処理装置の図示は省略するが、図１８の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０２１９】
図２１のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、学習に使われる、パラメータｒ，ｚの値を選択する。そして、ステップＳＴ５３で、全てのパラメータｒ，ｚの値の組み合わせに対して学習が終わったか否かを判定する。全ての組み合わせに対して学習が終わっていないときは、ステップＳＴ５４に進む。
【０２２０】
このステップＳＴ５４では、既知のＨＤ信号を１フレーム分または１フィールド分入力する。そして、ステップＳＴ５５で、全てのフレームまたはフィールドのＨＤ信号について処理が終了したか否かを判定する。終了したときは、ステップＳＴ５２に戻って、次のパラメータｒ，ｚの値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ５６に進む。
【０２２１】
このステップＳＴ５６では、ステップＳＴ５４で入力されたＨＤ信号より、ステップＳＴ５２で選択されたパラメータｒ，ｚの値に対応した周波数特性およびノイズ加算量を持つＳＤ信号を生成する。そして、ステップＳＴ５７で、ステップＳＴ５６で生成されたＳＤ信号より、ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ５８で、ステップＳＴ５４で入力されたＨＤ信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ５４に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ５９に進む。
【０２２２】
このステップＳＴ５９では、ステップＳＴ５７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ６０で、正規方程式（（３３）式参照）を生成する。その後に、ステップＳＴ５７に戻る。
【０２２３】
また、ステップＳＴ５３で、パラメータｒ，ｚの値の全ての組み合わせに対して学習が終わったときは、ステップＳＴ６１に進む。このステップＳＴ６１では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ６２で、その係数種データをメモリに保存し、その後にステップＳＴ６３で、処理を終了する。
【０２２４】
このように、図２１に示すフローチャートに沿って処理をすることで、図１８に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
【０２２５】
なお、上述実施の形態においては、パラメータが、解像度を調整するためのパラメータｒとノイズ除去度を調整するためのパラメータｚであるものを示したが、パラメータはこれに限定されるものではない。例えば、解像度を調整するためのパラメータｒを、さらに水平方向の解像度を調整するパラメータｈと垂直方向の解像度を調整するためのパラメータｖとに分けたものも考えられる。
【０２２６】
また、入力画像信号の一部領域を処理してズーム画像を得る場合には、画像の拡大率に応じて、入力画像信号の画素に対して位相の異なった画素データを順次生成していく必要がある。その場合に、水平、垂直の位相情報ｈ，ｖをパラメータとして、推定式によって画素データを生成することが考えられる。その場合に、上述実施の形態と同様にして、この位相情報ｈ，ｖに対応した動きクラスＭＶを得ることで、生成される画素データの精度を高めることができる。
【０２２７】
また、上述実施の形態においては、情報メモリバンク１３５に係数種データを記憶しておき、係数生成回路１３６では、この係数種データを用いて、（４）式の生成式に基づき、パラメータｒ，ｚに対応した係数データＷｉを生成し、この係数データＷｉを推定式で用いるものを示した。
【０２２８】
しかし、パラメータｒ，ｚの値の全ての組み合わせについての係数データを記憶しておき、システムコントローラ１０１より供給されるパラメータｒ，ｚの値に対応した係数データＷｉを読み出して使用するようにしてもよい。この場合、情報メモリバンク１３５に記憶されるパラメータｒ，ｚの値の各組み合わせの係数データＷｉは、パラメータｒ，ｚの値の各組み合わせで得られるＳＤ信号のそれぞれについて学習を行うことで求めることができる。
【０２２９】
また、上述実施の形態においては、出力画像信号Ｖoutの画素データを生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２３０】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２３１】
また、上述実施の形態としては、空間アクティビティとして空間勾配を用いたものであるが、他の空間アクティビティ、例えばダイナミックレンジ等を用いることも考えられる。
【０２３２】
【発明の効果】
この発明によれば、部分画像に関する空間アクティビティが属する区間に対応した閾値決定用の値を用いて閾値を発生し、部分画像に関するフレーム間差分をこの閾値と比較して部分画像の動きクラスを決定するものにあって、閾値決定用の値を所定のパラメータを含む生成式によって生成するものであり、所定のパラメータの値に対応した動きクラスを決定できる。
【０２３３】
また、この発明によれば、第１の情報信号を第２の情報信号に変換する際に、第２の画像信号における注目位置の画素データを、その画素データが属するクラスおよび所定のパラメータの値に対応して生成するものにあって、第１の画像信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データを選択し、その選択された画素データに基づいてフレーム間差分および空間アクティビティを検出し、所定のパラメータを含む生成式に基づいて空間アクティビティが属する区間に対応した閾値決定用の値を生成し、この閾値決定用の値を用いて空間アクティビティに対応した閾値を発生し、フレーム間差分をこの閾値と比較して動きクラスを決定するものであり、所定のパラメータの値に対応した動きクラスを決定でき、第２の画像信号における注目位置の画素データを精度よく生成できる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】画質を調整するためのユーザインタフェース例を示す図である。
【図３】調整画面を拡大して示した図である。
【図４】５２５ｉ信号と５２５ｐ信号の画素位置関係を説明するための図である。
【図５】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【図６】５２５ｐ信号を出力する場合のライン倍速処理を説明するための図である。
【図７】動き判定部の構成を示すブロック図である。
【図８】動きクラスタップを示す図である。
【図９】動きクラスＭＪを決定する論理を示す図である。
【図１０】空間勾配、フレーム間差分、閾値、動きクラスの関係を示す図である。
【図１１】動き判定処理を示すフローチャートである。
【図１２】多数決判定部の構成を示すブロック図である。
【図１３】動きクラスの多数決判定処理に使用するタップを示す図である。
【図１４】動きクラスの多数決判定処理のモードを示す図である。
【図１５】多数決判定処理を示すフローチャートである。
【図１６】空間勾配、フレーム間差分、閾値、動きクラスの関係を示す図である。
【図１７】係数種データの生成方法の一例の概念を示す図である。
【図１８】係数種データ生成装置の構成を示すブロック図である。
【図１９】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図２０】画像信号処理を示すフローチャートである。
【図２１】係数種データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０７・・・外部入力端子、１０９・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・線順次変換回路、１３０〜１３３・・・レジスタ、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３７・・・正規化係数生成回路、１３８・・・正規化係数メモリ、１５０・・・係数種データ生成装置、２００・・・リモコン送信機、３００・・・画像信号処理装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion determination device and a motion determination method, an image signal processing device using the same, and a program for executing each method.
[0002]
Specifically, the present invention generates a threshold value using a threshold determination value corresponding to a section to which a spatial activity related to the partial image belongs, and compares the inter-frame difference related to the partial image with this threshold value to determine the motion class of the partial image. This is related to a motion determination device or the like that can determine a motion class corresponding to a value of a predetermined parameter by generating a threshold determination value using a generation formula including the predetermined parameter. is there.
[0003]
Further, according to the present invention, when the first information signal is converted into the second information signal, the pixel data at the target position in the second image signal corresponds to the class to which the pixel data belongs and the value of a predetermined parameter. A plurality of pieces of pixel data located around the position of interest in the second image signal based on the first image signal, and an inter-frame difference based on the selected pixel data. And detecting a spatial activity, generating a threshold value corresponding to the section to which the spatial activity belongs based on a generation formula including a predetermined parameter, and using the threshold value to determine a threshold value corresponding to the spatial activity. The motion class corresponding to the value of the predetermined parameter can be determined by determining the motion class by comparing the inter-frame difference with this threshold. Pixel data of the target position in the image signal of which relate to precisely generate it as the image signal processing device or the like.
[0004]
[Prior art]
In image processing such as image processing that converts an input image signal into a different scanning line structure and high-efficiency encoding that compresses the input image signal, motion determination is used to determine the motion of the target portion of the image. In a conventional motion determination apparatus, the sum of absolute values of inter-frame differences is obtained for an image portion (for example, a block obtained by subdividing an image of one frame), and the motion class of the image portion is determined based on the magnitude of the sum of absolute values. I was doing.
[0005]
In this conventional motion determination, the motion class is determined using only the inter-frame difference, and there is a risk of erroneous determination of the motion class. For example, even if it is actually close to a still image, if the activity in the field is large, the inter-frame difference becomes large, and there is a possibility that the motion class with a large motion is determined. Also, for example, even when the image is actually close to a moving image, if the in-field activity is small, the inter-frame difference is small, and there is a possibility that the class is determined to have a small motion.
[0006]
Therefore, in the present application, first, a threshold value is generated using a value for determining a threshold value corresponding to a section to which a spatial activity related to a partial image belongs, and an inter-frame difference related to the partial image is compared with this threshold value. A motion determination device has been proposed in which the motion class is determined to reduce the risk of error in determining the motion class (see Patent Document 1).
[0007]
In addition, when the applicant first converts the first information signal into the second information signal, the applicant assigns the pixel data of the target position in the second image signal to the class to which the pixel data belongs and a predetermined parameter. Proposed an image signal processing device that generates a signal corresponding to the value of Japanese Patent Application Laid-Open No. H10-260707 (Patent Document 2). The predetermined parameters in this case are for selecting the resolution and the noise removal degree, for example.
[0008]
[Patent Document 1]
JP 2000-59740 A
[Patent Document 2]
JP 2002-218414 A
[0009]
[Problems to be solved by the invention]
In the motion determination apparatus described above, the threshold value for determination corresponding to the section to which the spatial activity related to the partial image belongs is fixed. Therefore, when this motion determination device is applied to the above-described image signal processing device, even if the parameter value is changed and the resolution and the noise removal degree are changed, if the interval to which the spatial activity belongs is the same, the threshold value is set. The decision value does not change. Therefore, depending on the parameter value, the optimal motion class cannot be determined, and there is a possibility that the pixel data of the target position in the second image signal cannot be generated with high accuracy.
[0010]
An object of the present invention is to provide a motion determination device or the like that can determine a motion class corresponding to a predetermined parameter value. It is another object of the present invention to provide an image signal processing apparatus and the like that can determine a motion class corresponding to a value of a predetermined parameter and can accurately generate pixel data of a target position in a second image signal.
[0011]
[Means for Solving the Problems]
  The motion determination apparatus according to the present invention uses a class classification representing a degree of motion related to a partial image of an input image signal as a motion class.,To find the movement classAs the spatial gradient of the partial image obtained by the sum of the absolute values of the difference between frames of the partial imageFirst detection means for detecting spatial activity, resolution of input image signal and degree of noise removalThe value determined when adjusting is used when determining the motion classThe value of the parameterAsParameter input means for input;Consists of more pixels than the input image signalTeacher signalThe first pixel data obtained by the following, and located around the target position of the first pixel data,The frequency characteristics and noise amount of the decimation filter can be changed according to the parameters input by the parameter input means.Obtained byStudent signalA normal equation is generated for each class from the second pixel data consisting of the above, the class code indicating the class to which the first pixel data of the target position belongs, and the parameters, and the motion class is solved by solving the generated normal equation Coefficient data for obtaining a value for determining a threshold value used when detectingA first memory means for storing coefficient data and a spatial activity detected by the first detection means belong toHad lower and upper values defined by parameter values and multiple values generated by coefficient dataSection determination means for determining the section, coefficient data stored in the first memory means, and parameter values input by the parameter input means,Values corresponding to the lower and upper end values of the intervalThreshold valueAsBy substituting into the generation formula to be generated and performing a product-sum operation, the lower end value and upper end to which the spatial activity determined by the section determination means belongsIn valueMeans for generating a corresponding threshold value, and lower and upper limits of the section to which the spatial activity generated by the means belongsIn valueUsing the corresponding threshold value and the location information for defining the section to which the spatial activity belongsBy linear interpolation according to each section to which the spatial activity belongsCalculationI doAccordingly, threshold generating means for generating one or a plurality of thresholds corresponding to the spatial activity detected by the first detecting means, and second detecting means for detecting the inter-frame difference regarding the partial image of the input image signal, And a means for comparing the inter-frame difference detected by the second detection means with one or a plurality of threshold values generated by the threshold value generation means and determining a motion class of the partial image corresponding to the parameter value. It is.
[0012]
  In the motion determination method according to the present invention, a class classification representing a degree of motion related to a partial image of an input image signal is defined as a motion class.,To find the movement classAs the spatial gradient of the partial image obtained by the sum of the absolute values of the difference between frames of the partial imageSteps to detect spatial activity and the resolution and noise reduction of the input image signalThe value determined when adjusting is used when determining the motion classThe value of the parameterAsStep to enter,Consists of more pixels than the input image signalTeacher signalThe first pixel data obtained by the following, and located around the target position of the first pixel data,The frequency characteristics and noise amount of the decimation filter can be changed according to the input parameters of the teacher signal.Obtained byStudent signalA normal equation is generated for each class from the second pixel data consisting of the above, the class code indicating the class to which the first pixel data of the target position belongs, and the parameters, and the motion class is solved by solving the generated normal equation Coefficient data for obtaining the threshold value used when detectingSteps required for each class and the detected spatial activity belongs toHas lower and upper values defined by parameter values and multiple values generated by coefficient dataThe step of determining the interval, the obtained coefficient data and the value of the input parameter areValues corresponding to the lower and upper end values of the intervalThreshold valueAsBy assigning to the generated expression and performing a product-sum operation, the lower end value and upper end to which the determined spatial activity belongsIn valueA step of generating a corresponding threshold value and a lower limit value and an upper limit of the section to which the generated spatial activity belongsIn valueUsing the corresponding threshold value and the location information for defining the section to which the spatial activity belongsBy linear interpolation according to each section to which the spatial activity belongsCalculationI doGenerating one or more thresholds corresponding to the detected spatial activity, detecting an inter-frame difference related to the partial image of the input image signal, and generating one or more detected inter-frame differences. Determining a motion class of the partial image corresponding to the parameter value by comparing with a plurality of threshold values.
[0013]
A program according to the present invention is for causing a computer to execute the motion determination method described above.
[0014]
In the present invention, the inter-frame difference regarding the partial image of the input image signal is detected, and the spatial activity regarding the partial image is detected. Based on the detected spatial activity, a section to which the spatial activity belongs is determined. Then, one or a plurality of threshold values corresponding to the detected spatial activity are generated using a threshold value determination value corresponding to the determined section.
[0015]
In this case, each threshold value is generated using a corresponding threshold value determination value. For example, threshold values corresponding to both ends of a section are prepared as threshold determination values, and threshold values corresponding to spatial activities detected by linear interpolation are generated. Then, the detected inter-frame difference is compared with a generated threshold value, and the motion class of the partial image is determined.
[0016]
The above-described threshold value determination value is generated by a generation formula including a predetermined parameter. That is, the coefficient data of this generation formula and the input parameter value are used, and a threshold value is generated based on the generation formula. Thereby, the motion class corresponding to the value of a predetermined parameter can be determined. This predetermined parameter is for selecting, for example, the resolution and the degree of noise removal.
[0017]
Further, a value for defining the section may be generated based on the generation formula including the predetermined parameter described above. Thereby, the motion class corresponding to the value of the predetermined parameter can be determined better.
[0018]
  The image signal processing apparatus according to the present invention inputs a first image signal composed of a plurality of pixel data.And a motion class tap when converting to a second pixel signal having the same or larger number of pixels as the first pixel signal.According to the tap position information,First data selection means for selecting pixel data in a plurality of first image signals located around a target pixel position in the second image signal, and resolution and noise removal degree of the input image signalThe value determined when adjusting is used when determining the motion classParameter input means for inputting as a parameter value; class detecting means for detecting a class to which pixel data of a target position in the second image signal belongs based on a plurality of pixel data selected by the first data selecting means; Coefficient data used in the estimation formula for calculating pixel data of the target position in the second image signal is generated corresponding to the class value detected by the class detection means and the parameter value input by the parameter input means. A coefficient data generating means for performing a sum-of-products operation on the basis of an estimation equation for the pixel data value of the first image signal corresponding to the position of interest and the coefficient data generated corresponding to the detected class; The pixel data generating means for generating pixel data of the target position and the class and parameter input means detected by the class detecting means Pixel data generating means for generating pixel data at the position of interest in the second image signal corresponding to the value of the parameter, and the class detecting means is configured to detect the pixel based on the selected plurality of pixel data. The class classification that represents the degree of movement related to the data is the movement class.,To find the movement classAs the spatial gradient of the pixel data obtained by the sum of the absolute values of the inter-frame differences of the pixel dataFirst detection means for detecting spatial activity and a teacher signal corresponding to the second image signalThe first pixel data obtained by the following, and located around the target position of the first pixel data,The frequency characteristics and noise amount of the decimation filter can be changed according to the parameters input by the parameter input means.Obtained byStudent signalGenerating a normal equation for each class from the second pixel data consisting of the above, a class code indicating a class to which the first pixel data located around the target position belongs, and a parameter, and solving the generated normal equation To obtain the threshold value used when detecting the motion classA first memory means for obtaining coefficient data and storing the obtained coefficient data; and a spatial activity detected by the first detection means,Has lower and upper values defined by parameter values and multiple values generated by coefficient dataSection determination means for determining the section, coefficient data stored in the first memory means, and parameter values input by the parameter input means,Values corresponding to the lower and upper end values of the intervalThreshold valueAsBy substituting into the generation formula to be generated and performing a product-sum operation, the lower end value and upper end to which the spatial activity determined by the section determination means belongsIn valueMeans for generating a corresponding threshold value, and lower and upper limits of the section to which the spatial activity generated by the means belongsIn valueUsing the corresponding threshold value and the location information for defining the section to which the spatial activity belongs, By performing linear interpolation according to each section to which the spatial activity belongsThreshold generation means for generating one or a plurality of threshold values corresponding to the spatial activity detected by the first detection means, and second detection means for detecting inter-frame differences based on the selected plurality of pixel data And the difference between frames detected by the second detection means is compared with one or a plurality of threshold values generated by the threshold value generation means to correspond to the parameter valueimage dataAnd a means for determining a motion class.
[0019]
  The image signal processing method according to the present invention also inputs a first image signal composed of a plurality of pixel data.And a motion class tap when converting to a second pixel signal having the same or larger number of pixels as the first pixel signal.According to the tap position information,A step of selecting pixel data in a plurality of first image signals located around a target pixel position in the second image signal, and a resolution and a noise removal degree of the input image signalThe value determined when adjusting is used when determining the motion classObtaining as parameter values; detecting a class to which pixel data at a position of interest in the second image signal belongs based on a plurality of selected pixel data;GetIs used in an estimation formula for calculating pixel data of a target position in the second image signal corresponding to the value of the determined parameter.Person in chargeThe product of the numerical data, the value of the pixel data of the first image signal corresponding to the position of interest, and the coefficient data generated corresponding to the detected class, by performing a product-sum operation based on the estimation formula, Generating pixel data for the position, the detected class andGetGenerating pixel data of a target position in the second image signal in accordance with the parameter value, and detecting the class based on the plurality of selected pixel data. The class classification that represents the degree of movement related to the data is the movement class.,To find the movement classAs the spatial gradient of the pixel data obtained by the sum of the absolute values of the inter-frame differences of the pixel dataDetecting spatial activity and a teacher signal corresponding to the second image signalThe first pixel data obtained by the following, and located around the target position of the first pixel data,Teacher signalGetThe frequency characteristics and noise amount of the decimation filter can be changed according to the parametersObtained byStudent signalGenerating a normal equation for each class from the second pixel data consisting of the above, a class code indicating a class to which the first pixel data located around the target position belongs, and a parameter, and solving the generated normal equation To obtain the threshold value used when detecting the motion classObtaining coefficient data, and the detected spatial activity belongs,Has lower and upper values defined by parameter values and multiple values generated by coefficient dataA step of determining the interval, the obtained coefficient data, andGetThe value of the specified parameter,Values corresponding to the lower and upper end values of the intervalThreshold valueAsBy assigning to the generated expression and performing a product-sum operation, the lower end value and upper end to which the determined spatial activity belongsIn valueA step of generating a corresponding threshold value and a lower limit value and an upper limit of the section to which the generated spatial activity belongsIn valueUsing the corresponding threshold value and the location information for defining the section to which the spatial activity belongs, By performing linear interpolation according to each section to which the spatial activity belongsGenerating one or more thresholds corresponding to the detected spatial activity, detecting an inter-frame difference based on the selected plurality of pixel data, and generating the detected inter-frame difference Corresponds to the value of a parameter compared to one or more thresholdsimage dataDetermining a motion class of the.
[0020]
A program according to the present invention is a program for causing a computer to execute the above-described image signal processing method.
[0021]
In the present invention, a plurality of pixel data located around the target position in the second image signal is selected from the first image signal, and the target position in the second image signal is selected based on the plurality of pixel data. The class to which the pixel data belongs is detected.
[0022]
In addition, a value of a predetermined parameter is input. This predetermined parameter is for selecting, for example, the resolution and the degree of noise removal. Corresponding to the input parameter value and the detected class, pixel data of the target position in the second image signal is generated.
[0023]
For example, coefficient seed data that is coefficient data in a generation formula for generating coefficient data used in an estimation formula obtained in advance for each class is stored in the memory means, and this coefficient seed data and the input parameter Are used to generate coefficient data of an estimation formula corresponding to the detected class and the input parameter value, and around the position of interest in the second image signal based on the first image signal signal A plurality of pieces of pixel data located at is selected, and information data of the target position is generated based on the estimation formula using the coefficient data and the plurality of pieces of pixel data.
[0024]
Further, for example, coefficient data of an estimation formula generated in advance for each combination of class and parameter values is stored in a memory, and an estimation formula corresponding to a detected class and an input parameter value is stored in this memory. The coefficient data is read, and a plurality of pixel data located around the position of interest in the second image signal is selected based on the first image signal, and an estimation formula is used using the coefficient data and the plurality of pixel data. Based on, information data of the target position is generated.
[0025]
The above-described class includes at least a motion class as a constituent element. This motion class is determined as follows.
[0026]
Based on a plurality of pixel data, an inter-frame difference is detected and a spatial activity is detected. Then, based on the detected spatial activity, a section to which the spatial activity belongs is determined, and one or more corresponding to the detected spatial activity is determined using a threshold value for determination corresponding to the determined section. Thresholds are generated.
[0027]
In this case, each threshold value is generated using a corresponding threshold value determination value. For example, threshold values corresponding to both ends of a section are prepared as threshold determination values, and threshold values corresponding to spatial activities detected by linear interpolation are generated. Then, the motion class is determined by comparing the detected inter-frame difference with the generated threshold.
[0028]
The threshold determination value is generated by a generation formula including the predetermined parameter described above. That is, the coefficient data of this generation formula and the input parameter value are used, and a threshold value is generated based on the generation formula. Thereby, the motion class corresponding to the value of the predetermined parameter can be determined, and the pixel data of the target position in the second image signal can be generated with high accuracy.
[0029]
Further, a value for defining the section may be generated based on the generation formula including the predetermined parameter described above. Thereby, the motion class corresponding to the value of the predetermined parameter can be determined better.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a television receiver 100 as an embodiment. The television receiver 100 obtains a 525i signal as an SD (Standard Definition) signal from a broadcast signal, converts the 525i signal into a 525p signal or 1050i signal as an HD (High Definition) signal, and the 525p signal or 1050i signal. The image by is displayed.
[0031]
Here, the 525i signal means an interlaced image signal with 525 lines, the 525p signal means a progressive (non-interlaced) image signal with 525 lines, and 1050i The signal means an interlaced image signal having 1050 lines.
[0032]
The television receiver 100 includes a microcomputer, and includes a system controller 101 for controlling the operation of the entire system, and a remote control signal receiving circuit 102 that receives a remote control signal. The remote control signal receiving circuit 102 is connected to the system controller 101, receives a remote control signal RM output from the remote control transmitter 200 according to a user operation, and supplies an operation signal corresponding to the signal RM to the system controller 101. Is configured to do.
[0033]
Further, the television receiver 100 is supplied with a receiving antenna 105 and a broadcast signal (RF modulated signal) captured by the receiving antenna 105, and performs a channel selection process, an intermediate frequency amplification process, a detection process, and the like. A tuner 106 for obtaining a signal Va (525i signal), an external input terminal 107 for inputting an SD signal Vb (525i signal) from the outside, and a selector switch 108 for selectively outputting one of these SD signals Va and Vb; A buffer memory 109 for temporarily storing the SD signal output from the changeover switch 108;
[0034]
The SD signal Va output from the tuner 106 is supplied to the fixed terminal on the a side of the changeover switch 108, and the SD signal Vb input from the external input terminal 107 is supplied to the fixed terminal on the b side of the changeover switch 108. The switching operation of the changeover switch 108 is controlled by the system controller 101.
[0035]
The television receiver 100 also converts the SD signal (525i signal) temporarily stored in the buffer memory 109 into an HD signal (525p signal or 1050i signal), and the image signal processing unit. A display unit 111 that displays an image based on an HD signal output from 110, and an OSD (On Screen Display) circuit 112 for generating a display signal SCH for displaying a character graphic or the like on the screen of the display unit 111 And a synthesizer 113 for synthesizing the display signal SCH with the HD signal output from the image signal processing unit 110 and supplying it to the display unit 111.
[0036]
The display unit 111 is configured by a flat panel display such as a CRT (cathode-ray tube) display or an LCD (liquid crystal display). Further, the generation operation of the display signal SCH in the OSD circuit 112 is controlled by the system controller 101.
[0037]
The operation of the television receiver 100 shown in FIG. 1 will be described.
When the mode for displaying an image corresponding to the SD signal Va output from the tuner 106 is selected by the operation of the user's remote control transmitter 200, the changeover switch 108 is connected to the a side under the control of the system controller 101. The SD signal Va is output from the changeover switch 108. On the other hand, when the mode for displaying an image corresponding to the SD signal Vb input to the external input terminal 107 is selected by the user's operation of the remote control transmitter 200, the changeover switch 108 is connected to the b side under the control of the system controller 101. Then, the SD signal Vb is output from the changeover switch 108.
[0038]
The SD signal (525i signal) output from the changeover switch 108 is stored in the buffer memory 109 and temporarily saved. The SD signal temporarily stored in the buffer memory 109 is supplied to the image signal processing unit 110 and converted into an HD signal (525p signal or 1050i signal). That is, the image signal processing unit 110 obtains pixel data (hereinafter referred to as “HD pixel data”) that constitutes an HD signal from pixel data (hereinafter referred to as “SD pixel data”) that constitutes an SD signal. Here, the selection of the 525p signal or the 1050i signal is performed by the user's operation of the remote control transmitter 200. The HD signal output from the image signal processing unit 110 is supplied to the display unit 111 via the synthesizer 113, and an image based on the HD signal is displayed on the screen of the display unit 111.
[0039]
In addition, the user can smoothly and smoothly adjust the resolution and noise removal level of the image displayed on the screen of the display unit 111 as described above by operating the remote control transmitter 200 without being described above. As will be described later, the image signal processing unit 110 calculates the HD pixel data by an estimation formula. As the coefficient data of the estimation formula, a parameter r that determines the resolution adjusted by the user's operation of the remote control transmitter 200 is used. The one corresponding to the parameter z that determines the noise removal degree is generated and used by a generation formula including these parameters r and z. As a result, the resolution of the image and the degree of noise removal by the HD signal output from the image signal processing unit 110 correspond to the adjusted parameters r and z.
[0040]
FIG. 2 shows an example of a user interface for adjusting the parameters r and z. At the time of adjustment, an adjustment screen 115 in which the adjustment positions of the parameters r and z are indicated by an asterisk icon 115a is displayed on the display unit 111 as an OSD. The remote control transmitter 200 also includes a joystick 200a as user operation means.
[0041]
The user can move the position of the icon 115a on the adjustment screen 115 by operating the joystick 200a, and can arbitrarily adjust the values of the parameters r and z. FIG. 3 shows an enlarged view of the adjustment screen 115. The value of the parameter z that determines the degree of noise removal is adjusted by moving the icon 115a left and right, while the value of the parameter r that determines the resolution is adjusted by moving the icon 115a up and down.
[0042]
The user can adjust the parameters r and z with reference to the adjustment screen 115 displayed on the display unit 111 (see FIG. 2), and can easily perform the adjustment. The values of the parameters r and z adjusted by the user may be displayed numerically on the adjustment screen 115.
[0043]
Next, details of the image signal processing unit 110 will be described. The image signal processing unit 110 selectively selects data of a plurality of SD pixels located around the target position in the HD signal (1050i signal or 525p signal) from the SD signal (525i signal) stored in the buffer memory 109. The first to third tap selection circuits 121 to 123 for taking out and outputting the data.
[0044]
The first tap selection circuit 121 selectively extracts data of SD pixels (referred to as “prediction taps”) used for prediction. The second tap selection circuit 122 selectively extracts data of SD pixels (referred to as “space class taps”) used for class classification corresponding to the level distribution pattern of the SD pixel data. The third tap selection circuit 123 selectively extracts data of SD pixels (referred to as “motion class taps”) used for class classification corresponding to motion. When the space class is determined using SD pixel data belonging to a plurality of fields, motion information is also included in this space class.
[0045]
FIG. 4 shows the pixel positional relationship of the odd (o) field of a certain frame (F) of the 525i signal and the 525p signal. A large dot is a 525i signal pixel, and a small dot is a 525p signal pixel. In the even (e) field, the lines of the 525i signal are spatially shifted by 0.5 lines. As can be seen from FIG. 4, the pixel data of the 525p signal includes line data L1 at the same position as the line of the 525i signal and line data L2 at an intermediate position between the upper and lower lines of the 525i signal. The number of pixels in each line of the 525p signal is twice the number of pixels in each line of the 525i signal.
[0046]
FIG. 5 shows the pixel position relationship of a frame (F) with a 525i signal and a 1050i signal. The pixel position of the odd (o) field is indicated by a solid line, and the pixel position of the even (e) field is indicated by a broken line. ing. A large dot is a 525i signal pixel, and a small dot is a 1050i signal pixel. As can be seen from FIG. 5, the pixel data of the 1050i signal includes line data L1, L1 ′ at positions close to the line of the 525i signal and line data L2, L2 ′ at positions far from the line of the 525i signal. Here, L1 and L2 are line data of odd fields, and L1 'and L2' are line data of even fields. The number of pixels in each line of the 1050i signal is twice the number of pixels in each line of the 525i signal.
[0047]
Returning to FIG. 1 again, the image signal processing unit 110 detects the level distribution pattern of the space class tap data (SD pixel data) selectively extracted by the second tap selection circuit 122, and this level distribution pattern. And a space class detection circuit 124 for detecting the space class and outputting the class information.
[0048]
The space class detection circuit 124 uses, for example, ADRC (Adaptive Dynamic Range Coding). In ADRC, when the maximum value of the space class tap data is MAX, the minimum value is MIN, the dynamic range of the space class tap data is DR (MAX-MIN + 1), and the number of requantization bits is P, the space class tap data A requantized code Qi is obtained for the data ki by the calculation of the equation (1). However, in the expression (1), [] means a truncation process. When there are Na pixel data as space class tap data, i = 1 to Na.
Qi = [(ki−MIN + 0.5) × 2^P÷ DR] (1)
[0049]
Also, the image signal processing unit 110 detects a motion class MV mainly representing the degree of motion from the motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 123, A motion class detection circuit 125 that outputs the motion class MV is provided.
[0050]
In the present embodiment, the motion class MV is 2-bit information and takes a value of 0 to 3. The motion class detection circuit 125 is supplied with the values of the parameters r and z from the system controller 101. Thereby, the motion class MV corresponding to the values of the parameters r and z can be obtained from the motion detection circuit 125. Details of the motion class detection circuit 125 will be described later.
[0051]
Also, the image signal processing unit 110 should be created based on the requantization code Qi as the class information of the space class output from the space class detection circuit 124 and the motion class MV output from the motion class detection circuit 125. A class combining circuit 126 is provided for obtaining a class code CL indicating a class to which pixel data (target pixel data) at a target position in an HD signal (525p signal or 1050i signal) belongs.
[0052]
In the class synthesis circuit 126, the calculation of the class code CL is performed by the equation (2). In equation (2), Na represents the number of space class tap data (SD pixel data), and P represents the number of requantization bits in ADRC.
[0053]
[Expression 1]

[0054]
The image signal processing unit 110 includes registers 130 to 133 and a coefficient memory 134. The line-sequential conversion circuit 129 described later needs to switch its operation between outputting a 525p signal and outputting a 1050i signal. The register 130 stores operation designation information for designating the operation of the line sequential conversion circuit 129. The line sequential conversion circuit 129 operates in accordance with the operation designation information supplied from the register 130.
[0055]
The register 131 stores tap position information of the prediction tap selected by the first tap selection circuit 121. The first tap selection circuit 121 selects a prediction tap according to the tap position information supplied from the register 131. In the tap position information, for example, a plurality of SD pixels that may be selected are numbered, and the number of the selected SD pixel is designated. The same applies to the following tap position information.
[0056]
The register 132 stores tap position information of the space class tap selected by the second tap selection circuit 122. The second tap selection circuit 122 selects a space class tap according to the tap position information supplied from the register 132.
[0057]
Here, the register 132 stores tap position information A when the movement is relatively small and tap position information B when the movement is relatively large. Which of the tap position information A and B is supplied to the second tap selection circuit 122 is selected by the motion class MV output from the motion class detection circuit 125.
[0058]
That is, when MV = 0 or MV = 1 because there is no movement or small movement, the tap position information A is supplied to the second tap selection circuit 122, and the second tap selection circuit 122 The selected space class tap extends over a plurality of fields. When MV = 2 or MV = 3 because the movement is relatively large, the tap position information B is supplied to the second tap selection circuit 122, and the space selected by the second tap selection circuit 122. The class tap is only an SD pixel in the same field as the pixel to be created.
[0059]
Note that the tap position information supplied to the first tap selection circuit 121 is also stored in the above-described register 131 so that the tap position information when the movement is relatively small and the tap position information when the movement is relatively large are stored. Information may be selected by the motion class MV output from the motion class detection circuit 125.
[0060]
The register 133 stores tap position information of the motion class tap selected by the third tap selection circuit 123. The third tap selection circuit 123 selects a motion class tap according to the tap position information supplied from the register 133.
[0061]
Furthermore, the coefficient memory 134 stores coefficient data of an estimation formula used in an estimated prediction calculation circuit 127 described later for each class. The coefficient data is information for converting a 525i signal as an SD signal into a 525p signal or a 1050i signal as an HD signal. The class code CL output from the class synthesis circuit 126 described above is supplied to the coefficient memory 134 as read address information. Coefficient data corresponding to the class code CL is read from the coefficient memory 134, and the estimated prediction calculation circuit 127. To be supplied.
[0062]
Further, the image signal processing unit 110 has an information memory bank 135. In the information memory bank 135, operation designation information for storing in the register 130 and tap position information for storing in the registers 131 to 133 are stored in advance.
[0063]
Here, as the operation designation information to be stored in the register 130, the information memory bank 135 has the first operation designation information for causing the line sequential conversion circuit 129 to operate so as to output the 525p signal, and the line sequential conversion. Second operation designation information for causing the circuit 129 to operate so as to output a 1050i signal is stored in advance.
[0064]
By operating the remote control transmitter 200, the user can select a first conversion method for outputting a 525p signal as an HD signal or a second conversion method for outputting a 1050i signal as an HD signal. The information memory bank 135 is supplied with selection information of the conversion method from the system controller 101, and the first operation specifying information or the second operation specifying information is loaded from the information memory bank 135 into the register 130 according to the selection information. The
[0065]
The information memory bank 135 also includes first tap position information corresponding to the first conversion method (525p) and second conversion method (1050i) as tap position information of the prediction tap to be stored in the register 131. ) Is stored in advance. From the information memory bank 135, the first tap position information or the second tap position information is loaded into the register 131 according to the selection information of the conversion method described above.
[0066]
Further, in the information memory bank 135, as tap position information of the space class tap to be stored in the register 132, the first tap position information corresponding to the first conversion method (525p) and the second conversion method ( The second tap position information corresponding to 1050i) is stored in advance. The first and second tap position information includes tap position information when the movement is relatively small and tap position information when the movement is relatively large. From the information memory bank 135, the first tap position information or the second tap position information is loaded into the register 132 according to the selection information of the conversion method described above.
[0067]
Further, in the information memory bank 135, as tap position information of the motion class tap to be stored in the register 133, the first tap position information corresponding to the first conversion method (525p) and the second conversion method ( The second tap position information corresponding to 1050i) is stored in advance. The first tap position information or the second tap position information is loaded from the information memory bank 135 to the register 133 according to the selection information of the conversion method described above.
[0068]
In addition, in the information memory bank 135, coefficient seed data of each class corresponding to each of the first and second conversion methods is stored in advance. The coefficient seed data is coefficient data of a generation formula for generating coefficient data to be stored in the coefficient memory 134 described above.
[0069]
In the estimated prediction calculation circuit 127 to be described later, the HD pixel data y to be generated is calculated from the prediction tap data (SD pixel data) xi and the coefficient data Wi read from the coefficient memory 134 by the estimation expression (3). Calculated. When the number of prediction taps selected by the first tap selection circuit 121 is 10, n in Equation (3) is 10.
[0070]
[Expression 2]

[0071]
The coefficient data Wi (i = 1 to n) of this estimation formula is generated by a generation formula including parameters r and z as shown in formula (4). In the information memory bank 135, coefficient seed data w which is coefficient data of this generation formula is stored._i0~ W_i9(I = 1 to n) are stored for each conversion method and for each class. A method for generating the coefficient seed data will be described later.
[0072]
[Equation 3]

[0073]
Further, the image signal processing unit 110 uses the coefficient seed data of each class and the values of the parameters r and z, and the coefficient data of the estimation formula corresponding to the values of the parameters r and z for each class according to the equation (4). A coefficient generation circuit 136 that generates Wi (i = 1 to n) is included. The coefficient generation circuit 136 is loaded with the coefficient seed data of each class corresponding to the first conversion method or the second conversion method from the information memory bank 135 according to the conversion method selection information described above. The coefficient generation circuit 136 is supplied with values of parameters r and z from the system controller 101.
[0074]
The coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation circuit 136 is stored in the coefficient memory 134 described above. The generation of coefficient data Wi for each class in the coefficient generation circuit 136 is performed, for example, in each vertical blanking period. Thus, even if the values of the parameters r and z are changed by the user's operation of the remote control transmitter 200, the coefficient data Wi of each class stored in the coefficient memory 134 corresponds to the values of the parameters r and z. The resolution and noise removal level can be adjusted smoothly by the user.
[0075]
Further, the image signal processing unit 110 calculates the normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation circuit 136 according to the equation (5). A generation circuit 137 and a normalization coefficient memory 138 that stores the normalization coefficient S generated here for each class are provided. The normalization coefficient memory 138 is supplied with the class code CL output from the above class synthesis circuit 126 as read address information, and the normalization coefficient S corresponding to the class code CL is read from the normalization coefficient memory 138. , And supplied to a normalization operation circuit 128 described later.
[0076]
[Expression 4]

[0077]
Further, the image signal processing unit 110 generates an HD to be generated from the prediction tap data (SD pixel data) xi selectively extracted by the first tap selection circuit 121 and the coefficient data Wi read from the coefficient memory 134. An estimated prediction calculation circuit 127 that calculates pixel data of the target position in the signal is provided.
[0078]
In the estimated prediction calculation circuit 127, when outputting the 525p signal, as shown in FIG. 4 described above, in the odd (o) field and the even (e) field, the line data L1 at the same position as the line of the 525i signal; It is necessary to generate line data L2 at an intermediate position between the upper and lower lines of the 525i signal and to double the number of pixels in each line. In addition, when the 1050i signal is output, the estimated prediction arithmetic circuit 127, as shown in FIG. 5 described above, in the odd (o) field and the even (e) field, the line data L1 at a position close to the line of the 525i signal. , L1 ′ and line data L2, L2 ′ at positions far from the line of the 525i signal, and the number of pixels in each line needs to be doubled.
[0079]
Therefore, in the estimated prediction calculation circuit 127, data of four pixels constituting the HD signal are generated simultaneously. For example, the data for four pixels are generated simultaneously using estimation formulas having different coefficient data, and coefficient data of each estimation formula is supplied from the coefficient memory 134. Here, in the estimated prediction calculation circuit 127, the HD pixel to be created from the prediction tap data (SD pixel data) xi and the coefficient data Wi read from the coefficient memory 134 by the above-described estimation formula (3). Data y is calculated.
[0080]
Further, the image signal processing unit 110 reads the HD pixel data y constituting the line data L1, L2 (L1 ′, L2 ′) output from the estimated prediction calculation circuit 127 from the normalization coefficient memory 138, A normalization operation circuit 128 that performs normalization by dividing by the normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) used for each generation is provided. Although not described above, the coefficient generation circuit 136 obtains the coefficient data of the estimation expression from the coefficient seed data by the generation expression. The generated coefficient data includes a rounding error, and the coefficient data Wi (i = 1 to n) There is no guarantee that the sum will be 1.0. Therefore, the HD pixel data y calculated by the estimated prediction calculation circuit 127 changes in level due to a rounding error. As described above, normalization by the normalization arithmetic circuit 128 can eliminate the fluctuation.
[0081]
Further, the image signal processing unit 110 performs line double speed processing for halving the horizontal period, and line data L1, L2 (L1 ′) supplied from the estimated prediction calculation circuit 127 via the normalization calculation circuit 128. , L2 ′) has a line-sequential conversion circuit 129 for line-sequentializing.
[0082]
FIG. 6 shows an analog waveform for line double speed processing when a 525p signal is output. As described above, the estimated prediction calculation circuit 127 generates line data L1 and L2. The line data L1 includes lines a1, a2, a3,... In order, and the line data L2 includes lines b1, b2, b3,. The line-sequential conversion circuit 129 compresses the data of each line by ½ in the time axis direction, and alternately selects the compressed data, thereby generating line-sequential outputs a0, b0, a1, b1,. Form.
[0083]
When outputting a 1050i signal, the line-sequential conversion circuit 129 generates line-sequential output so that the interlaced relationship is satisfied in the odd and even fields. Therefore, the line sequential conversion circuit 129 needs to switch its operation between outputting a 525p signal and outputting a 1050i signal. The operation designation information is supplied from the register 130 as described above.
[0084]
Next, the operation of the image signal processing unit 110 will be described.
From the SD signal (525i signal) stored in the buffer memory 109, the second tap selection circuit 122 selectively extracts space class tap data (SD pixel data). In this case, the second tap selection circuit 122 taps based on the conversion method selected by the user and the tap position information corresponding to the motion class detected by the motion class detection circuit 125, supplied from the register 132. Is selected.
[0085]
The space class tap data (SD pixel data) selectively extracted by the second tap selection circuit 122 is supplied to the space class detection circuit 124. In this space class detection circuit 124, each of the SD pixel data as space class tap data is subjected to ADRC processing and re-used as class information of the space class (mainly class classification for waveform expression in space). A quantization code Qi is obtained (see equation (1)).
[0086]
The third tap selection circuit 123 selectively extracts motion class tap data (SD pixel data) from the SD signal (525i signal) stored in the buffer memory 109. In this case, the third tap selection circuit 123 performs tap selection based on tap position information supplied from the register 133 and corresponding to the conversion method selected by the user.
[0087]
The motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 123 is supplied to the motion class detection circuit 125. The motion class detection circuit 125 obtains a motion class MV (mainly class classification for representing the degree of motion) from each SD pixel data as motion class tap data. The motion class detection circuit 126 is supplied with the values of the parameters r and z from the system controller 101. As a result, the motion class MV obtained by the motion detection circuit 126 corresponds to the parameters r and z.
[0088]
This motion class MV and the above-described requantization code Qi are supplied to the class synthesis circuit 126. In the class synthesis circuit 126, a class code CL indicating the class to which the pixel data at the target position in the HD signal (525p signal or 1050i signal) to be created belongs is obtained from the motion class MV and the requantization code Qi ( (See equation (2)). This class code CL is supplied to the coefficient memory 134 and the normalized coefficient memory 138 as read address information.
[0089]
In the coefficient memory 134, for example, coefficient data Wi (i = 1 to n) of estimation equations for each class corresponding to the values of the parameters r and z adjusted by the user and the conversion method in each vertical blanking period Generated by the generation circuit 136 and stored. Further, in the normalized coefficient memory 138, the normalized coefficient S corresponding to the coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation circuit 136 as described above is stored in the normalization coefficient generation circuit 137. Generated and stored.
[0090]
As described above, the class code CL is supplied to the coefficient memory 134 as read address information, whereby the coefficient data Wi corresponding to the class code CL is read from the coefficient memory 134 and supplied to the estimated prediction calculation circuit 127. . In addition, prediction tap data (SD pixel data) is selectively extracted by the first tap selection circuit 121 from the SD signal (525i signal) stored in the buffer memory 109. In this case, the first tap selection circuit 121 performs tap selection based on the tap position information supplied from the register 131 and corresponding to the conversion method selected by the user. The prediction tap data (SD pixel data) xi selectively extracted by the first tap selection circuit 121 is supplied to the estimated prediction calculation circuit 127.
[0091]
The estimated prediction calculation circuit 127 calculates pixel data (HD pixel data) y at the target position in the HD signal to be created from prediction tap data (SD pixel data) xi and coefficient data Wi read from the coefficient memory 134. (See equation (3)). In this case, data of four pixels constituting the HD signal are generated simultaneously.
[0092]
Thereby, when the first conversion method for outputting the 525p signal is selected, the line data L1 at the same position as the line of the 525i signal and the 525i signal in the odd (o) field and the even (e) field are selected. Line data L2 at an intermediate position between the upper and lower lines is generated (see FIG. 4). When the second conversion method for outputting the 1050i signal is selected, the line data L1, L1 'near the line of the 525i signal and the 525i in the odd (o) field and the even (e) field. Line data L2 and L2 'at positions far from the signal line are generated (see FIG. 5).
[0093]
Thus, the line data L1, L2 (L1 ′, L2 ′) generated by the estimated prediction calculation circuit 127 is supplied to the normalization calculation circuit 128. As described above, the class code CL is supplied to the normalization coefficient memory 138 as the read address information, so that the normalization coefficient S corresponding to the class code CL, that is, an output from the estimated prediction calculation circuit 127 is output from the normalization coefficient memory 138. The normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) used to generate the HD pixel data y constituting the line data L1, L2 (L1 ′, L2 ′) to be read is read out. This is supplied to the estimated prediction calculation circuit 127. In the normalization operation circuit 128, each HD pixel data y constituting the line data L1, L2 (L1 ′, L2 ′) output from the estimated prediction operation circuit 127 is divided by the corresponding normalization coefficient S and normalized. Is done. Thereby, the level fluctuation of the information data of the point of interest due to the rounding error when the coefficient data of the estimation formula (see formula (3)) is obtained by the generation formula (see formula (4)) using the coefficient seed data is removed.
[0094]
Thus, the line data L1, L2 (L1 ′, L2 ′) normalized by the normalization operation circuit 128 is supplied to the line sequential conversion circuit 129. In the line-sequential conversion circuit 129, the line data L1, L2 (L1 ′, L2 ′) is line-sequentially generated to generate an HD signal. In this case, the line-sequential conversion circuit 129 operates according to operation designation information supplied from the register 130 and corresponding to the conversion method selected by the user. For this reason, when the first conversion method (525p) is selected by the user, the line-sequential conversion circuit 129 outputs a 525p signal. On the other hand, when the second conversion method (1050i) is selected by the user, the line-sequential conversion circuit 129 outputs a 1050i signal.
[0095]
As described above, the coefficient generation circuit 136 uses the coefficient seed data loaded from the information memory bank 135, and for each class, coefficient data Wi (i = 1 to 1) of the estimation formula corresponding to the values of the parameters r and z. n) is generated and stored in the coefficient memory 134. Then, the HD pixel data y is calculated by the estimated prediction calculation circuit 127 using the coefficient data Wi (i = 1 to n) read from the coefficient memory 134 corresponding to the class code CL. Therefore, the user can smoothly and smoothly adjust the resolution of the image obtained from the HD signal and the degree of noise removal by adjusting the values of the parameters r and z. In this case, coefficient data of each class corresponding to the adjusted values of the parameters r and z is generated and used by the coefficient generation circuit 136 each time, and a memory for storing a large amount of coefficient data is required. And not.
[0096]
Further, the values of the parameters r and z described above are supplied to the motion class detection circuit 125, and the motion class MV corresponding to the values of the parameters r and z is obtained from the motion detection circuit 125. Accordingly, the motion class corresponding to the values of the parameters r and z is classified, and the HD pixel data y can be generated with high accuracy.
[0097]
Next, details of the motion class detection circuit 125 will be described. The motion class detection circuit 125 includes a motion determination unit 10 and a majority decision determination unit 50.
First, the motion determination unit 10 will be described. FIG. 7 shows the configuration of the motion determination unit 10.
The motion determination unit 10 has an input terminal 11 to which motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 123 (see FIG. 1) is input. In the present embodiment, as shown in FIG. 8, 50 pixels are selected as motion class taps. FIG. 8 shows pixels of three fields that are continuous in the time direction with t−1, t, and t + 1. The dots in FIG. 3 indicate pixels, and the position indicated by “x” indicates the position of interest in the HD signal to be created.
[0098]
In the t-1 field, five pixels are selected from each of the three consecutive lines. Similarly, in the t + 1 field, five pixels are selected from each of three consecutive lines. The spatial positions of the pixels selected in each of these t-1 and t + 1 fields are the same. In the t field (current field), five pixels are selected from each of the four consecutive lines. Because of the interlace method, the four lines in the t field are shifted from the lines in the t−1 and t + 1 fields by a ½ line interval.
[0099]
The motion determination unit 10 includes a spatial gradient detection circuit 12 that detects the spatial gradient SGsum based on the motion class tap data (SD pixel data) input to the input terminal 11. Here, the spatial gradient SGsum is the total value of the spatial gradient SG (t−1) of the t−1 field, the spatial gradient SGt of the t field, and the spatial gradient SG (t + 1) of the t + 1 field. This spatial gradient is one of spatial activities.
[0100]
The spatial gradient of each field is a value obtained by calculating a difference absolute value between each pixel and an adjacent pixel and summing them. For example, in the field of t−1, in the case of the pixel at the upper left corner, the pixel immediately below and the pixel on the right are adjacent pixels, and the absolute difference between the own pixel value and the pixel value of each adjacent pixel is calculated. . Similarly, with respect to other pixels, the absolute difference value between adjacent pixels in the vertical direction and the horizontal direction is calculated. Then, the spatial gradient SG (t−1) of the t−1 field is obtained by summing the absolute difference values regarding the 15 pixels. The spatial gradients SGt and SG (t + 1) of other fields are obtained in the same manner.
[0101]
The motion determination unit 10 also includes a section determination circuit 13 that determines a section to which the spatial gradient SGsum detected by the detection circuit 12 belongs, an intra-section position calculation circuit 14 that calculates the intra-section position information POS of the spatial gradient SGsum, and , Value A to define the interval₀~ A_Three(A₀<A₁<A₂<A_ThreeAnd a generation circuit 15 for generating
[0102]
The generation circuit 15 includes values of parameters r and z and coefficient data A supplied from the system controller 101 (see FIG. 1)._i1~ A_i3(I = 0 to 3) and based on the equations (6) to (9), the value A₀~ A_ThreeIs generated. Coefficient data A_i1~ A_i3(I = 0 to 3) is stored in the memory 16 in advance. The generation circuit 15 receives the coefficient data A from the memory 16._i1~ A_i3Is read and used.
[0103]
A₀= A₀₁+ A₀₂Xr + A₀₃Xz (6)
A₁= A₁₁+ A₁₂Xr + A₁₃Xz (7)
A₂= A_{twenty one}+ A_{twenty two}Xr + A_{twenty three}Xz (8)
A_Three= A₃₁+ A₃₂Xr + A₃₃Xz (9)
[0104]
The section determination circuit 13 uses the value A generated by the generation circuit 15 to generate the spatial gradient SGsum detected by the detection circuit 12.₀~ A_ThreeTo determine a section to which the spatial gradient SGsum belongs and output a determination signal SA. For example, A₀≦ SGsum <A₁When the spatial gradient SGsum belongs to the first section, SA = 0, A₁≦ SGsum <A₂When the spatial gradient SGsum belongs to the second section, SA = 1, A₂≦ SGsum <A_ThreeWhen the spatial gradient SGsum belongs to the third section, SA = 2, A_Three≦ SGsum, and SA = 3 when the spatial gradient SGsum belongs to the fourth section.
[0105]
The intra-section position calculation circuit 14 generates a value A generated by the generation circuit 15.₀~ A_ThreeBased on the determination signal SA output from the section determination circuit 13 and the spatial gradient SGsum detected by the detection circuit 12, intra-section position information POS of the spatial gradient SGsum is calculated. When the spatial gradient SGsum belongs to the first to third sections, the intra-section position calculation circuit 14 sets the lower end value of the section to AL and the upper end value to AH, and calculates the intra-section position based on the equation (10). Information POS is calculated.
POS = (SGsum−AL) / (AH−AL) (10)
[0106]
Further, the motion determination unit 10 generates a value for threshold determination based on the values of the parameters r and z supplied from the system controller 101 (see FIG. 1) and the determination signal SA output from the section determination circuit 13. Generation circuit 17_-1~ 17_-3And this generation circuit 17_-1~ 17_-3Threshold values th1 to th3 (th1> th2> th3) are calculated based on the threshold decision value output by the calculation unit 14, the intra-section position information POS calculated by the calculation circuit 14, and the determination signal SA output from the section determination circuit 13. Threshold calculation circuit 18 to calculate_-1~ 18_-3And have.
[0107]
Generation circuit 17_-1The threshold calculation circuit 18_-1The threshold value corresponding to the lower limit value and the upper limit value of the section indicated by the determination signal SA used in is generated as a threshold determination value. That is, when the spatial gradient SGsum belongs to the first section, the threshold value B corresponding to the lower end value and the upper end value, respectively._Ten, B₁₁Is generated. When the spatial gradient SGsum belongs to the second section, the threshold value B corresponding to the lower end value and the upper end value, respectively.₁₁, B₁₂Is generated. When the spatial gradient SGsum belongs to the third section, the threshold value B corresponding to the lower end value and the upper end value, respectively.₁₂, B₁₃Is generated. When the spatial gradient SGsum belongs to the fourth section, the threshold value B corresponding to the lower end value₁₃Is generated.
[0108]
Generation circuit 17_-1Are the values of the parameters r and z and the coefficient data B_1i1~ B_1i3(I = 0 to 3) and based on the equations (11) to (14), the threshold value B_Ten~ B₁₃Is generated. Coefficient data B_1i1~ B_1i3(I = 0-3) is stored in the memory 19_-1Stored in advance. Generation circuit 17_-1This memory 19_-1The coefficient data is read out from and used.
[0109]
B_Ten= B₁₀₁+ B₁₀₂Xr + B₁₀₃Xz (11)
B₁₁= B₁₁₁+ B₁₁₂Xr + B₁₁₃Xz (12)
B₁₂= B₁₂₁+ B₁₂₂Xr + B_{one two Three}Xz (13)
B₁₃= B₁₃₁+ B₁₃₂Xr + B₁₃₃Xz (14)
[0110]
The threshold calculation circuit 18_-1When the spatial gradient SGsum belongs to the first to third sections, the threshold corresponding to the lower end value of the section is BL, and the threshold corresponding to the upper end value of the section is BH, based on equation (15) The threshold th1 corresponding to the spatial gradient SGsum is calculated by linear interpolation, and when the spatial gradient SGsum belongs to the fourth section, the threshold th1 is set to the threshold B corresponding to the lower end value of the section regardless of the value of the spatial gradient SGsum.₁₃And
th1 = (BH−BL) × POS + BL (15)
[0111]
Similarly, the generation circuit 17_-2The threshold calculation circuit 18_-2The threshold value corresponding to the lower limit value and the upper limit value of the section indicated by the determination signal SA used in is generated as a threshold determination value. That is, when the spatial gradient SGsum belongs to the first section, the threshold value B corresponding to the lower end value and the upper end value, respectively.₂₀, B_{twenty one}Is generated. When the spatial gradient SGsum belongs to the second section, the threshold value B corresponding to the lower end value and the upper end value, respectively._{twenty one}, B_{twenty two}Is generated. When the spatial gradient SGsum belongs to the third section, the threshold value B corresponding to the lower end value and the upper end value, respectively._{twenty two}, B_{twenty three}Is generated. When the spatial gradient SGsum belongs to the fourth section, the threshold value B corresponding to the lower end value_{twenty three}Is generated.
[0112]
Generation circuit 17_-2Are the values of the parameters r and z and the coefficient data B_2i1~ B_2i3(I = 0 to 3) and based on the equations (16) to (19), the threshold B₂₀~ B_{twenty three}Is generated. Coefficient data B_2i1~ B_2i3(I = 0-3) is stored in the memory 19_-2Stored in advance. Generation circuit 17_-2This memory 19_-2The coefficient data is read out from and used.
[0113]
B₂₀= B₂₀₁+ B₂₀₂Xr + B₂₀₃Xz (16)
B_{twenty one}= B₂₁₁+ B₂₁₂Xr + B₂₁₃Xz (17)
B_{twenty two}= B₂₂₁+ B₂₂₂Xr + B₂₂₃Xz (18)
B_{twenty three}= B₂₃₁+ B₂₃₂Xr + B₂₃₃Xz (19)
[0114]
The threshold calculation circuit 18_-2When the spatial gradient SGsum belongs to the first to third sections, the threshold corresponding to the lower end value of the section is BL, and the threshold corresponding to the upper end value of the section is BH, based on equation (20) The threshold th2 corresponding to the spatial gradient SGsum is calculated by linear interpolation, and when the spatial gradient SGsum belongs to the fourth section, the threshold th2 corresponds to the lower end value of the section regardless of the value of the spatial gradient SGsum._{twenty three}And
th2 = (BH−BL) × POS + BL (20)
[0115]
Similarly, the generation circuit 17_-3The threshold calculation circuit 18_-3The threshold value corresponding to the lower limit value and the upper limit value of the section indicated by the determination signal SA used in is generated as a threshold determination value. That is, when the spatial gradient SGsum belongs to the first section, the threshold value B corresponding to the lower end value and the upper end value, respectively.₃₀, B₃₁Is generated. When the spatial gradient SGsum belongs to the second section, the threshold value B corresponding to the lower end value and the upper end value, respectively.₃₁, B₃₂Is generated. When the spatial gradient SGsum belongs to the third section, the threshold value B corresponding to the lower end value and the upper end value, respectively.₃₂, B₃₃Is generated. When the spatial gradient SGsum belongs to the fourth section, the threshold value B corresponding to the lower end value₃₃Is generated.
[0116]
Generation circuit 17_-3Are the values of the parameters r and z and the coefficient data B_3i1~ B_3i3(I = 0 to 3), and based on equations (21) to (24), threshold B₃₀~ B₃₃Is generated. Coefficient data B_3i1~ B_3i3(I = 0-3) is stored in the memory 19_-3Stored in advance. Generation circuit 17_-3This memory 19_-3The coefficient data is read out from and used.
[0117]
B₃₀= B₃₀₁+ B₃₀₂Xr + B₃₀₃Xz (21)
B₃₁= B₃₁₁+ B₃₁₂Xr + B₃₁₃Xz (22)
B₃₂= B₃₂₁+ B₃₂₂Xr + B₃₂₃Xz (23)
B₃₃= B₃₃₁+ B₃₃₂Xr + B₃₃₃Xz (24)
[0118]
The threshold calculation circuit 18_-When the spatial gradient SGsum belongs to the first to third sections, the threshold corresponding to the lower end value of the section is BL, and the threshold corresponding to the upper end value of the section is BH, based on equation (25) The threshold th3 corresponding to the spatial gradient SGsum is calculated by linear interpolation, and when the spatial gradient SGsum belongs to the fourth section, the threshold th3 is set to the threshold B corresponding to the lower end value of the section regardless of the value of the spatial gradient SGsum.₃₃And
th3 = (BH−BL) × POS + BL (25)
[0119]
Further, the motion determination unit 10 includes an inter-frame difference detection circuit 20 that detects an inter-frame difference FrG based on motion class tap data (SD pixel data) input to the input terminal 11.
[0120]
The inter-frame difference FrG is obtained by calculating the difference between each of the 15 pixel values in the t-1 field and the values of 15 pixels in the spatially same position in the t + 1 field. Is converted to an absolute value and the absolute values are summed.
[0121]
In addition, the motion determination unit 10 uses the inter-frame difference FrG detected by the detection circuit 20 as the threshold calculation circuit 18 described above._-1~ 18_-3Comparator 21 for comparing with the thresholds th1 to th3 calculated by_-1~ 21_-3have. These comparators 21_-1~ 21_-3Each outputs “1” as the output signals S1 to S3 when the interframe difference FrG is greater than or equal to the threshold value, and outputs “0” as the output signals S1 to S3 when the interframe difference FrG is smaller than the threshold value.
[0122]
In addition, the motion determination unit 10 includes a comparator 21._-1~ 21_-3The motion class determination circuit 22 for determining the motion class MJ based on the output signals S1 to S3 and the output terminal 23 for outputting the motion class MJ determined by the motion class determination circuit 22 are provided.
[0123]
The motion class determination circuit 22 sets MJ = 0 when FrG <th3 (S1 = 0, S2 = 0, S3 = 0), and th3 ≦ FrG <th2 (S1 = 0, S2 = 0, S3 = 1). ), MJ = 1. The motion class determination circuit 22 sets MJ = 2 when th2 ≦ FrG <th3 (S1 = 0, S2 = 1, S3 = 1), and th3 ≦ FrG (S1 = 1, S2 = 1, S3). = 1), MJ = 3. FIG. 9 shows the comparator 21_-1~ 21_-3The relationship between the output signals S1 to S3 and the motion class MJ is shown. The motion class MJ is output as 2-bit data.
[0124]
FIG. 10 shows the relationship between the spatial gradient SGsum, the inter-frame difference FrG, the thresholds th1 to th3, and the motion class MJ.
[0125]
The above-described memories 16, 19_-1~ 19_-3Coefficient data A stored in advance_i1~ A_i3, B_1i1~ B_1i3, B_2i1~ B_2i3, B_3i1~ B_3i3Is obtained empirically. That is, the coefficient data A is generated in a coefficient seed data generation apparatus described later._i1~ A_i3, B_1i1~ B_1i3, B_2i1~ B_2i3, B_3i1~ B_3i3The coefficient seed data w of each class stored in the information memory bank 135 is changed in various ways._i0~ W_i9Is generated. And each coefficient data A_i1~ A_i3, B_1i1~ B_1i3, B_2i1~ B_2i3, B_3i1~ B_3i3And coefficient seed data w_i0~ W_i91 is used in the image signal processing unit 110 in FIG. 1, and the coefficient data A when the image by the HD signal obtained corresponding to each value of the parameters r and z is satisfactory._i1~ A_i3, B_1i1~ B_1i3, B_2i1~ B_2i3, B_3i1~ B_3i3And coefficient seed data w_i0~ W_i9Is adopted.
[0126]
The operation of the motion determination unit 10 shown in FIG. 7 will be described.
The motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 123 (see FIG. 1) is input to the input terminal 11. The data of the motion class tap is supplied to the spatial gradient detection circuit 12. The detection circuit 12 detects the spatial gradient SGsum based on the motion class tap data. This spatial gradient SGsum is supplied to the section determination circuit 13 and the intra-section position calculation circuit 14.
[0127]
The generation circuit 15 is supplied with parameters r and z from the system controller 101 (see FIG. 1). The generation circuit 15 uses the parameters r and z and coefficient data A read from the memory 16._i1~ A_i3(I = 0 to 3) and a value A for defining the section based on the equations (6) to (9)₀~ A_Three(A₀<A₁<A₂<A_Three) Is generated. This value A₀~ A_ThreeIs supplied to the section determination circuit 13 and the intra-section position calculation circuit 14.
[0128]
The section determination circuit 13 uses the value A generated by the generation circuit 15 to generate the spatial gradient SGsum detected by the detection circuit 12.₀~ A_ThreeTo determine a section to which the spatial gradient SGsum belongs, and output a determination signal SA. In this case, A₀≦ SGsum <A₁When the spatial gradient SGsum belongs to the first section, SA = 0, A₁≦ SGsum <A₂When the spatial gradient SGsum belongs to the second section, SA = 1, A₂≦ SGsum <A_ThreeWhen the spatial gradient SGsum belongs to the third section, SA = 2, A_Three≦ SGsum, and SA = 3 when the spatial gradient SGsum belongs to the fourth section. This determination signal SA is supplied from the intra-section position determination circuit 14 and the generation circuit 17._-1~ 17_-3And threshold calculation circuit 18_-1~ 18_-3To be supplied.
[0129]
The intra-section position calculation circuit 14 generates a value A generated by the generation circuit 15.₀~ A_ThreeWhen the spatial gradient SGsum belongs to the first to third intervals based on the spatial gradient SGsum detected by the detection circuit 12, the lower end value of the interval is AL, the upper end value is AH, and the equation (10) Based on this, intra-section position information POS is calculated. The intra-section position information POS is used as the threshold value calculation circuit 18._-1~ 18_-3To be supplied.
[0130]
Generation circuit 17_-1Are the values of the parameters r and z supplied from the system controller 101 and the memory 19._-1Coefficient data B read from_1i1~ B_1i3(I = 0 to 3) and the threshold value calculation circuit 18 based on the equations (11) to (14)._-1The threshold value corresponding to the lower limit value and the upper limit value of the section indicated by the determination signal SA used in is generated as a threshold determination value.
[0131]
Then, the threshold calculation circuit 18_-1When the spatial gradient SGsum belongs to the first to third sections, the generation circuit 17_-1The threshold value corresponding to the spatial gradient SGsum based on the equation (15) using the threshold values BL and BH corresponding to the lower limit value and the upper limit value of the interval and the intra-section position information POS obtained by the calculation circuit 14. Th1 is calculated. The threshold calculation circuit 18_-1When the spatial gradient SGsum belongs to the fourth section, the threshold th1 is set to B regardless of the value of the spatial gradient SGsum.₁₃And As a result, the threshold calculation circuit 18_-1, The threshold th1 corresponding to the spatial gradient SGsum is obtained.
[0132]
Generation circuit 17_-2, Threshold calculation circuit 18_-2And the generation circuit 17_-3, Threshold calculation circuit 18_-3Also, the generation circuit 17 described above_-1, Threshold calculation circuit 18_-1Works as well. Then, the threshold calculation circuit 18_-2, 18_-3, Threshold values th2 and th3 respectively corresponding to the spatial gradient SGsum are obtained. Threshold calculation circuit 18_-1~ 18_-3The threshold values th1 to th3 calculated by_-1~ 21_-3To be supplied.
[0133]
The motion class tap data (SD pixel data) input to the input terminal 11 is supplied to the inter-frame difference detection circuit 20. The detection circuit 20 detects the inter-frame difference FrG based on the motion class tap data. This inter-frame difference FrG is compared with the comparator 21._-1~ 21_-3To be supplied. Comparator 21_-1~ 21_-3Each outputs “1” as the output signals S1 to S3 when the interframe difference FrG is greater than or equal to the threshold value, and outputs “0” as the output signals S1 to S3 when the interframe difference FrG is smaller than the threshold value.
[0134]
Comparator 21_-1~ 21_-3Output signals S <b> 1 to S <b> 3 are supplied to the motion class determination circuit 22. The motion class determination circuit 22 determines a motion class MJ (2-bit data) based on the output signals S1 to S3. In this case, MJ = 0 when FrG <th3, MJ = 1 when th3 ≦ FrG <th2, MJ = 2 when th2 ≦ FrG <th3, and MJ = 3 when th3 ≦ FrG.
[0135]
In the motion determination unit 10 described above, the threshold value determination value B_Ten~ B₁₃, B₂₀~ B_{twenty three}, B₂₀~ B₃₃Is generated by a generation equation including parameters r and z (see equations (11) to (14), equations (16) to (19), equations (21) to (24)), and parameters r and z A motion class MJ corresponding to the value can be obtained.
[0136]
Further, in the motion determination unit 10 described above, a value A for defining the section₀~ A_ThreeIs generated by a generation formula including parameters r and z (see formulas (6) to (9)), and the motion class MJ corresponding to the values of the parameters r and z can be determined more satisfactorily.
[0137]
Here, the procedure in the case where the motion determination process in the motion determination unit 10 shown in FIG. 7 described above is performed by software will be described with reference to the flowchart of FIG.
First, in step ST1, processing is started, and in step ST2, a spatial gradient SGsum is calculated based on the motion class tap data.
[0138]
Next, in step ST3, a value A for defining the section₀~ A_ThreeIs generated based on the equations (6) to (9). In step ST4, the spatial gradient SGsum calculated in step ST2 is replaced with the value A generated in step ST3.₀~ A_ThreeAs compared with, the section to which the spatial gradient SGsum belongs is determined.
[0139]
Next, in step ST5, the value A generated in step ST3 is displayed.₀~ A_ThreeThe intra-section position information POS is calculated based on the equation (10) using the spatial gradient SGsum calculated in step ST2 and the determination result of the section in step ST4.
[0140]
Next, in step ST6, values for determining the thresholds th1 to th3 are generated. In this case, when the spatial gradient SGsum belongs to the first to third sections, the threshold values BL and BH corresponding to the lower limit value and the upper limit value of the section are generated as threshold generation values. The generation of the threshold values BL and BH is performed based on the equations (11) to (14), the equations (16) to (19), and the equations (21) to (24).
[0141]
Next, when the spatial gradient SGsum belongs to the first to third sections using the threshold values BL and BH generated in step ST6 and the intra-section position information POS calculated in step ST5 in step ST7, (15 ), Threshold values th1 to th3 are calculated based on the equations (20), (25). On the other hand, when the spatial gradient SGsum belongs to the fourth section, the threshold value B corresponding to the lower end value of the section₁₃~ B₃₃Are set as threshold values th1 to th3.
[0142]
Next, in step ST8, an inter-frame difference FrG is calculated based on the motion class tap data. In step ST9, it is determined whether or not FrG <th3. When FrG <th3, the motion class MJ = 0 is output in step ST10, and the process ends in step ST11. On the other hand, when FrG <th3 is not satisfied, the process proceeds to step ST12.
[0143]
In step ST12, it is determined whether or not FrG <th2. If FrG <th2, the motion class MJ = 1 is output in step ST13, and the process ends in step ST11. On the other hand, when FrG <th2, the process proceeds to step ST14.
[0144]
In step ST14, it is determined whether or not FrG <th1. If FrG <th1, the motion class MJ = 2 is output in step ST15, and the process ends in step ST11. On the other hand, if FrG <th1, the motion class MJ = 3 is output in step ST16, and the process ends in step ST11.
[0145]
Next, the majority decision determination unit 50 will be described. FIG. 12 shows the configuration of the majority decision determining unit 50. The majority decision determining unit 50 performs processing for outputting the final motion class MV, assuming that the isolated point of the motion class MJ matches the nearby motion class MJ.
[0146]
The majority decision determining unit 50 includes an input terminal 51 to which the motion class MJ output from the motion determining unit 10 is input, and a line delay circuit 53 that delays the motion class MJ input to the input terminal 51 by one line period. A field delay circuit 54 that delays the motion class MJ input to the input terminal 51 by one field period, and a line delay circuit 55 that delays the output signal of the field delay circuit 54 by one line period.
[0147]
Further, the majority decision unit 50 includes a tap construction circuit 52. The tap construction circuit 52 includes a motion class MJ input to the input terminal 51, a motion class MJ one line before from the line delay circuit 53, a motion class MJ one field before from the field delay circuit 54, and a field A tap for majority decision is constructed from the previous field formed by passing through the delay circuit 54 and the line delay circuit 55 and the motion class MJ one line before.
[0148]
FIG. 13 shows an example of a plurality of taps located in the vicinity of the target position in the HD signal as the majority decision target. That is, each tap corresponds to each pixel in the HD signal. Also, one line (-1H line) in the same field as the current line where the tap P0 at the target position exists, a line in the previous field (-263H line) spatially one line above the current line, and the current line A line in the previous field (-262H line) that is one line lower in space is shown.
[0149]
The tap P1 on the -1H line and the tap Pa on the -263H line that are aligned in the vertical direction with the tap P0 at the target position are selected. The left and right taps Pb of the tap Pa are selected. The tap P3 at the left and right positions where one tap is skipped from the tap P1 is selected. The left tap P2 obtained by skipping one tap from the tap P0 at the target position is selected. The left and right taps Pc are selected with respect to the position below the tap P0 at the target position. There are 10 taps selected in this way.
[0150]
The tap construction circuit 52 can select a tap to be used for majority decision according to the mode among all the taps shown in FIG. The mode is selected by the user according to, for example, the pattern of the SD signal, the degree of movement, and the like. FIG. 14 shows types of modes and taps selected in each mode. Four modes, mode 0, mode 1, mode 2, and mode 3, and intra-field processing and inter-frame processing are set for each mode. Accordingly, there are eight types of tap combinations to be selected.
[0151]
In the simplest mode 0, in the case of in-field processing, only the tap P0 at the target position is used, and in the case of inter-frame processing, taps of P0 and Pa are used. In the most complicated mode 3, five taps of P0, P1, P2, and P3 are used for in-field processing, and P0, P1, P2, P3, Pb, and Pc are used for inter-frame processing. Nine taps are used.
[0152]
Returning to FIG. 12, the majority decision determining unit 50 includes counters 56 to 58. The counter 56 counts the number of motion classes MJ whose class is 3 among the motion classes MJ of each tap selected by the tap construction circuit 52. The counter 57 counts the number of motion classes MJ whose class is 2 or more among the motion classes MJ of each tap selected by the tap construction circuit 52. The counter 58 counts the number of motion classes MJ whose class is 1 or more among the motion classes MJ of each tap selected by the tap construction circuit 52.
[0153]
The majority decision determining unit 50 includes comparators 59 to 61 that compare the count values of the counters 56 to 58 with threshold values thr3 to thr1, respectively. The comparators 59 to 61 output “1” as the output signals CD3 to CD1 when the count value is greater than or equal to the threshold values thr3 to thr1, respectively, and as the output signals CD3 to CD1 when the count value is smaller than thr3 to thr1. “0” is output. Here, the values of the thresholds thr3 to thr1 are set in advance according to the mode.
[0154]
Further, the majority decision determining unit 50 determines a final motion class MV of the target position based on the output signals CD3 to CD1 of the comparators 59 to 61, and the determined motion class MV ( And an output terminal 63 for outputting 2-bit data. In this case, the motion class determination circuit 62 sets the motion class MV = 3 when CD3 is “1”, sets the motion class MV = 2 when CD2 is “1”, and sets CD1 to “1”. Is the motion class MV = 1, and when all of CD3 to CD1 are “0”, the motion class MV = 0.
[0155]
The operation of the majority decision determination unit 50 shown in FIG. 12 will be described.
The motion class MJ output from the motion determination unit 10 is input to the input terminal 51. The motion class MJ input to the input terminal 51 is supplied to the tap construction circuit 52 as it is. The motion class MJ input to the input terminal 51 is delayed by one line period by the line delay circuit 53 and supplied to the tap construction circuit 52. The motion class MJ input to the input terminal 51 is delayed by one field period by the field delay circuit 54 and supplied to the tap construction circuit 52. Further, the motion class MJ input to the input terminal 51 is delayed by one field period and one line by the field delay circuit 54 and the line delay circuit 55 and supplied to the tap construction circuit 52. Then, the tap construction circuit 52 constructs a tap for majority decision according to the mode (see FIGS. 13 and 14).
[0156]
Further, the counter 56 counts the number of motion classes MJ whose class is 3 among the motion classes MJ of each tap selected by the tap construction circuit 52. The counter 57 counts the number of motion classes MJ whose class is 2 or more among the motion classes MJ of each tap selected by the tap construction circuit 52. The counter 58 counts the number of motion classes MJ whose class is 1 or more among the motion classes MJ of each tap selected by the tap construction circuit 52.
[0157]
The count values of the counters 56 to 58 are supplied to comparators 59 to 61, respectively, and compared with threshold values thr3 to thr1. The output signals CD3 to CD1 of the comparators 59 to 61 are supplied to the motion class determination circuit 62. In the motion class determination circuit 62, when CD3 is “1”, the motion class MV = 3 is set, when CD2 is “1”, the motion class MV = 2 is set, and when CD1 is “1”, The motion class MV = 1, and when all of CD3 to CD1 are “0”, the motion class MV = 0. Then, the motion class MV determined in this way by the motion class determination circuit 62 is output to the output terminal 63.
[0158]
Here, the procedure in the case where the majority decision processing in the majority decision unit 50 shown in FIG. 12 described above is performed by software will be described with reference to the flowchart of FIG.
[0159]
First, in step ST21, the process is started, and in step ST22, a tap corresponding to the mode is constructed. In step ST23, the movement class MJ of each tap is acquired.
[0160]
Next, in step ST24, it is determined whether or not the number of motion classes 3 is greater than or equal to a threshold value thr3. If the determination result is affirmative, the motion class MV = 3 is output in step ST25, and the process ends in step ST26. On the other hand, when the determination result is negative, the process proceeds to step ST27.
[0161]
In step ST27, it is determined whether the number of motion classes 2 or more is greater than or equal to a threshold value thr2. If the determination result is affirmative, the motion class MV = 2 is output in step ST28, and the process ends in step ST26. On the other hand, when the determination result is negative, the process proceeds to step ST29.
[0162]
In step ST29, it is determined whether or not the number of motion classes 1 or more is greater than or equal to a threshold value thr1. If the determination result is affirmative, the motion class MV = 1 is output in step ST30, and the process ends in step ST26. On the other hand, if the determination result is negative, the motion class MV = 0 is output in step ST31, and the process ends in step ST26.
[0163]
In the motion determination unit 10 shown in FIG. 7 described above, for example, the generation circuit 17_-1And value B_TenIs generated by the expression (11), but may be generated by a generation expression having a quadratic or higher term, for example, the expression (26). This is the other value B₁₁~ B₁₃, B₂₀~ B_{twenty three}, B₃₀~ B₃₃, A₀~ A_ThreeThe same applies to.
B_Ten= B₁₀₁+ B₁₀₂Xr + B₁₀₃Xz + B₁₀₄Xr²
+ B₁₀₅Xrz + B₁₀₆Xz²          ... (26)
[0164]
However, in this case, since the number of coefficient data increases, for example, as shown in FIG. 16, it is possible to reduce the values for determining the thresholds th1 to th3 and the values for defining the intervals. Also, a value A for defining the section₀~ A_ThreeMay be fixed.
[0165]
Next, a method for generating coefficient seed data stored in the information memory bank 135 of the image signal processing unit 110 in FIG. 1 will be described. As described above, the coefficient seed data is stored in the information memory bank 135 for each conversion method and for each class. This coefficient seed data is generated in advance by learning.
[0166]
First, an example of this generation method will be described. (4) Coefficient seed data w which is coefficient data in the generation formula_i0~ W_i9An example of obtaining (n = 1 to 9) will be shown.
[0167]
Here, for the following explanation, tj (j = 0 to 9) is defined as in the equation (27).
t₀= 1, t₁= R, t₂= Z, t_Three= R², T_Four= Rz, t_Five= Z²,
t₆= R^Three, T₇= R²z, t₈= Rz², T₉= Z^Three
... (27)
Using this equation (27), equation (4) can be rewritten as equation (28).
[0168]
[Equation 5]

[0169]
Finally, the undetermined coefficient w_ijAsk for. That is, for each conversion method and class, a coefficient value that minimizes the square error is determined using the pixel data of the SD signal and the pixel data of the HD signal. This is a so-called least square method. The learning number is m, and the residual in the kth learning data (1 ≦ k ≦ m) is e._kAssuming that the sum of square errors is E, E is expressed by equation (29) using equations (3) and (4). Where x_ikIs the k-th pixel data at the i-th predicted tap position of the SD signal, y_kRepresents the k-th pixel data of the HD signal corresponding thereto.
[0170]
[Formula 6]

[0171]
In the least square method, w in equation (29)_ijW such that the partial differential due to becomes zero_ijAsk for. This is shown by the equation (30).
[0172]
[Expression 7]

[0173]
Hereinafter, as in the equations (31) and (32), X_ipjq, Y_ipIs defined, equation (30) can be rewritten as equation (33) using a matrix.
[0174]
[Equation 8]

[0175]
[Equation 9]

[0176]
This equation is generally called a normal equation. This normal equation can be calculated using the sweep-out method (Gauss-Jordan elimination method), etc._ijThe coefficient seed data is calculated.
[0177]
FIG. 17 shows the concept of the above-described coefficient seed data generation method. An SD signal as a student signal is generated from an HD signal as a teacher signal. Here, SD signals with different resolutions are generated by changing the frequency characteristics of the thinning filter used when generating the SD signal from the HD signal. Coefficient seed data having different effects of increasing the resolution can be generated by SD signals having different resolutions. For example, when there is an SD signal from which an image with a large degree of blur can be obtained and an SD signal from which an image with a small degree of blur can be obtained, coefficient seed data having a strong effect of increasing the resolution by learning with the SD signal from which an image with a large degree of blur can be obtained. Is generated, and a coefficient having a low effect of increasing the resolution is generated by learning with the SD signal from which an image with a small degree of blur is obtained.
[0178]
Further, by adding noise to each of the SD signals having different resolutions, an SD signal with noise added is generated. By varying the amount of noise to be added, SD signals having different noise amounts are generated, thereby generating coefficient seed data having different noise removal effects. For example, if there is an SD signal with a lot of noise added and an SD signal with a little noise added, coefficient seed data with a strong noise removal effect is generated by learning with the SD signal with a lot of noise added, and SD with a little noise added. Coefficient seed data having a weak noise removal effect is generated by learning with a signal.
[0179]
As the amount of noise to be added, for example, as shown in equation (34), when generating the pixel value x ′ of the SD signal to which noise n is added by adding noise n to the pixel value x of the SD signal, G is variable. To adjust the amount of noise.
x ′ = x + G · n (34)
[0180]
For example, the parameter r for varying the frequency characteristic is varied in 9 steps from 0 to 8, and the parameter z for varying the amount of noise added is varied in 9 steps from 0 to 8, thereby generating 81 types of SD signals in total. Learning is performed between the plurality of SD signals generated in this way and the HD signal to generate coefficient seed data. The parameters r and z correspond to the parameters r and z in the image signal processing unit 110 in FIG.
[0181]
FIG. 18 shows a configuration of a coefficient seed data generation device 150 that generates coefficient seed data based on the above-described concept.
The coefficient seed data generation device 150 performs an decimating process horizontally and vertically on the input terminal 151 to which an HD signal (525p signal / 1050i signal) as a teacher signal is input, and as a student signal. And an SD signal generation circuit 152 for obtaining the SD signal.
[0182]
The SD signal generation circuit 152 is supplied with a conversion method selection signal as a control signal. When the first conversion method (a 525p signal is obtained from a 525i signal by the image signal processing unit 110 in FIG. 1) is selected, the SD signal generation circuit 152 performs a thinning process on the 525p signal to generate an SD signal. (See FIG. 4). On the other hand, when the second conversion method (the 1050i signal is obtained from the 525i signal by the image signal processing unit 110 in FIG. 1) is selected, the SD signal generation circuit 152 performs a thinning process on the 1050i signal to obtain the SD signal. Is generated (see FIG. 5).
[0183]
The SD signal generation circuit 152 is supplied with parameters r and z. Corresponding to the parameter r, the frequency characteristic of the thinning filter used when generating the SD signal from the HD signal is varied. Further, the amount of noise added to the SD signal is varied corresponding to the parameter z.
[0184]
Further, the coefficient seed data generation device 150 uses the SD signal (525i signal) output from the SD signal generation circuit 152 to generate data for a plurality of SD pixels located around the position of interest in the HD signal (1050i signal or 525p signal). First to third tap selection circuits 153 to 155 for selectively taking out and outputting.
[0185]
These first to third tap selection circuits 153 to 155 are configured similarly to the first to third tap selection circuits 121 to 123 of the image signal processing unit 110 described above. The taps selected by the first to third tap selection circuits 153 to 155 are specified by tap position information from the tap selection control circuit 156.
[0186]
The tap selection control circuit 156 is supplied with a conversion method selection signal as a control signal. The tap position information supplied to the first to third tap selection circuits 153 to 155 is different depending on whether the first conversion method is selected or the second conversion method is selected. . The tap selection control circuit 156 is supplied with a motion class MV output from a motion class detection circuit 158 described later. Thus, the tap position information supplied to the second tap selection circuit 154 is made different depending on whether the movement is large or small.
[0187]
The coefficient seed data generation apparatus 150 includes a space class detection circuit 157, a motion class detection circuit 158, and a class synthesis circuit 159. These include the space class detection circuit 124 and the motion in the image signal processing unit 110 described above. This is the same as the class detection circuit 125 and the class synthesis circuit 126. The space class detection circuit 157 and the motion class detection circuit 158 each receive tap data (pixel data) extracted from the second and third tap selection circuits.
[0188]
Also, the coefficient seed data generation device 150 selects each HD pixel data y as target pixel data obtained from the HD signal supplied to the input terminal 151, and a first tap selection corresponding to each HD pixel data y. From the prediction tap data (SD pixel data) xi selectively extracted by the circuit 153, the class code CL output from the class synthesis circuit 159 corresponding to each HD pixel data y, and the parameters r and z, Coefficient seed data w for each class_i0~ W_i9A normal equation generation unit 160 that generates a normal equation (see equation (33)) for obtaining (i = 1 to n) is provided.
[0189]
In this case, learning data is generated by a combination of one HD pixel data y and n predicted tap pixel data corresponding thereto, but the parameters r and z to the SD signal generation circuit 152 are sequentially changed. SD signals corresponding to the generated SD signals are sequentially generated, and the normal equation generation unit 160 generates a normal equation in which a large amount of learning data is registered. In this way, by sequentially creating SD signals having different frequency characteristics and noise addition amounts and registering learning data, it is possible to obtain coefficient seed data for obtaining pixel data of an arbitrary resolution and noise suppression degree. .
[0190]
Although not shown in the figure, SD pixel data supplied from the first tap selection circuit 153 to the normal equation generation unit 160 by arranging a delay circuit for time adjustment in the preceding stage of the first tap selection circuit 153. xi timing can be adjusted.
[0191]
Also, the coefficient seed data generation device 150 is supplied with the data of the normal equation generated for each class by the normal equation generation unit 160, solves the normal equation for each class, and generates the coefficient seed data w for each class._i0~ W_i9The coefficient seed data determination unit 161 for determining the coefficient seed data w_i0~ W_i9Is stored in the coefficient seed memory 162. In the coefficient seed data determination unit 161, the normal equation is solved by, for example, a sweeping method, and the coefficient data w_i0~ W_i9Is required.
[0192]
The operation of the coefficient seed data generation device 150 shown in FIG. 18 will be described. An HD signal (525p signal or 1050i signal) as a teacher signal is supplied to the input terminal 151, and the HD signal is subjected to horizontal and vertical thinning processing by the SD signal generation circuit 152, and SD as a student signal. A signal (525i signal) is generated.
[0193]
In this case, when the first conversion method (the 525p signal is obtained from the 525i signal by the image signal processing unit 110 in FIG. 1) is selected, the SD signal generation circuit 152 performs a thinning process on the 525p signal and performs SD processing. A signal is generated. On the other hand, when the second conversion method (the 1050i signal is obtained from the 525i signal by the image signal processing unit 110 in FIG. 1) is selected, the SD signal generation circuit 152 performs a thinning process on the 1050i signal to obtain the SD signal. Is generated. Further, in this case, parameters r and z are supplied as control signals to the SD signal generation circuit 152, and a plurality of SD signals whose frequency characteristics and noise addition amount are changed in stages are sequentially generated.
[0194]
From this SD signal (525i signal), the second tap selection circuit 154 selectively extracts the data (SD pixel data) of the space class tap located around the position of interest in the HD signal (525p signal or 1050i signal). It is. In the second tap selection circuit 154, the tap selection information supplied from the tap selection control circuit 156 and the tap position information corresponding to the motion class detected by the motion class detection circuit 158 are used. A selection is made.
[0195]
The space class tap data (SD pixel data) selectively extracted by the second tap selection circuit 154 is supplied to the space class detection circuit 157. In this space class detection circuit 157, each SD pixel data as space class tap data is subjected to ADRC processing to be re-used as class information of a space class (mainly class classification for waveform expression in space). A quantization code Qi is obtained (see equation (1)).
[0196]
Further, from the SD signal generated by the SD signal generation circuit 152, the third tap selection circuit 155 selectively extracts data of the motion class tap (SD pixel data) located around the target pixel related to the HD signal. It is. In this case, the third tap selection circuit 155 performs tap selection based on the tap position information corresponding to the selected conversion method supplied from the tap selection control circuit 156.
[0197]
The motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 155 is supplied to the motion class detection circuit 158. The motion class detection circuit 158 obtains a motion class (mainly class classification for representing the degree of motion) MV from each SD pixel data as motion class tap data.
[0198]
The motion class MV and the above-described requantization code Qi are supplied to the class synthesis circuit 159. In the class synthesis circuit 159, a class code CL indicating a class to which pixel data of the target value in the HD signal (525p signal or 1050i signal) belongs is obtained from the motion class MV and the requantization code Qi ((2) See formula).
[0199]
Further, from the SD signal generated by the SD signal generation circuit 152, the first tap selection circuit 153 selectively extracts data of predicted taps (SD pixel data) located around the target position in the HD signal. In this case, the first tap selection circuit 153 performs tap selection based on the tap position information corresponding to the selected conversion method supplied from the tap selection control circuit 156.
[0200]
Then, each HD pixel data y as target pixel data obtained from the HD signal supplied to the input terminal 151 and the first tap selection circuit 153 are selectively extracted corresponding to each HD pixel data y. From the prediction tap data (SD pixel data) xi, the class code CL output from the class synthesizing circuit 159 corresponding to each HD pixel data y, and the parameters r and z, the normal equation generation unit 160 determines the class. Coefficient seed data w for each_i0~ W_i9A normal equation (see equation (33)) for generating (n = 1 to 9) is generated.
[0201]
Then, the coefficient seed data determining unit 161 solves the normal equation, and the coefficient seed data w of each class._i0~ W_i9Is obtained and its coefficient seed data w_i0~ W_i9Is stored in the coefficient seed memory 162 that is address-divided by class.
[0202]
As described above, in the coefficient seed data generating apparatus 150 shown in FIG. 18, the coefficient seed data w of each class stored in the information memory bank 135 of the image signal processing unit 110 in FIG._i0~ W_i9Can be generated. In this case, the SD signal generation circuit 152 generates the SD signal (525i signal) using the 525p signal or the 1050i signal by the selected conversion method, and the first conversion method (the image signal processing unit 110). The coefficient seed data corresponding to the second conversion method (obtaining a 1050i signal from the 525i signal by the image signal processing unit 110) can be generated.
[0203]
Note that the coefficient seed generation device 150 shown in FIG. 18 sequentially changes the parameter r that specifies the frequency characteristics of the thinning filter and the parameter z that specifies the noise addition ratio, and a normal equation in which a large amount of learning data is registered. , And coefficient seed data w for each class_i0~ W_i9(I = 1 to n) are obtained at a time.
[0204]
Coefficient seed data w_i0~ W_i9As another method for obtaining, learning is performed for each SD signal generated by each combination of parameters r and z, and coefficient data Wi corresponding to each combination of parameters r and z is first obtained individually. Then, the coefficient seed data w is obtained by using the least square method using the coefficient data Wi obtained individually as teacher data and the expression (27) as a variable so as to satisfy the relationship of the expression (4)._i0~ W_i9You may ask for.
[0205]
Note that the processing in the image signal processing unit 110 in FIG. 1 can be realized by software, for example, by an image signal processing apparatus 300 as shown in FIG.
[0206]
First, the image signal processing apparatus 300 shown in FIG. 19 will be described. The image signal processing apparatus 300 stores a CPU 301 for controlling the operation of the entire apparatus, an operation program for the CPU 301, coefficient seed data, coefficient data for obtaining a threshold value for detecting a motion class, and the like. A ROM (read only memory) 302; and a RAM (random access memory) 303 constituting a work area of the CPU 301. These CPU 301, ROM 302, and RAM 303 are each connected to a bus 304.
[0207]
The image signal processing apparatus 300 also includes a hard disk drive (HDD) 305 as an external storage device and a floppy (R) disk drive (FDD) 307 that drives a floppy (R) disk 306. These drives 305 and 307 are each connected to a bus 304.
[0208]
In addition, the image signal processing apparatus 300 includes a communication unit 308 that is connected to a communication network 400 such as the Internet by wire or wirelessly. The communication unit 308 is connected to the bus 304 via the interface 309.
[0209]
In addition, the image signal processing device 300 includes a user interface unit. The user interface unit includes a remote control signal receiving circuit 310 that receives a remote control signal RM from the remote control transmitter 200, and a display 311 that includes an LCD (liquid crystal display) or the like. The receiving circuit 310 is connected to the bus 304 via the interface 312, and similarly the display 311 is connected to the bus 304 via the interface 313.
[0210]
Further, the image signal processing apparatus 300 includes an input terminal 314 for inputting an SD signal (525i signal) and an output terminal 315 for outputting an HD signal (1050i signal or 525p signal). The input terminal 314 is connected to the bus 304 via the interface 316, and similarly, the output terminal 315 is connected to the bus 304 via the interface 317.
[0211]
Here, instead of storing the processing program, coefficient seed data, and the like in the ROM 302 in advance as described above, for example, they are downloaded from the communication network 400 such as the Internet via the communication unit 308 and stored in the hard disk or RAM 303 for use. You can also These processing programs, coefficient seed data, and the like may be provided on the floppy (R) disk 306.
[0212]
Instead of inputting the SD signal from the input terminal 314, it may be recorded in advance on a hard disk or downloaded from the communication network 400 such as the Internet via the communication unit 308. Also, instead of outputting the HD signal to the output terminal 315 or in parallel therewith, it is supplied to the display 311 to display an image, further stored in a hard disk, or through a communication network 400 such as the Internet via the communication unit 308. You may make it send to.
[0213]
A processing procedure for obtaining an HD signal from an SD signal in the image signal processing apparatus 300 shown in FIG. 19 will be described with reference to the flowchart of FIG.
First, in step ST31, processing is started, and in step ST32, SD signals for one frame or one field are input. When the SD signal is input from the input terminal 314, the SD signal is temporarily stored in the RAM 303. When this SD signal is recorded on the hard disk, this SD signal is read by the hard disk drive 305 and temporarily stored in the RAM 303. In step ST33, it is determined whether or not all frames or fields of the input SD signal have been processed. When the process is finished, the process ends in step ST34. On the other hand, when the process is not finished, the process proceeds to step ST35.
[0214]
In step ST35, the values of the parameters r and z input by the user operating the remote control transmitter 200 are read from the RAM 303, for example. Then, in step ST36, using the acquired parameters r and z and the coefficient seed data of each class, the coefficient data of the estimation formula (see formula (3)) of each class by a generation formula (for example, formula (4)). Generate Wi.
[0215]
Next, in step ST37, the pixel data of the class tap and the prediction tap are acquired from the SD signal input in step ST32 corresponding to each HD pixel data to be generated. In step ST38, it is determined whether or not the processing for obtaining HD pixel data has been completed in all areas of the SD signal input in step ST32. If completed, the process returns to step ST32, and the process proceeds to input processing of SD signals for the next one frame or one field. On the other hand, when the process has not ended, the process proceeds to step ST39.
[0216]
In this step ST39, a class code CL is generated from the SD pixel data of the class tap acquired in step ST37. In this case, the motion class MV included in the class code CL corresponds to the parameters r and z. Then, in step ST40, the coefficient data corresponding to the class code CL and the SD pixel data of the prediction tap are used to generate pixel data (HD pixel data) of the HD signal by the estimation formula, and then the process goes to step ST37. Returning, the same processing as described above is repeated.
[0217]
In this way, by performing processing according to the flowchart shown in FIG. 20, it is possible to process the SD pixel data constituting the input SD signal and obtain HD pixel data constituting the HD signal. As described above, the HD signal obtained by such processing is output to the output terminal 315, supplied to the display 311 to display an image, and further supplied to the hard disk drive 305 to be stored on the hard disk. It is recorded.
[0218]
Although the illustration of the processing device is omitted, the processing in the coefficient seed data generation device 150 in FIG. 18 can be realized by software.
[0219]
A processing procedure for generating coefficient seed data will be described with reference to the flowchart of FIG.
First, in step ST51, the process is started. In step ST52, values of parameters r and z used for learning are selected. In step ST53, it is determined whether learning has been completed for all combinations of the values of parameters r and z. If learning has not been completed for all combinations, the process proceeds to step ST54.
[0220]
In step ST54, a known HD signal is input for one frame or one field. In step ST55, it is determined whether or not the processing has been completed for the HD signals of all frames or fields. When the process ends, the process returns to step ST52, the next parameter r, z value is selected, and the same process as described above is repeated. On the other hand, when not completed, the process proceeds to step ST56.
[0221]
In step ST56, an SD signal having a frequency characteristic and a noise addition amount corresponding to the values of the parameters r and z selected in step ST52 is generated from the HD signal input in step ST54. In step ST57, the pixel data of the class tap and the prediction tap are acquired from the SD signal generated in step ST56, corresponding to the HD pixel data. In step ST58, it is determined whether or not the learning process has been completed in all regions of the HD signal input in step ST54. When the learning process is finished, the process returns to step ST54, the next one frame or one field of HD signal is input, the same process as described above is repeated, and the learning process is finished. If not, the process proceeds to step ST59.
[0222]
In this step ST59, the class code CL is generated from the SD pixel data of the class tap acquired in step ST57. In step ST60, a normal equation (see equation (33)) is generated. Thereafter, the process returns to step ST57.
[0223]
In step ST53, when learning is completed for all combinations of the values of the parameters r and z, the process proceeds to step ST61. In this step ST61, the coefficient seed data of each class is calculated by solving the normal equation by the sweep-out method or the like. In step ST62, the coefficient seed data is stored in the memory, and then the process is terminated in step ST63.
[0224]
In this way, by performing processing according to the flowchart shown in FIG. 21, the coefficient seed data of each class can be obtained by the same method as the coefficient seed data generating apparatus 150 shown in FIG.
[0225]
In the embodiment described above, the parameters are the parameter r for adjusting the resolution and the parameter z for adjusting the degree of noise removal. However, the parameters are not limited thereto. For example, a parameter r for adjusting the resolution may be further divided into a parameter h for adjusting the resolution in the horizontal direction and a parameter v for adjusting the resolution in the vertical direction.
[0226]
Also, when obtaining a zoomed image by processing a partial area of the input image signal, it is necessary to sequentially generate pixel data having different phases with respect to the pixels of the input image signal in accordance with the enlargement ratio of the image. There is. In that case, it is conceivable to generate pixel data by an estimation formula using the horizontal and vertical phase information h and v as parameters. In that case, the accuracy of the generated pixel data can be increased by obtaining the motion class MV corresponding to the phase information h and v in the same manner as in the above embodiment.
[0227]
In the above-described embodiment, coefficient seed data is stored in the information memory bank 135, and the coefficient generation circuit 136 uses the coefficient seed data to generate parameters r, Coefficient data Wi corresponding to z is generated, and the coefficient data Wi is used in the estimation formula.
[0228]
However, coefficient data for all combinations of the values of the parameters r and z is stored, and the coefficient data Wi corresponding to the values of the parameters r and z supplied from the system controller 101 is read out and used. Good. In this case, the coefficient data Wi for each combination of the parameter r and z values stored in the information memory bank 135 is obtained by performing learning for each SD signal obtained by each combination of the parameter r and z values. Can do.
[0229]
In the above-described embodiment, the linear equation is used as the estimation formula when generating the pixel data of the output image signal Vout. However, the estimation formula is not limited to this, and for example, a high estimation formula is used. The following equation may be used.
[0230]
In the above-described embodiment, an example in which an SD signal (525i signal) is converted to an HD signal (525p signal or 1050i signal) has been described. However, the present invention is not limited to this, and an estimation equation is used. Of course, the present invention can be similarly applied to other cases in which the first image signal is converted into the second image signal.
[0231]
In the embodiment described above, a spatial gradient is used as the spatial activity, but other spatial activities such as a dynamic range may be used.
[0232]
【The invention's effect】
According to the present invention, a threshold value is generated using a threshold determination value corresponding to a section to which a spatial activity relating to a partial image belongs, and a motion class of the partial image is determined by comparing an inter-frame difference relating to the partial image with this threshold value. Therefore, a threshold value is generated by a generation formula including a predetermined parameter, and a motion class corresponding to the value of the predetermined parameter can be determined.
[0233]
Further, according to the present invention, when converting the first information signal into the second information signal, the pixel data of the target position in the second image signal is represented by the class to which the pixel data belongs and the value of the predetermined parameter. A plurality of pieces of pixel data located around the position of interest in the second image signal based on the first image signal, and a frame based on the selected pixel data. The threshold value corresponding to the section to which the spatial activity belongs is generated based on the generation formula including the predetermined parameter, and the difference between the spatial activity and the spatial activity is generated. A threshold value is generated, and the motion class is determined by comparing the difference between frames with this threshold value. A motion class corresponding to a predetermined parameter value can be determined. The pixel data of the target position in the second image signal can be accurately generated.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a television receiver as an embodiment.
FIG. 2 is a diagram illustrating an example of a user interface for adjusting image quality.
FIG. 3 is an enlarged view of an adjustment screen.
FIG. 4 is a diagram for explaining a pixel position relationship between a 525i signal and a 525p signal.
FIG. 5 is a diagram for explaining a pixel positional relationship between a 525i signal and a 1050i signal.
FIG. 6 is a diagram for explaining line double speed processing when a 525p signal is output.
FIG. 7 is a block diagram illustrating a configuration of a motion determination unit.
FIG. 8 is a diagram illustrating a motion class tap.
FIG. 9 is a diagram illustrating logic for determining a motion class MJ.
FIG. 10 is a diagram illustrating a relationship between a spatial gradient, a difference between frames, a threshold value, and a motion class.
FIG. 11 is a flowchart showing a motion determination process.
FIG. 12 is a block diagram illustrating a configuration of a majority decision determination unit.
FIG. 13 is a diagram illustrating taps used for majority decision processing of a motion class.
FIG. 14 is a diagram showing a motion class majority decision process mode;
FIG. 15 is a flowchart illustrating majority decision processing.
FIG. 16 is a diagram illustrating a relationship among a spatial gradient, a difference between frames, a threshold value, and a motion class.
FIG. 17 is a diagram showing an example of a concept of a coefficient seed data generation method.
FIG. 18 is a block diagram illustrating a configuration of a coefficient seed data generation device.
FIG. 19 is a block diagram illustrating a configuration example of an image signal processing device to be realized by software.
FIG. 20 is a flowchart showing image signal processing.
FIG. 21 is a flowchart showing a coefficient seed data generation process.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Television receiver, 101 ... System controller, 102 ... Remote control signal receiving circuit, 105 ... Receiving antenna, 106 ... Tuner, 107 ... External input terminal, 109 ... Buffer Memory 110, image signal processing unit 111, display unit 121, first tap selection circuit 122, second tap selection circuit, 123, third tap selection circuit , 124 ... Spatial class detection circuit, 125 ... Motion class detection circuit, 126 ... Class synthesis circuit, 127 ... Estimated prediction calculation circuit, 128 ... Normalization calculation circuit, 129 ... Line Sequential conversion circuit, 130 to 133, register, 134, coefficient memory, 135, information memory bank, 136, coefficient generation circuit, 137, normalized coefficient generator Circuit, 138 ... normalization coefficient memory, 150 ... coefficient seed data production device 200 ... remote control transmitter, 300 ... image signal processing device

Claims (10)

And classification of motion class representing the degree of motion relating to the partial image of the input image signal, a space as spatial gradient of the partial images obtained by the sum of the absolute value of the difference between frames of the partial images to determine the motion class First detecting means for detecting an activity;
Parameter input means for inputting a value determined when adjusting the resolution and noise removal degree of the input image signal as a parameter value used when determining the motion class ;
The first pixel data obtained by a teacher signal having a larger number of pixels than the number of pixels of the input image signal, and the teacher signal located around the target position of the first pixel data by the parameter input means Class code indicating second pixel data consisting of student signals obtained by varying the frequency characteristics and noise amount of the thinning filter in accordance with the input parameters, and a class to which the first pixel data at the target position belongs. And, by generating a normal equation for each class from the parameters and solving the generated normal equation, coefficient data for obtaining a value for determining a threshold value used when detecting the motion class is obtained, First memory means for storing the obtained coefficient data;
Section determination means for determining a section having a lower limit value and an upper limit value defined by a plurality of values generated by the value of the parameter and the coefficient data to which the spatial activity detected by the first detection means belongs . When,
Generation to generate the value of the parameter inputted by the coefficient data and the parameter input means are stored in said first memory means, a lower value and the value of the threshold determining a value corresponding to the upper end value of the interval Means for generating a value for determining the threshold value corresponding to the lower limit value and the upper limit value to which the spatial activity determined by the section determination means belongs, by performing a product-sum operation by substituting into an equation;
Using the position information for specifying a value for the threshold determination corresponding to the lower limit and the upper limit of the generated the space activity belongs interval by said means, a section in which the spatial activity belongs, the space activity Threshold value generating means for generating one or a plurality of threshold values corresponding to the spatial activity detected by the first detecting means by performing an operation by linear interpolation according to each section to which it belongs ;
Second detection means for detecting a difference between frames related to the partial image of the input image signal;
Means for comparing the inter-frame difference detected by the second detection means with the one or more threshold values generated by the threshold value generation means to determine a motion class of the partial image corresponding to the parameter value; A motion determination device comprising: Second memory means for storing coefficient data of a generation formula including the predetermined parameter, which generates a value for defining the section;
Substituting the coefficient data stored in the second memory means and the value of the parameter input by the parameter input means into the generation formula, and determining the section to which the spatial activity belongs by performing a product-sum operation The motion determination apparatus according to claim 1, further comprising means for generating a value for performing. And classification of motion class representing the degree of motion relating to the partial image of the input image signal, a space as spatial gradient of the partial images obtained by the sum of the absolute value of the difference between frames of the partial images to determine the motion class Detecting activity,
Inputting a value determined when adjusting the resolution and noise elimination degree of the input image signal, as the value of the parameter used in determining the motion class,
The first pixel data obtained by a teacher signal having a larger number of pixels than the number of pixels of the input image signal, and the teacher signal positioned around the target position of the first pixel data are input to the first pixel data. Second pixel data composed of student signals obtained by varying the frequency characteristics and noise amount of the thinning filter according to the parameters, a class code indicating a class to which the first pixel data of the target position belongs, and the parameters And generating a normal equation for each class, and solving the generated normal equation to obtain coefficient data for each class for obtaining a value for determining a threshold value used when detecting the motion class; and ,
Determining a section having a lower end value and an upper end value defined by a plurality of values generated by the value of the parameter and the coefficient data to which the detected spatial activity belongs;
The value of the calculated the coefficient data and the input parameters are, to a product-sum operation by substituting the generation equation for generating a value corresponding to the lower value and upper value of the interval as the value of the threshold decision Generating a value for determining the threshold value corresponding to the lower limit value and the upper limit value to which the determined spatial activity belongs;
Using the value of the threshold determination corresponding to the lower limit and the upper limit of the interval in which the spatial activity which is the product belongs, and the position information for specifying a section in which the spatial activity belongs, each said space activity belongs Generating one or more thresholds corresponding to the detected spatial activity by performing an operation by linear interpolation according to the interval ;
Detecting an inter-frame difference for a partial image of the input image signal;
Comparing the detected inter-frame difference with the generated one or more thresholds to determine a motion class of the partial image corresponding to the value of the parameter. And classification of motion class representing the degree of motion relating to the partial image of the input image signal, a space as spatial gradient of the partial images obtained by the sum of the absolute value of the difference between frames of the partial images to determine the motion class Detecting activity,
Inputting a value determined when adjusting the resolution and noise elimination degree of the input image signal, as the value of the parameter used in determining the motion class,
The first pixel data obtained by a teacher signal having a larger number of pixels than the number of pixels of the input image signal, and the teacher signal positioned around the target position of the first pixel data are input to the first pixel data. Second pixel data composed of student signals obtained by varying the frequency characteristics and noise amount of the thinning filter according to the parameters, a class code indicating a class to which the first pixel data of the target position belongs, and the parameters And generating a normal equation for each class, and solving the generated normal equation to obtain coefficient data for each class for obtaining a value for determining a threshold value used when detecting the motion class; and ,
Determining a section having a lower end value and an upper end value defined by a plurality of values generated by the value of the parameter and the coefficient data to which the detected spatial activity belongs;
The value of the calculated the coefficient data and the input parameters are, to a product-sum operation by substituting the generation equation for generating a value corresponding to the lower value and upper value of the interval as the value of the threshold decision Generating a value for determining the threshold value corresponding to the lower limit value and the upper limit value to which the determined spatial activity belongs;
Using the value of the threshold determination corresponding to the lower limit and the upper limit of the interval in which the spatial activity which is the product belongs, and the position information for specifying a section in which the spatial activity belongs, each said space activity belongs Generating one or more thresholds corresponding to the detected spatial activity by performing an operation by linear interpolation according to the interval ;
Detecting an inter-frame difference for a partial image of the input image signal;
Comparing the detected inter-frame difference with the generated one or more threshold values to determine a motion class of the partial image corresponding to the parameter value. Program to let you. In accordance with tap position information indicating a motion class tap when a first image signal composed of a plurality of pixel data is input and converted into a second pixel signal having the same or greater number of pixels as the first pixel signal , a first data selecting means for selecting the pixel data in the plurality of the first image signal located around the target pixel position in the upper Symbol second image signal,
Parameter input means for inputting a value determined when adjusting the resolution and noise removal degree of the input image signal as a parameter value used when determining the motion class ;
Class detection means for detecting a class to which pixel data at a target position in the second image signal belongs based on a plurality of pixel data selected by the first data selection means;
Coefficient data used in an estimation formula for calculating pixel data of a target position in the second image signal corresponding to the class detected by the class detection unit and the parameter value input by the parameter input unit Coefficient data generating means for generating, the pixel data value of the first image signal corresponding to the position of interest and the coefficient data generated corresponding to the detected class are based on the estimation formula Pixel data generation means for generating pixel data of the target position by performing product-sum operation,
Pixel data generating means for generating pixel data at a position of interest in the second image signal corresponding to the class detected by the class detecting means and the value of the parameter input by the parameter input means;
The class detection means is
Based on the plurality of pixel data the selected, a class motion classification representing the degree of motion related to the pixel data obtained by the sum of the absolute value of the difference between frames of the pixel data for obtaining the motion class First detection means for detecting spatial activity as a spatial gradient of the pixel data ;
The first pixel data obtained by the teacher signal corresponding to the second image signal, and the parameter input by the parameter input means , the teacher signal located around the target position of the first pixel data. And a class code indicating a class to which the first pixel data located around the target position belongs, the second pixel data consisting of student signals obtained by varying the frequency characteristics and noise amount of the thinning filter according to From the above parameters, a normal equation is generated for each class, and the generated normal equation is solved to obtain coefficient data for obtaining a value for determining a threshold value used when detecting the motion class. First memory means for storing the coefficient data;
Section determination means for determining a section having a lower end value and an upper end value defined by a plurality of values generated by the value of the parameter and the coefficient data to which the spatial activity detected by the first detection means belongs. When,
Generation to generate the value of the parameter inputted by the coefficient data and the parameter input means are stored in said first memory means, a lower value and the value of the threshold determining a value corresponding to the upper end value of the interval Means for generating a value for determining the threshold value corresponding to the lower limit value and the upper limit value to which the spatial activity determined by the section determination means belongs, by performing a product-sum operation by substituting into an equation;
Using the position information for specifying a value for the threshold determination corresponding to the lower limit and the upper limit of the generated the space activity belongs interval by said means, a section in which the spatial activity belongs, the space activity Threshold generating means for generating one or a plurality of thresholds corresponding to the spatial activity detected by the first detecting means by performing an operation by linear interpolation according to each section to which it belongs ;
Second detection means for detecting an inter-frame difference based on the selected plurality of pixel data;
Means for comparing the inter-frame difference detected by the second detection means with the one or more threshold values generated by the threshold value generation means to determine a motion class of the image data corresponding to the parameter value; An image signal processing apparatus comprising: The class detection means is
Second memory means for storing coefficient data of a generation formula including the predetermined parameter, which generates a value for defining the section;
By multiplying the coefficient data stored in the second memory means and the value of the parameter input by the parameter input means into the generation formula,
The image signal processing apparatus according to claim 5, further comprising means for generating a value for determining a section to which the spatial activity belongs. The pixel data generation means includes
A first memory for storing coefficient seed data which is coefficient data in the generation formula including the predetermined parameter, which is generated in advance for each class detected by the class detection means and used in the estimation formula Means,
The class and the parameter input generated by the generation formula using the coefficient seed data stored in the first memory means and the parameter value input by the parameter input means and detected by the class detection means Coefficient data generating means for generating coefficient data of the estimation formula corresponding to the value of the parameter input by the means;
Second data selection means for selecting a plurality of pixel data located around the target position in the second image signal based on the image signal;
Using the coefficient data generated by the coefficient data generation means and the plurality of pixel data selected by the second data selection means, based on the estimation formula, the position of interest in the second image signal The image signal processing apparatus according to claim 5, further comprising a calculation unit that obtains pixel data. The pixel data generation means includes
A class having a memory for storing coefficient data of an estimation expression generated in advance for each combination of a class detected by the class detecting unit and a parameter value input by the parameter inputting unit, and the class detected by the class detecting unit And coefficient data generating means for generating coefficient data of the estimation formula corresponding to the parameter value input by the parameter input means,
Second data selection means for selecting a plurality of pixel data located around the position of interest in the second image signal based on the first image signal;
Using the coefficient data generated by the coefficient data generation means and the plurality of pixel data selected by the second data selection means, based on the estimation formula, the position of interest in the second image signal The image signal processing apparatus according to claim 5, further comprising a calculation unit that obtains pixel data. In accordance with tap position information indicating a motion class tap when a first image signal composed of a plurality of pixel data is input and converted into a second pixel signal having the same or greater number of pixels as the first pixel signal , selecting a pixel data in a plurality of said first image signal located around the target pixel position in the upper Symbol second image signal,
Obtaining a value determined when adjusting the resolution and noise removal degree of the input image signal as a parameter value used when determining the motion class ;
Detecting a class to which pixel data of a target position in the second image signal belongs based on the plurality of selected pixel data;
Corresponding to the value of the detected class and the acquired parameters, and engaging the number of data that are used in the estimation equation for calculating the pixel data of the target position in the second image signal, corresponding to the target position The pixel data of the target position is generated by performing a product-sum operation on the pixel data value of the first image signal and the coefficient data generated corresponding to the detected class based on the estimation formula And steps to
Generating pixel data of a position of interest in the second image signal corresponding to the detected class and the value of the acquired parameter,
The step of detecting the class is:
Based on the plurality of pixel data the selected, a class motion classification representing the degree of motion related to the pixel data obtained by the sum of the absolute value of the difference between frames of the pixel data for obtaining the motion class Detecting spatial activity as a spatial gradient of the pixel data ;
The first pixel data obtained from the teacher signal corresponding to the second image signal and the teacher signal located around the target position of the first pixel data are thinned out according to the acquired parameter. Second pixel data composed of student signals obtained by varying the frequency characteristics and noise amount of the filter, a class code indicating a class to which the first pixel data located around the position of interest belongs, and the parameters From the above, generating a normal equation for each class, and solving the generated normal equation to obtain coefficient data for obtaining a value for determining a threshold value used when detecting the motion class ;
Determining a section having a lower end value and an upper end value defined by a plurality of values generated by the value of the parameter and the coefficient data to which the detected spatial activity belongs;
Substituting the obtained coefficient data and the obtained parameter value into a generation formula for generating values corresponding to the lower end value and the upper end value of the section as values for threshold determination, and performing a product-sum operation Generating a value for determining the threshold value corresponding to the lower end value and the upper end value to which the determined spatial activity belongs;
Using the value of the threshold determination corresponding to the lower limit and the upper limit of the interval in which the spatial activity which is the product belongs, and the position information for specifying a section in which the spatial activity belongs, each said space activity belongs Generating one or more thresholds corresponding to the detected spatial activity by performing an operation by linear interpolation according to the interval ;
Detecting an inter-frame difference based on the selected plurality of pixel data;
Comparing the detected inter-frame difference with the generated one or more thresholds to determine a motion class of the image data corresponding to the value of the parameter. In accordance with tap position information indicating a motion class tap when a first image signal composed of a plurality of pixel data is input and converted into a second pixel signal having the same or greater number of pixels as the first pixel signal , selecting a pixel data in a plurality of said first image signal located around the target pixel position in the upper Symbol second image signal,
Obtaining a value determined when adjusting the resolution and noise removal degree of the input image signal as a parameter value used when determining the motion class ;
Detecting a class to which pixel data of a target position in the second image signal belongs based on the plurality of selected pixel data;
Corresponding to the value of the detected class and the acquired parameters, and engaging the number of data that are used in the estimation equation for calculating the pixel data of the target position in the second image signal, corresponding to the target position The pixel data of the target position is generated by performing a product-sum operation on the pixel data value of the first image signal and the coefficient data generated corresponding to the detected class based on the estimation formula And steps to
Generating pixel data of a position of interest in the second image signal corresponding to the detected class and the value of the acquired parameter,
The step of detecting the class is:
Based on the plurality of pixel data the selected, a class motion classification representing the degree of motion related to the pixel data obtained by the sum of the absolute value of the difference between frames of the pixel data for obtaining the motion class Detecting spatial activity as a spatial gradient of the pixel data ;
The first pixel data obtained from the teacher signal corresponding to the second image signal and the teacher signal located around the target position of the first pixel data are thinned out according to the acquired parameter. Second pixel data composed of student signals obtained by varying the frequency characteristics and noise amount of the filter, a class code indicating a class to which the first pixel data located around the position of interest belongs, and the parameters From the above, generating a normal equation for each class, and solving the generated normal equation to obtain coefficient data for obtaining a value for determining a threshold value used when detecting the motion class ;
Determining a section having a lower end value and an upper end value defined by a plurality of values generated by the value of the parameter and the coefficient data to which the detected spatial activity belongs;
Substituting the obtained coefficient data and the obtained parameter value into a generation formula for generating values corresponding to the lower end value and the upper end value of the section as values for threshold determination, and performing a product-sum operation Generating a value for determining the threshold value corresponding to the lower end value and the upper end value to which the determined spatial activity belongs;
Using the value of the threshold determination corresponding to the lower limit and the upper limit of the interval in which the spatial activity which is the product belongs, and the position information for specifying a section in which the spatial activity belongs, each said space activity belongs Generating one or more thresholds corresponding to the detected spatial activity by performing an operation by linear interpolation according to the interval ;
Detecting an inter-frame difference based on the selected plurality of pixel data;
Comparing the detected inter-frame difference with the generated one or more threshold values to determine a motion class of the image data corresponding to the value of the parameter. A program to be executed.

Images