JP3845870B2 - ディジタル信号処理用集積回路 - Google Patents

Description

技術分野
この発明は、例えばディジタル画像信号の処理のための集積回路に関する。
背景技術
例えばディジタル画像信号の処理のハードウエアをＬＳＩとする場合、その一つの方法は、その処理と対応した専用のＬＳＩを開発設計するものであり、他の方法は、汎用性を有するＤＳＰ（Digital Signal Processor）を利用することである。ＤＳＰは、積和演算器、ＲＡＭ／ＲＯＭ等からなり、ＦＦＴ、ディジタル・フィルタ等のディジタル信号処理を行なうことが可能なものである。
専用のＬＳＩを開発設計する方法の場合では、ディジタル信号処理の種類の数のＬＳＩの開発設計が必要である。また、ＤＳＰは、汎用性に優れているが、効率が悪い問題があった。
発明の開示
従って、この発明の目的は、基本的なハードウェア構成を共通化し、複数の機能を１チップにより実現することができるディジタル信号処理用集積回路を提供することにある。
この発明は、単一の集積回路内に複数の回路群および少なくとも二つの状態を切り換え可能な選択手段が設けられてなり、外部からの信号によって選択手段が選択制御される、クラス分類適応処理を可能とするディジタル信号処理用集積回路であって、
複数の回路群は、第１および第２のフィルタ演算手段と、第１および第２のフィルタ演算手段に対してタップ出力をそれぞれ供給するための第１および第２の遅延および選択手段と、第１および第２のフィルタ演算手段によりそれぞれ予測する画素データをクラス分類するための第１および第２のクラス分類手段と、第１および第２のクラス分類手段からのクラス情報に対応して第１および第２のフィルタ演算手段に対してそれぞれフィルタ係数を与えるための第１および第２のメモリとから構成され、
第１および第２の遅延および選択手段が選択手段の選択状態に応じて第１および第２のフィルタ演算手段に対して１次元タップ出力および２次元タップ出力の一方を切り換えて与え、
第１および第２のクラス分類手段が選択手段の選択状態に応じて、第１および第２のフィルタ演算手段に対して１次元クラス分類の結果のクラス情報および２次元クラス分類の結果のクラス情報一方を切り換えて与えるようになされたことを特徴とするディジタル信号処理用集積回路である。
集積回路の外部から与える制御信号によって、選択手段を制御し、それによって、複数の回路群の接続状態が切り換えられる。集積回路内のハードウエアの構成を共通とし、制御信号により選択的に指定できる複数の機能を１チップの集積回路で実現することができる。
【図面の簡単な説明】
第１図はこの発明による集積回路の一実施例の構成を示すブロック図、第２図はこの発明による集積回路の他の実施例の構成を示すブロック図、第３図はこの発明の他の実施例により実現される機能の一つであるアップコンバージョン回路のブロック図、第４図はアップコンバージョン処理を説明するための略線図、第５図は遅延および選択回路の一例のブロック図、第６図は遅延および選択回路の一例の説明に用いる略線図、第７図はクラス分類回路の一例のブロック図、第８図はクラス分類回路の一例の説明に用いる略線図、第９図はアップコンバージョン処理用の係数を得るための構成の一例のブロック図、第１０図は予測係数を求めるための学習をソフトウェア処理で行う時のフローチャート、第１１図はこの発明の他の実施例により実現される機能の他の一つであるノイズリデューサのブロック図、第１２図はノイズ除去処理用係数を得るための構成の一例のブロック図、第１３図はノイズ除去処理を説明するための略線図である。
発明を実施するための最良の形態
以下、この発明について図面を参照して説明する。第１図は、この発明の一実施例におけるＬＳＩ１の構成を示すものである。すなわち、第１図ににおいて、破線で囲んだ構成が１チップの集積回路（ＬＳＩ）１の構成とされている。ＬＳＩ１には、入力端子ｔ１およびｔ２、出力端子ｔ３およびｔ４、制御信号入力端子ｔ５が設けられている。図示しないが、実際には、通常のように、入力／出力端子以外に、電源端子、テスト端子等がＬＳＩ１に設けられている。
ＬＳＩ１には、複数の回路群が形成されている。それらは、演算回路群１１ａ、１１ｂと、メモリ１２ａ、１２ｂと、積和演算回路群１３ａ、置１３ｂと、アダー１４ａ、１４ｂと、乗算器１５ａ、１５ｂと、レジスタ群１６ａ、１６ｂとである。そして、これらの回路群あるいは回路に対して、入力／出力あるいは相互間（回路群あるいは回路間の相互接続、および回路群の内部における回路間の相互接続の両者を意味する）の接続状態を切り換えるための切換器がＬＳＩ１内に設けられている。換言すると、ＬＳＩ１内のディジタル信号の流れと、各回路群の機能とが制御信号により制御可能とされる。
すなわち、演算回路群１１ａ、１１ｂと関連して切換器２１ａ、２１ｂが設けられ、メモリ１２ａ、１２ｂと関連して切換え器２２ａ、２２ｂが設けられ、積和演算回路群１３ａ、１３ｂと関連して切換器２３ａ、２３ｂが設けられている。さらに、アダー１４ａ、１４ｂ、乗算器１５ａ、１５ｂ、レジスタ群１６ａ、１６ｂと関連して切換器２４が設けられている。これらの切換器２１ａ、２１ｂ、２２ａ、２２ｂ、２３ａ、２３ｂおよび２４に対しては、各数ビットの制御信号Ｓ１〜Ｓ７がそれぞれ供給される。制御信号Ｓ１〜Ｓ７は、制御信号入力端子ｔ５を通じて外部の制御信号発生器（例えばリップスイッチで所定の制御信号を発生する構成）から供給可能とされている。
この第１図の構成によると、制御信号Ｓ１〜Ｓ７によって、クラス分類による予測処理の構成を実現することができる。クラス分類予測処理は、後述する一実施例によってより具体的に説明するが、演算回路群１１ａ、１１ｂによって、レベル分布に基づいたクラス分類回路がそれぞれ構成され、線形１次結合（フィルタ）演算回路が積和演算回路群１３ａ、１３ｂによってそれぞれ構成され、予測のための係数を格納するメモリがメモリ１２ａ、１２ｂによってそれぞれ構成される。さらに、二つの１次元フィルタからの予測信号を混合（あるいは切り換え）のための混合回路がアダー１４ａ、１４ｂ、レジスタ群１６ａ、１６ｂによって構成される。
また、第１図のＬＳＩ１は、クラス分類処理を用いたノイズリデューサを構成することもできる。ノイズリデューサは、クラス分類に基づいて２次元フィルタ演算および３次元フィルタ演算によりそれぞれ形成されたノイズ除去出力を動き係数に応じて混合する構成とされる。ノイズリデューサの場合では、演算回路群１１ａ、１１ｂによって、２次元フィルタ回路が積和演算回路群１３ａによって構成され、３次元フィルタ回路が積和演算回路群１３ｂによって構成され、予測のための係数を格納するメモリがメモリ１２ａ、１２ｂによってそれぞれ構成され、２次元フィルタおよび３次元フィルタからのノイズ除去された信号を動き係数に応じて混合するのための混合回路がアダー１４ａ、１４ｂ、レジスタ群１６ａ、１６ｂによって構成される。
次に、この発明の他の実施例を第２図に示す。他の実施例は、第１図に示す構成と同様に、クラス分類適応処理を可能とした構成のものである。第２図において、１０がＬＳＩを示し、このＬＳＩ１０は、ディジタル画像信号が供給される入力端子ｔ１、ｔ２、ｔ２′、ＬＳＩ１０で処理されたディジタル画像信号が出力される端子ｔ３、ｔ４、制御信号が供給される端子ｔ５を有している。
一方の入力端子ｔ１からの画像信号がクラス分類回路１１１ａ、遅延および選択回路１１２ａおよびライン遅延回路１１７に供給される。クラス分類回路１１１ａは、後述するように、処理の対象の注目画素を注目画素値およびその周辺の画素値の分布によってクラス分けするために、論理演算を行う構成とされている。クラス分類回路１１１ａの出力が切り換え回路１１３ａに供給される。クラス分類回路１１１ａは、クラス分類に使用する複数の画素の組合せとして２種類の組合せを出力可能なものである。例えば１次元の配列の複数の画素値を使用したクラス分けと、２次元の配列の複数の画素値を使用したクラス分けを行うことができ、その二つのクラス分類動作の出力（クラス情報）の一方が切り換え回路１１３ａによって選択される。切り換え回路１１３ａは、端子ｔ５からの制御信号によって切り換えられる。選択されたクラス情報が係数メモリ１１５ａに対してアドレスとして供給される。
遅延および選択回路１１２ａは、レジスタ群、ライン遅延回路およびセレクタから構成されている。レジスタは、サンプル遅延素子として使用される。遅延および選択回路１１２ａは、端子ｔ５からの制御信号によって、切り換えられる。遅延および選択回路１１２ａは、信号処理が異なるために生じる信号間の時間ずれを補正すると共に、フィルタ演算に必要なタップ出力を発生する。タップ出力としては、１次元フィルタのためのタップ出力および２次元フィルタのためのタップ出力が形成される。また、１次元および２次元フィルタのそれぞれにおいて、二つのタップ構造が切り換え可能とされ、二つのタップ構造のそれぞれの出力が切り換え回路１１４ａに供給される。この切り換え回路１１４ａで選択された複数のタップ出力（画素データ）がフィルタ演算回路１１６ａに対して供給される。
フィルタ演算回路１１６ａには、係数メモリ１１５ａからの係数データも供給され、積和演算によってフィルタ出力が形成される。すなわち、切り換え回路１１４ａを介されたタップ出力（複数の画素データ）と係数メモリ１１５ａから読出された複数の係数とが線形１次結合によって演算され、予測値が生成される。
ライン遅延回路１１７は、メモリで構成された１〜数ライン分の遅延を生じさせる回路である。ライン遅延回路１１７の出力が他のクラス分類回路１１１ｂに供給される。
上述したクラス分類回路１１１ａ、遅延および選択回路１１２ａ、切り換え回路１１３ａ、切り換え回路１１４ａ、係数メモリ１１５ａ、フィルタ演算回路１１６ａと同様の接続関係を持つように、クラス分類回路１１１ｂ、遅延および選択回路１１２ｂ、切り換え回路１１３ｂ、切り換え回路１１４ｂ、係数メモリ１１５ｂ、フィルタ演算回路１１６ｂが設けられている。入力端子ｔ２からの画像信号がクラス分類回路１１１ｂ、遅延および選択回路１１２ｂに供給される。
切り換え回路１１３ａ、１１３ｂ、１１４ａ、１１４ｂ、および後述の切り換え回路１１９は、端子ｔ５からの制御信号によって、制御される。また、係数メモリ１１５ａ、１１５ｂには、予め学習により得られた予測（フィルタ）係数が格納されている。例えば電源オン等で発生するマスターリセットパルズによってなされる初期化動作によって、外部のメモリからＬＳＩ１０の係数メモリ１１５ａ、１１５ｂに対して予測係数が転送される。
フィルタ演算回路１１６ａの出力が積和演算回路１１８および切り換え回路１１９に供給される。フィルタ演算回路１１６ｂの出力が積和演算回路１１８に供給されるとともに、出力端子ｔ４に出力信号として取り出される。積和演算回路１１８の出力信号が切り換え回路１１９に供給される。積和演算回路１１８は、ノイズリデューサを構成する場合には、クラス分類回路１１１ｂから出力される動き係数に基づいてフィルタ演算回路１１６ａおよび１１６ｂの出力を混合する。切り換え回路１１９は、端子ｔ５からの制御信号によって切り換えられ、フィルタ演算回路１１６ａの出力と積和演算回路１１８の出力の一方を選択し、選択された出力が出力端子ｔ３に取り出される。
さらに、ライン遅延回路１１７の出力信号と、入力端子ｔ２′からの画像信号とがクラス分類回路１１１ｂ、遅延および選択回路１１２ｂに供給される。入力端子ｔ２およびｔ２′から１フレームの時間差を有する画像信号を供給することによって、クラス分類回路１１１ｂが３次元のクラス分類を行うことができ、また、遅延および選択回路１１２ｂが１次元、２次元、３次元のタップ構造を選択的に持つことができる。
上述のこの発明の一実施例の構成は、制御信号を変えることによって、複数のディジタル信号処理が可能である。その具体例について説明する。最初に、ディジタルテレビジョン信号のアップコンバージョンの処理に対して適用した例について説明する。ここでは、標準解像度のディジタルテレビジョン信号（ＳＤ信号と称する）が入力され、最初に垂直方向で画素数を２倍とし、その後に水平方向に画素数を２倍とする分離処理によって、画素数が４倍の高解像度のディジタルテレビジョン信号（ＨＤ信号と称する）を形成するアップコンバージョンの例について述べる。なお、最初に水平方向の処理を行い、次に垂直方向の処理を行っても良い。
第３図は、端子ｔ５からの制御信号によって、かかるアップコンバージョンの処理を行なうように構成されたＬＳＩ１０を示す。第３図および後述の第１１図において破線の信号線は、配線されているが、切り換え回路１１３ａ、１１３ｂ、１１４ａ、１１４ｂ、および１１９によって選択されない信号に関する信号線を意味している。ＳＤ信号が入力端子１２０ａに対して供給され、水平−垂直走査線変換回路１２１ａを介してＬＳＩ１０の入力端子ｔ１に供給される。この走査線変換回路１２１ａは、メモリを含み、水平走査（テレビジョンラスターの走査順序）から垂直走査への変換を行う。すなわち、各サンプリング位置において縦方向に整列する画素が画面の左端のサンプリング位置から右端へ向かう順序で、また、各サンプリング位置においては上から下へ向かう順序で出力される。
アップコンバージョン時に機能している回路について説明すると、入力端子ｔ１に対して、クラス分類回路１１１ａ、遅延および選択回路１１２ａが接続される。クラス分類回路１１１ａからの１次元クラス分類の結果である、クラス情報（コード信号）が切り換え回路１１３ａを介して係数メモリ１１５ａにアドレスとして供給される。係数メモリ１１５ａには、予め学習により得られた係数が格納されている。係数メモリ１１５ａから読出された係数がフィルタ演算回路（１次元フィルタ）１１６ａに供給される。
フィルタ演算回路１１６ａは、ＳＤ信号の複数の画素データと係数メモリ１１５ａからの複数の係数とをそれぞれ乗算し、乗算結果を加算する。このフィルタ演算回路１１６の出力信号が切り換え回路１１９を介して出力端子ｔ３に取り出される。入力端子ｔ１および出力端子ｔ３の間の構成によって、垂直方向において画素数が２倍とされる。この出力信号がＬＳＩ１０の入力端子１２０ｂに戻され、入力端子１２０ｂから垂直−水平走査線変換回路１２１ｂに供給される。この走査線変換回路１２１ｂの出力信号が再びＬＳＩ１０の入力端子ｔ２に供給される。走査線変換回路１２１ｂは、メモリを含み、垂直走査から水平走査への変換を行う。すなわち、走査線変換回路１２１ｂの出力信号は、テレビジョンラスターと同様の走査の信号となる。
入力端子ｔ２に対しては、上述の入力端子ｔ１と同様に、クラス分類回路１１１ｂ、遅延および選択回路１１２ｂが接続される。さらに、これらの回路ブロックと、切り換え回路１１３ｂ、切り換え回路１１４ｂ、係数メモリ１１５ｂ、フィルタ演算回路（１次元フィルタ）１１６ｂとによって、水平方向に画素数を２倍に増やす処理がなされる。従って、出力端子ｔ４には、水平および垂直方向に画素数がそれぞれ２倍とされ、４倍の画素数の信号（ＨＤ信号）が得られる。
アップコンバージョンの処理例えば垂直方向の処理についてより詳細に説明する。第４図は、時間的に連続する３フィールド（それぞれｋ−１、ｋ、ｋ＋１と表す）間の画素配列の関係を示す。インターレース走査の関係から、フィールドｋのライン位置と、その前のフィールドｋ−１のライン位置（またはその後のフィールドｋ＋１のライン位置）との間に、０．５Ｈ分の垂直方向の位置ずれがある。このようなインターレース走査の場合では、各フィールドのライン数を単に２倍とすることでは、インターレース関係がくずれてしまう。
ライン間の垂直方向の間隔を１で表すと、ＳＤ画素（白丸で示す）例えばｘ４の上側の距離１／８の位置にＨＤ画素（黒丸で示す）ｙｂ′を生成し、その下側の距離３／８の位置にＨＤ画素（黒丸で示す）ｙａ′を生成することによって、インターレース関係を保ちながらライン数を２倍とできる。次のフィールドｋ＋１では、ＳＤ画素の上側の３／８の位置にＨＤ画素ｙａ′を生成し、その下側の１／８の位置にＨＤ画素ｙｂ′を生成する。このように、フィールド間で、ＨＤ画素を生成する位置が切り換わるので、係数もフィールド間で切り換える必要がある。係数メモリ１１５ａは、ＨＤ画素ｙａ′およびｙｂ′をそれぞれ生成するための二組の係数を別個に格納するメモリと、二組の係数をフィールド毎に切り換える切り換え回路を有する。
第３図における水平−垂直走査変換回路１２１ａによって、例えばｋ番目のフィールドにおいて、ＳＤ画素の順序がｘ₁、ｘ₂、ｘ₃、・・・と変換される。この時系列で連続する７個のＳＤ画素と、係数メモリ１１５ａから読出された二組の係数ａ₁〜ａ₇およびｂ₁〜ｂ₇によって、注目画素の値ｙ_a′、ｙ_b′がそれぞれ生成される。すなわち、
ｙ_a′＝ａ₁ｘ₁＋ａ₂ｘ₂＋・・・・・＋ａ₇ｘ₇
ｙ_b′＝ｂ₁ｘ₂＋ｂ₂ｘ₃＋・・・・・＋ｂ₇ｘ₈
遅延および選択回路１１２ａからは、ＨＤ画素値ｙ_a′を形成するのに必要なＳＤ画素値と、ＨＤ画素値ｙ_b′を形成するのに必要なＳＤ画素値とが出力され、切り換え回路１１４ａでは、これらの画素値が切り換えられてフィルタ演算回路１１６ａに供給される。フィルタ演算回路１１６ａでは、上述の線形１次結合によって、ＨＤ画素値ｙ_a′およびｙ_b′を計算し、出力端子ｔ３には、垂直方向の画素数が２倍とされた垂直倍速信号が得られる。
一方、フィルタ演算回路１１６ｂにおいては、上述と同様に、例えば水平方向の７個のＳＤ画素の値と、係数メモリ１１５ｂからの係数とによって１次元フィルタの演算がなされ、水平方向に２倍の数とされた水平倍速信号が形成される。例えば入力ＳＤ信号が１３．５ＭHzの場合では、２７ＭHzのサンプリングレートの垂直倍速信号が生じ、さらに、水平処理によって、出力端子ｔ４には、５４ＭHzのサンプリングレートのＨＤ信号が生じる。
遅延および選択回路１１２ａ、１１２ｂは、後述するノイズリデューサの例の場合では、２次元フィルタ演算をフィルタ演算回路１１６ａ、１１６ｂが行うために、２次元タップの出力を発生する。１次元タップ構造と２次元タップ構造の切り換えは、例えば第５図の構成によって可能である。
この例は、第６図Ａに示される１次元タップ構造（アップコンバージョン）の場合と、第６図Ｂに示される２次元タップ構造（ノイズリデューサ）の場合とで、タップ構造を切り換えるものである。第６図Ａの１次元タップ構造では、同一ライン例えば１−１上の７画素の値ｘ₁〜ｘ₇と係数との線形１次結合によって、予測画素値を計算する。また、第６図Ｂの２次元タップ構造では、ライン１−１上の５画素の値ｘ₂〜ｘ₆と、ｘ₄の上下の画素の値ｘ₁およびｘ₇との合計７個の画素の値と係数との線形１次結合によって、予測画素値を計算する。
第５図の構成において、ＳＤがサンプル遅延素子であり、ＬＤがライン遅延素子である。二つのライン遅延素子が直列に接続されているので、これらの入力および出力からは、３ライン１，１−１，１−２の信号が同時に取り出される。そして、各ラインの信号に対して、直列に接続された６個のサンプル遅延素子がそれぞれ接続されている。従って、各サンプル遅延素子の入力および出力からは、第６図に示すような（３ライン×７画素）の２次元領域内の画素が同時に得られる。
１次元タップ構造と２次元タップ構造との間では、ｘ₂〜ｘ₆の５画素の値が共用される。ｘ₁およびｘ₇に関しては、二つのセレクタによって、各タップ構造と対応して必要なものを選択する構成とされる。このように、遅延および選択回路１１２ａは、多くの遅延素子を共用しながら、１次元タップ構造または２次元タップ構造をセレクタ制御信号に応じて切り換えることができる。遅延および選択回路１１２ｂも第５図に示す構成と同様のものであるが、入力端子ｔ２′からの１フレーム遅延出力も入力されることにより、３次元タップ構造も可能である。
係数メモリ１１５ａ、１１５ｂに蓄えられている係数は、予め学習により獲得され、初期化動作によって書込まれたものである。そして、この係数は、注目画素のクラス毎に決定されている。例えば第４図中で、ｙ_a′、ｙ_b′が注目画素のデータである。クラス分類の方法の一つは、注目画素の周辺の入力信号のレベル分布のパターンを利用するものがある。例えば第４図において、注目画素の周辺の３個の画素データ（ＳＤ信号）のレベル分布のパターンに基づいてクラス分類がなされる。
一般的に、画素データは、８ビットの量子化データであるので、３画素の場合、（８×３＝２４ビット）となり、２４ビットの全ての組合せが２²⁴となる。このクラス数は膨大であり、係数を記憶するメモリ等のハードウエアが複雑となる。そこで、クラス分類回路１１１ａ、１１１ｂは、クラス分類に使用する各画素のビット数を圧縮することによって、クラス数を適正な値としている。
クラス分類のために参照する各画素のビット数を圧縮するための一つの方法は、各画素をレベル方向に正規化することである。一例として、参照される３画素の平均値を求め、平均値に対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、平均値より大きい値の場合は、‘1’を割り当て、平均値より小さい値の場合は、‘0’を割り当てる。その結果、３ビットのコード信号によりクラス情報が示される。
第７図は、クラス分類回路１１１ａの一例を示す。第８図Ｂに示すように、（３ライン×３画素）の２次元領域内に含まれる９画素が２個のライン遅延素子（ＬＤ）と、各ラインのデータに関してそれぞれ２個ずつ設けられた計６個のサンプル遅延素子（ＳＤ）とによって同時化される。クラス分類の方法としては、１次元クラス分類、２次元クラス分類、３次元クラス分類がある。後述するノイズリデューサにおいては、２次元クラス分類および３次元クラス分類の処理が必要となる。
１次元クラス分類は、第８図Ａに示すように、時系列（同一ライン）上の連続する３個の画素（ｘ₁、ｘ₂およびｘ₃）を使用する。２次元クラス分類は、第８図Ｂに示すように、（３ライン×３画素）の２次元領域内の９画素を使用する。１フレーム前の画像信号を使用することによって、３次元クラス分類が可能である。第７図の例は、１次元および２次元のクラス分類を切り換えることが可能とされている。
３画素を使用した１次元クラス分けの場合では、ゲート回路がオフとされ、ＲＯＭには、３画素の値の和（＝ｘ₁＋ｘ₂＋ｘ₃）が供給され、ＲＯＭは、その平均値Ａｖを発生する。９画素を使用した２次元クラス分けの場合では、ゲート回路がオンとされ、ＲＯＭには、９画素の値の和（＝ｘ₁＋ｘ₂＋ｘ₃＋・・・・＋ｘ₉）が供給され、ＲＯＭは、平均値Ａｖとして、９画素の値の平均値を発生する。
ＲＯＭからの平均値と各画素の値がそれぞれ比較回路にて比較され、画素値が平均値より大きい場合に‘1’であり、画素値が平均値以下の場合に‘０’である比較出力、すなわち、クラス情報を発生する。第７図の構成は、ゲート回路およびＲＯＭを制御することによって、１次元クラス分類および２次元クラス分類の何れも行うことができる。
また、正規化の他の方法としては、ＡＤＲＣを使用できる。ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
例えば１ビットＡＤＲＣの場合について説明すると、３画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素の値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、‘1’とされ、商が０．５より少ない場合は、‘0’とされる。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。２ビットＡＤＲＣの場合であれば、ＤＲ／２²で計算される量子化ステップ幅によって、最小値除去後の値が割算される。
次に、係数メモリ１１５ａ、１１５ｂに蓄えられる係数を得るための学習について説明する。第９図は、係数メモリ１１５ａに蓄えられる係数を決定するための学習時の構成を示す。なお、係数メモリ１１５ｂに蓄えられる係数の決定も同様であるので、その説明は省略する。第９図において、４１で示す入力端子に、垂直−水平走査変換されたＨＤ信号が供給され、間引きフィルタ４２によって、画素数が半分に間引かれる。間引きフィルタ４２の出力信号が係数決定回路４３およびクラス分類回路４４に供給される。クラス分類回路４４は、クラス分類回路１１１ａと同様に、周囲の画素を使用して注目画素のクラスを決定する。クラス分類回路４４からのクラスコードが係数決定回路４３およびメモリ４５にそれぞれ供給される。
係数決定回路４３は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような係数を決定する。入力端子４１に供給されるＨＤ信号が係数決定回路４３に対して、注目画素の真値として供給される。係数決定回路４３は、最小二乗法によって最良の予測係数を決定する。決定された係数がメモリ４５に格納される。格納アドレスは、クラス分類回路４４からのクラスコードで指示される。
係数決定をソフトウェア処理で行う動作について、第１０図を参照して説明する。まず、ステップ５１から処理の制御が開始され、ステップ５２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ５３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ５６の予測係数決定へ、終了していなければ、ステップ５４のクラス決定へ制御が移る。
ステップ５４のクラス決定は、上述した注目画素についてのクラス決定処理を行い、クラスを指示するクラスコードを形成するチップである。次のステップ５５の正規方程式生成では、後述する正規方程式が作成される。ステップ５３のデータ終了から全データの処理が終了後、制御がステップ５６に移り、ステップ５６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ５７の予測係数ストアで、予測係数をメモリ４５にストアし、ステップ５８で学習処理の制御が終了する。
第１０図中のステップ５５（正規方程式生成）およびステップ５６（予測係数決定）の処理をより詳細に説明する。学習時には、注目画素の真値ｙが既知である。注目画素の補正値をｙ′、その周囲の画素の値をｘ₁〜ｘ_nとしたとき、クラス毎に係数ｗ₁〜ｗ_n（上述したａ₁〜ａ_nあるいはｂ₁〜ｂ_nに対応する）によるｎタップの線形１次結合
ｙ′＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋‥‥＋ｗ_nＸ_n （１）
を設定する。学習前はｗ_iが未定係数である。
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙ_j′＝ｗ_jｘ_j1＋ｗ₂ｘ_j2＋‥‥＋ｗ_nｘ_jn （２）
（但し、ｊ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、ｗｉ〜Ｗ_nは一意には決まらないので、誤差ベクトルＥの要素を
ｅ_j＝ｙ_j−（ｗ_jｘ_j1＋ｗ₂ｘ_j2＋‥‥＋ｗ_nｘ_jn （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。

いわゆる最小自乗法による解法である。ここで式（４）のＷ_iによる偏微分係数を求める。

式（５）を０にするように各ｗ_iを決めればよいから、

として、行列を用いると

となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗ_iについて解けば、予測係数ｗ_iが求まり、クラスコードをアドレスとして、この予測係数ｗ_iをメモリ４５に格納しておく。
なお、クラス分類適応処理に基づくアップコンバージョンは、上述の一例に限らず、種々の構成が可能である。例えば学習により予め予測値そのものを獲得しておき、これをメモリに蓄えておくこともできる。また、１次元処理ではなく、２次元あるいは３次元処理によって、ＨＤ画素の値を得るようにしても良い。
次に、第２図に示すＬＳＩ１０により構成される信号処理回路の他の例について説明する。他の例は、制御信号の設定により第１１図に示すように構成されたディジタルノイズリデューサである。
第１１図において、１２２で示す入力端子にノイズを含むディジタルビデオ信号が供給される。入力ビデオ信号は、ＬＳＩ１０の入力端子ｔ１、ｔ２およびフレームメモリ１２３に供給される。フレームメモリ１２３からの前フレームのビデオ信号がＬＳＩ１０の入力端子ｔ２′に供給される。
入力端子ｔ１からの現フレームのビデオ信号がクラス分類回路１１１ａ、遅延および選択回路１１２ａ、ライン遅延回路１１７にそれぞれ供給される。入力端子ｔ２に供給された現フレームのビデオ信号がクラス分類回路１１１ｂ、遅延および選択回路１１２ｂにそれぞれ供給される。ライン遅延回路１１７は、ラスター走査の順序のデータの隣接する複数のラインのデータを同時化するために設けられている。ライン遅延回路１１７の出力信号がクラス分類回路１１１ａ、１１１ｂ、遅延および選択回路１１２ａ、１１２ｂにそれぞれ供給される。入力端子ｔ２′に供給された前フレームのビデオ信号がクラス分類回路１１１ｂ、遅延および選択回路１１２ｂにそれぞれ供給される。
クラス分類回路１１１ａで得られたクラス情報（コード信号）が切り換え回路１１３ａを介して係数メモリ１１５ａに対してアドレスとして供給され、クラス分類回路１１１ｂで得られたクラス情報が切り換え回路１１３ｂを介して係数メモリ１１５ｂに対してアドレスとして供給される。係数メモリ１１５ａ、１１５ｂには、予め学習により得られた係数が蓄えられており、クラス情報と対応して読出された係数が２次元フィルタとして機能するフィルタ演算回路１１６ａおよび３次元フィルタとして機能するフィルタ演算回路１１６ｂにそれぞれ供給される。
フィルタ演算回路（２次元フィルタ）１１６ａは、現フレーム内で隣接する複数の画素からなる２次元ブロック単位でノイズ除去された画素データを生成する。フィルタ演算回路（３次元フィルタ）１１６ｂは、現フレームおよび前フレームの複数の画素からなる３次元ブロック単位でノイズ除去された画素データを生成する。
フィルタ演算回路１１６ａおよび１１６ｂのそれぞれからのノイズ除去されたビデオ信号が積和演算回路１１８に供給される。積和演算回路１１８からの合成ビデオ信号、すなわち、ノイズ除去されたディジタルビデオ信号が切り換え回路１１９を介して出力端子ｔ４に取り出される。積和演算回路１１８は、フィルタ演算回路（２次元フィルタ）１１６ａの出力信号とフィルタ演算回路（３次元フィルタ）１１６ｂの出力信号とを動き係数Ｋにより重み付け加算する。動き係数Ｋは、クラス分類回路１１１ｂで生成される。
クラス分類回路１１１ａは、２次元のクラス分類を行なう。すなわち、注目画素を中心とするブロックのレベル分布のパターンに基づいて、この注目画素のクラスを決定する。一方、クラス分類回路１１１ｂは、３次元のクラス分類を行なう。３次元のクラス分類は、３次元ブロックのレベル分布のパターンに基づいて行なっても良いが、動き係数Ｋを発生するために、動き検出の結果に基づいたクラス分類が好ましい。
公知の動き検出の方法の一つとして、グラジェント法と称されるものを採用できる。これは、動き領域中の全画素についてのフレーム差と傾き情報（水平方向では、サンプリング差、垂直方向ではライン差）を用いて動き量を求めるものである。まず、ビデオ信号の傾斜部が動いた時に、フレーム差ΔＦ（現フレームの画素値から前フレームの対応画素値を減算したもの）と、サンプリング差ΔＥ（現画素の値から前画素の値を減算したもの）Ｅを求める。そして、フレーム差ΔＦの絶対値｜ΔＦ｜の動き領域中の積算値Σ｜ΔＦ｜と、サンプリング差ΔＥの絶対値｜ΔＥ｜の動き領域中の積算値Σ｜ΔＥ｜とから、水平方向の動き量ｖ１の大きさが求まる。すなわち、
｜ｖ１｜＝Σ｜ΔＦ｜／Σ｜ΔＥ｜
ここで、フレーム差ΔＦの極性とサンプリング差ΔＥの極性との関係から動きの方向が求められる。垂直方向の動きについても同様に検出できる。
クラス分類回路１１１ｂは、例えば上述のグラジェント法によって、動き量を求め、その動き量に応じた動き係数Ｋを発生する。また、フレーム差ΔＦ（あるいは｜ΔＦ｜）と、サンプリング差ΔＥ（あるいは｜ΔＥ｜）とに基づいて、クラス分類がなされる。この場合、これらのフレーム差およびサンプリング差の値を正規化した値を使用して適正な数のクラスを形成するようになされる。
上述のノイズリデューサについて、２次元処理を例に説明する。係数メモリ１１５ａには、予め学習により求めた係数が格納されている。第１２図は、学習時の構成を示し、７１で示す入力端子にノイズを含むディジタルビデオ信号が供給される。この入力信号がノイズリデューサ７２およびブロック化回路７３に供給される。ノイズリデューサ７２は、入力信号中のノイズを除去するもので、その一例は、Ｎフレームのメモリを使用し、Ｎ＋１フレームの画像の平均値を形成するものを使用できる。すなわち、ノイズは、一般的にランダムであるので、平均化により、ノイズが除去される。
ノイズリデューサ７２の出力信号（ノイズ低減信号）がブロック化回路７４に供給される。ブロック化回路７３および７４は、時系列変換回路であって、ラスター走査の順序をブロックの順序のデータへ変換する。ブロック化回路７３の出力信号がクラス分類回路７５に供給される。クラス分類回路７５は、注目画素を中心とするブロック内のレベル分布に基づいて注目画素のクラスを決定する。このクラス分類回路７５からのクラス情報が係数決定回路７６およびメモリ７７に供給される。
係数決定回路７６には、ブロック化回路７３および７４から入力信号およびノイズ低減信号が供給される。係数決定回路７６は、上述のアップコンバージョンの場合の係数決定と同様に、最小二乗法によって、最良の係数を決定する。すなわち、注目画素の周辺のブロック内の複数画素（入力信号の画素）と複数の係数との線形１次結合によって、注目画素の予測値を生成した時に、この予測値とノイズ低減信号の対応画素の値との誤差を最小とする係数が決定される。係数決定回路７６からの決定された係数がクラス情報で指定されるメモリ７７のアドレスに書込まれる。
ブロック化回路７３は、第１３図Ａに示すように、例えば画素ｘ₁を中心として、（３×３）の大きさのブロックＢＬ１を形成する。一方、ブロック化回路７４は、第１３図Ｂに示すように、画素ｙ₁を中心として（３×３）の大きさのブロックＢＬ１１を形成する。ここで、画素ｘ₁とｙ₁とは、画像中で対応する位置の画素であり、画素ｘ₁がノイズを含み、ｙ₁がノイズが低減されたものである。次のブロックＢＬ２およびＢＬ１２は、第１３図Ｃおよび第１３図Ｄにそれぞれ示すように、ブロックの境界が１画素シフトしたものであり、画素ｘ₂およびｙ₂をそれぞれ中心とするものである。
このように、ブロックの境界をシフトすることで、多数の学習用データを集め、第１０図のフローチャートおよび上述した処理によって、係数を決定する。その結果、例えば第１３図Ａに示す入力信号のブロックＢＬ１が与えられた時に、ブロックＢＬ１内の８個の画素の値（注目画素ｘ₁以外の画素の値）と８個の係数との線形１次結合により形成された予測値がノイズを含まない画素の値ｙ₁と殆ど同じ値となる。このようにして、注目画素ｘ₁のノイズが除去される。
フィルタ演算回路（３次元フィルタ）１１６ｂは、クラス分類およびフィルタ演算以外では、上述のフィルタ演算回路（２次元フィルタ）１１６ａと同様にしてノイズ除去の処理を行なう。動き係数Ｋが動き量と対応するので、フィルタ演算回路１１６ａの出力信号に対して、係数Ｋが乗じられ、フィルタ演算回路１１６ｂの出力信号に対して、係数（１−Ｋ）が乗じられ、これらの係数が乗じられた信号が加算される。すなわち、動き量が多い時には、時間方向の画像の相関が少なくなるので、フィルタ演算回路１１６ａの出力の重みが大とされる。
アップコンバージョンとノイズリデューサの具体例について説明したが、これら以外のディジタル信号処理の機能を発揮するように、制御信号により制御することができる。クラス分類適応処理を用いるディジタル画像信号処理の例では、サブサンプリングにより間引かれた画素を補間する補間回路、ディジタルクロマキー装置におけるキー信号の生成回路等を構成することができる。
以上説明したこの発明は、専用ＬＳＩのように、特定の機能に限定されず、また、上述の実施例におけるクラス分類適応処理のように、実現する機能の範囲をある程度制限するので、ＤＳＰのような充分な汎用性はないが、効率の良い処理を可能とできる。

Claims (1)

1. 単一の集積回路内に複数の回路群および少なくとも二つの状態を切り換え可能な選択手段が設けられてなり、外部からの信号によって上記選択手段が選択制御される、クラス分類適応処理を可能とするディジタル信号処理用集積回路であって、
   上記複数の回路群は、第１および第２のフィルタ演算手段と、上記第１および第２のフィルタ演算手段に対してタップ出力をそれぞれ供給するための第１および第２の遅延および選択手段と、上記第１および第２のフィルタ演算手段によりそれぞれ予測する画素データをクラス分類するための第１および第２のクラス分類手段と、上記第１および第２のクラス分類手段からのクラス情報に対応して上記第１および第２のフィルタ演算手段に対してそれぞれフィルタ係数を与えるための第１および第２のメモリとから構成され、
   上記第１および第２の遅延および選択手段が上記選択手段の選択状態に応じて上記第１および第２のフィルタ演算手段に対して１次元タップ出力および２次元タップ出力の一方を切り換えて与え、
   上記第１および第２のクラス分類手段が上記選択手段の選択状態に応じて、上記第１および第２のフィルタ演算手段に対して１次元クラス分類の結果のクラス情報および２次元クラス分類の結果のクラス情報一方を切り換えて与えるようになされたことを特徴とするディジタル信号処理用集積回路。

Images