JP3653759B2

JP3653759B2 - クラス分類適応処理装置

Info

Publication number: JP3653759B2
Application number: JP29897594A
Authority: JP
Inventors: 秀雄中屋; 哲二郎近藤; 真史内田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-08
Filing date: 1994-11-08
Publication date: 2005-06-02
Anticipated expiration: 2020-06-02
Also published as: JPH08138042A

Description

【０００１】
【産業上の利用分野】
この発明は、クラス分類適応処理において、メモリの無駄を防ぐことができるクラス分類適応処理装置に関する。
【０００２】
【従来の技術】
従来のクラス分類適応処理の例として、本願出願人は、特願平４−１５５７１９号（特開平５−３２８１８５号公報）において、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわち、クラス毎に標準解像度の信号を高解像度の信号へ変換するアップコンバージョンを提案している。このためのマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。従って、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。
【０００３】
さらに、特願平５−２３７１２０号においては、サブサンプリングにより間引かれた画素の補間にクラス分類適応処理が適用される。この場合には、学習によって、補間値を予め作成するので、補間フィルタを使用するのと異なり、斜め方向の解像度を復元でき、復号画像の画質を向上できる。また、代表値として、ダイナミックレンジで正規化された値を用いるので、代表値を格納するメモリの規模が大きくなることを防止することができることを提案している。また、特願平５−１８６９８６号において、画像信号パターン毎に学習によって求められた下位ビットデータを用いて、入力画像データよりも多いビット数で量子化された画像データに変換を行うことにより、階調不足による疑似輪郭の発生等の問題を解決することを提案している。
【０００４】
さらにまた、特願平５−２０７０４９号において、ディジタルクロマキー装置に関して、画像切り換え用のキー信号を生成するための入力画像の画素データのレベル解像度を増加させ、この結果、ストレッチ処理を施してもキー信号の量子化歪みを許容範囲内に制限するものを提案している。さらに、特願平５−２１３２１０号、特願平５−２４１１８６号等様々なクラス分類適応処理を提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像の相関性を考えると、存在する確率が極めて小さいクラスがあり、その場合、学習時にデータが存在しないことがある。例えば、１２ビットでクラスを表現した場合、全クラスは４，０９６クラスとなり、そのうち約１，０００クラス程度のクラスにおいてデータが存在しないとすると、係数メモリの約１／４がデータの存在しない空の部分となる。さらに、係数が存在するクラスの内でも係数が良く似ていて、ある程度まとめられるクラスがある場合、さらに約１，０００クラス程度を減らすことができる等かなりの無駄を生じるという欠点があった。
【０００６】
従って、この発明の目的は、係数メモリの無駄を防ぐことができるクラス分類適応処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
この発明は、入力ディジタル画像信号を使用して生成されたアドレスをクラスコードに変換する変換用テーブルと、予め学習により出力ディジタル画像信号を生成するための情報がクラスコードに対応して蓄えられている処理用メモリ手段から得られる情報及び入力ディジタル画像信号を用いて出力ディジタル画像信号を得るようにしたクラス分類適応処理装置であって、変換用テーブルは、学習の結果アドレスが対応するクラスコードに変換されるように作成されていることを特徴とするクラス分類適応処理装置である。
【０００８】
【作用】
データが存在しない空のアドレス、および他のアドレスと同じデータを有するアドレスが削除され、削除されたアドレスを対応するアドレスへ変換するための変換テーブルを用いることにより、データが記憶されているメモリの容量を大幅に少なくすることができる。
【０００９】
【実施例】
以下、この発明のクラス分類適応処理装置の一実施例について、図面を参照しながら説明する。まず、標準解像度の画像（以下、ＳＤ画像と称する）を高解像度の画像（以下、ＨＤ画像と称する）へアップコンバージョンする一例のブロック図を図１に示す。１で示される入力端子からＳＤ画像がブロック化回路２へ供給され、ブロック化回路２では、例えば供給されたＳＤ画像から注目される画素（以下、ＳＤ画素と称する）を中心として、図２に示すような３画素×３ライン（以下、（３×３）ブロックと称する）を１つのブロックとしてブロック化が行われる。ブロック化回路２において、ブロック化が行われた（３×３）ブロックの画素値は、ＡＤＲＣ（Adaptive Dynamic-Range Coding ）回路３と予測演算回路６へ供給される。
【００１０】
ＡＤＲＣ回路３では、注目画素を除く各画素に対して、例えば１ビットＡＤＲＣが行われ、クラスコード発生回路４へ供給される。ここで、１ビットＡＤＲＣを行う一例を図３のブロック図を用いて説明する。ブロックの順序に変換され、入力端子１１から供給されたデータに関して、検出回路１２では、ブロック毎に最大値ＭＡＸ、最小値ＭＩＮが検出される。減算回路１３に対して最大値ＭＡＸおよび最小値ＭＩＮが供給され、その出力にダイナミックレンジＤＲが生成される。入力データおよび最小値ＭＩＮが減算回路１４へ供給され、入力データから最小値ＭＩＮが除去されることで、正規化された画素データが生成される。
【００１１】
ダイナミックレンジＤＲが割算回路１５へ供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路１５の出力データが比較回路１６へ供給される。比較回路１６では、端子１７から `0.5 ' が供給され、注目画素以外の８個の画素の割算出力が `0.5 ' を基準として、より大きいか、より小さいかが判断される。この結果に応じて、 `１' または `０' のデータＤＴが発生する。この比較出力ＤＴは、出力端子１８に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行なえば（３×３）ブロックのクラスコードが８ビットで表現される。なお、クラス分割に使用する画素としては、（３×３）ブロックの画素に限らず、前フィールドの画素を含むブロック等、種々のものを使用できる。
【００１２】
ＡＤＲＣ回路３から８ビットのクラスコードが供給されたクラスコード発生回路４では、８ビットのクラスコードに対応する１２ビットのアドレスが発生され、発生された１２ビットのアドレスは、処理用の予測係数メモリ５へ供給される。係数ＲＯＭ、またはＲＡＭから構成されている予測係数メモリ５では、供給されたアドレスから予め学習により得られている予測係数が読み出され、予測演算回路６へ供給される。予測演算回路６では、ブロック化回路２から供給された画素値と予測係数との演算が行われ、その演算結果はＨＤ画像の画素（以下、ＨＤ画素と称する）として出力端子７から取り出される。
【００１３】
ここで、予め予測係数メモリ５に格納される予測係数の学習を行う一例を図４のブロック図で説明する。入力端子２１を介して入力されたＨＤ画像は、ＨＤ／ＳＤ変換回路２２、クラス分類回路２３、および学習部２４へ供給される。ＨＤ／ＳＤ変換回路２２では、供給されたＨＤ画像からＳＤ画像へのダウンコンバージョンが行われる。例えば、供給されたＨＤ画像に対して水平フィルタと垂直フィルタが掛けられることによりＳＤ画像へ変換される。変換されたＳＤ画像、すなわちＳＤ画素は、クラス分類回路２３と学習部２４へ供給される。
【００１４】
クラス分類回路２３では、供給されたＳＤ画素の（３×３）ブロックを高能率圧縮符号化、例えばＡＤＲＣ符号化を行うことにより注目すべきＳＤ画素のクラスコードが生成される。生成されたクラスコードは、学習部２４と学習用の予測係数メモリ２５へ供給される。ＳＤ画像、ＨＤ画像、およびクラスコードが供給された学習部２４では、最小自乗法等を用いてクラス毎に最適な予測係数が算出され、算出された予測係数は、予測係数メモリ２５へ供給される。予測係数メモリ２５では、学習部２４から供給された予測係数がクラスコードにより示されるアドレスに記憶される。
【００１５】
また、上述と同様に予め予測係数メモリに格納される予測係数の学習をソフトウェア処理で行う場合の一例の動作を図５のフローチャートに示す。ステップ３１から学習処理の制御が開始され、ステップ３２の学習データ形成では、ＳＤ画素に対応した学習データが形成される。例えば、ＳＤ画素に対応したＨＤ画素を中心として図２に示す（３×３）ブロックの配列を使用する。ここで、ダイナミックレンジＤＲが所定のしきい値より小さいもの、すなわち平坦な画像は、学習データとして扱わないこととする。ステップ３３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ３６の予測係数決定へ制御が移り、終了していなければ、ステップ３４のクラス決定へ制御が移る。
【００１６】
ステップ３４のクラス決定では、入力された学習データのクラス分割がなされる。これは上述のように、ＡＤＲＣ、ＤＰＣＭ等によって、情報量が圧縮されたＳＤ画素のデータが用いられる。ステップ３５の正規方程式加算では、後述する式（６）および（７）の正規方程式が作成される。ステップ３３のデータ終了から全データの処理が終了後、制御がステップ３６に移り、ステップ３６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、予測係数を決める。ステップ３７の予測係数ストアで、予測係数をメモリにストアし、ステップ３８で学習処理の制御が終了する。
【００１７】
図５中のステップ３５（正規方程式生成）およびステップ３６（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その推定値をｙ´とし、その周囲の画素の値をｘ₁ 〜ｘ_nとしたとき、クラス毎に予測係数ｗ₁ 〜ｗ_nによるｎタップの線形１次結合
ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （１）
を設定する。学習前はｗ_iが未定係数である。
【００１８】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙ_j´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００１９】
ｍ＞ｎの場合、ｗ₁ 〜ｗ_nは一意には決まらないので、誤差ベクトルＥの要素を
ｅ_j＝ｙ_j−（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn）（３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする予測係数を求める。
【００２０】
【数１】

【００２１】
いわゆる最小自乗法による解法である。ここで式（４）のｗ_iによる偏微分係数を求める。
【数２】

【００２２】
式（５）を `０' にするように各ｗ_iを決めればよいから、
【数３】

【００２３】
として、行列を用いると
【数４】

【００２４】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗ_iについて解けば、予測係数ｗ_iが求まり、クラスコードをアドレスとして、この予測係数ｗ_iをメモリに格納しておく。
【００２５】
ここで、図６は、学習用の予測係数メモリ２５の簡単な構成を示す。クラスコードを示すインデックスがアドレスＡＤとして入力され、そのアドレスＡＤが係数メモリ４１〜５６へ供給され、供給されたアドレスＡＤに対応する値が係数メモリ４１〜５６に書き込まれ、また読み出される。
【００２６】
また、各アドレスに対応する係数メモリのマップの一例を図７に示す。縦軸は、１２ビットからなるアドレスＡＤを示し、横軸は係数メモリ４１〜５６を示す。また、図７中に斜線で示されている部分は、学習の結果、予測係数が存在しない部分を示す。この一例では、各予測係数のビット数は、８ビットとし、１６タップの予測式の場合、１クラスの容量は１２８ビットが必要である。さらに、アドレス可能なクラス数が４，０９６（１２ビット）必要なので、全体で５２４，２８８ビットの容量が必要となる。
【００２７】
しかしながら、かかる学習用の予測係数メモリ２５を処理用の予測係数メモリ５として使用すると、予測係数が存在しない部分のメモリが無駄となる。そこで、この一実施例では、予測係数メモリ５の容量を予測係数メモリ２５の容量の１／２とし、アドレスを１１ビットで表す、すなわち２，０４８クラスの係数メモリのマップを用いる一実施例を説明する。図８は、この発明の一実施例における予測係数メモリ５の構成のブロック図を示す。６１で示すアドレス変換テーブルにクラスコード発生回路４から１２ビットからなるアドレスＡＤが供給される。
【００２８】
このアドレス変換テーブル６１は、図９に示すように供給されたアドレスＡＤに対してクラスコードＣを出力する。このクラスコードＣは１１ビットであって、入力されたアドレスＡＤの１／２の２，０４８のアドレス（クラス）を指示する。このクラスコードＣがメモリ６２〜７７へ供給される。メモリ６２〜７７では、そのクラスコードＣにより示される予測係数がそれぞれ出力される。
【００２９】
ここで、図９中の斜線の部分は、図７に示す学習時の係数メモリのマップに示す斜線の部分と同様に係数の存在しない空のアドレスを示す。このアドレス変換テーブル６１では、図９に示すように、アドレスＡＤ＝５に対応する係数がない場合、対応するクラスコードＣは空となり、次のアドレスＡＤ＝６にクラスコードＣが書き込まれる。このようにして、空のアドレスが削除される。
【００３０】
このアドレス変換テーブル６１を用いたときにアドレスＡＤとして５が供給された場合、対応するクラスコードＣは空のため、前のアドレスＡＤ、または後のアドレスＡＤに対応するクラスコードＣが出力される。具体的には、アドレスＡＤ＝４に対応するクラスコードＣ＝４、またはアドレスＡＤ＝６に対応するクラスコードＣ＝５がアドレスＡＤ＝５に対応するクラスコードＣとして出力される。
【００３１】
さらにここで、学習用の予測係数メモリ２５において、予測係数が良く似ているクラスをまとめる。例えば、クラスコードＣ＝３の予測係数と、他のクラスコードＣの予測係数が良く似ている場合、アドレス変換テーブルの他のクラスコードＣの位置に `３' が書き込まれる。
【００３２】
各アドレスに対応する係数メモリのマップの一例を図１０に示す。このメモリに記憶されている予測係数は、予め学習により算出されている。この図１０は、上述した図７の係数メモリのマップと同様に縦軸にクラスコードを示し、横軸にメモリ６２〜７７を示す。
【００３３】
ここで、メモリの前段のアドレス変換テーブル６１は、４，０９６（１２ビット）を２，０４８（１１ビット）へ変換するため、４，０９６×１１＝４５，０５６ビットの容量が必要となる。さらに、係数メモリは、２，０４８（１１ビット）のクラスに８ビットからなる予測係数が１６タップ用意されているため２６６，１４４ビットの容量が必要となる。よって、この一例では、３０７，２００ビットの容量が必要となり、従来必要であった５２４，２８８ビットの約３／５の小容量化を図ることができる。これは、１個の予測係数に必要なビット数が多いほど、またタップが多いほど効果は大きくなる。
【００３４】
ここで、図２に示すように（３×３）ブロックの９タップでクラスを形成する。例えば、タップ番号（０１２３４５６７８）の順番で１ビットＡＤＲＣを行い、クラスコードＣが（１１００１１１００）となるブロックＡと、このブロックＡと異なるブロックＢをタップ番号（８７６５４３２１０）の順番、すなわち逆の順番で１ビットＡＤＲＣを行い、クラスコードＣが（１１００１１１００）となる場合、ブロックＡとブロックＢは、１８０度の回転対称を行うことで、全く同じブロックと見なすことができる。すなわち、ブロックＡとブロックＢは、同じ予測係数を１８０度の回転対称を行うことで使用することができる。
【００３５】
このような、１８０度の回転対称を行うときの予測係数メモリ５の構成のブロック図を図１１に示す。８１で示すアドレス変換テーブルにアドレスＡＤが供給され、このアドレス変換テーブル８１は、図１２に示すように供給されたアドレスＡＤに対して、フラグＦ付きクラスコードＣが出力される。クラスコードＣは、メモリ８２〜９７へ供給され、フラグＦはシフター９８へ供給される。シフター９８では、供給されたフラグＦが `０' のとき、メモリ８２〜９７から供給される予測係数がそのまま出力され、フラグＦが `１' のとき、メモリ８２〜９７から供給される予測係数が１８０度回転させて出力される。
【００３６】
ここで、この実施例では、注目されるＳＤ画素を中心として、３画素×３ラインのＳＤ画素のブロックをクラス分類に用いたが、注目されるＳＤ画素を中心として、水平方向に１５画素のブロックをクラス分類に用いることも可能である。
【００３７】
また、クラス分類のために、ＳＤ画素の値をそのまま使用することも可能である。さらに、情報圧縮手段としては、ＶＱ（ベクトル量子化）も使用できる。
【００３８】
さらにまた、各ＳＤ画素を同一のビット数のデータに変換しているが、ＨＤ画素と各ＳＤ画素との間の距離を考慮して、割り当てビット数を異ならせても良い。すなわち、ＨＤ画素により近いＳＤ画素の割り当てビット数を多くし、ＨＤ画素から遠いＳＤ画素の割り当てビット数を少なくするようにしても良い。
【００３９】
また、この実施例では、予測係数がメモリに格納されているが、予測係数ではなく代表値を用いることも可能である。
【００４０】
さらに、この実施例では、１８０度の回転対称としたが、正方格子で水平方向と垂直方向の相関が等しい場合は、９０度の回転対称となり、この９０度の回転対称をさらに付加することにより、メモリの容量をさらに減少させることができる。
【００４１】
【発明の効果】
この発明によれば、クラス分類適応処理に用いられる係数メモリ、すなわち係数ＲＯＭ、またはＲＡＭの前段にアドレス変換テーブルを挿入することで、全体の小容量化を図ることが可能となり、ハードウェアの小型化、低消費電力化、低価格化が実現できる。
【図面の簡単な説明】
【図１】アップコンバージョンを行う一例を示すブロック図である。
【図２】画素の配置の一例を示す略線図である。
【図３】１ビットＡＤＲＣを行う一例を示すブロック図である。
【図４】学習を行う一例を示すブロック図である。
【図５】学習を行う一例を示すフローチャートである。
【図６】予測係数メモリの一例を示すブロック図である。
【図７】係数メモリのマップの一例を示す略線図である。
【図８】この発明に係る予測係数メモリの一実施例を示すブロック図である。
【図９】この発明に係るアドレス変換テーブルの一実施例を示す略線図である。
【図１０】この発明に係る係数メモリのマップの一例を示す略線図である。
【図１１】この発明に係る予測係数メモリの他の実施例を示すブロック図である。
【図１２】この発明に係るアドレス変換テーブルの他の実施例を示す略線図である。
【符号の説明】
６１アドレス変換テーブル
６２〜７７係数メモリ

Claims

入力ディジタル画像信号を使用して生成されたアドレスをクラスコードに変換する変換用テーブルと、予め学習により出力ディジタル画像信号を生成するための情報が前記クラスコードに対応して蓄えられている処理用メモリ手段から得られる前記情報及び前記入力ディジタル画像信号を用いて前記出力ディジタル画像信号を得るようにしたクラス分類適応処理装置であって、
前記変換用テーブルは、前記学習の結果前記アドレスが対応する前記クラスコードに変換されるように作成されていることを特徴とするクラス分類適応処理装置。
前記変換用テーブルは、前記学習の結果、前記アドレスに対応する情報が空の場合には当該クラスコードを空として当該クラスコードを次のアドレスに対応付けるように作成されるものであり、
前記処理用メモリ手段は、前記学習の結果、前記アドレスに対応する情報が空の場合には当該アドレスに対応する領域を詰めて情報が格納されていることを特徴とする、請求項１に記載のクラス分類適応処理装置。
前記変換用テーブルは前記アドレスに対応する前記クラスコードとフラグを示すものであり、
前記処理用メモリ手段から得られる前記情報について前記フラグが示す回転対称処理を施すシフターを有し、
前記出力ディジタル画像信号は前記回転対称処理が施された前記情報及び前記入力ディジタル画像信号を用いて得られるようにしたことを特徴とする、請求項１に記載のクラス分類適応処理装置。
前記変換用テーブルは、前記学習の結果、第１のアドレスに配される第１のクラスコードに対応する前記処理用メモリ手段に記憶される前記情報と、第２のアドレスに配される第２のクラスコードに対応して前記処理用メモリ手段に記憶される前記情報とが類似するとき、前記第２のアドレスに前記第１のクラスコードを対応付けるように作成されることを特徴とする、請求項１に記載のクラス分類適応処理装置。