JP3709570B2 - ディジタル画像信号の処理装置および処理方法 - Google Patents
ディジタル画像信号の処理装置および処理方法 Download PDFInfo
- Publication number
- JP3709570B2 JP3709570B2 JP19355394A JP19355394A JP3709570B2 JP 3709570 B2 JP3709570 B2 JP 3709570B2 JP 19355394 A JP19355394 A JP 19355394A JP 19355394 A JP19355394 A JP 19355394A JP 3709570 B2 JP3709570 B2 JP 3709570B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- pixels
- thinned
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、サブサンプリング信号を受け取って、間引き画素を補間するのに適用されるディジタル画像信号の処理装置および処理方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムでは、受信側で間引かれ、非伝送の画素を補間する必要がある。
【０００３】
サブサンプリングの一例としてオフセットサブサンプリングが知られている。図１１は、オフセットサブサンプリング回路の一例であって、６１で示す入力端子にディジタルビデオ信号が供給され、プリフィルタ６２を介してサブサンプリング回路６３に供給される。サブサンプリング回路６３には、入力端子６４から所定の周波数のサンプリングパルスが供給される。
【０００４】
サブサンプリング回路６３でなされる２次元のオフセットサブサンプリングの一例を図１２に示す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く（間引き画素を×で示す）とともに、垂直方向に隣合う伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセットするものである。このようなオフセットサブサンプリングを行うことによる伝送帯域は、斜め方向の空間周波数に対して水平あるいは垂直方向の空間周波数成分を広帯域化することができる。
【０００５】
サブサンプリング回路６３の出力信号がポストフィルタ６５を介して出力端子６６に取り出される。プリフィルタ６２は、サンプリングされる画像信号の帯域を制限し、ポストフィルタは、不要な、あるいは悪影響を及ぼす信号成分を取り除く。サブサンプリングによって伝送されるデータ量を減少でき、比較的低い速度の伝送路を介してディジタルビデオ信号を伝送できる。また、受信されたオフセットサブサンプリングされた画像信号をモニタに表示したり、プリントアウトする場合には、間引き画素が隣接画素を使用して補間される。
【０００６】
ところで、上述のようなオフセットサブサンプリングは、サンプリングの前のプリフィルタが正しくフィルタリング処理を行っている場合には、非常に有効な方法であるが、例えばハードウエア上の制約によってプリフィルタを充分にかけられない場合や、伝送帯域の広帯域化をはかるためにプリフィルタを充分にかけない場合等では、折返し歪の発生による画質劣化という問題が生じる。
【０００７】
上述の折返し歪の発生を軽減するために、適応補間方法が提案されている。これは、サブサンプリング時に最適な補間方法の判定を予め行っておき、その判定結果を補助情報として伝送あるいは記録する方法である。例えば、水平方向の１／２平均値補間と垂直方向の１／２平均値補間の何れの方が真値により近いかをサブサンプリング時に検出しておき、１画素当り１ビットの補助情報として伝送し、補間時には、この補助情報に従って補間処理を行うものである。
【０００８】
上述の補助情報を使用する適応型補間方法においては、伝送画素に加えて補助情報を伝送する必要があり、データ量の圧縮率が低下する問題を生じる。また、伝送、あるいは記録再生の過程において、補助情報にエラーが生じた場合には、誤った補間がなされるために、再生画像の劣化が生じやすい欠点があった。
【０００９】
この問題を解決する一つの方法として、本願出願人の提案による特開昭６３−４８０８８号公報には、注目間引き画素の値をその周辺の伝送画素と係数の線形１次結合で表し、誤差の二乗和が最小となるように、注目間引き画素の実際の値を使用して最小二乗法によりこの係数の値を決定するものが提案されている。ここでは、線形１次結合の係数を予め学習によって決定し、決定係数がメモリに格納されている。さらに、注目間引き画素を補間する時に、周辺の伝送画素の平均値を計算し、平均値と各画素の値との大小関係に応じて、各画素を１ビットで表現し、（参照画素数×１ビット）のパターンに応じたクラス分けを行い、注目画素を含む画像の局所的特徴を反映した補間値を形成している。この方法は、補助情報を必要とせずに、間引き画素を良好に補間することができる。
【００１０】
【発明が解決しようとする課題】
上述の補間方法は、クラス分けを行なう時に、広い範囲の伝送画素を使用すると、クラス情報を表現するビット数が多くなり、その結果、クラス数も非常に多くなる。このことは、係数を格納するメモリの容量の増大をもたらす問題がある。クラス数を少なくすると、補間の対象である注目間引き画素のクラス分けの精度が低下し、補間値の精度が低下する。
【００１１】
従って、この発明の目的は、サブサンプリング信号を復号する時に間引き画素をクラス適応予測処理で補間し、その場合のクラス分けの精度が向上されたディジタル画像信号の処理装置および処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
この発明の第１の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の間引き画素の推定値によって第２のクラスコードを生成し、
第１のクラスコードおよび第２のクラスコードが結合してなる注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類回路と、
入力ディジタル画像信号中に含まれ、注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、注目間引き画素の値を作成した時に、作成された値と注目間引き画素の真値との誤差を最小とするような、クラス毎に予め学習によって求められた係数が格納されている係数記憶回路と、
係数記憶回路に格納された係数の中からクラス分類回路が決定したクラスに基づいて読み出された係数と注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、注目間引き画素の補間値を生成するための演算回路とからなることを特徴とするディジタル画像信号の処理装置である。
【００１３】
この発明の第２の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の間引き画素の推定値によって第２のクラスコードを生成し、
第１のクラスコードおよび第２のクラスコードが結合してなる注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類回路と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分類回路によって決定されたクラスと対応する代表値を注目間引き画素の値として出力するためのメモリ回路とからなることを特徴とするディジタル画像信号の処理装置である。
【００１４】
【作用】
間引き画素について、予め学習により獲得された係数と周辺の伝送画素の値との線形１次結合によって補間値、すなわち、予測された間引き画素の値を形成することができる。この係数は、補間しようとする間引き画素を中心とする部分的な小領域の特徴と対応するクラス毎に決定される。この場合、その周囲の複数の伝送画素を使用して第１のクラス分けがなされ、また、伝送画素の複数の平均値を使用して第２のクラス分けがなされる。これらの第１および第２のクラス分けを統合して、間引き画素のクラスを指示するクラスコードが構成される。このクラスコードで指示されるクラスに対応する係数が使用される。また、予め学習によって間引き画素値の平均値、あるいは正規化された値を求めておき、この平均値または正規化値を補間値とすることもできる。
【００１５】
【実施例】
以下、この発明をサブサンプリング信号補間装置に対して適用した一実施例について説明する。この一実施例は、間引き画素を補間するのみならず、伝送画素の補正をも行なうものである。すなわち、伝送画素についても、プリフィルタおよびポストフィルタを介して伝送されるために、高域成分が失われており、その結果、信号波形がなまる問題が生じる。この問題を解決するために、伝送画素の補正がなされる。
【００１６】
一実施例の構成を示す図１において、１は、オフセットサブサンプリングされたディジタルビデオ信号の入力端子である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。伝送画素の値は、８ビットのコードで表されている。２は、テレビジョンラスター順序で到来する入力信号をブロックの順序に変換するための時系列変換回路である。
【００１７】
時系列変換回路２の出力信号がクラス分類回路３および４に供給される。クラス分類回路３は、補間の対象の注目間引き画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ５に対してアドレスとして供給される。クラス分類回路４は、補正の対象の注目伝送画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ６に対してアドレスとして供給される。メモリ５から読出された予測係数が補間値生成回路７に供給され、メモリ６から読出された予測係数が補正値生成回路８に供給される。
【００１８】
メモリ５および６には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、間引き画素の補間値と伝送画素の補正値をそれぞれ予測するために必要とされる。補間値および補正値は、何れも予測値であるが、間引き画素に対する予測値を補間値と称し、伝送画素に対する予測値を補正値と称している。補間値生成回路７および補正値生成回路８に対しては、注目画素の周囲の複数の画素の値が時系列変換回路２から供給される。そして、補間値生成回路７は、注目間引き画素の予測値をメモリ５からの係数と周囲の伝送画素の値との線形１次結合によって生成する。同様に、補正値生成回路８は、注目伝送画素の補正値をメモリ６からの係数と周囲の伝送画素の値との線形１次結合によって生成する
【００１９】
生成された補正値および補間値とが合成回路９に供給され、出力端子１０に間引き画素が補間され、また、フィルタ処理で失われた周波数成分を補償されたディジタルビデオ信号が出力される。図示しないが、出力端子１０に対して時系列変換回路が接続され、ブロックの順序からラスター走査の順序へ変換されたディジタルビデオ信号が形成される。
【００２０】
クラス分類回路３は、注目間引き画素のクラスを決定し、クラス分類回路４は、注目伝送画素のクラスを決定する。最初に、クラス分類回路４について説明すると、これは、注目伝送画素の近傍の伝送画素のレベル分布のパターンに基づいて、この注目伝送画素のクラスを決定する。図２に示すように、注目伝送画素Ｙの上下左右の最も近い距離の伝送画素（Ａ、Ｂ、Ｃ、Ｄ）のレベル分布のパターンをクラスとして決定する。一例として、この参照される４画素の平均値Ａｖを求め、平均値Ａｖに対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、図３に一例を示すように、平均値Ａｖより大きい値の場合は、`1' を割り当て、平均値Ａｖより小さい値の場合は、`0' を割り当てる。図３の例では、（１０１０）のクラスコードがクラス分類回路４から発生する。
【００２１】
クラス分類回路３は、注目間引き画素のクラスを決定する。図４に示すように、注目間引き画素（その真値をｙとする）とその上下左右の伝送画素ａ、ｂ、ｃ、ｄを用いて第１のクラス分けを行なう。さらに、これらの伝送画素ａ〜ｄとそれらの周辺の伝送画素の平均値を使用して第２のクラス分けを行なう。そして、第１および第２のクラス分けを統合して注目間引き画素のクラスとする。
【００２２】
第２のクラス分けのための平均値の生成について説明する。図５Ａに示すように、伝送画素ｂとその上の画素ｏとその斜め上の画素ｆ、ｇとを使用して、平均値Ａ´（＝(1/4)・（ｂ＋ｆ＋ｇ＋ｏ））を生成する。また、伝送画素ｃとその右側の伝送画素ｉとその斜め上の画素ｈとその斜め下の画素ｊとにより、平均値Ｂ´（＝(1/4) ・（ｃ＋ｈ＋ｉ＋ｊ））を生成する。同様に、伝送画素ｄとその周辺の伝送画素ｋ、ｌ、ｐとにより、平均値Ｃ´（＝(1/4) ・（ｄ＋ｋ＋ｌ＋ｐ））を生成し、また、伝送画素ａとその周辺の伝送画素ｅ、ｍ、ｎとにより、平均値Ｄ´（＝(1/4) ・（ａ＋ｅ＋ｍ＋ｎ））を生成する。
【００２３】
上述の平均値Ａ´〜Ｄ´は、図５Ｂに示すように、注目間引き画素の周辺画素ａ〜ｄのそれぞれと隣接する間引き画素の推定値である。この平均値Ａ´〜Ｄ´を使用して第２のクラス分けを行う。
【００２４】
図６に示すように、注目間引き画素の上下左右の４個の伝送画素ａ〜ｄの平均値Ａｖを計算し、各画素ａ〜ｄとこの平均値Ａｖとの大小関係に応じてクラスコードを発生する。図６の例では、（０１０１）の４ビットの第１のクラスコードが発生する。また、同様に、図６に示すように、推定値としてのＡ´〜Ｄ´の平均値Ａｖ´を計算する。この平均値Ａｖ´と平均値Ａ´〜Ｄ´の大小関係に応じて、例えば（００１１）の第２のクラスコードが発生する。これらの第１および第２のクラスコードの両者を組み合わせた８ビット（０１０１００１１）が注目間引き画素のクラスコードとして採用される。
【００２５】
このように、注目間引き画素を中心とする小領域内で、周辺の伝送画素ａ〜ｄに加えて、平均値Ａ´〜Ｄ´を使用したクラス分けを行なうことによって、広い領域の特徴を反映し、然も、少ないビット数、言い換えると少ないクラス数でもって注目間引き画素のクラスを決定することができる。若し、周辺の伝送画素の８ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。周辺の伝送画素ａ〜ｐをそれぞれ２ビットへ圧縮したとしても、合計のビット数が３２ビットとなり、やはり、クラス数が多過ぎる。この発明は、このような問題点を解消できる。
【００２６】
さらに、上述の一実施例では、クラス分けのために参照する画素の値を平均値と比較して１ビットに圧縮しているが、１ビットあるいは数ビットのＡＤＲＣにより圧縮しても良い。すなわち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
【００２７】
１ビットＡＤＲＣの場合について説明すると、第１のクラス分けのために、ａ〜ｄの４画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素ａ〜ｄの値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、`1' とされ、商が０．５より少ない場合は、`0' とされる。
【００２８】
第２のクラス分けの場合では、上述と同様のＡＤＲＣによって、各平均値が１ビットに圧縮される。但し、ダイナミックレンジＤＲは、平均値の最大値および最小値の差ではなく、１６個の画素ａ〜ｐの最大値ＭＡＸと最小値ＭＩＮとから計算されるものである。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。
【００２９】
補間値生成回路７は、メモリ５からの予測係数と周辺伝送画素の値との線形１次結合によって、補間値を生成する。一例として、図４に示すように、クラス分類のために使用したａ〜ｐの１６個の画素の値を補間値生成のために使用する。しかしながら、補間値生成のための画素とクラス分けのための画素とが同一の必要はない。補正値生成回路８は、メモリ６からの予測係数の周囲の伝送画素の値の線形１次結合によって、補正値を生成する。この予測のためには、自分自身の値Ｙを使用しない。また、予測のために、Ａ〜Ｄの４画素またはこれより多い数の周囲の伝送画素が使用される。メモリ５および６に格納されている予測係数は、予め学習により獲得されたものである。
【００３０】
図７は、予測係数を決定するための学習時の構成を示す。学習は、図１の入力端子１に供給されるディジタルビデオ信号を原ディジタルビデオ信号から形成する処理と同様の処理を行なう。学習によって、注目伝送画素および注目間引き画素の真値に対する予測値が有する誤差の二乗和を最小とするような係数が最小二乗法により決定される。
【００３１】
図７において、１１で示す入力端子に原ディジタルビデオ信号が供給される。入力端子１１に対して、プリフィルタ１２、サブサンプリング回路１３およびポストフィルタ１５が接続される。サブサンプリング回路１３には、入力端子１４からオフセットサブサンプリングを行うための所定の周波数のサンプリングパルスが供給される。従って、ポストフィルタ１５の出力には、オフセットサブサンプリングされたディジタルビデオ信号が得られる。
【００３２】
ポストフィルタ１５に対して時系列変換回路１６が接続され、ラスター走査の順序からブロックの順序へ変換されたビデオデータがクラス分類回路１７および１８に供給される。クラス分類回路１７は、上述のクラス分類回路３と同様に、周囲の伝送画素ａ〜ｄと周囲の平均値Ａ´〜Ｄ´を使用して注目間引き画素のクラスを決定する。クラス分類回路１８は、上述のクラス分類回路４と同様に、注目伝送画素のクラスを決定する。クラス分類回路１７および１８からのクラスコードが係数決定回路１９および２０にそれぞれ供給される。
【００３３】
係数決定回路１９および２０は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子１１に供給される原データが時系列変換回路２３に供給され、この回路２３から係数決定回路１９および２０に対して注目間引き画素の真値および注目伝送画素の真値が供給される。また、係数決定回路１９および２０には、予測のために使用される画素の実際の値（真値）が時系列変換回路１６から供給される。
【００３４】
各係数決定回路は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ２１および２２にそれぞれ格納される。格納アドレスは、クラス分類回路１９および２０からのクラスコードで指示される。一例として、間引き画素の補間値に関する係数決定の処理をソフトウェア処理で行う動作について、図８を参照して説明する。なお、間引き画素の補間値に関する係数決定も、図８と同様の処理でなされる。
【００３５】
まず、ステップ４１から処理の制御が開始され、ステップ４２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ４３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ４６の予測係数決定へ、終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００３６】
ステップ４４のクラス決定は、上述のように、注目間引き画素の値とその周辺画素の値のレベル分布のパターンと対応して第１のクラス分けを行い、また、周辺画素の平均値のレベル分布のパターンと対応して第２のクラス分けを行い、第１および第２のクラス分けの結果に基づいて、注目間引き画素のクラスを決定するステップである。次のステップ４５の正規方程式生成では、後述する正規方程式が作成される。
【００３７】
ステップ４３のデータ終了から全データの処理が終了後、制御がステップ４６に移り、ステップ４６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ４７の予測係数ストアで、予測係数をメモリ２１にストアし、ステップ４８で学習処理の制御が終了する。
【００３８】
図８中のステップ４５（正規方程式生成）およびステップ４６（予測係数決定）の処理をより詳細に説明する。学習時には、注目間引き画素の真値ｙが既知である。注目間引き画素の補間値をｙ´、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。
【００３９】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００４０】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルＥの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。
【００４１】
【数１】
【００４２】
いわゆる最小自乗法による解法である。ここで式（４）のｗi による偏微分係数を求める。
【００４３】
【数２】
【００４４】
式（５）を０にするように各ｗi を決めればよいから、
【００４５】
【数３】
【００４６】
として、行列を用いると
【００４７】
【数４】
【００４８】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解けば、予測係数ｗi が求まり、クラスコードをアドレスとして、この予測係数ｗi をメモリに格納しておく。
【００４９】
図８は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、補間値および補正値を形成するのに、予測係数による線形１次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値を補間値および補正値としても良い。
【００５０】
図９は、データの値そのものを予め作成するための学習を説明するためのフローチャートである。制御の開始のステップ５１、学習データ形成のステップ５２、データ終了のステップ５３およびクラス決定のステップ５４は、上述の予測係数を決定するための学習におけるステップ４１、４２、４３および４４と同様の処理を行うステップである。
【００５１】
代表値決定のステップ５５は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値（ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値ＭＩＮ、最大値ＭＡＸ、平均値等である）とブロックのダイナミックレンジＤＲで正規化した値を代表値として求めても良い。
【００５２】
すなわち、ブロックの基準値をＢ（例えばブロック内の画素の最小値）とし、ダイナミックレンジをＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表値がメモリに格納され、学習が終了する。
【００５３】
このように正規化された値を学習により求めておいた時には、補間値生成または補正値生成のためには、図１０の構成が使用される。図１０は、簡単のために補間値生成のための構成のみを示す。図１０に示すように、時系列変換回路２の出力信号がクラス分類回路３および検出回路２７に供給される。クラス分類回路３からのクラスコードで指示されるメモリ５のアドレスから正規化された代表値が読出される。また、検出回路２７は、予測に使用する複数の伝送画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出する。
【００５４】
メモリ５からの正規化代表値が乗算回路２５に供給され、正規化代表値と検出されたダイナミックレンジＤＲとが乗算される。乗算回路２５の出力が加算回路２６に供給され、検出された最小値ＭＩＮと加算される。この加算回路２６の出力信号が補間値であり、合成回路９に対して生成補間値が供給される。図示しないが、補間値と同様にして求められた補正値が合成回路９に供給され、出力端子１０に出力信号が取り出される。
【００５５】
なお、補間値および補正値を同一の予測方法により予測するのに限らず、上述した予測式（線形１次結合）による予測、代表値を使用する予測、正規化代表値を使用する予測を組み合わせても良い。
【００５６】
また、この発明におけるクラス分類あるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素（例えば前フレームの同一の画素）も使用することができる。
【００５７】
【発明の効果】
この発明は、注目間引き画素のクラス分けのために、注目間引き画素と近接する伝送画素のレベル分布のパターンのみならず、より離れた位置の伝送画素から形成された複数の平均値のレベル分布のパターンをも使用して、クラス分けを行うために、クラス数が多くなり過ぎずに、より広い範囲の画像の特徴を反映したクラス情報を生成でき、従って、高精度にクラス分けを行うことができる。
【００５８】
また、この一実施例では、サンプリングにより間引かれた画素のみならず、伝送画素の値も補正しているので、サンプリングのためのフィルタリング処理によって失われた高域成分を補償することができる。従って、復号信号の波形のなまりを補償でき、復号画像の質を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】伝送画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図３】伝送画素のクラス分けの方法の一例を説明するための略線図である。
【図４】間引き画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図５】間引き画素のクラス分けのために参照する平均値の生成を説明するための略線図である。
【図６】間引き画素のクラス分けを説明するための略線図である。
【図７】予測係数を求めるための学習時の構成の一例のブロック図である。
【図８】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図９】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１０】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図１１】オフセットサブサンプリングのための構成の一例のブロック図である。
【図１２】２次元のオフセットサブサンプリングの構造を示す略線図である。
【符号の説明】
３，４ クラス分類回路
５，６ 予測係数が格納されたメモリ
７ 補間値生成回路
８ 補正値生成回路
９ 合成回路
【発明の属する技術分野】
この発明は、サブサンプリング信号を受け取って、間引き画素を補間するのに適用されるディジタル画像信号の処理装置および処理方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムでは、受信側で間引かれ、非伝送の画素を補間する必要がある。
【０００３】
サブサンプリングの一例としてオフセットサブサンプリングが知られている。図１１は、オフセットサブサンプリング回路の一例であって、６１で示す入力端子にディジタルビデオ信号が供給され、プリフィルタ６２を介してサブサンプリング回路６３に供給される。サブサンプリング回路６３には、入力端子６４から所定の周波数のサンプリングパルスが供給される。
【０００４】
サブサンプリング回路６３でなされる２次元のオフセットサブサンプリングの一例を図１２に示す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く（間引き画素を×で示す）とともに、垂直方向に隣合う伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセットするものである。このようなオフセットサブサンプリングを行うことによる伝送帯域は、斜め方向の空間周波数に対して水平あるいは垂直方向の空間周波数成分を広帯域化することができる。
【０００５】
サブサンプリング回路６３の出力信号がポストフィルタ６５を介して出力端子６６に取り出される。プリフィルタ６２は、サンプリングされる画像信号の帯域を制限し、ポストフィルタは、不要な、あるいは悪影響を及ぼす信号成分を取り除く。サブサンプリングによって伝送されるデータ量を減少でき、比較的低い速度の伝送路を介してディジタルビデオ信号を伝送できる。また、受信されたオフセットサブサンプリングされた画像信号をモニタに表示したり、プリントアウトする場合には、間引き画素が隣接画素を使用して補間される。
【０００６】
ところで、上述のようなオフセットサブサンプリングは、サンプリングの前のプリフィルタが正しくフィルタリング処理を行っている場合には、非常に有効な方法であるが、例えばハードウエア上の制約によってプリフィルタを充分にかけられない場合や、伝送帯域の広帯域化をはかるためにプリフィルタを充分にかけない場合等では、折返し歪の発生による画質劣化という問題が生じる。
【０００７】
上述の折返し歪の発生を軽減するために、適応補間方法が提案されている。これは、サブサンプリング時に最適な補間方法の判定を予め行っておき、その判定結果を補助情報として伝送あるいは記録する方法である。例えば、水平方向の１／２平均値補間と垂直方向の１／２平均値補間の何れの方が真値により近いかをサブサンプリング時に検出しておき、１画素当り１ビットの補助情報として伝送し、補間時には、この補助情報に従って補間処理を行うものである。
【０００８】
上述の補助情報を使用する適応型補間方法においては、伝送画素に加えて補助情報を伝送する必要があり、データ量の圧縮率が低下する問題を生じる。また、伝送、あるいは記録再生の過程において、補助情報にエラーが生じた場合には、誤った補間がなされるために、再生画像の劣化が生じやすい欠点があった。
【０００９】
この問題を解決する一つの方法として、本願出願人の提案による特開昭６３−４８０８８号公報には、注目間引き画素の値をその周辺の伝送画素と係数の線形１次結合で表し、誤差の二乗和が最小となるように、注目間引き画素の実際の値を使用して最小二乗法によりこの係数の値を決定するものが提案されている。ここでは、線形１次結合の係数を予め学習によって決定し、決定係数がメモリに格納されている。さらに、注目間引き画素を補間する時に、周辺の伝送画素の平均値を計算し、平均値と各画素の値との大小関係に応じて、各画素を１ビットで表現し、（参照画素数×１ビット）のパターンに応じたクラス分けを行い、注目画素を含む画像の局所的特徴を反映した補間値を形成している。この方法は、補助情報を必要とせずに、間引き画素を良好に補間することができる。
【００１０】
【発明が解決しようとする課題】
上述の補間方法は、クラス分けを行なう時に、広い範囲の伝送画素を使用すると、クラス情報を表現するビット数が多くなり、その結果、クラス数も非常に多くなる。このことは、係数を格納するメモリの容量の増大をもたらす問題がある。クラス数を少なくすると、補間の対象である注目間引き画素のクラス分けの精度が低下し、補間値の精度が低下する。
【００１１】
従って、この発明の目的は、サブサンプリング信号を復号する時に間引き画素をクラス適応予測処理で補間し、その場合のクラス分けの精度が向上されたディジタル画像信号の処理装置および処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
この発明の第１の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の間引き画素の推定値によって第２のクラスコードを生成し、
第１のクラスコードおよび第２のクラスコードが結合してなる注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類回路と、
入力ディジタル画像信号中に含まれ、注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、注目間引き画素の値を作成した時に、作成された値と注目間引き画素の真値との誤差を最小とするような、クラス毎に予め学習によって求められた係数が格納されている係数記憶回路と、
係数記憶回路に格納された係数の中からクラス分類回路が決定したクラスに基づいて読み出された係数と注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、注目間引き画素の補間値を生成するための演算回路とからなることを特徴とするディジタル画像信号の処理装置である。
【００１３】
この発明の第２の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の間引き画素の推定値によって第２のクラスコードを生成し、
第１のクラスコードおよび第２のクラスコードが結合してなる注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類回路と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分類回路によって決定されたクラスと対応する代表値を注目間引き画素の値として出力するためのメモリ回路とからなることを特徴とするディジタル画像信号の処理装置である。
【００１４】
【作用】
間引き画素について、予め学習により獲得された係数と周辺の伝送画素の値との線形１次結合によって補間値、すなわち、予測された間引き画素の値を形成することができる。この係数は、補間しようとする間引き画素を中心とする部分的な小領域の特徴と対応するクラス毎に決定される。この場合、その周囲の複数の伝送画素を使用して第１のクラス分けがなされ、また、伝送画素の複数の平均値を使用して第２のクラス分けがなされる。これらの第１および第２のクラス分けを統合して、間引き画素のクラスを指示するクラスコードが構成される。このクラスコードで指示されるクラスに対応する係数が使用される。また、予め学習によって間引き画素値の平均値、あるいは正規化された値を求めておき、この平均値または正規化値を補間値とすることもできる。
【００１５】
【実施例】
以下、この発明をサブサンプリング信号補間装置に対して適用した一実施例について説明する。この一実施例は、間引き画素を補間するのみならず、伝送画素の補正をも行なうものである。すなわち、伝送画素についても、プリフィルタおよびポストフィルタを介して伝送されるために、高域成分が失われており、その結果、信号波形がなまる問題が生じる。この問題を解決するために、伝送画素の補正がなされる。
【００１６】
一実施例の構成を示す図１において、１は、オフセットサブサンプリングされたディジタルビデオ信号の入力端子である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。伝送画素の値は、８ビットのコードで表されている。２は、テレビジョンラスター順序で到来する入力信号をブロックの順序に変換するための時系列変換回路である。
【００１７】
時系列変換回路２の出力信号がクラス分類回路３および４に供給される。クラス分類回路３は、補間の対象の注目間引き画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ５に対してアドレスとして供給される。クラス分類回路４は、補正の対象の注目伝送画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ６に対してアドレスとして供給される。メモリ５から読出された予測係数が補間値生成回路７に供給され、メモリ６から読出された予測係数が補正値生成回路８に供給される。
【００１８】
メモリ５および６には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、間引き画素の補間値と伝送画素の補正値をそれぞれ予測するために必要とされる。補間値および補正値は、何れも予測値であるが、間引き画素に対する予測値を補間値と称し、伝送画素に対する予測値を補正値と称している。補間値生成回路７および補正値生成回路８に対しては、注目画素の周囲の複数の画素の値が時系列変換回路２から供給される。そして、補間値生成回路７は、注目間引き画素の予測値をメモリ５からの係数と周囲の伝送画素の値との線形１次結合によって生成する。同様に、補正値生成回路８は、注目伝送画素の補正値をメモリ６からの係数と周囲の伝送画素の値との線形１次結合によって生成する
【００１９】
生成された補正値および補間値とが合成回路９に供給され、出力端子１０に間引き画素が補間され、また、フィルタ処理で失われた周波数成分を補償されたディジタルビデオ信号が出力される。図示しないが、出力端子１０に対して時系列変換回路が接続され、ブロックの順序からラスター走査の順序へ変換されたディジタルビデオ信号が形成される。
【００２０】
クラス分類回路３は、注目間引き画素のクラスを決定し、クラス分類回路４は、注目伝送画素のクラスを決定する。最初に、クラス分類回路４について説明すると、これは、注目伝送画素の近傍の伝送画素のレベル分布のパターンに基づいて、この注目伝送画素のクラスを決定する。図２に示すように、注目伝送画素Ｙの上下左右の最も近い距離の伝送画素（Ａ、Ｂ、Ｃ、Ｄ）のレベル分布のパターンをクラスとして決定する。一例として、この参照される４画素の平均値Ａｖを求め、平均値Ａｖに対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、図３に一例を示すように、平均値Ａｖより大きい値の場合は、`1' を割り当て、平均値Ａｖより小さい値の場合は、`0' を割り当てる。図３の例では、（１０１０）のクラスコードがクラス分類回路４から発生する。
【００２１】
クラス分類回路３は、注目間引き画素のクラスを決定する。図４に示すように、注目間引き画素（その真値をｙとする）とその上下左右の伝送画素ａ、ｂ、ｃ、ｄを用いて第１のクラス分けを行なう。さらに、これらの伝送画素ａ〜ｄとそれらの周辺の伝送画素の平均値を使用して第２のクラス分けを行なう。そして、第１および第２のクラス分けを統合して注目間引き画素のクラスとする。
【００２２】
第２のクラス分けのための平均値の生成について説明する。図５Ａに示すように、伝送画素ｂとその上の画素ｏとその斜め上の画素ｆ、ｇとを使用して、平均値Ａ´（＝(1/4)・（ｂ＋ｆ＋ｇ＋ｏ））を生成する。また、伝送画素ｃとその右側の伝送画素ｉとその斜め上の画素ｈとその斜め下の画素ｊとにより、平均値Ｂ´（＝(1/4) ・（ｃ＋ｈ＋ｉ＋ｊ））を生成する。同様に、伝送画素ｄとその周辺の伝送画素ｋ、ｌ、ｐとにより、平均値Ｃ´（＝(1/4) ・（ｄ＋ｋ＋ｌ＋ｐ））を生成し、また、伝送画素ａとその周辺の伝送画素ｅ、ｍ、ｎとにより、平均値Ｄ´（＝(1/4) ・（ａ＋ｅ＋ｍ＋ｎ））を生成する。
【００２３】
上述の平均値Ａ´〜Ｄ´は、図５Ｂに示すように、注目間引き画素の周辺画素ａ〜ｄのそれぞれと隣接する間引き画素の推定値である。この平均値Ａ´〜Ｄ´を使用して第２のクラス分けを行う。
【００２４】
図６に示すように、注目間引き画素の上下左右の４個の伝送画素ａ〜ｄの平均値Ａｖを計算し、各画素ａ〜ｄとこの平均値Ａｖとの大小関係に応じてクラスコードを発生する。図６の例では、（０１０１）の４ビットの第１のクラスコードが発生する。また、同様に、図６に示すように、推定値としてのＡ´〜Ｄ´の平均値Ａｖ´を計算する。この平均値Ａｖ´と平均値Ａ´〜Ｄ´の大小関係に応じて、例えば（００１１）の第２のクラスコードが発生する。これらの第１および第２のクラスコードの両者を組み合わせた８ビット（０１０１００１１）が注目間引き画素のクラスコードとして採用される。
【００２５】
このように、注目間引き画素を中心とする小領域内で、周辺の伝送画素ａ〜ｄに加えて、平均値Ａ´〜Ｄ´を使用したクラス分けを行なうことによって、広い領域の特徴を反映し、然も、少ないビット数、言い換えると少ないクラス数でもって注目間引き画素のクラスを決定することができる。若し、周辺の伝送画素の８ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。周辺の伝送画素ａ〜ｐをそれぞれ２ビットへ圧縮したとしても、合計のビット数が３２ビットとなり、やはり、クラス数が多過ぎる。この発明は、このような問題点を解消できる。
【００２６】
さらに、上述の一実施例では、クラス分けのために参照する画素の値を平均値と比較して１ビットに圧縮しているが、１ビットあるいは数ビットのＡＤＲＣにより圧縮しても良い。すなわち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
【００２７】
１ビットＡＤＲＣの場合について説明すると、第１のクラス分けのために、ａ〜ｄの４画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素ａ〜ｄの値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、`1' とされ、商が０．５より少ない場合は、`0' とされる。
【００２８】
第２のクラス分けの場合では、上述と同様のＡＤＲＣによって、各平均値が１ビットに圧縮される。但し、ダイナミックレンジＤＲは、平均値の最大値および最小値の差ではなく、１６個の画素ａ〜ｐの最大値ＭＡＸと最小値ＭＩＮとから計算されるものである。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。
【００２９】
補間値生成回路７は、メモリ５からの予測係数と周辺伝送画素の値との線形１次結合によって、補間値を生成する。一例として、図４に示すように、クラス分類のために使用したａ〜ｐの１６個の画素の値を補間値生成のために使用する。しかしながら、補間値生成のための画素とクラス分けのための画素とが同一の必要はない。補正値生成回路８は、メモリ６からの予測係数の周囲の伝送画素の値の線形１次結合によって、補正値を生成する。この予測のためには、自分自身の値Ｙを使用しない。また、予測のために、Ａ〜Ｄの４画素またはこれより多い数の周囲の伝送画素が使用される。メモリ５および６に格納されている予測係数は、予め学習により獲得されたものである。
【００３０】
図７は、予測係数を決定するための学習時の構成を示す。学習は、図１の入力端子１に供給されるディジタルビデオ信号を原ディジタルビデオ信号から形成する処理と同様の処理を行なう。学習によって、注目伝送画素および注目間引き画素の真値に対する予測値が有する誤差の二乗和を最小とするような係数が最小二乗法により決定される。
【００３１】
図７において、１１で示す入力端子に原ディジタルビデオ信号が供給される。入力端子１１に対して、プリフィルタ１２、サブサンプリング回路１３およびポストフィルタ１５が接続される。サブサンプリング回路１３には、入力端子１４からオフセットサブサンプリングを行うための所定の周波数のサンプリングパルスが供給される。従って、ポストフィルタ１５の出力には、オフセットサブサンプリングされたディジタルビデオ信号が得られる。
【００３２】
ポストフィルタ１５に対して時系列変換回路１６が接続され、ラスター走査の順序からブロックの順序へ変換されたビデオデータがクラス分類回路１７および１８に供給される。クラス分類回路１７は、上述のクラス分類回路３と同様に、周囲の伝送画素ａ〜ｄと周囲の平均値Ａ´〜Ｄ´を使用して注目間引き画素のクラスを決定する。クラス分類回路１８は、上述のクラス分類回路４と同様に、注目伝送画素のクラスを決定する。クラス分類回路１７および１８からのクラスコードが係数決定回路１９および２０にそれぞれ供給される。
【００３３】
係数決定回路１９および２０は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子１１に供給される原データが時系列変換回路２３に供給され、この回路２３から係数決定回路１９および２０に対して注目間引き画素の真値および注目伝送画素の真値が供給される。また、係数決定回路１９および２０には、予測のために使用される画素の実際の値（真値）が時系列変換回路１６から供給される。
【００３４】
各係数決定回路は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ２１および２２にそれぞれ格納される。格納アドレスは、クラス分類回路１９および２０からのクラスコードで指示される。一例として、間引き画素の補間値に関する係数決定の処理をソフトウェア処理で行う動作について、図８を参照して説明する。なお、間引き画素の補間値に関する係数決定も、図８と同様の処理でなされる。
【００３５】
まず、ステップ４１から処理の制御が開始され、ステップ４２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ４３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ４６の予測係数決定へ、終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００３６】
ステップ４４のクラス決定は、上述のように、注目間引き画素の値とその周辺画素の値のレベル分布のパターンと対応して第１のクラス分けを行い、また、周辺画素の平均値のレベル分布のパターンと対応して第２のクラス分けを行い、第１および第２のクラス分けの結果に基づいて、注目間引き画素のクラスを決定するステップである。次のステップ４５の正規方程式生成では、後述する正規方程式が作成される。
【００３７】
ステップ４３のデータ終了から全データの処理が終了後、制御がステップ４６に移り、ステップ４６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ４７の予測係数ストアで、予測係数をメモリ２１にストアし、ステップ４８で学習処理の制御が終了する。
【００３８】
図８中のステップ４５（正規方程式生成）およびステップ４６（予測係数決定）の処理をより詳細に説明する。学習時には、注目間引き画素の真値ｙが既知である。注目間引き画素の補間値をｙ´、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。
【００３９】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００４０】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルＥの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。
【００４１】
【数１】
いわゆる最小自乗法による解法である。ここで式（４）のｗi による偏微分係数を求める。
【００４３】
【数２】
式（５）を０にするように各ｗi を決めればよいから、
【００４５】
【数３】
として、行列を用いると
【００４７】
【数４】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解けば、予測係数ｗi が求まり、クラスコードをアドレスとして、この予測係数ｗi をメモリに格納しておく。
【００４９】
図８は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、補間値および補正値を形成するのに、予測係数による線形１次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値を補間値および補正値としても良い。
【００５０】
図９は、データの値そのものを予め作成するための学習を説明するためのフローチャートである。制御の開始のステップ５１、学習データ形成のステップ５２、データ終了のステップ５３およびクラス決定のステップ５４は、上述の予測係数を決定するための学習におけるステップ４１、４２、４３および４４と同様の処理を行うステップである。
【００５１】
代表値決定のステップ５５は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値（ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値ＭＩＮ、最大値ＭＡＸ、平均値等である）とブロックのダイナミックレンジＤＲで正規化した値を代表値として求めても良い。
【００５２】
すなわち、ブロックの基準値をＢ（例えばブロック内の画素の最小値）とし、ダイナミックレンジをＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表値がメモリに格納され、学習が終了する。
【００５３】
このように正規化された値を学習により求めておいた時には、補間値生成または補正値生成のためには、図１０の構成が使用される。図１０は、簡単のために補間値生成のための構成のみを示す。図１０に示すように、時系列変換回路２の出力信号がクラス分類回路３および検出回路２７に供給される。クラス分類回路３からのクラスコードで指示されるメモリ５のアドレスから正規化された代表値が読出される。また、検出回路２７は、予測に使用する複数の伝送画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出する。
【００５４】
メモリ５からの正規化代表値が乗算回路２５に供給され、正規化代表値と検出されたダイナミックレンジＤＲとが乗算される。乗算回路２５の出力が加算回路２６に供給され、検出された最小値ＭＩＮと加算される。この加算回路２６の出力信号が補間値であり、合成回路９に対して生成補間値が供給される。図示しないが、補間値と同様にして求められた補正値が合成回路９に供給され、出力端子１０に出力信号が取り出される。
【００５５】
なお、補間値および補正値を同一の予測方法により予測するのに限らず、上述した予測式（線形１次結合）による予測、代表値を使用する予測、正規化代表値を使用する予測を組み合わせても良い。
【００５６】
また、この発明におけるクラス分類あるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素（例えば前フレームの同一の画素）も使用することができる。
【００５７】
【発明の効果】
この発明は、注目間引き画素のクラス分けのために、注目間引き画素と近接する伝送画素のレベル分布のパターンのみならず、より離れた位置の伝送画素から形成された複数の平均値のレベル分布のパターンをも使用して、クラス分けを行うために、クラス数が多くなり過ぎずに、より広い範囲の画像の特徴を反映したクラス情報を生成でき、従って、高精度にクラス分けを行うことができる。
【００５８】
また、この一実施例では、サンプリングにより間引かれた画素のみならず、伝送画素の値も補正しているので、サンプリングのためのフィルタリング処理によって失われた高域成分を補償することができる。従って、復号信号の波形のなまりを補償でき、復号画像の質を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】伝送画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図３】伝送画素のクラス分けの方法の一例を説明するための略線図である。
【図４】間引き画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図５】間引き画素のクラス分けのために参照する平均値の生成を説明するための略線図である。
【図６】間引き画素のクラス分けを説明するための略線図である。
【図７】予測係数を求めるための学習時の構成の一例のブロック図である。
【図８】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図９】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１０】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図１１】オフセットサブサンプリングのための構成の一例のブロック図である。
【図１２】２次元のオフセットサブサンプリングの構造を示す略線図である。
【符号の説明】
３，４ クラス分類回路
５，６ 予測係数が格納されたメモリ
７ 補間値生成回路
８ 補正値生成回路
９ 合成回路
Claims (9)
- プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、上記オフセットサブサンプリングによって画素数が減少された信号を受け取り、上記オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
上記第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、上記注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の上記間引き画素の推定値によって第２のクラスコードを生成し、
上記第１のクラスコードおよび上記第２のクラスコードが結合してなる上記注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類手段と、
上記入力ディジタル画像信号中に含まれ、上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、上記注目間引き画素の値を作成した時に、作成された値と上記注目間引き画素の真値との誤差を最小とするような、上記クラス毎に予め学習によって求められた係数が格納されている係数記憶手段と、
上記係数記憶手段に格納された係数の中から上記クラス分類手段が決定したクラスに基づいて読み出された上記係数と上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、上記注目間引き画素の補間値を生成するための演算手段とからなることを特徴とするディジタル画像信号の処理装置。 - 請求項１に記載のディジタル画像信号の処理装置において、
上記第２のクラスコードは、上記第１の伝送画素の上側に位置する第１の間引き画素の周囲に位置する、上記第１の伝送画素を含む複数の伝送画素の第１の平均値と、上記第２の伝送画素の下側に位置する第２の間引き画素の周囲に位置する、上記第２の伝送画素を含む複数の伝送画素の第２の平均値と、上記第３の伝送画素の左側に位置する第３の間引き画素の周囲に位置する、上記第３の伝送画素を含む複数の伝送画素の第３の平均値と、上記第４の伝送画素の右側に位置する第４の間引き画素の周囲に位置する、上記第４の伝送画素を含む複数の伝送画素の第４の平均値とから生成されることを特徴とするディジタル画像信号の処理装置。 - 請求項１に記載のディジタル画像信号の処理装置において、
上記係数記憶手段に格納される係数は、最小二乗法によって決定されることを特徴とするディジタル画像信号の処理装置。 - プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、上記オフセットサブサンプリングによって画素数が減少された信号を受け取り、上記オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
上記第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、上記注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の上記間引き画素の推定値によって第２のクラスコードを生成し、
上記第１のクラスコードおよび上記第２のクラスコードが結合してなる上記注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類手段と、
予め学習により獲得された代表値が上記クラス毎に貯えられ、クラス分類手段によって決定されたクラスと対応する上記代表値を上記注目間引き画素の値として出力するためのメモリ手段とからなることを特徴とするディジタル画像信号の処理装置。 - 請求項４に記載のディジタル画像信号の処理装置において、
上記メモリ手段に格納される代表値は、学習時に与えられる注目間引き画素の真値を平均化した値であることを特徴とするディジタル画像信号の処理装置。 - 請求項４に記載のディジタル画像信号の処理装置において、
上記メモリ手段に格納される代表値は、注目間引き画素を含むブロック内の複数画素の基準値と、上記ブロックのダイナミックレンジとによって、上記注目間引き画素の真値を正規化した値であることを特徴とするディジタル画像信号の処理装置。 - 請求項１または４に記載のディジタル画像信号の処理装置において、
第１、第２、第３および第４の平均値のレベル分布のパターンは、ダイナミックレンジに適応した符号化により上記第１、第２、第３および第４の平均値を圧縮した結果に基づいて決定されることを特徴とするディジタル画像信号の処理装置。 - 請求項７に記載のディジタル画像信号の処理装置において、
第１、第２、第３および第４の平均値のレベル分布のパターンは、ダイナミックレンジに適応した符号化により上記第１、第２、第３および第４の平均値を圧縮した結果に基づいて決定され、上記ダイナミックレンジは、上記平均値を生成するための伝送画素の最大値および最小値の差であることを特徴とするディジタル画像信号の処理装置。 - プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、上記オフセットサブサンプリングによって画素数が減少された信号を受け取り、上記オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理方法において、
受け取ったディジタル画像信号中に存在する注目間引き画素の上下左右に位置する第１、第２、第３および第４の伝送画素の値に基づき第１のクラスコードを生成し、
上記第１，第２，第３および第４の伝送画素の外側にそれぞれ隣接すると共に、上記注目間引き画素の上下左右に位置する間引き画素の推定値を、それぞれの上下左右に位置する伝送画素の平均値によって求め、複数の上記間引き画素の推定値によって第２のクラスコードを生成し、
上記第１のクラスコードおよび上記第２のクラスコードが結合してなる上記注目間引き画素のクラスコードに基づきクラスを決定するためのクラス分類ステップと、
上記入力ディジタル画像信号中に含まれ、上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、上記注目間引き画素の値を作成した時に、作成された値と上記注目間引き画素の真値との誤差を最小とするような、上記クラス毎に予め学習によって求められた係数の中から上記クラス分類ステップで決定されたクラスに基づいて読み出された上記係数と上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、上記注目間引き画素の補間値を生成するための演算ステップとからなることを特徴とするディジタル画像信号の処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19355394A JP3709570B2 (ja) | 1994-07-26 | 1994-07-26 | ディジタル画像信号の処理装置および処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19355394A JP3709570B2 (ja) | 1994-07-26 | 1994-07-26 | ディジタル画像信号の処理装置および処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0846963A JPH0846963A (ja) | 1996-02-16 |
| JP3709570B2 true JP3709570B2 (ja) | 2005-10-26 |
Family
ID=16309970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19355394A Expired - Lifetime JP3709570B2 (ja) | 1994-07-26 | 1994-07-26 | ディジタル画像信号の処理装置および処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3709570B2 (ja) |
-
1994
- 1994-07-26 JP JP19355394A patent/JP3709570B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0846963A (ja) | 1996-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3590996B2 (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3470403B2 (ja) | ディジタル画像信号の処理装置 | |
| JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3671437B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3758211B2 (ja) | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 | |
| JP3709570B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| JP3470380B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JPH0363275B2 (ja) | ||
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3608228B2 (ja) | ディジタル画像信号の変換装置 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080819 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130819 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |