JP3746305B2

JP3746305B2 - Image signal generating apparatus and method, and digital image signal processing apparatus and method

Info

Publication number: JP3746305B2
Application number: JP23712193A
Authority: JP
Inventors: 健治高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-08-11
Filing date: 1993-08-11
Publication date: 2006-02-15
Anticipated expiration: 2021-02-15
Also published as: JPH0759061A

Description

【０００１】
【発明の属する技術分野】
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるＭＵＳＥ方式のデコーダに適用される画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮することができる。
【０００３】
【発明が解決しようとする課題】
従来のＭＵＳＥ方式では、エンコード時に、１回あるいは２回サブサンプリングされたデータをデコードする際に、補間のために２次元の空間フィルタを用いている。しかしながら、ＭＵＳＥ方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。
【０００４】
従って、この発明の目的は、ＭＵＳＥ方式のデコーダに対して適用され、上述の問題点が解決された画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、入力ディジタル画像信号から、ディジタル画像信号より高解像度のディジタル画像信号の画素値を生成するためのディジタル画像信号生成装置において、
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類手段と、
画素を生成するために、予め学習により獲得されたクラス毎の第１および第２の係数が格納されたメモリ手段と、
注目画素の静止判定を行う静止判定手段と、
メモリ手段と結合され、複数の画素と第１および第２の係数の一方との演算によって画素値を生成する画素値生成手段とを有し、
静止判定手段によって、注目画素が動き部分であると判定される場合には、画素値生成手段が注目画素と空間的に近傍である複数の画素とクラスに対応する第１の係数との演算によって画素値を生成し、
静止判定手段によって、注目画素が静止部分であると判定される場合には、画素値生成手段が注目画素と時間的および空間的に近傍である複数の画素とクラスに対応する第２の係数との演算によって画素値を生成し、
第１の係数は、学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習され、第２の係数は、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習される
ことを特徴とするディジタル画像信号生成装置である。
【０００６】
【作用】
係数と周辺画素の値との線形１次結合により補間値を生成する。この係数を予め学習によって、クラス毎に求める。学習時に、周辺画素として、フィールド内のものおよびフレーム内のものをそれぞれ使用して第１および第２の係数を求める。補間時には、注目画素の静止判定を行ない、注目画素が動きのときは、第１の係数とフィールド内の周辺画素の値との線形１次結合により補間値を形成し、これが静止のときは、第２の係数を使用する。この選択によって、精度が高い補間を行なうことができ、復号画像の画質を向上できる。
【０００７】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。まず、ＭＵＳＥ方式のエンコーダの主要部を図１を参照して説明する。ハイビジョン信号をＡ／Ｄ変換器によってディジタル信号へ変換し、マトリクス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号、Ｐｂ（Ｂ−Ｙ成分）信号が形成され、図１中の１、２、３で示す入力端子にそれぞれ供給される。
【０００８】
Ｙ信号がフィールド間前置フィルタ４に供給される。このフィルタ４に対して、フィールドオフセットサブサンプリング回路５、ローパスフィルタ６およびサンプリング周波数変換回路７が接続される。フィールドオフセットサブサンプリング回路５は、フィールド間でサブサンプリングの位相が１画素ずらされるもので、その出力がローパスフィルタ８に供給される。原Ｙ信号のサンプリング周波数は、４８．６ＭＨｚで、サブサンプリング回路５のサンプリング周波数が２４．３ＭＨｚで、ローパスフィルタ８によって、１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が４８．６ＭＨｚに戻される。
【０００９】
ローパスフィルタ８に対して、サンプリング周波数変換回路９が接続され、サンプリング周波数がサンプリング周波数変換回路９によって、３２．４ＭＨｚに変換される。この回路９の出力信号がＴＣＩ(Time Compressed Integration) スイッチ１０に供給される。サブサンプリング回路５から変換回路９までの信号路は、静止領域の処理のために設けられている。
【００１０】
帯域制限用のローパスフィルタ６に対してサンプリング周波数変換回路１１が接続され、４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。この回路１１の出力がＴＣＩスイッチ１２に供給される。ＴＣＩスイッチ１２からの信号が２次元サブサンプリングフィルタ１６を介して混合回路１７に供給される。ローパスフィルタ６からサブサンプリングフィルタ１６に至る信号路が動き領域の処理のために設けられている。混合回路１７では、フィルタ１６の出力信号とＴＣＩスイッチ１０の出力信号とが混合される。
【００１１】
サンプリング周波数変換回路７に対しては、動きベクトル検出回路１３が接続される。動きベクトル検出回路１３に対して、動きフィルタ１４および動き検出回路１５が接続される。動きフィルタ１４には、サンプリング周波数変換回路１１の出力信号も供給される。動きフィルタ１４の出力が動き検出回路１５に供給される。動き検出回路１５での検出結果（動き量）に基づいて混合回路１７の混合比を制御する制御信号が生成される。
【００１２】
入力端子２、３からの色信号Ｐｒ、Ｐｂが垂直ローパスフィルタ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がローパスフィルタ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のローパスフィルタ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。サブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１３】
ローパスフィルタ２４およびサブサンプリング回路２６は、静止領域用の処理回路であり、ローパスフィルタ２５、サブサンプリング回路２７および時間圧縮回路２８は、動き領域用の処理回路である。サブサンプリング回路２６および時間圧縮回路２８の出力信号がＴＣＩスイッチ１０および１２へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００１４】
混合回路１７の出力信号がフレーム，ラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が１６．２ＭＨｚとされる。サブサンプリング回路３１の出力信号が伝送用ガンマ補正回路３２を介してＭＵＳＥのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出される。
【００１５】
上述のＭＵＳＥエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。静止領域の処理が上側に示され、動き量子化の処理が下側に示されている。図１の各点の信号に関して、そのサンプリング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路５の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００１６】
ローパスフィルタ１２の出力（Ｃ点）には、内挿処理された信号（サンプリング周波数が４８．６ＭHz）が発生する。サンプリング周波数変換回路９の出力（Ｄ点）もサンプリング周波数が３２．４ＭＨｚに変換された信号が現れる。
【００１７】
一方、ローパスフィルタ６の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数変換回路１１の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００１８】
静止領域および動き領域のそれぞれの処理を受けたＹ信号が混合回路１７で混合され、混合回路１７の出力がフレーム，ラインオフセットサブサンプリング回路３１に供給される。この回路３１の出力（Ｅ点）では、フレーム間およびライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００１９】
図３は、この発明を適用できるＭＵＳＥデコーダの一部を示す。受信されベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号がフレーム間内挿回路４１、フィールド間内挿回路４２および動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２０】
すなわち、静止領域は、フレーム間内挿回路４１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路４１の出力信号がローパスフィルタ４４、サンプリング周波数変換回路（３２．４ＭＨｚから４８．６ＭＨｚへ）４５、フィールドオフセットサブサンプリング回路４６およびフィールド間内挿回路４７を介して混合回路４８に供給される。サブサンプリング回路４６からは、２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２１】
動き領域は、フィールド内内挿回路４２によって、空間的内挿がなされる。内挿回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４９が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２２】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域がフレーム間内挿回路４を介され、その出力（Ｆ点）で間引き画素が内挿されたビデオ信号が生じる。サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が４８．６ＭＨｚに変換されたビデオ信号が現れる。
【００２３】
フィールドオフセットサブサンプリング回路４６の出力（Ｈ点）では、フィールド毎に１画素ずれたオフセットサンプリングがなされた信号が発生する。次のフィールド間内挿回路４７の出力（Ｉ点）に画素が内挿された信号が生じる。これが混合回路４８に供給される。
【００２４】
動き領域の処理のためのフィールド内内挿回路４２の出力（ｆ点）にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路４９によって、その出力（ｈ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２５】
さて、上述のＭＵＳＥ方式では、静止領域に関して２回のサブサンプリングがなされ、２回の補間がなされ、また、動き領域に関しては、１回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のＭＵＳＥデコーダにおけるフレーム間内挿回路４１、フィールド内内挿回路４２およびフィールド間内挿回路４７の何れに対しても適用できる。
【００２６】
一例として、動き領域のためのフィールド内内挿回路４２に対してこの発明を適用した一実施例を図５に示す。図５において、５１は、オフセットサブサンプリングされたディジタル画像信号の入力端子である。５２は、入力信号をブロック構造の信号に変換するための時系列変換回路である。すなわち、時系列変換回路５２によって、クラス分けと補間演算に必要な複数の画素が同時化される。
【００２７】
時系列変換回路５２の出力信号が補間演算回路５３およびクラス分類回路５５に供給される。補間演算回路５３には、後述のように予め学習により獲得された係数が格納されている係数メモリ５４が接続されている。係数メモリ５４内には、第１の係数が格納されたテーブル５４ａと第２の係数が格納されたテーブル５４ｂとが含まれる。
【００２８】
クラス分類回路５５からクラスコードｃが発生する。補間の対象である、注目画素を含むブロックのブロックの２次元的（フィールド内またはフレーム内）レベル分布のパターン、すなわち、クラスが決定される。クラスコードｃがこのクラスを指示し、クラスコードｃが係数メモリ５４に対してそのアドレスとして供給される。
【００２９】
図５において、５７で示す入力端子から注目画素の動き量を示す信号が比較回路５８に供給される。この動き量の信号としては、例えばＭＵＳＥデコーダ（図３）の動き部分検出回路４３の出力信号を利用できる。動き量を示す信号は、具体的には、動き量と比例した例えば０〜１６の範囲の値を有している。比較回路５８では、しきい値ＴＨと比較され、動き量の信号がしきい値ＴＨより大きいときは、注目画素を動き画素と判定し、これがしきい値ＴＨ以下のときは、注目画素を静止画素と判定する。ＴＨは、適宜設定されるが、一例は、ＴＨ＝３である。
【００３０】
比較回路５８の出力信号（判定信号）が時系列変換回路５２および係数メモリ５４に供給される。判定信号によって、時系列変換回路５２が出力する周辺画素が切り換えられる。すなわち、注目画素が動き画素であることを判定信号が指示する時に、時系列変換回路５２がフィールド内の周辺画素を出力し、それが静止画素であることを判定信号が指示する時に、これがフレーム内の周辺画素を出力する。より具体的には、時系列変換回路５２内には、判定信号で制御されるセレクタあるいはアドレス発生回路が設けられている。
【００３１】
また、判定信号によって、係数メモリ５４のテーブル５４ａ、５４ｂが選択的に使用される。すなわち、動き画素のときは、テーブル５４ａの第１の係数が補間演算回路５３に出力され、静止画素のときは、テーブル５４ｂの第２の係数が補間演算回路５３に出力される。後述する学習時には、テーブル５４ａの第１の係数がフィールド内の周辺画素を参照して決定されており、テーブル５４ｂの第２の係数がフレーム内の周辺画素を参照して決定されている。
【００３２】
クラス分類回路５５からのクラスコードｃが係数メモリ５４に供給されると、そのクラスと対応する係数が係数メモリ５４のテーブル５４ａまたは５４ｂから読出される。メモリ５４からの係数と時系列変換回路５２からの周辺画素の値との線形１次結合によって、注目画素の補間値が形成される。補間演算回路５３から出力端子５６に間引き画素の補間値が出力される。補間演算回路５３では、下式の線形１次結合によって、補間値ｙ´が生成される。
【００３３】
ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （１）
ｘ₁ 〜ｘ_nは、注目画素の周囲の画素の値であり、ｗ₁ 〜ｗ_nは、クラス毎に予め決定された係数である。
【００３４】
上述の係数メモリ５４には、予め学習により作成された第１および第２の係数が格納されている。図６は、学習ための構成の一例を示す。６１で示す入力端子から学習用の高解像度ディジタル画像信号が供給される。この入力信号としては、異なる絵柄の静止画像信号を使用できる。
【００３５】
入力ディジタル画像信号がＭＵＳＥのエンコーダにおけるのと同様に、２次元サブサンプルフィルタ６２を介してフレーム，ラインオフセットサブサンプリング回路６３に供給される。この回路６３の出力が時系列変換回路６４ａ、６４ｂに供給され、複数の参照画素のデータが同時化される。時系列変換回路６４ａ、６４ｂの出力信号が最小二乗法の演算回路６５ａ、６５ｂとクラス分類回路６６ａ、６６ｂにそれぞれ供給される。
【００３６】
時系列変換回路６４ａは、注目画素と同一フィールド内の画素であって、注目画素の周辺の複数の画素を同時化する。他の時系列変換回路６４ｂは、注目画素と同一フレーム内の画素であって、注目画素の周辺の複数の画素を同時化する。そして、クラス分類回路６６ａは、図７に示すように、注目画素（補間画素）の周囲の同一フィールド内の４個の参照画素（そのレベルをａ、ｂ、ｃ、ｄとする）のレベル分布に基づいて行われる。すなわち、クラス分類回路６６ａは、図８に示すように、参照画素ａ〜ｄの平均値Ａｖを計算し、次に、参照画素の各値と平均値Ａｖとを比較し、比較結果に応じたクラスコードｃを発生する。図８の例では、（ａ＜Ａｖ，ｂ≧Ａｖ，ｃ＜Ａｖ，ｄ≧Ａｖ）の比較結果に基づいて、（０１０１）のクラスコードｃが形成される。
【００３７】
クラス分類回路６６ｂも同様にしてクラスコードｃを発生する。但し、クラス分類回路６６ｂは、同一フレーム内の３個の参照画素ｂ、ｄ、ｅ（図７）を使用してクラス分けを行なう。なお、参照画素として、どのようなものを選ぶかは、任意であって、単なる一例を述べたにすぎない。クラス分類回路６６ａ、６６ｂが発生したクラスコードｃが最小二乗法の演算回路６５ａおよび６５ｂに供給される。これらの演算回路６５ａおよび６５ｂに対しては、時系列変換回路６４ａ、６４ｂの出力信号と入力端子６１からの注目画素の真値とがそれぞれ供給される。
【００３８】
なお、図５の補間装置のクラス分類回路５５は、上述のクラス分類回路６６ａ、６６ｂと同様に注目画素のクラス分けを行なう。図５では、時系列変換回路５２が判定信号によって、フィールド内の複数画素またはフレーム内の複数画素を出力するので、一つのクラス分類回路５５がフィールド内の画素を使用したクラス分けとフレーム内の画素を使用したクラス分けとを選択的に行なう。若し、必要があれば、クラス分類回路５５に対して判定信号を供給しても良い。
【００３９】
クラス分類回路５５、６６ａ、６６ｂの他の例は、ＡＤＲＣ（Adaptive Dynamic Range Coding)である。ＡＤＲＣは、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。より具体的には、１ビットＡＤＲＣを使用できる。すなわち、上述の参照画素を含むブロックの最大値および最小値が検出され、最大値および最小値の差であるダイナミックレンジが検出され、参照画素の値がダイナミックレンジで割算され、その商が０．５と比較され、０．５以上のものが`1' 、それより小さいものが`0' に符号化される。
【００４０】
１ビット以外のビット数の出力を発生するＡＤＲＣを採用しても良い。ＡＤＲＣに限らず、ＤＰＣＭ(Differential pulse code modulation)、ＢＴＣ(Block Trancation Coding) 等の圧縮符号化のエンコーダをクラス分類回路５５、６６ａ、６６ｂとして使用することができる。さらに、クラス分けのために、参照画素の値をそのまま使用することも可能である。また、情報圧縮のために、ＶＱ（ベクトル量子化）も使用できる。
【００４１】
最小二乗法の演算回路６５ａ、６５ｂは、クラス毎に、周辺の画素の値と係数の線形１次結合で表された注目画素の推定値ｙ´とその真値ｙとの誤差の二乗を最小とするように、係数を確定する。そして、確定された係数が係数メモリ６７のメモリ６７ａ、６７ｂにそれぞれ格納される。このメモリ６７ａに格納されたものが図５の補間装置におけるテーブル５４ａとして使用され、メモリ６７ｂに格納されたものがテーブル５４ｂとして使用される。
【００４２】
最小二乗法による係数の決定について、図９のフローチャートを参照して説明する。ステップ７１から学習処理の制御が開始され、ステップ７２の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内（演算回路６５ａの場合）またはフレーム内（演算回路６５ｂの場合）の周辺画素の値が学習データとして採用される。注目画素の真値ｙと周辺画素の値ｘ₁ 〜ｘ_nとが一組の学習データである。
【００４３】
ここで、周辺画素で構成されるブロックのダイナミックレンジがしきい値よりも小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップ７３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ７６の予測係数決定へ、終了していなければ、ステップ７４のクラス決定へ制御が移る。
【００４４】
ステップ７４のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値に基づいたクラス決定がなされる。ステップ７５の正規方程式加算では、後述する式（９）の正規方程式が作成される。全データの処理が終了後、ステップ７３のデータ終了から制御がステップ７６に移る。このステップ７６の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップ７７の予測係数ストアで、予測係数をメモリにストアし、ステップ７８で学習処理の制御が終了する。
【００４５】
図９中のステップ７５（正規方程式生成）およびステップ７６（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その推定値をｙ´とし、その周囲の画素の値をｘ₁ 〜ｘ_nとしたとき、クラス毎に係数ｗ₁ 〜ｗ_nによるｎタップの線形１次結合
ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （２）
を設定する。学習前はｗ_iが未定係数である。
【００４６】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（２）は、式（３）で表される。
ｙ_j´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn （３）
（但し、ｊ＝１，２，‥‥ｍ）
【００４７】
ｍ＞ｎの場合、ｗ₁ 〜ｗ_nは一意には決まらないので、誤差ベクトルＥの要素をそれぞれの学習データｘ_j1，ｘ_j2，‥‥ｘ_jn，ｙ_jにおける予測誤差をｅ_jとして、次の式（４）のごとく定義する。
ｅ_j＝ｙ_j−（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn）（４）
（但し、ｊ＝１，２，‥‥ｍ）
次に、次の式（５）を最小にする係数を求め、最小二乗法における最適な予測係数ｗ₁ ，ｗ₂ ，‥‥，ｗ_nを決定する。
【００４８】
【数１】

【００４９】
すなわち、式（５）のｗ_iによる偏微分係数を求めると、次の式（６）のごとくになる。式（６）で（ｉ＝１，２，・・・，ｎ）である。
【００５０】
【数２】

【００５１】
式（６）を０にするように各ｗ_iを決めればよいから、
【００５２】
【数３】

【００５３】
として、行列を用いると、
【００５４】
【数４】

【００５５】
となる。この方程式は一般に正規方程式と呼ばれている。正規方程式は、丁度、未知数がｎ個だけある連立方程式である。これにより最確値たる各未定係数ｗ₁ ，ｗ₂ ，‥‥，ｗ_nを求めることができる。具体的には、一般的に式（９）の左辺の行列は、正定値対称なので、コレスキー法という手法により式（９）の連立方程式を解くことができ、未定係数ｗ_iが求まり、クラスコードをアドレスとして、この係数ｗ_iをメモリに格納しておく。
【００５６】
【発明の効果】
この発明は、予め学習によって決定された動き部分用の第１の係数と静止部分の第２の係数とを使用して正確な値で補間することができ、斜め方向の解像度を復元できる。然も、この発明は、注目画素の静止判定を行ない、動き画素の時には、時間的および空間的近傍の複数の画素を補間に使用し、静止画素の時には、空間的近傍の複数の画素を補間に使用しているので、精度が高い補間を行なうことができる。
【図面の簡単な説明】
【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック図である。
【図２】ＭＵＳＥ方式のエンコーダのサブサンプリングを説明するための略線図である。
【図３】この発明を適用できるＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図４】ＭＵＳＥ方式のデコーダの補間処理を説明するための略線図である。
【図５】この発明をサブサンプリング信号の補間装置に対して適用した一実施例のブロック図である。
【図６】この発明における係数を決定するするための学習時の構成の一例のブロック図である。
【図７】クラス分類に使用する画素の配列の一例の略線図である。
【図８】クラス分類の一例を示す略線図である。
【図９】係数を求めるための学習を説明するためのフローチャートである。
【符号の説明】
４１フレーム間内挿回路
４２フィールド内内挿回路
４７フィールド間内挿回路
５３補間演算回路
５４係数メモリ
５８静止判定のための比較回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal generation apparatus and method, and a digital image signal processing apparatus applied to a high-resolution video signal decoder that compresses the amount of transmission information by sub-sampling, for example, a MUSE decoder that is a compression system for high-definition signals. And methods .
[0002]
[Prior art]
One method for recording or transmitting a digital image signal to compress the bandwidth or reduce the amount of information is to reduce the amount of transmitted data by thinning out pixels by sub-sampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. This system can compress high-definition signals into a band of about 8 MHz.
[0003]
[Problems to be solved by the invention]
In the conventional MUSE system, a two-dimensional spatial filter is used for interpolation when decoding data that has been subsampled once or twice during encoding. However, the MUSE method has a problem in that the amount of transmitted information is compressed using the visual characteristic that the resolution in the oblique direction is low, so that the resolution in the oblique direction lost during encoding cannot be recovered.
[0004]
Accordingly, an object of the present invention is to provide an image signal generating apparatus and method, and a digital image signal processing apparatus and method that are applied to a MUSE decoder and solve the above-mentioned problems.
[0005]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a digital image signal generating apparatus for generating a pixel value of a digital image signal having a higher resolution than the digital image signal from the input digital image signal.
A class classification means for determining a class of a target pixel as a generation target based on a plurality of reference pixels;
Memory means for storing first and second coefficients for each class obtained in advance by learning in order to generate pixels;
Stillness determination means for determining stillness of the target pixel;
A pixel value generating means coupled with the memory means for generating a pixel value by computing a plurality of pixels and one of the first and second coefficients;
When the stationary determination unit determines that the target pixel is a moving part, the pixel value generation unit performs a calculation with a plurality of pixels spatially adjacent to the target pixel and a first coefficient corresponding to the class. Generate pixel values,
When the stationary determination unit determines that the pixel of interest is a stationary part, the pixel value generation unit includes a plurality of pixels that are temporally and spatially adjacent to the pixel of interest and a second coefficient corresponding to the class. The pixel value is generated by the operation of
The first coefficient is learned using the true value of the target pixel and a plurality of pixels spatially adjacent to the target pixel in the learning image signal, and the second coefficient is calculated in the learning image signal. the true value of the pixel of interest is a digital image signal generating apparatus characterized by that will be learned by using a plurality of pixels of the pixel of interest and the temporally and spatially near.
[0006]
[Action]
An interpolation value is generated by linear linear combination of the coefficient and the value of the surrounding pixel. This coefficient is obtained for each class by learning in advance. At the time of learning, the first and second coefficients are obtained using peripheral pixels in the field and in the frame, respectively. At the time of interpolation, the stillness of the target pixel is determined. When the target pixel is in motion, an interpolation value is formed by linear linear combination of the first coefficient and the values of surrounding pixels in the field, and when this is still, Use the second factor. By this selection, interpolation with high accuracy can be performed, and the image quality of the decoded image can be improved.
[0007]
【Example】
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. First, the main part of the MUSE encoder will be described with reference to FIG. A high-definition signal is converted into a digital signal by an A / D converter, and a Y (luminance) signal, a Pr (RY component) signal, and a Pb (BY component) signal are formed by matrix calculation. Supplied to input terminals indicated by 1, 2 and 3, respectively.
[0008]
The Y signal is supplied to the inter-field prefilter 4. To this filter 4, a field offset sub-sampling circuit 5, a low-pass filter 6 and a sampling frequency conversion circuit 7 are connected. The field offset sub-sampling circuit 5 has a sub-sampling phase shifted by one pixel between fields, and its output is supplied to the low-pass filter 8. The sampling frequency of the original Y signal is 48.6 MHz, the sampling frequency of the sub-sampling circuit 5 is 24.3 MHz, the low-pass filter 8 removes frequency components of 12.15 MHz or higher, and data is interpolated. The sampling frequency is returned to 48.6 MHz.
[0009]
A sampling frequency conversion circuit 9 is connected to the low-pass filter 8, and the sampling frequency is converted to 32.4 MHz by the sampling frequency conversion circuit 9. An output signal of the circuit 9 is supplied to a TCI (Time Compressed Integration) switch 10. A signal path from the sub-sampling circuit 5 to the conversion circuit 9 is provided for processing a still region.
[0010]
A sampling frequency conversion circuit 11 is connected to the band limiting low-pass filter 6 to convert the sampling frequency from 48.6 MHz to 32.4 MHz. The output of this circuit 11 is supplied to the TCI switch 12. A signal from the TCI switch 12 is supplied to the mixing circuit 17 via the two-dimensional sub-sampling filter 16. A signal path from the low-pass filter 6 to the sub-sampling filter 16 is provided for processing the motion region. In the mixing circuit 17, the output signal of the filter 16 and the output signal of the TCI switch 10 are mixed.
[0011]
A motion vector detection circuit 13 is connected to the sampling frequency conversion circuit 7. A motion filter 14 and a motion detection circuit 15 are connected to the motion vector detection circuit 13. The motion filter 14 is also supplied with the output signal of the sampling frequency conversion circuit 11. The output of the motion filter 14 is supplied to the motion detection circuit 15. A control signal for controlling the mixing ratio of the mixing circuit 17 is generated based on the detection result (motion amount) in the motion detection circuit 15.
[0012]
The color signals Pr and Pb from the input terminals 2 and 3 are supplied to the line sequential circuit 23 via the vertical low-pass filters 21 and 22, respectively. The line-sequential color signal from the line-sequencing circuit 23 is supplied to the low-pass filter 24, the component of 7 MHz or higher is removed, and then supplied to the field offset subsampling circuit 26. The line sequential color signal is supplied to the field offset sub-sampling circuit 27 through the band limiting low-pass filter 25. A time compression circuit 28 is connected to the sub-sampling circuit 27.
[0013]
The low-pass filter 24 and the sub-sampling circuit 26 are processing circuits for still areas, and the low-pass filter 25, the sub-sampling circuit 27, and the time compression circuit 28 are processing circuits for motion areas. Output signals of the sub-sampling circuit 26 and the time compression circuit 28 are supplied to the TCI switches 10 and 12, respectively, and are time-axis multiplexed with the luminance signal component processed as described above.
[0014]
The output signal of the mixing circuit 17 is supplied to the frame / line offset sub-sampling circuit 31. The sub-sampling pattern here is inverted between frames and lines, and the sampling frequency is 16.2 MHz. The output signal of the sub-sampling circuit 31 is supplied to the MUSE formatting circuit 33 via the transmission gamma correction circuit 32. Although omitted in the figure, an audio signal, a synchronization signal, a VIT signal, and the like that have been time-axis compressed are added to the formatting circuit 33, and an MUSE signal of about 8 MHz is extracted from the output terminal.
[0015]
Sub-sampling of the above-described MUSE encoder will be schematically described with reference to FIG. The still region processing is shown on the upper side and the motion quantization processing is shown on the lower side. FIG. 2 shows the sampling state of the signal at each point in FIG. Further, since the processing of the C signal is the same as that of the Y signal, the description thereof is omitted. A digital Y signal is supplied from the input (point A) of the field offset subsampling circuit 5, and an output signal subsampled in a pattern in which the sampling phase is shifted by one pixel for each field is generated at the point B.
[0016]
At the output (point C) of the low-pass filter 12, an interpolated signal (sampling frequency is 48.6 MHz) is generated. A signal whose sampling frequency is converted to 32.4 MHz also appears at the output (point D) of the sampling frequency conversion circuit 9.
[0017]
On the other hand, a digital Y signal similar to that at point A is supplied to the input (point a) of the low-pass filter 6. In the motion region, field offset subsampling is not performed, and a Y signal similar to that at point D is generated at the output (point b) of the sampling frequency conversion circuit 11.
[0018]
The Y signals that have been subjected to the respective processing of the still region and the motion region are mixed by the mixing circuit 17, and the output of the mixing circuit 17 is supplied to the frame / line offset sub-sampling circuit 31. At the output (point E) of the circuit 31, an output signal sampled so as to have an offset of one pixel in the horizontal direction between frames and lines is generated.
[0019]
FIG. 3 shows a part of a MUSE decoder to which the present invention can be applied. The MUSE signal received and converted into a baseband signal and converted into a digital signal is supplied to the inter-frame interpolation circuit 41, the inter-field interpolation circuit 42, and the motion part detection circuit 43, respectively. The motion part detection circuit 43 detects a motion region, and controls a mixing ratio of signals obtained by processing the motion region and the stationary region.
[0020]
In other words, the still region is inter-frame interpolated using the image data of the previous frame by the inter-frame interpolation circuit 41. However, when the entire image moves, such as camera panning, a process is performed in which the image one frame before is moved and superimposed according to the motion vector transmitted as the control signal. The output signal of the inter-frame interpolation circuit 41 is sent to the mixing circuit 48 via the low-pass filter 44, the sampling frequency conversion circuit (from 32.4 MHz to 48.6 MHz) 45, the field offset sub-sampling circuit 46, and the inter-field interpolation circuit 47. Supplied. From the sub-sampling circuit 46, a signal having a sampling frequency of 24.3 MHz is obtained.
[0021]
The motion region is spatially interpolated by the field interpolation circuit 42. A sampling frequency conversion circuit 49 from 32.4 MHz to 48.6 MHz is connected to the interpolation circuit 42, and an output signal thereof is supplied to the mixing circuit 48. The mixing ratio of the mixing circuit 48 is controlled by the output signal of the motion part detection circuit 43. Although not shown, the output signal of the mixing circuit 48 is supplied to a TCI decoder and separated into Y, Pr, and Pb signals. Further, after D / A conversion, inverse matrix calculation, and gamma correction, R, G, and B signals are obtained.
[0022]
The processing of the above decoder will be schematically described with reference to the sampling pattern of FIG. The sampling state of the input signal (point E) is the same as the output (point E) of the encoder described above. The still region is passed through the inter-frame interpolation circuit 4, and a video signal in which thinned pixels are interpolated is generated at the output (point F). In the sampling frequency conversion circuit 45 (point G), a video signal whose sampling frequency is converted to 48.6 MHz appears.
[0023]
At the output (point H) of the field offset sub-sampling circuit 46, a signal that has been subjected to offset sampling shifted by one pixel for each field is generated. A signal in which a pixel is interpolated is generated at the output (point I) of the next inter-field interpolation circuit 47. This is supplied to the mixing circuit 48.
[0024]
A video signal interpolated by the pixels in the field is generated at the output (point f) of the field interpolation circuit 42 for processing the motion region. The sampling frequency conversion circuit 49 generates a video signal having a sampling frequency of 48.6 MHz at its output (point h). This is supplied to the mixing circuit 48.
[0025]
In the MUSE method described above, sub-sampling is performed twice for the still region, interpolation is performed twice, and sub-sampling and interpolation is performed once for the motion region. Conventionally, a filter is used for these interpolations. As a result, as described above, there is a problem that the resolution in the oblique direction is lost. The present invention solves this problem. Therefore, the present invention is applicable to any of the interframe interpolation circuit 41, the field interpolation circuit 42, and the interfield interpolation circuit 47 in the MUSE decoder described above. Applicable.
[0026]
As an example, FIG. 5 shows an embodiment in which the present invention is applied to a field interpolation circuit 42 for a motion region. In FIG. 5, reference numeral 51 denotes an input terminal for an offset subsampled digital image signal. 52 is a time series conversion circuit for converting an input signal into a signal having a block structure. That is, the time series conversion circuit 52 synchronizes a plurality of pixels necessary for classification and interpolation calculation.
[0027]
An output signal of the time series conversion circuit 52 is supplied to the interpolation calculation circuit 53 and the class classification circuit 55. The interpolation calculation circuit 53 is connected to a coefficient memory 54 in which coefficients previously acquired by learning are stored as will be described later. The coefficient memory 54 includes a table 54a that stores the first coefficient and a table 54b that stores the second coefficient.
[0028]
A class code c is generated from the class classification circuit 55. A pattern, that is, a class of a two-dimensional (intra-field or intra-frame) level distribution of a block of a block including a target pixel, which is an object of interpolation, is determined. The class code c indicates this class, and the class code c is supplied to the coefficient memory 54 as its address.
[0029]
In FIG. 5, a signal indicating the amount of movement of the pixel of interest is supplied to the comparison circuit 58 from an input terminal indicated by 57. As the motion amount signal, for example, the output signal of the motion part detection circuit 43 of the MUSE decoder (FIG. 3) can be used. Specifically, the signal indicating the amount of movement has a value in the range of, for example, 0 to 16, which is proportional to the amount of movement. The comparison circuit 58 compares with the threshold value TH. When the motion amount signal is larger than the threshold value TH, the target pixel is determined to be a moving pixel. It is determined as a pixel. Although TH is set as appropriate, an example is TH = 3.
[0030]
An output signal (determination signal) of the comparison circuit 58 is supplied to the time series conversion circuit 52 and the coefficient memory 54. The peripheral pixels output from the time-series conversion circuit 52 are switched by the determination signal. That is, when the determination signal indicates that the pixel of interest is a moving pixel, the time-series conversion circuit 52 outputs a peripheral pixel in the field, and this is a frame when the determination signal indicates that it is a still pixel. The surrounding pixels are output. More specifically, the time series conversion circuit 52 is provided with a selector or address generation circuit controlled by a determination signal.
[0031]
Further, the tables 54a and 54b of the coefficient memory 54 are selectively used according to the determination signal. That is, when the pixel is a moving pixel, the first coefficient of the table 54 a is output to the interpolation calculation circuit 53, and when the pixel is a still pixel, the second coefficient of the table 54 b is output to the interpolation calculation circuit 53. During learning, which will be described later, the first coefficient of the table 54a is determined with reference to the peripheral pixels in the field, and the second coefficient of the table 54b is determined with reference to the peripheral pixels in the frame.
[0032]
When the class code c from the class classification circuit 55 is supplied to the coefficient memory 54, the coefficient corresponding to the class is read from the table 54a or 54b of the coefficient memory 54. An interpolation value of the target pixel is formed by linear linear combination of the coefficient from the memory 54 and the value of the peripheral pixel from the time series conversion circuit 52. The interpolation value of the thinned pixel is output from the interpolation calculation circuit 53 to the output terminal 56. In the interpolation calculation circuit 53, the interpolation value y ′ is generated by the linear primary combination of the following expression.
[0033]
y ′ = w ₁ x ₁ + w ₂ x ₂ +... + w _n x _n (1)
x _{1 to} x _n are values of pixels around the target pixel, and w _{1 to} w _n are coefficients determined in advance for each class.
[0034]
The coefficient memory 54 described above stores first and second coefficients created in advance by learning. FIG. 6 shows an example of a configuration for learning. A high-resolution digital image signal for learning is supplied from an input terminal 61. As this input signal, still image signals having different patterns can be used.
[0035]
The input digital image signal is supplied to the frame / line offset sub-sampling circuit 63 via the two-dimensional sub-sample filter 62 as in the MUSE encoder. The output of the circuit 63 is supplied to the time series conversion circuits 64a and 64b, and data of a plurality of reference pixels is synchronized. The output signals of the time series conversion circuits 64a and 64b are supplied to the least squares

arithmetic circuits

65a and 65b and the class classification circuits 66a and 66b, respectively.
[0036]
The time series conversion circuit 64a is a pixel in the same field as the target pixel, and synchronizes a plurality of pixels around the target pixel. Other time-series conversion circuit 64 b is a pixel in the same frame as the pixel of interest, simultaneously the plurality of pixels around the target pixel. Then, as shown in FIG. 7, the class classification circuit 66a has a level distribution of four reference pixels (whose levels are a, b, c, and d) in the same field around the target pixel (interpolation pixel). Based on. That is, as shown in FIG. 8, the class classification circuit 66a calculates the average value Av of the reference pixels a to d, and then compares each value of the reference pixel with the average value Av, according to the comparison result. Generate class code c. In the example of FIG. 8, the class code c of (0101) is formed based on the comparison result of (a <Av, b ≧ Av, c <Av, d ≧ Av).
[0037]
The class classification circuit 66b similarly generates a class code c. However, the class classification circuit 66b performs classification using three reference pixels b, d, and e (FIG. 7) in the same frame. Note that what is selected as the reference pixel is arbitrary, and is merely an example. The class code c generated by the class classification circuits 66a and 66b is supplied to the least squares

arithmetic circuits

65a and 65b. These

arithmetic circuits

65a and 65b are supplied with the output signals of the time series conversion circuits 64a and 64b and the true value of the target pixel from the input terminal 61, respectively.
[0038]
Note that the class classification circuit 55 of the interpolation device in FIG. 5 classifies the target pixel in the same manner as the class classification circuits 66a and 66b described above. In FIG. 5, the time series conversion circuit 52 outputs a plurality of pixels in the field or a plurality of pixels in the frame according to the determination signal, so that one class classification circuit 55 performs classification using the pixels in the field and The classification using pixels is selectively performed. If necessary, a determination signal may be supplied to the class classification circuit 55.
[0039]
Another example of the

class classification circuits

55, 66a, 66b is ADRC (Adaptive Dynamic Range Coding). ADRC adaptively removes redundancy in the level direction using local correlation of images. More specifically, 1-bit ADRC can be used. That is, the maximum value and the minimum value of the block including the reference pixel are detected, the dynamic range that is the difference between the maximum value and the minimum value is detected, the value of the reference pixel is divided by the dynamic range, and the quotient is 0. .5 and above are encoded as `1 'and smaller than` 0'.
[0040]
You may employ | adopt ADRC which generates the output of the number of bits other than 1 bit. Not only ADRC but also a compression encoding encoder such as DPCM (Differential Pulse Code Modulation) and BTC (Block Trancation Coding) can be used as the

class classification circuits

55, 66a and 66b. Further, the value of the reference pixel can be used as it is for classification. Also, VQ (vector quantization) can be used for information compression.
[0041]
The least squares

arithmetic circuits

65a and 65b minimize, for each class, the square of the error between the estimated value y ′ of the pixel of interest represented by a linear linear combination of the value of the surrounding pixel and the coefficient and its true value y. The coefficient is determined as follows. The determined coefficients are stored in the

memories

67a and 67b of the coefficient memory 67, respectively. What is stored in the memory 67a is used as the table 54a in the interpolation apparatus of FIG. 5, and what is stored in the memory 67b is used as the table 54b.
[0042]
Determination of the coefficient by the least square method will be described with reference to the flowchart of FIG. Control of learning processing is started from step 71, and learning data corresponding to a known image is formed in learning data formation in step 72. The values of surrounding pixels in the field (in the case of the arithmetic circuit 65a) or in the frame (in the case of the arithmetic circuit 65b) are adopted as learning data. The true value y of the pixel of interest and the values x _{1 to} x _{n of the} surrounding pixels are a set of learning data.
[0043]
Here, control is performed in which the dynamic range of the block composed of neighboring pixels is smaller than the threshold value is not treated as learning data. This is because a small dynamic range is easily affected by noise and an accurate learning result may not be obtained. At the end of the data at step 73, the control shifts to the prediction coefficient determination at step 76 if the processing of all input data, for example, one frame of data has been completed, and to the class determination at step 74 otherwise.
[0044]
The class determination in step 74 is performed based on the value of a predetermined pixel in the field or frame as described above. In the normal equation addition in step 75, a normal equation of equation (9) described later is created. After the processing of all data is completed, the control shifts to step 76 from the data end of step 73. In the prediction coefficient determination in step 76, this normal equation is solved using a matrix solution method to determine the prediction coefficient. In the prediction coefficient store in step 77, the prediction coefficient is stored in the memory, and in step 78, the control of the learning process ends.
[0045]
The processing of step 75 (normal equation generation) and step 76 (prediction coefficient determination) in FIG. 9 will be described in more detail. The true value of the pixel of interest and y, and the estimated value y ', when the value of the surrounding pixels and the x ₁ ~x _n, linear combination of n taps with the coefficient w ₁ to w _n for each class y ′ = w ₁ x ₁ + w ₂ x ₂ +... + w _n x _n (2)
Set. Before learning, w _i is an undetermined coefficient.
[0046]
As described above, learning is performed for each class, and when the number of data is m, Expression (2) is expressed by Expression (3).
_{_{_{y j '= w 1 x j1}}} + w 2 x j2 + ‥‥ + w n x jn (3)
(However, j = 1, 2, ... m)
[0047]
For m> n, since w ₁ to w _n are not uniquely determined, each of the learning data x _j1 elements of error vector _{_{E, x j2, ‥‥ x jn}} , the prediction error in the y _j as e _j, It is defined as the following formula (4).
e _j = y _j − (w ₁ x _j1 + w ₂ x _j2 +... + w _n x _jn ) (4)
(However, j = 1, 2, ... m)
Next, a coefficient that minimizes the following equation (5) is obtained, and optimum prediction coefficients w ₁ , w ₂ ,..., W _n in the least square method are determined.
[0048]
[Expression 1]

[0049]
That is, when the partial differential coefficient according to w _i of the equation (5) is obtained, the following equation (6) is obtained. In formula (6), (i = 1, 2,..., N).
[0050]
[Expression 2]

[0051]
Since Equation (6) may be determined each w _i to zero,
[0052]
[Equation 3]

[0053]
As a matrix,
[0054]
[Expression 4]

[0055]
It becomes. This equation is generally called a normal equation. The normal equation is a simultaneous equation with exactly n unknowns. Thus each serving most probable unknown coefficients w _1, w _2, ‥‥, it can be obtained w _n. Specifically, since the matrix on the left side of equation (9) is generally positive definite symmetric, the simultaneous equations of equation (9) can be solved by a method called the Cholesky method, and the undetermined coefficient w _i is obtained, and the class The coefficient w _i is stored in the memory using the code as an address.
[0056]
【The invention's effect】
According to the present invention, it is possible to interpolate with an accurate value by using the first coefficient for the motion part and the second coefficient for the stationary part, which are determined in advance by learning, and restore the oblique resolution. However, according to the present invention, the stillness of the pixel of interest is determined, and in the case of a motion pixel, a plurality of temporally and spatially neighboring pixels are used for interpolation, and in the case of a stationary pixel, a plurality of spatially neighboring pixels are interpolated. because using the, Ru can be performed high accuracy interpolation.
[Brief description of the drawings]
FIG. 1 is a partial block diagram of a MUSE encoder.
FIG. 2 is a schematic diagram for explaining subsampling of a MUSE encoder.
FIG. 3 is a partial block diagram of a MUSE decoder to which the present invention can be applied.
FIG. 4 is a schematic diagram for explaining interpolation processing of a MUSE decoder.
FIG. 5 is a block diagram of an embodiment in which the present invention is applied to a sub-sampling signal interpolating apparatus.
FIG. 6 is a block diagram of an example of a configuration at the time of learning for determining a coefficient in the present invention.
FIG. 7 is a schematic diagram illustrating an example of an array of pixels used for class classification.
FIG. 8 is a schematic diagram illustrating an example of class classification.
FIG. 9 is a flowchart for explaining learning for obtaining coefficients.
[Explanation of symbols]
41 Interframe Interpolation Circuit 42 Field Interpolation Circuit 47 Field Interpolation Circuit 53 Interpolation Operation Circuit 54 Coefficient Memory 58 Comparison Circuit for Stillness Determination

Claims

In a digital image signal generating apparatus for generating a pixel value of a digital image signal having a higher resolution than the digital image signal from an input digital image signal,
A class classification means for determining a class of a target pixel as a generation target based on a plurality of reference pixels;
Memory means for storing first and second coefficients for each of the classes previously acquired by learning in order to generate pixels;
Stillness determination means for determining stillness of the pixel of interest;
A pixel value generating means coupled with the memory means for generating a pixel value by calculating a plurality of pixels and one of the first and second coefficients;
When it is determined by the stillness determining means that the pixel of interest is a moving part, the pixel value generating means is a plurality of pixels spatially adjacent to the pixel of interest and the first corresponding to the class. The above pixel value is generated by calculation with the coefficient of
When the target determination unit determines that the target pixel is a static part, the pixel value generation unit corresponds to a plurality of pixels temporally and spatially adjacent to the target pixel and the class. The pixel value is generated by calculation with the second coefficient,
The first coefficient is learned using a true value of the target pixel and a plurality of pixels spatially adjacent to the target pixel in the learning image signal, and the second coefficient is the learning image signal. in the true value and the digital image signal generating apparatus characterized by that it will be learned by using a plurality of pixels of the pixel of interest and the temporally and spatially adjacent to the pixel of interest.

2. The digital image signal generation device according to claim 1, wherein the class classification unit uses the value of the reference pixel as it is.

2. The digital image signal generation apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by ADRC encoding.

2. The digital image signal generation apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by DPCM encoding.

2. The digital image signal generating apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by BTC encoding.

The said 1st and 2nd coefficient is determined by the least squares method so that the square of the difference | error of the true value of an attention pixel and the said pixel value produced | generated by the said calculation may be minimized. Digital image signal generator.

By the stillness determination unit, when the target pixel is determined to be a partial motion, the classification means determines a class based on the plurality of pixels in the vicinity in manner between the target pixel and the sky,
When the target determination unit determines that the target pixel is a still part, the class classification unit determines a class based on a plurality of pixels that are temporally and spatially adjacent to the target pixel. 2. The digital image signal generating apparatus according to claim 1, wherein

In a digital image signal generation method for generating a pixel value of a digital image signal having a higher resolution than the digital image signal from an input digital image signal,
A class classification step for determining a class of a target pixel as a generation target based on a plurality of reference pixels;
A stillness determining step for determining stillness of the target pixel;
A pixel value generating step for generating a pixel value by calculating a plurality of pixels and one of the first and second coefficients,
When it is determined in the stillness determination step that the pixel of interest is a moving part, the pixel value generating step includes a plurality of pixels spatially adjacent to the pixel of interest and the first corresponding to the class. The above pixel value is generated by calculation with the coefficient of
If it is determined in the still determination step that the target pixel is a still part, the pixel value generation step corresponds to the plurality of pixels temporally and spatially adjacent to the target pixel and the class. The pixel value is generated by calculation with the second coefficient,
The first coefficient is learned using a true value of the target pixel and a plurality of pixels spatially adjacent to the target pixel in the learning image signal, and the second coefficient is the learning image signal. in the true value and the digital image signal generation method, characterized in that that will be learned by using a plurality of pixels of the pixel of interest and the temporally and spatially adjacent to the pixel of interest.

When generating pixels of a digital image signal having a resolution higher than that of the second digital image signal based on the first digital image signal and a second digital image signal having a resolution lower than that of the first digital image signal. In a digital image signal processing apparatus for generating coefficients used in
Class classification means for determining a class of a target pixel as a generation target based on a plurality of reference pixels in the second digital image signal ;
The true value of the target pixel in the first digital image signal, based on a plurality of pixels in the second digital image signal of the target pixel and the sky between to the vicinity, for each of the classes by the least square method First coefficient generation means for generating a first coefficient among the coefficients;
The true value of the pixel of interest, by based on the plurality of pixels in the above Kichu th pixel temporally and spatially the second digital image signal in the vicinity of the least squares method of the above factors for each of the classes Second coefficient generating means for generating a second coefficient;
And a memory means for storing the generated first and second coefficients.

When generating pixels of a digital image signal having a resolution higher than that of the second digital image signal based on the first digital image signal and a second digital image signal having a resolution lower than that of the first digital image signal. In a digital image signal processing method for generating coefficients used in
A class classification step for determining a class of a target pixel as a generation target based on a plurality of reference pixels in the second digital image signal ;
The true value of the target pixel in the first digital image signal, based on a plurality of pixels in the second digital image signal of the target pixel and the sky between to the vicinity, for each of the classes by the least square method Generating the first coefficient,
True value and, the second coefficient for each of the classes by the least square method on the basis of a plurality of pixels in the above Kichu th pixel temporally and spatially the second digital image signal in the vicinity of the target pixel A coefficient generation step for generating
And storing the generated first and second coefficients. A digital image signal processing method comprising: