JP3617080B2

JP3617080B2 - Signal processing apparatus and signal processing method

Info

Publication number: JP3617080B2
Application number: JP20695994A
Authority: JP
Inventors: 哲二郎近藤; 丈晴西片
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-31
Filing date: 1994-08-31
Publication date: 2005-02-02
Anticipated expiration: 2020-02-02
Also published as: JPH0879712A

Description

【０００１】
【産業上の利用分野】
本発明は、入力信号に対してクラス分類に応じた適応処理を施す信号処理装置及び信号処理方法に関する。
【０００２】
【従来の技術】
従来、標準解像度（以下、ＳＤという。）信号から高解像度（以下、ＨＤという。）信号へ、アップコンバートする画像信号変換装置は、図１２に示すような装置であった。すなわち、従来の画像信号変換装置の入力端子１２０から入力されたＳＤ信号は、水平補間フィルタ１２１により水平方向の画素数が２倍とされ、垂直補間フィルタ１２２により垂直方向のライン数が２倍とされ、出力端子１２３からＨＤ信号として出力されていた。
【０００３】
しかし、上記従来の画像信号変換装置から出力される信号は、単に補間された信号に過ぎず、解像度は入力されたＳＤ信号と何ら変わらなかった。
そこで、本件出願人は、特願平５−１６７５１８号明細書及び図面にて、単に補間するのではなく、既知のＨＤ信号から学習を行うことによって、予測式の予測係数を用いてＳＤ信号からＨＤ信号へアップコンバートできる画像信号変換装置を提案した。
【０００４】
この画像信号変換装置は、図１３に示すような構成とされていた。先ず、入力端子１３０から入力されたＳＤ信号は、ブロック化回路１３１に供給されブロック単位のデータがＳＤ画像中から取り出され、適応ダイナミックレンジ符号化（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ、以下、ＡＤＲＣという。）回路１３２と予測演算回路１３５に供給される。ＡＤＲＣ符号化は、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的な代表値を短い語長で効率的に表現できる。このＡＤＲＣ符号化回路１３２では、供給されたブロック単位のデータに例えば１ビットＡＤＲＣ符号化処理を施し、クラスを決定する。クラスコード発生回路１３３では、決定されたクラスに対応するクラスコードを発生し、このクラスコードを予測係数メモリ１３４にアドレスとして供給する。予測係数メモリ１３４は、上記アドレスに応じたクラスの予測係数を予測演算回路１３５に供給する。予測演算回路１３５は、ブロック化回路１３１から供給されたブロック単位のデータに、予測係数メモリ１３４からの予測係数を用いた予測式による演算を施し、推定ＨＤデータを出力端子１３６から出力する。
【０００５】
すなわち、この画像信号変換装置では、ＡＤＲＣ符号化回路１３２と、クラスコード発生回路１３３と、予測係数メモリ１３４と予測演算回路１３５にて構成されるクラス分類適応処理装置により、ＳＤ信号をＨＤ信号にアップコンバートしている。
【０００６】
【発明が解決しようとする課題】
ところで、上記図１３に示したような画像信号変換装置のＡＤＲＣ符号化回路１３２と、クラスコード発生回路１３３と、予測係数メモリ１３４と予測演算回路１３５で構成されるクラス分類適応処理装置では、固定領域における画像信号の波形パターン分類、すなわちクラス分類に対応したクラスコードを用いて予測係数メモリ１３４から予測係数を出力させており、この固定領域に属さないクラスの影響を考慮していなかった。
【０００７】
そこで、本発明は、上記実情に鑑みてなされたものであり、上記固定領域に属さないクラスの影響にも対応して、高精度のクラス分類適応処理を行うことのできる信号処理装置及び信号処理方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る信号処理装置は、入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力する複数のクラス分類手段と、上記複数のクラス分類手段の複数の上記クラス分類情報信号の一を選択処理する選択手段と、上記ブロック内の変化の度合を示す信号に応じて上記選択手段の選択処理を切り替え制御する切り替え制御手段と、上記選択手段から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を上記入力信号に施す適応フィルタ手段を備える信号出力手段とを有し、上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することにより上記課題を解決する。
【０００９】
この場合、上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理する。
【００１０】
本発明に係る信号処理方法は、入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力するクラス分類工程と、上記クラス分類工程から出力された複数の上記クラス分類情報信号の一を選択処理する選択工程と、上記ブロック内の変化の度合を示す信号に応じて上記選択工程の選択処理を切り替え制御する切り替え制御工程と、上記選択工程から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を、上記入力信号に施す適応フィルタ工程を備える信号出力工程とを有し、上記信号出力工程の上記適応フィルタ処理工程は、上記選択工程から得られた上記クラス分類情報信号の一に応じて、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することにより上記課題を解決する。
【００１１】
【作用】
本発明に係る信号処理装置は、複数のクラス分類手段が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択手段が複数のクラス分類手段の複数のクラス分類情報信号の一を選択処理し、切り替え制御手段がブロック内の変化の度合いを示す信号に応じて選択手段の選択処理を切り替え制御し、信号出力手段が適応フィルタ手段により、選択手段から得られたクラス分類情報信号の一に応じて、入力信号に適応フィルタ処理を施す。
また、本発明に係る信号処理方法は、クラス分類工程が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択工程がクラス分類工程から出力された複数のクラス分類情報信号の一を選択処理し、切り替え制御工程がブロック内の変化の度合いを示す信号に応じて選択工程の選択処理を切り替え制御し、信号出力工程が選択工程により選択されたクラス分類情報信号に対応して適応フィルタ係数記憶手段から出力されたフィルタ係数を用いて入力信号に適応フィルタ処理を施す。
【００１２】
【実施例】
以下、本発明に係る信号処理装置及び信号処理方法の好ましい実施例を図面を参照しながら説明する。この実施例は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ、例えばハイビジョン信号の圧縮方式である多重サブサンプリングエンコード（ＭｕｌｔｉｐｌｅＳｕｂ−Ｎｙｑｕｉｓｔ−ＳａｍｐｌｉｎｇＥｎｃｏｄｉｎｇ、ＭＵＳＥ）方式のデコーダの要部に適用されるクラス分類適応処理装置である。
【００１３】
先ず、この実施例のクラス分類適応処理装置を説明する前に、多重サブサンプリングエンコード方式のエンコーダ及びデコーダの主要部を図１乃至図４を参照しながら説明しておく。
図１には多重サブサンプリングエンコード方式のエンコーダの主要部を示す。このエンコーダの主要部には、入力端子１、２及び３を介して、図示しないＡ／Ｄ変換器によってディジタル信号に変換され、図示しないマトリクス演算回路によって形成された高解像度（以下、ＨＤという。）信号のＹ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号及びＰｂ（Ｂ−Ｙ成分）信号が供給される。
【００１４】
入力端子１を介したＹ信号は、フィールド間前置フィルタ４に供給される。このフィールド間前置フィルタ４に対して、フィールドオフセットサブサンプリング回路５、ローパスフィルタ６及びサンプリング周波数変換回路７（図中、４８→３２と記す。）が接続される。
フィールドオフセットサブサンプリング回路５は、フィールド間でサブサンプリングの位相を１画素ずらすもので、その出力がローパスフィルタ８に供給される。原Ｙ信号のサンプリング周波数は例えば４８．６ＭＨｚで、フィールドオフセットサブサンプリング回路５のサンプリング周波数が例えば２４．３ＭＨｚで、ローパスフィルタ８によって、例えば１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが補間されてサンプリング周波数が４８．６ＭＨｚに戻される。
【００１５】
ローパスフィルタ８に対して、サンプリング周波数変換回路９（図中、４８→３２と記す。）が接続される。このサンプリング周波数変換回路９は、サンプリング周波数を例えば３２．４ＭＨｚに変換する。このサンプリング周波数変換回路９の出力信号は、ＴＣＩ（ＴｉｍｅＣｏｍｐｒｅｓｓｅｄＩｎｔｅｇｒａｔｉｏｎ）スイッチ１０に供給される。フィールドオフセットサブサンプリング回路５からサンプリング周波数変換回路９までの信号路は、静止領域の処理のために設けられている。
【００１６】
帯域制限用のローパスフィルタ６に対してサンプリング周波数変換回路１１（図中、４８→３２と記す。）が接続され、例えば４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。このサンプリング周波数変換回路１１の出力がＴＣＩスイッチ１２に供給される。ＴＣＩスイッチ１２からの信号が２次元サブサンプリングフィルタ１６を介して混合回路１７に供給される。ローパスフィルタ６から２次元サブサンプリングフィルタ１６に至る信号路が動き領域の処理のために設けられている。混合回路１７では、２次元サブサンプリングフィルタ１６の出力信号とＴＣＩスイッチ１０の出力信号とが混合される。
【００１７】
サンプリング周波数変換回路７に対しては、動きベクトル検出回路１３が接続される。動きベクトル検出回路１３に対して、動きフィルタ１４及び動き検出回路１５が接続される。動きフィルタ１４には、サンプリング周波数変換回路１１の出力信号も供給される。動きフィルタ１４の出力が動き検出回路１５に供給される。動き検出回路１５での検出結果（動き量）に基づいて混合回路１７の混合比を制御する制御信号が生成される。
【００１８】
入力端子２、３からの色差信号Ｐｒ、Ｐｂが垂直ローパスフィルタ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がローパスフィルタ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のローパスフィルタ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。フィールドオフセットサブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１９】
ローパスフィルタ２４及びフィールドオフセットサブサンプリング回路２６は、静止領域用の処理回路であり、ローパスフィルタ２５、フィールドオフセットサブサンプリング回路２７及び時間圧縮回路２８は、動き領域用の処理回路である。フィールドオフセットサブサンプリング回路２６及び時間圧縮回路２８の出力信号がＴＣＩスイッチ１０及び１２へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００２０】
混合回路１７の出力信号がフレームラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間及びライン間で反転され、また、サンプリング周波数が例えば１６．２ＭＨｚとされる。フレームラインオフセットサブサンプリング回路３１の出力信号が伝送用ガンマ補正回路３２を介して多重サブサンプリングエンコードのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚの多重サブサンプリングエンコード信号が取り出される。
【００２１】
上述の多重サブサンプリングエンコード方式のエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。図２では、静止領域の処理が上側に示され、動き領域の処理が下側に示されている。すなわち、図１の各点の信号に関して、そのサンプリング状態を図２に示している。また、色信号の処理は、輝度信号Ｙと同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路５の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００２２】
ローパスフィルタ１２の出力（Ｃ点）には、補間された信号（サンプリング周波数が４８．６ＭＨｚ）が発生する。サンプリング周波数変換回路９の出力（Ｄ点）もサンプリング周波数が３２．４ＭＨｚに変換された信号が現れる。
一方、ローパスフィルタ６の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数変換回路１１の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００２３】
静止領域及び動き領域のそれぞれの処理を受けたＹ信号が混合回路１７で混合され、混合回路１７の出力がフレームラインオフセットサブサンプリング回路３１に供給される。このフレームラインオフセットサブサンプリング回路３１の出力（Ｅ点）では、フレーム間及びライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００２４】
図３には本発明の実施例となるクラス分類適応処理装置を適用できる多重サブサンプリングエンコード方式のデコーダの主要部を示す。このデコーダの主要部には、受信されベースバンド信号に変換され、ディジタル信号に変換された多重サブサンプリングエンコード信号と、動きベクトルとが入力される。多重サブサンプリングエンコード信号は、フレーム間補間回路４１、フィールド内補間回路４２及び動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２５】
すなわち、静止領域では、フレーム間補間回路４１により１フレーム前の画像データを使用したフレーム間補間がなされる。ただし、カメラのパンニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間補間回路４１の出力信号がローパスフィルタ４４、サンプリング周波数変換回路４５、フィールドオフセットサブサンプリング回路４６及びフィールド間補間回路４７を介して混合回路４８に供給される。フィールドオフセットサブサンプリング回路４６からは、例えば２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２６】
動き領域では、フィールド内補間回路４２によって、空間的補間がなされる。フィールド内補間回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４９が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２７】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域ではフレーム間補間回路４１が介され、その出力（Ｆ点）で間引き画素が補間されたビデオ信号が生じる。サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が４８．６ＭＨｚに変換されたビデオ信号が現れる。
【００２８】
フィールドオフセットサブサンプリング回路４６の出力（Ｈ点）では、フィールド毎に１画素ずれたオフセットサンプリングがなされた信号が発生する。次のフィールド間補間回路４７の出力（Ｉ点）に画素が補間された信号が生じる。これが混合回路４８に供給される。
動き領域の処理のためのフィールド内補間回路４２の出力（ｆ点）にフィールド内の画素により補間されたビデオ信号が発生する。サンプリング周波数変換回路４９によって、その出力（ｈ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２９】
この多重サブサンプリングエンコード方式のデコーダでは、静止領域及び動き領域に関して補間とサブサンプリング処理が施される。ここで、本実施例のクラス分類適応処理装置は、フィールド内補間回路４２に適用できる。すなわち、本実施例のクラス分類適応処理装置は、図５に示すように、碁の目抜きされた状態で供給された多重サブサンプリングエンコード動画信号を碁の目補間してフィールド内補間する補間処理部５１からの補間多重サブサンプリングエンコード動画信号に、クラス分類適応処理を施してアップコンバージョンするクラス分類適応処理装置５２である。
【００３０】
図６に、本実施例のクラス分類適応処理装置５２の詳細な構成を示す。
補間処理部５１によって補間された後の多重サブサンプリングエンコード動画信号は、４種類の１ビット適応ダイナミックレンジ符号化（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ、以下、ＡＤＲＣという。）回路６１、６２、６３及び６４に供給される。ＡＤＲＣ符号化は、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。１ビットＡＤＲＣ符号化回路６１は、補間処理部５１で補間された後の多重サブサンプリングエンコード動画信号を３×３の領域にブロック化し、該３×３の領域の多重サブサンプリングエンコード動画信号の中の最大値と最小値からダイナミックレンジＤＲ_３を検出すると共に、クラスコードＣ_３を出力する。同様に、１ビットＡＤＲＣ符号化回路６２は、５×５の領域にブロック化された多重サブサンプリングエンコード動画信号からダイナミックレンジＤＲ_５を検出すると共に、クラスコードＣ_５を出力する。以下、１ビットＡＤＲＣ符号化回路６３も、７×７の領域の多重サブサンプリングエンコード動画信号からダイナミックレンジＤＲ_７を検出すると共に、クラスコードＣ_７を出力し、１ビットＡＤＲＣ符号化回路６４も、９×９の領域の多重サブサンプリングエンコード動画信号からダイナミックレンジＤＲ_９を検出すると共に、クラスコードＣ_９を出力する。
【００３１】
各１ビットのＡＤＲＣ符号化回路６１、６２、６３及び６４から出力されたダイナミックレンジＤＲ_３、ＤＲ_５、ＤＲ_７及びＤＲ_９は、図中破線で示すように、ダイナミックレンジ判定回路６５に供給される。ダイナミックレンジ判定回路６５は、後述するように、各ダイナミックレンジＤＲ_３、ＤＲ_５、ＤＲ_７及びＤＲ_９を基に、２ビットのクラスコード選択信号を生成し、クラスコード選択回路６６に供給すると共にフィルタ係数用ＲＯＭ６７に供給する。
【００３２】
フィルタ係数用ＲＯＭ６７には、予め学習により作成された適応フィルタ係数が格納されている。このフィルタ係数用ＲＯＭ６７は、クラスコード選択回路６６から供給されるクラスコードとＤＲ判定回路６５から供給されるクラスコード選択信号によりアドレスを決定されて、そのクラスに対応するフィルタ係数を適応フィルタ６８に出力する。適応フィルタ６８は、補間された多重サブサンプリングエンコード動画信号に上記フィルタ係数を用いた適応フィルタ処理を施し、アップコンバージョンした多重サブサンプリングエンコード動画信号を出力する。ここで、このフィルタ係数用ＲＯＭ６７と適応フィルタ６８とは、クラスコード選択回路６６により切り替え選択されて得られたクラスコードに応じて適応的に目的とする出力信号を出力する信号出力手段を形成している。
【００３３】
１ビットＡＤＲＣ符号化回路６１、６２、６３及び６４の詳細な構成を図７、８、９及び１０に示す。先ず、１ビットＡＤＲＣ符号化回路６１は、図７に示すように、３×３の領域内で補間多重サブサンプリングエンコード動画信号である各画素データの最大（ＭＡＸ）値を算出するＭＡＸ計算部７１と、３×３の領域内で上記各画素データの最小（ＭＩＮ）値を算出するＭＩＮ計算部７２と、上記ＭＡＸ値と上記ＭＩＮ値から３×３領域のダイナミックレンジＤＲ_３を算出するＤＲ計算部７３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_３で除算して、３×３の領域内で上記各画素データを正規化する正規化部７４と、この正規化部７４からの各正規化値と所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部７５とを有する。このビット割り当て部７５では、上記所定のしきい値を例えば０．５とし、上記各正規化値が上記しきい値以上である場合には２値化信号“１”を、上記各正規化値が上記しきい値より小さい場合には２値化信号“０”を、上記３×３の領域内で割り当てる。
【００３４】
また、１ビットＡＤＲＣ符号化回路６２は、図８に示すように、５×５の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのＭＡＸ値を算出するＭＡＸ計算部８１と、５×５の領域内で上記各画素データのＭＩＮ値を算出するＭＩＮ計算部８２と、上記ＭＡＸ値と上記ＭＩＮ値から５×５領域のダイナミックレンジＤＲ_５を算出するＤＲ計算部８３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_５で除算して、３×３の領域内で上記各画素データを正規化する正規化部８４と、この正規化部８４からの各正規化値と上記例えば０．５である所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部８５とを有する。このビット割り当て部８５が行うビット割り当て処理は、上記ビット割り当て部７５が行うビット割り当て処理と同様である。
【００３５】
さらに、１ビットＡＤＲＣ符号化回路６３は、図９に示すように７×７の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのＭＡＸ値を算出するＭＡＸ計算部９１と、７×７の領域内で上記各画素データのＭＩＮ値を算出するＭＩＮ計算部９２と、上記ＭＡＸ値と上記ＭＩＮ値から７×７領域のダイナミックレンジＤＲ_７を算出するＤＲ計算部９３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_７で除算して、３×３の領域内で上記各画素データを正規化する正規化部９４と、この正規化部９４からの各正規化値と上記例えば０．５である所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部９５とを有する。このビット割り当て部９５が行うビット割り当て処理も、上記ビット割り当て部７５が行うビット割り当て処理と同様である。
【００３６】
またさらに、１ビットＡＤＲＣ符号化回路６４は、図１０に示すように９×９の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのＭＡＸ値を算出するＭＡＸ計算部１０１と、９×９の領域内で上記各画素データのＭＩＮ値を算出するＭＩＮ計算部１０２と、上記ＭＡＸ値と上記ＭＩＮ値から９×９領域のダイナミックレンジＤＲ_９を算出するＤＲ計算部１０３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_９で除算して、３×３の領域内で上記各画素データを正規化する正規化部１０４と、この正規化部１０４からの各正規化値と上記例えば０．５である所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部１０５とを有する。このビット割り当て部１０５が行うビット割り当て処理も、上記ビット割り当て部７５が行うビット割り当て処理と同様である。
【００３７】
図１１には、図６に示したダイナミックレンジ判定回路６５の詳細な構成を示す。このダイナミックレンジ判定回路６５は、上記１ビットＡＤＲＣ符号化回路６１のＤＲ計算部７３から供給されるダイナミックレンジＤＲ_３と上記１ビットＡＤＲＣ符号化回路６２から供給されるダイナミックレンジＤＲ_５との比（＝ＤＲ_３／ＤＲ_５）を所定のしきい値と比較して、２値化信号“１”又は“０”を出力する比較部１１１と、上記ダイナミックレンジＤＲ_３と上記１ビットＡＤＲＣ符号化回路６３から供給されるダイナミックレンジＤＲ_７との比（＝ＤＲ_３／ＤＲ_７）を所定のしきい値と比較して、２値化信号“１”又は“０”を出力する比較部１１２と、
上記ダイナミックレンジＤＲ_３と上記１ビットＡＤＲＣ符号化回路６４から供給されるダイナミックレンジＤＲ_９との比（＝ＤＲ_３／ＤＲ_９）を所定のしきい値と比較して、２値化信号“１”又は“０”を出力する比較部１１３と、上記比較部１１１、１１２及び１１３の出力を加算することによって２ビットのクラスコード選択信号を出力する加算部１１４とを有してなる。比較部１１１、１１２及び１１３では、上記ダイナミックレンジＤＲ_３と上記ダイナミックレンジＤＲ_５、ＤＲ_７及びＤＲ_９との比（ＤＲ_３／ＤＲ_ｎ）が所定のしきい値より大きいときに２値化信号“１”を、上記比が上記所定のしきい値以下のときに２値化信号“０”を出力する。
【００３８】
そして、クラスコード選択部６６は、上記ＤＲ判定部６５の加算器１１４が出力する２ビットのクラスコード選択信号に応じて、各１ビットのＡＤＲＣ符号化回路６１、６２、６３及び６４が出力した９ビットの割り当てデータ、すなわちクラスコードＣ_３、Ｃ_５、Ｃ_７及びＣ_９を選択的に切り替えてＲＯＭ６７に出力する。ここで、上記クラスコード選択信号が“１１”（＝３）のときには、上記クラスコードＣ_９が、上記クラスコード選択信号が“１０”（＝２）のときには、上記クラスコードＣ_７が、上記クラスコード選択信号が“０１”（＝１）のときには、上記クラスコードＣ_５が、上記クラスコード選択信号が“００”（＝０）のときには、上記クラスコードＣ_３が選択されるようにすればよい。
【００３９】
以上より、本実施例のクラス分類適応処理装置は、ダイナミックレンジに応じたクラスコード選択信号に応じてクラスコードを切り替え、該クラスコードをアドレスとしてフィルタ係数用ＲＯＭ６７からフィルタ係数を適応フィルタ６８に供給するので、固定領域に属さないクラスの影響にも対応して、予測係数用メモリ６７から予測係数を出力できる。さらに、該クラス分類適応処理装置を多重サブサンプリングエンコード方式のデコーダのフィールド内補間回路４２に適用すると、画像の局所的性質に追従したアップコンバージョンが可能となる。
【００４０】
【発明の効果】
本発明に係る信号処理装置は、複数のクラス分類手段が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択手段が複数のクラス分類手段の複数のクラス分類情報信号の一を選択処理し、切り替え制御手段がブロック内の変化の度合いを示す信号に応じて選択手段の選択処理を切り替え制御し、信号出力手段が適応フィルタ手段により、選択手段から得られたクラス分類情報信号の一に応じて、入力信号に適応フィルタ処理を施すので、固定領域に属さないクラスの影響にも対応できる。このため、本発明に係る信号処理装置は、高精度のクラス分類適応処理を行うことができる。
また、本発明に係る信号処理方法は、クラス分類工程が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択工程がクラス分類工程から出力された複数のクラス分類情報信号の一を選択処理し、切り替え制御工程がブロック内の変化の度合いを示す信号に応じて選択工程の選択処理を切り替え制御し、信号出力工程が選択工程により選択されたクラス分類情報信号に対応して適応フィルタ係数記憶手段から出力されたフィルタ係数を用いて入力信号に適応フィルタ処理を施すので、固定領域に属さないクラスの影響にも対応できる。このため、本発明に係る信号処理装置は、高精度のクラス分類適応処理を行うことができる。
【図面の簡単な説明】
【図１】多重サブサンプリングエンコード方式のエンコーダの部分的なブロック図である。
【図２】多重サブサンプリングエンコード方式のエンコーダのサブサンプリングを説明するための図である。
【図３】本発明の実施例のクラス分類適応処理装置を適用できる多重サブサンプリングエンコード方式のデコーダの部分的なブロック図である。
【図４】多重サブサンプリングエンコード方式のデコーダの補間処理を説明するための図である。
【図５】本発明の実施例のクラス分類適応処理装置を概略的に説明するための図である。
【図６】本発明の実施例のクラス分類適応処理装置の詳細なブロック図である。
【図７】図６に示したクラス分類適応処理装置の３×３の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図８】図６に示したクラス分類適応処理装置の５×５の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図９】を図６に示したクラス分類適応処理装置の７×７の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図１０】図６に示したクラス分類適応処理装置の９×９の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図１１】図６に示したクラス分類適応処理装置のダイナミックレンジ判定部の詳細なブロック図である。
【図１２】従来の画像信号変換装置のブロック図である。
【図１３】従来の他の画像信号変換装置のブロック図である。
【符号の説明】
４２フィールド内補間回路
５１補間処理部
５２クラス分類適応処理装置
６１３×３の領域の１ビットＡＤＲＣ符号化回路
６２５×５の領域の１ビットＡＤＲＣ符号化回路
６３７×７の領域の１ビットＡＤＲＣ符号化回路
６４９×９の領域の１ビットＡＤＲＣ符号化回路
６５ダイナミックレンジ判定回路
６６クラスコード選択回路
６７フィルタ係数用ＲＯＭ
６８適応フィルタ[0001]
[Industrial application fields]
The present invention relates to a signal processing apparatus and a signal processing method for performing adaptive processing according to class classification on an input signal.
[0002]
[Prior art]
Conventionally, an image signal conversion apparatus that performs up-conversion from a standard resolution (hereinafter referred to as SD) signal to a high resolution (hereinafter referred to as HD) signal has been shown in FIG. That is, in the SD signal input from the input terminal 120 of the conventional image signal converter, the horizontal interpolation filter 121 doubles the number of pixels in the horizontal direction, and the vertical interpolation filter 122 doubles the number of lines in the vertical direction. And output as an HD signal from the output terminal 123.
[0003]
However, the signal output from the conventional image signal converter is merely an interpolated signal, and the resolution is not different from the input SD signal.
Therefore, the present applicant does not simply interpolate in Japanese Patent Application No. Hei 5-167518 and the drawings, but by learning from a known HD signal, the prediction signal of the prediction formula is used to calculate from the SD signal. An image signal converter capable of up-conversion to HD signals has been proposed.
[0004]
This image signal converter has a configuration as shown in FIG. First, the SD signal input from the input terminal 130 is supplied to the block forming circuit 131, and data in units of blocks is extracted from the SD image, and an adaptive dynamic range coding (hereinafter referred to as ADRC) circuit. 132 and the prediction calculation circuit 135. ADRC coding is an adaptive requantization method developed for high-efficiency coding for VTRs, and can efficiently represent a local representative value of a signal level with a short word length. In the ADRC encoding circuit 132, for example, 1-bit ADRC encoding processing is performed on the supplied block-unit data to determine a class. The class code generation circuit 133 generates a class code corresponding to the determined class and supplies this class code to the prediction coefficient memory 134 as an address. The prediction coefficient memory 134 supplies a prediction coefficient of a class corresponding to the address to the prediction calculation circuit 135. The prediction calculation circuit 135 performs calculation based on the prediction formula using the prediction coefficient from the prediction coefficient memory 134 on the data in units of blocks supplied from the blocking circuit 131, and outputs estimated HD data from the output terminal 136.
[0005]
That is, in this image signal conversion apparatus, an SD signal is converted into an HD signal by a class classification adaptive processing apparatus configured by an ADRC encoding circuit 132, a class code generation circuit 133, a prediction coefficient memory 134, and a prediction calculation circuit 135. Up-converting.
[0006]
[Problems to be solved by the invention]
By the way, in the class classification adaptive processing apparatus including the ADRC encoding circuit 132, the class code generation circuit 133, the prediction coefficient memory 134, and the prediction arithmetic circuit 135 of the image signal conversion apparatus as shown in FIG. The prediction coefficient is output from the prediction coefficient memory 134 using the waveform pattern classification of the image signal in the area, that is, the class code corresponding to the class classification, and the influence of the class not belonging to the fixed area is not taken into consideration.
[0007]
Therefore, the present invention has been made in view of the above circumstances, and a signal processing apparatus and signal processing capable of performing high-precision class classification adaptive processing in response to the influence of a class that does not belong to the fixed region. The purpose is to provide a method.
[0008]
[Means for Solving the Problems]
The signal processing apparatus according to the present invention mutually converts input signals. Overlap and Each block of a plurality of blocks of different sizes is divided into a plurality of areas of different sizes, and each class classification process is performed for each block, and each class classification information signal and a signal indicating the degree of change in each block are respectively provided. A plurality of class classification means for outputting; a selection means for selecting one of the plurality of class classification information signals of the plurality of class classification means; and a signal indicating the degree of change in the block. A signal comprising switching control means for switching control of selection processing, and adaptive filter means for performing filtering processing on the input signal using a filter coefficient output based on one of the class classification information signals obtained from the selection means Output means, The signal output means further includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance by learning, and the adaptive filter processing means is configured to store the class classification information signal obtained from the selection means. And processing using the adaptive filter coefficient output from the adaptive filter coefficient storage means This solves the above problem.
[0009]
In this case, the signal output means further includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance by learning, and the adaptive filter processing means has the class classification obtained from the selection means. Processing is performed using the adaptive filter coefficient output from the adaptive filter coefficient storage means in accordance with one information signal.
[0010]
The signal processing method according to the present invention allows input signals to be mutually transmitted. Overlap and Each block of a plurality of blocks of different sizes is divided into a plurality of areas of different sizes, and each class classification process is performed for each block, and each class classification information signal and a signal indicating the degree of change in each block are respectively provided. A classification step to be output; a selection step for selecting one of the plurality of class classification information signals output from the class classification step; and a selection of the selection step according to a signal indicating the degree of change in the block A signal comprising a switching control step for switching processing, and an adaptive filter step for performing filtering processing using the filter coefficient output based on one of the class classification information signals obtained from the selection step on the input signal An output process, The adaptive filter processing step of the signal output step includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class obtained in advance by learning according to one of the class classification information signals obtained from the selection step. Process using the adaptive filter coefficient output from This solves the above problem.
[0011]
[Action]
In the signal processing apparatus according to the present invention, the plurality of class classification means overlaps the input signals with each other and blocks the signals into a plurality of regions having different sizes, and performs a class classification process for each block, and each class classification information signal and A signal indicating the degree of change in each block is output, the selection means selects one of the plurality of class classification information signals of the plurality of class classification means, and the switching control means is a signal indicating the degree of change in the block The selection processing of the selection means is switched and controlled according to the signal, and the signal output means performs adaptive filter processing on the input signal according to one of the class classification information signals obtained from the selection means by the adaptive filter means.
Further, in the signal processing method according to the present invention, the class classification process blocks input signals from each other and blocks them into a plurality of regions having different sizes, and performs class classification processing for each block to perform each class classification information signal and A signal indicating the degree of change in each block is output, the selection process selects one of the plurality of class classification information signals output from the class classification process, and the switching control process indicates the degree of change in the block The selection process of the selection process is switched according to the signal, and the signal output process is adapted to the input signal using the filter coefficient output from the adaptive filter coefficient storage means corresponding to the class classification information signal selected by the selection process Apply filtering.
[0012]
【Example】
Hereinafter, preferred embodiments of a signal processing apparatus and a signal processing method according to the present invention will be described with reference to the drawings. In this embodiment, a high-resolution video signal decoder that compresses the amount of transmission information by sub-sampling, for example, a multiple sub-sampling encoding (MUSE) decoder that is a compression system for high-definition signals. It is a class classification adaptive processing device applied to the main part.
[0013]
First, before describing the class classification adaptive processing apparatus of this embodiment, the main parts of the encoder and decoder of the multiple sub-sampling encoding method will be described with reference to FIGS.
FIG. 1 shows a main part of an encoder of a multiple sub-sampling encoding method. The main part of this encoder is converted into a digital signal by an A / D converter (not shown) via input terminals 1, 2 and 3, and is formed by a high resolution (hereinafter referred to as HD) formed by a matrix arithmetic circuit (not shown). ) Signal Y (luminance) signal, Pr (R−Y component) signal and Pb (B−Y component) signal.
[0014]
The Y signal via the input terminal 1 is supplied to the inter-field prefilter 4. A field offset sub-sampling circuit 5, a low-pass filter 6, and a sampling frequency conversion circuit 7 (indicated as 48 → 32 in the figure) are connected to the inter-field pre-filter 4.
The field offset sub-sampling circuit 5 shifts the phase of sub-sampling between fields by one pixel, and its output is supplied to the low-pass filter 8. The sampling frequency of the original Y signal is, for example, 48.6 MHz, the sampling frequency of the field offset sub-sampling circuit 5 is, for example, 24.3 MHz, the frequency component of, for example, 12.15 MHz or more is removed by the low-pass filter 8, and the data is Interpolation returns the sampling frequency to 48.6 MHz.
[0015]
A sampling frequency conversion circuit 9 (denoted as 48 → 32 in the figure) is connected to the low-pass filter 8. The sampling frequency conversion circuit 9 converts the sampling frequency to, for example, 32.4 MHz. The output signal of the sampling frequency conversion circuit 9 is supplied to a TCI (Time Compressed Integration) switch 10. A signal path from the field offset sub-sampling circuit 5 to the sampling frequency conversion circuit 9 is provided for processing a still region.
[0016]
A sampling frequency conversion circuit 11 (denoted as 48 → 32 in the figure) is connected to the band limiting low pass filter 6 to convert the sampling frequency from 48.6 MHz to 32.4 MHz, for example. The output of the sampling frequency conversion circuit 11 is supplied to the TCI switch 12. A signal from the TCI switch 12 is supplied to the mixing circuit 17 via the two-dimensional sub-sampling filter 16. A signal path from the low-pass filter 6 to the two-dimensional sub-sampling filter 16 is provided for processing the motion region. In the mixing circuit 17, the output signal of the two-dimensional sub-sampling filter 16 and the output signal of the TCI switch 10 are mixed.
[0017]
A motion vector detection circuit 13 is connected to the sampling frequency conversion circuit 7. A motion filter 14 and a motion detection circuit 15 are connected to the motion vector detection circuit 13. The motion filter 14 is also supplied with the output signal of the sampling frequency conversion circuit 11. The output of the motion filter 14 is supplied to the motion detection circuit 15. A control signal for controlling the mixing ratio of the mixing circuit 17 is generated based on the detection result (motion amount) in the motion detection circuit 15.
[0018]
The color difference signals Pr and Pb from the input terminals 2 and 3 are supplied to the line sequential circuit 23 through the vertical low-pass filters 21 and 22, respectively. The line-sequential color signal from the line-sequencing circuit 23 is supplied to the low-pass filter 24, the component of 7 MHz or higher is removed, and then supplied to the field offset subsampling circuit 26. The line sequential color signal is supplied to the field offset sub-sampling circuit 27 through the band limiting low-pass filter 25. A time compression circuit 28 is connected to the field offset subsampling circuit 27.
[0019]
The low-pass filter 24 and the field offset sub-sampling circuit 26 are processing circuits for still areas, and the low-pass filter 25, the field offset sub-sampling circuit 27, and the time compression circuit 28 are processing circuits for motion areas. Output signals of the field offset sub-sampling circuit 26 and the time compression circuit 28 are supplied to the TCI switches 10 and 12, respectively, and are time-axis multiplexed with the luminance signal component processed as described above.
[0020]
The output signal of the mixing circuit 17 is supplied to the frame line offset sub-sampling circuit 31. The sub-sampling pattern here is inverted between frames and lines, and the sampling frequency is 16.2 MHz, for example. The output signal of the frame line offset sub-sampling circuit 31 is supplied to the formatting circuit 33 for multiple sub-sampling encoding via the transmission gamma correction circuit 32. Although not shown in the figure, a time-compressed audio signal, synchronization signal, VIT signal, and the like are added to the formatting circuit 33, and a multiple sub-sampling encode signal of about 8 MHz is extracted from the output terminal.
[0021]
Sub-sampling of the encoder of the above-described multiple sub-sampling encoding method will be schematically described with reference to FIG. In FIG. 2, the processing of the still area is shown on the upper side, and the processing of the motion area is shown on the lower side. That is, FIG. 2 shows the sampling state of the signal at each point in FIG. Further, the processing of the color signal is the same as that of the luminance signal Y, and therefore the description thereof is omitted. A digital Y signal is supplied from the input (point A) of the field offset subsampling circuit 5, and an output signal subsampled in a pattern in which the sampling phase is shifted by one pixel for each field is generated at the point B.
[0022]
An interpolated signal (sampling frequency is 48.6 MHz) is generated at the output (point C) of the low-pass filter 12. A signal whose sampling frequency is converted to 32.4 MHz also appears at the output (point D) of the sampling frequency conversion circuit 9.
On the other hand, a digital Y signal similar to that at point A is supplied to the input (point a) of the low-pass filter 6. In the motion region, field offset subsampling is not performed, and a Y signal similar to that at point D is generated at the output (point b) of the sampling frequency conversion circuit 11.
[0023]
The Y signals that have been subjected to the processing of the still region and the motion region are mixed by the mixing circuit 17, and the output of the mixing circuit 17 is supplied to the frame line offset sub-sampling circuit 31. At the output (point E) of the frame line offset sub-sampling circuit 31, an output signal sampled so as to have an offset of one pixel in the horizontal direction between frames and lines is generated.
[0024]
FIG. 3 shows a main part of a multi-subsampling encoding decoder to which the class classification adaptive processing apparatus according to the embodiment of the present invention can be applied. The main part of the decoder receives a multiple sub-sampling encoded signal that has been received and converted into a baseband signal and converted into a digital signal, and a motion vector. The multiplexed sub-sampling encode signal is supplied to the inter-frame interpolation circuit 41, the intra-field interpolation circuit 42, and the motion part detection circuit 43, respectively. The motion part detection circuit 43 detects a motion region, and controls a mixing ratio of signals obtained by processing the motion region and the stationary region.
[0025]
That is, in the still region, interframe interpolation using the image data of the previous frame is performed by the interframe interpolation circuit 41. However, when the entire image moves, such as camera panning, a process is performed in which the image one frame before is moved and superimposed according to the motion vector transmitted as the control signal. An output signal of the inter-frame interpolation circuit 41 is supplied to the mixing circuit 48 via the low-pass filter 44, the sampling frequency conversion circuit 45, the field offset sub-sampling circuit 46, and the inter-field interpolation circuit 47. From the field offset sub-sampling circuit 46, for example, a signal having a sampling frequency of 24.3 MHz is obtained.
[0026]
In the motion region, spatial interpolation is performed by the intra-field interpolation circuit 42. A sampling frequency conversion circuit 49 from 32.4 MHz to 48.6 MHz is connected to the intra-field interpolation circuit 42, and its output signal is supplied to the mixing circuit 48. The mixing ratio of the mixing circuit 48 is controlled by the output signal of the motion part detection circuit 43. Although not shown, the output signal of the mixing circuit 48 is supplied to a TCI decoder and separated into Y, Pr, and Pb signals. Further, after D / A conversion, inverse matrix calculation, and gamma correction, R, G, and B signals are obtained.
[0027]
The processing of the above decoder will be schematically described with reference to the sampling pattern of FIG. The sampling state of the input signal (point E) is the same as the output (point E) of the encoder described above. In the still region, an inter-frame interpolation circuit 41 is passed through, and a video signal in which thinned pixels are interpolated is generated at the output (point F). In the sampling frequency conversion circuit 45 (point G), a video signal whose sampling frequency is converted to 48.6 MHz appears.
[0028]
At the output (point H) of the field offset sub-sampling circuit 46, a signal that has been subjected to offset sampling shifted by one pixel for each field is generated. A signal in which pixels are interpolated is generated at the output (point I) of the next inter-field interpolation circuit 47. This is supplied to the mixing circuit 48.
A video signal interpolated by the pixels in the field is generated at the output (point f) of the intra-field interpolation circuit 42 for processing the motion region. The sampling frequency conversion circuit 49 generates a video signal having a sampling frequency of 48.6 MHz at its output (point h). This is supplied to the mixing circuit 48.
[0029]
In this multiple sub-sampling encoding decoder, interpolation and sub-sampling processing are performed on the still region and the motion region. Here, the class classification adaptive processing apparatus of this embodiment can be applied to the intra-field interpolation circuit 42. That is, as shown in FIG. 5, the class classification adaptive processing apparatus according to the present embodiment performs interpolation processing for inter-field interpolation by interpolating a multi-subsampling encoded video signal supplied in a state where the meshes are cut off. The class classification adaptive processing device 52 performs up-conversion by performing class classification adaptive processing on the interpolated multiple sub-sampling encoded video signal from the unit 51.
[0030]
FIG. 6 shows a detailed configuration of the class classification adaptive processing device 52 of the present embodiment.
The multiplexed sub-sampled encoded video signal after being interpolated by the interpolation processing unit 51 is supplied to four types of 1-bit adaptive dynamic range coding (hereinafter referred to as ADRC) circuits 61, 62, 63 and 64. Is done. ADRC encoding uses a local correlation of images to adaptively remove redundancy in the level direction. The 1-bit ADRC encoding circuit 61 blocks the multiple sub-sampling encoded video signal after being interpolated by the interpolation processing unit 51 into a 3 × 3 region, Dynamic range DR from the maximum and minimum values ₃ And class code C ₃ Is output. Similarly, the 1-bit ADRC encoding circuit 62 generates a dynamic range DR from the multiplexed sub-sampling encoded moving image signal blocked in a 5 × 5 region. ₅ And class code C ₅ Is output. Hereinafter, the 1-bit ADRC encoding circuit 63 also uses the dynamic range DR from the multiple sub-sampling encoded video signal in the 7 × 7 area. ₇ And class code C ₇ The 1-bit ADRC encoding circuit 64 also generates a dynamic range DR from the multiple sub-sampling encoded video signal in the 9 × 9 area. ₉ And class code C ₉ Is output.
[0031]
Dynamic range DR output from each 1-bit ADRC encoding circuit 61, 62, 63 and 64 ₃ , DR ₅ , DR ₇ And DR ₉ Is supplied to the dynamic range determination circuit 65 as indicated by a broken line in the figure. As will be described later, the dynamic range determination circuit 65 uses each dynamic range DR. ₃ , DR ₅ , DR ₇ And DR ₉ Based on the above, a 2-bit class code selection signal is generated and supplied to the class code selection circuit 66 and also to the filter coefficient ROM 67.
[0032]
The filter coefficient ROM 67 stores adaptive filter coefficients created in advance by learning. In the filter coefficient ROM 67, an address is determined by the class code supplied from the class code selection circuit 66 and the class code selection signal supplied from the DR determination circuit 65, and the filter coefficient corresponding to the class is sent to the adaptive filter 68. Output. The adaptive filter 68 performs an adaptive filter process using the filter coefficient on the interpolated multiple sub-sampled encoded video signal, and outputs an up-converted multiple sub-sampled encoded video signal. Here, the filter coefficient ROM 67 and the adaptive filter 68 form a signal output means for adaptively outputting a target output signal in accordance with the class code obtained by switching selection by the class code selection circuit 66. ing.
[0033]
Detailed configurations of the 1-bit ADRC encoding circuits 61, 62, 63 and 64 are shown in FIGS. First, as shown in FIG. 7, the 1-bit ADRC encoding circuit 61 calculates a maximum (MAX) value of each pixel data that is an interpolation multiplexed sub-sampling encoded moving image signal within a 3 × 3 region. A MIN calculation unit 72 that calculates a minimum (MIN) value of each pixel data within a 3 × 3 region, and a dynamic range DR of a 3 × 3 region from the MAX value and the MIN value. ₃ A DR calculation unit 73 for calculating the MIN value and subtracting the MIN value from the pixel data, and then subtracting the subtraction value from the dynamic range DR. ₃ The normalization unit 74 that normalizes each pixel data within a 3 × 3 region by dividing the pixel data by each other, compares each normalized value from the normalization unit 74 with a predetermined threshold value, A bit assigning unit 75 that assigns a total of 9 bits as a 1-bit binarized signal. In this bit allocation unit 75, the predetermined threshold value is set to 0.5, for example, and when each normalized value is equal to or larger than the threshold value, the binarized signal “1” is sent to each normalized value. Is less than the threshold value, the binarized signal “0” is assigned within the 3 × 3 area.
[0034]
Further, as shown in FIG. 8, the 1-bit ADRC encoding circuit 62 includes a MAX calculation unit 81 that calculates the MAX value of each pixel data that is an interpolation multiplexed sub-sampling encoded moving image signal within a 5 × 5 region, and 5 A MIN calculation unit 82 for calculating the MIN value of each pixel data in the × 5 region, and the dynamic range DR of the 5 × 5 region from the MAX value and the MIN value. ₅ A DR calculation unit 83 for calculating the MIN value and subtracting the MIN value from the pixel data, and then subtracting the subtraction value from the dynamic range DR. ₅ And a normalizing unit 84 for normalizing each pixel data within a 3 × 3 region, each normalized value from the normalizing unit 84, and a predetermined threshold value, for example, 0.5 And a bit allocation unit 85 that allocates a total of 9 bits as a binary signal of 1 bit per pixel. The bit allocation process performed by the bit allocation unit 85 is the same as the bit allocation process performed by the bit allocation unit 75.
[0035]
Further, as shown in FIG. 9, the 1-bit ADRC encoding circuit 63 includes a MAX calculation unit 91 that calculates the MAX value of each pixel data that is an interpolation multiplexed sub-sampling encoded moving image signal within a 7 × 7 area, A MIN calculation unit 92 for calculating the MIN value of each pixel data within the area 7, and the dynamic range DR of the 7 × 7 area from the MAX value and the MIN value. ₇ DR calculation unit 93 for calculating the value, and subtracting the MIN value from the pixel data, and then subtracting the subtracted value from the dynamic range DR. ₇ And a normalizing unit 94 that normalizes each pixel data within a 3 × 3 region, each normalized value from the normalizing unit 94, and a predetermined threshold value, for example, 0.5. And a bit allocation unit 95 that allocates a total of 9 bits to a binary signal of 1 bit per pixel. The bit allocation process performed by the bit allocation unit 95 is the same as the bit allocation process performed by the bit allocation unit 75.
[0036]
Further, as shown in FIG. 10, the 1-bit ADRC encoding circuit 64 includes a MAX calculation unit 101 that calculates the MAX value of each pixel data that is an interpolation multiplexed sub-sampling encoded moving image signal within a 9 × 9 region, A MIN calculation unit 102 for calculating the MIN value of each pixel data in the × 9 region, and the dynamic range DR of the 9 × 9 region from the MAX value and the MIN value. ₉ DR calculation unit 103 for calculating the value, and subtracting the MIN value from the pixel data, and then subtracting the subtracted value from the dynamic range DR. ₉ And a normalization unit 104 that normalizes each pixel data within a 3 × 3 region, each normalization value from the normalization unit 104, and a predetermined threshold value that is, for example, 0.5 And a bit assigning unit 105 that assigns a total of 9 bits to a binary signal of 1 bit per pixel. The bit allocation process performed by the bit allocation unit 105 is the same as the bit allocation process performed by the bit allocation unit 75.
[0037]
FIG. 11 shows a detailed configuration of the dynamic range determination circuit 65 shown in FIG. The dynamic range determination circuit 65 is a dynamic range DR supplied from the DR calculation unit 73 of the 1-bit ADRC encoding circuit 61. ₃ And the dynamic range DR supplied from the 1-bit ADRC encoding circuit 62. ₅ And the ratio (= DR ₃ / DR ₅ ) With a predetermined threshold value and outputs a binarized signal “1” or “0”, and the dynamic range DR ₃ And the dynamic range DR supplied from the 1-bit ADRC encoding circuit 63 ₇ And the ratio (= DR ₃ / DR ₇ ) With a predetermined threshold value, and outputs a binarized signal “1” or “0”;
Dynamic range DR above ₃ And the dynamic range DR supplied from the 1-bit ADRC encoding circuit 64 ₉ And the ratio (= DR ₃ / DR ₉ ) With a predetermined threshold value and outputs a binarized signal “1” or “0”, and the outputs of the comparison units 111, 112, and 113 are added to add a 2-bit class. And an adder 114 for outputting a code selection signal. In the comparison units 111, 112, and 113, the dynamic range DR ₃ And the above dynamic range DR ₅ , DR ₇ And DR ₉ And the ratio (DR ₃ / DR _n ) Is greater than a predetermined threshold value, the binarized signal “1” is output, and when the ratio is equal to or lower than the predetermined threshold value, the binarized signal “0” is output.
[0038]
The class code selection unit 66 outputs the 1-bit ADRC encoding circuits 61, 62, 63, and 64 according to the 2-bit class code selection signal output from the adder 114 of the DR determination unit 65. 9-bit allocation data, ie class code C ₃ , C ₅ , C ₇ And C ₉ Are selectively switched and output to the ROM 67. Here, when the class code selection signal is “11” (= 3), the class code C ₉ However, when the class code selection signal is “10” (= 2), the class code C ₇ However, when the class code selection signal is “01” (= 1), the class code C ₅ However, when the class code selection signal is “00” (= 0), the class code C ₃ May be selected.
[0039]
As described above, the class classification adaptive processing apparatus according to the present embodiment switches the class code according to the class code selection signal corresponding to the dynamic range, and supplies the filter coefficient from the filter coefficient ROM 67 to the adaptive filter 68 using the class code as an address. Therefore, the prediction coefficient can be output from the prediction coefficient memory 67 in response to the influence of the class that does not belong to the fixed area. Furthermore, when the class classification adaptive processing device is applied to the intra-field interpolation circuit 42 of the decoder of the multiple sub-sampling encoding method, up-conversion that follows the local properties of the image becomes possible.
[0040]
【The invention's effect】
In the signal processing apparatus according to the present invention, the plurality of class classification means overlaps the input signals with each other and blocks the signals into a plurality of regions having different sizes, and performs a class classification process for each block, and each class classification information signal and A signal indicating the degree of change in each block is output, the selection means selects one of the plurality of class classification information signals of the plurality of class classification means, and the switching control means is a signal indicating the degree of change in the block Since the selection processing of the selection means is switched and controlled according to the signal output means, the adaptive filter means performs the adaptive filter processing on the input signal according to one of the class classification information signals obtained from the selection means. Can also handle the effects of classes that do not belong to For this reason, the signal processing apparatus according to the present invention can perform highly accurate class classification adaptive processing.
Further, in the signal processing method according to the present invention, the class classification process blocks input signals from each other and blocks them into a plurality of regions having different sizes, and performs class classification processing for each block to perform each class classification information signal and A signal indicating the degree of change in each block is output, the selection process selects one of the plurality of class classification information signals output from the class classification process, and the switching control process indicates the degree of change in the block The selection process of the selection process is switched according to the signal, and the signal output process is adapted to the input signal using the filter coefficient output from the adaptive filter coefficient storage means corresponding to the class classification information signal selected by the selection process Since filtering is applied, it is possible to deal with the effects of classes that do not belong to fixed areas. For this reason, the signal processing apparatus according to the present invention can perform highly accurate class classification adaptive processing.
[Brief description of the drawings]
FIG. 1 is a partial block diagram of an encoder of a multiple sub-sampling encoding scheme.
FIG. 2 is a diagram for explaining sub-sampling of an encoder of a multiple sub-sampling encoding method.
FIG. 3 is a partial block diagram of a multi-subsampling encoding decoder to which the class classification adaptive processing apparatus according to the embodiment of the present invention can be applied.
FIG. 4 is a diagram for explaining interpolation processing of a decoder of a multiple sub-sampling encoding method.
FIG. 5 is a diagram for schematically explaining a class classification adaptive processing apparatus according to an embodiment of the present invention;
FIG. 6 is a detailed block diagram of a class classification adaptive processing apparatus according to an embodiment of the present invention.
7 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 3 × 3 region of the class classification adaptive processing device shown in FIG. 6;
FIG. 8 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 5 × 5 region of the class classification adaptive processing device shown in FIG. 6;
9 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 7 × 7 area of the class classification adaptive processing apparatus shown in FIG. 6;
10 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 9 × 9 region of the class classification adaptive processing device shown in FIG. 6;
FIG. 11 is a detailed block diagram of a dynamic range determination unit of the class classification adaptive processing device shown in FIG. 6;
FIG. 12 is a block diagram of a conventional image signal conversion apparatus.
FIG. 13 is a block diagram of another conventional image signal conversion apparatus.
[Explanation of symbols]
42 Intra-field interpolation circuit
51 Interpolation processing unit
52 class classification adaptive processor
61 1-bit ADRC encoding circuit of 3 × 3 area
62 1-bit ADRC encoding circuit in 5 × 5 area
63 1-bit ADRC encoding circuit of 7 × 7 area
64 1 × ADRC encoding circuit in 9 × 9 area
65 Dynamic range determination circuit
66 Class code selection circuit
67 Filter coefficient ROM
68 Adaptive filter

Claims

Input signals are overlapped with each other and divided into a plurality of regions of different sizes, and each block of a plurality of blocks of different sizes is subjected to class classification processing to change each class classification information signal and changes in each block. A plurality of class classification means for outputting signals indicating the degree of
Selection means for selecting and processing one of the plurality of class classification information signals of the plurality of class classification means;
Switching control means for switching and controlling the selection process of the selection means in accordance with a signal indicating the degree of change in the block;
Signal output means comprising adaptive filter means for subjecting the input signal to filter processing using a filter coefficient output based on one of the class classification information signals obtained from the selection means,
The signal output means further includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance by learning, and the adaptive filter processing means is configured to output the class classification information signal obtained from the selection means. And processing using the adaptive filter coefficient output from the adaptive filter coefficient storage means according to one .

2. A signal processing apparatus according to claim 1, wherein said class classification means is adaptive dynamic range encoding means.

2. The signal processing apparatus according to claim 1, wherein the signal indicating the degree of change in the block has a dynamic range.

The switching control signal includes a signal ratio with respect to each of one of the signals indicating the degree of change in the block obtained from the plurality of blocks having different sizes and the remaining other signals, 2. The signal processing apparatus according to claim 1, wherein one of the selection means is controlled to be switched by a switching control signal obtained based on a binarized signal obtained by comparison with a threshold value.

5. The signal processing apparatus according to claim 4, wherein the one signal is a signal indicating a degree of change obtained from the smallest block among the plurality of blocks having different sizes.

5. The signal processing apparatus according to claim 4, wherein the switching control signal is obtained by adding all of the obtained binarized signals.

The signal processing apparatus according to claim 1, wherein the plurality of signals are moving image signals.

Input signals are overlapped with each other and divided into a plurality of regions of different sizes, and each block of a plurality of blocks of different sizes is subjected to class classification processing to change each class classification information signal and changes in each block. A classification process for outputting signals indicating the degree of each,
A selection step of selecting one of the plurality of class classification information signals output from the class classification step;
A switching control step of switching and controlling the selection process of the selection step according to a signal indicating the degree of change in the block;
A signal output step including an adaptive filter step of applying a filter process using a filter coefficient output based on one of the class classification information signals obtained from the selection step to the input signal,
The adaptive filter processing step of the signal output step includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance in accordance with one of the class classification information signals obtained from the selection step. A signal processing method characterized in that processing is performed using the adaptive filter coefficient output from the above .