JPH07321662A

JPH07321662A - ディジタル信号処理装置および方法

Info

Publication number: JPH07321662A
Application number: JP13805494A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-05-28
Filing date: 1994-05-28
Publication date: 1995-12-08
Anticipated expiration: 2017-04-22
Also published as: JP3277696B2

Abstract

(57)【要約】【目的】ディジタルビデオ信号等のディジタル情報信
号を処理する時に、時間領域処理と周波数領域処理とを
統合することによって、処理精度の向上を図る。【構成】入力ディジタルビデオ信号がＤＣＴ回路３に
より係数データに変換され、分類回路５によって、周波
数領域のフラット成分６ａとインパルス成分６ｂとに分
離される。フラット成分６ａが逆ＤＣＴ回路７に供給さ
れ、時間軸上の変化の信号とされ、クラス分類適応処理
回路９において、時間領域において、解像度補償がなさ
れる。インパルス成分６ａは、ゲイン変換回路１０に供
給され、周波数領域において、高域の補償がなされる。
そして、ゲイン変換回路１０の出力信号が逆ＤＣＴ回路
１１によって時間軸上の信号とされる。そして、合成回
路１４において、各処理後の信号が合成され、出力端子
１５に解像度補償がされた信号が得られる。適応処理回
路９およびゲイン変換回路１０では、予め学習で求めら
れた予測係数、予測値、ゲイン変換比が使用される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタル画像信
号、ディジタルオーディオ信号等のディジタル信号の信
号処理装置および方法に関する。

【０００２】

【従来の技術】従来のディジタル画像信号、ディジタル
オーディオ信号等の信号処理を行なう時に、時間領域あ
るいは周波数領域のいずれかで信号処理を行なうのが普
通であった。周波数領域の処理は、信号の定常特性を良
く表現できるが、過渡特性の表現には不向きであった。
一方、時間領域の処理は、過渡特性を表現するのに適し
ているが、定常特性を表現するには不向きであった。こ
こで、定常特性とは、安定した繰り返しの変化を意味
し、過渡特性とは、孤立した１回限りの変化を意味す
る。

【０００３】一例として、図１３は、時間領域処理の場
合を示す。図１３Ａに示すように、過渡特性は、時間軸
に対して、その変化が激しい波形（インパルス状の波
形）となり、これは、例えば数個のサンプル程度を使用
することによって、充分処理することができる。波形中
のドットは、サンプリング位置を示し、ディジタル信号
の場合は、各サンプリング位置のレベルと対応するサン
プリング値を有する離散的信号系列である。但し、図に
おいては、以下も同様であるが、アナログ信号波形でも
って表すことにする。一方、定常特性は、時間軸上で図
１３Ｂに示すような変化がゆるやかな波形（フラットな
波形）となり、これは、数個程度のサンプルを使用して
も、波形の特徴が分からず、充分な処理ができない。

【０００４】次に、周波数領域で考えると、定常特性
は、含まれる周波数成分が単一あるいは少ないので、図
１４Ａに示すようなインパルス状の波形となる。一方、
過渡特性は、図１４Ｂに示すようなフラットな波形とな
る。上述と同様に、インパルス状の波形の方が信号の特
徴をとらえるのに適している。

【０００５】一般的な信号波形は、時間軸に対しては、
図１５に示すように、定常特性（フラット）の部分ＦＬ
１、ＦＬ２、ＦＬ３、・・・と過渡特性（インパルス）
の部分ＩＭ１、ＩＭ２、・・・とが混在したものであ
る。従って、時間領域処理と周波数領域処理との一方の
みを行なうことによっては、信号の特徴を正しく反映し
た処理を行なうことが難しい。そのために、同一の信号
に対して、時間領域処理と周波数領域処理とを行なう必
要が生じ、処理時間が長くなったり、処理のためのハー
ドウエアの規模が大きくなる問題があった。

【０００６】従って、この発明の目的は、ディジタル信
号の定常特性の部分に対しては、周波数領域で処理し、
その過渡特性の部分に対しては、時間領域で処理するこ
とができ、処理時間の短縮化、処理のためのハードウエ
アの規模の減少等が可能なディジタル信号処理を提供す
ることにある。

【０００７】

【課題を解決するための手段】請求項１に記載の発明
は、入力ディジタル信号を時間領域において分析する第
１の分析手段と、入力ディジタル信号を周波数領域にお
いて分析する第２の分析手段との少なくとも一方と、少
なくとも一方からなる分析手段の出力に基づいて入力デ
ィジタル信号を分類する分類手段と、分類手段によって
分類されたそれぞれの信号を時間領域および周波数領域
において適応的に処理する第１および第２の処理手段
と、第１および第２の処理手段の出力を合成する合成手
段とからなるディジタル信号処理装置である。

【０００８】請求項２に記載の発明は、入力ディジタル
信号を周波数分析するための分析手段と、分析手段の出
力から周波数領域でインパルス状の成分とフラット成分
を分離するための分離手段と、分離手段の出力のインパ
ルス状成分が供給され、これを周波数領域で処理するた
めの第１の処理手段と、分離手段の出力のフラット成分
を時間領域信号に変換するための第１の変換手段と、第
１の変換手段の出力を時間領域で処理するための第２の
処理手段と、第１の処理手段の出力を時間領域に変換す
るための第２の変換手段と、第２の変換手段の出力と第
２の処理手段の出力を合成するための合成手段とからな
るディジタル信号処理装置である。

【０００９】

【作用】入力ディジタル信号例えばディジタルビデオ信
号がＤＣＴにより係数データへ変換され、この係数デー
タを解析することによって、周波数領域でインパルス状
成分とフラット成分とが分離される。周波数領域でイン
パルス状の信号は、第１の処理手段によって周波数領域
で処理される。周波数領域でフラット成分は、時間領域
では、インパルス状の信号となるので、第２の処理手段
によって時間領域で処理される。このように、インパル
ス状の信号の形態で処理がなされるので、処理の結果を
良好なものとできる。

【００１０】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。この一実施例は、ディジタルビデオ信
号の解像度補償に対して、この発明を適用したものであ
る。解像度補償とは、図２Ａにおいて、もともと２０ａ
の周波数特性で示すような広帯域のビデオ信号がフィル
タリング処理等によって、２０ｂの周波数特性で示すよ
うに、帯域が狭くなったことを補償し、すなわち、斜線
部分の成分を作り出すことによって、図２Ｂに示す広帯
域のビデオ信号へ変換することである。

【００１１】この一実施例の全体的構成を示す図１にお
いて、１で示す入力端子に対して標準解像度のディジタ
ルビデオ信号（ＳＤビデオ信号と称する）が供給され
る。また、高解像度のディジタルビデオ信号をＨＤビデ
オ信号と称する。入力ＳＤビデオ信号の例は、ＳＤＶＴ
Ｒの再生信号、放送信号等である。入力ＳＤビデオ信号
がブロック化回路２に供給され、テレビジョンラスター
の順序のビデオ信号が例えば（８×８）のブロック構造
の信号に走査変換される。

【００１２】ブロック化回路２に対して、ＤＣＴ（Disc
rete Cosine Transform)回路３が接続され、ＤＣＴ回路
３からは、一つのブロックと対応して、１個の直流成分
の係数データＤＣと６３個の交流成分の係数データＡＣ
１、ＡＣ２、・・・、ＡＣ６３とが発生する。一例とし
て、ＤＣから開始して、より高次のＡＣ係数が順次出力
されるジグザグ走査でもって、係数データが出力され
る。ＤＣＴは、入力ビデオ信号の周波数解析の一つの手
段であって、ＦＦＴ、アダマール変換等を使用しても良
い。

【００１３】ＤＣＴ回路３からの係数データが係数解析
回路４を介して分類回路５に供給される。これらの係数
解析回路４および分類回路５は、周波数領域へ変換され
たディジタルビデオ信号の定常成分と過渡成分とを分離
するために、設けられている。分類回路５からは、周波
数領域でのフラットな成分（すなわち、過渡成分）６ａ
と、インパルス状の成分（すなわち、定常成分）６ｂと
が分離して現れる。

【００１４】理解を容易とするために、係数データの値
の一例を（ＤＣ＝５０、ＡＣ１＝４８、ＡＣ２＝４６、
ＡＣ３＝４４、ＡＣ４＝４２、ＡＣ５＝６０、・・・
・）と仮定する。係数解析回路４は、この係数データの
解析を行い、ＡＣ５がインパルス状のものと判断する。
つまり、ＡＣ５は、ＡＣ１、ＡＣ２、ＡＣ３、ＡＣ４の
変化の傾向から４０となるはずである。それが６０の値
となっているので、これは、２０の値、突出している。
分類回路５は、周波数領域のフラットな成分（過渡成分
であり、上述の例では、ＤＣ＝５０、ＡＣ１＝４８、Ａ
Ｃ２＝４６、ＡＣ３＝４４、ＡＣ４＝４２、ＡＣ５＝４
０、・・・・）６ａと、周波数領域のインパルス状の成
分（定常成分であり、上述の例では、ＤＣ＝０、ＡＣ１
＝０、ＡＣ２＝０、ＡＣ３＝０、ＡＣ４＝０、ＡＣ５＝
２０、・・・・）６ｂとを分離して出力する。

【００１５】分類回路５からのフラット成分６ａが逆Ｄ
ＣＴ回路７に供給され、時間領域の信号に戻され、ブロ
ック分解回路８に供給される。ブロック分解回路８から
は、テレビジョンのラスター走査の順に戻されたディジ
タルビデオ信号が得られる。このディジタルビデオ信号
が第２の処理回路としてのクラス分類適応処理回路９に
供給される。この回路９は、後述のように、時間領域に
おいて解像度を高くするための処理回路である。フラッ
ト成分６ａは、時間領域の処理に適しており、回路９に
よって、解像度の補償を良好になしうる。

【００１６】分類回路５からのインパルス成分６ｂがゲ
イン変換回路１０に供給される。ゲイン変換回路１０に
対しては、ブロック化回路２の出力信号がクラス分類の
ために供給される。ゲイン変換回路１０には、後述のよ
うに学習によって予め獲得されたゲイン変換比情報が格
納されたメモリが設けられている。このように、係数デ
ータのゲインを変換比情報に従って調整することによっ
て、周波数領域で高域成分が増強される。ゲイン変換回
路１０の出力信号が逆ＤＣＴ回路１１に供給される。逆
ＤＣＴ回路１１によって、時間領域に戻された信号がブ
ロック分解回路１２に供給され、テレビジョンラスター
走査の順のデータへ変換される。

【００１７】ブロック分解回路１２の出力信号が位相補
償回路１３を介して合成回路１４に供給され、合成回路
１４にて、上述のクラス分類適応処理回路９の出力信号
と合成される。この合成は、単純多重の処理である。そ
して、合成回路１４から出力端子１５には、解像度が補
償されたディジタルビデオ信号、すなわち、ＨＤビデオ
信号が得られる。

【００１８】クラス分類適応処理回路９の一例を図３に
示す。２１で示す入力端子に対しては、ブロック分解回
路８からのディジタルビデオ信号が供給される。このデ
ィジタルビデオ信号は、ＳＤビデオ信号のフラット成分
（過渡成分）であり、時間領域でインパルス状となる信
号である。このディジタルビデオ信号が同時化回路２２
に供給される。同時化回路２２の出力データがクラス分
類回路２３に供給される。クラス分類回路２３の出力が
マッピング表Ｍ１〜Ｍ４がそれぞれ蓄えられたメモリ２
４ａ〜２４ｄにアドレス信号として供給される。

【００１９】図４は、ＳＤ画像およびＨＤ画像の関係を
部分的に示す。図４において、○の画素データがＳＤ画
像のもので、×の画素データがＨＤ画像のものである。
例えば１２個のＳＤ画像の画素データａ〜ｌから４個の
ＨＤ画像の画素データｙ１〜ｙ４が生成される。メモリ
２４ａのマッピング表Ｍ１は、画素データｙ１を発生す
るためのもので、メモリ２４ｂ、２４ｃ、２４ｄのマッ
ピング表Ｍ２、Ｍ３、Ｍ４は、画素データｙ２、ｙ３、
ｙ４をそれぞれ発生するためのものである。

【００２０】メモリ２４ａ〜２４ｄの読み出し出力がセ
レクタ２５に供給される。セレクタ２５は、セレクト信
号発生回路２６の出力によって制御される。セレクト信
号発生回路２６には、ＨＤ画像のサンプルクロックが入
力端子２７から供給される。セレクタ２５によって、４
個の画素データｙ１〜ｙ４が順番に選択され、これらの
画素データが走査変換回路２８に供給される。走査変換
回路２８は、ＨＤ画像の画素データをラスター走査の順
に出力端子２９に発生する。出力画像の画素数は、入力
ＳＤビデオ信号の画素数の４倍である。

【００２１】メモリ２４ａ〜２４ｄに格納されるマッピ
ング表Ｍ１〜Ｍ４は、予め学習によって生成される。マ
ッピング表Ｍ１〜Ｍ４の生成のための構成の一例を図５
に示す。図５中で、３１で示す入力端子にディジタルの
ＨＤビデオ信号が供給される。このＨＤビデオ信号は、
マッピング表の生成を考慮した標準的な信号であること
が好ましい。実際には、標準的な画像をＨＤビデオカメ
ラにより撮像することによって、あるいは撮像信号をＨ
ＤＶＴＲに記録することによって、ＨＤビデオ信号を得
ることができる。

【００２２】このＨＤビデオ信号が同時化回路３２に供
給される。この同時化回路３２は、図４に示す位置関係
を有する画素データａ〜ｌとｙ₁〜ｙ₄とを同時に出力
する。画素データａ〜ｌがクラス分類回路３３に供給さ
れる。クラス分類回路３３は、階調、パターン等でＨＤ
画素データｙ₁〜ｙ₄のクラス分けを行なう。このクラ
ス分類回路３３の出力がマッピング表生成回路３４ａ〜
３４ｄに対して共通に供給される。

【００２３】同時化回路３２からの画素データｙ₁〜ｙ
₄がマッピング表生成回路３４ａ〜３４ｄに対して供給
される。マッピング表生成回路３４ａ〜３４ｄは、同一
の構成を有している。マッピング表としては、２種類可
能である。その一つは、ＨＤ画素の値ｙ₁、ｙ₂、ｙ₃
またはｙ₄をＳＤ画素の値ａ〜ｌと係数ｗ₁〜ｗ₁₂の線
形結合で予測するためのもので、この場合には、クラス
毎に係数ｗ₁〜ｗ₁₂が定まる。他のものは、クラス毎に
予測される、ＨＤ画素の値そのものである。

【００２４】図５中のマッピング表作成回路３４ａ〜３
４ｄにそれぞれ設けられたメモリには、ＨＤビデオ信号
とＳＤビデオ信号との間の相関を示すマッピング表が蓄
えられる。言い換えれば、ＳＤビデオ信号の複数のデー
タが与えられた時に、この複数のデータのクラスと、平
均的に対応が取れたＨＤビデオ信号の画素データを出力
するマッピング表が形成できる。

【００２５】クラス分類回路３３は、図３のクラス分類
回路２３と同様に、注目画素データをクラス分類し、ク
ラス情報を発生する。クラス分類としては、階調による
クラス分類、パターンによるクラス分類等を使用でき
る。階調を使用する時には、画素データが８ビットであ
ると、クラスの個数が極めて多くなるので、各画素のビ
ット数をＡＤＲＣ等の高能率符号化で減少させることが
好ましい。パターンを使用する時には、４画素で構成さ
れる複数のパターン（例えば平坦、右上に値が上昇、右
下に値が減少、等）を用意し、同時化回路３２の出力デ
ータを複数のパターンのいずれかにクラス分けする。

【００２６】ＨＤ画素データｙ₁を求めるマッピング表
作成回路３４ａを例にとると、クラス分類回路３３から
のクラス情報がアドレスとして供給されるメモリが設け
られる。トレーニング（学習）時では、原ＨＤビデオ信
号を間引き処理することによって、ＳＤビデオ信号を形
成する。水平方向の間引き処理（サブサンプリング）お
よび垂直方向の間引き処理（サブライン）がなされる。
１フレーム以上のＨＤビデオ信号例えば静止画像が使用
される。メモリには、クラス情報と対応する各アドレス
に対して、画素データａ〜ｌおよびｙ₁のサンプル値が
書込まれる。例えばメモリのアドレスＡＤ０には、（ａ
₁₀、ａ₂₀、・・・、ａ_n0）（ｂ₁₀、ｂ₂₀、・・・、
ｂ_n0）・・・・（ｌ₁₀、ｌ₂₀、・・・、ｌ_n0）（ｙ₁₀、
ｙ₂₀、・・・、ｙ_n0）が蓄えられる。

【００２７】このように蓄えられた学習データがメモリ
から読出され、ＳＤ画素の値ａ〜ｌと係数ｗ₁〜ｗ₁₂の
線形１次結合で得られるＨＤ画素（ｙ₁に対応する）予
測値と真値との誤差を最小とする係数が最小二乗法によ
って求められる。一つのメモリのアドレスに蓄えられた
学習データに注目すると、このアドレスに関しては、下
記の連立方程式が成り立つ。

【００２８】ｙ₁₀＝ｗ₁ａ₁₀＋ｗ₂ｂ₁₀＋ｗ₃ｃ₁₀＋・・・・・・＋ｗ₁₂ｌ₁₀ ｙ₂₀＝ｗ₁ａ₂₀＋ｗ₂ｂ₂₀＋ｗ₃ｃ₂₀＋・・・・・・＋ｗ₁₂ｌ₂₀ ｙ₃₀＝ｗ₁ａ₃₀＋ｗ₂ｂ₃₀＋ｗ₃ｃ₃₀＋・・・・・・＋ｗ₁₂ｌ₃₀ ・・・ｙ_n0＝ｗ₁ａ_n0＋ｗ₂ｂ_n0＋ｗ₃ｃ_n0＋・・・・・・＋ｗ₁₂ｌ_n0

【００２９】ここで、ｙ₁₀〜ｙ_n0、ａ₁₀〜ａ_n0、ｂ₁₀〜
ｂ_n0、ｃ₁₀〜ｃ_n0、・・・・、ｌ₁₀〜ｌ_n0が既知である
ので、ｙ₁₀〜ｙ_n0（真値）に対する予測値の誤差の二乗
を最小とするような係数ｗ₁〜ｗ₁₂を求めることができ
る。他のクラス（アドレス）についても同様に係数を決
定することができる。このように決定された係数がメモ
リに格納され、マッピング表として使用される。

【００３０】係数に限らず、クラス毎にＨＤビデオ信号
のデータの値をトレーニングによって求め、メモリに格
納しても良い。例えば図６は、そのための構成を示す。
クラス分類回路３３からのクラス情報がアドレスとして
供給されるデータメモリ４０および度数メモリ４１が設
けられる。

【００３１】度数メモリ４１の読出し出力が加算器４２
に供給され、＋１され、加算器４２の出力がメモリ４１
の同一アドレスに書込まれる。メモリ４０および４１
は、初期状態として各アドレスの内容がゼロにクリアさ
れる。

【００３２】データメモリ４０から読出されたデータが
乗算器４３に供給され、度数メモリ４１から読出された
度数と乗算される。乗算器４３の出力が加算器４４に供
給され、加算器４４にて入力データｙと加算される。加
算器４４の出力が割算器４５に除数として供給される。
この割算器４５の出力（商）がデータメモリ４０に入力
データとされる。

【００３３】上述の図６の構成において、あるアドレス
が最初にアクセスされる時には、メモリ４０および４１
の読出し出力が０であるため、データｙ₁₀がそのままメ
モリ４０に書込まれ、メモリ４１の対応するアドレスの
値が１とされる。若し、その後で、このアドレスが再び
アクセスされると、加算器４２の出力が２であり、加算
器４４の出力が（ｙ₁₀＋ｙ₂₀）である。従って、割算器
４５の出力が（ｙ₁₀＋ｙ₂₀）／２であり、これがメモリ
４０に書込まれる。さらに、その後で、上述のアドレス
がアクセスされると、同様の動作によって、メモリ４０
のデータが（ｙ₁₀＋ｙ₂₀＋ｙ₃₀）／３に変更され、度数
も３に更新される。

【００３４】上述の動作を所定期間行なうことによっ
て、メモリ４０には、クラス分類回路３３の出力によっ
てクラスが指定されると、そのときのデータが出力され
るようなマッピング表が蓄えられる。言い換えれば、入
力ビデオ信号の複数の画素データが与えられた時に、そ
れをクラス分類したものと平均的に対応がとれたデータ
を出力するマッピング表が形成できる。

【００３５】クラス分類適応処理回路９についてより詳
細に説明すると、クラス分類適応処理回路９は、上述の
ように、線形１次結合の係数をトレーニングによって、
予め決定する。このトレーニング時には、図７の構成が
使用される。図７において、５１は、入力端子で、標準
的なＨＤ信号の静止画像を多数枚入力され、垂直間引き
フィルタ５２と学習部５４へ供給される。垂直間引きフ
ィルタ５２は、ＨＤ画像を垂直方向に１／２に間引き
し。垂直間引きフィルタ５２と接続されるて水平間引き
フィルタ５３で水平方向に１／２に間引きを行ない、Ｓ
Ｄ信号と同等の画素の静止画像を学習部５４に供給す
る。メモリ５５は、学習部５４で作成されたクラスコー
ドと学習結果を記憶する。

【００３６】この例では、図８に示すように、ＨＤ画素
とＳＤ画素の位置関係が規定される。図８に示すよう
に、ＳＤ画素（３×３）ブロックを用いる場合、ＳＤ画
素ａ〜ｉとＨＤ画素Ａ，Ｂ，Ｃ，Ｄが一組の学習データ
となる。１フレームに関して複数組の学習データが存在
し、且つ、フレーム数を増加させることにより非常に多
数の組の学習データを利用できる。

【００３７】ここで図９は、学習部５４において、線形
１次結合の係数を決定する場合に、その処理をソフトウ
ェアで行なう時の動作を示すフローチャートである。ス
テップ６１から学習部の制御が開始され、ステップ６２
の対応データブロック化では、ＨＤ信号とＳＤ信号が供
給され、図８に示すような配列関係にあるＨＤ画素およ
びＳＤ画素を取り出す処理を行なう。ステップ６３のデ
ータ終了では、入力された全データ例えば１フレームの
データの処理が終了していれば、ステップ６６の予測係
数決定へ、終了していなければ、ステップ６４のクラス
決定へ制御が移る。

【００３８】ステップ６４のクラス決定では、ＳＤ信号
の信号パターンからクラスを決める。この制御では、ビ
ット数削減のために、ＡＤＲＣを用いることができる。
ステップ６５の正規方程式加算では、後述するような方
程式を作成する。

【００３９】ステップ６３のデータ終了から全データの
処理が終了後、制御がステップ６６に移り、ステップ６
６の予測係数決定では、後述する方程式を行列解法を用
いて解いて、予測係数を決める。ステップ６７の予測係
数ストアで、予測係数をメモリにストアし、ステップ６
８で学習部の制御が終了する。メモリ内には、ＳＤ信号
で決定されるクラスをアドレスとして、そのクラスの予
測係数が記憶される。クラスおよび予測係数が上述した
マッピング表と対応する。

【００４０】図８中のＨＤ画素とＳＤ画素の関係を規定
するための係数を求める処理をより詳細に説明する。一
般的にＳＤ画素レベルをｘ₁〜ｘ_nとし、ＨＤ画素レベ
ルをｙとしたとき、クラス毎に係数ｗ₁〜ｗ_nによるｎ
タップの線形推定式ｙ´＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋‥‥＋ｗ_nｘ_n （１）を設定する。学習前はｗ_iが未定係数である。

【００４１】上述のように、学習はクラス毎に複数のＨ
ＤデータおよびＳＤデータに対して行なう。データ数が
ｍの場合、式１に従って、ｙ_j´＝ｗ₁ｘ_{j 1}＋ｗ₂ｘ₂２＋‥‥＋ｗ_nｘ_jn （２）（但し、ｊ＝１，２，‥‥ｍ）

【００４２】ｍ＞ｎの場合、ｗ₁〜ｗ_nは一意には決ま
らないので、誤差ベクトルｅの要素をｅ_j＝ｙ_j−（ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋‥‥＋ｗ_nｘ_jn）（３）（但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式４を
最小にする係数を求める。

【００４３】

【数１】

【００４４】いわゆる最小自乗法による解法である。こ
こで式３のｗ_iによる偏微分係数を求める。

【００４５】

【数２】

【００４６】式６を０にするように各ｗ_iを決めればよ
いから、

【００４７】

【数３】

【００４８】として、行列を用いると

【００４９】

【数４】

【００５０】となり、掃き出し法等の一般的な行列解法
を用いて、この式８を解けば予測係数ｗ_iが求まり、ク
ラスコードをアドレスとして、この予測係数ｗ_iをメモ
リに格納しておく。

【００５１】以上のように学習部が実データであるＨＤ
信号を用いて予測係数ｗ_iを獲得することができ、これ
をメモリに格納しておく。そして、任意の入力されたＳ
Ｄ信号からクラス情報を形成し、クラス情報と対応する
予測係数をメモリから読出し、注目画素の周辺のＳＤ画
素の値と予測係数の線形１次結合によって、注目画素の
値を形成することができ、任意の入力ＳＤ画像に対して
出力ＨＤ画像を生成することができる。

【００５２】学習部５４が予測係数ではなく、クラス毎
の代表値を決定する時には、図１０のフローチャートで
示すような処理がなされる。開始のステップ７１、学習
データ形成のステップ７２およびデータ終了のステップ
７３およびクラス決定のステップ７４は、上述した図９
中のステップ６１、６２、６３および６４と同様のもの
である。

【００５３】正規化のステップ７５では、画素の値の正
規化がなされる。すなわち、ＨＤ画素の値（入力値）を
ｙとすると、（ｙ−base）／ＤＲの演算により入力デー
タが正規化される。ここで、ＤＲは、図８に示す画素配
列において、ａ〜ｉを１ブロックとする時に、この１ブ
ロック内の画素の最大値と最小値の差（ダイナミックレ
ンジＤＲ）である。また、baseは、ブロックの基準値で
あり、例えばブロックの画素の最小値である。最小値以
外にブロック内の画素値の平均値を使用しても良い。こ
の正規化によって、画素の相対的レベルに注目すること
ができる。

【００５４】代表値決定のステップ７６では、図６の場
合と同様にしてそのクラスの累積度数n(c)を求め、ま
た、代表値g(c)を求める。すなわち、新たに形成される
代表値g(c)´は、 g(c)´＝｛（ｙ−base）／ＤＲ＋n(c)×g(c)｝／n(c+1) （９）である。このように求められたクラス毎の代表値がメモ
リに格納される。

【００５５】また、クラス分けのための情報圧縮手段と
しては、ＡＤＲＣ回路の代わりに例えば、ＤＣＴ（Disc
rete Cosine Transform ）、ＶＱ（ベクトル量子化）、
あるいはＤＰＣＭ（予測符号化）回路を設ける等のよう
に、データ圧縮を行なえることができる手段であれば何
を設けるかは適宜選択可能である。

【００５６】上述したように、クラス分類適応処理回路
９は、時間領域において、実際の画像の性質に基づいて
ＳＤ信号およびＨＤ信号の対応関係を学習し、その学習
からＳＤ信号に対応するＨＤ信号を生成することができ
る。また、ＳＤ信号のレベル分布に応じて適応的にクラ
スを選択するため、画像の局所的性質に追従したアップ
コンバージョンが可能となる。さらに、補間フィルタを
用いたものと異なり、解像度の補償されたＨＤ信号を得
ることができる。

【００５７】さて、図１に戻ると、分類回路５からの周
波数領域でインパルス状の成分６ｂが供給される、第１
の処理回路としてのゲイン変換回路１０は、周波数領域
で解像度を補償するものである。すなわち、ゲイン変換
は、図１１に示すように、もともとは、高域まで周波数
特性が拡大していた信号の高域のゲインが信号処理によ
って低下することを補償するものである。ゲイン変換回
路１０は、クラス分類適応処理回路９と同様に、予め学
習によって、高域を補償するためのマッピング表が格納
されたメモリを有している。このマッピング表として
は、上述した時間領域のクラス分類適応処理回路９と同
様に、ゲイン変換比を出力するものと、ゲインの予測値
を出力するものとの２種類可能である。

【００５８】図１２は、ゲイン変換回路１０内のマッピ
ング表を作成するための学習時の構成を示す。８１で示
す入力端子に、学習に使用するＨＤビデオデータが供給
され、サブライン／サブサンプル回路８２に供給され
る。この回路８２は、垂直方向の間引き（サブライン）
と水平方向の間引き（サブサンプル）とを行なう。従っ
て、サブライン／サブサンプル回路８２からは、ＳＤビ
デオ信号と同程度の解像度を有するビデオ信号が発生す
る。

【００５９】サブライン／サブサンプル回路８２に対し
て遅延回路８３およびＤ／Ａ変換器９０が接続される。
遅延回路８３は、クラス分類がなされるまで、入力デー
タを遅延させ、タイミングを合わせるためのものであ
る。遅延回路８３に対してブロック化回路８４が接続さ
れ、例えば（４×４）のブロック構造のデータが同時化
される。ブロック化回路８４の出力がＤＣＴ回路８５に
供給され、コサイン変換がされる。ＤＣＴ回路８５から
は、直流成分の係数データから開始して、交流分の係数
データが低次から高次のものの順番（ジグザク走査）で
係数データが発生する。

【００６０】ＤＣＴ回路８５からの係数データが割算回
路８６に供給される。この割算回路８６は、高域を補償
するために必要とされる、係数データに対するゲイン変
換比を求めるために設けられている。割算回路８６から
のゲイン変換比信号がメモリ８７に供給される。メモリ
８７は、複数のＤＣＴ係数とそれぞれ対応してゲイン変
換比を記憶するために、複数枚の構成とされている。

【００６１】信号処理の結果生じる、ＳＤビデオ信号の
高域の劣化を調べるために、Ｄ／Ａ変換器９０によりア
ナログ信号とされたＳＤビデオ信号がアナログ伝送系９
１に供給される。アナログ伝送系９１は、例えばアナロ
グＶＴＲの記録および再生プロセスである。アナログ伝
送系９１を介されたビデオ信号がＡ／Ｄ変換器９２によ
ってディジタル信号とされ、ブロック化回路９３に供給
される。

【００６２】ブロック化回路９３によって、ブロック化
回路８４の出力データと同様のブロック構造のディジタ
ルビデオデータが形成される。ブロック化回路９３の出
力データがＤＣＴ回路９４およびクラス分類回路９５に
供給される。ＤＣＴ回路９４からの係数データが割算回
路８６に対して供給される。同じ次数の係数データに関
して、割算処理がなされ、係数データに関するゲイン変
換比信号が割算回路８６で生成される。すなわち、アナ
ログ伝送系９１を通ると、高域周波数成分が失われる
が、それによって、ＤＣＴの係数データの各成分のゲイ
ン（値）がどのように変化するかがゲイン変換比信号に
よって指示される。

【００６３】例えばＤＣＴ回路８５からＤＣ、ＡＣ１〜
ＡＣ１５の係数データが発生し、ＤＣＴ回路９４からＤ
Ｃ´、ＡＣ１´〜ＡＣ１５´の係数データが発生する場
合を考える。割算回路８６では、下記の演算によってゲ
イン変換比信号Ｇ₀、Ｇ₁、・・・・、Ｇ₁₅が形成され
る。Ｇ₀＝ＤＣ／ＤＣ´、Ｇ₁＝ＡＣ／ＡＣ´、・・・、Ｇ₁₅＝ＡＣ₁₅／ＡＣ₁₅´

【００６４】図１２では、簡単のために省略している
が、各係数に関して発生する複数のゲイン変換比信号を
平均化することによって、最終的なゲイン変換比信号が
求められ、これがメモリ８７に記憶される。

【００６５】このようなゲイン変換比信号は、高域が減
衰したビデオデータの係数データに対して、乗じられる
ことによって、高域が補償されたビデオデータの係数デ
ータを生成することを可能とする。図１中のゲイン変換
回路１０は、予め学習により得られたゲイン変換比信号
が記憶されているメモリを有し、係数データとゲイン変
換比信号とを乗じることによって、係数データの値を変
更する。これによって、高域の補償を行なうことができ
る。

【００６６】クラス分類回路９５は、ブロック化回路９
３からのブロックデータのレベル分布に応じたクラス分
けを行なう。このクラス分けのために、上述したよう
に、ＡＤＲＣ等のデータ圧縮を行なうことが好ましい。
クラス分類回路９５で得られたクラス情報がメモリ８７
に対して、メモリ内アドレスとして供給される。メモリ
８７は、直流分の係数データと、全ての次数の交流分の
係数データとのそれぞれと対応して複数枚の構成とさ
れ、複数枚のメモリのそれぞれが対応する係数データに
関してゲイン変換比信号を記憶する。

【００６７】係数データと対応して、複数枚のメモリを
切り換えるためのアドレスは、アドレスカウンタ８８に
より形成される。アドレスカウンタ８８は、入力端子８
９からのクロック信号をカウントし、順次変化するアド
レスを発生する。この場合、ブロック化回路８４からの
係数データと同期してアドレスが変化する。そして、複
数の種類のＨＤビデオ信号が入力端子８１に供給され、
クラス毎に最適なゲイン変換比信号が形成され、これが
メモリ８７に記憶される。

【００６８】また、ゲイン変換比の代わりに、予測され
るＤＣＴ係数の値を学習によって、求めることも可能で
ある。

【００６９】メモリ８７に格納されたゲイン変換比信号
と同一のものが図１のゲイン変換回路１０に設けられた
メモリ内に記憶されている。また、ブロック化回路２の
出力信号がクラス分類のためにゲイン変換回路１０に供
給されている。ゲイン変換回路１０において、ＤＣＴ係
数データの各成分とゲイン変換比信号とが乗じられ、ゲ
イン調整がなされる。これによって、周波数領域の高域
の補償がなされる。ここで、ゲイン変換回路１０に対し
ては、周波数領域でインパルス状成分６ｂが供給されて
いる。その理由は、若し、フラット成分をも含む種々の
成分からなる信号を変換しようとすると、非線形成分が
混入して精度が悪化し、正しいゲイン変換ができない問
題が生じるからである。同様の理由で、上述の図１２に
示す学習時においても、インパルス状の信号が使用され
る。

【００７０】以上の実施例は、ビデオ信号の解像度補
償、より具体的には、ＳＤ信号からＨＤ信号へのアップ
コンバージョンに対してこの発明を適用したものであ
る。しかしながら、これ以外の信号処理に対してこの発
明を適用することができる。例えばこの発明は、ノイズ
除去回路に対して適用することができる。

【００７１】ノイズとしては、インパルスノイズ（ホワ
イトノイズ）、ピンクノイズが一般的に存在しうる。イ
ンパルスノイズは、時間領域において、メディアンフィ
ルタを通すことによって、除去することができる。メデ
ィアンフィルタは、時間軸上で連続する３個のサンプル
データの値を比較し、中央のサンプルデータの値がその
前後のサンプルデータの値の間に存在しない時には、こ
の中央のサンプルデータをノイズと判断し、前後のサン
プルデータの中で、より近い値のデータに中央のサンプ
ルデータの値を置き換える処理を行なう（例えば実公平
３−１９０９４号公報参照）。

【００７２】時間領域のインパルス状ノイズは、このメ
ディアンフィルタで除去できる。しかしながら、時間領
域でフラットなノイズ（ピンクノイズ）を除去すること
は困難である。この発明では、メディアンフィルタを使
用した時間領域のノイズ除去の処理と合わせて、信号を
時間領域から周波数領域へ変換し、周波数領域でインパ
ルス状の成分を分離した後に、周波数領域でのノイズ除
去例えばディジタルローパスフィルタによるノイズ除去
を行なう。その結果、時間領域でフラットなノイズ成分
を除去することができる。結果として、入力ディジタル
信号中の種々のノイズを除去できる。

【００７３】なお、この発明は、解像度補償、ノイズ除
去回路に限らず、その他のディジタル信号処理に対して
適用することができる。

【００７４】

【発明の効果】上述のように、この発明は、ディジタル
情報信号を定常成分と過渡成分に分け、それぞれが適切
に表現できるように、時間領域および周波数領域におい
て別個に処理し、処理後に再び合成する。従って、時間
領域および周波数領域を２段階で行なうのと比較して、
処理時間の短縮化、ハードウエアの規模の削減、信号処
理の精度の向上等の利点を得ることができる。

【図面の簡単な説明】

【図１】この発明の一実施例の全体的なブロック図であ
る。

【図２】この発明の一実施例によりなされる解像度補償
を説明するための略線図である。

【図３】この発明の一実施例におけるクラス分類適応処
理回路の一例のブロック図である。

【図４】ＳＤ画像とＨＤ画像との間の画素の配列を示す
略線図である。

【図５】予測係数が格納されたマッピング表を作成する
ための構成の一例のブロック図である。

【図６】予測値が格納されたマッピング表を作成するた
めの構成の一例のブロック図である。

【図７】予測係数あるいは予測値を形成するための学習
時の構成の一例のブロック図である。

【図８】ＳＤ画像とＨＤ画像との間の画素の配列の他の
例を示す略線図である。

【図９】予測係数を形成するための学習時の処理を示す
フローチャートである。

【図１０】予測値を形成するための学習時の処理を示す
フローチャートである。

【図１１】周波数領域での高域補償を説明するための略
線図である。

【図１２】周波数領域での高域補償用のゲイン変換比を
学習するためのブロック図である。

【図１３】時間領域におけるインパルス状成分およびフ
ラット成分をそれぞれ示す略線図である。

【図１４】周波数領域におけるインパルス状成分および
フラット成分をそれぞれ示す略線図である。

【図１５】時間領域におけるインパルス状成分およびフ
ラット成分の両者を含む信号波形の略線図である。

【符号の説明】

１高解像度のディジタル画像信号の入力端子３ＤＣＴ回路５周波数領域でのフラット成分およびインパルス状成
分を分離する分類回路７、１１逆ＤＣＴ回路９クラス分類適応処理回路１０ゲイン変換回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 5/00 Ｇ１０Ｌ 7/06 Ｈ０４Ｎ 7/30 Ｈ０４Ｎ 7/133 Ｚ

Claims

【特許請求の範囲】

【請求項１】入力ディジタル信号を時間領域において
分析する第１の分析手段と、上記入力ディジタル信号を
周波数領域において分析する第２の分析手段との少なく
とも一方と、上記少なくとも一方からなる分析手段の出力に基づいて
上記入力ディジタル信号を分類する分類手段と、上記分類手段によって分類されたそれぞれの信号を上記
時間領域および上記周波数領域において適応的に処理す
る第１および第２の処理手段と、上記第１および第２の処理手段の出力を合成する合成手
段とからなるディジタル信号処理装置。
【請求項２】入力ディジタル信号を周波数分析するた
めの分析手段と、上記分析手段の出力から周波数領域でインパルス状の成
分とフラット成分を分離するための分離手段と、上記分離手段の出力のインパルス状成分が供給され、こ
れを周波数領域で処理するための第１の処理手段と、上記分離手段の出力のフラット成分を時間領域信号に変
換するための第１の変換手段と、上記第１の変換手段の出力を時間領域で処理するための
第２の処理手段と、上記第１の処理手段の出力を時間領域に変換するための
第２の変換手段と、上記第２の変換手段の出力と上記第２の処理手段の出力
を合成するための合成手段とからなるディジタル信号処
理装置。
【請求項３】請求項１または２に記載のディジタル信
号処理装置において、上記入力ディジタル信号がディジタルビデオ信号である
ことを特徴とする装置。
【請求項４】請求項１または２に記載のディジタル信
号処理装置において、上記周波数領域の分析手段が直交変換であることを特徴
とする装置。
【請求項５】請求項４に記載のディジタル信号処理装
置において、上記直交変換は、離散的コサイン変換であることを特徴
とする装置。
【請求項６】請求項４に記載のディジタル信号処理装
置において、上記直交変換は、高速フーリエ変換であることを特徴と
する装置。
【請求項７】請求項４に記載のディジタル信号処理装
置において、上記直交変換は、アダマール変換であることを特徴とす
る装置。
【請求項８】請求項１または２に記載のディジタル信
号処理装置において、処理手段が有限タップ数のディジタルフィルタを含むこ
とを特徴とする装置。
【請求項９】請求項１または２に記載のディジタル信
号処理装置において、処理手段がノイズ除去回路であることを特徴とする装
置。
【請求項１０】請求項９に記載のディジタル信号処理
装置において、上記ノイズ除去回路がメディアンフィルタおよびローパ
スフィルタで構成されたことを特徴とする装置。
【請求項１１】入力ディジタル信号を時間領域または
周波数領域において分析するステップと、分析結果に基づいて上記入力ディジタル信号を分類する
ステップと、分類されたそれぞれの信号を上記時間領域および上記周
波数領域において適応的に処理する第１および第２の処
理ステップと、上記第１および第２の処理ステップの結果を合成するス
テップとからなるディジタル信号処理方法。
【請求項１２】入力ディジタル信号を周波数分析する
ステップと、分析結果に基づいて周波数領域でインパルス状の成分と
フラット成分に分離するステップと、上記インパルス状成分が供給され、これを周波数領域で
処理するための第１の処理ステップと、上記フラット成分を時間領域信号に変換する第１の変換
ステップと、上記第１の変換ステップで変換された結果の信号を上記
時間領域で処理する第２の処理ステップと、上記第１の処理ステップの結果を時間領域に変換する第
２の変換ステップと、上記第２の変換ステップで変換された結果の信号と上記
第２の処理ステップの結果の信号を合成するステップと
からなるディジタル信号処理方法。