JP3674186B2 - 画像情報変換装置および方法 - Google Patents
画像情報変換装置および方法 Download PDFInfo
- Publication number
- JP3674186B2 JP3674186B2 JP27173996A JP27173996A JP3674186B2 JP 3674186 B2 JP3674186 B2 JP 3674186B2 JP 27173996 A JP27173996 A JP 27173996A JP 27173996 A JP27173996 A JP 27173996A JP 3674186 B2 JP3674186 B2 JP 3674186B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- tap
- image signal
- pixel data
- digital image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 69
- 238000000034 method Methods 0.000 title claims description 39
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007850 degeneration Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000009978 visual deterioration Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばテレビジョン受像機やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報に変換して出力するような画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテレビジョン受像機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。このハイビジョンは、いわゆるＮＴＳＣ方式に規定される走査線数５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
【０００３】
ここで、このような優れた特性を有するハイビジョンではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは規格が異なるからである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョンで表示しようとする場合、従来は、例えば図１５に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図１５において、上述した従来の画像情報変換装置は、入力端子１００を介して供給されるＮＴＳＣ方式の映像信号（ＳＤデータ）の水平方向の補間処理を行う水平補間フィルタ１０１と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ１０２とから構成されている。
【０００５】
具体的には、水平補間フィルタ１０１は、図１６に示すような構成を有している。図１６の例は、例えば縦続接続型のＦＩＲフィルタにより水平補間フィルタ１０１を構成したものである。図１６において、１１０は、ＳＤデータが供給される入力端子であり、１１１0 〜１１１m は、それぞれフィルタ係数α0 〜αm をＳＤデータに乗じる乗算器である。１１２0 〜１１２m-1 は、それぞれ加算器であり、１１３1 〜１１３m は、時間Ｔ（Ｔ：１サンプリング周期）の遅延素子である。出力端子１１４には、水平補間された出力データが得られる。この出力データが垂直補間フィルタ１０２へ供給される。
【０００６】
垂直補間フィルタ１０２は、水平補間フィルタ１０１と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このように変換のなされたハイビジョンの映像信号（ＨＤデータ）は、ハイビジョン受像機に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像機で表示することができる。
【０００７】
しかしながら、上述の従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向および垂直方向の補間を行っているにすぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間をフィールド内処理で行うのが一般的であるが、その場合、画像のフィールド間相関を使用していないため、画像静止部においては変換ロスにより、ＮＴＳＣ方式の映像信号よりもむしろ解像度が劣化する欠点があった。
【０００８】
これに対し、出願人は、特願平６−２０５９３４号の画像信号変換装置において、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する、というものを提案している。
【０００９】
この手法は、ＨＤ（High Definition ）画素を創造する場合、創造するＨＤ画素の近傍にあるＳＤ（Standard Definition ）画素データを用いてクラス分割を行い、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関、また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素値を得る、というような巧妙なものである。
【００１０】
例えば、図２および図３において示すような、ＨＤ画素ｙ1 〜ｙ4 の創造を目的とした場合、図６において示すＳＤ画素ｍ1 〜ｍ5 とＳＤ画素ｎ1 〜ｎ5 のそれぞれ空間的同一位置にある画素同士のフレーム間差分の平均値を求め、それをしきい値処理してクラス分類することにより、主に動きの程度の表現に対してクラス分類を行う。
【００１１】
同時に、図５において示すような、ＳＤ画素ｋ1 〜ｋ5 をＡＤＲＣ（Adaptive Dynamic Range Coding ）処理することにより、少ないビット数で、主に空間内の波形表現を目的としたクラス分類を行う。上述の２種類のクラス分類で決定されたクラス毎に、図７において示すようなＳＤ画素ｘ1 〜ｘ25を使用して、線形一次式をたて、予測係数値を学習により獲得する。この方式は、主に動きの程度を表すクラス分類と、主に空間内の波形を表すクラス分類とを個別に、それぞれに適した形で行うため、比較的少ないクラス数で高い変換性能を得られるという特徴がある。
【００１２】
ＨＤ画素ｙの推定演算は、上述の手順で得られた予測係数値ｗn を用いて以下のような式（１）で行われる。
【００１３】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
この例では、ｎ＝９である。
【００１４】
このように、ＳＤデータに対応するＨＤデータを推定するための予測係数値を各クラス毎に予め学習により求めた上で、ＲＯＭテーブルに格納しておき、入力されるＳＤデータおよびＲＯＭテーブルから読み出した予測係数値を出力することにより、入力されたＳＤデータを単に補間処理したものとは異なり、実際のＨＤデータにより近いデータを出力することができるという特徴がある。
【００１５】
この画像情報変換装置を図１７に示す。入力端子１２１からＳＤデータが供給され、そのＳＤデータは、領域切り出し回路１２２、１２４および１２８へ供給される。領域切り出し回路１２２では、ＡＤＲＣ回路１２３によって生成されるクラスの基となるＳＤデータが抽出される。領域切り出し回路１２４では、動きクラス決定回路１２５によって生成される動きクラスの基となるＳＤデータが抽出される。クラスコード発生回路１２６では、ＡＤＲＣ回路１２３からのクラスと、動きクラス決定回路１２５からの動きクラスとからクラスコードが発生される。
【００１６】
入力されたＳＤデータが所定の時間遅延され、領域切り出し回路１２８において、推定演算回路１２９で演算されるためのＳＤデータが抽出される。ＲＯＭテーブル１２７では、供給されたクラスコードに対応した予測係数値が読み出される。推定演算回路１２９では、領域切り出し回路１２８からのＳＤデータとＲＯＭテーブル１２７からのクラスコードによって推定演算が実行され、ＨＤデータが生成される。生成されたＨＤデータは、出力端子１３０から出力される。
【００１７】
ところで、画像情報変換装置における学習は、図１８に示すような構成により行われていた。入力端子１３１から、例えばＨＤビデオカメラの撮像出力として得られたＨＤデータが入力され、そのＨＤデータは、垂直間引きフィルタ１３２および正規方程式加算回路１４１へ供給される。垂直間引きフィルタ１３２において、フィールド内の垂直方向の走査線の周波数が１／２になるように間引き処理が行われ、水平間引きフィルタ１３３において、フィールド内の水平方向のＨＤデータが１／２になるように間引き処理が行われ、ＳＤデータが得られる。このＳＤデータは、領域切り出し回路１３４、１３６および遅延回路（ＤＬ）１３９へ供給される。
【００１８】
領域切り出し回路１３４では、ＡＤＲＣ回路１３５によって生成されるクラスの基となるＳＤデータが抽出される。領域切り出し回路１３６では、動きクラス決定回路１３７によって生成される動きクラスの基となるＳＤデータが抽出される。クラスコード発生回路１３８では、ＡＤＲＣ回路１３５からのクラスと、動きクラス決定回路１３７からの動きクラスとからクラスコードが発生される。遅延回路１３９を介して供給されたＳＤデータが領域切り出し回路１４０において、正規方程式加算回路１４１で演算されるためのＳＤデータが抽出される。正規方程式加算回路１４１では、クラス毎にＳＤデータとＨＤデータとによって、例えば１フレーム分の正規方程式加算がなされる。予測係数決定回路１４２では、その正規方程式からクラス毎に予測係数値が決定され、決定された予測係数値は、クラス毎にメモリ１４３に記憶される。
【００１９】
すなわち、入力したＨＤデータを垂直間引きフィルタ１３２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理を行い、さらに水平間引きフィルタ１３３により、ＨＤデータの水平方向の周波数が１／２になるように間引き処理を行い、ＳＤデータを得て、このＳＤデータと入力ＨＤデータの関係を学習することにより、予測係数値を得ていた。
【００２０】
ところで、実際に信号変換の対象となるＳＤデータが学習時のようにＨＤデータを間引いて得られたものとは限らない。例えば、ＨＤビデオカメラの撮像素子（ＨＤデータ）を変換する場合もある。一般的に、テレビカメラの出力信号は、レンズの解像度特性、撮像間の電子ビームのアパーチャー特性などの影響で、高い空間周波数成分ほどその出力が低下してくる。これを補正するとともに、ディスプレイ装置における空間周波数特性の高域の低下をも見込んで映像信号の輪郭を強調して送出し、見た目に鮮鋭な画像を作り出そうとするのが輪郭補正器であり、エンハンサーとも呼ばれている。
【００２１】
輪郭補正器では、一般に、コアリング、輪郭信号に対する非線形処理などの非線形処理を多く含んでいる。コアリングとは、小さな輪郭信号のほとんどがノイズ成分であると見なして、それを抑圧する処理、輪郭信号に対する非線形処理とは、小振幅の補正信号の利得は大きく、大振幅の補正信号の利得は小さくする方法が一般的である。他にも、画像の輝度により補正信号の利得を変化させたり、またＳＤデータの場合には、ＮＴＳＣエンコードをも鑑みて、補正信号を制御する場合もある。
【００２２】
【発明が解決しようとする課題】
ところで、先に提案されている画像信号変換装置においては、上述のように、輪郭補正が実施されたＨＤデータの画像信号と、それを理想フィルタによりダウンコンバートすることにより作成したＳＤデータの画像信号との間で学習を行っていた。従って、得られたＳＤデータはあくまでＨＤビデオカメラにおいて、輪郭補正が実施されたＨＤデータの画像信号をダウンコンバートして得たＳＤデータであり、特に輪郭近傍のデータの特性が、ＳＤビデオカメラで撮像したＳＤデータとは異なっていた。
【００２３】
そのため、画像信号変換装置においては、ＨＤデータからダウンコンバートして得たＳＤデータのアップコンバージョンに関しては理想的な変換が実現できたが、ＳＤビデオカメラで撮像したＳＤデータのアップコンバージョンに関しては、特に輪郭付近において必ずしも理想的な変換とはならない欠点があった。とりわけ、輝度変化がほとんどない平坦な部分に隣接して急峻なエッジがある場合など、エッジの存在により、平坦部にかなり顕著なリンギングが現れることがあり、これが視覚的に大きな劣化を引き起こす場合があった。
【００２４】
なお、エンハンサーに限らず学習時のＨＤデータをダウンコンバートしたＳＤデータと実際に変化しようとするＳＤデータとの間の信号特性の相違の違いによって、変換後の画像劣化が生じる。上述した画質劣化を防止するために推定演算のタップ数を少なくすることが考えられる。しかしながら、この方法は、信号変換の精度を低下させるため好ましくない。この信号変換の精度を上げるためにタップ数を増やすと上述したような画質劣化が生じやすくなる。
【００２５】
従って、この発明の目的は、信号変換の精度を上げつつ、しかも画質劣化を防止することができる画像情報変換装置および方法を提供することにある。
【００２６】
さらに、この発明の他の目的は、ハードウェアを軽減しても同様に、信号変換の精度を上げつつ、しかも画質劣化を防止することができる画像情報変換装置および方法を提供することにある。
【００２７】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を第２のディジタル画像信号に変換するようにした画像情報変換装置であって、第１のディジタル画像信号を、第２のディジタル画像信号に変換するための情報である推定式の係数データが記憶され、係数データを出力する係数データ記憶手段と、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在するか否かを判定する判定手段と第１のディジタル画像信号から切り出される第１のタップまたは第１のタップより長い第２のタップの画素データと、係数データとによる推定式を用いて第２のディジタル画像信号の予測値を生成する画像信号生成手段とを有し、画像信号生成手段は、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件が成立する場合には、第１のタップによる処理に切り換え、条件が成立しない場合には、第２のタップによる処理に切り換えることを特徴とする画像情報変換装置である。
【００２８】
また、請求項９に記載の発明は、第１のディジタル画像信号を第２のディジタル画像信号に変換するようにした画像情報変換方法であって、第１のディジタル画像信号を、第２のディジタル画像信号に変換するための情報である推定式の係数データを発生する係数発生ステップと、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在するか否かを判定する判定ステップと第１のディジタル画像信号から切り出される第１のタップまたは第１のタップより長い第２のタップの画素データと、係数データとの結合からなる推定式を用いて第２のディジタル画像信号の予測値を生成する生成ステップとを有し、生成ステップでは、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件が成立する場合には、第１のタップによる処理に切り換え、条件が成立しない場合には、第２のタップによる処理に切り換えることを特徴とする画像情報変換方法である。
【００３０】
上述したように、この発明は、入力ＳＤ信号から、創造すべきＨＤ画素の近傍に位置するＳＤ画素のレベル分布のパターンを検出し、この検出したパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス検出情報に応じて出力される。そして、画像情報変換手段が係数データ記憶手段から供給された画像情報よりも高い解像度の画像情報に変換する。このとき、通常の大きさのタップによる処理の他に、小さなタップで処理を行う装置を有していることになる。学習対象と特性の異なる信号源の画像を処理する場合、特に劣化の出やすい平坦部に隣接したエッジの部分の処理は、小さなタップで処理を行うことにより、学習対象と特性の異なる信号源の画像に対する変換性能を大幅に向上させている。
【００３１】
【発明の実施の形態】
以下、この発明に係る画像信号変換装置の実施例について図１を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子から外部から供給される画像信号として、例えばいわゆるＮＴＳＣ方式の映像がディジタル化され、ＳＤデータとして供給される。
【００３２】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２および図３に示すとおりとする。図２は、水平方向および垂直方向に現フィールドのＳＤ画素、前フィールドのＳＤ画素、現フィールドのＨＤ画素および前フィールドのＨＤ画素を表したものである。図３は、時間方向および垂直方向にＳＤ画素とＨＤ画素を表したものである。このように、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 、ｙ2 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ3 、ｙ4 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１、およびＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と呼ぶ。
【００３３】
領域切り出し回路２では、入力端子１より供給されたＳＤデータから、タップ選択パラメータ算出のために必要な画素を切り出す。この実施例では、例えば図４に示すように創造すべきＨＤ画素ｙ1 〜ｙ4 のフィールドと同一フィールドに位置する１７個のＳＤ画素ｔ1 〜ｔ17を切り出す。領域切り出し回路２により抽出されたＳＤデータは、タップ選択パラメータ算出回路３に供給される。
【００３４】
タップ選択パラメータ算出回路３は、後に説明する長タップ処理と短タップ処理の切り換えを行うために必要なパラメータを算出するための回路である。このパラメータは、推定しようとするＨＤデータが輝度変化がほとんどない平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件が成立するか否かを示すものである。具体的には、領域切り出し回路２より供給された同一フィールド内のＳＤデータ（ｔ1 〜ｔ17）の最大値とその最小値の差であるダイナミックレンジＤＲall と、領域切り出し回路２より供給されたＳＤデータのうち、一部のＳＤデータ（ｔ1 〜ｔ9 ）のダイナミックレンジＤＲpartial を算出し、その比ＤＲratio （＝ＤＲall ／ＤＲpartial ）を長タップ／短タップ処理を切り換えるための切換回路１５に供給する。
【００３５】
ここで、ＳＤデータｔ1 〜ｔ17は、後に説明する長タップのＳＤデータｘ1 〜ｘ25のうち、推定しようとするＨＤデータと同一フィールドの画素であり、一部のＳＤデータｔ1 〜ｔ9 は、後に説明する短タップのＳＤデータｘ1 〜ｘ15のうち、推定しようとするＨＤデータと同一フィールドの画素である。
【００３６】
一般に、長いタップを使用してＳＤデータからＨＤデータへ変換するほうが変換性能が良好な傾向にある。しかしながら、輝度変化がほとんどない平坦な部分に隣接して急峻なエッジがある場合、同じように長いタップを使用して変換処理を行うと、そのエッジの存在により、平坦部にかなり顕著なリンギングが変化後に現れることがある。この画質劣化を防止するために、ダイナミックレンジの比ＤＲratio に応じて変換処理を行うタップの長さを切り換える。また、ダイナミックレンジ以外のパラメータによって、推定しようとする画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件を満たすかどうかを判定しても良い。
【００３７】
一方、領域切り出し回路４では、入力端子１より供給されたＳＤ画像信号から、主に空間内の波形表現のためのクラス分類（以降、空間クラスと称する）に必要な画素を切り出す。この実施例では、例えば図５に示すように創造するべきＨＤ画素ｙ1 〜ｙ4 の近傍に位置する５つのＳＤ画素ｋ1 〜ｋ5 を切り出す。領域切り出し回路４により抽出されたＳＤデータは、ＡＤＲＣ回路５に供給される。
【００３８】
ＡＤＲＣ回路５は、上述の領域のＳＤデータのレベル分布のパターン化を目的として、各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行う。これにより、形成されたパターン圧縮データをクラスコード発生回路８に供給する。
【００３９】
本来、ＡＤＲＣは、ＶＴＲ向け高能率符号化用に開発された適応的量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路は、領域内のダイナミックレンジＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして以下の式（２）により、領域内の最大値MAX と最小値MIN との間を指定されたビット長で均等に分割して再量子化を行う。
【００４０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２n ／ＤＲ〕 （２）
ただし、〔 〕は切り捨て処理を意味する。
【００４１】
この実施例では、領域切り出し回路４により分離されたそれぞれ５画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 とする。
【００４２】
一方、入力端子１から供給されたＳＤ画像信号は、領域切り出し回路６にも供給される。領域切り出し回路６は、主に動きの程度を表すためのクラス分類（動きクラス）に必要な画素を切り出す働きをする。この実施例では、例えば供給されたＳＤ画像信号から、創造するべきＨＤ画素ｙ1 〜ｙ4 に対して図６に示す位置に存在する１０個のＳＤ画素ｍ1 〜ｍ5 およびｎ1 〜ｎ5 を抽出する。
【００４３】
領域切り出し回路６により切り出されたデータは、動きクラス決定回路７に供給される。動きクラス決定回路７は、供給されたＳＤデータのフレーム間差分を算出し、その絶対値の平均値をしきい値処理することにより動きの指標である動きパラメータを算出する。具体的には、動きクラス決定回路７は、以下の式（３）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。
【００４４】
【数１】
だたし、この実施例では、ｎ＝５である。
【００４５】
上述の手法で算出したＳＤデータの差分の絶対値の平均値param を、例えばＳＤデータの差分の絶対値のヒストグラムをｎ等分するように予め設定したしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classを算出する。例えば、ここでは動きクラスを４つ設けることとして、ＳＤデータの差分の絶対値の平均値param ≦２の場合、動きクラスmv-classを０と決定し、平均値param ≦４の場合、動きクラスmv-classを１と決定し、平均値param ≦８の場合、動きクラスmv-classを２と決定し、平均値param ＞８の場合、動きクラスmv-classを３と決定する。このように決定された動きクラスmv-classがクラスコード発生回路８へ供給される。
【００４６】
クラスコード発生回路８は、ＡＤＲＣ回路５から供給されるパターン圧縮データ（空間クラス）、および動きクラス決定回路７から供給される動きクラスmv-classに基づいて以下の式（４）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル９および１０へ供給する。このクラスコードclass は、ＲＯＭテーブル９および１０からの読み出しアドレスを示すものとなっている。
【００４７】
【数２】
この実施例では、ｎ＝５、ｐ＝２である。
【００４８】
ＲＯＭテーブル９および１０には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤデータに変換するための情報である。この実施例においては、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル９および１０に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル９および１０からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi （class ）が読み出される。この係数データは、推定演算回路１３および１４へ供給される。
【００４９】
一方、入力ＳＤデータは、領域切り出し回路１１および１２にも供給される。領域切り出し回路１１は、入力ＳＤデータから図７に示すような位置にある、推定演算に使用する２５個のＳＤデータｘ1 〜ｘ25を切り出す。領域切り出し回路１１の出力信号は、推定演算回路１３に供給される。推定演算回路１３は、領域切り出し回路１１から供給されるＳＤデータ、ＲＯＭテーブル９から供給される係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００５０】
より具体的には、推定演算回路１３は、領域切り出し回路１１から供給されるＳＤデータであるｘ1 〜ｘ25とＲＯＭテーブル９より供給された係数データであるｗ1 〜ｗ25により、それぞれ式（５）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータｈｄ´を算出する。ＳＤデータｘ1 〜ｘ25は、ＳＤデータに関して設定された第２のタップ（長タップ）の出力データがある。このとき、モード１に関してはブロック１用の係数を用いて、モード２に関してはブロック２用の係数を用いて、係数データであるｗi （class ）に基づいて、演算が行われる。作成されたＨＤデータは、切換回路１５に供給される。
【００５１】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗ25ｘ25 （５）
【００５２】
一方、領域切り出し回路１２は、入力ＳＤデータから図８に示すような位置にある、推定演算に使用する１５個のＳＤデータｘ1 〜ｘ15を切り出す。すなわち、ＳＤデータｘ1 〜ｘ15は、ＳＤデータに関して設定された第１のタップ（短タップ）の出力データである。領域切り出し回路１２の出力信号（タップ出力）は、推定演算回路１４に供給される。推定演算回路１４は、領域切り出し回路１２から供給されるＳＤデータ、ＲＯＭテーブル１０から供給される係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００５３】
より具体的には、推定演算回路１４は、領域切り出し回路１２から供給されるＳＤデータであるｘ1 〜ｘ15とＲＯＭテーブル１０より供給された係数データであるｗ1 〜ｗ15により、それぞれ式（６）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータｈｄ´を算出する。このとき、モード１に関してはブロック１用の係数を用いて、モード２に関してはブロック２用の係数を用いて、係数データであるｗi （class ）に基づいて、演算が行われる。作成されたＨＤデータは、切換回路１５に供給される。
【００５４】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗ15ｘ15 （６）
【００５５】
切換回路１５では、タップ選択パラメータ算出回路３より供給されたＤＲratio （＝ＤＲall ／ＤＲpartial ）に基づきＤＲratio が予め設定されたしきい値（例えば、４）より小さい場合は、推定演算回路１３の出力を選択するようにスイッチングが行われ、それ以外の場合は、推定演算回路１４の出力を選択するようにスイッチングが行われる。
【００５６】
切換回路１５の出力は、出力端子１６を介して出力される。この出力端子１６を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像機やＨＤビデオテープレコーダ装置等に供給される。
【００５７】
以上のように、この発明の最大の特徴は、長いタップ（この実施例では２５タップ）と、短いタップ（この実施例では１５タップ）の２種類の処理を行い、それを適応的に切り換えて出力するところに、最大の特徴がある。
【００５８】
概念的に画素データの一次元のレベル変化を図９に示す。×の位置のＨＤデータを推定しようとする場合、短タップにより推定演算されたＨＤデータを取り出すか、長タップにより推定演算されたＨＤデータを取り出すかを簡単に説明する。滑らかレベル変化を示す図９Ａのような場合、長タップにより推定されたＨＤデータが切換回路１５から取り出される。図９Ｂに示すような急峻なエッジの近傍に位置するＨＤデータを推定しようとする場合、短タップにより推定されたＨＤデータが切換回路１５から取り出される。図９Ｃに示すような急峻なエッジ上に位置するＨＤデータを推定しようとする場合、長タップにより推定されたＨＤデータが切換回路１５から取り出される。このように、切換回路１５では、タップ選択パラメータ算出回路３からのＤＲratio より、推定しようとするＨＤデータが平坦部内に位置し、且つその平坦部の近傍にエッジが存在するか否かが判定される。
【００５９】
一般的に、この発明のような画像情報変換装置の場合、処理対象画像の特性と学習対象の画像の特性が一致する場合は、長いタップで処理を行ったほうが変換性能が良好な傾向にある。ＳＤビデオカメラで撮像された画像信号をＨＤ信号に変換する場合は、処理対象画像の特性と学習対象の画像の特性が必ずしも一致しないが、それでもほとんどの部分では、長いタップで変換処理をしたほうが、変換結果は良好である。
【００６０】
しかしながら、輪郭近傍などにおいては必ずしも、良好な変化結果を得られるとは限らず、とりわけ、輝度変化がほとんどない平坦な部分に隣接して急峻なエッジがある場合など、エッジの存在により、平坦部にかなり顕著なリンギングが現れることがあり、これが視覚的に大きな劣化を引き起こす場合があり、総合的に大きな画質劣化を引き起こすことがあった。
【００６１】
この発明の画像情報変換装置においては、輝度変化があまりない平坦な部分に隣接してエッジがある場合には、短いタップで画像情報変換処理を行い、それ以外の場合には、長いタップで画像情報変化処理を行うことにより上述した問題点を大幅に改善し、処理対象画像の特性と学習対象の画像の特性が多少異なる場合でも、良好な変換結果を得ることができる。
【００６２】
続いて、ＲＯＭテーブル９および１０に格納される係数データの作成方法について、図１０を用いて説明する。係数データを学習によって得るためには、まず既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。まず、入力端子２１を介してＨＤデータが供給され、そのＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素が間引き処理される。
【００６３】
このように、作成されたＳＤデータは、領域切り出し回路２４、２６および２８、さらに長タップ／短タップ処理を切り換えるための切換回路３１に供給される。また、入力端子２１より供給されたＨＤデータは、正規方程式加算回路３３および３７に供給される。
【００６４】
領域切り出し回路２４では、水平間引きフィルタ２３より供給されたＳＤデータから、タップ選択パラメータ算出のために必要な画素が切り出される。これは、すでに説明した領域切り出し回路２と全く同じものである。領域切り出し回路２４により抽出されたＳＤデータは、タップ選択パラメータ算出回路２５に供給される。
【００６５】
タップ選択パラメータ算出回路２５は、長タップ処理と短タップ処理の切り換えを行うために必要なパラメータを算出するための回路であり、すでに説明したタップ選択パラメータ算出回路３と同様の働きをする。タップ選択パラメータ算出回路３で算出されたＤＲratio は、切換回路３１に供給される。
【００６６】
一方、領域切り出し回路２６では、空間クラス分類を行うために、供給されたＳＤデータから必要な画素が切り出される。具体的には、領域切り出し回路２６は、先に説明した領域切り出し回路４と同一の働きをする。切り出されたＳＤデータは、ＡＤＲＣ回路２７に供給される。
【００６７】
ＡＤＲＣ回路２７は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路３０に供給する。ＡＤＲＣ回路２７は、先に説明したＡＤＲＣ回路５と同一のものである。
【００６８】
一方、領域切り出し回路２８に供給されたＳＤ画像信号は、動きクラス分類のために必要なデータ切り出しが行われる。具体的には、領域切り出し回路２８は、先に説明した領域切り出し回路６と同一の働きをするものである。領域切り出し回路２８により切り出されたＳＤデータは、動きクラス決定回路２９へ供給される。動きクラス決定回路２９は具体的には、先に説明した動きクラス決定回路７と同一の働きをするものである。動きクラス決定回路２９で決定された動きクラスmv-classは、クラスコード発生回路３０に供給される。
【００６９】
クラスコード発生回路３０は、先に説明したクラスコード発生回路８と同一のものであり、ＡＤＲＣ回路２７から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路２９から供給された動きクラスmv-classに基づいて上述した式（４）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass を出力するものである。クラスコード発生回路３０は、クラスコードclass を正規方程式加算回路３３および３７へ出力する。
【００７０】
一方、水平間引きフィルタ２３からのＳＤ信号は、切換回路３１に供給され、切換回路３１では、タップ選択パラメータ算出回路２５から供給されるダイナミックレンジの比ＤＲratio に基づき、領域切り出し回路３２または３６が選択される。具体的には、ダイナミックレンジの比ＤＲratio が予め設定されたしきい値（例えば、４）より小さい場合は、領域切り出し回路３２が選択され、しきい値より大きい場合は、領域切り出し回路３６が選択され、選択された領域切り出し回路３２または３６へＳＤ信号が供給される。
【００７１】
領域切り出し回路３２は、正規方程式加算に使用するＳＤデータを切り出す。領域切り出し回路３２は具体的には、先に説明した領域切り出し回路１１と同一のものであり、正規方程式加算に必要なＳＤデータを切り出す働きをする。領域切り出し回路３２の出力は、正規方程式加算回路３３に供給される。
【００７２】
一方、領域切り出し回路３６も正規方程式加算に使用するＳＤデータを切り出す。領域切り出し回路３６は具体的には、先に説明した領域切り出し回路１２と同一のものであり、正規方程式加算に必要なＳＤデータを切り出す働きをする。領域切り出し回路３６の出力は、正規方程式加算回路３７に供給される。
【００７３】
ここで、正規方程式加算回路３３および３７の説明のために、複数個のＳＤデータからＨＤデータへの変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれｘ1 、ｘ2 、・・・ｘn として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ1 、ｑ2 、・・・ｑn とする。このとき、この領域のクラスコードclass を式（４）で定義する。
【００７４】
上述のように、ＳＤ画素レベルをそれぞれｘ1 、ｘ2 、・・・ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、ｗ2 、・・・ｗn によるｎタップの線形推定式を設定する。これを上述した式（１）に示す。学習前は、ｗi が未定係数である。
【００７５】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（１）にしたがって、以下に示す式（７）が設定される。
【００７６】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn （７）
（ｋ＝１，２，・・・，ｍ）
【００７７】
ｍ＞ｎの場合は、ｗ1 、ｗ2 、・・・、ｗn は一意に決まらないので、誤差ベクトルｅの要素を式（８）で定義して、式（９）を最小にする係数データを求める。いわゆる最小自乗法による解法である。
【００７８】
ｅk ＝ｙk −〔ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn〕 （８）
（ｋ＝１，２，・・・，ｍ）
【００７９】
【数３】
【００８０】
ここで、式（９）のｗi による微分係数を求める。それは以下の式（１０）を０にするように、各ｗi を求めればよい。
【００８１】
【数４】
【００８２】
以下、式（１１）および式（１２）のように、ＸjiＹi を定義すると、式（１０）は、行列を用いて式（１３）に書き換えられる。
【００８３】
【数５】
【００８４】
【数６】
【００８５】
【数７】
【００８６】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路３３および３７は、クラスコード発生回路３０から供給されたクラスコードclass 、領域切り出し回路３２からのＳＤデータｘ1 、ｘ2 、・・・ｘ25および領域切り出し回路３６からのＳＤデータｘ1 、ｘ2 、・・・、ｘ15が入力端子２１より供給されたＳＤデータに対応するＨＤデータｙを用いて、この正規方程式加算を実行する。
【００８７】
全てのトレーニングデータの入力が終了した後、正規方程式加算回路３３は、予測係数決定回路３４に正規方程式データを出力する。予測係数決定回路３４は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き、係数データ（予測係数値）を算出する。予測係数決定回路３４は、算出された係数データをメモリ３５に書き込む。
【００８８】
同様に、全てのトレーニングデータの入力が終了した後、正規方程式加算回路３７は、予測係数決定回路３８に正規方程式データを出力する。予測係数決定回路３８は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi につてい解き、係数データを算出する。予測係数決定回路３８は、算出された予測係数メモリ３９に書き込む。
【００８９】
以上のようにトレーニングを行った結果、メモリ３５には、長タップ（この実施例においては２５タップ）を使う場合のクラス毎に注目ＨＤデータｙを推定するための、統計的に最も真値に近い推定ができる係数データが格納される。このメモリ３５に格納されたテーブルが、上述のように、この発明の画像信号変換装置において使用されるＲＯＭテーブル９である。
【００９０】
同様にメモリ３９には、短タップ（この実施例においては１５タップ）を使う場合のクラス毎に注目ＨＤデータｙを推定するための、統計的に最も真値に近い推定ができる係数データが格納される。このメモリ３９に格納されたテーブルが、上述のように、この発明の画像信号変換装置において使用されるＲＯＭテーブル１０である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００９１】
上述したこの一実施例における推定演算回路１３および１４の周辺の回路図を図１１に示す。アドレスコントロール回路４１は、クラスコード発生回路８に対応し、係数メモリ４３は、ＲＯＭテーブル９に対応し、積和機４４は、推定演算回路１３に対応し、乗数メモリ４６は、ＲＯＭテーブル１０に対応し、積和機４７は、推定演算回路１４に対応し、ＭＵＸ（マルチプレクサ）４８は、切換回路１５に対応する。さらに、長タップ被乗数レジスタ４２は、領域切り出し回路１１の出力を保持し、短タップ被乗数レジスタ４５は、領域切り出し回路１２の出力を保持するものである。
【００９２】
すなわち、図１１は、長タップおよび短タップを切り換えて使用可能な構成を示す。長タップ被乗数レジスタ４２からＮタップ（例えば、２５タップ）の画素データが積和器４４へ供給される。その画素データに対応する係数データがアドレスコントロール回路４１からのクラスコードclass によって乗数メモリ４３から読み出され、読み出された２５個の係数データは、乗数メモリ４３から積和器４４へ供給される。積和器４４では、式（５）に示すように対応する画素データと係数データとが積和演算され、その積和出力、すなわちＨＤデータは、ＭＵＸ（マルチプレクサ）４８へ供給される。
【００９３】
短タップ被乗数レジスタ４５からＭタップ（例えば、１５タップ）の画素データが積和器４７へ供給される。その画素データに対応する係数データがアドレスコントロール回路４１からのクラスコードclass によって乗数メモリ４６から読み出され、読み出された１５個の係数データは、乗数メモリ４６から積和器４７へ供給される。積和器４７では、式（６）に示すように対応する画素データと係数データとが積和演算され、その積和出力、すなわちＨＤデータは、ＭＵＸ４８へ供給される。ＭＵＸ４８では、長タップからのＨＤデータおよび短タップからのＨＤデータとを外部から供給される切換信号、上述したＤＲratio （＝ＤＲall ／ＤＲpartial ）によって、切り換えられ出力端子４９から選択されたＨＤデータが出力される。
【００９４】
ここで、式（５）および式（６）で示すように、積和器４４と４７の違いは、タップ数が異なるのみであり、図１２に示すように、長タップ用の積和器４４のみを使用することで短タップの積和演算も行うことができる。乗数メモリ５１は、ＲＯＭテーブル９および１０に対応し、ＭＵＸ５２は、切換器１５に対応するものである。
【００９５】
長タップ被乗数レジスタ４２から２５タップの画素データがＭＵＸ５２に供給され、同様に短タップ被乗数レジスタ４５から１５タップの画素データがＭＵＸ５２に供給される。ＭＵＸ５２では、外部からの切換信号であるＤＲratio （＝ＤＲall ／ＤＲpartial ）によって、長タップ被乗数レジスタ４２からの画素データと短タップ被乗数レジスタ４５からの画素データとが切り換えられる。ＭＵＸ５２から選択された画素データは、積和器４４へ供給される。
【００９６】
アドレスコントロール回路４１からＭＵＸ５２によって選択された画素データに対応するクラスコードclass が乗数メモリ５１へ供給される。乗数メモリ５１では、外部からの切換信号であるＤＲratio と供給されたクラスコードclass に基づいて係数データが読み出され、読み出された係数データは、積和器４４へ供給される。積和器４４では、上述したように積和演算が行われ、積和演算の結果、ＨＤデータが得られる。そのＨＤデータは、出力端子５３から出力される。
【００９７】
このように、図１２の回路と図１１の回路を比べると、積和器を１つとすることができ、ハードウェアがかなり軽減できる。そこで、図１３に示すように、ハードウェアをさらに軽減するために、使用される積和器を長タップ用の積和器４４から短タップ用の積和器４７へ変更する。長／短タップ判定回路６３は、クラスコード発生回路８に対応し、乗数メモリ６４は、ＲＯＭテーブル９および１０に対応し、ＭＵＸ６７は、切換器１５に対応するものである。
【００９８】
アドレスコントロール回路４１では、対応する画素データのクラスコードclass がコントロールメモリ６１および乗数メモリ６４へ供給される。コントロールメモリ６１は、供給されたクラスコードclass に基づいてタップ縮退演算回路６２を制御する。そのタップ縮退演算回路６２では、長タップ被乗数レジスタ４２からのＮタップの画素データがＬタップの画素データへ縮退され、ＭＵＸ６７へ供給される。このとき、Ｎタップ≧Ｌタップの関係が成立し、一例として、上述の一実施例では、Ｎ＝２５、Ｌ＝１５である。短タップ被乗数レジスタ４５からＭタップ（例えば、１５タップ）の画素データがＭＵＸ６７へ供給される。
【００９９】
長／短タップ判定回路６３によって、長タップの画素データを使用するか、短タップの画素データを使用するかが判定され、その判定結果は、ＭＵＸ６７および乗数メモリ６４へ供給される。長／短タップ判定回路６３から出力される判定結果は、上述したタップ選択パラメータ算出回路３から出力されるＤＲratio と同様のものである。ＭＵＸ６７では、長／短タップ判定回路６３からの判定結果を切換信号として、タップ縮退演算回路６２からの画素データか、短タップ被乗数レジスタ４５からの画素データかが選択される。選択された画素データは、ＭＵＸ６７から積和器４７へ供給される。
【０１００】
乗数メモリ６４では、アドレスコントロール４１からのクラスコードclass と、長／短タップ判定回路６３からの判定結果とから係数データが選択される。選択された係数データは、乗数メモリ６４から積和器４７へ供給される。積和器４７では、上述した式（６）に基づいて積和演算が行われ、その積和出力、すなわちＨＤデータは、出力端子６６から出力される。
【０１０１】
ここで、タップ縮退演算回路６２で行われるＮタップからＬタップへの縮退を簡単に説明する。まず、Ｎタップの画素データに絶対値化が施される。絶対値化が施されたＮタップの画素データから平均値および最大値が求められ、さらに０が仮の代表値Ａとして設定される。
【０１０２】
仮の代表値Ａ毎にＮタップの画素データは、グループに分けられる。分けられたグループ毎に画素データの平均値が求められ、求められた平均値を仮の代表値Ｂとして設定する。このとき、０は、常に変動しないものとする。仮の代表値ＢがＬと等しいか否かが判断され、等しくないと判断された場合、仮の代表値Ｂに基づいて、絶対値化されたＮタップの画素データは、再びグループに分けられる。仮の代表値Ｂとグループ内の画素データとの誤差を算出し、最大誤差となるグループの仮の代表値Ｂに対して±０．０００１を加算し、２つに分ける。この２つに分けたものと、最大誤差とならなかった仮の代表値Ｂとを仮の代表値Ａとして再設定する。この処理が仮の代表値ＢがＬと等しくなるまで繰り返される。
【０１０３】
また、仮の代表値ＢがＬと等しいか否かが判断されたとき、等しいと判断された場合、仮の代表値ＢがＬタップへ縮退された画素データとなる。
【０１０４】
次に、図１４に示す回路図を用いて、長／短タップ判定回路６３を詳細に説明する。長タップ判定エリアレジスタ７１では、入力データから長タップのエリアに含まれる画素データの判定が行われる。長タップのエリアに含まれる画素データが選択されるとその画素データは、長タップ判定エリアレジスタ７１からダイナミックレンジ演算回路７２へ供給される。ダイナミックレンジ演算回路７２では、供給された画素データからダイナミックレンジが演算され、演算されたダイナミックレンジは、レジスタ７３を介して比較器７９へ供給される。
【０１０５】
短タップ判定エリアレジスタ７４では、入力データから短タップのエリアに含まれる画素データの判定が行われる。短タップのエリアに含まれる画素データが選択されるとその画素データは、短タップ判定エリアレジスタ７４からダイナミックレンジ演算回路７５へ供給される。ダイナミックレンジ演算回路７５では、供給された画素データからダイナミックレンジが求められ、そのダイナミックレンジは、乗算器７７へ供給される。乗算器７７では、ダイナミックレンジと、レジスタ７６を介して予め設定されたしきい値ＴＨとが掛け合わされる。その乗算結果は、レジスタ７８を介して比較器７９へ供給される。
【０１０６】
比較器７９では、長タップ用のダイナミックレンジと、しきい値ＴＨと掛け合わされた短タップ用のダイナミックレンジとが式（１４）に示すように、比較される。その比較結果は、出力端子８０から出力される。この式（１４）に示す、長タップＤＲは、上述したＤＲall とは異なり、図７に示すＳＤデータｘ1 〜ｘ25と同様のものであり、短タップＤＲは、上述したＤＲpartial とは異なり、図８に示すＳＤデータｘ1 〜ｘ15と同様のものである。
【０１０７】
長タップＤＲ≧ＴＨ×短タップＤＲ （１４）
【０１０８】
すなわち、しきい値ＴＨは、予め設定された設定レジスタの値を短タップ用のダイナミックレンジに乗算し、長タップ用のダイナミックレンジとコンパレートがなされる。
【０１０９】
なお、上述の実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いても良い。
【０１１０】
なお、上述した実施例の説明では、動きパラメータを算出するために、ＳＤ画素データのフレーム間差分を算出し、その絶対値の平均値をしきい値処理を行っているが、必ずしもこの手法でなくても良く、例えば時間差分を空間差分で割ることによって、正規化したデータを算出し、さらにその正規化したデータに対してしきい値処理を行うことで動きパラメータとすることも可能である。
【０１１１】
【発明の効果】
この発明に依れば、長タップの推定演算によって、画素データを予測するので、予測の精度を向上できる。然も、長タップの推定演算を行う場合、画質劣化が生じやすい、輝度変化のほとんどない平坦部に隣接したエッジ部では、短タップを用いた推定演算を行うことにより画質劣化を防止することができ、画像に対する変換性能を大幅に向上させることができる。
【０１１２】
また、この発明に依れば、タップ数の異なる複数の入力を持つ積和演算回路において、従来のように最もタップ数の多いデータに必要なタップ数が乗算器の入力に必要ないため、乗数メモリと積和器のハード規模が大幅に削除され、全体のハード規模は縮小することができる。しかも、タップ縮退演算回路の効果により、長タップの性能は、あまり劣化させず、画質に最適なフィルタ演算を行うことができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例のブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図３】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図４】タップ選択パラメータ算出回路に使用するデータを説明するための略線図である。
【図５】空間クラス分類に使用するデータを説明するための略線図である。
【図６】動きクラス分類に使用するデータを説明するための略線図である。
【図７】長タップ処理用の推定演算に使用する画素を説明するための略線図である。
【図８】短タップ処理用の推定演算に使用する画素を説明するための略線図である。
【図９】この発明に係る切換回路の説明に使用する略線図である。
【図１０】この発明に係る補正テーブルを作成する時の一実施例のブロック図である。
【図１１】長／短タップ積和演算回路の一例である。
【図１２】長／短タップ積和演算回路の一例である。
【図１３】この発明の長／短タップ積和演算回路の一実施例である。
【図１４】この発明に係る長／短タップ判定回路の一実施例の回路図である。
【図１５】従来の画像情報変換装置の回路図である。
【図１６】従来の画像情報変換装置の要部の回路図である。
【図１７】従来の画像変換装置のブロック図である。
【図１８】従来の画像変換装置に係る補正テーブルを作成する時のブロック図である。
【符号の説明】
２、４、６、１１、１２・・・領域切り出し回路、３・・・タップ選択パラメータ算出回路、５・・・ＡＤＲＣ回路、７・・・動きクラス決定回路、８・・・クラスコード発生回路、９、１０・・・ＲＯＭテーブル、１３、１４・・・推定演算回路、１５・・・切換回路
【発明の属する技術分野】
この発明は、例えばテレビジョン受像機やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報に変換して出力するような画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテレビジョン受像機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。このハイビジョンは、いわゆるＮＴＳＣ方式に規定される走査線数５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
【０００３】
ここで、このような優れた特性を有するハイビジョンではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは規格が異なるからである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョンで表示しようとする場合、従来は、例えば図１５に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図１５において、上述した従来の画像情報変換装置は、入力端子１００を介して供給されるＮＴＳＣ方式の映像信号（ＳＤデータ）の水平方向の補間処理を行う水平補間フィルタ１０１と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ１０２とから構成されている。
【０００５】
具体的には、水平補間フィルタ１０１は、図１６に示すような構成を有している。図１６の例は、例えば縦続接続型のＦＩＲフィルタにより水平補間フィルタ１０１を構成したものである。図１６において、１１０は、ＳＤデータが供給される入力端子であり、１１１0 〜１１１m は、それぞれフィルタ係数α0 〜αm をＳＤデータに乗じる乗算器である。１１２0 〜１１２m-1 は、それぞれ加算器であり、１１３1 〜１１３m は、時間Ｔ（Ｔ：１サンプリング周期）の遅延素子である。出力端子１１４には、水平補間された出力データが得られる。この出力データが垂直補間フィルタ１０２へ供給される。
【０００６】
垂直補間フィルタ１０２は、水平補間フィルタ１０１と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このように変換のなされたハイビジョンの映像信号（ＨＤデータ）は、ハイビジョン受像機に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像機で表示することができる。
【０００７】
しかしながら、上述の従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向および垂直方向の補間を行っているにすぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間をフィールド内処理で行うのが一般的であるが、その場合、画像のフィールド間相関を使用していないため、画像静止部においては変換ロスにより、ＮＴＳＣ方式の映像信号よりもむしろ解像度が劣化する欠点があった。
【０００８】
これに対し、出願人は、特願平６−２０５９３４号の画像信号変換装置において、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する、というものを提案している。
【０００９】
この手法は、ＨＤ（High Definition ）画素を創造する場合、創造するＨＤ画素の近傍にあるＳＤ（Standard Definition ）画素データを用いてクラス分割を行い、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関、また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素値を得る、というような巧妙なものである。
【００１０】
例えば、図２および図３において示すような、ＨＤ画素ｙ1 〜ｙ4 の創造を目的とした場合、図６において示すＳＤ画素ｍ1 〜ｍ5 とＳＤ画素ｎ1 〜ｎ5 のそれぞれ空間的同一位置にある画素同士のフレーム間差分の平均値を求め、それをしきい値処理してクラス分類することにより、主に動きの程度の表現に対してクラス分類を行う。
【００１１】
同時に、図５において示すような、ＳＤ画素ｋ1 〜ｋ5 をＡＤＲＣ（Adaptive Dynamic Range Coding ）処理することにより、少ないビット数で、主に空間内の波形表現を目的としたクラス分類を行う。上述の２種類のクラス分類で決定されたクラス毎に、図７において示すようなＳＤ画素ｘ1 〜ｘ25を使用して、線形一次式をたて、予測係数値を学習により獲得する。この方式は、主に動きの程度を表すクラス分類と、主に空間内の波形を表すクラス分類とを個別に、それぞれに適した形で行うため、比較的少ないクラス数で高い変換性能を得られるという特徴がある。
【００１２】
ＨＤ画素ｙの推定演算は、上述の手順で得られた予測係数値ｗn を用いて以下のような式（１）で行われる。
【００１３】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
この例では、ｎ＝９である。
【００１４】
このように、ＳＤデータに対応するＨＤデータを推定するための予測係数値を各クラス毎に予め学習により求めた上で、ＲＯＭテーブルに格納しておき、入力されるＳＤデータおよびＲＯＭテーブルから読み出した予測係数値を出力することにより、入力されたＳＤデータを単に補間処理したものとは異なり、実際のＨＤデータにより近いデータを出力することができるという特徴がある。
【００１５】
この画像情報変換装置を図１７に示す。入力端子１２１からＳＤデータが供給され、そのＳＤデータは、領域切り出し回路１２２、１２４および１２８へ供給される。領域切り出し回路１２２では、ＡＤＲＣ回路１２３によって生成されるクラスの基となるＳＤデータが抽出される。領域切り出し回路１２４では、動きクラス決定回路１２５によって生成される動きクラスの基となるＳＤデータが抽出される。クラスコード発生回路１２６では、ＡＤＲＣ回路１２３からのクラスと、動きクラス決定回路１２５からの動きクラスとからクラスコードが発生される。
【００１６】
入力されたＳＤデータが所定の時間遅延され、領域切り出し回路１２８において、推定演算回路１２９で演算されるためのＳＤデータが抽出される。ＲＯＭテーブル１２７では、供給されたクラスコードに対応した予測係数値が読み出される。推定演算回路１２９では、領域切り出し回路１２８からのＳＤデータとＲＯＭテーブル１２７からのクラスコードによって推定演算が実行され、ＨＤデータが生成される。生成されたＨＤデータは、出力端子１３０から出力される。
【００１７】
ところで、画像情報変換装置における学習は、図１８に示すような構成により行われていた。入力端子１３１から、例えばＨＤビデオカメラの撮像出力として得られたＨＤデータが入力され、そのＨＤデータは、垂直間引きフィルタ１３２および正規方程式加算回路１４１へ供給される。垂直間引きフィルタ１３２において、フィールド内の垂直方向の走査線の周波数が１／２になるように間引き処理が行われ、水平間引きフィルタ１３３において、フィールド内の水平方向のＨＤデータが１／２になるように間引き処理が行われ、ＳＤデータが得られる。このＳＤデータは、領域切り出し回路１３４、１３６および遅延回路（ＤＬ）１３９へ供給される。
【００１８】
領域切り出し回路１３４では、ＡＤＲＣ回路１３５によって生成されるクラスの基となるＳＤデータが抽出される。領域切り出し回路１３６では、動きクラス決定回路１３７によって生成される動きクラスの基となるＳＤデータが抽出される。クラスコード発生回路１３８では、ＡＤＲＣ回路１３５からのクラスと、動きクラス決定回路１３７からの動きクラスとからクラスコードが発生される。遅延回路１３９を介して供給されたＳＤデータが領域切り出し回路１４０において、正規方程式加算回路１４１で演算されるためのＳＤデータが抽出される。正規方程式加算回路１４１では、クラス毎にＳＤデータとＨＤデータとによって、例えば１フレーム分の正規方程式加算がなされる。予測係数決定回路１４２では、その正規方程式からクラス毎に予測係数値が決定され、決定された予測係数値は、クラス毎にメモリ１４３に記憶される。
【００１９】
すなわち、入力したＨＤデータを垂直間引きフィルタ１３２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理を行い、さらに水平間引きフィルタ１３３により、ＨＤデータの水平方向の周波数が１／２になるように間引き処理を行い、ＳＤデータを得て、このＳＤデータと入力ＨＤデータの関係を学習することにより、予測係数値を得ていた。
【００２０】
ところで、実際に信号変換の対象となるＳＤデータが学習時のようにＨＤデータを間引いて得られたものとは限らない。例えば、ＨＤビデオカメラの撮像素子（ＨＤデータ）を変換する場合もある。一般的に、テレビカメラの出力信号は、レンズの解像度特性、撮像間の電子ビームのアパーチャー特性などの影響で、高い空間周波数成分ほどその出力が低下してくる。これを補正するとともに、ディスプレイ装置における空間周波数特性の高域の低下をも見込んで映像信号の輪郭を強調して送出し、見た目に鮮鋭な画像を作り出そうとするのが輪郭補正器であり、エンハンサーとも呼ばれている。
【００２１】
輪郭補正器では、一般に、コアリング、輪郭信号に対する非線形処理などの非線形処理を多く含んでいる。コアリングとは、小さな輪郭信号のほとんどがノイズ成分であると見なして、それを抑圧する処理、輪郭信号に対する非線形処理とは、小振幅の補正信号の利得は大きく、大振幅の補正信号の利得は小さくする方法が一般的である。他にも、画像の輝度により補正信号の利得を変化させたり、またＳＤデータの場合には、ＮＴＳＣエンコードをも鑑みて、補正信号を制御する場合もある。
【００２２】
【発明が解決しようとする課題】
ところで、先に提案されている画像信号変換装置においては、上述のように、輪郭補正が実施されたＨＤデータの画像信号と、それを理想フィルタによりダウンコンバートすることにより作成したＳＤデータの画像信号との間で学習を行っていた。従って、得られたＳＤデータはあくまでＨＤビデオカメラにおいて、輪郭補正が実施されたＨＤデータの画像信号をダウンコンバートして得たＳＤデータであり、特に輪郭近傍のデータの特性が、ＳＤビデオカメラで撮像したＳＤデータとは異なっていた。
【００２３】
そのため、画像信号変換装置においては、ＨＤデータからダウンコンバートして得たＳＤデータのアップコンバージョンに関しては理想的な変換が実現できたが、ＳＤビデオカメラで撮像したＳＤデータのアップコンバージョンに関しては、特に輪郭付近において必ずしも理想的な変換とはならない欠点があった。とりわけ、輝度変化がほとんどない平坦な部分に隣接して急峻なエッジがある場合など、エッジの存在により、平坦部にかなり顕著なリンギングが現れることがあり、これが視覚的に大きな劣化を引き起こす場合があった。
【００２４】
なお、エンハンサーに限らず学習時のＨＤデータをダウンコンバートしたＳＤデータと実際に変化しようとするＳＤデータとの間の信号特性の相違の違いによって、変換後の画像劣化が生じる。上述した画質劣化を防止するために推定演算のタップ数を少なくすることが考えられる。しかしながら、この方法は、信号変換の精度を低下させるため好ましくない。この信号変換の精度を上げるためにタップ数を増やすと上述したような画質劣化が生じやすくなる。
【００２５】
従って、この発明の目的は、信号変換の精度を上げつつ、しかも画質劣化を防止することができる画像情報変換装置および方法を提供することにある。
【００２６】
さらに、この発明の他の目的は、ハードウェアを軽減しても同様に、信号変換の精度を上げつつ、しかも画質劣化を防止することができる画像情報変換装置および方法を提供することにある。
【００２７】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を第２のディジタル画像信号に変換するようにした画像情報変換装置であって、第１のディジタル画像信号を、第２のディジタル画像信号に変換するための情報である推定式の係数データが記憶され、係数データを出力する係数データ記憶手段と、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在するか否かを判定する判定手段と第１のディジタル画像信号から切り出される第１のタップまたは第１のタップより長い第２のタップの画素データと、係数データとによる推定式を用いて第２のディジタル画像信号の予測値を生成する画像信号生成手段とを有し、画像信号生成手段は、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件が成立する場合には、第１のタップによる処理に切り換え、条件が成立しない場合には、第２のタップによる処理に切り換えることを特徴とする画像情報変換装置である。
【００２８】
また、請求項９に記載の発明は、第１のディジタル画像信号を第２のディジタル画像信号に変換するようにした画像情報変換方法であって、第１のディジタル画像信号を、第２のディジタル画像信号に変換するための情報である推定式の係数データを発生する係数発生ステップと、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在するか否かを判定する判定ステップと第１のディジタル画像信号から切り出される第１のタップまたは第１のタップより長い第２のタップの画素データと、係数データとの結合からなる推定式を用いて第２のディジタル画像信号の予測値を生成する生成ステップとを有し、生成ステップでは、推定しようとする第２のディジタル画像信号の画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件が成立する場合には、第１のタップによる処理に切り換え、条件が成立しない場合には、第２のタップによる処理に切り換えることを特徴とする画像情報変換方法である。
【００３０】
上述したように、この発明は、入力ＳＤ信号から、創造すべきＨＤ画素の近傍に位置するＳＤ画素のレベル分布のパターンを検出し、この検出したパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス検出情報に応じて出力される。そして、画像情報変換手段が係数データ記憶手段から供給された画像情報よりも高い解像度の画像情報に変換する。このとき、通常の大きさのタップによる処理の他に、小さなタップで処理を行う装置を有していることになる。学習対象と特性の異なる信号源の画像を処理する場合、特に劣化の出やすい平坦部に隣接したエッジの部分の処理は、小さなタップで処理を行うことにより、学習対象と特性の異なる信号源の画像に対する変換性能を大幅に向上させている。
【００３１】
【発明の実施の形態】
以下、この発明に係る画像信号変換装置の実施例について図１を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子から外部から供給される画像信号として、例えばいわゆるＮＴＳＣ方式の映像がディジタル化され、ＳＤデータとして供給される。
【００３２】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２および図３に示すとおりとする。図２は、水平方向および垂直方向に現フィールドのＳＤ画素、前フィールドのＳＤ画素、現フィールドのＨＤ画素および前フィールドのＨＤ画素を表したものである。図３は、時間方向および垂直方向にＳＤ画素とＨＤ画素を表したものである。このように、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 、ｙ2 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ3 、ｙ4 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１、およびＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と呼ぶ。
【００３３】
領域切り出し回路２では、入力端子１より供給されたＳＤデータから、タップ選択パラメータ算出のために必要な画素を切り出す。この実施例では、例えば図４に示すように創造すべきＨＤ画素ｙ1 〜ｙ4 のフィールドと同一フィールドに位置する１７個のＳＤ画素ｔ1 〜ｔ17を切り出す。領域切り出し回路２により抽出されたＳＤデータは、タップ選択パラメータ算出回路３に供給される。
【００３４】
タップ選択パラメータ算出回路３は、後に説明する長タップ処理と短タップ処理の切り換えを行うために必要なパラメータを算出するための回路である。このパラメータは、推定しようとするＨＤデータが輝度変化がほとんどない平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件が成立するか否かを示すものである。具体的には、領域切り出し回路２より供給された同一フィールド内のＳＤデータ（ｔ1 〜ｔ17）の最大値とその最小値の差であるダイナミックレンジＤＲall と、領域切り出し回路２より供給されたＳＤデータのうち、一部のＳＤデータ（ｔ1 〜ｔ9 ）のダイナミックレンジＤＲpartial を算出し、その比ＤＲratio （＝ＤＲall ／ＤＲpartial ）を長タップ／短タップ処理を切り換えるための切換回路１５に供給する。
【００３５】
ここで、ＳＤデータｔ1 〜ｔ17は、後に説明する長タップのＳＤデータｘ1 〜ｘ25のうち、推定しようとするＨＤデータと同一フィールドの画素であり、一部のＳＤデータｔ1 〜ｔ9 は、後に説明する短タップのＳＤデータｘ1 〜ｘ15のうち、推定しようとするＨＤデータと同一フィールドの画素である。
【００３６】
一般に、長いタップを使用してＳＤデータからＨＤデータへ変換するほうが変換性能が良好な傾向にある。しかしながら、輝度変化がほとんどない平坦な部分に隣接して急峻なエッジがある場合、同じように長いタップを使用して変換処理を行うと、そのエッジの存在により、平坦部にかなり顕著なリンギングが変化後に現れることがある。この画質劣化を防止するために、ダイナミックレンジの比ＤＲratio に応じて変換処理を行うタップの長さを切り換える。また、ダイナミックレンジ以外のパラメータによって、推定しようとする画素データが平坦部内に位置し、且つ平坦部の近傍にエッジが存在する条件を満たすかどうかを判定しても良い。
【００３７】
一方、領域切り出し回路４では、入力端子１より供給されたＳＤ画像信号から、主に空間内の波形表現のためのクラス分類（以降、空間クラスと称する）に必要な画素を切り出す。この実施例では、例えば図５に示すように創造するべきＨＤ画素ｙ1 〜ｙ4 の近傍に位置する５つのＳＤ画素ｋ1 〜ｋ5 を切り出す。領域切り出し回路４により抽出されたＳＤデータは、ＡＤＲＣ回路５に供給される。
【００３８】
ＡＤＲＣ回路５は、上述の領域のＳＤデータのレベル分布のパターン化を目的として、各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行う。これにより、形成されたパターン圧縮データをクラスコード発生回路８に供給する。
【００３９】
本来、ＡＤＲＣは、ＶＴＲ向け高能率符号化用に開発された適応的量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路は、領域内のダイナミックレンジＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして以下の式（２）により、領域内の最大値MAX と最小値MIN との間を指定されたビット長で均等に分割して再量子化を行う。
【００４０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２n ／ＤＲ〕 （２）
ただし、〔 〕は切り捨て処理を意味する。
【００４１】
この実施例では、領域切り出し回路４により分離されたそれぞれ５画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 とする。
【００４２】
一方、入力端子１から供給されたＳＤ画像信号は、領域切り出し回路６にも供給される。領域切り出し回路６は、主に動きの程度を表すためのクラス分類（動きクラス）に必要な画素を切り出す働きをする。この実施例では、例えば供給されたＳＤ画像信号から、創造するべきＨＤ画素ｙ1 〜ｙ4 に対して図６に示す位置に存在する１０個のＳＤ画素ｍ1 〜ｍ5 およびｎ1 〜ｎ5 を抽出する。
【００４３】
領域切り出し回路６により切り出されたデータは、動きクラス決定回路７に供給される。動きクラス決定回路７は、供給されたＳＤデータのフレーム間差分を算出し、その絶対値の平均値をしきい値処理することにより動きの指標である動きパラメータを算出する。具体的には、動きクラス決定回路７は、以下の式（３）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。
【００４４】
【数１】
【００４５】
上述の手法で算出したＳＤデータの差分の絶対値の平均値param を、例えばＳＤデータの差分の絶対値のヒストグラムをｎ等分するように予め設定したしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classを算出する。例えば、ここでは動きクラスを４つ設けることとして、ＳＤデータの差分の絶対値の平均値param ≦２の場合、動きクラスmv-classを０と決定し、平均値param ≦４の場合、動きクラスmv-classを１と決定し、平均値param ≦８の場合、動きクラスmv-classを２と決定し、平均値param ＞８の場合、動きクラスmv-classを３と決定する。このように決定された動きクラスmv-classがクラスコード発生回路８へ供給される。
【００４６】
クラスコード発生回路８は、ＡＤＲＣ回路５から供給されるパターン圧縮データ（空間クラス）、および動きクラス決定回路７から供給される動きクラスmv-classに基づいて以下の式（４）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル９および１０へ供給する。このクラスコードclass は、ＲＯＭテーブル９および１０からの読み出しアドレスを示すものとなっている。
【００４７】
【数２】
【００４８】
ＲＯＭテーブル９および１０には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤデータに変換するための情報である。この実施例においては、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル９および１０に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル９および１０からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi （class ）が読み出される。この係数データは、推定演算回路１３および１４へ供給される。
【００４９】
一方、入力ＳＤデータは、領域切り出し回路１１および１２にも供給される。領域切り出し回路１１は、入力ＳＤデータから図７に示すような位置にある、推定演算に使用する２５個のＳＤデータｘ1 〜ｘ25を切り出す。領域切り出し回路１１の出力信号は、推定演算回路１３に供給される。推定演算回路１３は、領域切り出し回路１１から供給されるＳＤデータ、ＲＯＭテーブル９から供給される係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００５０】
より具体的には、推定演算回路１３は、領域切り出し回路１１から供給されるＳＤデータであるｘ1 〜ｘ25とＲＯＭテーブル９より供給された係数データであるｗ1 〜ｗ25により、それぞれ式（５）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータｈｄ´を算出する。ＳＤデータｘ1 〜ｘ25は、ＳＤデータに関して設定された第２のタップ（長タップ）の出力データがある。このとき、モード１に関してはブロック１用の係数を用いて、モード２に関してはブロック２用の係数を用いて、係数データであるｗi （class ）に基づいて、演算が行われる。作成されたＨＤデータは、切換回路１５に供給される。
【００５１】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗ25ｘ25 （５）
【００５２】
一方、領域切り出し回路１２は、入力ＳＤデータから図８に示すような位置にある、推定演算に使用する１５個のＳＤデータｘ1 〜ｘ15を切り出す。すなわち、ＳＤデータｘ1 〜ｘ15は、ＳＤデータに関して設定された第１のタップ（短タップ）の出力データである。領域切り出し回路１２の出力信号（タップ出力）は、推定演算回路１４に供給される。推定演算回路１４は、領域切り出し回路１２から供給されるＳＤデータ、ＲＯＭテーブル１０から供給される係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００５３】
より具体的には、推定演算回路１４は、領域切り出し回路１２から供給されるＳＤデータであるｘ1 〜ｘ15とＲＯＭテーブル１０より供給された係数データであるｗ1 〜ｗ15により、それぞれ式（６）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータｈｄ´を算出する。このとき、モード１に関してはブロック１用の係数を用いて、モード２に関してはブロック２用の係数を用いて、係数データであるｗi （class ）に基づいて、演算が行われる。作成されたＨＤデータは、切換回路１５に供給される。
【００５４】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗ15ｘ15 （６）
【００５５】
切換回路１５では、タップ選択パラメータ算出回路３より供給されたＤＲratio （＝ＤＲall ／ＤＲpartial ）に基づきＤＲratio が予め設定されたしきい値（例えば、４）より小さい場合は、推定演算回路１３の出力を選択するようにスイッチングが行われ、それ以外の場合は、推定演算回路１４の出力を選択するようにスイッチングが行われる。
【００５６】
切換回路１５の出力は、出力端子１６を介して出力される。この出力端子１６を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像機やＨＤビデオテープレコーダ装置等に供給される。
【００５７】
以上のように、この発明の最大の特徴は、長いタップ（この実施例では２５タップ）と、短いタップ（この実施例では１５タップ）の２種類の処理を行い、それを適応的に切り換えて出力するところに、最大の特徴がある。
【００５８】
概念的に画素データの一次元のレベル変化を図９に示す。×の位置のＨＤデータを推定しようとする場合、短タップにより推定演算されたＨＤデータを取り出すか、長タップにより推定演算されたＨＤデータを取り出すかを簡単に説明する。滑らかレベル変化を示す図９Ａのような場合、長タップにより推定されたＨＤデータが切換回路１５から取り出される。図９Ｂに示すような急峻なエッジの近傍に位置するＨＤデータを推定しようとする場合、短タップにより推定されたＨＤデータが切換回路１５から取り出される。図９Ｃに示すような急峻なエッジ上に位置するＨＤデータを推定しようとする場合、長タップにより推定されたＨＤデータが切換回路１５から取り出される。このように、切換回路１５では、タップ選択パラメータ算出回路３からのＤＲratio より、推定しようとするＨＤデータが平坦部内に位置し、且つその平坦部の近傍にエッジが存在するか否かが判定される。
【００５９】
一般的に、この発明のような画像情報変換装置の場合、処理対象画像の特性と学習対象の画像の特性が一致する場合は、長いタップで処理を行ったほうが変換性能が良好な傾向にある。ＳＤビデオカメラで撮像された画像信号をＨＤ信号に変換する場合は、処理対象画像の特性と学習対象の画像の特性が必ずしも一致しないが、それでもほとんどの部分では、長いタップで変換処理をしたほうが、変換結果は良好である。
【００６０】
しかしながら、輪郭近傍などにおいては必ずしも、良好な変化結果を得られるとは限らず、とりわけ、輝度変化がほとんどない平坦な部分に隣接して急峻なエッジがある場合など、エッジの存在により、平坦部にかなり顕著なリンギングが現れることがあり、これが視覚的に大きな劣化を引き起こす場合があり、総合的に大きな画質劣化を引き起こすことがあった。
【００６１】
この発明の画像情報変換装置においては、輝度変化があまりない平坦な部分に隣接してエッジがある場合には、短いタップで画像情報変換処理を行い、それ以外の場合には、長いタップで画像情報変化処理を行うことにより上述した問題点を大幅に改善し、処理対象画像の特性と学習対象の画像の特性が多少異なる場合でも、良好な変換結果を得ることができる。
【００６２】
続いて、ＲＯＭテーブル９および１０に格納される係数データの作成方法について、図１０を用いて説明する。係数データを学習によって得るためには、まず既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。まず、入力端子２１を介してＨＤデータが供給され、そのＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素が間引き処理される。
【００６３】
このように、作成されたＳＤデータは、領域切り出し回路２４、２６および２８、さらに長タップ／短タップ処理を切り換えるための切換回路３１に供給される。また、入力端子２１より供給されたＨＤデータは、正規方程式加算回路３３および３７に供給される。
【００６４】
領域切り出し回路２４では、水平間引きフィルタ２３より供給されたＳＤデータから、タップ選択パラメータ算出のために必要な画素が切り出される。これは、すでに説明した領域切り出し回路２と全く同じものである。領域切り出し回路２４により抽出されたＳＤデータは、タップ選択パラメータ算出回路２５に供給される。
【００６５】
タップ選択パラメータ算出回路２５は、長タップ処理と短タップ処理の切り換えを行うために必要なパラメータを算出するための回路であり、すでに説明したタップ選択パラメータ算出回路３と同様の働きをする。タップ選択パラメータ算出回路３で算出されたＤＲratio は、切換回路３１に供給される。
【００６６】
一方、領域切り出し回路２６では、空間クラス分類を行うために、供給されたＳＤデータから必要な画素が切り出される。具体的には、領域切り出し回路２６は、先に説明した領域切り出し回路４と同一の働きをする。切り出されたＳＤデータは、ＡＤＲＣ回路２７に供給される。
【００６７】
ＡＤＲＣ回路２７は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路３０に供給する。ＡＤＲＣ回路２７は、先に説明したＡＤＲＣ回路５と同一のものである。
【００６８】
一方、領域切り出し回路２８に供給されたＳＤ画像信号は、動きクラス分類のために必要なデータ切り出しが行われる。具体的には、領域切り出し回路２８は、先に説明した領域切り出し回路６と同一の働きをするものである。領域切り出し回路２８により切り出されたＳＤデータは、動きクラス決定回路２９へ供給される。動きクラス決定回路２９は具体的には、先に説明した動きクラス決定回路７と同一の働きをするものである。動きクラス決定回路２９で決定された動きクラスmv-classは、クラスコード発生回路３０に供給される。
【００６９】
クラスコード発生回路３０は、先に説明したクラスコード発生回路８と同一のものであり、ＡＤＲＣ回路２７から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路２９から供給された動きクラスmv-classに基づいて上述した式（４）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass を出力するものである。クラスコード発生回路３０は、クラスコードclass を正規方程式加算回路３３および３７へ出力する。
【００７０】
一方、水平間引きフィルタ２３からのＳＤ信号は、切換回路３１に供給され、切換回路３１では、タップ選択パラメータ算出回路２５から供給されるダイナミックレンジの比ＤＲratio に基づき、領域切り出し回路３２または３６が選択される。具体的には、ダイナミックレンジの比ＤＲratio が予め設定されたしきい値（例えば、４）より小さい場合は、領域切り出し回路３２が選択され、しきい値より大きい場合は、領域切り出し回路３６が選択され、選択された領域切り出し回路３２または３６へＳＤ信号が供給される。
【００７１】
領域切り出し回路３２は、正規方程式加算に使用するＳＤデータを切り出す。領域切り出し回路３２は具体的には、先に説明した領域切り出し回路１１と同一のものであり、正規方程式加算に必要なＳＤデータを切り出す働きをする。領域切り出し回路３２の出力は、正規方程式加算回路３３に供給される。
【００７２】
一方、領域切り出し回路３６も正規方程式加算に使用するＳＤデータを切り出す。領域切り出し回路３６は具体的には、先に説明した領域切り出し回路１２と同一のものであり、正規方程式加算に必要なＳＤデータを切り出す働きをする。領域切り出し回路３６の出力は、正規方程式加算回路３７に供給される。
【００７３】
ここで、正規方程式加算回路３３および３７の説明のために、複数個のＳＤデータからＨＤデータへの変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれｘ1 、ｘ2 、・・・ｘn として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ1 、ｑ2 、・・・ｑn とする。このとき、この領域のクラスコードclass を式（４）で定義する。
【００７４】
上述のように、ＳＤ画素レベルをそれぞれｘ1 、ｘ2 、・・・ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、ｗ2 、・・・ｗn によるｎタップの線形推定式を設定する。これを上述した式（１）に示す。学習前は、ｗi が未定係数である。
【００７５】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（１）にしたがって、以下に示す式（７）が設定される。
【００７６】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn （７）
（ｋ＝１，２，・・・，ｍ）
【００７７】
ｍ＞ｎの場合は、ｗ1 、ｗ2 、・・・、ｗn は一意に決まらないので、誤差ベクトルｅの要素を式（８）で定義して、式（９）を最小にする係数データを求める。いわゆる最小自乗法による解法である。
【００７８】
ｅk ＝ｙk −〔ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn〕 （８）
（ｋ＝１，２，・・・，ｍ）
【００７９】
【数３】
ここで、式（９）のｗi による微分係数を求める。それは以下の式（１０）を０にするように、各ｗi を求めればよい。
【００８１】
【数４】
以下、式（１１）および式（１２）のように、ＸjiＹi を定義すると、式（１０）は、行列を用いて式（１３）に書き換えられる。
【００８３】
【数５】
【数６】
【数７】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路３３および３７は、クラスコード発生回路３０から供給されたクラスコードclass 、領域切り出し回路３２からのＳＤデータｘ1 、ｘ2 、・・・ｘ25および領域切り出し回路３６からのＳＤデータｘ1 、ｘ2 、・・・、ｘ15が入力端子２１より供給されたＳＤデータに対応するＨＤデータｙを用いて、この正規方程式加算を実行する。
【００８７】
全てのトレーニングデータの入力が終了した後、正規方程式加算回路３３は、予測係数決定回路３４に正規方程式データを出力する。予測係数決定回路３４は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き、係数データ（予測係数値）を算出する。予測係数決定回路３４は、算出された係数データをメモリ３５に書き込む。
【００８８】
同様に、全てのトレーニングデータの入力が終了した後、正規方程式加算回路３７は、予測係数決定回路３８に正規方程式データを出力する。予測係数決定回路３８は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi につてい解き、係数データを算出する。予測係数決定回路３８は、算出された予測係数メモリ３９に書き込む。
【００８９】
以上のようにトレーニングを行った結果、メモリ３５には、長タップ（この実施例においては２５タップ）を使う場合のクラス毎に注目ＨＤデータｙを推定するための、統計的に最も真値に近い推定ができる係数データが格納される。このメモリ３５に格納されたテーブルが、上述のように、この発明の画像信号変換装置において使用されるＲＯＭテーブル９である。
【００９０】
同様にメモリ３９には、短タップ（この実施例においては１５タップ）を使う場合のクラス毎に注目ＨＤデータｙを推定するための、統計的に最も真値に近い推定ができる係数データが格納される。このメモリ３９に格納されたテーブルが、上述のように、この発明の画像信号変換装置において使用されるＲＯＭテーブル１０である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００９１】
上述したこの一実施例における推定演算回路１３および１４の周辺の回路図を図１１に示す。アドレスコントロール回路４１は、クラスコード発生回路８に対応し、係数メモリ４３は、ＲＯＭテーブル９に対応し、積和機４４は、推定演算回路１３に対応し、乗数メモリ４６は、ＲＯＭテーブル１０に対応し、積和機４７は、推定演算回路１４に対応し、ＭＵＸ（マルチプレクサ）４８は、切換回路１５に対応する。さらに、長タップ被乗数レジスタ４２は、領域切り出し回路１１の出力を保持し、短タップ被乗数レジスタ４５は、領域切り出し回路１２の出力を保持するものである。
【００９２】
すなわち、図１１は、長タップおよび短タップを切り換えて使用可能な構成を示す。長タップ被乗数レジスタ４２からＮタップ（例えば、２５タップ）の画素データが積和器４４へ供給される。その画素データに対応する係数データがアドレスコントロール回路４１からのクラスコードclass によって乗数メモリ４３から読み出され、読み出された２５個の係数データは、乗数メモリ４３から積和器４４へ供給される。積和器４４では、式（５）に示すように対応する画素データと係数データとが積和演算され、その積和出力、すなわちＨＤデータは、ＭＵＸ（マルチプレクサ）４８へ供給される。
【００９３】
短タップ被乗数レジスタ４５からＭタップ（例えば、１５タップ）の画素データが積和器４７へ供給される。その画素データに対応する係数データがアドレスコントロール回路４１からのクラスコードclass によって乗数メモリ４６から読み出され、読み出された１５個の係数データは、乗数メモリ４６から積和器４７へ供給される。積和器４７では、式（６）に示すように対応する画素データと係数データとが積和演算され、その積和出力、すなわちＨＤデータは、ＭＵＸ４８へ供給される。ＭＵＸ４８では、長タップからのＨＤデータおよび短タップからのＨＤデータとを外部から供給される切換信号、上述したＤＲratio （＝ＤＲall ／ＤＲpartial ）によって、切り換えられ出力端子４９から選択されたＨＤデータが出力される。
【００９４】
ここで、式（５）および式（６）で示すように、積和器４４と４７の違いは、タップ数が異なるのみであり、図１２に示すように、長タップ用の積和器４４のみを使用することで短タップの積和演算も行うことができる。乗数メモリ５１は、ＲＯＭテーブル９および１０に対応し、ＭＵＸ５２は、切換器１５に対応するものである。
【００９５】
長タップ被乗数レジスタ４２から２５タップの画素データがＭＵＸ５２に供給され、同様に短タップ被乗数レジスタ４５から１５タップの画素データがＭＵＸ５２に供給される。ＭＵＸ５２では、外部からの切換信号であるＤＲratio （＝ＤＲall ／ＤＲpartial ）によって、長タップ被乗数レジスタ４２からの画素データと短タップ被乗数レジスタ４５からの画素データとが切り換えられる。ＭＵＸ５２から選択された画素データは、積和器４４へ供給される。
【００９６】
アドレスコントロール回路４１からＭＵＸ５２によって選択された画素データに対応するクラスコードclass が乗数メモリ５１へ供給される。乗数メモリ５１では、外部からの切換信号であるＤＲratio と供給されたクラスコードclass に基づいて係数データが読み出され、読み出された係数データは、積和器４４へ供給される。積和器４４では、上述したように積和演算が行われ、積和演算の結果、ＨＤデータが得られる。そのＨＤデータは、出力端子５３から出力される。
【００９７】
このように、図１２の回路と図１１の回路を比べると、積和器を１つとすることができ、ハードウェアがかなり軽減できる。そこで、図１３に示すように、ハードウェアをさらに軽減するために、使用される積和器を長タップ用の積和器４４から短タップ用の積和器４７へ変更する。長／短タップ判定回路６３は、クラスコード発生回路８に対応し、乗数メモリ６４は、ＲＯＭテーブル９および１０に対応し、ＭＵＸ６７は、切換器１５に対応するものである。
【００９８】
アドレスコントロール回路４１では、対応する画素データのクラスコードclass がコントロールメモリ６１および乗数メモリ６４へ供給される。コントロールメモリ６１は、供給されたクラスコードclass に基づいてタップ縮退演算回路６２を制御する。そのタップ縮退演算回路６２では、長タップ被乗数レジスタ４２からのＮタップの画素データがＬタップの画素データへ縮退され、ＭＵＸ６７へ供給される。このとき、Ｎタップ≧Ｌタップの関係が成立し、一例として、上述の一実施例では、Ｎ＝２５、Ｌ＝１５である。短タップ被乗数レジスタ４５からＭタップ（例えば、１５タップ）の画素データがＭＵＸ６７へ供給される。
【００９９】
長／短タップ判定回路６３によって、長タップの画素データを使用するか、短タップの画素データを使用するかが判定され、その判定結果は、ＭＵＸ６７および乗数メモリ６４へ供給される。長／短タップ判定回路６３から出力される判定結果は、上述したタップ選択パラメータ算出回路３から出力されるＤＲratio と同様のものである。ＭＵＸ６７では、長／短タップ判定回路６３からの判定結果を切換信号として、タップ縮退演算回路６２からの画素データか、短タップ被乗数レジスタ４５からの画素データかが選択される。選択された画素データは、ＭＵＸ６７から積和器４７へ供給される。
【０１００】
乗数メモリ６４では、アドレスコントロール４１からのクラスコードclass と、長／短タップ判定回路６３からの判定結果とから係数データが選択される。選択された係数データは、乗数メモリ６４から積和器４７へ供給される。積和器４７では、上述した式（６）に基づいて積和演算が行われ、その積和出力、すなわちＨＤデータは、出力端子６６から出力される。
【０１０１】
ここで、タップ縮退演算回路６２で行われるＮタップからＬタップへの縮退を簡単に説明する。まず、Ｎタップの画素データに絶対値化が施される。絶対値化が施されたＮタップの画素データから平均値および最大値が求められ、さらに０が仮の代表値Ａとして設定される。
【０１０２】
仮の代表値Ａ毎にＮタップの画素データは、グループに分けられる。分けられたグループ毎に画素データの平均値が求められ、求められた平均値を仮の代表値Ｂとして設定する。このとき、０は、常に変動しないものとする。仮の代表値ＢがＬと等しいか否かが判断され、等しくないと判断された場合、仮の代表値Ｂに基づいて、絶対値化されたＮタップの画素データは、再びグループに分けられる。仮の代表値Ｂとグループ内の画素データとの誤差を算出し、最大誤差となるグループの仮の代表値Ｂに対して±０．０００１を加算し、２つに分ける。この２つに分けたものと、最大誤差とならなかった仮の代表値Ｂとを仮の代表値Ａとして再設定する。この処理が仮の代表値ＢがＬと等しくなるまで繰り返される。
【０１０３】
また、仮の代表値ＢがＬと等しいか否かが判断されたとき、等しいと判断された場合、仮の代表値ＢがＬタップへ縮退された画素データとなる。
【０１０４】
次に、図１４に示す回路図を用いて、長／短タップ判定回路６３を詳細に説明する。長タップ判定エリアレジスタ７１では、入力データから長タップのエリアに含まれる画素データの判定が行われる。長タップのエリアに含まれる画素データが選択されるとその画素データは、長タップ判定エリアレジスタ７１からダイナミックレンジ演算回路７２へ供給される。ダイナミックレンジ演算回路７２では、供給された画素データからダイナミックレンジが演算され、演算されたダイナミックレンジは、レジスタ７３を介して比較器７９へ供給される。
【０１０５】
短タップ判定エリアレジスタ７４では、入力データから短タップのエリアに含まれる画素データの判定が行われる。短タップのエリアに含まれる画素データが選択されるとその画素データは、短タップ判定エリアレジスタ７４からダイナミックレンジ演算回路７５へ供給される。ダイナミックレンジ演算回路７５では、供給された画素データからダイナミックレンジが求められ、そのダイナミックレンジは、乗算器７７へ供給される。乗算器７７では、ダイナミックレンジと、レジスタ７６を介して予め設定されたしきい値ＴＨとが掛け合わされる。その乗算結果は、レジスタ７８を介して比較器７９へ供給される。
【０１０６】
比較器７９では、長タップ用のダイナミックレンジと、しきい値ＴＨと掛け合わされた短タップ用のダイナミックレンジとが式（１４）に示すように、比較される。その比較結果は、出力端子８０から出力される。この式（１４）に示す、長タップＤＲは、上述したＤＲall とは異なり、図７に示すＳＤデータｘ1 〜ｘ25と同様のものであり、短タップＤＲは、上述したＤＲpartial とは異なり、図８に示すＳＤデータｘ1 〜ｘ15と同様のものである。
【０１０７】
長タップＤＲ≧ＴＨ×短タップＤＲ （１４）
【０１０８】
すなわち、しきい値ＴＨは、予め設定された設定レジスタの値を短タップ用のダイナミックレンジに乗算し、長タップ用のダイナミックレンジとコンパレートがなされる。
【０１０９】
なお、上述の実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いても良い。
【０１１０】
なお、上述した実施例の説明では、動きパラメータを算出するために、ＳＤ画素データのフレーム間差分を算出し、その絶対値の平均値をしきい値処理を行っているが、必ずしもこの手法でなくても良く、例えば時間差分を空間差分で割ることによって、正規化したデータを算出し、さらにその正規化したデータに対してしきい値処理を行うことで動きパラメータとすることも可能である。
【０１１１】
【発明の効果】
この発明に依れば、長タップの推定演算によって、画素データを予測するので、予測の精度を向上できる。然も、長タップの推定演算を行う場合、画質劣化が生じやすい、輝度変化のほとんどない平坦部に隣接したエッジ部では、短タップを用いた推定演算を行うことにより画質劣化を防止することができ、画像に対する変換性能を大幅に向上させることができる。
【０１１２】
また、この発明に依れば、タップ数の異なる複数の入力を持つ積和演算回路において、従来のように最もタップ数の多いデータに必要なタップ数が乗算器の入力に必要ないため、乗数メモリと積和器のハード規模が大幅に削除され、全体のハード規模は縮小することができる。しかも、タップ縮退演算回路の効果により、長タップの性能は、あまり劣化させず、画質に最適なフィルタ演算を行うことができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例のブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図３】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図４】タップ選択パラメータ算出回路に使用するデータを説明するための略線図である。
【図５】空間クラス分類に使用するデータを説明するための略線図である。
【図６】動きクラス分類に使用するデータを説明するための略線図である。
【図７】長タップ処理用の推定演算に使用する画素を説明するための略線図である。
【図８】短タップ処理用の推定演算に使用する画素を説明するための略線図である。
【図９】この発明に係る切換回路の説明に使用する略線図である。
【図１０】この発明に係る補正テーブルを作成する時の一実施例のブロック図である。
【図１１】長／短タップ積和演算回路の一例である。
【図１２】長／短タップ積和演算回路の一例である。
【図１３】この発明の長／短タップ積和演算回路の一実施例である。
【図１４】この発明に係る長／短タップ判定回路の一実施例の回路図である。
【図１５】従来の画像情報変換装置の回路図である。
【図１６】従来の画像情報変換装置の要部の回路図である。
【図１７】従来の画像変換装置のブロック図である。
【図１８】従来の画像変換装置に係る補正テーブルを作成する時のブロック図である。
【符号の説明】
２、４、６、１１、１２・・・領域切り出し回路、３・・・タップ選択パラメータ算出回路、５・・・ＡＤＲＣ回路、７・・・動きクラス決定回路、８・・・クラスコード発生回路、９、１０・・・ＲＯＭテーブル、１３、１４・・・推定演算回路、１５・・・切換回路
Claims (9)
- 第１のディジタル画像信号を第２のディジタル画像信号に変換するようにした画像情報変換装置であって、
上記第１のディジタル画像信号を、上記第２のディジタル画像信号に変換するための情報である推定式の係数データが記憶され、上記係数データを出力する係数データ記憶手段と、
推定しようとする上記第２のディジタル画像信号の画素データが平坦部内に位置し、且つ上記平坦部の近傍にエッジが存在するか否かを判定する判定手段と
上記第１のディジタル画像信号から切り出される第１のタップまたは上記第１のタップより長い第２のタップの画素データと、上記係数データとによる推定式を用いて上記第２のディジタル画像信号の予測値を生成する画像信号生成手段とを有し、
上記画像信号生成手段は、推定しようとする上記第２のディジタル画像信号の画素データが平坦部内に位置し、且つ上記平坦部の近傍にエッジが存在する条件が成立する場合には、上記第１のタップによる処理に切り換え、上記条件が成立しない場合には、上記第２のタップによる処理に切り換えることを特徴とする画像情報変換装置。 - 上記第１のディジタル画像信号から、推定しようとする上記第２のディジタル画像信号の画素データの位置周辺に対応する画素データを切り出す画素切り出し手段と、
上記画素切り出し手段により切り出された画素データに基づいて、推定しようとする画素データが属するクラスを決定してクラス情報を出力するクラス決定手段とを有し、
上記係数データ記憶手段には、
上記係数データが上記クラス毎に記憶され、上記クラス決定手段からの上記クラス情報に応じて上記係数データを出力することを特徴とする請求項１に記載の画像情報変換装置。 - 請求項１に記載の画像情報変換装置において、
上記第１のタップに対応する係数データを記憶する第１のメモリと、
上記第２のタップに対応する係数データを記憶する第２のメモリと、
上記第１のディジタル画像信号から上記第１のタップの画素データを切り出す第１の領域切り出し手段と、
上記第１のディジタル画像信号から上記第２のタップの画素データを切り出す第２の領域切り出し手段と、
上記第１の領域切り出し手段からの画素データと、上記第１のメモリからの係数データとを用いて上記推定式によって第１の予測値が生成される第１の演算手段と、
上記第２の領域切り出し手段からの画素データと、上記第２のメモリからの係数データとを用いて上記推定式によって第２の予測値が生成される第２の演算手段とからなることを特徴とする画像情報変換装置。 - 請求項１に記載の画像情報変換装置において、
上記判定手段は、
上記第１のタップの複数の画素データのダイナミックレンジと、上記第２のタップの複数の画素データのダイナミックレンジとの比によって上記判定を行うことを特徴とする画像情報変換装置。 - 請求項２に記載の画像情報変換装置において、
上記係数データ記憶手段に記憶される上記係数データは、予め学習によって、獲得され、
上記係数データの学習方法は、
第２のディジタル画像信号に処理を施して第１のディジタル画像信号へ変換し、
変換された上記第１のディジタル画像信号から所定の位置の画素データを切り出し、
上記画素切り出し手段により切り出された上記画素データに基づいて、推定しようとする画素データが属するクラスを決定してクラス情報を出力し、
上記推定しようとする画素データの位置および上記推定しようとする画素データの位置の周辺の画素データに応じて上記第１および第２のタップの一方を選択し、
上記第２のディジタル画像信号からの画素データと、上記推定式から得られた上記予測値との誤差の自乗和が最小となるような係数データを、上記第１のタップおよび上記第２のタップのそれぞれについて、上記クラス情報毎に求めるようにしたことを特徴とする画像情報変換装置。 - 請求項１に記載の画像情報変換装置において、
上記画像信号生成手段は、
上記第１のタップの画素データと、上記係数データ記憶手段からの上記係数データとを用いて積和演算を実行する第１の積和手段と、
上記第２のタップの画素データと、上記係数データ記憶手段からの上記係数データとを用いて積和演算を実行する第２の積和手段と、
上記判定手段の判定結果に応答し、上記第１の積和手段からの第１の積和出力と、上記第２の積和手段からの第２の積和出力とのどちらか一方を選択する選択手段とからなることを特徴とする画像情報変換装置。 - 請求項１に記載の画像情報変換装置において、
上記画像信号生成手段は、
上記判定手段の判定結果に応答し、上記第１のタップの画素データと、上記第２のタップの画素データとのどちらか一方を選択する選択手段と、
上記選択手段からの上記画素データと、上記係数データ記憶手段からの上記係数データとを用いて積和演算を実行する積和手段とからなることを特徴とする画像情報変換装置。 - 請求項３に記載の画像情報変換装置において、
上記画像信号生成手段は、
上記第２のタップを上記第２のタップより短い第３のタップへ縮退する縮退手段と、
上記判定手段の判定結果に応答し、上記第１のタップの画素データと、上記第３のタップの画素データとのどちらか一方を選択する選択手段と、
上記選択手段からの上記画素データと、上記係数データ記憶手段からの上記係数データとを用いて積和演算を実行する積和手段と
からなることを特徴とする画像情報変換装置。 - 第１のディジタル画像信号を第２のディジタル画像信号に変換するようにした画像情報変換方法であって、
上記第１のディジタル画像信号を、上記第２のディジタル画像信号に変換するための情報である推定式の係数データを発生する係数発生ステップと、
推定しようとする上記第２のディジタル画像信号の画素データが平坦部内に位置し、且つ上記平坦部の近傍にエッジが存在するか否かを判定する判定ステップと
上記第１のディジタル画像信号から切り出される第１のタップまたは上記第１のタップより長い第２のタップの画素データと、上記係数データとの結合からなる推定式を用いて上記第２のディジタル画像信号の予測値を生成する生成ステップとを有し、
上記生成ステップでは、推定しようとする上記第２のディジタル画像信号の画素データが平坦部内に位置し、且つ上記平坦部の近傍にエッジが存在する条件が成立する場合には、上記第１のタップによる処理に切り換え、上記条件が成立しない場合には、上記第２のタップによる処理に切り換えることを特徴とする画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27173996A JP3674186B2 (ja) | 1996-09-21 | 1996-09-21 | 画像情報変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27173996A JP3674186B2 (ja) | 1996-09-21 | 1996-09-21 | 画像情報変換装置および方法 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005054075A Division JP3922286B2 (ja) | 2005-02-28 | 2005-02-28 | 係数学習装置および方法 |
| JP2005054076A Division JP2005192252A (ja) | 2005-02-28 | 2005-02-28 | 積和演算装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1098695A JPH1098695A (ja) | 1998-04-14 |
| JP3674186B2 true JP3674186B2 (ja) | 2005-07-20 |
Family
ID=17504164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27173996A Expired - Fee Related JP3674186B2 (ja) | 1996-09-21 | 1996-09-21 | 画像情報変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3674186B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4300436B2 (ja) * | 1998-09-28 | 2009-07-22 | ソニー株式会社 | 画像データ変換装置及び画像データ変換方法 |
| JP4337186B2 (ja) * | 1998-10-29 | 2009-09-30 | ソニー株式会社 | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 |
| US6307560B1 (en) * | 1999-02-12 | 2001-10-23 | Sony Corporation | Classified adaptive spatio-temporal format conversion method and apparatus |
| WO2000049812A1 (en) | 1999-02-19 | 2000-08-24 | Sony Corporation | Image signal processor, image signal processing method, learning device, learning method, and recorded medium |
| JP4547758B2 (ja) * | 1999-03-25 | 2010-09-22 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
| JP4547757B2 (ja) * | 1999-03-25 | 2010-09-22 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
| JP4529253B2 (ja) * | 2000-08-15 | 2010-08-25 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
| JP4483048B2 (ja) * | 2000-08-15 | 2010-06-16 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
| JP4581199B2 (ja) * | 2000-08-22 | 2010-11-17 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
| JP4762115B2 (ja) * | 2006-11-10 | 2011-08-31 | シャープ株式会社 | 映像処理装置 |
| JP5522893B2 (ja) * | 2007-10-02 | 2014-06-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
1996
- 1996-09-21 JP JP27173996A patent/JP3674186B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1098695A (ja) | 1998-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005318611A (ja) | ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器 | |
| WO1999057906A1 (en) | Method and apparatus for increasing video frame rate | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| US8411205B2 (en) | Noise reducing image processing apparatus | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JPH09172621A (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP2782766B2 (ja) | 動画静止画変換方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3922286B2 (ja) | 係数学習装置および方法 | |
| JP4734239B2 (ja) | 空間的信号変換 | |
| JP2003517795A (ja) | ビデオ画像における動き推定方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP2005192252A (ja) | 積和演算装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050418 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |