JP3723995B2 - 画像情報変換装置および方法 - Google Patents
画像情報変換装置および方法 Download PDFInfo
- Publication number
- JP3723995B2 JP3723995B2 JP20286394A JP20286394A JP3723995B2 JP 3723995 B2 JP3723995 B2 JP 3723995B2 JP 20286394 A JP20286394 A JP 20286394A JP 20286394 A JP20286394 A JP 20286394A JP 3723995 B2 JP3723995 B2 JP 3723995B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- supplied
- image
- data
- outside
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【産業上の利用分野】
この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテープ受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線が５２５本に対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は、９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることが出来るようになっている。
【０００３】
しかしながら、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは、規格が異なることが原因している。このため、ＮＴＳＣ方式の映像信号に応じたハイビジョン方式で表示しようとする場合、従来は、例えば図８に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図８において、従来の画像情報変換装置は、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フィルタ３２と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ３３とから構成され、水平方向、および垂直方向の補間処理がなされたＮＴＳＣ方式の信号は、出力端子３４から取り出される。
【０００５】
具体的には、水平補間フィルタ３２は、図９に示すような構成を有しており、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号は、入力端子４１を介して、第１〜第ｍの乗算器４２〜４２m にそれぞれ供給される。各乗算器４２は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第１〜第ｍの加算器４３〜４３m-1 へ供給される。各加算器４３〜４３m-1 の間には、それぞれ時間Ｔの遅延レジスタ４４〜４４m が設けられている。そして、第ｍの乗算器４２m から出力された映像信号は、第ｍの遅延レジスタ４４m により時間Ｔの遅延が施され、第ｍ−１の加算器４３m-1 へ供給される。
【０００６】
第ｍ−１の加算器４３m-1 は、第ｍの遅延レジスタ４４m からの時間Ｔの遅延が施された映像信号と、第ｍ−１の乗算器４２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ４４m-1 により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器４３m-2 において、同じく図示しない第ｍ−２の乗算器４３m-2 からの映像信号と加算処理される。水平補間フィルタ３２は、このようにしてＮＴＳＣ方式の映像信号を出力端子４５を介して、垂直補間フィルタ３３へ供給する。
【０００７】
垂直補間フィルタ３３は、上述の水平補間フィルタ３２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン方式受像器に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式受像器で表示することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述のように従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間フィールド内処理で行うのが一般的であるが、この場合、画像のフィールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があった。
【０００９】
これに対し、特開平５−３２８１８５号公報に記載のディジタルデータ変換装置および方法では、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわちクラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。したがって、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。
【００１０】
また、特願平５−１７２６１７号に記載の画像信号変換装置では、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する画像信号変換装置というものがある。
【００１１】
この手法は、ＨＤ（High Difinition ）画素を創造する場合、時間的、空間的な意味でその周辺に存在する複数のＳＤ（Standerd Difinition ）画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで画像静止部においてはフィールド間、フレーム間等の時間方向の相関を利用し、また動き部においてはフィールド内相関のみを利用することにより真値に近いＨＤ画素値を得る、というような巧妙なものである。
【００１２】
すなわち、図１０において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、画像信号変換装置では、空間位置の低いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。
【００１３】
この手法によれば静止／動きの切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。
【００１４】
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と区間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。
【００１５】
例えば、図１０において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば、（ｋ−１）フィールドにのみ動き物体が侵入している場合、また、ｋフィールドから（ｋ＋２）フィールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さいことにより、ＨＤ画素ｙは、画像信号変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいて、創造される。したがって、この場合、創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、復元画像の品質の劣化が目立つことになる。
【００１６】
この対応策として、クラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。しかしながら、この手法によるとクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。
【００１７】
したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換することができるような画像情報変換装置および方法の提供を目的とする。
【００１８】
【課題を解決するための手段】
請求項１に記載の発明は、高い解像度のディジタル画像情報からダウンコンバートされたディジタル画像情報を、再び高い解像度のディジタル画像情報へ変換するようにした画像情報変換装置において、外部から供給された画像情報と生成対象の画像情報とが遠い位置関係にある第２のモードである場合に、外部から供給された画像情報を、同一フィールド内の画像情報でなる第１のブロックおよび複数のフィールド間の画像情報でなる第２のブロックへ分割する画像情報分割手段と、画像情報分割手段により分割された第１および第２のブロック毎に外部から供給された画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、第１および第２のブロック毎の画像情報が属する第１および第２のクラスが決定され、クラス検出情報を出力するクラス検出手段と、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換するための情報である推定式の係数データが第１および第２のクラス毎に発生され、クラス検出手段からのクラス検出情報に応じて係数データを出力する係数データ発生手段と、係数データ発生手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の複数の画像情報へ変換して出力する画像変換手段と、画像変換手段から供給された、高い解像度の画像情報をダウンコンバートする画像間引き手段と、画像間引き手段から供給された画像情報を外部から供給された画像情報と比較し、その誤差の大きさの閾値に対する大小関係に応じて画像変換手段で変換された複数の画像情報を切り換える比較判定手段とを有し、外部から供給された画像情報と生成対象の画像情報とが近い位置関係にある第１のモードである場合には、画像情報分割手段は、外部から供給された画像情報を、同一フィールド内の画像情報でなる第３のブロックへ分割し、係数データ発生手段は、分割された第３のブロックに基づき検出されたクラス情報に応じて係数データを出力し、画像情報変換手段は、分割された第３のブロックに基づき検出されたクラス情報に応じて出力された係数データを用いて、外部から供給された画像情報よりも高い解像度の一の画像情報へ変換して出力することを特徴とする画像情報変換装置である。
請求項４に記載の発明は、高い解像度のディジタル画像情報からダウンコンバートされたディジタル画像情報を、再び高い解像度のディジタル画像情報へ変換するようにした画像情報変換方法において、外部から供給された画像情報と生成対象の画像情報とが遠い位置関係にある第２のモードである場合に、外部から供給された画像情報を、同一フィールド内の画像情報でなる第１のブロックおよび複数のフィールド間の画像情報でなる第２のブロックへ分割する画像情報分割ステップと、画像情報分割ステップにより分割された第１および第２のブロック毎に外部から供給された画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、第１および第２のブロック毎の画像情報が属する第１および第２のクラスが決定され、クラス検出情報を出力するクラス検出ステップと、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換するための情報である推定式の係数データが第１および第２のクラス毎に発生され、クラス検出ステップからのクラス検出情報に応じて係数データを出力する係数データ発生ステップと、係数データ発生ステップから供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の複数の画像情報へ変換して出力する画像変換ステップと、画像変換ステップから供給された、高い解像度の画像情報をダウンコンバートする画像間引きステップと、画像間引きステップから供給された画像情報を外部から供給された画像情報と比較し、その誤差の大きさの閾値に対する大小関係に応じて画像変換ステップで変換された複数の画像情報を切り換える比較判定ステップとを有し、外部から供給された画像情報と生成対象の画像情報とが近い位置関係にある第１のモードである場合には、画像情報分割ステップは、外部から供給された画像情報を、同一フィールド内の画像情報でなる第３のブロックへ分割し、係数データ発生ステップは、分割された第３のブロックに基づき検出されたクラス情報に応じて係数データを出力し、画像情報変換ステップは、分割された第３のブロックに基づき検出されたクラ ス情報に応じて出力された係数データを用いて、外部から供給された画像情報よりも高い解像度の一の画像情報へ変換して出力することを特徴とする画像情報変換方法である。
【００１９】
【作用】
この発明に係る画像情報変換装置は、ＨＤ信号よりダウンコンバートされた入力ＳＤ信号が画像情報分割手段により複数の領域に分割され、それぞれの領域毎に画像情報のレベル分布のパターンを検出し、その検出したパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。係数データ記憶手段には、外部から供給された画像情報をこの画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス係数情報に応じて出力される。そして、画像情報変換手段が係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報がその外部から供給された画像情報よりも高い解像度の画像情報へ変換される。変換されたＨＤ信号は、ダウンコンバートされＳＤ信号へ変換され、入力ＳＤ信号と比較される。その誤差が大きい場合は、画素の推定において大きな誤差が発生していることを意味するので、時空間モデルによる推定をフィールド内空間モデルによる推定に置き換え出力する。
【００２０】
【実施例】
以下、この発明に係る画像信号変換装置の実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子から、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化され、ＳＤデータとして供給される。
【００２１】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示すとおりとする。すなわち、同一フィールド内において、創造するべきＨＤ画素には、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 と、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と称する。
【００２２】
領域分割化回路２では、入力端子１から供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、モード１用に創造するべきＨＤ画素の例えば上下各２画素ずつのＳＤ画素を、１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック１と呼ぶことにする。ＨＤ画素ｙ１に対するブロック１のＳＤ画素は、図２におけるｘ1 、ｘ2 、ｘ3 、ｘ4 となる。
【００２３】
一方、モード２用には２種類の領域分割が行われる。まず、モード１と同様に創造するべきＨＤ画素の例えば上下各２画素ずつのＨＤ画素を１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック２−１のＳＤ画素は、図２におけるｘ1 、ｘ2 、ｘ3 、ｘ4 となる。
【００２４】
さらに、モード２に対しては他のフィールドに属するＳＤ画素を含んだ４画素の領域分割がなされる。具体的には、例えば創造するべきＨＤ画素の上下各１画素ずつのＨＤ画素それぞれ１画素がブロック化され、いわゆる、時空間構造を持った領域分割がなされる。この領域をブロック２−２と呼ぶことにする。ＨＤ画素ｙ２に対するブロック２−２のＳＤ画素は、図３におけるｘ1 、ｘ2 、ｘ3 、ｘ4 となる。
【００２５】
領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路６へ供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４、ＲＯＭテーブル５の処理に必要な時間だけデータを遅延させて、推定演算回路７へ出力する。
【００２６】
ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮がクラスコード発生回路４へ供給される。
【００２７】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２８】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２n ／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００２９】
この実施例では、領域分離化回路２により分離されたそれぞれ４画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータを、それぞれｑ1 〜ｑ4 とする。
【００３０】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて以下の式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass がＲＯＭテーブル５へ供給される。このクラスコードclass は、ＲＯＭテーブル５からの読み出しアドレスを示すものとなっている。
【００３１】
【数１】
この実施例では、ｎは４、ｐは２である。
【００３２】
ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶さている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。
【００３３】
この実施例において係数データは、モード１とモード２のそれぞれ独立に用意され、さらにモード２に関しては、ブロック２−１のデータを使用する場合と、ブロック２−２のデータを使用する場合でそれぞれ独立に係数データは、用意されている。なお、ＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi （class ）が読み出される。この係数データは、推定演算回路７へ供給される。
【００３４】
推定演算回路７は、遅延回路６を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル５から供給される係数データであるｗi （class ）に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。推定演算回路７については、図４を用いて詳しく説明する。
【００３５】
遅延回路６より供給されたＳＤデータとＲＯＭテーブル５から供給された係数データは、まず初期推定演算回路１１へ供給される。初期推定演算回路１１は、モード１に関しては、ブロック１用の係数を用いて、係数データであるｗi （class ）に基づいて、それぞれ以下の式（３）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。また、モード２のＨＤ画素に関しては、２種類のデータが存在することになる。
【００３６】
モード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが、垂直間引きフィルタ１２へ供給される。モード１のＨＤデータは、同時に水平補間フィルタ８にも供給される。ブロック２−２用の係数データを用いて作成されたＨＤデータは、同時にスイッチ回路１４へ供給される。ブロック２−１用の係数データを用いて作成されたモード２のＨＤデータは、スイッチ回路１４へ供給される。
【００３７】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 （３）
【００３８】
垂直間引きフィルタ１２は、後に詳しく説明する垂直間引きフィルタ２２と同一のものであり、ＨＤ画像信号の垂直方向の画素数をフィルタリングによりＳＤ画像信号の画素数に間引くものである。垂直間引きフィルタ１２は、初期推定演算回路１１より供給されたＨＤデータをダウンコンバートしてＳＤデータを作成して、比較判定回路１３へ出力する。
【００３９】
比較判定回路１３には、垂直間引きフィルタ１２により生成され、推定されたＨＤデータをダウンコンバートして作成したＳＤデータと、遅延回路６から供給されたＳＤデータが供給される。比較判定回路１３では、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータをダウンコンバートすることによって作成されたＳＤデータとの比較が行われる。
【００４０】
遅延回路６から供給されたオリジナルのＳＤデータは、もともと垂直間引きフィルタ１２と同一のフィルタにより、真のＨＤデータからダウンコンバートされたものである。したがって、初期推定演算回路１１により推定されたＨＤデータが真値と完全に一致するならば、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータとは、一致するはずである。しかしながら、ＳＤデータからＨＤデータを完全に推定することは事実上不可能であるから多少の誤差が発生することが一般的である。
【００４１】
しかしながら、比較判定回路１３で大きな誤差が発生することがあり、この場合、誤差の発生したＳＤデータの近傍のＨＤデータを推定するときに大きな誤差が発生した可能性が高い。
【００４２】
今、モード１の画素の推定は完全フィールド内推定方式によって行われている。したがって、動き等により極端な性能劣化は発生せず、モード１の画素の推定においては大きな誤差が発生する可能性は低い。
【００４３】
これに対してモード２の画素の推定は、時空間のタップ構造を持つ推定方式によって行われている。この構造を持つ推定方式は平均的には高い推定精度を持つが、それほど多くないクラスにおいて、この推定を行った場合、動画シーンを静止と判定ミスすることにより非常に大きな誤差が発生することがある。
【００４４】
よって、比較判定回路１３で大きな誤差が発生した場合、誤差の発生したＳＤデータの近傍のモード２におけるＨＤデータを推定するときに大きな誤差が発生した可能性が高い、と言える。
【００４５】
したがって、推定演算回路７においては、モード２のＨＤデータ出力において、比較判定回路１３の比較において、誤差がない、または小さい場合は、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。また、比較判定回路１３の比較において、誤差が大きい場合はブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。モード１のＨＤデータ出力においては、常にブロック１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。
【００４６】
具体的には、図５における、ＳＤデータｘ1 とｘ2 における、オリジナルのＳＤデータと、推定されたＨＤデータをダウンコンバートすることにより作成されたＳＤデータの誤差が共にあるしきい値ＴＨを超える場合、モード２のＨＤデータｙにおける出力データは、ブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを用い、上述の条件に当てはまらないときは、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを用いる。
【００４７】
水平補間フィルタ８は、図８の水平補間フィルタ３３と同一なもので、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００４８】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブル５に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータを出力することができる。
【００４９】
しかも、クラス分類を増やすことによって改善しようとすると、クラス数が膨大なものになってしまうが、この発明の手法によれば、モード２の推定により従来の２倍のクラスが必要になるものを、総合的なクラス数としては従来の１．５倍のクラス数という充分実用的なクラス数で大幅な画質改善を得ることができる。
【００５０】
続いて、ＲＯＭテーブル５に格納される係数データの作成方法について、図６を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図６に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。垂直間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。
【００５１】
領域分割化回路２４では、水平間引きフィルタ２３から供給されたＳＤ画像信号を複数の領域に分割される。具体的には領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各４画素からなる領域に分割される。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２−１とブロック２−２の２種類の領域分割が行われる。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２７へ供給される。
【００５２】
ＡＤＲＣ回路２５は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６へ供給する。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものであり、この実施例では、領域分割化回路２４により分離された、４画素からなる各領域のＳＤデータ（図２、図３におけるｘ1 〜ｘ4 ）を、ＡＤＲＣにより各２ビットに圧縮するものとする。
【００５３】
クラスコード発生回路２６は、先に説明したクラスコード発生回路４と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass を出力するものである。クラスコード発生回路２６は、クラスコードclass を正規方程式加算回路２７へ出力する。
【００５４】
ここで、正規方程式加算回路２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。説明のために画素をより一般化してｎ画素による予測を行う場合について以下に説明する。ＳＤ画素レベルをそれぞれｘ1 、‥‥、ｘn として、それぞれにｐビットＡＤＲＣを行った結果、再量子化データをｑ1 、‥‥、ｑn とする。このとき、この領域のクラスコードclass を式（２）で定義する。
【００５５】
上述のように、ＳＤ画素レベルをそれぞれ、ｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを式（４）に示す。ここで、学習前はｗi が未定係数である。
【００５６】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 （４）
【００５７】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（４）にしたがって、式（５）が設定される。
【００５８】
ｙ＝ｗ1 ｘj1＋ｗ2 ｘj2＋ｗ3 ｘj3＋ｗ4 ｘj4 （５）
（ｊ＝１、２、‥‥、ｍ）
【００５９】
ｍ＞ｎの場合、係数データｗ1 、‥‥ｗn は一意に決まらないので、誤差ベクトルｅの要素を式（６）で定義し、式（７）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
【００６０】
ｅj ＝ｙj −｛ｗ1 ｘj1＋ｗ2 ｘj2＋ｗ3 ｘj3＋ｗ4 ｘj4｝ （６）
（ｊ＝１、２、‥‥、ｍ）
【００６１】
【数２】
【００６２】
ここで、式（７）のｗi による偏微分係数を求める。それは式（８）を `０' にするように各ｗi を求めればよい。
【００６３】
【数３】
【００６４】
以下、式（９）、（１０）のように、Ｘji、Ｙi を定義すると式（８）は、行列を用いて式（１１）へ書き換えられる。
【００６５】
【数４】
【００６６】
【数５】
【００６７】
【数６】
【００６８】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２７は、クラスコード発生回路２６から供給されたクラスコードclass 、領域分割化回路２４から供給されたＳＤデータｘ1 、‥‥、ｘn 、入力端子２１から供給されたＳＤデータに対応したＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。
【００６９】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法等の一般的な行列解放を用いて、ｗi について解き、予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９へ書き込む。
【００７０】
以上のようにトレーニングを行った結果、メモリ２９には、量子化データｑ1 〜ｑ4 で規定されるパターン毎に、注目ＨＤデータｙを推定するための統計的にもっとも真値に近い画素の推定が生成できる予測係数が格納される。このメモリ２９に格納されたテーブルが、この発明の画像信号変換装置において使用されるＲＯＭテーブル５である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００７１】
ここで、図７は、この発明に係る推定演算回路内の比較判定部分の他の実施例を示す。入力端子３１からモード１のＨＤデータ、すなわちブロック１用の係数データを用いて作成されたＨＤデータが供給され、入力端子３２からモード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが供給され、入力端子３３からモード２のＨＤデータのうちブロック２−１用の係数データを用いて作成されたＨＤが供給される。
【００７２】
ブロック１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４、および３５へ供給され、間引き処理がなされる。この垂直間引き回路３４、および３５は、上述の垂直間引き回路１２と同じ機能を有する。ブロック２−１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４へ供給され、ブロック２−２用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３５へ供給され、それぞれ間引き処理がなされる。
【００７３】
垂直間引き回路３４において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−１の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。同様に垂直間引き回路３５において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。
【００７４】
判定回路３８では、モード１のＨＤデータに対して、モード２の２種類のＨＤデータの何方の誤差が小さいかが判定され、判定結果に基づいて、スイッチ３９は、制御される。判定回路３８において、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−１の画素、およびブロック２−１の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。
【００７５】
また、判定回路３８において、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−２の画素、およびブロック２−２の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。
【００７６】
なお、実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例でであり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）やＶＱ（ベクトル量子化）等の圧縮手段を用いてもよい。
【００７７】
さらに、実施例の説明では、簡単のため水平方向のアップコンバージョンに水平補間フィルタ９を用いたが、このかわりに、水平方向のアップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。
【００７８】
さらに、実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしてもよい。
【００７９】
【発明の効果】
従来、提案されている方式の時空間構造のクラス分類を行うことによる推定方式は、動きのミスマッチにより推定画像において破綻が発生することがあった。この発明の手法は、推定されたＨＤ画像をダウンコンバートし、オリジナルのＳＤ画像と比較し、大きな推定誤差があるか否かを判断するため、大きな推定誤差の可能性が高い場合には、時空間モデルによる推定をフィールド内のモデルによる推定に置き換えることによって破綻を軽減し、画質を大幅に向上させることができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係、およびクラス分割に使用するデータを説明するための略線図である。
【図３】クラス分割に使用するデータを説明するための略線図である。
【図４】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図５】推定演算回路の動作を説明するための略線図である。
【図６】補正データテーブルを作成するときの説明のためのブロック図である。
【図７】この発明に係る画像情報変換装置の他の実施例を示すブロック図である。
【図８】従来の画像情報変換装置の一例を示すブロック図である。
【図９】従来の画像情報変換装置の要部の一例を示すブロック図である。
【図１０】ＳＤデータとＨＤデータの位置関係、および従来の時空間クラス分割方式の問題点を説明するための略線図である。
【符号の説明】
２ 領域分割化回路
３ ＡＤＲＣ回路
４ クラスコード発生回路
５ ＲＯＭテーブル
６ 遅延回路
７ 推定演算回路
８ 水平補間フィルタ
【産業上の利用分野】
この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテープ受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線が５２５本に対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は、９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることが出来るようになっている。
【０００３】
しかしながら、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは、規格が異なることが原因している。このため、ＮＴＳＣ方式の映像信号に応じたハイビジョン方式で表示しようとする場合、従来は、例えば図８に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図８において、従来の画像情報変換装置は、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フィルタ３２と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ３３とから構成され、水平方向、および垂直方向の補間処理がなされたＮＴＳＣ方式の信号は、出力端子３４から取り出される。
【０００５】
具体的には、水平補間フィルタ３２は、図９に示すような構成を有しており、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号は、入力端子４１を介して、第１〜第ｍの乗算器４２〜４２m にそれぞれ供給される。各乗算器４２は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第１〜第ｍの加算器４３〜４３m-1 へ供給される。各加算器４３〜４３m-1 の間には、それぞれ時間Ｔの遅延レジスタ４４〜４４m が設けられている。そして、第ｍの乗算器４２m から出力された映像信号は、第ｍの遅延レジスタ４４m により時間Ｔの遅延が施され、第ｍ−１の加算器４３m-1 へ供給される。
【０００６】
第ｍ−１の加算器４３m-1 は、第ｍの遅延レジスタ４４m からの時間Ｔの遅延が施された映像信号と、第ｍ−１の乗算器４２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ４４m-1 により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器４３m-2 において、同じく図示しない第ｍ−２の乗算器４３m-2 からの映像信号と加算処理される。水平補間フィルタ３２は、このようにしてＮＴＳＣ方式の映像信号を出力端子４５を介して、垂直補間フィルタ３３へ供給する。
【０００７】
垂直補間フィルタ３３は、上述の水平補間フィルタ３２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン方式受像器に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式受像器で表示することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述のように従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間フィールド内処理で行うのが一般的であるが、この場合、画像のフィールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があった。
【０００９】
これに対し、特開平５−３２８１８５号公報に記載のディジタルデータ変換装置および方法では、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわちクラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。したがって、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。
【００１０】
また、特願平５−１７２６１７号に記載の画像信号変換装置では、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する画像信号変換装置というものがある。
【００１１】
この手法は、ＨＤ（High Difinition ）画素を創造する場合、時間的、空間的な意味でその周辺に存在する複数のＳＤ（Standerd Difinition ）画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで画像静止部においてはフィールド間、フレーム間等の時間方向の相関を利用し、また動き部においてはフィールド内相関のみを利用することにより真値に近いＨＤ画素値を得る、というような巧妙なものである。
【００１２】
すなわち、図１０において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、画像信号変換装置では、空間位置の低いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。
【００１３】
この手法によれば静止／動きの切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。
【００１４】
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と区間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。
【００１５】
例えば、図１０において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば、（ｋ−１）フィールドにのみ動き物体が侵入している場合、また、ｋフィールドから（ｋ＋２）フィールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さいことにより、ＨＤ画素ｙは、画像信号変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいて、創造される。したがって、この場合、創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、復元画像の品質の劣化が目立つことになる。
【００１６】
この対応策として、クラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。しかしながら、この手法によるとクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。
【００１７】
したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換することができるような画像情報変換装置および方法の提供を目的とする。
【００１８】
【課題を解決するための手段】
請求項１に記載の発明は、高い解像度のディジタル画像情報からダウンコンバートされたディジタル画像情報を、再び高い解像度のディジタル画像情報へ変換するようにした画像情報変換装置において、外部から供給された画像情報と生成対象の画像情報とが遠い位置関係にある第２のモードである場合に、外部から供給された画像情報を、同一フィールド内の画像情報でなる第１のブロックおよび複数のフィールド間の画像情報でなる第２のブロックへ分割する画像情報分割手段と、画像情報分割手段により分割された第１および第２のブロック毎に外部から供給された画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、第１および第２のブロック毎の画像情報が属する第１および第２のクラスが決定され、クラス検出情報を出力するクラス検出手段と、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換するための情報である推定式の係数データが第１および第２のクラス毎に発生され、クラス検出手段からのクラス検出情報に応じて係数データを出力する係数データ発生手段と、係数データ発生手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の複数の画像情報へ変換して出力する画像変換手段と、画像変換手段から供給された、高い解像度の画像情報をダウンコンバートする画像間引き手段と、画像間引き手段から供給された画像情報を外部から供給された画像情報と比較し、その誤差の大きさの閾値に対する大小関係に応じて画像変換手段で変換された複数の画像情報を切り換える比較判定手段とを有し、外部から供給された画像情報と生成対象の画像情報とが近い位置関係にある第１のモードである場合には、画像情報分割手段は、外部から供給された画像情報を、同一フィールド内の画像情報でなる第３のブロックへ分割し、係数データ発生手段は、分割された第３のブロックに基づき検出されたクラス情報に応じて係数データを出力し、画像情報変換手段は、分割された第３のブロックに基づき検出されたクラス情報に応じて出力された係数データを用いて、外部から供給された画像情報よりも高い解像度の一の画像情報へ変換して出力することを特徴とする画像情報変換装置である。
請求項４に記載の発明は、高い解像度のディジタル画像情報からダウンコンバートされたディジタル画像情報を、再び高い解像度のディジタル画像情報へ変換するようにした画像情報変換方法において、外部から供給された画像情報と生成対象の画像情報とが遠い位置関係にある第２のモードである場合に、外部から供給された画像情報を、同一フィールド内の画像情報でなる第１のブロックおよび複数のフィールド間の画像情報でなる第２のブロックへ分割する画像情報分割ステップと、画像情報分割ステップにより分割された第１および第２のブロック毎に外部から供給された画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、第１および第２のブロック毎の画像情報が属する第１および第２のクラスが決定され、クラス検出情報を出力するクラス検出ステップと、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換するための情報である推定式の係数データが第１および第２のクラス毎に発生され、クラス検出ステップからのクラス検出情報に応じて係数データを出力する係数データ発生ステップと、係数データ発生ステップから供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の複数の画像情報へ変換して出力する画像変換ステップと、画像変換ステップから供給された、高い解像度の画像情報をダウンコンバートする画像間引きステップと、画像間引きステップから供給された画像情報を外部から供給された画像情報と比較し、その誤差の大きさの閾値に対する大小関係に応じて画像変換ステップで変換された複数の画像情報を切り換える比較判定ステップとを有し、外部から供給された画像情報と生成対象の画像情報とが近い位置関係にある第１のモードである場合には、画像情報分割ステップは、外部から供給された画像情報を、同一フィールド内の画像情報でなる第３のブロックへ分割し、係数データ発生ステップは、分割された第３のブロックに基づき検出されたクラス情報に応じて係数データを出力し、画像情報変換ステップは、分割された第３のブロックに基づき検出されたクラ ス情報に応じて出力された係数データを用いて、外部から供給された画像情報よりも高い解像度の一の画像情報へ変換して出力することを特徴とする画像情報変換方法である。
【００１９】
【作用】
この発明に係る画像情報変換装置は、ＨＤ信号よりダウンコンバートされた入力ＳＤ信号が画像情報分割手段により複数の領域に分割され、それぞれの領域毎に画像情報のレベル分布のパターンを検出し、その検出したパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。係数データ記憶手段には、外部から供給された画像情報をこの画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス係数情報に応じて出力される。そして、画像情報変換手段が係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報がその外部から供給された画像情報よりも高い解像度の画像情報へ変換される。変換されたＨＤ信号は、ダウンコンバートされＳＤ信号へ変換され、入力ＳＤ信号と比較される。その誤差が大きい場合は、画素の推定において大きな誤差が発生していることを意味するので、時空間モデルによる推定をフィールド内空間モデルによる推定に置き換え出力する。
【００２０】
【実施例】
以下、この発明に係る画像信号変換装置の実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子から、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化され、ＳＤデータとして供給される。
【００２１】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示すとおりとする。すなわち、同一フィールド内において、創造するべきＨＤ画素には、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 と、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と称する。
【００２２】
領域分割化回路２では、入力端子１から供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、モード１用に創造するべきＨＤ画素の例えば上下各２画素ずつのＳＤ画素を、１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック１と呼ぶことにする。ＨＤ画素ｙ１に対するブロック１のＳＤ画素は、図２におけるｘ1 、ｘ2 、ｘ3 、ｘ4 となる。
【００２３】
一方、モード２用には２種類の領域分割が行われる。まず、モード１と同様に創造するべきＨＤ画素の例えば上下各２画素ずつのＨＤ画素を１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック２−１のＳＤ画素は、図２におけるｘ1 、ｘ2 、ｘ3 、ｘ4 となる。
【００２４】
さらに、モード２に対しては他のフィールドに属するＳＤ画素を含んだ４画素の領域分割がなされる。具体的には、例えば創造するべきＨＤ画素の上下各１画素ずつのＨＤ画素それぞれ１画素がブロック化され、いわゆる、時空間構造を持った領域分割がなされる。この領域をブロック２−２と呼ぶことにする。ＨＤ画素ｙ２に対するブロック２−２のＳＤ画素は、図３におけるｘ1 、ｘ2 、ｘ3 、ｘ4 となる。
【００２５】
領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路６へ供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４、ＲＯＭテーブル５の処理に必要な時間だけデータを遅延させて、推定演算回路７へ出力する。
【００２６】
ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮がクラスコード発生回路４へ供給される。
【００２７】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２８】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２n ／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００２９】
この実施例では、領域分離化回路２により分離されたそれぞれ４画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータを、それぞれｑ1 〜ｑ4 とする。
【００３０】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて以下の式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass がＲＯＭテーブル５へ供給される。このクラスコードclass は、ＲＯＭテーブル５からの読み出しアドレスを示すものとなっている。
【００３１】
【数１】
【００３２】
ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶さている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。
【００３３】
この実施例において係数データは、モード１とモード２のそれぞれ独立に用意され、さらにモード２に関しては、ブロック２−１のデータを使用する場合と、ブロック２−２のデータを使用する場合でそれぞれ独立に係数データは、用意されている。なお、ＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi （class ）が読み出される。この係数データは、推定演算回路７へ供給される。
【００３４】
推定演算回路７は、遅延回路６を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル５から供給される係数データであるｗi （class ）に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。推定演算回路７については、図４を用いて詳しく説明する。
【００３５】
遅延回路６より供給されたＳＤデータとＲＯＭテーブル５から供給された係数データは、まず初期推定演算回路１１へ供給される。初期推定演算回路１１は、モード１に関しては、ブロック１用の係数を用いて、係数データであるｗi （class ）に基づいて、それぞれ以下の式（３）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。また、モード２のＨＤ画素に関しては、２種類のデータが存在することになる。
【００３６】
モード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが、垂直間引きフィルタ１２へ供給される。モード１のＨＤデータは、同時に水平補間フィルタ８にも供給される。ブロック２−２用の係数データを用いて作成されたＨＤデータは、同時にスイッチ回路１４へ供給される。ブロック２−１用の係数データを用いて作成されたモード２のＨＤデータは、スイッチ回路１４へ供給される。
【００３７】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 （３）
【００３８】
垂直間引きフィルタ１２は、後に詳しく説明する垂直間引きフィルタ２２と同一のものであり、ＨＤ画像信号の垂直方向の画素数をフィルタリングによりＳＤ画像信号の画素数に間引くものである。垂直間引きフィルタ１２は、初期推定演算回路１１より供給されたＨＤデータをダウンコンバートしてＳＤデータを作成して、比較判定回路１３へ出力する。
【００３９】
比較判定回路１３には、垂直間引きフィルタ１２により生成され、推定されたＨＤデータをダウンコンバートして作成したＳＤデータと、遅延回路６から供給されたＳＤデータが供給される。比較判定回路１３では、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータをダウンコンバートすることによって作成されたＳＤデータとの比較が行われる。
【００４０】
遅延回路６から供給されたオリジナルのＳＤデータは、もともと垂直間引きフィルタ１２と同一のフィルタにより、真のＨＤデータからダウンコンバートされたものである。したがって、初期推定演算回路１１により推定されたＨＤデータが真値と完全に一致するならば、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータとは、一致するはずである。しかしながら、ＳＤデータからＨＤデータを完全に推定することは事実上不可能であるから多少の誤差が発生することが一般的である。
【００４１】
しかしながら、比較判定回路１３で大きな誤差が発生することがあり、この場合、誤差の発生したＳＤデータの近傍のＨＤデータを推定するときに大きな誤差が発生した可能性が高い。
【００４２】
今、モード１の画素の推定は完全フィールド内推定方式によって行われている。したがって、動き等により極端な性能劣化は発生せず、モード１の画素の推定においては大きな誤差が発生する可能性は低い。
【００４３】
これに対してモード２の画素の推定は、時空間のタップ構造を持つ推定方式によって行われている。この構造を持つ推定方式は平均的には高い推定精度を持つが、それほど多くないクラスにおいて、この推定を行った場合、動画シーンを静止と判定ミスすることにより非常に大きな誤差が発生することがある。
【００４４】
よって、比較判定回路１３で大きな誤差が発生した場合、誤差の発生したＳＤデータの近傍のモード２におけるＨＤデータを推定するときに大きな誤差が発生した可能性が高い、と言える。
【００４５】
したがって、推定演算回路７においては、モード２のＨＤデータ出力において、比較判定回路１３の比較において、誤差がない、または小さい場合は、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。また、比較判定回路１３の比較において、誤差が大きい場合はブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。モード１のＨＤデータ出力においては、常にブロック１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。
【００４６】
具体的には、図５における、ＳＤデータｘ1 とｘ2 における、オリジナルのＳＤデータと、推定されたＨＤデータをダウンコンバートすることにより作成されたＳＤデータの誤差が共にあるしきい値ＴＨを超える場合、モード２のＨＤデータｙにおける出力データは、ブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを用い、上述の条件に当てはまらないときは、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを用いる。
【００４７】
水平補間フィルタ８は、図８の水平補間フィルタ３３と同一なもので、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００４８】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブル５に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータを出力することができる。
【００４９】
しかも、クラス分類を増やすことによって改善しようとすると、クラス数が膨大なものになってしまうが、この発明の手法によれば、モード２の推定により従来の２倍のクラスが必要になるものを、総合的なクラス数としては従来の１．５倍のクラス数という充分実用的なクラス数で大幅な画質改善を得ることができる。
【００５０】
続いて、ＲＯＭテーブル５に格納される係数データの作成方法について、図６を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図６に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。垂直間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。
【００５１】
領域分割化回路２４では、水平間引きフィルタ２３から供給されたＳＤ画像信号を複数の領域に分割される。具体的には領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各４画素からなる領域に分割される。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２−１とブロック２−２の２種類の領域分割が行われる。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２７へ供給される。
【００５２】
ＡＤＲＣ回路２５は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６へ供給する。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものであり、この実施例では、領域分割化回路２４により分離された、４画素からなる各領域のＳＤデータ（図２、図３におけるｘ1 〜ｘ4 ）を、ＡＤＲＣにより各２ビットに圧縮するものとする。
【００５３】
クラスコード発生回路２６は、先に説明したクラスコード発生回路４と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass を出力するものである。クラスコード発生回路２６は、クラスコードclass を正規方程式加算回路２７へ出力する。
【００５４】
ここで、正規方程式加算回路２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。説明のために画素をより一般化してｎ画素による予測を行う場合について以下に説明する。ＳＤ画素レベルをそれぞれｘ1 、‥‥、ｘn として、それぞれにｐビットＡＤＲＣを行った結果、再量子化データをｑ1 、‥‥、ｑn とする。このとき、この領域のクラスコードclass を式（２）で定義する。
【００５５】
上述のように、ＳＤ画素レベルをそれぞれ、ｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを式（４）に示す。ここで、学習前はｗi が未定係数である。
【００５６】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 （４）
【００５７】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（４）にしたがって、式（５）が設定される。
【００５８】
ｙ＝ｗ1 ｘj1＋ｗ2 ｘj2＋ｗ3 ｘj3＋ｗ4 ｘj4 （５）
（ｊ＝１、２、‥‥、ｍ）
【００５９】
ｍ＞ｎの場合、係数データｗ1 、‥‥ｗn は一意に決まらないので、誤差ベクトルｅの要素を式（６）で定義し、式（７）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
【００６０】
ｅj ＝ｙj −｛ｗ1 ｘj1＋ｗ2 ｘj2＋ｗ3 ｘj3＋ｗ4 ｘj4｝ （６）
（ｊ＝１、２、‥‥、ｍ）
【００６１】
【数２】
ここで、式（７）のｗi による偏微分係数を求める。それは式（８）を `０' にするように各ｗi を求めればよい。
【００６３】
【数３】
以下、式（９）、（１０）のように、Ｘji、Ｙi を定義すると式（８）は、行列を用いて式（１１）へ書き換えられる。
【００６５】
【数４】
【数５】
【数６】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２７は、クラスコード発生回路２６から供給されたクラスコードclass 、領域分割化回路２４から供給されたＳＤデータｘ1 、‥‥、ｘn 、入力端子２１から供給されたＳＤデータに対応したＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。
【００６９】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法等の一般的な行列解放を用いて、ｗi について解き、予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９へ書き込む。
【００７０】
以上のようにトレーニングを行った結果、メモリ２９には、量子化データｑ1 〜ｑ4 で規定されるパターン毎に、注目ＨＤデータｙを推定するための統計的にもっとも真値に近い画素の推定が生成できる予測係数が格納される。このメモリ２９に格納されたテーブルが、この発明の画像信号変換装置において使用されるＲＯＭテーブル５である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００７１】
ここで、図７は、この発明に係る推定演算回路内の比較判定部分の他の実施例を示す。入力端子３１からモード１のＨＤデータ、すなわちブロック１用の係数データを用いて作成されたＨＤデータが供給され、入力端子３２からモード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが供給され、入力端子３３からモード２のＨＤデータのうちブロック２−１用の係数データを用いて作成されたＨＤが供給される。
【００７２】
ブロック１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４、および３５へ供給され、間引き処理がなされる。この垂直間引き回路３４、および３５は、上述の垂直間引き回路１２と同じ機能を有する。ブロック２−１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４へ供給され、ブロック２−２用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３５へ供給され、それぞれ間引き処理がなされる。
【００７３】
垂直間引き回路３４において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−１の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。同様に垂直間引き回路３５において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。
【００７４】
判定回路３８では、モード１のＨＤデータに対して、モード２の２種類のＨＤデータの何方の誤差が小さいかが判定され、判定結果に基づいて、スイッチ３９は、制御される。判定回路３８において、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−１の画素、およびブロック２−１の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。
【００７５】
また、判定回路３８において、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−２の画素、およびブロック２−２の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。
【００７６】
なお、実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例でであり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）やＶＱ（ベクトル量子化）等の圧縮手段を用いてもよい。
【００７７】
さらに、実施例の説明では、簡単のため水平方向のアップコンバージョンに水平補間フィルタ９を用いたが、このかわりに、水平方向のアップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。
【００７８】
さらに、実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしてもよい。
【００７９】
【発明の効果】
従来、提案されている方式の時空間構造のクラス分類を行うことによる推定方式は、動きのミスマッチにより推定画像において破綻が発生することがあった。この発明の手法は、推定されたＨＤ画像をダウンコンバートし、オリジナルのＳＤ画像と比較し、大きな推定誤差があるか否かを判断するため、大きな推定誤差の可能性が高い場合には、時空間モデルによる推定をフィールド内のモデルによる推定に置き換えることによって破綻を軽減し、画質を大幅に向上させることができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係、およびクラス分割に使用するデータを説明するための略線図である。
【図３】クラス分割に使用するデータを説明するための略線図である。
【図４】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図５】推定演算回路の動作を説明するための略線図である。
【図６】補正データテーブルを作成するときの説明のためのブロック図である。
【図７】この発明に係る画像情報変換装置の他の実施例を示すブロック図である。
【図８】従来の画像情報変換装置の一例を示すブロック図である。
【図９】従来の画像情報変換装置の要部の一例を示すブロック図である。
【図１０】ＳＤデータとＨＤデータの位置関係、および従来の時空間クラス分割方式の問題点を説明するための略線図である。
【符号の説明】
２ 領域分割化回路
３ ＡＤＲＣ回路
４ クラスコード発生回路
５ ＲＯＭテーブル
６ 遅延回路
７ 推定演算回路
８ 水平補間フィルタ
Claims (6)
- 高い解像度のディジタル画像情報からダウンコンバートされたディジタル画像情報を、再び高い解像度のディジタル画像情報へ変換するようにした画像情報変換装置において、
外部から供給された画像情報と生成対象の画像情報とが遠い位置関係にある第２のモードである場合に、上記外部から供給された画像情報を、同一フィールド内の画像情報でなる第１のブロックおよび複数のフィールド間の画像情報でなる第２のブロックへ分割する画像情報分割手段と、
上記画像情報分割手段により分割された上記第１および第２のブロック毎に上記外部から供給された画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記第１および第２のブロック毎の上記画像情報が属する第１および第２のクラスが決定され、クラス検出情報を出力するクラス検出手段と、
上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の画像情報へ変換するための情報である推定式の係数データが上記第１および第２のクラス毎に発生され、上記クラス検出手段からの上記クラス検出情報に応じて上記係数データを出力する係数データ発生手段と、
上記係数データ発生手段から供給された上記係数データに応じて、上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の複数の画像情報へ変換して出力する画像変換手段と、
上記画像変換手段から供給された、上記高い解像度の画像情報をダウンコンバートする画像間引き手段と、
上記画像間引き手段から供給された画像情報を上記外部から供給された画像情報と比較し、その誤差の大きさの閾値に対する大小関係に応じて上記画像変換手段で変換された上記複数の画像情報を切り換える比較判定手段とを有し、
上記外部から供給された画像情報と生成対象の画像情報とが近い位置関係にある第１のモードである場合には、
上記画像情報分割手段は、上記外部から供給された画像情報を、同一フィールド内の画像情報でなる第３のブロックへ分割し、
上記係数データ発生手段は、上記分割された第３のブロックに基づき検出されたクラス情報に応じて係数データを出力し、
上記画像情報変換手段は、上記分割された第３のブロックに基づき検出されたクラス情報に応じて出力された係数データを用いて、上記外部から供給された画像情報よりも高い解像度の一の画像情報へ変換して出力することを特徴とする画像情報変換装置。 - 上記係数データ発生手段は、クラス毎の予測係数を格納するメモリ手段を有し、
注目画素の空間的および／または時間的に近傍の複数の画素の値と予測係数の線形１次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするようなクラス毎の予測係数を予め学習によって求めておくことを特徴とする請求項１に記載の画像情報変換装置。 - 上記第２のモードの場合において、
上記画像情報分割手段は、上記画像情報を複数種類のブロックへ分割し、
上記画像変換手段は、上記供給された画像情報を上記複数種類のブロック毎に変換し、
上記複数種類のブロックのうち、少なくとも１種類のブロックに対応する変換された画像情報を上記画像間引き手段に出力し、
上記比較判定手段は、上記複数種類のブロック毎に生成された画像情報を切り替えることを特徴とする請求項１に記載の画像情報変換装置。 - 高い解像度のディジタル画像情報からダウンコンバートされたディジタル画像情報を、再び高い解像度のディジタル画像情報へ変換するようにした画像情報変換方法において、
外部から供給された画像情報と生成対象の画像情報とが遠い位置関係にある第２のモードである場合に、上記外部から供給された画像情報を、同一フィールド内の画像情報でなる第１のブロックおよび複数のフィールド間の画像情報でなる第２のブロックへ分割する画像情報分割ステップと、
上記画像情報分割ステップにより分割された上記第１および第２のブロック毎に上記外部から供給された画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記第１および第２のブロック毎の上記画像情報が属する第１および第２のクラスが決定され、クラス検出情報を出力するクラス検出ステップと、
上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の画像情報へ変換するための情報である推定式の係数データが上記第１および第２のクラス毎に発生され、上記クラス検出ステップからの上記クラス検出情報に応じて上記係数データを出力する係数データ発生ステップと、
上記係数データ発生ステップから供給された上記係数データに応じて、上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の複数の画像情報へ変換して出力する画像変換ステップと、
上記画像変換ステップから供給された、上記高い解像度の画像情報をダウンコンバートする画像間引きステップと、
上記画像間引きステップから供給された画像情報を上記外部から供給された画像情報と比較し、その誤差の大きさの閾値に対する大小関係に応じて上記画像変換ステップで変換された上記複数の画像情報を切り換える比較判定ステップとを有し、
上記外部から供給された画像情報と生成対象の画像情報とが近い位置関係にある第１のモードである場合には、
上記画像情報分割ステップは、上記外部から供給された画像情報を、同一フィールド内の画像情報でなる第３のブロックへ分割し、
上記係数データ発生ステップは、上記分割された第３のブロックに基づき検出されたクラス情報に応じて係数データを出力し、
上記画像情報変換ステップは、上記分割された第３のブロックに基づき検出されたクラス情報に応じて出力された係数データを用いて、上記外部から供給された画像情報よりも高い解像度の一の画像情報へ変換して出力することを特徴とする画像情報変換方法。 - 上記係数データ発生ステップは、クラス毎の予測係数を格納するメモリステップを有し、
注目画素の空間的および／または時間的に近傍の複数の画素の値と予測係数の線形１次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするようなクラス毎の予測係数を予め学習によって求めておくことを特徴とする請求項４に記載の画像情報変換方法。 - 上記第２のモードの場合において、
上記画像情報分割ステップは、上記画像情報を複数種類のブロックへ分割し、
上記画像変換ステップは、上記供給された画像情報を上記複数種類のブロック毎に変換し、
上記複数種類のブロックのうち、少なくとも１種類のブロックに対応する変換された画像情報を上記画像間引きステップに出力し、
上記比較判定ステップは、上記複数種類のブロック毎に生成された画像情報を切り替えることを特徴とする請求項４に記載の画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20286394A JP3723995B2 (ja) | 1994-08-04 | 1994-08-04 | 画像情報変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20286394A JP3723995B2 (ja) | 1994-08-04 | 1994-08-04 | 画像情報変換装置および方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005218173A Division JP4062326B2 (ja) | 2005-07-28 | 2005-07-28 | 係数生成装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0851598A JPH0851598A (ja) | 1996-02-20 |
| JP3723995B2 true JP3723995B2 (ja) | 2005-12-07 |
Family
ID=16464451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20286394A Expired - Lifetime JP3723995B2 (ja) | 1994-08-04 | 1994-08-04 | 画像情報変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3723995B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6057885A (en) * | 1996-05-30 | 2000-05-02 | Sony Corporation | Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof |
| KR100537123B1 (ko) * | 1996-12-26 | 2006-02-28 | 소니 가부시끼 가이샤 | 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 |
| US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| KR100504415B1 (ko) * | 1996-12-26 | 2005-11-22 | 소니 가부시끼 가이샤 | 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체 |
| US6160845A (en) | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| KR100700982B1 (ko) * | 2005-05-24 | 2007-03-29 | 삼성전자주식회사 | 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법 |
-
1994
- 1994-08-04 JP JP20286394A patent/JP3723995B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0851598A (ja) | 1996-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO1994014278A1 (en) | Image signal converter | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JPH06178277A (ja) | 画像情報変換装置 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3767019B2 (ja) | 積和演算回路および方法 | |
| JPH07193791A (ja) | 画像情報変換装置 | |
| JPH0785287A (ja) | 予測符号化装置およびその復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050728 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080930 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130930 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |