JP4042121B2 - 画像情報処理装置及び画像情報処理方法 - Google Patents

Description

本発明は画像情報処理装置及び画像情報処理方法に関し、特に通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用して好適なものである。

従来、オーデイオビジユアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジヨン受像器が望まれ、これに応えて、いわゆるハイビジヨン方式のテレビジヨン受像器が開発された。このハイビジヨン方式では走査線数が、いわゆるＮＴＳＣ方式の映像信号で規定される走査線数が 525本なのに対して、２倍以上の1125本となつているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：16と広角画面になつている。これにより高解像度で劇場のような臨場感のある画面を得ることができる。

ここでこのような優れた特性を有するハイビジヨン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは上述したようにＮＴＳＣ方式とハイビジヨン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジヨン方式で表示しようとする場合には、従来画像情報変換装置を用いて映像信号のレートを変換していた。

すなわちこの画像情報変換装置は、図６に示すように、入力端子１００を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フイルタ１０１と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フイルタ１０２とから構成されている。実際上水平補間フイルタ１０１は、図７に示すようなデイジタルフイルタで構成されており、ＮＴＳＣ方式の映像信号が入力端子１１０を介して、第１〜第ｍの乗算器１１１〜１１１ｍにそれぞれ供給される。各乗算器１１１はそれぞれ入力される映像信号に係数α０〜αｍを乗算して出力する。

この結果係数α０〜αｍが乗算された映像信号は、それぞれ第１〜第ｍの加算器１１２〜１１２ｍ−１に供給される。各加算器１１２〜１１２ｍ−１の間には、それぞれ時間Ｔの遅延レジスタ１１３〜１１３ｍが設けられている。そして第ｍの乗算器１１１ｍから出力された映像信号は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延され、第ｍ−１の加算器１１２ｍ−１に供給される。第ｍ−１の加算器１１２ｍ−１は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延された映像信号と、第ｍ−１の乗算器１１１ｍ−１からの映像信号とを加算して出力する。

このように加算された映像信号は、第ｍ−１の遅延レジスタ１１３ｍ−１で再度時間Ｔだけ遅延され、第ｍ−２の加算器１１２ｍ−２（図示せず）において第ｍ−２の乗算器１１２ｍ−２（図示せず）からの映像信号と加算される。水平補間フイルタ１０１は、このようにしてＮＴＳＣ方式の映像信号の水平方向について補間して、出力端子１２０を介して垂直補間フイルタ１０２に供給する。

垂直補間フイルタ１０２は、水平補間フイルタ１０１と同様にデイジタルフイルタで構成されており、水平補間された映像信号に対して、垂直方向の画素の補間を行う。このようにしてＮＴＳＣ方式の映像信号よりハイビジヨン方式の映像信号に応じたレートの映像信号を得るようになされ、この映像信号がハイビジヨン方式の受像器に供給される。これによりＮＴＳＣ方式の映像信号に応じた画像をハイビジヨン方式の受像器で表示し得るようになされている。

ところが上述した画像情報変換装置においては、ＮＴＳＣ方式の映像信号を基にして、単に水平方向及び垂直方向を補間しているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかつた。特に通常の動画を変換対象とした場合、垂直方向の補間をフイールド内処理で行うのが一般的であるが、この場合には、画像のフイールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があつた。

これに対して、画像情報変換装置として、入力信号である画像信号レベルを３次元すなわち時空間分布に応じてクラス分割し、クラス毎に予め学習によつて獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方法を用いたものがある（特願平5-172617号）。

この方法では、ハイビジヨン方式（以下、高解像度を示すＨＤ（high definition ）と呼ぶ）の画素を創造する場合、時間的及び空間的な意味でその周辺に存在する複数のＮＴＳＣ方式（以下、標準解像度を示すＳＤ（standard definition ）と呼ぶ）の画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフイールド間、フレーム間等の時間方向の相関を利用し、また画像動き部においては、フイールド内相関のみを利用することにより、真値に近いＨＤ画素値を得るものである。

実際上、図８にＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。この図においてＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、創造すべきＨＤ画素ｙの周辺の画像は静止している可能性が高い。そこで画像情報変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙを創造する。一方ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が大きい場合は、創造すべきＨＤ画素ｙの周辺の画像は動いている可能性が高い。そこで画像情報変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいてＨＤ画素ｙを創造する。

この方法によれば、静止／動きの切り替わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り替わりによる不自然さの発生を大幅に減少させることができる。ところがこの方法では、有限個のクラス分割により、動き情報と空間内の波形の２つを表現する必要があり、クラスによつては本来なら分離すべきパターンが１つのクラス内に混在してしまう場合があつた。

例えば、図８において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば（ｋ＋１）フイールドにのみ動き物体が侵入している場合、またｋフイールドから（ｋ＋２）フイールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1 とＳＤ画素ｘ2 のデータが近い値をとつた場合などである。

このような場合も、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さいことにより、画像情報変換装置では空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙが創造される。従つてこの場合創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、変換画像に画質の劣化が目立つことになる。この対策として、クラス分割に用いる画素数を増やしてクラス数を増加させることにより、変換画像の画質の劣化を低減することが考えられる。

ところがこのようにすると、クラス数が非常に大きくなり、その分ハードウエア規模が増加して実現が困難になる。また上述した方法では３フイールド分のデータを使用するためにハードウエア規模が大きくなる欠点がある。また必ずしも動きと静止が完全に分離できていない現状では、シーンチエンジの発生した場合に、変換画像の画質がさらに著しく劣化する場合があり、全体として変換画像の画質の点で実用上未だ不十分であつた。

本発明は以上の点を考慮してなされたもので、通常の解像度の画像情報を高解像度の画像情報に変換する際に簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置を提案しようとするものである。

かかる課題を解決するため本発明においては、映像信号でなる第１の画像情報を、より解像度の高い映像画像信号でなる第２の画像情報に変換する画像情報処理装置において、第２の画像情報中の注目画素について、第１の画像情報の連続する２フィールド内の画素のうち当該注目画素の時間的及び空間的な周辺に位置し、２フィールド内でそれぞれ垂直方向に連続した一列の複数画素からなる周辺画素群を選択する周辺画素群選択手段と、周辺画素選択手段により選択された周辺画素群に応じて第１の画像情報のレベル分布の局所的なパターンを検出し、当該検出したパターンに基づいて周辺画素群が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、第１の画像情報を、当該第１の画像情報より解像度の高い第２の画像情報に変換するための情報である推定式の係数データがクラス毎に記憶され、クラス検出手段からのクラス検出情報に応じて係数データを出力する係数データ記憶手段と、係数データ記憶手段から供給された係数データに応じて注目画素を生成することで、第１の画像情報を第２の画像情報に変換して出力する画像変換手段とを設け、周辺画素選択手段は、第２の画像情報中の注目画素と第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択するようにする。

また本発明においては、映像信号でなる第１の画像情報を、より解像度の高い映像画像信号でなる第２の画像情報に変換する画像情報処理装置において、第２の画像情報中の注目画素について、第１の画像情報の連続する２フィールド内の画素のうち当該注目画素の時間的及び空間的な周辺に位置し、２フィールド内でそれぞれ垂直方向に連続した一列の複数画素からなる周辺画素群を選択する周辺画素群選択手段と、周辺画素選択手段により選択された周辺画素群に応じて第１の画像情報のレベル分布の局所的なパターンを検出し、当該検出したパターンに基づいて周辺画素群が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、第１の画像情報を、当該第１の画像情報より解像度の高い第２の画像情報に変換するための情報である代表値がクラス毎に記憶され、クラス検出手段からのクラス検出情報に応じて代表値を出力する代表値記憶手段と、代表値記憶手段から供給された代表値に応じて注目画素を生成することで、第１の画像情報を第２の画像情報に変換して出力する画像変換手段とを設け、周辺画素選択手段は、第２の画像情報中の注目画素と第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択するようにする。

本発明によれば、第２の画像情報中の注目画素と第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択するようにしたことにより、第２の画像情報中の注目画素を生成するために必要な周辺画素群を注目画素毎に適切に選択することができ、その結果、フレーム間の相関を利用した予測演算により注目画素を予測的に生成するような手間をかけなくても、連続する２フィールド内から選択した周辺画素群から画質劣化の少ない注目画素を容易に生成することができ、かくして、簡易な構成で、変換後の画像の画質の劣化を未然に防止し得る画像情報処理装置を実現できる。

以下図面について、本発明の一実施例を詳述する。

（１）実施例の画像情報変換装置
図１は全体として、本発明による画像情報処理装置としての画像情報変換装置を示し、入力端子１を通じて外部から供給される画像情報として、ＮＴＳＣ方式の映像信号がデイジタル化されＳＤデータとして入力される。この画像情報変換装置におけるＳＤ画素と創造すべきＨＤ画素の位置関係を図２に示す。すなわち創造すべきＨＤ画素には、同一フイールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。この実施例では、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１とし、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２とする。

領域分割化回路２は、入力端子１より供給されたＳＤデータを複数の領域に分割する。この実施例では創造すべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を、１画素×６ラインの計６画素からなる領域に分割する。モード１に関しては、図３に示すように、ＨＤ画素ｙ1 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク１とする。またモード２に関しては、図４に示すように、ＨＤ画素ｙ2 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク２とする。なお図２〜図４では、ＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。

このようにして領域分割化回路２によりブロツク化されたＳＤデータは、ＡＤＲＣ（adaptive dynamic range coding）回路３及び遅延回路（ＤＬ）６に供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４及びリードオンリメモリ（ＲＯＭ）テーブル５の処理に必要な時間だけＳＤデータを遅延させて推定演算回路７に出力する。ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路４に供給する。

ここでＡＤＲＣは、本来ビデオテープレコーダ（ＶＴＲ）向けの高能率符号化用に開発された適応的再量子化法だが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この実施例ではＡＤＲＣの手法を用いて信号パターンをクラス分類するためのコードを発生している。ＡＤＲＣ回路３は、領域内のダイナミツクレンジをＤＲ、ビツト割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして、次式

によつて、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等に分割して再量子化を行う。なお（１）式において、[ ]は切り捨て処理を意味する。この実施例では、領域分離化回路２により分離されたそれぞれの６画素のＳＤデータを各２ビツトに圧縮する。このように圧縮されたＳＤデータを、それぞれｑ1 〜ｑ6 とする。

クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて、次式

の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル５に供給する。このクラスコードclass は、ＲＯＭテーブル５からの読み出しアドレスを示すものとなつている。

実際上ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いてそのＳＤデータに対応するＨＤデータを算出するための係数データが、各クラス毎に記憶されている。これは線形推定式によりＳＤデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジヨン方式の規格に合致したＨＤデータに変換するための情報である。この実施例において係数データは、モード１とモード２で独立に用意される。なおＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは推定演算回路７に供給される。

推定演算回路７は、遅延回路６を介して領域分割化回路２から供給されるＳＤデータ及びＲＯＭテーブル５から供給される係数データであるｗi(class)に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。実際上推定演算回路７は、遅延回路６より供給されたＳＤデータとＲＯＭテーブル５より供給された係数データにより、モード１に関してはブロツク１用の係数を用い、モード２に関してはブロツク２用の係数を用いて、係数データであるｗi(class)に基づいて、それぞれ次式

の演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは水平補間フイルタ８に供給される。

水平補間フイルタ８は、従来について上述した図６の水平補間フイルタ１０２と同様に構成されており、補間処理により水平方向の画素数を２倍にするものである。水平補間フイルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジヨン受像器やＨＤビデオテープレコーダ装置等に供給される。

以上の構成によれば、ＳＤデータに対応するＨＤデータを推定するための係数データを、各クラス毎に予め学習により求めた上でＲＯＭテーブル５に記憶し、入力されるＳＤデータ及びＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理した場合に比較して、実際のデータにより近いＨＤデータに変換することができる。

さらに上述の構成によれば、従来について上述した画像情報をクラス分けする方法が、１フレーム間データの差分を用いて動きを表現していたのに対して、１フレーム内の垂直方向に連続する２フイールドの複数の画素のみを領域分割してクラス分類するようにしたことにより、連続する複数の画素を使用して動きを表現することができる。例えば図３におけるＨＤ画素ｙ1 を推定するためのブロツク１のＳＤ画素ｘ1 〜ｘ6 を、２ビツトＡＤＲＣした結果の量子化データｑ1 〜ｑ6 が順に、２、０、２、０、２、０、であつた場合、動き画像である可能性が非常に高いが、このように連続する複数の画素を使用して動きを表現するため、従来よりも高い精度で動きを表現できる。

さらに上述の構成によれば、推定に同一フレームに属するデータ以外の画素を用いないため、合計３フイールドのデータを使用する従来の画像情報変換装置に比較してハードウエア的な負担が軽減され、またシーンチエンジが発生した場合でも変換画像の画質が劣化するおそれを未然に防止し得る。

（２）ＲＯＭテーブルの作成方法
ここでＲＯＭテーブル５に格納される係数データの作成方法について、図５を用いて説明する。この係数データを学習によつて得るためには、まず既に知られているＨＤ画像に対応して、このＨＤ画像の１／４の画素数のＳＤ画像を形成する。実際上、図５に示す理想フイルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフイルタ２２によりフイールド内の垂直方向の周波数が１／２になるように間引きし、さらに水平間引きフイルタ２３により、このＨＤデータの水平方向の画素を間引きしてＳＤデータを得る。

この結果得られるＳＤデータは、領域分割化回路２４に供給され、複数の領域に分割される。この領域分割化回路２４は、図１の画像情報変換装置の領域分割化回路２と同じ構成のものであり、ＳＤデータを各６画素からなる領域に分割する。すなわちモード１に対してはブロツク１の領域の領域分割を行い、モード２に関してはブロツク２の領域分割を行う。この領域毎のＳＤデータをＡＤＲＣ回路２５及び正規方程式加算回路２７に供給する。

ＡＤＲＣ回路２５は領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のすべてのデータ又は一部のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６に供給する。ＡＤＲＣ回路２５は、図１のＡＤＲＣ回路３と同じ構成のものである。この領域分割化回路２４により分離された、６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ1 〜ｘ6 ）を、ＡＤＲＣにより各２ビツトに圧縮する。

クラスコード発生回路２６も、図１のクラスコード発生回路４と同じ構成のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて（２）式の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスclass を示すクラスコードを出力する。クラスコード発生回路２６は、クラスコードを正規方程式加算回路２７に出力する。

ここで正規方程式加算回路２７の説明として、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では説明のために画素をより一般化してｎ画素による予測を行う場合について述べる。ＳＤ画素レベルをそれぞれｘ1 、……ｘn として、それぞれにｐビツトＡＤＲＣを行つた結果の再量子化データをｑ1 、……ｑn とする。このときこの領域のクラスclass を、上述した（２）式で定義する。

上述のようにＳＤ画素レベルをそれぞれｘ1 、……ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 、……ｗn によるｎタツプの線形推定式を設定する。これを次式

に示す。学習前はｗi が未定係数であり、学習はクラス毎に複数の信号データに対して行う。データ数がｍの場合（４）式にしたがつて、次式

が設定される。なおｍ＞ｎの場合は、ｗ1 、……ｗn は一意に決まらないので、誤差ベクトルｅの要素を次式

で定義して、次式

を最小にする係数を求める。いわゆる最小二乗法による解法である。

ここで（７）式のｗi による偏微分係数を求める。それは次式

を０にするように、各ｗi を求めればよい。以下次式

及び次式

のように、Ｘji及びＹi を定義すると、上述した（８）式は行列を用いて、次式

に書き換えられる。

この方程式は一般に正規方程式と呼ばれている。正規方程式加算回路２７は、クラスコード発生回路２６から供給されたクラスコード、領域分割化回路２４より供給されたＳＤデータｘ1 、……ｘn 、入力端子２１より供給されたＳＤデータに対応するＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。

すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９に書き込む。

以上のようにトレーニングを行つた結果、メモリ２９には、量子化データｑ1、……ｑ6 で規定されるパターン毎に、注目ＨＤデータｙを推定するための、統計的にもつとも真値に近い推定ができる予測係数が格納される。このメモリ２９に格納されたテーブルが、図１について上述した画像情報変換装置において使用されるＲＯＭテーブル５である。以上の処理によつて、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。

（３）他の実施例
なお上述の実施例においては、ＡＤＲＣによる圧縮符号化の方法を用いて画像データの情報を圧縮してクラス分類した場合について述べたが、圧縮の方法はこれに限らず、画像データの情報を信号波形のパターンの少ないクラスで表現できるような圧縮符号化であればどのような方法を用いるようにしたも良く、例えば差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）や離散コサイン変換（ＤＣＴ）等の種々の方法が考えられる。

また上述の実施例においては、説明の簡略化のため、水平方向についての画像情報の変換を水平補間フイルタを用いるようにしたが、これに代え、水平方向の画像情報の変換用のＲＯＭテーブルを用意し、水平方向についても推定式を用いて画像情報を変換するようにしても良い。

また上述の実施例においては、領域分割化回路により、信号波形のパターンを１次元的に分割して表現したが、これに代え、信号波形のパターンを２次元的に分割して表現するようにしても上述の実施例と同様の効果を実現できる。

また上述の実施例においては、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。因に、異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フイールドに属するもののみとすることが望ましい。

また上述の実施例においては、画像情報を変換する際に、ＲＯＭテーブルに記憶されている係数データを用いた場合について述べたが、これに代え、ＲＯＭテーブルにクラス分類に応じた重心法による代表値を記憶することにより、推定演算を施すことなくＨＤデータを補間するようにしても良い。

また上述の実施例においては、本発明をＮＴＳＣ方式の映像信号をハイビジヨン方式の映像信号に変換する場合について述べたが、本発明はこれに限らず、第１の画像情報の解像度を、この第１の画像情報の解像度より高解像度の第２の画像情報に変換する場合に広く適用し得る。

また上述の実施例においては、本発明を画像情報変換装置として単独で機能するものとして説明したが、本発明による画像情報変換装置はこれに限らず、例えばテレビジヨン受像器、ビデオテープレコーダ装置、コンピユータ装置等に内蔵されたり周辺装置として付加されるようにしても良い。

本発明の画像情報処理装置及び画像情報処理方法は、通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用することができる。

本発明による画像情報変換装置の一実施例の構成を示すブロツク図である。 本発明による画像情報変換の前提としてＳＤデータとＨＤデータの位置関係を示す略線図である。 クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。 クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。 ＲＯＭテーブルの作成方法の説明に供するブロツク図である。 従来の画像情報変換装置のブロツク図である。 図６の画像情報変換装置の水平補間フイルタの構成を示す接続図である。 従来の時空間クラス分割による画像情報変換の説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。

符号の説明

１、２１、１００、１１０……入力端子、２、２４……領域分割化回路、３、２５……ＡＤＲＣ回路、４、２６……クラスコード発生回路、５……ＲＯＭテーブル、６……遅延回路、７……推定演算回路、８、１０１……水平補間フイルタ、９、１０３、１２０……出力端子、２２……垂直間引きフイルタ、２３……水平間引きフイルタ、２７……正規方程式加算回路、２８……予測係数決定回路、２９……メモリ、１０２……垂直補間フイルタ、１１１……乗算器、１１２……加算器、１１３……遅延レジスタ。

Claims (10)

1. 映像信号でなる第１の画像情報を、より解像度の高い映像画像信号でなる第２の画像情報に変換する画像情報処理装置において、
   上記第２の画像情報中の注目画素について、上記第１の画像情報の連続する２フィールド内の画素のうち当該注目画素の時間的及び空間的な周辺に位置し、２フィールド内でそれぞれ垂直方向に連続した一列の複数画素からなる周辺画素群を選択する周辺画素群選択手段と、
   上記周辺画素選択手段により選択された上記周辺画素群に応じて上記第１の画像情報のレベル分布の局所的なパターンを検出し、当該検出したパターンに基づいて上記周辺画素群が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
   上記第１の画像情報を、当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である推定式の係数データが上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記係数データを出力する係数データ記憶手段と、
   上記係数データ記憶手段から供給された上記係数データに応じて上記注目画素を生成することで、上記第１の画像情報を上記第２の画像情報に変換して出力する画像変換手段と
   を具え、
   上記周辺画素選択手段は、
   上記第２の画像情報中の注目画素と上記第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択する
   ことを特徴とする画像情報処理装置。
2. 上記連続する２フィールドは、
   同一フレーム内のフィールドである
   ことを特徴とする請求項１に記載の画像情報処理装置。
3. 上記クラス検出手段は、
   上記周辺画素群選択手段により選択された上記周辺画素群毎に、圧縮符号化に応じた手法を用いて上記レベル分布のパターンを検出して上記クラスを決定するようにした
   ことを特徴とする請求項１に記載の画像情報処理装置。
4. 上記位置関係は、
   上記第２の画像情報中の注目画素と上記第１の連続する２フィールド内の画素との時間的及び空間的な距離に応じて決まる
   ことを特徴とする請求項１に記載の画像情報処理装置。
5. 映像信号でなる第１の画像情報を、より解像度の高い映像画像信号でなる第２の画像情報に変換する画像情報処理装置において、
   上記第２の画像情報中の注目画素について、上記第１の画像情報の連続する２フィールド内の画素のうち当該注目画素の時間的及び空間的な周辺に位置し、２フィールド内でそれぞれ垂直方向に連続した一列の複数画素からなる周辺画素群を選択する周辺画素群選択手段と、
   上記周辺画素選択手段により選択された上記周辺画素群に応じて上記第１の画像情報のレベル分布の局所的なパターンを検出し、当該検出したパターンに基づいて上記周辺画素群が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
   上記第１の画像情報を、当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である代表値が上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記代表値を出力する代表値記憶手段と、
   上記代表値記憶手段から供給された上記代表値に応じて上記注目画素を生成することで、上記第１の画像情報を上記第２の画像情報に変換して出力する画像変換手段と
   を具え、
   上記周辺画素選択手段は、
   上記第２の画像情報中の注目画素と上記第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択する
   ことを特徴とする画像情報処理装置。
6. 上記連続する２フィールドは、
   同一フレーム内のフィールドである
   ことを特徴とする請求項５に記載の画像情報処理装置。
7. 上記クラス検出手段は、
   上記周辺画素群選択手段により選択された上記周辺画素群毎に、圧縮符号化に応じた手法を用いて上記レベル分布のパターンを検出して上記クラスを決定するようにした
   ことを特徴とする請求項５に記載の画像情報処理装置。
8. 上記位置関係は、
   上記第２の画像情報中の注目画素と上記第１の連続する２フィールド内の画素との時間的及び空間的な距離に応じて決まる
   ことを特徴とする請求項５に記載の画像情報処理装置。
9. 映像信号でなる第１の画像情報を、より解像度の高い映像画像信号でなる第２の画像情報に変換する画像情報処理方法において、
   上記第２の画像情報中の注目画素について、上記第１の画像情報の連続する２フィールド内の画素のうち当該注目画素の時間的及び空間的な周辺に位置し、２フィールド内でそれぞれ垂直方向に連続した一列の複数画素からなる周辺画素群を選択する第１のステップと、
   選択した上記周辺画素群に応じて上記第１の画像情報のレベル分布の局所的なパターンを検出し、当該検出したパターンに基づいて上記周辺画素群が属するクラスを決定してクラス検出情報を出力する第２のステップと、
   上記第１の画像情報を当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である推定式の係数データが上記クラス毎に記憶された係数データ記憶手段から、上記クラス検出情報に応じて上記係数データを出力する第３のステップと、
   上記係数データ記憶手段から供給された上記係数データに応じて上記注目画素を生成することで、上記第１の画像情報を上記第２の画像情報に変換して出力する第４のステップと
   を具え、
   上記第１のステップでは、
   上記第２の画像情報中の注目画素と上記第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択する
   ことを特徴とする画像情報処理方法。
10. 映像信号でなる第１の画像情報を、より解像度の高い映像画像信号でなる第２の画像情報に変換する画像情報処理方法において、
    上記第２の画像情報中の注目画素について、上記第１の画像情報の連続する２フィールド内の画素のうち当該注目画素の時間的及び空間的な周辺に位置し、２フィールド内でそれぞれ垂直方向に連続した一列の複数画素からなる周辺画素群を選択する第１のステップと、
    選択した上記周辺画素群に応じて上記第１の画像情報のレベル分布の局所的なパターンを検出し、当該検出したパターンに基づいて上記周辺画素群が属するクラスを決定してクラス検出情報を出力する第２のステップと、
    上記第１の画像情報を当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である代表値が上記クラス毎に記憶された代表値記憶手段から、上記クラス検出情報に応じて上記代表値を出力する第３のステップと、
    上記係数データ記憶手段から供給された上記代表値に応じて上記注目画素を生成することで、上記第１の画像情報を上記第２の画像情報に変換して出力する第４のステップと
    を具え、
    上記第１のステップでは、
    上記第２の画像情報中の注目画素と上記第１の画像情報の連続する２フィールド内の画素との位置関係に応じて異なる周辺画素群を選択する
    ことを特徴とする画像情報処理方法。

Images