JPH0851598A

JPH0851598A - 画像情報変換装置

Info

Publication number: JPH0851598A
Application number: JP20286394A
Authority: JP
Inventors: Masashi Uchida; 真史内田; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-04
Filing date: 1994-08-04
Publication date: 1996-02-20
Anticipated expiration: 2020-12-07
Also published as: JP3723995B2

Abstract

(57)【要約】【目的】外部から供給される通常の解像度の画像情報
を高解像度の画像情報へ変換することができる。【構成】ディジタル化されたＳＤデータが領域分割化
回路２において、複数の領域へ分割される。ＡＤＲＣ回
路３では、分割された領域毎にレベル分布のパターンが
検出され、クラスコード発生回路４において、検出され
たパターンに応じてクラスが検出され、そのクラスを示
すクラスコードがＲＯＭテーブル５へ供給される。ＲＯ
Ｍテーブル５では、予め学習により決定されているＨＤ
データへ変換するための係数データが供給されたクラス
コードに応じて読み出され、推定演算回路７へ供給され
る。推定演算回路７では、遅延回路６により所定時間遅
延されたＳＤデータとＲＯＭテーブル５から供給された
係数データにより垂直方向の補間がなされ、水平補間フ
ィルタ８において、水平方向の補間がなされる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば、テレビジョ
ン受像器やビデオテープレコーダ装置等に用いて好適な
画像情報変換装置に関し、特に、外部から供給される通
常の解像度の画像情報を高解像度の画像情報へ変換して
出力するような画像情報変換装置に関する。

【０００２】

【従来の技術】今日において、オーディオ・ビジュアル
指向の高まりから、より高解像度の画像を得ることが出
来るようなテープ受像器の開発が望まれ、この要望に応
えて、いわゆるハイビジョン方式が開発された。このハ
イビジョン方式は、いわゆるＮＴＳＣ方式に規定される
走査線が５２５本に対して、２倍以上の１１２５本とな
っているうえ、表示画面の縦横比もＮＴＳＣ方式が３：
４に対して、ハイビジョン方式は、９：１６と広角画面
になっている。このため、高解像度で臨場感のある画面
を得ることが出来るようになっている。

【０００３】しかしながら、このような優れた特性を有
するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像
信号をそのまま供給しても画像表示を行うことはできな
い。これは、上述のようにＮＴＳＣ方式とハイビジョン
方式とでは、規格が異なることが原因している。このた
め、ＮＴＳＣ方式の映像信号に応じたハイビジョン方式
で表示しようとする場合、従来は、例えば図８に示すよ
うな画像情報変換装置を用いて映像信号のレート変換を
行っていた。

【０００４】図８において、従来の画像情報変換装置
は、入力端子３１を介して供給されるＮＴＳＣ方式の映
像信号の水平方向の補間処理を行う水平補間フィルタ３
２と、水平方向の補間処理の行われた映像信号の垂直方
向の補間処理を行う垂直補間フィルタ３３とから構成さ
れ、水平方向、および垂直方向の補間処理がなされたＮ
ＴＳＣ方式の信号は、出力端子３４から取り出される。

【０００５】具体的には、水平補間フィルタ３２は、図
９に示すような構成を有しており、入力端子３１を介し
て供給されるＮＴＳＣ方式の映像信号は、入力端子４１
を介して、第１〜第ｍの乗算器４２〜４２m にそれぞれ
供給される。各乗算器４２は、それぞれ映像信号に係数
を乗算して出力する。係数の乗算された映像信号は、そ
れぞれ第１〜第ｍの加算器４３〜４３m-1 へ供給され
る。各加算器４３〜４３m-1 の間には、それぞれ時間Ｔ
の遅延レジスタ４４〜４４m が設けられている。そし
て、第ｍの乗算器４２m から出力された映像信号は、第
ｍの遅延レジスタ４４m により時間Ｔの遅延が施され、
第ｍ−１の加算器４３m-1 へ供給される。

【０００６】第ｍ−１の加算器４３m-1 は、第ｍの遅延
レジスタ４４m からの時間Ｔの遅延が施された映像信号
と、第ｍ−１の乗算器４２m-1 からの映像信号とを加算
処理して出力する。この加算処理の施された映像信号
は、第ｍ−１の遅延レジスタ４４m-1 により再度、時間
Ｔの遅延が施され、図示しない第ｍ−２の加算器４３m-
2 において、同じく図示しない第ｍ−２の乗算器４３m-
2 からの映像信号と加算処理される。水平補間フィルタ
３２は、このようにしてＮＴＳＣ方式の映像信号を出力
端子４５を介して、垂直補間フィルタ３３へ供給する。

【０００７】垂直補間フィルタ３３は、上述の水平補間
フィルタ３２と同様の構成を有しており、水平補間処理
の行われた映像信号に対して、垂直方向の画素の補間を
行う。これにより、ＮＴＳＣ方式の映像信号に対して、
垂直方向の画素の補間を行う。このような変換のなされ
たハイビジョン方式の映像信号は、ハイビジョン方式受
像器に供給される。これにより、ＮＴＳＣ方式の映像信
号に応じた画像をハイビジョン方式受像器で表示するこ
とができる。

【０００８】

【発明が解決しようとする課題】しかしながら、上述の
ように従来の画像情報変換装置は、ＮＴＳＣ方式の映像
信号を基にして、単に水平方向、および垂直方向の補間
を行っているに過ぎないため、解像度は基となるＮＴＳ
Ｃ方式の映像信号と何ら変わらなかった。特に、通常の
動画を変換対象とした場合、垂直方向の補間フィールド
内処理で行うのが一般的であるが、この場合、画像のフ
ィールド間相関を使用していないため、画像静止部にお
いてはＮＴＳＣ方式の映像信号よりも解像度が劣化する
欠点があった。

【０００９】これに対し、特開平５−３２８１８５号公
報に記載のディジタルデータ変換装置および方法では、
複数の入力データの分布状態に応じたクラス分けがさ
れ、各クラスに関するデータ変換、すなわちクラス情報
を出力データへ変換、またはクラス情報を出力データを
形成するためのパラメータに変換するマッピング表が使
用される。このマッピング表は、トレーニング用の種々
の絵柄の源画像を用いて予め形成されている。したがっ
て、このマッピング表によって、入力画像信号に含まれ
ない高解像度成分を復元することができる。

【００１０】また、特願平５−１７２６１７号に記載の
画像信号変換装置では、入力信号である画像信号レベル
の３次元（時空間）分布に応じてクラス分割を行い、ク
ラス毎に予め学習により獲得された予測係数値を格納し
た記憶手段を持ち、予測式に基づいた演算により最適な
推定値を出力する画像信号変換装置というものがある。

【００１１】この手法は、ＨＤ（High Difinition ）画
素を創造する場合、時間的、空間的な意味でその周辺に
存在する複数のＳＤ（Standerd Difinition ）画素デー
タをクラス分割し、それぞれのクラス毎に予測係数値を
学習により獲得することで画像静止部においてはフィー
ルド間、フレーム間等の時間方向の相関を利用し、また
動き部においてはフィールド内相関のみを利用すること
により真値に近いＨＤ画素値を得る、というような巧妙
なものである。

【００１２】すなわち、図１０において、ＳＤ画素ｘ₁
とＳＤ画素ｘ₂の差分値が小さい場合は、創造するべき
ＨＤ画素ｙ周辺の画像は静止している可能性が高い。そ
こで、画像信号変換装置では、空間位置の低いＳＤ画素
ｘ₁とＳＤ画素ｘ₂に重きをおいて、ＨＤ画素ｙを創造
する。一方、ＳＤ画素ｘ₁とＳＤ画素ｘ₂の差分値が大
きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動い
ている可能性が高い。そこで、画像信号変換装置では、
時間的に近いＳＤ画素ｘ₃とＳＤ画素ｘ₄に重きをおい
て、ＨＤ画素ｙを創造する。

【００１３】この手法によれば静止／動きの切り換わり
も実際の画像を用いて学習することにより滑らかに表現
できるので、従来の動き適応方式のように静止／動きの
切り換わりによる不自然さの発生を大幅に減少させるこ
とができる。

【００１４】しかしながら、上述の手法は、有限個のク
ラス分割により、動き情報と区間内の波形の二つを表現
する必要があり、クラスによっては、本来なら分離する
べきパターンが一つのクラス内に混在してしまう場合が
あった。

【００１５】例えば、図１０において、ＳＤ画素ｘ₁と
ＳＤ画素ｘ₂の差分値が小さい場合は、上述のようにそ
の周辺の画像は静止している可能性が非常に高いが、わ
ずかな可能性ではあるが実際には画像が動いている場合
がある。例えば、（ｋ−１）フィールドにのみ動き物体
が侵入している場合、また、ｋフィールドから（ｋ＋
２）フィールドの間で画像中の物体が動いているが、た
またまＳＤ画素ｘ₁とＳＤ画素ｘ₂の差分値が小さいこ
とにより、ＨＤ画素ｙは、画像信号変換装置では、空間
位置の近いＳＤ画素ｘ₁とＳＤ画素ｘ₂に重きをおい
て、創造される。したがって、この場合、創造されたＨ
Ｄ画素と真のＨＤ画素の誤差が大きいものとなり、復元
画像の品質の劣化が目立つことになる。

【００１６】この対応策として、クラス分割に用いる画
素数を増やして、クラス数を増加させることにより、復
元画像の品質劣化を低減する、という手法も考えられ
る。しかしながら、この手法によるとクラス数が非常に
大きなものになってしまい、その結果ハードウェア規模
の増加を招き、現実性に乏しい。

【００１７】したがって、この発明は、上述の問題点に
鑑みてなされたものであり、解像度を向上させてＮＴＳ
Ｃ方式の映像信号をハイビジョン方式の映像信号へ変換
することができるような画像情報変換装置の提供を目的
とする。

【００１８】

【課題を解決するための手段】この発明は、高い解像度
のディジタル画像信号からダウンコンバートされたディ
ジタル画像信号を、再び高い解像度のディジタル画像信
号へ変換するようにした画像情報変換装置において、外
部から供給された画像情報を複数のブロックへ分割する
画像情報分割手段と、画像情報分割手段により分割され
たブロック毎に外部から供給された画像情報のレベル分
布のパターンが検出され、検出されたパターンに基づい
て、ブロック毎の画像情報が属するクラスが決定され、
クラス検出情報を出力するクラス検出手段と、外部から
供給された画像情報を、外部から供給された画像情報よ
りも高い解像度の画像情報へ変換するための情報である
推定式の係数データがクラス毎に発生され、クラス検出
手段からのクラス検出情報に応じて係数データを出力す
る係数データ発生手段と、係数データ発生手段から供給
された係数データに応じて、外部から供給された画像情
報を、外部から供給された画像情報よりも高い解像度の
画像情報へ変換して出力する画像変換手段と、画像変換
手段から供給された、高い解像度の画像情報をダウンコ
ンバートする画像間引き手段と、画像間引き手段から供
給された画像情報を入力された画像情報と比較し、その
誤差の大きさに応じて適応的に出力信号を切り換える比
較判定手段とを有することを特徴とする画像情報変換装
置である。

【００１９】

【作用】この発明に係る画像情報変換装置は、ＨＤ信号
よりダウンコンバートされた入力ＳＤ信号が画像情報分
割手段により複数の領域に分割され、それぞれの領域毎
に画像情報のレベル分布のパターンを検出し、その検出
したパターンに基づいて、その領域の画像情報が属する
クラスを決定してクラス検出情報を出力する。係数デー
タ記憶手段には、外部から供給された画像情報をこの画
像情報よりも高い解像度の画像情報に変換するための情
報である線形推定式の係数データがクラス毎に記憶され
ており、この係数データは、クラス係数情報に応じて出
力される。そして、画像情報変換手段が係数データ記憶
手段から供給された係数データに応じて、外部から供給
された画像情報がその外部から供給された画像情報より
も高い解像度の画像情報へ変換される。変換されたＨＤ
信号は、ダウンコンバートされＳＤ信号へ変換され、入
力ＳＤ信号と比較される。その誤差が大きい場合は、画
素の推定において大きな誤差が発生していることを意味
するので、時空間モデルによる推定をフィールド内空間
モデルによる推定に置き換え出力する。

【００２０】

【実施例】以下、この発明に係る画像信号変換装置の実
施例について図面を参照しながら詳細に説明する。図１
は、この一実施例、すなわち画像信号変換装置の信号処
理の概略的構成を示す。１で示す入力端子から、外部か
ら供給される画像情報として、例えばいわゆるＮＴＳＣ
方式の映像信号がディジタル化され、ＳＤデータとして
供給される。

【００２１】この実施例における、ＳＤ画素と創造する
べきＨＤ画素の位置関係は、図２に示すとおりとする。
すなわち、同一フィールド内において、創造するべきＨ
Ｄ画素には、ＳＤ画素から近い位置に存在するＨＤ画素
ｙ₁と、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ₂
の２種類がある。以降、ＳＤ画素から近い位置に存在す
るＨＤ画素を推定するモードをモード１と称し、ＳＤ画
素から遠い位置に存在するＨＤ画素を推定するモードを
モード２と称する。

【００２２】領域分割化回路２では、入力端子１から供
給されたＳＤ画像信号を複数の領域に分割する。この実
施例では、モード１用に創造するべきＨＤ画素の例えば
上下各２画素ずつのＳＤ画素を、１画素×４ラインの計
４画素からなる領域に分割する。この領域をブロック１
と呼ぶことにする。ＨＤ画素ｙ１に対するブロック１の
ＳＤ画素は、図２におけるｘ₁、ｘ₂、ｘ₃、ｘ₄とな
る。

【００２３】一方、モード２用には２種類の領域分割が
行われる。まず、モード１と同様に創造するべきＨＤ画
素の例えば上下各２画素ずつのＨＤ画素を１画素×４ラ
インの計４画素からなる領域に分割する。この領域をブ
ロック２−１のＳＤ画素は、図２におけるｘ₁、ｘ₂、
ｘ₃、ｘ₄となる。

【００２４】さらに、モード２に対しては他のフィール
ドに属するＳＤ画素を含んだ４画素の領域分割がなされ
る。具体的には、例えば創造するべきＨＤ画素の上下各
１画素ずつのＨＤ画素それぞれ１画素がブロック化さ
れ、いわゆる、時空間構造を持った領域分割がなされ
る。この領域をブロック２−２と呼ぶことにする。ＨＤ
画素ｙ２に対するブロック２−２のＳＤ画素は、図３に
おけるｘ₁、ｘ₂、ｘ₃、ｘ₄となる。

【００２５】領域分割化回路２によりブロック化された
データが、ＡＤＲＣ回路３、および遅延回路６へ供給さ
れる。遅延回路６は、ＡＤＲＣ回路３、クラスコード発
生回路４、ＲＯＭテーブル５の処理に必要な時間だけデ
ータを遅延させて、推定演算回路７へ出力する。

【００２６】ＡＤＲＣ回路３は、領域毎に供給されるＳ
Ｄデータの１次元的、あるいは２次元的なレベル分布の
パターンを検出するとともに、上述のように各領域のデ
ータを、例えば８ビットのＳＤデータから２ビットのＳ
Ｄデータに圧縮するような演算を行うことによりパター
ン圧縮データを形成し、このパターン圧縮がクラスコー
ド発生回路４へ供給される。

【００２７】本来、ＡＤＲＣ（Adaptive Dynamic Range
Coding ）は、ＶＴＲ向け高能率符号化用に開発された
適応的再量子化法であるが、信号レベルの局所的なパタ
ーンを短い語長で効率的に表現できるため、この発明の
実施例では、信号パターンのクラス分類のコード発生に
使用している。ＡＤＲＣ回路３は、領域内のダイナミッ
クレンジをＤＲ、ビット割当をｎ、領域内画素のデータ
レベルをＬ、再量子化コードをＱ、として以下の式
（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮと
の間を指定されたビット長で均等に分割して再量子化を
行う。

【００２８】ＤＲ＝ＭＡＸ−ＭＩＮ＋１Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２ⁿ／ＤＲ｝（１）ただし、｛｝は切り捨て処理を意味する。

【００２９】この実施例では、領域分離化回路２により
分離されたそれぞれ４画素のＳＤデータを、各２ビット
に圧縮するものとする。圧縮されたＳＤデータを、それ
ぞれｑ₁〜ｑ₄とする。

【００３０】クラスコード発生回路４は、ＡＤＲＣ回路
３から供給されるパターン圧縮データに基づいて以下の
式（２）の演算を行うことにより、そのブロックが属す
るクラスを検出し、そのクラスを示すクラスコードclas
s がＲＯＭテーブル５へ供給される。このクラスコード
class は、ＲＯＭテーブル５からの読み出しアドレスを
示すものとなっている。

【００３１】

【数１】この実施例では、ｎは４、ｐは２である。

【００３２】ＲＯＭテーブル５には、ＳＤデータのパタ
ーンとＨＤデータの関係を学習することにより、線形推
定式を用いて、ＳＤデータに対応するＨＤデータを算出
するための係数データが各クラス毎に記憶さている。こ
れは、線形推定式によりＳＤデータをこの画像情報より
も高い解像度の画像情報である、いわゆるハイビジョン
方式の規格に合致したＨＤデータへ変換するための情報
である。

【００３３】この実施例において係数データは、モード
１とモード２のそれぞれ独立に用意され、さらにモード
２に関しては、ブロック２−１のデータを使用する場合
と、ブロック２−２のデータを使用する場合でそれぞれ
独立に係数データは、用意されている。なお、ＲＯＭテ
ーブル５に記憶されている係数データの作成方法につい
ては後述する。ＲＯＭテーブル５からは、クラスコード
class で示されるアドレスから、そのクラスの係数デー
タであるｗ_i（class ）が読み出される。この係数デー
タは、推定演算回路７へ供給される。

【００３４】推定演算回路７は、遅延回路６を介して、
領域分割化回路２から供給されるＳＤデータ、およびＲ
ＯＭテーブル５から供給される係数データであるｗ
_i（class ）に基づいて、入力されたＳＤデータに対応
するＨＤデータを算出する。推定演算回路７について
は、図４を用いて詳しく説明する。

【００３５】遅延回路６より供給されたＳＤデータとＲ
ＯＭテーブル５から供給された係数データは、まず初期
推定演算回路１１へ供給される。初期推定演算回路１１
は、モード１に関しては、ブロック１用の係数を用い
て、係数データであるｗ_i（class ）に基づいて、それ
ぞれ以下の式（３）に示す演算を行うことにより、入力
されたＳＤデータに対応するＨＤデータを算出する。ま
た、モード２のＨＤ画素に関しては、２種類のデータが
存在することになる。

【００３６】モード１のＨＤデータと、モード２のＨＤ
データのうちブロック２−２用の係数データを用いて作
成されたＨＤデータが、垂直間引きフィルタ１２へ供給
される。モード１のＨＤデータは、同時に水平補間フィ
ルタ８にも供給される。ブロック２−２用の係数データ
を用いて作成されたＨＤデータは、同時にスイッチ回路
１４へ供給される。ブロック２−１用の係数データを用
いて作成されたモード２のＨＤデータは、スイッチ回路
１４へ供給される。

【００３７】ｈｄ´＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋ｗ₄ｘ₄ （３）

【００３８】垂直間引きフィルタ１２は、後に詳しく説
明する垂直間引きフィルタ２２と同一のものであり、Ｈ
Ｄ画像信号の垂直方向の画素数をフィルタリングにより
ＳＤ画像信号の画素数に間引くものである。垂直間引き
フィルタ１２は、初期推定演算回路１１より供給された
ＨＤデータをダウンコンバートしてＳＤデータを作成し
て、比較判定回路１３へ出力する。

【００３９】比較判定回路１３には、垂直間引きフィル
タ１２により生成され、推定されたＨＤデータをダウン
コンバートして作成したＳＤデータと、遅延回路６から
供給されたＳＤデータが供給される。比較判定回路１３
では、遅延回路６から供給されたオリジナルのＳＤデー
タと、垂直間引きフィルタ１２から供給され、推定され
たＨＤデータをダウンコンバートすることによって作成
されたＳＤデータとの比較が行われる。

【００４０】遅延回路６から供給されたオリジナルのＳ
Ｄデータは、もともと垂直間引きフィルタ１２と同一の
フィルタにより、真のＨＤデータからダウンコンバート
されたものである。したがって、初期推定演算回路１１
により推定されたＨＤデータが真値と完全に一致するな
らば、遅延回路６から供給されたオリジナルのＳＤデー
タと、垂直間引きフィルタ１２から供給され、推定され
たＨＤデータとは、一致するはずである。しかしなが
ら、ＳＤデータからＨＤデータを完全に推定することは
事実上不可能であるから多少の誤差が発生することが一
般的である。

【００４１】しかしながら、比較判定回路１３で大きな
誤差が発生することがあり、この場合、誤差の発生した
ＳＤデータの近傍のＨＤデータを推定するときに大きな
誤差が発生した可能性が高い。

【００４２】今、モード１の画素の推定は完全フィール
ド内推定方式によって行われている。したがって、動き
等により極端な性能劣化は発生せず、モード１の画素の
推定においては大きな誤差が発生する可能性は低い。

【００４３】これに対してモード２の画素の推定は、時
空間のタップ構造を持つ推定方式によって行われてい
る。この構造を持つ推定方式は平均的には高い推定精度
を持つが、それほど多くないクラスにおいて、この推定
を行った場合、動画シーンを静止と判定ミスすることに
より非常に大きな誤差が発生することがある。

【００４４】よって、比較判定回路１３で大きな誤差が
発生した場合、誤差の発生したＳＤデータの近傍のモー
ド２におけるＨＤデータを推定するときに大きな誤差が
発生した可能性が高い、と言える。

【００４５】したがって、推定演算回路７においては、
モード２のＨＤデータ出力において、比較判定回路１３
に比較において、誤差がない、または小さい場合は、ブ
ロック２−２の画素、および係数データを用いた推定に
より算出されたＨＤデータを出力する。また、比較判定
回路１３の比較において、誤差が大きい場合はブロック
２−１の画素、および係数データを用いた推定により算
出されたＨＤデータを出力する。モード１のＨＤデータ
出力においては、常にブロック１の画素、および係数デ
ータを用いた推定により算出されたＨＤデータを出力す
る。

【００４６】具体的には、図５における、ＳＤデータｘ
₁とｘ₂における、オリジナルのＳＤデータと、推定さ
れたＨＤデータをダウンコンバートすることにより作成
されたＳＤデータの誤差が共にあるしきい値ＴＨを超え
る場合、モード２のＨＤデータｙにおける出力データ
は、ブロック２−１の画素、および係数データを用いた
推定により算出されたＨＤデータを用い、上述の条件に
当てはまらないときは、ブロック２−２の画素、および
係数データを用いた推定により算出されたＨＤデータを
用いる。

【００４７】水平補間フィルタ８は、図８の水平補間フ
ィルタ３３と同一なもので、補間処理により水平方向の
画素数を２倍にするものである。水平補間フィルタ８の
出力は、出力端子９を介して出力される。この出力端子
９を介して出力されるＨＤデータは、例えばＨＤテレビ
ジョン受像器やＨＤビデオテープレコーダ装置等に供給
される。

【００４８】このように、ＳＤデータに対応するＨＤデ
ータを推定するための係数データを各クラス毎に予め学
習により求めた上で、ＲＯＭテーブル５に記憶してお
き、入力されるＳＤデータ、およびＲＯＭテーブル５か
ら読み出した係数データに基づいて演算を行い、入力さ
れたＳＤデータに対応するＨＤデータを形成して出力す
ることにより、入力されるＳＤデータを単に補間処理し
たのとは異なり、実際のＨＤデータを出力することがで
きる。

【００４９】しかも、クラス分類を増やすことによって
改善しようとすると、クラス数が膨大なものになってし
まうが、この発明の手法によれば、モード２の推定によ
り従来の２倍のクラスが必要になるものを、総合的なク
ラス数としては従来の１．５倍のクラス数という充分実
用的なクラス数で大幅な画質改善を得ることができる。

【００５０】続いて、ＲＯＭテーブル５に格納される係
数データの作成方法について、図６を用いて説明する。
係数データを学習によって得るためには、まず、既に知
られているＨＤ画像に対応したＨＤ画像の１／４の画素
数のＳＤ画像を形成する。具体的には、図６に示す理想
フィルタ回路により、入力端子２１を介して供給される
ＨＤデータの垂直方向の画素を垂直間引きフィルタ２２
によりフィールド内の垂直方向の周波数が１／２になる
ように間引き処理され、さらに水平間引きフィルタ２３
により、ＨＤデータの水平方向の画素を間引き処理する
ことにより、ＳＤデータを得る。垂直間引きフィルタ２
３により得られたＳＤデータは、領域分割化回路２４へ
供給される。

【００５１】領域分割化回路２４では、水平間引きフィ
ルタ２３から供給されたＳＤ画像信号を複数の領域に分
割される。具体的には領域分割化回路２４は、先に説明
した領域分割化回路２と同一の働きをするものである。
この実施例では、領域分割化回路２と同じく、各４画素
からなる領域に分割される。すなわち、モード１に対し
てはブロック１の領域の領域分割を行い、モード２に関
しては、ブロック２−１とブロック２−２の２種類の領
域分割が行われる。この領域毎のＳＤデータがＡＤＲＣ
回路２５、および正規方程式加算回路２７へ供給され
る。

【００５２】ＡＤＲＣ回路２５は、領域毎に供給される
ＳＤデータの１次元的、あるいは２次元的なレベル分布
のパターンを検出すると共に、上述のように各領域の全
てのデータ、あるいは一部のデータを、例えば８ビット
のＳＤデータから２ビットのＳＤデータに圧縮するよう
な演算を行うことによりパターン圧縮データを形成し、
このパターン圧縮データをクラスコード発生回路２６へ
供給する。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ
回路３と同一のものであり、この実施例では、領域分割
化回路２４により分離された、４画素からなる各領域の
ＳＤデータ（図２、図３におけるｘ₁〜ｘ₄）を、ＡＤ
ＲＣにより各２ビットに圧縮するものとする。

【００５３】クラスコード発生回路２６は、先に説明し
たクラスコード発生回路４と同一のものであり、ＡＤＲ
Ｃ回路２５から供給されるパターン圧縮データに基づい
て式（２）の演算を行うことにより、そのブロックが属
するクラスを検出し、そのクラスを示すクラスコードcl
ass を出力するものである。クラスコード発生回路２６
は、クラスコードclass を正規方程式加算回路２７へ出
力する。

【００５４】ここで、正規方程式加算回路２７の説明の
ために、複数個のＳＤ画素からＨＤ画素への変換式の学
習とその予測式を用いた信号変換について述べる。説明
のために画素をより一般化してｎ画素による予測を行う
場合について以下に説明する。ＳＤ画素レベルをそれぞ
れｘ₁、‥‥、ｘ_nとして、それぞれにｐビットＡＤＲ
Ｃを行った結果、再量子化データをｑ₁、‥‥、ｑ_nと
する。このとき、この領域のクラスコードclass を式
（２）で定義する。

【００５５】上述のように、ＳＤ画素レベルをそれぞ
れ、ｘ₁、‥‥、ｘ_nとし、ＨＤ画素レベルをｙとした
とき、クラス毎に係数データｗ₁、‥‥、ｗ_nによるｎ
タップの線形推定式を設定する。これを式（４）に示
す。ここで、学習前はｗ_iが未定係数である。

【００５６】ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋ｗ₄ｘ₄ （４）

【００５７】学習は、クラス毎に複数の信号データに対
して行う。データ数がｍの場合、式（４）にしたがっ
て、式（５）が設定される。

【００５８】ｙ＝ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋ｗ₃ｘ_j3＋ｗ₄ｘ_j4 （５）（ｊ＝１、２、‥‥、ｍ）

【００５９】ｍ＞ｎの場合、係数データｗ₁、‥‥ｗ_n
は一意に決まらないので、誤差ベクトルｅの要素を式
（６）で定義し、式（７）を最小にする係数データを求
める。いわゆる、最小自乗法による解法である。

【００６０】ｅ_j＝ｙ_j−｛ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋ｗ₃ｘ_j3＋ｗ₄ｘ_j4｝（６）（ｊ＝１、２、‥‥、ｍ）

【００６１】

【数２】

【００６２】ここで、式（７）のｗ_iによる偏微分係数
を求める。それは式（８）を `０'にするように各ｗ_i
を求めればよい。

【００６３】

【数３】

【００６４】以下、式（９）、（１０）のように、
Ｘ_ji、Ｙ_iを定義すると式（８）は、行列を用いて式
（１１）へ書き換えられる。

【００６５】

【数４】

【００６６】

【数５】

【００６７】

【数６】

【００６８】この方程式は、一般に正規方程式と呼ばれ
ている。正規方程式加算回路２７は、クラスコード発生
回路２６から供給されたクラスコードclass 、領域分割
化回路２４から供給されたＳＤデータｘ₁、‥‥、
ｘ_n、入力端子２１から供給されたＳＤデータに対応し
たＨＤ画素レベルｙを用いて、この正規方程式の加算を
行う。

【００６９】すべてのトレーニングデータの入力が終了
した後、正規方程式加算回路２７は、予測係数決定回路
２８に正規方程式データを出力する。予測係数決定回路
２８は、正規方程式を掃き出し法等の一般的な行列解放
を用いて、ｗ_iについて解き、予測係数を算出する。予
測係数決定回路２８は、算出された予測係数をメモリ２
９へ書き込む。

【００７０】以上のようにトレーニングを行った結果、
メモリ２９には、量子化データｑ₁〜ｑ₄で規定される
パターン毎に、注目ＨＤデータｙを推定するための統計
的にもっとも真値に近い画素の推定が生成できる予測係
数が格納される。このメモリ２９に格納されたテーブル
が、この発明の画像信号変換装置において使用されるＲ
ＯＭテーブル５である。以上の処理により、線形推定式
によりＳＤデータからＨＤデータを作成するための係数
データの学習が終了する。

【００７１】ここで、図７は、この発明に係る推定演算
回路内の比較判定部分の他の実施例を示す。入力端子３
１からモード１のＨＤデータ、すなわちブロック１用の
係数データを用いて作成されたＨＤデータが供給され、
入力端子３２からモード２のＨＤデータのうちブロック
２−２用の係数データを用いて作成されたＨＤデータが
供給され、入力端子３３からモード２のＨＤデータのう
ちブロック２−１用の係数データを用いて作成されたＨ
Ｄが供給される。

【００７２】ブロック１用の係数データを用いて作成さ
れたＨＤデータは、垂直間引き回路３４、および３５へ
供給され、間引き処理がなされる。この垂直間引き回路
３４、および３５は、上述の垂直間引き回路１２と同じ
機能を有する。ブロック２−１用の係数データを用いて
作成されたＨＤデータは、垂直間引き回路３４へ供給さ
れ、ブロック２−２用の係数データを用いて作成された
ＨＤデータは、垂直間引き回路３５へ供給され、それぞ
れ間引き処理がなされる。

【００７３】垂直間引き回路３４において、間引き処理
されたモード１のＨＤデータと、モード２のＨＤデータ
のうちブロック２−１の係数データを用いて作成された
ＨＤデータとが比較回路３６へ供給され、誤差が検出さ
れる。検出された誤差は、判定回路３８へ供給される。
同様に垂直間引き回路３５において、間引き処理された
モード１のＨＤデータと、モード２のＨＤデータのうち
ブロック２−２の係数データを用いて作成されたＨＤデ
ータとが比較回路３６へ供給され、誤差が検出される。
検出された誤差は、判定回路３８へ供給される。

【００７４】判定回路３８では、モード１のＨＤデータ
に対して、モード２の２種類のＨＤデータの何方の誤差
が小さいかが判定され、判定結果に基づいて、スイッチ
３９は、制御される。判定回路３８において、モード１
のＨＤデータとブロック２−２の係数データを用いて作
成されたＨＤデータとの誤差に比べて、モード１のＨＤ
データとブロック２−１の係数データを用いて作成され
たＨＤデータとの誤差が小さいと判定された場合、ブロ
ック２−１の画素、およびブロック２−１の係数データ
を用いて作成されたＨＤデータがスイッチ３９により選
択され、出力端子４０から取り出される。

【００７５】また、判定回路３８において、モード１の
ＨＤデータとブロック２−１の係数データを用いて作成
されたＨＤデータとの誤差に比べて、モード１のＨＤデ
ータとブロック２−２の係数データを用いて作成された
ＨＤデータとの誤差が小さいと判定された場合、ブロッ
ク２−２の画素、およびブロック２−２の係数データを
用いて作成されたＨＤデータがスイッチ３９により選択
され、出力端子４０から取り出される。

【００７６】なお、実施例の説明では、情報圧縮手段と
して、ＡＤＲＣを設けることにしたが、これはほんの一
例でであり、信号波形のパターンの少ないクラスで表現
できるような情報圧縮手段であれば何を設けるかは自由
であり、例えば、ＤＰＣＭ（予測符号化）やＶＱ（ベク
トル量子化）等の圧縮手段を用いてもよい。

【００７７】さらに、実施例の説明では、簡単のため水
平方向のアップコンバージョンに水平補間フィルタ９を
用いたが、このかわりに、水平方向のアップコンバージ
ョン用のＲＯＭを用意し、水平方向のアップコンバージ
ョンにおいても推定式を用いた方式を採ることも勿論可
能である。

【００７８】さらに、実施例の説明では、領域分割化回
路４により、信号波形のパターンを１次元的に分割して
表現したが、２次元的な分割にしてもよい。

【００７９】

【発明の効果】従来、提案されている方式の時空間構造
のクラス分類を行うことによる推定方式は、動きのミス
マッチにより推定画像において破綻が発生することがあ
った。この発明の手法は、推定されたＨＤ画像をダウン
コンバートし、オリジナルのＳＤ画像と比較し、大きな
推定誤差があるか否かを判断するため、大きな推定誤差
の可能性が高い場合には、時空間モデルによる推定をフ
ィールド内のモデルによる推定に置き換えることによっ
て破綻を軽減し、画質を大幅に向上させることができ
る。

【図面の簡単な説明】

【図１】この発明に係る画像情報変換装置の一実施例を
示すブロック図である。

【図２】ＳＤデータとＨＤデータの位置関係、およびク
ラス分割に使用するデータを説明するための略線図であ
る。

【図３】クラス分割に使用するデータを説明するための
略線図である。

【図４】この発明に係る画像情報変換装置の一実施例を
示すブロック図である。

【図５】推定演算回路の動作を説明するための略線図で
ある。

【図６】補正データテーブルを作成するときの説明のた
めのブロック図である。

【図７】この発明に係る画像情報変換装置の他の実施例
を示すブロック図である。

【図８】従来の画像情報変換装置の一例を示すブロック
図である。

【図９】従来の画像情報変換装置の要部の一例を示すブ
ロック図である。

【図１０】ＳＤデータとＨＤデータの位置関係、および
従来の時空間クラス分割方式の問題点を説明するための
略線図である。

【符号の説明】

２領域分割化回路３ＡＤＲＣ回路４クラスコード発生回路５ＲＯＭテーブル６遅延回路７推定演算回路８水平補間フィルタ

Claims

【特許請求の範囲】

【請求項１】高い解像度のディジタル画像信号からダ
ウンコンバートされたディジタル画像信号を、再び高い
解像度のディジタル画像信号へ変換するようにした画像
情報変換装置において、外部から供給された画像情報を複数のブロックへ分割す
る画像情報分割手段と、上記画像情報分割手段により分割されたブロック毎に上
記外部から供給された画像情報のレベル分布のパターン
が検出され、検出された上記パターンに基づいて、ブロ
ック毎の上記画像情報が属するクラスが決定され、クラ
ス検出情報を出力するクラス検出手段と、上記外部から供給された画像情報を、上記外部から供給
された画像情報よりも高い解像度の画像情報へ変換する
ための情報である推定式の係数データが上記クラス毎に
発生され、上記クラス検出手段からの上記クラス検出情
報に応じて上記係数データを出力する係数データ発生手
段と、上記係数データ発生手段から供給された上記係数データ
に応じて、上記外部から供給された画像情報を、上記外
部から供給された画像情報よりも高い解像度の画像情報
へ変換して出力する画像変換手段と、上記画像変換手段から供給された、上記高い解像度の画
像情報をダウンコンバートする画像間引き手段と、上記画像間引き手段から供給された画像情報を入力され
た画像情報と比較し、その誤差の大きさに応じて適応的
に出力信号を切り換える比較判定手段とを有することを
特徴とする画像情報変換装置。
【請求項２】請求項１に記載の画像情報変換装置にお
いて、上記画像情報分割手段において、上記外部から供給され
た画像情報を第１のモードおよび／または第２のモード
のブロックへ分割するモード分割手段と、上記モード分割手段の上記第２のモードは、同一フィー
ルド内および／または複数のフィールド間のブロックへ
分割するフィールド分割手段とを有することを特徴とす
る画像情報変換装置。
【請求項３】請求項１に記載の画像情報変換装置にお
いて、上記係数データ発生手段は、クラス毎の予測係数を格納
するメモリ手段を有し、注目画素の空間的および／または時間的に近傍の複数の
画素の値と予測係数の線形１次結合によって、上記注目
画素の値を作成した時に、作成された値と上記注目画素
の真値との誤差を最小とするようなクラス毎の予測係数
を予め学習によって求めておくことを特徴とする画像情
報変換装置。