JPH05167993A - 解像度補償可能な画像変換装置 - Google Patents

Abstract

(57)【要約】 【目的】低解像度の入力画像信号から高周波成分を創り
出し、解像度の劣化を伴わずに高解像度の出力画像信号
を得る。 【構成】入力端子１には、ＳＤ（標準解像度）ビデオ信
号が供給される。このＳＤビデオ信号がブロック化回路
２によって、（２×２）のブロック構造に変換され、メ
モリ３のアドレス入力とされる。メモリ３には、予め作
成されたマッピング表が格納されており、メモリ３から
（４×４）のブロック構造の出力画像信号（ＨＤビデオ
信号）が読み出される。この出力画像信号がブロック分
解回路４により、ラスター走査の順序に変換されて出力
端子５に取り出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば標準解像度の
テレビジョン信号を高解像度のテレビジョン信号に変換
するアップコンバージョンに適用可能な解像度補償可能
な画像変換装置に関する。

【０００２】

【従来の技術】標準解像度あるいは低解像度（これらを
ＳＤと略称する）画像を高解像度（ＨＤと略称する）画
像に変換するアップコンバージョン、電子ズーム、また
は画像の拡大においては、補間フィルタによって、不足
している画素のデータを補償することがなされている。

【０００３】

【発明が解決しようとする課題】しかしながら、フィル
タによる補間で得られた出力画像の解像度が劣化する問
題がある。例えば図５中で斜線で示すのは、ＳＤのビデ
オ信号の帯域であり、このビデオ信号をフィルタで補間
してＨＤのテレビジョン信号を形成しても、入力ＳＤ信
号中に存在していないＨＤ成分（高周波成分）が復元さ
れない。その結果、出力画像の解像度が低下する。

【０００４】従って、この発明の目的は、高解像度成分
を復元することができ、解像度補償可能な画像変換装置
を提供することにある。

【０００５】

【課題を解決するための手段】この発明は、第１の解像
度の第１のディジタル画像信号の順序をブロック構造に
変換するブロック回路（２）と、マッピング表が格納さ
れてなり、ブロック構造に変換された第１のディジタル
画像信号がアドレスとして供給され、マッピング表に従
って第１の解像度に比してより高い第２の解像度を有す
る第２のディジタル画像信号が読み出されるメモリ
（３）と、メモリ（３）の出力信号の順序を元のものに
変換するためのブロック分解回路（４）とからなり、マ
ッピング表は、同一画像に対して、解像度の異なる２枚
の画像を形成し、２枚の画像をそれぞれブロック構造に
変換し、２枚の画像のそれぞれのブロック間の相関関係
を表すように、予め複数の絵柄でトレーニングして形成
されていることを特徴とする解像度補償可能な画像変換
装置である。

【０００６】

【作用】マッピング表は、トレーニング用の種々の絵柄
の源画像を用いて、二つの画像信号の相関を示すものと
して形成されている。従って、このマッピング表によっ
て、入力画像信号に含まれない高解像度成分を復元する
ことができる。

【０００７】

【実施例】以下、この発明の一実施例について説明す
る。この一実施例は、ＳＤビデオ信号をＨＤビデオ信号
にアップコンバージョンする例である。図１において、
１で示す入力端子にディジタルのＳＤビデオ信号が供給
される。このＳＤビデオ信号の例は、ＳＤＶＴＲの再生
信号、放送信号等である。ブロック化回路２によって、
ＳＤビデオ信号が通常のラスター走査の順序からブロッ
クの順序に変換される。

【０００８】ブロック化回路２の出力に、図２に示すよ
うに、（２×２×８ビット＝３２ビット）のブロック５
ｓに変換されたビデオ信号が発生する。この３２ビット
がメモリ３にアドレスとして供給される。メモリ３に
は、後述のように、ＳＤ画像とＨＤ画像との相関に基づ
いたマッピング表が格納されている。このメモリ３は、
例えば不揮発性ＲＡＭで構成される。

【０００９】メモリ３からは、図２に示すように、（４
×４×８ビット）のブロック５ｈのビデオ信号が読み出
される。このブロック５ｈが１画面（１フィールドある
いは１フレーム）中で占める位置は、入力画像のブロッ
ク５ｓのそれと同一とされる。より具体的には、出力画
像が供給されるＨＤ用のモニタのアスペクト比が（１
６：９）であるため、入力画像の例えば左上コーナのブ
ロック５ｓと対応する出力ブロック５ｈは、左上コーナ
より内側の上側の画像ブロックとして使用される。従っ
て、（４：３）のアスペクト比のＳＤ画像から得られる
出力画像は、ＨＤ用モニタに供給しても、その画面の両
側の情報が不足する。この左右両側の不足情報は、ブラ
ンキング部分としても良く、あるいは補間しても良い。
但し、この処理は、この発明の要旨と直接的に関係しな
いので、その詳細についての説明は、省略する。

【００１０】メモリ３から読み出された出力画像データ
がブロック分解回路４に供給され、データの順序がラス
ター走査の順に変換される。ブロック分解回路４からの
出力画像データが出力端子５に取り出される。この出力
端子５には、Ｄ／Ａ変換器（図示せず）を介してＨＤ用
モニタが接続される。出力画像の画素数は、入力ＳＤビ
デオ信号の画素数の４倍であって、ＨＤ用モニタによっ
て、ＨＤ画像を再生できる。

【００１１】メモリ３に格納されるマッピング表を作成
のための構成の一例を図３に示す。図３中で、１１で示
す入力端子にディジタルのＨＤビデオ信号が供給され
る。このＨＤビデオ信号は、マッピング表の作成を考慮
した標準的な信号であることが好ましく、例えば種々の
絵柄の静止画像からなる信号を採用できる。実際には、
標準的な画像をＨＤビデオカメラにより撮像することに
よって、あるいは撮像信号をＨＤＶＴＲに記録すること
によって、ＨＤビデオ信号を得ることができる。さら
に、予め変換出力として得ようとするＨＤビデオ信号が
分かっている時には、汎用性が要請されないので、源Ｈ
Ｄビデオ信号を使用してマッピング表が作成される。

【００１２】このＨＤビデオ信号がブロック化回路１２
に供給される。このブロック化回路１２は、ラスター走
査の順序のビデオ信号を（４×４×８ビット）のブロッ
クの構造に変換する。ブロック化回路１２の出力信号か
ら解像度が異なる２つの信号が形成される。その一つ
は、元のＨＤビデオ信号と同一の解像度の信号であっ
て、遅延回路１３の出力に得られる。他の信号は、ＳＤ
のビデオ信号であって、ローパスフィルタ１４およびサ
ブサンプリング回路１５により形成される。ローパスフ
ィルタ１４は、２次元ディジタルフィルタであって、折
返し歪みを防止するために、水平および垂直方向の帯域
制限を行う。サブサンプリング回路１５は、水平方向の
画素数および垂直方向の画素数がそれぞれ半分に減少す
るように、サンプリングを行う。従って、サブサンプリ
ング回路１５からのＳＤビデオ信号の１ブロックは、
（２×２×８ビット＝３２ビット）のデータである。

【００１３】サブサンプリング回路１５からのＳＤビデ
オ信号がメモリ２０および度数メモリ２１に対してそれ
らのアドレスとして供給される。メモリ２０は、２³²の
アドレス空間を有し、各アドレスに対して、（４×４×
８ビット＝１２８ビット）のデータが書き込まれる。度
数メモリ２１も、メモリ２０と同一のアドレス空間を有
しているが、各アドレスへ書き込まれるデータは、度数
である。すなわち、メモリ２１の読み出し出力が加算器
２２に供給され、＋１され、加算器２２の出力がメモリ
２１の同一アドレスに書き込まれる。メモリ２０および
２１は、初期状態として各アドレスの内容がゼロにクリ
アされる。

【００１４】メモリ２０から読み出された１２８ビット
のデータが乗算器２３に供給され、度数メモリ２１から
読み出された度数と乗算される。乗算器２３の出力が加
算器２４に供給され、加算器２４にて遅延回路１３から
の入力データと加算される。加算器２４の出力が割算器
２５に被除数として供給される。割算器２５には、加算
器２２の出力が除数として供給される。この割算器２５
の出力（商）がメモリ２０の入力データとされる。

【００１５】上述の図３の構成では、ＳＤビデオ信号の
１ブロックと対応するあるアドレスＡｉが最初にアクセ
スされる時には、メモリ２０および２１の読み出し出力
が０であるため、ＨＤビデオ信号の１ブロックのデータ
Ｘ１がそのままメモリ２０に書き込まれ、メモリ２１の
対応するアドレスの値が１とされる。若し、その後で、
このアドレスが再びアクセスされると、加算器２２の出
力が２であり、加算器２４の出力が（Ｘ１＋Ｘ２）（Ｘ
２は、遅延回路１３の出力）である。従って、割算器２
５の出力が（Ｘ１＋Ｘ２）／３であり、これがメモリ２
０に書き込まれる。一方、度数メモリ２１には、度数２
が書き込まれる。更に、その後で、上述のアドレスがア
クセスされると、同様の動作によって、メモリ２０のデ
ータが（Ｘ１＋Ｘ２＋Ｘ３）／３に更新され、度数も３
に更新される。

【００１６】上述の動作を所定期間で行うことによっ
て、メモリ２０には、同一ビデオ信号から形成されたＨ
Ｄビデオ信号のブロックとＳＤビデオ信号のブロックと
の間の相関を示すマッピング表が蓄えられる。言い換え
れば、ＳＤビデオ信号のブロックのデータのパターンが
与えられた時に、そのパターンに平均的に対応が取れた
ＨＤビデオ信号のブロックのパターンを出力するマッピ
ング表が形成できる。このマッピング表が図１の構成の
メモリ３内に格納される。

【００１７】上述のマッピング表の作成の処理におい
て、実際には、メモリ２０の全てのアドレスにデータを
書き込むことができず、データが０のアドレスが生じう
る。その場合には、周辺アドレスの非０のデータから予
測されたデータで補間がなされる。この補間のための構
成の一例を図４に示す。

【００１８】図４で、メモリ３０は、上述のように作成
されたマッピング表が格納されているメモリである。メ
モリ３０のアドレス入力として、カウンタ３１および３
２からの３２ビットのアドレスの一方が切り替え回路３
３を介して選択的に供給される。カウンタ３１のクロッ
ク入力には、入力端子３４からのクロックＣＫがゲート
回路３５を介して供給される。カウンタ３１からのアド
レスが切り替え回路３３、アドレスメモリ３６および比
較回路３７に供給される。カウンタ３２には、入力端子
３８からのクロックＣＫが供給され、その出力が切り替
え回路３３および比較回路３７に供給される。また、カ
ウンタ３２には、アドレスメモリ３６の出力がプリセッ
ト入力として供給される。

【００１９】メモリ３０の出力データが非ゼロ検出回路
３９およびバッファメモリ（ラッチでも良い）４０に供
給され、また、ゲート回路４１を介して補間データ形成
回路４２に供給される。補間データ形成回路４２は、バ
ッファメモリ４０の出力、ゲート回路４１の出力、カウ
ンタ３１の出力、アドレスメモリ３６の出力を受け取
り、ゼロデータに代わる補間データを形成する。この補
間データがメモリ３０のデータ入力とされる。

【００２０】非ゼロ検出回路３９の検出信号がフリップ
フロップ４３にそのセット入力として供給される。さら
に、この検出信号は、ゲート回路４１のオン／オフの制
御、バッファメモリ４０およびアドレスメモリ３６の書
き込み／読み出しの制御、カウンタ３２の制御に使用さ
れる。

【００２１】カウンタ３１の出力およびカウンタ３２の
出力を比較する比較回路３７の出力がカウンタ３２のク
リア端子とフリップフロップ４３のリセット端子とに供
給される。フリップフロップ４３の出力信号によって、
ゲート回路３５のオン／オフ、切り替え回路３３の制
御、およびメモリ３０の書き込みが制御される。

【００２２】上述の図４の補間データ形成の構成の動作
を説明するために、メモリ３０に格納されているデータ
の一部が下記のものであると想定する。

【表１】

【００２３】まず、カウンタ３１がクロックＣＫによっ
て、インクリメントされ、順次発生するアドレス信号が
切り替え回路３３を介してメモリ３０に供給される。メ
モリ３０からの読み出しデータが非ゼロ検出回路３９に
供給される。読み出しデータが非ゼロの場合、すなわ
ち、トレーニング画像によってデータが得られている場
合には、バッファメモリ４０の内容を読み出すととも
に、メモリ３０の出力を新たにバッファメモリ４０に書
き込む。これと共に、ゲート４１をオンとし、メモリ３
０の出力が補間データ形成回路４２に供給される。

【００２４】上述の例のように、メモリ３０のアドレス
Ａ５のデータＤ５が読み出されたタイミングを考える
と、これは非ゼロであるため、非ゼロ検出回路３９の検
出信号によって、バッファメモリ４０から以前の非ゼロ
のデータＤ２が読み出され、バッファメモリ４０には、
データＤ５が書き込まれる。このデータＤ５は、ゲート
回路４１を介して補間データ形成回路４２に供給され
る。補間データ形成回路４２には、データＤ２も供給さ
れる。

【００２５】一方、その時のメモリ３０のアドレス入力
は、Ａ５であるため、これが非ゼロの検出信号によっ
て、アドレスメモリ３６に書き込まれる。アドレスメモ
リ３６からは、その前に記憶されていたアドレスＡ２が
読み出される。これらのアドレスＡ２およびＡ５が補間
データ形成回路４２に供給され、アドレスＡ２およびＡ
５を参照して、データＤ２およびＤ５からその間のアド
レスＡ３、Ａ４のゼロデータに代わるべき補間データが
形成される。

【００２６】この例では、距離に応じた重み付け平均値
を補間データとして形成している。すなわち、アドレス
Ａ２とＡ５との間の距離を３とし、アドレスＡ３の補間
データは、（２・Ｄ２＋Ｄ５）／３として求められ、ア
ドレスＡ４の補間データは、（Ｄ２＋２・Ｄ５）／３と
して求められる。補間データの形成方法としては、これ
以外に、カーブフィッティング、高次補間等を使用して
も良い。

【００２７】また、アドレスメモリ３６からのアドレス
Ａ２が非ゼロ検出信号によって、カウンタ３２にロード
され、カウンタ３２の出力がクロックＣＫによって、ア
ドレスＡ３、Ａ４を順次発生する。カウンタ３２の出力
がＡ５に達すると、比較回路３７が一致出力を発生す
る。この一致出力によって、カウンタ３２がクリアされ
るともに、フリップフロップ４３がリセットされる。

【００２８】フリップフロップ４３がセットされている
期間では、切り替え回路３３がカウンタ３２からのアド
レス（Ａ３、Ａ４）を選択し、メモリ３０が書き込みモ
ードとされる。従って、補間データ（２・Ｄ２＋Ｄ５）
／３および（Ｄ２＋２・Ｄ５）／３がメモリ３０のアド
レスＡ３、Ａ４にそれぞれ書き込まれる。この期間で
は、ゲート回路３５がオフとされ、カウンタ３１のイン
クリメントが停止される。

【００２９】フリップフロップ４３がリセットされてい
る期間では、ゲート回路３５がオンし、切り替え回路３
３がカウンタ３１からのアドレスを選択し、メモリ３０
が読み出しモードとされる。そして、上述と同様の動作
がなされる。

【００３０】なお、上述の一実施例は、ＳＤビデオ信号
をＨＤビデオ信号にアップコンバージョンする例である
が、これ以外に、画像の拡大に対しても、この発明は、
同様に適用できる。

【００３１】

【発明の効果】この発明によれば、低解像度画像と高解
像度画像との相関を利用して、高解像度成分を復元する
ので、標準ビデオ信号を高解像度画像に変換してＨＤモ
ニタ上に表示できる。また、解像度の劣化を伴わずに、
画像を任意の大きさに拡大することができる。さらに、
解像度の劣化無しに、画像を間引き圧縮することができ
る。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】ブロック構造の説明のための略線図である。

【図３】マッピング表を作成するための構成の一例のブ
ロック図である。

【図４】マッピング表を作成する時のデータの補間のた
めの構成の一例のブロック図である。

【図５】従来技術の説明のための略線図である。

【符号の説明】 １ ＳＤビデオ信号の入力端子 ３ マッピング表が格納されているメモリ ５ ＨＤビデオ信号の出力端子

Claims (1)

【特許請求の範囲】
1. 【請求項１】 第１の解像度の第１のディジタル画像信
   号の順序をブロック構造に変換する手段と、 マッピング表が格納されてなり、上記ブロック構造に変
   換された第１のディジタル画像信号がアドレスとして供
   給され、上記マッピング表に従って上記第１の解像度に
   比してより高い第２の解像度を有する第２のディジタル
   画像信号が読み出されるメモリと、 上記メモリの出力信号の順序を元のものに変換するため
   のブロック分解手段とからなり、 上記マッピング表は、同一画像に対して、解像度の異な
   る２枚の画像を形成し、上記２枚の画像をそれぞれブロ
   ック構造に変換し、上記２枚の画像のそれぞれのブロッ
   ク間の相関関係を表すように、予め複数の絵柄でトレー
   ニングして形成されていることを特徴とする解像度補償
   可能な画像変換装置。