JPH05167992A

JPH05167992A - 解像度補償可能な画像変換装置

Info

Publication number: JPH05167992A
Application number: JP3352299A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-12-13
Filing date: 1991-12-13
Publication date: 1993-07-02
Anticipated expiration: 2017-04-30
Also published as: JP3278880B2

Abstract

(57)【要約】【目的】少ないメモリ容量でもって、低解像度の入力画
像信号から高周波成分を創り出し、解像度の劣化を伴わ
ずに高解像度の出力画像信号を得る。【構成】入力端子１には、ＳＤ（標準解像度）ビデオ信
号が供給される。このＳＤビデオ信号がブロック化回路
２によって、（２×２）のブロック構造に変換され、Ａ
ＤＲＣエンコーダ６で圧縮される。ブロック毎にダイナ
ミックレンジＤＲ、最小値ＭＩＮが得られ、そのブロッ
クの画素毎にビット数が圧縮されたコード信号ＤＴが得
られる。このコード信号ＤＴがメモリ３のアドレス入力
とされる。メモリ３には、予め作成されたマッピング表
が格納されており、メモリ３から（４×４）のブロック
構造のコード信号が読み出され、コード信号に量子化ス
テップが乗算され、乗算出力に最小値ＭＩＮが加算さ
れ、データが復元される。この復元データがブロック分
解回路４により、ラスター走査の順序に変換されて出力
端子５に取り出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば標準解像度の
テレビジョン信号を高解像度のテレビジョン信号に変換
するアップコンバージョンに適用可能な解像度補償可能
な画像変換装置に関する。

【０００２】

【従来の技術】標準解像度あるいは低解像度（これらを
ＳＤと略称する）画像を高解像度（ＨＤと略称する）画
像に変換するアップコンバージョン、電子ズーム、また
は画像の拡大においては、補間フィルタによって、不足
している画素のデータを補償することがなされている。

【０００３】

【発明が解決しようとする課題】しかしながら、フィル
タによる補間で得られた出力画像の解像度が劣化する問
題がある。例えば図５中で斜線で示すのは、ＳＤのビデ
オ信号の帯域であり、このビデオ信号をフィルタで補間
してＨＤのテレビジョン信号を形成しても、入力ＳＤ信
号中に存在していないＨＤ成分（高周波成分）が復元さ
れない。その結果、出力画像の解像度が低下する。

【０００４】従って、この発明の目的は、高解像度成分
を復元することができ、解像度補償可能な画像変換装置
を提供することにある。この発明の他の目的は、マッピ
ング表の作成とそれが格納されるメモリの容量の低減を
図ることができる画像変換装置を提供することにある。

【０００５】

【課題を解決するための手段】この発明は、第１の解像
度の第１のディジタル画像信号の順序をブロック構造に
変換するブロック回路（２）と、ブロック構造に変換さ
れた第１のディジタル画像信号をブロック単位で圧縮す
る符号化回路（６）と、マッピング表が格納されてな
り、符号化回路（６）の出力信号がアドレスとして供給
され、マッピング表に従って、第１の解像度に比してよ
り高い第２の解像度を有する第２のディジタル画像信号
の符号化信号が読み出されるメモリ（３）と、メモリ
（３）の出力信号が供給され、符号化信号を復号する復
号回路（８、９、１０）と、復号回路（８、９、１０）
の出力信号の順序を元のものに変換するためのブロック
分解回路（４）とからなり、マッピング表は、同一画像
に対して、解像度の異なる２枚の画像を形成し、２枚の
画像をそれぞれブロック構造に変換するとともに、符号
化し、２枚の画像のそれぞれの符号化されたブロック間
の相関関係を表すように、予め複数の絵柄でトレーニン
グして形成されていることを特徴とする解像度補償可能
な画像変換装置である。

【０００６】

【作用】マッピング表は、トレーニング用の種々の絵柄
の源画像を用いて、二つの画像信号の相関を示すものと
して形成されている。従って、このマッピング表によっ
て、入力画像信号に含まれない高解像度成分を復元する
ことができる。さらに、マッピング表は、解像度の異な
る二つの画像信号のブロック毎に符号化したものの相関
を示すものとされる。この結果、マッピング表が格納さ
れるメモリ３の容量、並びにマッピング表の作成のため
のメモリの容量を低減できる。

【０００７】

【実施例】以下、この発明の一実施例について説明す
る。この一実施例は、ＳＤビデオ信号をＨＤビデオ信号
にアップコンバージョンする例である。図１において、
１で示す入力端子にディジタルのＳＤビデオ信号が供給
される。このＳＤビデオ信号の例は、ＳＤＶＴＲの再生
信号、放送信号等である。ブロック化回路２によって、
ＳＤビデオ信号が通常のラスター走査の順序からブロッ
クの順序に変換される。

【０００８】ブロック化回路２の出力に、図２に示すよ
うに、（２×２×８ビット＝３２ビット）のブロック５
ｓに変換されたビデオ信号が発生する。ブロック化回路
２の出力信号がＡＤＲＣエンコーダ６に供給される。Ａ
ＤＲＣ（ダイナミックレンジに適応した符号化）は、本
願出願人の提案にかかわるもので、ブロック内の複数画
素が空間的な相関を有することを利用して、各画素のビ
ット数を８ビットから例えば４ビットに圧縮するもので
ある。

【０００９】ＡＤＲＣエンコーダ６は、ブロックの画素
データの最大値ＭＡＸ、その最小値ＭＩＮ、（ＭＡＸ−
ＭＩＮ＝ＤＲ）で表されるダイナミックレンジＤＲを検
出する回路と、ダイナミックレンジＤＲを２⁴等分し
て、量子化ステップを発生する回路と、最小値ＭＩＮを
減算することで、そのブロックの画素データを正規化す
る減算回路と、減算回路の出力を量子化ステップで割算
する、すなわち、再量子化する量子化回路とを含む。Ａ
ＤＲＣエンコーダ６からは、ブロック毎のダイナミック
レンジＤＲ、最小値ＭＩＮ、各画素と対応する４ビット
のコード信号ＤＴとが出力される。

【００１０】このＡＤＲＣエンコーダ６の出力信号中の
コード信号ＤＴ（１ブロックで１６ビット）がメモリ３
にアドレスとして供給される。メモリ３には、後述のよ
うに、ＳＤ画像とＨＤ画像との間の符号化出力の相関に
基づいたマッピング表が格納されている。このメモリ３
は、例えば不揮発性ＲＡＭで構成される。

【００１１】メモリ３からは、図２に示すように、（４
×４×４ビット）のブロック５ｈの符号化されたビデオ
信号が読み出される。このブロック５ｈが１画面（１フ
ィールドあるいは１フレーム）中で占める位置は、入力
画像のブロック５ｓのそれと同一とされる。より具体的
には、出力画像が供給されるＨＤ用のモニタのアスペク
ト比が（１６：９）であるため、入力画像の例えば左上
コーナのブロック５ｓと対応する出力ブロック５ｈは、
左上コーナより内側の上側の画像ブロックとして使用さ
れる。従って、（４：３）のアスペクト比のＳＤ画像か
ら得られる出力画像は、ＨＤ用モニタに供給しても、そ
の画面の両側の情報が不足する。この左右両側の不足情
報は、ブランキング部分としても良く、あるいは補間し
ても良い。但し、この処理は、この発明の要旨と直接的
に関係しないので、その詳細についての説明は、省略す
る。

【００１２】ＡＤＲＣエンコーダ６の符号化出力中のダ
イナミックレンジＤＲおよび最小値ＭＩＮが遅延回路７
に供給される。遅延回路７の出力に現れるダイナミック
レンジＤＲが割算回路８に供給され、２⁴＝１６で除算
される。従って、割算回路８からは、そのブロックの量
子化ステップが得られる。

【００１３】メモリ３から読み出された出力画像信号の
ブロックのコード信号が乗算器９に供給される。この乗
算器９には、量子化ステップが供給され、従って、乗算
器９からは、最小値除去後のデータが復元できる。この
乗算器９の出力信号が加算器１０に供給され、遅延回路
７からの最小値ＭＩＮが加算される。従って、加算器１
０からは、ＨＤビデオ信号の（４×４×８ビット）の復
元データが得られる。この復元データがブロック分解回
路４に供給され、データの順序がラスター走査の順に変
換される。ブロック分解回路４からの出力画像データが
出力端子５に取り出される。この出力端子５には、Ｄ／
Ａ変換器（図示せず）を介してＨＤ用モニタが接続され
る。出力画像の画素数は、入力ＳＤビデオ信号の画素数
の４倍であって、ＨＤ用モニタによって、ＨＤ画像を再
生できる。

【００１４】メモリ３に格納されるマッピング表を作成
のための構成の一例を図３に示す。図３中で、１１で示
す入力端子にディジタルのＨＤビデオ信号が供給され
る。このＨＤビデオ信号は、マッピング表の作成を考慮
した標準的な信号であることが好ましく、例えば種々の
絵柄の静止画像からなる信号を採用できる。実際には、
標準的な画像をＨＤビデオカメラにより撮像することに
よって、あるいは撮像信号をＨＤＶＴＲに記録すること
によって、ＨＤビデオ信号を得ることができる。さら
に、予め変換出力として得ようとするＨＤビデオ信号が
分かっている時には、汎用性が要請されないので、源Ｈ
Ｄビデオ信号を使用してマッピング表が作成される。

【００１５】このＨＤビデオ信号がブロック化回路１２
に供給される。このブロック化回路１２は、ラスター走
査の順序のビデオ信号を（４×４×８ビット）のブロッ
クの構造に変換する。ブロック化回路１２の出力信号か
ら解像度が異なり、また、ＡＤＲＣで符号化されてなる
２つの信号が形成される。その一つは、元のＨＤビデオ
信号と同一の解像度の信号を最小値除去、量子化したも
のであって、遅延回路１３、減算器１７、割算器１８お
よび１９によって形成される。減算器１７には、ＡＤＲ
Ｃエンコーダ１６からの最小値ＭＩＮが供給される。割
算器１９には、割算器１８で形成された量子化ステップ
が供給される。従って、割算器１９からは、１画素が４
ビットに圧縮されたデータが得られる。

【００１６】他の信号は、ＳＤのビデオ信号であって、
ローパスフィルタ１４およびサブサンプリング回路１５
により形成され、さらに、ＡＤＲＣエンコーダ１６で符
号化されたものである。ローパスフィルタ１４は、２次
元ディジタルフィルタであって、折返し歪みを防止する
ために、水平および垂直方向の帯域制限を行う。サブサ
ンプリング回路１５は、水平方向の画素数および垂直方
向の画素数がそれぞれ半分に減少するように、サンプリ
ングを行う。従って、サブサンプリング回路１５からの
ＳＤビデオ信号の１ブロックは、（２×２×８ビット＝
３２ビット）のデータである。このビデオ信号がＡＤＲ
Ｃエンコーダ１６で、（２×２×４ビット＝１６ビッ
ト）に圧縮される。

【００１７】ＡＤＲＣエンコーダ１６からのコード信号
ＤＴがメモリ２０および度数メモリ２１に対してそれら
のアドレスとして供給される。メモリ２０は、２¹⁶のア
ドレス空間を有し、各アドレスに対して、（４×４×４
ビット＝６４ビット）のデータが書き込まれる。度数メ
モリ２１も、メモリ２０と同一のアドレス空間を有して
いるが、各アドレスへ書き込まれるデータは、度数であ
る。すなわち、メモリ２１の読み出し出力が加算器２２
に供給され、＋１され、加算器２２の出力がメモリ２１
の同一アドレスに書き込まれる。メモリ２０および２１
は、初期状態として各アドレスの内容がゼロにクリアさ
れる。

【００１８】メモリ２０から読み出された１２８ビット
のデータが乗算器２３に供給され、度数メモリ２１から
読み出された度数と乗算される。乗算器２３の出力が加
算器２４に供給され、加算器２４にて遅延回路１３から
の入力データと加算される。加算器２４の出力が割算器
２５に被除数として供給される。割算器２５には、加算
器２２の出力が除数として供給される。この割算器２５
の出力（商）がメモリ２０の入力データとされる。

【００１９】上述の図３の構成では、ＳＤビデオ信号の
１ブロックと対応するあるアドレスＡｉが最初にアクセ
スされる時には、メモリ２０および２１の読み出し出力
が０であるため、ＨＤビデオ信号の１ブロックのデータ
Ｘ１がそのままメモリ２０に書き込まれ、メモリ２１の
対応するアドレスの値が１とされる。若し、その後で、
このアドレスが再びアクセスされると、加算器２２の出
力が２であり、加算器２４の出力が（Ｘ１＋Ｘ２）（Ｘ
２は、遅延回路１３の出力）である。従って、割算器２
５の出力が（Ｘ１＋Ｘ２）／３であり、これがメモリ２
０に書き込まれる。一方、度数メモリ２１には、度数２
が書き込まれる。更に、その後で、上述のアドレスがア
クセスされると、同様の動作によって、メモリ２０のデ
ータが（Ｘ１＋Ｘ２＋Ｘ３）／３に更新され、度数も３
に更新される。

【００２０】上述の動作を所定期間で行うことによっ
て、メモリ２０には、同一ビデオ信号から形成されたＨ
Ｄビデオ信号のＡＤＲＣ符号化されたブロックとＳＤビ
デオ信号のＡＤＲＣ符号化されたブロックとの間の相関
を示すマッピング表が蓄えられる。言い換えれば、ＳＤ
ビデオ信号のブロックのコード信号のパターンが与えら
れた時に、そのパターンに平均的に対応が取れたＨＤビ
デオ信号のブロックのコード信号のパターンを出力する
マッピング表が形成できる。このマッピング表が図１の
構成のメモリ３内に格納される。

【００２１】上述のマッピング表の作成の処理におい
て、実際には、メモリ２０の全てのアドレスにデータを
書き込むことができず、データが０のアドレスが生じう
る。その場合には、周辺アドレスの非０のデータから予
測されたデータで補間がなされる。この補間のための構
成の一例を図４に示す。

【００２２】図４で、メモリ３０は、上述のように作成
されたマッピング表が格納されているメモリである。メ
モリ３０のアドレス入力として、カウンタ３１および３
２からの３２ビットのアドレスの一方が切り替え回路３
３を介して選択的に供給される。カウンタ３１のクロッ
ク入力には、入力端子３４からのクロックＣＫがゲート
回路３５を介して供給される。カウンタ３１からのアド
レスが切り替え回路３３、アドレスメモリ３６および比
較回路３７に供給される。カウンタ３２には、入力端子
３８からのクロックＣＫが供給され、その出力が切り替
え回路３３および比較回路３７に供給される。また、カ
ウンタ３２には、アドレスメモリ３６の出力がプリセッ
ト入力として供給される。

【００２３】メモリ３０の出力データが非ゼロ検出回路
３９およびバッファメモリ（ラッチでも良い）４０に供
給され、また、ゲート回路４１を介して補間データ形成
回路４２に供給される。補間データ形成回路４２は、バ
ッファメモリ４０の出力、ゲート回路４１の出力、カウ
ンタ３１の出力、アドレスメモリ３６の出力を受け取
り、ゼロデータに代わる補間データを形成する。この補
間データがメモリ３０のデータ入力とされる。

【００２４】非ゼロ検出回路３９の検出信号がフリップ
フロップ４３にそのセット入力として供給される。さら
に、この検出信号は、ゲート回路４１のオン／オフの制
御、バッファメモリ４０およびアドレスメモリ３６の書
き込み／読み出しの制御、カウンタ３２の制御に使用さ
れる。

【００２５】カウンタ３１の出力およびカウンタ３２の
出力を比較する比較回路３７の出力がカウンタ３２のク
リア端子とフリップフロップ４３のリセット端子とに供
給される。フリップフロップ４３の出力信号によって、
ゲート回路３５のオン／オフ、切り替え回路３３の制
御、およびメモリ３０の書き込みが制御される。

【００２６】上述の図４の補間データ形成の構成の動作
を説明するために、メモリ３０に格納されているデータ
（ＡＤＲＣ符号化で発生したコード信号）の一部が下記
のものであると想定する。

【表１】

【００２７】まず、カウンタ３１がクロックＣＫによっ
て、インクリメントされ、順次発生するアドレス信号が
切り替え回路３３を介してメモリ３０に供給される。メ
モリ３０からの読み出しデータが非ゼロ検出回路３９に
供給される。読み出しデータが非ゼロの場合、すなわ
ち、トレーニング画像によってデータが得られている場
合には、バッファメモリ４０の内容を読み出すととも
に、メモリ３０の出力を新たにバッファメモリ４０に書
き込む。これと共に、ゲート４１をオンとし、メモリ３
０の出力が補間データ形成回路４２に供給される。

【００２８】上述の例のように、メモリ３０のアドレス
Ａ５のデータＤ５が読み出されたタイミングを考える
と、これは非ゼロであるため、非ゼロ検出回路３９の検
出信号によって、バッファメモリ４０から以前の非ゼロ
のデータＤ２が読み出され、バッファメモリ４０には、
データＤ５が書き込まれる。このデータＤ５は、ゲート
回路４１を介して補間データ形成回路４２に供給され
る。補間データ形成回路４２には、データＤ２も供給さ
れる。

【００２９】一方、その時のメモリ３０のアドレス入力
は、Ａ５であるため、これが非ゼロの検出信号によっ
て、アドレスメモリ３６に書き込まれる。アドレスメモ
リ３６からは、その前に記憶されていたアドレスＡ２が
読み出される。これらのアドレスＡ２およびＡ５が補間
データ形成回路４２に供給され、アドレスＡ２およびＡ
５を参照して、データＤ２およびＤ５からその間のアド
レスＡ３、Ａ４のゼロデータに代わるべき補間データが
形成される。

【００３０】この例では、距離に応じた重み付け平均値
を補間データとして形成している。すなわち、アドレス
Ａ２とＡ５との間の距離を３とし、アドレスＡ３の補間
データは、（２・Ｄ２＋Ｄ５）／３として求められ、ア
ドレスＡ４の補間データは、（Ｄ２＋２・Ｄ５）／３と
して求められる。補間データの形成方法としては、これ
以外に、カーブフィッティング、高次補間等を使用して
も良い。

【００３１】また、アドレスメモリ３６からのアドレス
Ａ２が非ゼロ検出信号によって、カウンタ３２にロード
され、カウンタ３２の出力がクロックＣＫによって、ア
ドレスＡ３、Ａ４を順次発生する。カウンタ３２の出力
がＡ５に達すると、比較回路３７が一致出力を発生す
る。この一致出力によって、カウンタ３２がクリアされ
るともに、フリップフロップ４３がリセットされる。

【００３２】フリップフロップ４３がセットされている
期間では、切り替え回路３３がカウンタ３２からのアド
レス（Ａ３、Ａ４）を選択し、メモリ３０が書き込みモ
ードとされる。従って、補間データ（２・Ｄ２＋Ｄ５）
／３および（Ｄ２＋２・Ｄ５）／３がメモリ３０のアド
レスＡ３、Ａ４にそれぞれ書き込まれる。この期間で
は、ゲート回路３５がオフとされ、カウンタ３１のイン
クリメントが停止される。

【００３３】フリップフロップ４３がリセットされてい
る期間では、ゲート回路３５がオンし、切り替え回路３
３がカウンタ３１からのアドレスを選択し、メモリ３０
が読み出しモードとされる。そして、上述と同様の動作
がなされる。

【００３４】なお、上述の一実施例は、ＳＤビデオ信号
をＨＤビデオ信号にアップコンバージョンする例である
が、これ以外に、画像の拡大に対しても、この発明は、
同様に適用できる。また、ブロック符号化としては、Ａ
ＤＲＣ以外のベクトル量子化、ＤＣＴ（Discrete Cosin
e Transform)等を使用することができる。

【００３５】

【発明の効果】この発明によれば、低解像度画像と高解
像度画像との相関を利用して、高解像度成分を復元する
ので、標準ビデオ信号を高解像度画像に変換してＨＤモ
ニタ上に表示できる。また、解像度の劣化を伴わずに、
画像を任意の大きさに拡大することができる。さらに、
解像度の劣化無しに、画像を間引き圧縮することができ
る。また、この発明は、ブロック符号化によって、デー
タを圧縮しているので、マッピング表が格納されるメモ
リ３、２０、３０の容量を大幅に低減でき、実用上、頗
る有利である。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】ブロック構造の説明のための略線図である。

【図３】マッピング表を作成するための構成の一例のブ
ロック図である。

【図４】マッピング表を作成する時のデータの補間のた
めの構成の一例のブロック図である。

【図５】従来技術の説明のための略線図である。

【符号の説明】

１ＳＤビデオ信号の入力端子３マッピング表が格納されているメモリ５ＨＤビデオ信号の出力端子６ＡＤＲＣエンコーダ

Claims

【特許請求の範囲】

【請求項１】第１の解像度の第１のディジタル画像信
号の順序をブロック構造に変換する手段と、上記ブロック構造に変換された第１のディジタル画像信
号を上記ブロック単位で圧縮する符号化手段と、マッピング表が格納されてなり、上記符号化手段の出力
信号がアドレスとして供給され、上記マッピング表に従
って、上記第１の解像度に比してより高い第２の解像度
を有する第２のディジタル画像信号の符号化信号が読み
出されるメモリと、上記メモリの出力信号が供給され、上記符号化信号を復
号する復号手段と、上記復号手段の出力信号の順序を元のものに変換するた
めのブロック分解手段とからなり、上記マッピング表は、同一画像に対して、解像度の異な
る２枚の画像を形成し、上記２枚の画像をそれぞれブロ
ック構造に変換するとともに、符号化し、上記２枚の画
像のそれぞれの符号化されたブロック間の相関関係を表
すように、予め複数の絵柄でトレーニングして形成され
ていることを特徴とする解像度補償可能な画像変換装
置。