JP3278882B2 - 画像信号生成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばテレビジ
ョン信号の方式変換におけるフレーム数の変換に適用可
能な画像信号生成装置に関する。

【０００２】

【従来の技術】時間方向の解像度が異なる種々の画像信
号が存在している。例えばテレビジョン方式では、ＮＴ
ＳＣ方式では、１秒間に３０フレームが含まれ、ＣＣＩ
Ｒ方式では、１秒間に２５フレームが含まれる。また、
映画の駒数は、これらテレビジョン信号と相違してい
る。従来では、テレビジョン信号のフレーム数を変換す
るために、動き補償を用いるフレーム数変換方法が使用
されている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
フレーム数変換方法、特に、時間方向の解像度を高くす
るための方法では、平滑化がされるが、動きの劣化（ジ
ャーキネス）が生じる問題がある。例えば図６中で斜線
で示すのは、時間方向の解像度の低いビデオ信号ＳＤの
帯域であり、このビデオ信号をフレーム数変換で補間し
てより高い解像度のビデオ信号を形成しても、入力信号
中に存在していない時間解像度の高い成分ＨＤが復元さ
れない。その結果、出力画像の動きが劣化する。

【０００４】従って、この発明の目的は、時間方向の高
解像度成分を復元することができる画像信号生成装置を
提供することにある。

【０００５】

【課題を解決するための手段】請求項１の発明は、時間
方向に第１の解像度である第１のディジタル画像信号を
ブロック化するブロック化回路（２）と、予め第１のデ
ィジタル画像信号と同質のディジタル画像信号と、第１
の解像度より時間方向の解像度が高い第２の解像度であ
る第２のディジタル画像信号と同質のディジタル画像信
号とのトレーニングにより求められた情報であり、第１
のディジタル画像信号を、第２のディジタル画像信号に
変換するための情報を格納するメモリ（３）とを有し、
ブロック化された第１のディジタル画像信号に基づいた
アドレスにて指定される情報をメモリから読み出すこと
で、第２のディジタル画像信号を生成することを特徴と
する画像信号生成装置である。

【０００６】

【作用】マッピング表は、トレーニング用の種々の絵柄
の源画像を用いて、時間方向の解像度が異なる二つの画
像信号の相関を示すものとして形成されている。従っ
て、このマッピング表によって、入力画像信号に含まれ
ない時間方向の高解像度成分を復元することができる。

【０００７】

【実施例】以下、この発明の一実施例について説明す
る。この一実施例は、ＰＡＬ方式のような毎秒２５フレ
ームのビデオ信号（時間方向の解像度が低いビデオ信号
で、以下、ＳＤビデオ信号と称する）をＮＴＳＣ方式の
ような毎秒３０フレームのビデオ信号（時間方向の解像
度が高いビデオ信号で、以下、ＨＤビデオ信号と称す
る）に変換する例である。図１において、１で示す入力
端子にディジタルのＳＤビデオ信号が供給される。この
ＳＤビデオ信号の例は、ＳＤＶＴＲの再生信号、放送信
号等である。ブロック化回路２によって、ＳＤビデオ信
号が通常のラスター走査の順序からブロックの順序に変
換される。

【０００８】ブロック化回路２の出力に、図２に示すよ
うに、時間的に連続する５フレームの同一位置を切り出
した領域Ｐ１〜Ｐ５からなり、各領域が（２×２×８ビ
ット＝３２ビット）を含む３次元ブロックに変換された
ビデオ信号が発生する。この（３２×５＝１６０ビッ
ト）がメモリ３にアドレスとして供給される。メモリ３
には、後述のように、ＳＤ画像とＨＤ画像との相関に基
づいたマッピング表が格納されている。このメモリ３
は、例えば不揮発性ＲＡＭで構成される。

【０００９】メモリ３からは、図２に示すように、（２
×２×８ビット）の領域Ｑ１〜Ｑ６を含み、各領域が連
続する６フレームの同一位置を占めるブロック構造のビ
デオ信号が読み出される。すなわち、５フレームの入力
ビデオ信号が６フレームの出力ビデオ信号に変換され
る。この出力画像の３次元ブロックの各領域が占める位
置は、入力画像の３次元ブロックの各領域のそれと同一
とされる。

【００１０】メモリ３から読み出された出力画像データ
がブロック分解回路４に供給され、データの順序がラス
ター走査の順に変換される。ブロック分解回路４からの
出力画像データが出力端子５に取り出される。この出力
端子５には、Ｄ／Ａ変換器（図示せず）を介してモニタ
が接続される。出力画像は、毎秒３０フレームに変換さ
れているので、ＮＴＳＣ用モニタによって、画像を再生
できる。

【００１１】メモリ３に格納されるマッピング表を作成
のための構成の一例を図３に示す。図３中で、１１で示
す入力端子に毎秒１５０フレームのディジタルビデオ信
号が供給される。１５０フレームは、２５フレームと３
０フレームの最小公倍数のフレーム数である。この入力
ビデオ信号は、マッピング表の作成を考慮した標準的な
信号であることが好ましい。

【００１２】この入力ビデオ信号が間引き回路２６およ
び２８にそれぞれ供給される。間引き回路２６は、入力
ビデオ信号を時間方向で１／５に間引いて、毎秒３０フ
レームのビデオ信号を形成する。間引き回路２８は、毎
秒２５フレームのビデオ信号を形成する。これらの間引
き回路２６および２８の出力ビデオ信号がブロック化回
路２７および２９にそれぞれ供給される。ブロック回路
２７は、ラスター走査の順序のビデオ信号を（２×２×
６フレーム）の３次元のブロックの構造に変換する。ブ
ロック回路２９は、ラスター走査の順序のビデオ信号を
（２×２×５フレーム）の３次元のブロックの構造に変
換する。

【００１３】ブロック化回路２９の出力ビデオ信号がメ
モリ２０および度数メモリ２１に対してそれらのアドレ
スとして供給される。メモリ２０は、２¹⁶⁰ のアドレス
空間を有し、各アドレスに対して、（２×２×６×８ビ
ット＝１９２ビット）のデータが書き込まれる。度数メ
モリ２１も、メモリ２０と同一のアドレス空間を有して
いるが、各アドレスへ書き込まれるデータは、度数であ
る。すなわち、メモリ２１の読み出し出力が加算器２２
に供給され、＋１され、加算器２２の出力がメモリ２１
の同一アドレスに書き込まれる。メモリ２０および２１
は、初期状態として各アドレスの内容がゼロにクリアさ
れる。

【００１４】メモリ２０から読み出された１９２ビット
のデータが乗算器２３に供給され、度数メモリ２１から
読み出された度数と乗算される。乗算器２３の出力が加
算器２４に供給され、加算器２４にてブロック化回路２
７からの入力データと加算される。加算器２４の出力が
割算器２５に被除数として供給される。割算器２５に
は、加算器２２の出力が除数として供給される。この割
算器２５の出力（商）がメモリ２０の入力データとされ
る。

【００１５】上述の図３の構成では、ＳＤビデオ信号の
１ブロックと対応するあるアドレスＡｉが最初にアクセ
スされる時には、メモリ２０および２１の読み出し出力
が０であるため、ＨＤビデオ信号の１ブロックのデータ
Ｘ１がそのままメモリ２０に書き込まれ、メモリ２１の
対応するアドレスの値が１とされる。若し、その後で、
このアドレスが再びアクセスされると、加算器２２の出
力が２であり、加算器２４の出力が（Ｘ１＋Ｘ２）（Ｘ
２は、遅延回路１３の出力）である。従って、割算器２
５の出力が（Ｘ１＋Ｘ２）／２であり、これがメモリ２
０に書き込まれる。一方、度数メモリ２１には、度数２
が書き込まれる。更に、その後で、上述のアドレスがア
クセスされると、同様の動作によって、メモリ２０のデ
ータが（Ｘ１＋Ｘ２＋Ｘ３）／３に更新され、度数も３
に更新される。

【００１６】上述の動作を所定期間で行うことによっ
て、メモリ２０には、同一ビデオ信号から形成されたＨ
Ｄビデオ信号のブロックとＳＤビデオ信号のブロックと
の間の相関を示すマッピング表が蓄えられる。言い換え
れば、ＳＤビデオ信号のブロックのデータのパターンが
与えられた時に、そのパターンに平均的に対応が取れた
ＨＤビデオ信号のブロックのパターンを出力するマッピ
ング表が形成できる。このマッピング表が図１の構成の
メモリ３内に格納される。

【００１７】図４は、この発明の他の実施例を示す。他
の実施例は、マッピング表の作成およびその格納のため
のメモリ容量の低減を意図するものである。図４に示す
ように、ブロック化回路２の出力に、３次元のＡＤＲＣ
エンコーダ６が挿入される。ＡＤＲＣ（ダイナミックレ
ンジに適応した符号化）は、本願出願人の提案にかかわ
るもので、ブロック内の複数画素が時間的および空間的
な相関を有することを利用して、各画素のビット数を８
ビットから例えば４ビットに圧縮するものである。

【００１８】ＡＤＲＣエンコーダ６は、ブロックの画素
データの最大値ＭＡＸ、その最小値ＭＩＮ、（ＭＡＸ−
ＭＩＮ＝ＤＲ）で表されるダイナミックレンジＤＲを検
出する回路と、ダイナミックレンジＤＲを２⁴ 等分し
て、量子化ステップを発生する回路と、最小値ＭＩＮを
減算することで、そのブロックの画素データを正規化す
る減算回路と、減算回路の出力を量子化ステップで割算
する、すなわち、再量子化する量子化回路とを含む。Ａ
ＤＲＣエンコーダ６からは、ブロック毎のダイナミック
レンジＤＲ、最小値ＭＩＮ、各画素と対応する４ビット
のコード信号ＤＴとが出力される。

【００１９】このＡＤＲＣエンコーダ６の出力信号中の
コード信号ＤＴがメモリ３にアドレスとして供給され
る。メモリ３からは、マッピング表に従ってフレーム数
が変換されたビデオ信号が読み出される。ＡＤＲＣエン
コーダ６の符号化出力中のダイナミックレンジＤＲおよ
び最小値ＭＩＮが遅延回路７に供給される。遅延回路７
の出力に現れるダイナミックレンジＤＲが割算回路８に
供給され、２⁴ ＝１６で除算される。従って、割算回路
８からは、そのブロックの量子化ステップが得られる。

【００２０】メモリ３から読み出された出力画像信号の
ブロックのコード信号が乗算器９に供給される。この乗
算器９には、量子化ステップが供給され、従って、乗算
器９からは、最小値除去後のデータが復元できる。この
乗算器９の出力信号が加算器１０に供給され、遅延回路
７からの最小値ＭＩＮが加算される。従って、加算器１
０からは、ＨＤビデオ信号の復元データが得られる。こ
の復元データがブロック分解回路４に供給され、データ
の順序がラスター走査の順に変換される。ブロック分解
回路４からの出力画像データが出力端子５に取り出され
る。

【００２１】この図４の実施例は、ＡＤＲＣによって、
ブロック毎のデータを圧縮しているので、メモリ３の容
量を低減できる。また、マッピング表を作成する処理
は、ＡＤＲＣで圧縮された信号同士の相関を検出する点
を除けば、上述と同様である。従って、マッピング表の
作成のためのメモリ容量をも低減できる。

【００２２】上述のマッピング表の作成の処理におい
て、実際には、メモリ２０の全てのアドレスにデータを
書き込むことができず、データが０のアドレスが生じう
る。その場合には、周辺アドレスの非０のデータから予
測されたデータで補間がなされる。この補間のための構
成の一例を図５に示す。

【００２３】図５で、メモリ３０は、上述のように作成
されたマッピング表が格納されているメモリである。メ
モリ３０のアドレス入力として、カウンタ３１および３
２からの３２ビットのアドレスの一方が切り替え回路３
３を介して選択的に供給される。カウンタ３１のクロッ
ク入力には、入力端子３４からのクロックＣＫがゲート
回路３５を介して供給される。カウンタ３１からのアド
レスが切り替え回路３３、アドレスメモリ３６および比
較回路３７に供給される。カウンタ３２には、入力端子
３８からのクロックＣＫが供給され、その出力が切り替
え回路３３および比較回路３７に供給される。また、カ
ウンタ３２には、アドレスメモリ３６の出力がプリセッ
ト入力として供給される。

【００２４】メモリ３０の出力データが非ゼロ検出回路
３９およびバッファメモリ（ラッチでも良い）４０に供
給され、また、ゲート回路４１を介して補間データ形成
回路４２に供給される。補間データ形成回路４２は、バ
ッファメモリ４０の出力、ゲート回路４１の出力、カウ
ンタ３１の出力、アドレスメモリ３６の出力を受け取
り、ゼロデータに代わる補間データを形成する。この補
間データがメモリ３０のデータ入力とされる。

【００２５】非ゼロ検出回路３９の検出信号がフリップ
フロップ４３にそのセット入力として供給される。さら
に、この検出信号は、ゲート回路４１のオン／オフの制
御、バッファメモリ４０およびアドレスメモリ３６の書
き込み／読み出しの制御、カウンタ３２の制御に使用さ
れる。

【００２６】カウンタ３１の出力およびカウンタ３２の
出力を比較する比較回路３７の出力がカウンタ３２のク
リア端子とフリップフロップ４３のリセット端子とに供
給される。フリップフロップ４３の出力信号によって、
ゲート回路３５のオン／オフ、切り替え回路３３の制
御、およびメモリ３０の書き込みが制御される。

【００２７】上述の図５の補間データ形成の構成の動作
を説明するために、メモリ３０に格納されているデータ
の一部が下記のものであると想定する。

【表１】

【００２８】まず、カウンタ３１がクロックＣＫによっ
て、インクリメントされ、順次発生するアドレス信号が
切り替え回路３３を介してメモリ３０に供給される。メ
モリ３０からの読み出しデータが非ゼロ検出回路３９に
供給される。読み出しデータが非ゼロの場合、すなわ
ち、トレーニング画像によってデータが得られている場
合には、バッファメモリ４０の内容を読み出すととも
に、メモリ３０の出力を新たにバッファメモリ４０に書
き込む。これと共に、ゲート４１をオンとし、メモリ３
０の出力が補間データ形成回路４２に供給される。

【００２９】上述の例のように、メモリ３０のアドレス
Ａ５のデータＤ５が読み出されたタイミングを考える
と、これは非ゼロであるため、非ゼロ検出回路３９の検
出信号によって、バッファメモリ４０から以前の非ゼロ
のデータＤ２が読み出され、バッファメモリ４０には、
データＤ５が書き込まれる。このデータＤ５は、ゲート
回路４１を介して補間データ形成回路４２に供給され
る。補間データ形成回路４２には、データＤ２も供給さ
れる。

【００３０】一方、その時のメモリ３０のアドレス入力
は、Ａ５であるため、これが非ゼロの検出信号によっ
て、アドレスメモリ３６に書き込まれる。アドレスメモ
リ３６からは、その前に記憶されていたアドレスＡ２が
読み出される。これらのアドレスＡ２およびＡ５が補間
データ形成回路４２に供給され、アドレスＡ２およびＡ
５を参照して、データＤ２およびＤ５からその間のアド
レスＡ３、Ａ４のゼロデータに代わるべき補間データが
形成される。

【００３１】この例では、距離に応じた重み付け平均値
を補間データとして形成している。すなわち、アドレス
Ａ２とＡ５との間の距離を３とし、アドレスＡ３の補間
データは、（２・Ｄ２＋Ｄ５）／３として求められ、ア
ドレスＡ４の補間データは、（Ｄ２＋２・Ｄ５）／３と
して求められる。補間データの形成方法としては、これ
以外に、カーブフィッティング、高次補間等を使用して
も良い。

【００３２】また、アドレスメモリ３６からのアドレス
Ａ２が非ゼロ検出信号によって、カウンタ３２にロード
され、カウンタ３２の出力がクロックＣＫによって、ア
ドレスＡ３、Ａ４を順次発生する。カウンタ３２の出力
がＡ５に達すると、比較回路３７が一致出力を発生す
る。この一致出力によって、カウンタ３２がクリアされ
るともに、フリップフロップ４３がリセットされる。

【００３３】フリップフロップ４３がセットされている
期間では、切り替え回路３３がカウンタ３２からのアド
レス（Ａ３、Ａ４）を選択し、メモリ３０が書き込みモ
ードとされる。従って、補間データ（２・Ｄ２＋Ｄ５）
／３および（Ｄ２＋２・Ｄ５）／３がメモリ３０のアド
レスＡ３、Ａ４にそれぞれ書き込まれる。この期間で
は、ゲート回路３５がオフとされ、カウンタ３１のイン
クリメントが停止される。

【００３４】フリップフロップ４３がリセットされてい
る期間では、ゲート回路３５がオンし、切り替え回路３
３がカウンタ３１からのアドレスを選択し、メモリ３０
が読み出しモードとされる。そして、上述と同様の動作
がなされる。

【００３５】なお、上述の一実施例は、ビデオ信号の方
式変換におけるフレーム数の変換の例であるが、これ以
外に、任意のフレーム数の変換に対しても、この発明
は、同様に適用できる。また、ビデオ信号以外の画像信
号の変換にも適用できる。さらに、ブロック符号化とし
ては、ＡＤＲＣ以外のベクトル量子化、ＤＣＴ（Discre
te Cosine Transform)等を使用することができる。

【００３６】

【発明の効果】この発明によれば、時間方向の解像度が
低い画像とこれが高い画像との相関を利用して、高解像
度成分を復元するので、フレーム数の変換、駒数の変換
を動きの劣化を伴わずに行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】ブロック構造の説明のための略線図である。

【図３】マッピング表を作成するための構成の一例のブ
ロック図である。

【図４】この発明の他の実施例の構成を示すブロック図
である。

【図５】マッピング表を作成する時のデータの補間のた
めの構成の一例のブロック図である。

【図６】従来技術の説明のための略線図である。

【符号の説明】

１ 毎秒２５フレームのビデオ信号の入力端子 ３ マッピング表が格納されているメモリ ５ 毎秒３０フレームのビデオ信号の出力端子

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 時間方向に第１の解像度である第１のデ
   ィジタル画像信号をブロック化するブロック化手段と、予め上記第１のディジタル画像信号と同質のディジタル
   画像信号と、上記第１の解像度より時間方向の解像度が
   高い第２の解像度である第２のディジタル画像信号と同
   質のディジタル画像信号とのトレーニングにより求めら
   れた情報であり、上記第１のディジタル画像信号を、上
   記第２のディジタル画像信号に変換するための情報を格
   納するメモリとを有し、 ブ ロック化された上記第１のディジタル画像信号に基づ
   いたアドレスにて指定される情報を上記メモリから読み
   出すことで、上記第２のディジタル画像信号を生成する ことを特徴とする画像信号生成装置。
2. 【請求項２】 上記情報が格納されていない上記アドレ
   スにおける上記第２のディジタル画像信号は、上記情報
   が格納されている上記アドレスにおける上記第２のディ
   ジタル画像信号に基づいて生成される ことを特徴とする請求項１の画像信号生成装置。