JPH07193791A - 画像情報変換装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、画像情報変換装置において、通常の
解像度の画像情報を高解像度の画像情報に変換する際に
簡易な構成で変換画像の画質を向上する。 【構成】入力される第１の画像情報から、画面に１つ又
は複数の全画面の動きに応じた動きベクトルを検出し
て、全画面について動き補償して全画面の動きを除去す
る。続いて動き補償画像情報を複数の領域に分割し、そ
れぞれの領域毎にレベル分布のパターンを検出し、この
検出したパターンに基づいて、その領域の動き補償画像
情報が属するクラスを決定してクラス検出情報を出力す
る。このクラス検出情報に応じて、動き補償画像情報を
より解像度の高い画像情報に変換するための情報である
線形推定式の係数データ又は代表値がクラス毎に記憶さ
れた記憶手段７を読み出し、この係数データ又は代表値
に応じて、動き補償画像情報が第２の画像情報に変換さ
れる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１０及び図１１） 発明が解決しようとする課題（図６、図１０及び図１
１） 課題を解決するための手段（図１） 作用（図１） 実施例（図１〜図５） （１）実施例の画像情報変換装置（図１〜図７） （２）ＲＯＭテーブルの作成方法（図１〜図８） （３）他の実施例（図９） 発明の効果

【０００２】

【産業上の利用分野】本発明は画像情報変換装置に関
し、特に通常の解像度の画像情報を高解像度の画像情報
に変換して出力するものに適用して好適なものである。

【０００３】

【従来の技術】従来、オーデイオビジユアル指向の高ま
りから、より高解像度の画像を得ることができるような
テレビジヨン受像器が望まれ、これに応えて、いわゆる
ハイビジヨン方式のテレビジヨン受像器が開発された。
このハイビジヨン方式では走査線数が、いわゆるＮＴＳ
Ｃ方式の映像信号で規定される走査線数が 525本なのに
対して、２倍以上の1125本となつているうえ、表示画面
の縦横比もＮＴＳＣ方式が３：４に対して９：16と広角
画面になつている。これにより高解像度で劇場のような
臨場感のある画面を得ることができる。

【０００４】ここでこのような優れた特性を有するハイ
ビジヨン方式ではあるが、ＮＴＳＣ方式の映像信号をそ
のまま供給しても画像表示を行うことはできない。これ
は上述したようにＮＴＳＣ方式とハイビジヨン方式とで
は規格が異なるためである。このため、ＮＴＳＣ方式の
映像信号に応じた画像をハンビジヨン方式で表示しよう
とする場合には、従来画像情報変換装置を用いて映像信
号のレートを変換していた。

【０００５】すなわちこの画像情報変換装置は、図１０
に示すように、入力端子１００を介して供給されるＮＴ
ＳＣ方式の映像信号の水平方向の補間処理を行う水平補
間フイルタ１０１と、水平方向の補間処理の行われた映
像信号の垂直方向の補間処理を行う垂直補間フイルタ１
０２とから構成されている。実際上水平補間フイルタ１
０１は、図１１に示すようなデイジタルフイルタで構成
されており、ＮＴＳＣ方式の映像信号が入力端子１１０
を介して、第１〜第ｍの乗算器１１１〜１１１ｍにそれ
ぞれ供給される。各乗算器１１１はそれぞれ入力される
映像信号に係数α０〜αｍを乗算して出力する。

【０００６】この結果係数α０〜αｍが乗算された映像
信号は、それぞれ第１〜第ｍの加算器１１２〜１１２ｍ
−１に供給される。各加算器１１２〜１１２ｍ−１の間
には、それぞれ時間Ｔの遅延レジスタ１１３〜１１３ｍ
が設けられている。そして第ｍの乗算器１１１ｍから出
力された映像信号は、第ｍの遅延レジスタ１１３ｍで時
間Ｔだけ遅延され、第ｍ−１の加算器１１２ｍ−１に供
給される。第ｍ−１の加算器１１２ｍ−１は、第ｍの遅
延レジスタ１１３ｍで時間Ｔだけ遅延された映像信号
と、第ｍ−１の乗算器１１１ｍ−１からの映像信号とを
加算されて出力される。

【０００７】このように加算された映像信号は、第ｍ−
１の遅延レジスタ１１３ｍ−１で再度時間Ｔだけ遅延さ
れ、第ｍ−２の加算器１１２ｍ−２（図示せず）におい
て第ｍ−２の乗算器１１２ｍ−２（図示せず）からの映
像信号と加算される。水平補間フイルタ１０１は、この
ようにしてＮＴＳＣ方式の映像信号の水平方向について
補間して、出力端子１２０を介して垂直補間フイルタ１
０２に供給する。

【０００８】垂直補間フイルタ１０２は、水平補間フイ
ルタ１０１と同様にデイジタルフイルタで構成されてお
り、水平補間された映像信号に対して、垂直方向の画素
の補間を行う。このようにしてＮＴＳＣ方式の映像信号
よりハイビジヨン方式の映像信号に応じたレートの映像
信号を得るようになされ、この映像信号がハイビジヨン
方式の受像器に供給される。これによりＮＴＳＣ方式の
映像信号に応じた画像をハイビジヨン方式の受像器で表
示し得るようになされている。

【０００９】

【発明が解決しようとする課題】ところが上述した画像
情報変換装置においては、ＮＴＳＣ方式の映像信号を基
にして、単に水平方向及び垂直方向を補間しているに過
ぎないため、解像度は基となるＮＴＳＣ方式の映像信号
と何ら変わらなかつた。特に通常の動画を変換対象とし
た場合、垂直方向の補間をフイールド内処理で行うのが
一般的であるが、この場合には、画像のフイールド間相
関を使用していないため、画像静止部においてはＮＴＳ
Ｃ方式の映像信号よりも解像度が劣化する欠点があつ
た。

【００１０】これに対して、画像情報変換装置として、
入力信号である画像信号レベルを３次元すなわち時空間
分布に応じてクラス分割し、クラス毎に予め学習によつ
て獲得された予測係数値を格納した記憶手段を持ち、予
測式に基づいた演算により最適な推定値を出力する方法
を用いたものがある（特願平4-330592号、特願平5-1726
17号）。

【００１１】この方法では、ハイビジヨン方式（以下、
高解像度を示すＨＤ（high difinition ）と呼ぶ）の画
素を創造する場合、時間的及び空間的な意味でその周辺
に存在する複数のＮＴＳＣ方式（以下、標準解像度を示
すＳＤ（standerd difinition ）と呼ぶ）の画素データ
をクラス分割し、それぞれのクラス毎に予測係数値を学
習により獲得することで、画像静止部においてはフイー
ルド間、フレーム間等の時間方向の相関を利用し、また
画像動き部においては、フイールド内相関のみを利用す
ることにより、真値に近いＨＤ画素値を得るものであ
る。

【００１２】実際上図６にＳＤ画素を大きい「○」で示
し、ＨＤ画素を小さい「○」で示す。この図において、
ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値、ＳＤ画素ｘ2 と
ＳＤ画素ｘ3 の差分値、ＳＤ画素ｘ3 とＳＤ画素ｘ4 の
差分値、ＳＤ画素ｘ4 とＳＤ画素ｘ5 の差分値、ＳＤ画
素ｘ5 とＳＤ画素ｘ6 の差分値のいずれもが小さい場合
は、創造するべきＨＤ画素ｙ1 周辺の画像は静止してい
る可能性が高い。そこで上述した画像情報変換装置で
は、空間位置の近いＳＤ画素ｘ3 に重きをおいて、ＨＤ
画素ｙ1 を創造する。

【００１３】一方ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分
値、ＳＤ画素ｘ2 とＳＤ画素ｘ3 の差分値、ＳＤ画素ｘ
3 とＳＤ画素ｘ4 の差分値、ＳＤ画素ｘ4 とＳＤ画素ｘ
5 の差分値、ＳＤ画素ｘ5 とＳＤ画素ｘ6 の差分値のい
ずれもが大きい場合は、創造するべきＨＤ画素ｙ1 周辺
の画像は動いている可能性が高い。そこで上述した画像
情報変換装置では、時間的に近いＳＤ画素ｘ2 とＳＤ画
素ｘ4 に重きをおいて、ＨＤ画素ｙ1 を創造する。この
方法によれば、静止／動きの切り替わりも実際の画像を
用いて学習することにより滑らかに表現できるので、従
来の動き適応方式のように静止／動きの切り替わりによ
る不自然さの発生を大幅に減少させることができる。

【００１４】ところがこの方法では、画像が動いている
場合、創造するＨＤ画素ｙ1 と他フイールドに属するＳ
Ｄ画素（ｘ1 、ｘ4 、ｘ6 ）は、動きの検出という意味
では有用であるが、ＨＤ画素ｙ1 を創造するためには無
用となる。従つてＳＤ画素ｘ1 〜ｘ6 の６画素を用いて
クラス分類しても、ＨＤ画素ｙ1 の創造に活かせるの
は、創造するＨＤ画素ｙ1 と同一フイールドに属するＳ
Ｄ画素（ｘ1 、ｘ3 、ｘ5 ）のわずか３画素による波形
表現のみとなる。このため動き画像における画質の改善
は、静止画像における画質の改善に比べて効果が小さい
問題があつた。

【００１５】これに対して、インターレース構造の画像
に対し、動き補償処理を行うことによりノンインターレ
ース化して静止画像に変換した後、クラス分類を行い画
像信号変換処理を行う画像情報変換装置がある（特願平
5-264277号）。これは画素毎又は小さな領域毎に動きベ
クトルを求め、動き補償を行うことにより、静止画像と
見なせるようなノンインターレース構造のＳＤ画像を作
成し、この画像を元に画像信号変換処理を行うもので動
き補償という処理を施した後、クラス分類を行うので、
クラス分類自体は動きを表現する必要がなく、また動き
画像／静止画像共に変換による画質改善が得られる。と
ころがこのようにすると画素毎又は小さな領域毎に動き
ベクトルを算出する必要があるため、ハードウエア規模
が膨大なものとなり構成が複雑かつ大型化する問題があ
つた。

【００１６】本発明は以上の点を考慮してなされたもの
で、通常の解像度の画像情報を高解像度の画像情報に変
換する際に簡易な構成で変換画像の画質を向上し得る画
像情報変換装置を提案しようとするものである。

【００１７】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、デイジタル画像信号でなる第１の
画像情報を、より画素数の多いデイジタル画像信号でな
る第２の画像情報に変換する画像情報変換装置におい
て、インターレース構造を有する第１の画像情報の連続
２フイールド分又は連続２フレーム分より、１画面につ
き１又は複数の全画面の動きに応じた動きベクトルを算
出する動きベクトル検出手段と、その動きベクトル検出
手段により検出された全画面の動きに応じた１又は複数
の動きベクトルに基づき、全画面の動きを補償する動き
補償手段と、その動き補償手段から供給された動き補償
画像情報を複数のブロツクに分割する画像情報分割手段
と、その画像情報分割手段により分割されたブロツク毎
に動き補償画像情報のレベル分布のパターンを検出し、
その検出したパターンに基づいて、そのブロツクの動き
補償画像情報が属するクラスを決定してクラス検出情報
を出力するクラス検出手段と、動き補償画像情報を、そ
の動き補償画像情報よりも解像度が高い第２の画像情報
に変換するための情報である推定式の係数データがクラ
ス毎に記憶され、クラス検出手段からのクラス検出情報
に応じて係数データを出力する係数データ記憶手段と、
その係数データ記憶手段から供給された係数データに応
じて、第１の画像情報を第２の画像情報に変換して出力
する画像変換手段とを設けるようにした。

【００１８】また本発明においては、デイジタル画像信
号でなる第１の画像情報を、より画素数の多いデイジタ
ル画像信号でなる第２の画像情報に変換する画像情報変
換装置において、インターレース構造を有する第１の画
像情報の連続２フイールド分又は連続２フレーム分よ
り、１画面につき１又は複数の全画面の動きに応じた動
きベクトルを算出する動きベクトル検出手段と、その動
きベクトル検出手段により検出された全画面の動きに応
じた１又は複数の動きベクトルに基づき、全画面の動き
を補償する動き補償手段と、その動き補償手段から供給
された動き補償画像情報を複数のブロツクに分割する画
像情報分割手段と、その画像情報分割手段により分割さ
れたブロツク毎に動き補償画像情報のレベル分布のパタ
ーンを検出し、その検出したパターンに基づいて、その
ブロツクの動き補償画像情報が属するクラスを決定して
クラス検出情報を出力するクラス検出手段と、動き補償
画像情報を、その動き補償画像情報よりも解像度が高い
第２の画像情報に変換するための情報である代表値がク
ラス毎に記憶され、クラス検出手段からのクラス検出情
報に応じて代表値を出力する代表値記憶手段と、その代
表値記憶手段から供給された代表値に応じて、第１の画
像情報を第２の画像情報に変換して出力する画像変換手
段とを設けるようにした。

【００１９】

【作用】まず入力される第１の画像情報から、画面に１
つ又は複数の全画面の動きに応じた動きベクトルを検出
して、全画面について動き補償して全画面の動きを除去
する。続いて動き補償画像情報を複数の領域に分割し、
それぞれの領域毎にレベル分布のパターンを検出し、こ
の検出したパターンに基づいて、その領域の動き補償画
像情報が属するクラスを決定してクラス検出情報を出力
する。このクラス検出情報に応じて、動き補償画像情報
をより解像度の高い画像情報に変換するための情報であ
る線形推定式の係数データ又は代表値がクラス毎に記憶
された記憶手段７を読み出し、この係数データ又は代表
値に応じて、動き補償画像情報が第２の画像情報に変換
される。かくして簡易に検出した動きベクトルで動き補
償した画像情報で、クラス分類して画像変換することに
より、簡易な構成で変換画像の画質の劣化を未然に防止
し得る。

【００２０】

【実施例】以下図面について本発明の一実施例を詳述す
る。

【００２１】（１）実施例の画像情報変換装置 図１においては全体として、本発明による画像情報変換
装置を示し、入力端子１を通じて外部から供給される画
像情報として、ＮＴＳＣ方式の映像信号がデイジタル化
されＳＤデータとして入力される。入力端子１から供給
されたＳＤデータは、動きベクトル検出回路２に供給さ
れる。動きベクトル検出回路２は、全画面の動きに応じ
て動きベクトルを検出するもので、現在創造しようとし
ているＨＤ画素の属するフイールドと、１フイールド前
のフイールドとの間の動きベクトルを算出する。

【００２２】実際上図２に示すように、動きベクトル検
出回路２は、入力端子１を介してＳＤデータが供給され
る代表点メモリ５１及び減算回路５２と、この減算回路
５２による減算出力データが供給される相関積算値表形
成回路５３と、この相関積算値表形成回路５３により形
成された相関積算値表の相関積算値データが供給される
動きベクトル決定回路５４とより構成されている。

【００２３】この動きベクトル検出回路２の代表点メモ
リ５１は、入力ビデオデータで構成される１フイールド
の画像を複数に分割した各ブロツク毎の代表点画素の画
像データＩK(0,0)を記憶する。実際上、図３に示すよう
に、例えば１フイールドの画面をｍ画素×ｎラインのブ
ロツクに分解し、図４に示すように、各ブロツクの中心
画素Ｓ(0,0) を代表点とし、各代表点画素の画素データ
ＩK(0,0)を、代表点メモリ５１に１フイールド期間記憶
する。なお代表点は、画面上で均一にばらまかれるよう
に設定されている。そして、この代表点メモリ５１から
読み出される１フイールド前の各代表点画素の画像デー
タＩK-1(0,0)が、減算回路５２に供給される。

【００２４】減算回路５２は、現フイールドのＳＤデー
タについて、ブロツク毎のｍ×ｎ個の画素の画像データ
ＩK(x,y)と代表点メモリ５１から読み出される前フイー
ルドの対応するブロツクの代表点画素の画像データＩK-
1(0,0)との差分、すなわちフイールド間差分の絶対値｜
ＩK-1(0,0)−ＩK(x,y)｜を検出する。そしてこの減算回
路５２により得られるフイールド差分絶対値｜ＩK-1(0,
0)−ＩK(x,y)｜が相関積算値表形成回路５３に供給され
る。

【００２５】相関積算値表形成回路５３は、減算回路５
２により得られた各ブロツクのフイールド差分絶対値｜
ＩK-1(0,0)−ＩK(x,y)｜を対応する画素毎に１フイール
ド期間に亘つて積算し、１ブロツク分の画素配列に対応
するｍ×ｎの整数座標を有する相関積算値表を形成す
る。この相関積算値表形成回路５３により形成される相
関積算値表は、ｍ×ｎ個のフイールド差分絶対値｜ＩK-
1(0,0)−ＩK(x,y)｜の積算値、すなわち相関積算値の分
布を示す。そしてこの相関積算値表形成回路５３により
形成される相関積算値表のｍ×ｎ個の相関積算値が動き
ベクトル決定回路５４に供給される。

【００２６】動きベクトル決定回路５４は、相関積算値
表形成回路５３により形成された相関積算値表の相関積
算値の最小値の座標を検出して、動きベクトルを決定す
る。相関積算値表形成回路５３により形成された相関積
算値表の相関積算値は、各ブロツクの代表点画素の画像
データＩK-1(0,0)と他の画素の画像データＩK(x,y)との
フイールド間相関を示すもので、相関の強い画素に対応
する座標ほど小さな値となり、動きベクトルに対応する
座標の相関積算値が最小値となるので、最小値の座標を
検出することにより、動きベクトルを決定することがで
きる。動きベクトル決定回路５４の出力信号として、決
定した動きベクトルが出力される。なお実際には、入力
端子１から供給される注目フイールドのＳＤデータに対
し、補間フイルタを用いて垂直方向に補間処理を行い、
画素数を増加させたデータに対して動きベクトルを算出
し、算出精度を向上させることが望ましい。

【００２７】動きベクトル決定回路５４の出力信号、す
なわち動きベクトル検出回路２の出力信号は動き補償回
路３に供給される。動き補償回路３では、動きベクトル
検出回路２の出力信号により、(k-1) フイールドの画像
信号データを、水平方向及び垂直方向にシフトし、全画
面について動き補償を行いｋフイールドにおけるノンイ
ンターレース画像を作成する。なおこの動き補償では、
カメラ等の動きによる全画面動きは除去されるが、画面
の部分動きは除去されない。このため、インターレース
画像といつても正確な意味でのインターレース画像では
なく、画像変換に必要な全画面動きを補償した画像を表
す。動き補償回路３は、出力信号としてｋフイールドに
おけるノンインターレース画像を領域分割化回路に出力
する。

【００２８】ここでこの画像情報変換装置におけるＳＤ
画素と創造すべきＨＤ画素の位置関係を図５に示す。す
なわち創造すべきＨＤ画素には、同一フイールド内で見
たとき、ＳＤ画素から近い位置に存在するＨＤ画素のｙ
1 とＳＤ画素から遠い位置に存在するｙ2 の２種類があ
る。この実施例ではＳＤ画素から近い位置に存在するＨ
Ｄ画素を推定するモードをモード１とし、ＳＤ画素から
遠い位置に存在するＨＤ画素を推定するモードをモード
２とする。

【００２９】領域分割化回路４では、動き補償回路３よ
り供給された動き補償画像データを複数の領域に分割す
る。この実施例では創造すべきＨＤ画素の同一フレーム
内の例えば上下各３画素ずつのＳＤ画素を、１画素×６
ラインの計６画素からなる領域に分割する。モード１に
関しては、図６に示すように、ＨＤ画素ｙ1 に対するＳ
Ｄ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域
にあたり、この領域をブロツク１とする。またモード２
に関しては、図７に示すように、ＨＤ画素ｙ2に対する
ＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領
域にあたり、この領域をブロツク２とする。なお図５〜
図７では、ＳＤ画素を大きい「○」で示し、ＨＤ画素を
小さい「○」で示す。またこの時点では動き補償回路３
によつて既に全画面動きについて動き補償されインター
レース化されているが、各ＳＤ画素のフイールドの属性
を明らかにするため、図５〜図７ではインターレース構
造を有するまま図示している。

【００３０】このようにして、領域分割化回路４により
ブロツク化されたＳＤデータが、ＡＤＲＣ回路５及び遅
延回路（ＤＬ）８に供給される。遅延回路８は、ＡＤＲ
Ｃ回路５、クラスコード発生回路６、ＲＯＭテーブル７
の処理に必要な時間だけＳＤデータを遅延させて推定演
算回路９に出力する。ＡＤＲＣ回路５は、領域毎に供給
されるＳＤデータの１次元的又は２次元的なレベル分布
のパターンを検出すると共に、上述のように各領域のデ
ータを、例えば８ビツトのＳＤデータから２ビツトのＳ
Ｄデータに圧縮するように演算してパターン圧縮データ
を形成し、このパターン圧縮データをクラスコード発生
回路６に供給する。

【００３１】ここでＡＤＲＣは、本来ビデオテープレコ
ーダ（ＶＴＲ）向けの高能率符号化用に開発された適応
的再量子化法だが、信号レベルの局所的なパターンを短
い語長で効率的に表現できるため、この実施例ではＡＤ
ＲＣの手法を用いて信号パターンのクラス分類するため
のコードを発生している。ＡＤＲＣ回路５は、領域内の
ダイナミツクレンジをＤＲ、ビツト割当をｎ、領域内画
素のデータレベルをＬ、再量子化コードをＱとして、次
式

【数１】 によつて、領域内の最大値ＭＡＸと最小値ＭＩＮとの間
を指定されたビツト長で均等に分割して再量子化を行
う。なお（１）式において［］は切り捨て処理を意味す
る。

【００３２】この実施例では、領域分割化回路４により
分割されたそれぞれ６画素のＳＤデータを各２ビツトに
圧縮する。圧縮されたＳＤデータを、それぞれｑ1 〜ｑ
6 とする。このように圧縮されたＳＤデータのパターン
により、信号波形及び部分動きの有無が表現される。な
お動きベクトル検出回路２、動き補償回路３により全画
面動きは除去されるが部分動きは残る。この部分動き
は、このクラス分類により検出され、クラス毎に最適な
処理を行うことにより、処理全体の最適化を図ることが
できる。

【００３３】クラスコード発生回路６は、ＡＤＲＣ回路
５から供給されるパターン圧縮データに基づいて、次式

【数２】 の演算を行うことにより、そのブロツクが属するクラス
を検出し、そのクラスを示すクラスコードclass をＲＯ
Ｍテーブル７に供給する。このクラスコードclass は、
ＲＯＭテーブル７からの読み出しアドレスを示すものと
なつている。

【００３４】実際上ＲＯＭテーブル７には、ＳＤデータ
のパターンとＨＤデータの関係を学習することにより、
線形推定式を用いてそのＳＤデータに対応するＨＤデー
タを算出するための係数データが、各クラス毎に記憶さ
れている。これは線形推定式によりＳＤデータを、この
画像情報よりも高い解像度の画像情報である、いわゆる
ハイビジヨン方式の規格に合致したＨＤデータに変換す
るための情報である。この実施例において係数データ
は、モード１とモード２で独立に用意される。なおＲＯ
Ｍテーブル７に記憶されている係数データの作成方法に
ついては後述する。ＲＯＭテーブル７からは、クラスコ
ードclass で示されるアドレスから、そのクラスの係数
データであるｗi （class ）が読み出される。この係数
データは推定演算回路９に供給される。

【００３５】推定演算回路９は、遅延回路８を介して領
域分割化回路４から供給されるＳＤデータ及びＲＯＭテ
ーブル７から供給される係数データであるｗi （class
）に基づいて、入力されたＳＤデータに対応するＨＤ
データを算出する。実際上推定演算回路９は、遅延回路
８より供給されたＳＤデータとＲＯＭテーブル７より供
給された係数データにより、モード１に関してはブロツ
ク１用の係数を用いて、モード２に関してはブロツク２
用の係数を用いて、係数データであるｗi （class ）に
基づいて、それぞれ次式

【数３】 の演算を行うことにより、入力されたＳＤデータに対応
するＨＤデータを算出する。作成されたＨＤデータは水
平補間フイルタ１０に供給される。

【００３６】水平補間フイルタ１０は、従来について上
述した図１０の水平補間フイルタ１０２と同様に構成さ
れており、補間処理により水平方向の画素数を２倍にす
るものである。水平補間フイルタ１０の出力は、出力端
子１１を介して出力される。この出力端子１１を介して
出力されるＨＤデータは、例えばＨＤテレビジヨン受像
器やＨＤビデオテープレコーダ装置等に供給される。

【００３７】以上の構成によれば、ＳＤデータに対応す
るＨＤデータを推定するための係数データを、各クラス
毎に予め学習により求めた上でＲＯＭテーブル７に記憶
し、入力されるＳＤデータ及びＲＯＭテーブル７から読
み出した係数データに基づいて演算を行い、入力された
ＳＤデータに対応するＨＤデータを形成して出力するこ
とにより、入力されるＳＤデータを単に補間処理した場
合と比較して、実際のデータにより近いＨＤデータに変
換することができる。

【００３８】また上述の構成によれば、カメラ動き等の
全画面動きに関しては、全画面動きベクトルを算出して
全画面動き補償し、静止画化してからクラス分類を行い
画像変換を行うようにしたことにより、全画面動きに関
しては変換画像においてほぼ静止画に近いように画質を
改善することができる。さらに上述の構成によれば、画
素毎又は小さな領域毎に動きベクトルを求め、動き補償
を行うことにより静止画像と見なせるようなノンインタ
ーレース画像を作成し、その画像を元に画像情報変換処
理する方法に比較して、全画面動きベクトルの算出、補
償しか行わないため、ハードウエア規模を大幅に削減し
て、簡易な構成で変換画像の画質を実用上十分に向上す
ることができる。

【００３９】（２）ＲＯＭテーブルの作成方法 ここでＲＯＭテーブル７に格納される係数データの作成
方法について、図８を用いて説明する。この係数データ
を学習によつて得るためには、まず既に知られているＨ
Ｄ画像に対応して、このＨＤ画像の１／４の画素数のＳ
Ｄ画像を形成する。実際上、図８に示す理想フイルタ回
路により、入力端子２１を介して供給されるＨＤデータ
の垂直方向の画素を垂直間引きフイルタ２２によりフイ
ールド内の垂直方向の周波数が１／２になるように間引
き処理し、さらに水平間引きフイルタ２３により、この
ＨＤデータの水平方向の画素を間引き処理してＳＤデー
タを得る。

【００４０】この結果得られるＳＤデータは、動きベク
トル検出回路２４に供給される。動きベクトル検出回路
２４は、図１の画像情報変換装置の動きベクトル検出回
路２と同じ構成のもので、連続する２フイールド間の全
画面動きベクトルを算出する。動きベクトル検出回路２
４の出力信号は、動き補償回路２５に供給される。動き
補償回路２５も、図１の動き補償回路３と同じ構成のも
ので、動きベクトル検出回路２４の出力信号を基に全画
面動き補償を行い、カメラ動き等の全画面動きを除去
し、処理対象フイールドにおけるノンインターレース画
像を作成する。作成されたノンインターレースＳＤデー
タは、領域分割化回路２６に供給される。

【００４１】領域分割化回路２６では、供給されたノン
インターレースＳＤデータを複数の領域に分割する。こ
の領域分割化回路２６も、図１の領域分割化回路４と同
じ構成のものであり、ノンインターレースＳＤデータを
各６画素からなる領域に分割する。すなわちモード１に
対してはブロツク１の領域の領域分割を行い、モード２
に関してはブロツク２の領域分割を行う。この領域毎の
ＳＤデータをＡＤＲＣ回路２７及び正規方程式加算回路
２９に供給する。

【００４２】ＡＤＲＣ回路２７は領域毎に供給されるＳ
Ｄデータの１次元的又は２次元的なレベル分布のパター
ンを検出するとともに、上述のように各領域のすべての
データ又は一部のデータを、例えば８ビツトのＳＤデー
タから２ビツトのＳＤデータに圧縮するように演算して
パターン圧縮データを形成し、このパターン圧縮データ
をクラスコード発生回路２８に供給する。ＡＤＲＣ回路
２７も図１のＡＤＲＣ回路５と同じ構成のものである。
この領域分割化回路２６に分離された、６画素からなる
各領域のＳＤデータ（図６、図７におけるＳＤ画素ｘ1
〜ｘ6 ）を、ＡＤＲＣにより各２ビツトに圧縮する。

【００４３】クラスコード発生回路２８も、図１のクラ
スコード発生回路６と同じ構成のものであり、ＡＤＲＣ
回路２７から供給されるパターン圧縮データに基づいて
（２）式の演算を行うことにより、そのブロツクが属す
るクラスを検出し、そのクラスclass を示すクラスコー
ドを出力する。クラスコード発生回路２８は、クラスコ
ードを正規方程式加算回路２９に出力する。

【００４４】ここで正規方程式加算回路２９の説明とし
て、複数個のＳＤ画素からＨＤ画素への変換式の学習と
その予測式を用いた信号変換について述べる。以下では
説明のために画素をより一般化してｎ画素による予測を
行う場合について述べる。ＳＤ画素レベルをそれぞれｘ
1 、……ｘn として、それぞれにｐビツトＡＤＲＣを行
つた結果の再量子化データをｑ1 、……ｑn とする。こ
のとき、この領域のクラスclass を、上述した（２）式
で定義する。

【００４５】上述のようにＳＤ画素レベルをそれぞれｘ
1 、……ｘn とし、ＨＤ画素レベルをｙとしたとき、ク
ラス毎に係数ｗ1 、……ｗn によるｎタツプの線形推定
式を設定する。これを次式

【数４】 に示す。学習前はｗi が未定係数であり、学習はクラス
毎に複数の信号データに対して行う。データ数がｍの場
合、（４）式にしたがつて、次式

【数５】 が設定される。なおｍ＞ｎの場合は、ｗ1 、……ｗn は
一意に決まらないので、誤差ベクトルｅの要素を次式

【数６】 で定義して、次式

【数７】 を最小にする係数を求める。いわゆる最小二乗法による
解法である。

【００４６】ここで（７）式のｗi による偏微分係数を
求める。それは次式

【数８】 を０にするように、各ｗi を求めればよい。以下次式

【数９】 及び次式

【数１０】 のようにＸji及びＹi を定義すると、上述した（８）式
は行列を用いて、次式

【数１１】 に書き換えられる。

【００４７】この方程式は一般に正規方程式と呼ばれて
いる。正規方程式加算回路２９は、クラスコード発生回
路２８から供給されたクラスコード、領域分割化回路２
６より供給されたＳＤデータｘ1 、……ｘn 、入力端子
２１より供給されたＳＤデータに対応するＨＤ画素レベ
ルｙを用いて、この正規方程式の加算を行う。

【００４８】すべてのトレーニングデータの入力が終了
した後、正規方程式加算回路２９は、予測係数決定回路
３０に正規方程式データを出力する。予測係数決定回路
３０は、正規方程式を掃き出し法などの一般的な行列解
法を用いて、ｗi について解き予測係数を算出する。予
測係数決定回路３０は、算出された予測係数をメモリ３
１に書き込む。

【００４９】以上のようにトレーニングを行つた結果、
メモリ３１には、量子化データｑ1、……ｑ6 で規定さ
れるパターン毎に、注目ＨＤデータｙを推定するため
の、統計的にもつとも真値に近い推定ができる予測係数
が格納される。このメモリ３１に格納されたテーブル
が、図１の画像情報変換装置において使用されるＲＯＭ
テーブル７である。以上の処理によつて線形推定式によ
り、ＳＤデータからＨＤデータを作成するための係数デ
ータの学習が終了する。

【００５０】（３）他の実施例 なお上述の実施例においては、１フイールドあたり１つ
の動きベクトルを算出し、それに基づく動き補償を行つ
たが、図９に示すように、１画面を複数のマクロブロツ
クに分解し、それぞれのマクロブロツクで動きベクトル
を算出、動き補償する方法を取つても良い。これによつ
て部分動きに対する画質改善性能を格段的に向上するこ
とができる。

【００５１】なお上述の実施例においては、ＡＤＲＣに
よる圧縮符号化の方法を用いて画像データの情報を圧縮
してクラス分けした場合について述べたが、圧縮の方法
はこれに限らず、画像データの情報を信号波形のパター
ンの少ないクラスで表現できるような圧縮符号化であれ
ばどのような方法を用いるようにしたも良く、例えば差
分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）や離散
コサイン変換（ＤＣＴ）等の種々の方法が考えられる。

【００５２】また上述の実施例においては、説明の簡略
化のため、水平方向についての画像情報の変換を水平補
間フイルタを用いるようにしたが、これに代え、水平方
向の画像情報の変換用のＲＯＭを用意し、水平方向につ
いても推定式を用いて画像情報を変換するようにしても
良い。

【００５３】また上述の実施例においては、領域分割化
回路により、信号波形のパターンを１次元的に分割して
表現したが、これに代え、信号波形のパターンを２次元
的に分割して表現するようにしても上述の実施例と同様
の効果を実現できる。

【００５４】また上述の実施例においては、クラス分類
に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を
同一のものとしたが、これらは必ずしも同一なものであ
る必要はない。因に、異なる画素を使用する場合、クラ
ス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画
素が包含するような形にするのが望ましく、また追加し
て使用する線形推定式で用いるＳＤ画素は、推定するＨ
Ｄ画素と同一フイールドに属するもののみとすることが
望ましい。

【００５５】また上述の実施例においては、画像情報を
変換する際に、ＲＯＭテーブルに記憶されている係数デ
ータを用いた場合について述べたが、これに代え、ＲＯ
Ｍテーブルにクラス分類に応じた重心法による代表値を
記憶することにより、推定演算を施すことなくＨＤデー
タを補間するようにしても良い。

【００５６】また上述の実施例においては、本発明をＮ
ＴＳＣ方式の映像信号をハイビジヨン方式の映像信号に
変換する場合について述べたが、本発明はこれに限ら
ず、第１の画像情報の解像度を、この第１の画像情報の
解像度より高解像度の第２の画像情報に変換する場合に
広く適用し得る。

【００５７】また上述の実施例においては、本発明を画
像情報変換装置として単独で機能するものとして説明し
たが、本発明による画像情報変換装置はこれに限らず、
例えばテレビジヨン受像器、ビデオテープレコーダ装
置、コンピユータ装置等に内蔵されたり周辺装置として
付加されるようにしても良い。

【００５８】

【発明の効果】上述のように本発明によれば、入力され
る第１の画像情報から、画面に１つ又は複数の全画面の
動きに応じた動きベクトルを検出して、全画面について
動き補償して全画面の動きを除去する。続いて動き補償
画像情報を複数の領域に分割し、それぞれの領域毎にレ
ベル分布のパターンを検出し、この検出したパターンに
基づいて、その領域の動き補償画像情報が属するクラス
を決定してクラス検出情報を出力する。このクラス検出
情報に応じて、動き補償画像情報をより解像度の高い画
像情報に変換するための情報である線形推定式の係数デ
ータ又は代表値がクラス毎に記憶された記憶手段を読み
出し、この係数データ又は代表値に応じて、動き補償画
像情報が第２の画像情報に変換される。かくして簡易に
検出した動きベクトルで動き補償した画像情報で、クラ
ス分類して画像変換することにより、簡易な構成で変換
画像の画質を向上し得る画像情報変換装置を実現でき
る。

【図面の簡単な説明】

【図１】本発明による画像情報変換装置の一実施例の構
成を示すブロツク図である。

【図２】図１の画像情報変換装置における動きベクトル
検出回路の構成を示すブロツク図である。

【図３】図２の動きベクトル検出回路の動作の説明に供
する略線図である。

【図４】図２の動きベクトル検出回路の動作の説明に供
する略線図である。

【図５】本発明による画像情報変換の前提としてＳＤデ
ータとＨＤデータの位置関係を示す略線図である。

【図６】クラス分割に使用するデータの説明としてＳＤ
データとＨＤデータの位置関係を示す略線図である。

【図７】クラス分割に使用するデータの説明としてＳＤ
データとＨＤデータの位置関係を示す略線図である。

【図８】ＲＯＭテーブルの作成方法の説明に供するブロ
ツク図である。

【図９】他の実施例による動きベクトル検出の動作の説
明に供する略線図である。

【図１０】従来の画像情報変換装置の構成を示すブロツ
ク図である。

【図１１】図１０の画像情報変換装置の水平補間フイル
タの構成を示す接続図である。

【符号の説明】

１、２１、１００、１１０……入力端子、２、２４……
動きベクトル検出回路、３、２５……動き補償回路、
４、２６……領域分割化回路、５、２７……ＡＤＲＣ回
路、６、２８……クラスコード発生回路、７……ＲＯＭ
テーブル、８……遅延回路、９……推定演算回路、１
０、１０１……水平補間フイルタ、１１、１０３、１２
０……出力端子、２２……垂直間引きフイルタ、２３…
…水平間引きフイルタ、２９……正規方程式加算回路、
３０……予測係数決定回路、３１……メモリ、５１……
代表点メモリ、５２……減算回路、５３……相関積算値
表形成回路、５４……動きベクトル決定回路、１０２…
…垂直補間フイルタ、１１１……乗算器、１１２……加
算器、１１３……遅延レジスタ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】デイジタル画像信号でなる第１の画像情報
   を、より画素数の多いデイジタル画像信号でなる第２の
   画像情報に変換する画像情報変換装置において、 インターレース構造を有する第１の画像情報の連続２フ
   イールド分又は連続２フレーム分より、１画面につき１
   又は複数の全画面の動きに応じた動きベクトルを算出す
   る動きベクトル検出手段と、 当該動きベクトル検出手段により検出された上記全画面
   の動きに応じた上記１又は複数の動きベクトルに基づ
   き、上記全画面の動きを補償する動き補償手段と、 当該動き補償手段から供給された動き補償画像情報を複
   数のブロツクに分割する画像情報分割手段と、 当該画像情報分割手段により分割されたブロツク毎に上
   記動き補償画像情報のレベル分布のパターンを検出し、
   当該検出したパターンに基づいて、当該ブロツクの上記
   動き補償画像情報が属するクラスを決定してクラス検出
   情報を出力するクラス検出手段と、 上記動き補償画像情報を、当該動き補償画像情報よりも
   解像度が高い上記第２の画像情報に変換するための情報
   である推定式の係数データが上記クラス毎に記憶され、
   上記クラス検出手段からの上記クラス検出情報に応じて
   上記係数データを出力する係数データ記憶手段と、 当該係数データ記憶手段から供給された上記係数データ
   に応じて、上記第１の画像情報を上記第２の画像情報に
   変換して出力する画像変換手段とを具えることを特徴と
   する画像情報変換装置。
2. 【請求項２】上記クラス検出手段は、上記画像情報分割
   手段により分割された上記動き補償画像情報の上記ブロ
   ツク毎に、圧縮符号化に応じた手法を用いて上記レベル
   分布のパターンを検出して上記クラスを決定するように
   したことを特徴とする請求項１に記載の画像情報変換装
   置。
3. 【請求項３】デイジタル画像信号でなる第１の画像情報
   を、より画素数の多いデイジタル画像信号でなる第２の
   画像情報に変換する画像情報変換装置において、 インターレース構造を有する第１の画像情報の連続２フ
   イールド分又は連続２フレーム分より、１画面につき１
   又は複数の全画面の動きに応じた動きベクトルを算出す
   る動きベクトル検出手段と、 当該動きベクトル検出手段により検出された上記全画面
   の動きに応じた上記１又は複数の動きベクトルに基づ
   き、上記全画面の動きを補償する動き補償手段と、 当該動き補償手段から供給された動き補償画像情報を複
   数のブロツクに分割する画像情報分割手段と、 当該画像情報分割手段により分割されたブロツク毎に上
   記動き補償画像情報のレベル分布のパターンを検出し、
   当該検出したパターンに基づいて、当該ブロツクの上記
   動き補償画像情報が属するクラスを決定してクラス検出
   情報を出力するクラス検出手段と、 上記動き補償画像情報を、当該動き補償画像情報よりも
   解像度が高い上記第２の画像情報に変換するための情報
   である代表値が上記クラス毎に記憶され、上記クラス検
   出手段からの上記クラス検出情報に応じて上記代表値を
   出力する代表値記憶手段と、 当該代表値記憶手段から供給された上記代表値に応じ
   て、上記第１の画像情報を上記第２の画像情報に変換し
   て出力する画像変換手段とを具えることを特徴とする画
   像情報変換装置。
4. 【請求項４】上記クラス検出手段は、上記画像情報分割
   手段により分割された上記動き補償画像情報の上記ブロ
   ツク毎に、圧縮符号化に応じた手法を用いて上記レベル
   分布のパターンを検出して上記クラスを決定するように
   したことを特徴とする請求項３に記載の画像情報変換装
   置。