JPH11355731A - 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 - Google Patents

Abstract

(57)【要約】 【課題】変換処理を適切に行い得るようにする。 【解決手段】ＮＴＳＣ方式ビデオ信号を構成するＳＤ画
素データをハイビジョンビデオ信号を構成するＨＤ画素
データに変換する。ＲＯＭテーブル１０７_-1〜１０７_-n
に、夫々異なるエラー状態のＳＤ画素データに対応した
係数データを記憶しておき、ＳＤ画素データのエラー状
態の検出結果ＥＤＥによって、ＲＯＭテーブルを選択す
る。その選択されたＲＯＭテーブルに、推定しようとす
るＨＤ画素データｙが属するクラス（空間クラス及び動
きクラス）を示すクラスコードＣＬを読み出しアドレス
情報として供給する。読み出される係数データｗiと、
推定しようとするＨＤ画素データｙに対応して切り出さ
れたＳＤ画素データｘiとから、線形推定式を使用し
て、ＨＤ画素データｙを演算する。ＳＤ画素データのエ
ラー状態に応じた係数データｗｉが選択的に使用される
ため、変換処理が適切に行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばＮＴＳＣ
方式のビデオ信号をハイビジョンのビデオ信号に変換す
る画像信号の変換装置および変換方法、並びにそれに使
用される係数データの生成装置および生成方法に関す
る。詳しくは、線形推定式を使用して第１の画像信号を
この第１の画像信号と同じあるいはそれより多い画素数
の第２の画像信号に変換する際に、第１の画像信号のエ
ラー状態に応じた係数データを選択的に使用可能とする
ことによって、変換処理を適切に行い得るようにした画
像信号変換装置等に係るものである。

【０００２】

【従来の技術】近年、オーディオ・ビジュアル指向の高
まりから、より高解像度の画像を得ることができるよう
なテレビ受信機の開発が望まれ、この要望に応えて、い
わゆるハイビジョンが開発された。ハイビジョンの走査
線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに
対して、２倍以上の１１２５本である。また、ハイビジ
ョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４である
のに対して、９：１６となっている。このため、ハイビ
ジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感
のある画像を表示することができる。

【０００３】ハイビジョンはこのように優れた特性を有
するが、ＮＴＳＣ方式のビデオ信号をそのまま供給して
も、ハイビジョン方式による画像表示を行うことはでき
ない。これは、上述のようにＮＴＳＣ方式とハイビジョ
ンとでは規格が異なるからである。

【０００４】そこで、ＮＴＳＣ方式のビデオ信号に応じ
た画像をハイビジョン方式で表示するため、本出願人
は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンの
ビデオ信号に変換するための変換装置を提案した（特願
平６−２０５９３４号参照）。この変換装置では、ハイ
ビジョンのビデオ信号を構成する各画素の信号を、ＮＴ
ＳＣ方式の所定領域の画素の信号と係数データ（予測係
数値）とから線形推定式を用いて得るようになってい
る。ここで、係数データは、予め学習により獲得され、
ＲＯＭ（read only memory）等の係数データ記憶手段に
記憶されている。

【０００５】

【発明が解決しようとする課題】上述した変換装置にお
いては、係数データ記憶手段に記憶されている係数デー
タは１種類のみである。そのため、ＮＴＳＣ方式のビデ
オ信号のエラー状態によっては、係数データ記憶手段に
記憶されている係数データが適当でなく、適切な変換処
理を行えないという問題があった。

【０００６】そこで、この発明では、変換処理を適切に
行い得るようにした画像信号変換装置等を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】この発明に係る画像信号
変換装置は、第１の画像信号を、この第１の画像信号と
同じあるいはそれより多い画素数の第２の画像信号に変
換するようにした画像信号変換装置において、第１の画
像信号から第１の領域の画素の信号を切り出す第１の画
素切り出し手段と、この第１の画素切り出し手段により
切り出された第１の領域の画素の信号のレベル分布パタ
ーンを検出し、このパターンに基づいて推定しようとす
る第２の画像信号を構成する所定画素の信号が属するク
ラスを決定してクラス情報を出力するクラス決定手段
と、それぞれクラス情報で示される各クラスに対応した
線形推定式の係数データを記憶すると共に、それぞれ第
１の画像信号の異なるエラー状態に対応した線形推定式
の係数データを記憶する複数の係数データ記憶部を持つ
係数データ記憶手段と、第１の画像信号のエラー状態を
検出するエラー検出手段と、このエラー検出手段で検出
されるエラー状態に基づいて複数の係数データ記憶部よ
り選択された一の係数データ記憶部から、クラス決定手
段より出力されるクラス情報に対応した係数データを読
み出して出力する係数データ出力手段と、第１の画像信
号から第２の領域の画素の信号を切り出す第２の画素切
り出し手段と、係数データ出力手段より出力された係数
データと、第２の画素切り出し手段により切り出された
第２の領域の画素の信号とから、線形推定式を用いて第
２の画像信号を構成する所定画素の信号を演算して出力
する画像信号出力手段とを備えるものである。第１およ
び第２の画素切り出し手段が共通に構成され、従って第
１および第２の領域が同じであってもよい。

【０００８】推定しようとする第２の画像信号を構成す
る所定画素に対応して第１の画像信号から第１の領域の
画素の信号が切り出され、そのレベル検出パターンに基
づいて上述した第２の画像信号を構成する所定画素の信
号が属するクラスが決定されてクラス情報が出力され
る。また、第１の画像信号のエラー状態が検出され、そ
のエラー状態に基づいて複数の係数データ記憶部より選
択された一の係数データ記憶部からクラス情報に対応し
た係数データが読み出される。また、上述した第２の画
像信号を構成する所定画素に対応して第１の画像信号か
ら第２の領域の画素の信号が切り出される。そして、こ
の第２の領域の画素の信号と係数データとから、線形推
定式を用いて上述した第２の画像信号を構成する所定画
素の信号が演算される。

【０００９】複数の係数データ記憶部には、 第１の画
像信号の異なるエラー状態に対応した係数データが記憶
される。上述したように第１の画像信号のエラー状態に
基づいて複数の係数データ記憶部より選択された一の係
数データ記憶部から係数データが読み出されて使用され
る。そのため、線形推定式で使用される係数データは第
１の画像信号のエラー状態に対応したものとなり、変換
処理が適切に行われるようになる。

【００１０】また、この発明に係る係数データ生成装置
は、第１の画像信号を、この第１の画像信号より画素数
の多い第２の画像信号に変換する際に使用される線形推
定式の係数データを生成する装置において、第２の画像
信号に対応する教師信号を処理して第１の画像信号に対
応する第１の入力信号を得る第１の信号処理手段と、第
１の入力信号を処理して所定のエラーを持つ第２の入力
信号を得る第２の信号処理手段と、教師信号を構成する
複数の画素の信号にそれぞれ対応して、第２の入力信号
より第１の領域の画素の信号を順次切り出す第１の画素
切り出し手段と、この第１の画素切り出し手段により順
次切り出された第１の領域の画素の信号のレベル分布の
パターンを検出し、このパターンに基づいて教師信号を
構成する複数の画素の信号がそれぞれ属するクラスを決
定してクラス情報を出力するクラス決定手段と、教師信
号を構成する複数の画素の信号にそれぞれ対応して、第
２の入力信号より第２の領域の画素の信号を順次切り出
す第２の画素切り出し手段と、クラス決定手段より出力
される教師信号を構成する複数の画素の信号がそれぞれ
属するクラスを示すクラス情報、教師信号を構成する複
数の画素の信号および第２の画素切り出し手段により順
次切り出された第２の領域の画素の信号から、各クラス
毎に係数データをそれぞれ得るための正規方程式を生成
する正規方程式生成手段と、正規方程式を解いて各クラ
ス毎の係数データを得る係数データ演算手段とを備える
ものである。第１および第２の画素切り出し手段が共通
に構成され、従って第１および第２の領域が同じであっ
てもよい。

【００１１】第２の画像信号、例えばハイビジョンのビ
デオ信号に対応する教師信号が処理されて第１の画像信
号、例えばＮＴＳＣ方式のビデオ信号に対応する第１の
入力信号が得られる。また、この第１の入力信号が処理
されて所定のエラーが付加された第２の入力信号が得ら
れる。エラー状態としては、ある走査線上のデータがジ
ッタによって１画素分ずれているもの、特定の画素デー
タの値がノイズによって変化しているもの等が考えられ
る。

【００１２】教師信号を構成する複数の画素の信号にそ
れぞれ対応して、第２の入力信号より第１の領域の画素
の信号が順次切り出され、その第１の領域の画素の信号
のレベル分布パターンに基づいて教師信号を構成する複
数の画素の信号がそれぞれ属するクラスが決定されてク
ラス情報が出力される。

【００１３】また、教師信号を構成する複数の画素の信
号にそれぞれ対応して、第２の入力信号より第２の領域
の画素の信号が順次切り出される。そして、この第２の
領域の画素の信号と、教師信号を構成する複数の画素の
信号がそれぞれ属するクラスを示すクラス情報と、教師
信号を構成する複数の画素の信号とから、各クラス毎に
係数データをそれぞれ得るための正規方程式が生成さ
れ、この正規方程式を解くことで各クラス毎の係数デー
タが得られる。第２の信号処理手段で付加されるエラー
を変更することで、第１の画像信号の種々のエラー状態
に対応した係数データを得ることが可能となる。

【００１４】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施の形態について説明する。図１は、実施の形
態としての画像信号変換装置１００の構成を示してい
る。この画像信号変換装置１００は、ＮＴＳＣ方式のビ
デオ信号を構成する画素データ（以下、「ＳＤ画素デー
タ」という）からハイビジョンのビデオ信号を構成する
画素データ（以下、「ＨＤ画素データ」という）を得る
ためのものである。

【００１５】この画素信号変換装置１１１は、ＳＤ画素
データが供給される入力端子１０１と、この入力端子１
０１に供給されるＳＤ画素データより、推定しようとす
る所定のＨＤ画素データに対応した領域のＳＤ画素デー
タを切り出す領域切り出し回路１０２と、この領域切り
出し回路１０２で切り出されたＳＤ画素データに対して
ＡＤＲＣ（Adaptive Dynamic Range Coding）処理を適
用して、主に空間内の波形を表すクラス（空間クラス）
を決定してクラス情報を出力するＡＤＲＣ回路１０３と
を有している。

【００１６】図２および図３は、ＳＤ画素とＨＤ画素の
位置関係を示している。領域切り出し回路１０２では、
例えば図４に示すように、ＨＤ画素データｙを推定しよ
うとする場合、このＨＤ画素データｙの近傍に位置する
ＳＤ画素データｋ₁〜ｋ₅が切り出される。

【００１７】ＡＤＲＣ回路１０３では、領域切り出し回
路１０２で切り出されたＳＤ画素データのレベル分布の
パターン化を目的として、各ＳＤ画素データを、例えば
８ビットデータから２ビットデータに圧縮するような演
算が行われる。そして、ＡＤＲＣ回路１０３からは、各
ＳＤ画素データに対応した圧縮データ（再量子化コー
ド）ｑiが空間クラスのクラス情報として出力される。

【００１８】本来ＡＤＲＣは、ＶＴＲ（Video Tape Rec
order）向け高性能符号化用に開発された適応的再量子
化法であるが、信号レベルの局所的なパターンを短い語
長で効率的に表現できるので、本実施の形態では、領域
切り出し回路１０２で切り出されたＳＤ画素データのレ
ベル分布のパターン化に使用している。

【００１９】ＡＤＲＣ回路１０３では、領域内のＳＤ画
素データの最大値をＭＡＸ、その最小値をＭＩＮ、領域
内のダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋
１）、再量子化ビット数をｐとすると、領域内の各ＳＤ
画素データｋiに対して、（１）式の演算により再量子
化コードｑiが得られる。ただし、（１）式において、
〔 〕は切り捨て処理を意味している。領域切り出し回
路１０２で、Ｎａ個のＳＤ画素データが切り出されると
き、ｉ＝１〜Ｎａである。

【００２０】 ｑi＝〔（ｋi−ＭＩＮ＋０．５）・２^p ／ＤＲ〕 ・・・（１） また、画像信号変換装置１００は、入力端子１０１に供
給されるＳＤ画素データより、推定しようとする所定の
ＨＤ画素データに対応した領域のＳＤ画素データを切り
出す領域切り出し回路１０４と、この領域切り出し回路
１０４で切り出されたＳＤ画素データより、主に動きの
程度を表すためのクラス（動きクラス）を決定してクラ
ス情報を出力する動きクラス決定回路１０５とを有して
いる。

【００２１】領域切り出し回路１０４では、例えば図５
に示すように、ＨＤ画素データｙを推定しようとする場
合、このＨＤ画素データｙの近傍に位置する１０個のＳ
Ｄ画素データｍ₁〜ｍ₅，ｎ₁〜ｎ₅が切り出される。

【００２２】動きクラス決定回路１０５では、領域切り
出し回路１０４で切り出されたＳＤ画素データｍi，ｎi
からフレーム間差分が算出され、さらにその差分の絶対
値の平均値に対してしきい値処理が行われて動きの指標
である動きクラスのクラス情報ＭＶが出力される。

【００２３】すなわち、動きクラス決定回路１０５で
は、（２）式によって、差分の絶対値の平均値ＡＶが算
出される。領域切り出し回路１０４で、例えば上述した
ように１０個のＳＤ画素データｍ₁〜ｍ₅，ｎ₁〜ｎ₅が切
り出されるとき、（２）式におけるＮｂは５である。

【００２４】

【数１】

【００２５】そして、動きクラス決定回路１０５では、
上述したように算出された平均値ＡＶが１個または複数
個のしきい値と比較されてクラス情報ＭＶが得られる。
例えば、３個のしきい値ｔｈ₁，ｔｈ₂，ｔｈ₃（ｔｈ₁＜
ｔｈ₂＜ｔｈ₃）が用意され、４つの動きクラスを決定す
る場合、ＡＶ≦ｔｈ₁のときはＭＶ＝０、ｔｈ₁＜ＡＶ≦
ｔｈ₂のときはＭＶ＝１、ｔｈ₂＜ＡＶ≦ｔｈ₃のときは
ＭＶ＝２、ｔｈ₃＜ＡＶのときはＭＶ＝３とされる。

【００２６】また、画像信号変換装置１００は、ＡＤＲ
Ｃ回路１０３より出力される空間クラスのクラス情報と
しての再量子化コードｑiと、動きクラス決定回路１０
５より出力される動きクラスのクラス情報ＭＶに基づ
き、推定しようとするＨＤ画素データが属するクラスを
示すクラスコードＣＬを得るためのクラスコード発生回
路１０６を有している。クラスコード発生回路１０６で
は、（３）式によって、クラスコードＣＬの演算が行わ
れる。なお、（３）式において、Ｎａは領域切り出し回
路１０２で切り出されるＳＤ画素データの個数、ｐはＡ
ＤＲＣ回路１０３における再量子化ビット数を示してい
る。

【００２７】

【数２】

【００２８】また、画像信号変換装置１００は、それぞ
れ後述する推定演算回路１１０で使用される線形推定式
の係数データが各クラス毎に記憶されているｎ個のＲＯ
Ｍテーブル１０７_-1〜１０７_-nと、入力端子１０１に供
給されるＳＤ画素データのエラー状態を検出するエラー
検出回路１０８とを有している。ＲＯＭテーブル１０７
_-1〜１０７_-nには、それぞれＳＤ画素データの異なるエ
ラー状態に対応した線形推定式の係数データが記憶され
ている。エラー状態としては、ある走査線上の画素デー
タがジッタによって１画素分ずれているもの、特定の画
素データの値がノイズによって変化しているもの等が考
えられる。エラー検出回路１０８では、例えば連続する
複数の垂直方向および水平方向の画素データの相関を見
ることでエラー状態の検出が行われる。

【００２９】エラー検出回路１０８より出力されるエラ
ー状態の検出結果ＥＤＥは、ＲＯＭテーブル１０７_-1〜
１０７_-nより一のＲＯＭテーブルを選択するための情報
として使用される。すなわち、ＲＯＭテーブル１０７_-1
〜１０７_-nのうち、係数データを得るためのＲＯＭテー
ブルとして、検出結果ＥＤＥで示されるエラー状態、ま
たはそれに最も近いエラー状態に対応した線形推定式の
係数データが記憶されているＲＯＭテーブルが選択され
る。この選択されたＲＯＭテーブルにはクラスコード発
生回路１０６より出力されるクラスコードが読み出しア
ドレス情報として供給され、そのＲＯＭテーブルよりク
ラスコードＣＬに対応した係数データｗｉが読み出され
る。

【００３０】また、画像信号変換装置１００は、入力端
子１０１に供給されるＳＤ画素データより、推定しよう
とする所定のＨＤ画素データに対応した領域のＳＤ画素
データを切り出す領域切り出し回路１０９と、この領域
切り出し回路１０９で切り出されたＳＤ画素データと、
上述したように選択されたＲＯＭテーブルより読み出さ
れる係数データｗiとから、推定しようとするＨＤ画素
データを演算する推定演算回路１１０と、この推定演算
回路１１０で演算されたＨＤ画素データを導出する出力
端子１１１と有している。

【００３１】領域切り出し回路１０９では、例えば図６
に示すように、ＨＤ画素データｙを推定しようとする場
合、これらＨＤ画素データｙの近傍に位置するＳＤ画素
データｘ₁〜ｘ₂₅が切り出される。推定演算回路１１０
では、領域切り出し回路１０９で切り出されたＳＤ画素
データｘiと、選択されたＲＯＭテーブルより読み出さ
れた係数データｗiとから、（４）式の線形推定式によ
って、推定しようとするＨＤ画素データｙが演算され
る。領域切り出し回路１０９で、例えば上述したように
２５個のＳＤ画素データｘ₁〜ｘ₂₅が切り出されると
き、（４）式におけるｎ、つまりタップ数は２５であ
る。

【００３２】

【数３】

【００３３】図１に示す画像信号変換装置１００の動作
を説明する。推定しようとする所定のＨＤ画素データｙ
に対応して、入力端子１０１に供給されるＳＤ画素デー
タより領域切り出し回路１０２で所定領域のＳＤ画素デ
ータｋiが切り出され、この切り出された各ＳＤ画素デ
ータｋiに対してＡＤＲＣ回路１０３でＡＤＲＣ処理が
施されて空間クラス（主に空間内の波形表現のためのク
ラス分類）のクラス情報としての再量子化コードｑiが
得られる。

【００３４】また、上述した推定しようとするＨＤ画素
データｙに対応して、入力端子１０１に供給されるＳＤ
画素データより領域切り出し回路１０４で所定領域のＳ
Ｄ画素データｍi，ｎiが切り出され、この切り出された
各ＳＤ画素データｍi，ｎiより動きクラス決定回路１０
５で動きクラス（主に動きの程度を表すためのクラス分
類）を示すクラス情報ＭＶが得られる。この動きクラス
情報ＭＶと上述したＡＤＲＣ回路１０３で得られる再量
子化コードｑiとから、クラスコード発生回路１０６
で、推定しようとするＨＤ画素データｙが属するクラス
を示すクラス情報としてのクラスコードＣＬが得られ
る。

【００３５】また、入力端子１０１に供給されるＳＤ画
素データがエラー検出回路１０８に供給され、ＳＤ画素
データのエラー状態が検出される。そして、エラー検出
回路１０８からのエラー状態の検出結果ＥＤＥによっ
て、ＲＯＭテーブル１０７_-1〜１０７_-nのうち、ＳＤ画
素データのエラー状態またはそれに最も近いエラー状態
に対応した線形推定式の係数データが記憶されているＲ
ＯＭテーブルが選択される。この選択されたＲＯＭテー
ブルにクラスコードＣＬが読み出しアドレス情報として
供給され、そのクラスコードＣＬに対応した係数データ
ｗｉが読み出される。

【００３６】また、上述した推定しようとするＨＤ画素
データｙに対応して、入力端子１０１に供給されるＳＤ
画素データより領域切り出し回路１０９で所定領域のＳ
Ｄ画素データｘiが切り出される。そして、推定演算回
路１１０では、その切り出されたＳＤ画素データｘi
と、上述したように選択されたＲＯＭテーブルより読み
出された係数データｗiとから、線形推定式を使用し
て、推定しようとするＨＤ画素データｙが演算される。
そして、推定演算回路１１０より順次出力されるＨＤ画
素データｙが出力端子１１１に導出される。

【００３７】図１に示す画像信号変換装置１００におい
ては、入力端子１０１に供給されるＳＤ画素データのエ
ラー状態が検出され、そのエラー状態またはそれに最も
近いエラー状態に対応した係数データｗｉが読み出さ
れ、推定しようとするＨＤ画素データｙを求めるための
線形推定式に用いられる。そのため、ＮＴＳＣ方式のビ
デオ信号からハイビジョンのビデオ信号への変換処理を
常に適切に行うことができる利益がある。なお、領域切
り出し回路１０２および領域切り出し回路１０９を共通
に構成し、ｋiとｘiを同じとすることも考えられる。

【００３８】ところで、ＲＯＭテーブル１０７_-1〜１０
７_-nには、上述したようにそれぞれ各クラスに対応した
線形推定式の係数データが記憶されている。この係数デ
ータは、予め学習によって生成されたものである。ま
ず、この学習方法について説明する。（４）式の線形推
定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小自乗
法により求める例を示すものとする。一般化した例とし
て、Ｘを入力データ、Ｗを予測係数、Ｙを予測値とし
て、（５）式の観測方程式を考える。この（５）式にお
いて、ｍは学習データ数を示し、ｎは予測タップの数を
示している。

【００３９】

【数４】

【００４０】（５）式の観測方程式により収集されたデ
ータに最小自乗法を適用する。この（５）式の観測方程
式をもとに、（６）式の残差方程式を考える。

【００４１】

【数５】

【００４２】（６）式の残差方程式から、各ｗiの最確
値は、（７）式のｅ²を最小にする条件が成り立つ場合
と考えられる。すなわち、（８）式の条件を考慮すれば
よいわけである。

【００４３】

【数６】

【００４４】つまり、（８）式のｉに基づくｎ個の条件
を考え、これを満たすｗ₁，ｗ₂，・・・，ｗ_nを算出す
ればよい。そこで、（６）式の残差方程式から、（９）
式が得られる。さらに、（９）式と（５）式とから、
（１０）式が得られる。

【００４５】

【数７】

【００４６】そして、（６）式と（１０）式とから、
（１１）式の正規方程式が得られる。

【００４７】

【数８】

【００４８】（１１）式の正規方程式は、未知数の数ｎ
と同じ数の方程式を立てることが可能であるので、各ｗ
iの最確値を求めることができる。この場合、掃き出し
法（Gauss-Jordanの消去法）等を用いて連立方程式を解
くことになる。

【００４９】図７は、上述した予測係数の学習フローを
示している。学習を行うためには、入力信号と予測対象
となる教師信号を用意しておく。

【００５０】まず、ステップＳＴ１で、教師信号より得
られる予測対象画素値と入力信号より得られる予測タッ
プのｎ個の画素値との組み合わせを学習データとして生
成する。次に、ステップＳＴ２で、学習データの生成が
終了したか否かを判定し、学習データの生成が終了して
いないときは、ステップＳＴ３でその学習データにおけ
る予測対象画素値が属するクラスを決定する。このクラ
スの決定は、予測対象画素値に対応して入力信号より得
られる所定数の画素値に基づいて行われ、上述したＡＤ
ＲＣ処理による空間クラス等が決定される。

【００５１】そして、ステップＳＴ４で、各クラス毎
に、ステップＳＴ１で生成された学習データ、すなわち
予測対象画素値と予測タップのｎ個の画素値とを使用し
て、（１１）式に示すような正規方程式の生成をする。
ステップＳＴ１〜ステップＳＴ４の動作は、学習データ
の生成が終了するまで繰り返され、多くの学習データが
登録された正規方程式が生成される。

【００５２】ステップＳＴ２で学習データの生成が終了
したときは、ステップＳＴ５で、各クラス毎に生成され
た正規方程式を解き、各クラス毎のｎ個の予測係数ｗi
を求める。そして、ステップＳＴ６で、クラス別にアド
レス分割されたメモリに予測係数ｗiを登録して、学習
フローを終了する。

【００５３】次に、図１に示した画像信号変換装置１０
０のＲＯＭテーブル１０７_-1〜１０７_-nに記憶されてい
る各クラス毎の係数データｗiを、上述した学習の原理
によって予め生成する係数データ生成装置１５０の詳細
を説明する。図８は、係数データ生成装置１５０の構成
例を示している。

【００５４】この係数データ生成装置１５０は、教師信
号としてのハイビジョンのビデオ信号を構成するＨＤ画
素データが供給される入力端子１５１と、このＨＤ画素
データに対して水平および垂直の間引きフィルタ処理を
行って、入力信号としてのＮＴＳＣ方式のビデオ信号を
構成するＳＤ画素データを得る間引き回路１５２と、こ
のＳＤ画素データに所定のエラーを付加するエラー付加
回路１５３とを有している。

【００５５】間引き回路１５２では、図示せずも、ＨＤ
画素データに対して、垂直間引きフィルタによってフィ
ールド内の垂直方向のライン数が１／２となるように間
引き処理が施されると共に、さらに水平間引きフィルタ
によって水平方向の画素数が１／２となるように間引き
処理が施される。したがって、ＳＤ画素とＨＤ画素の位
置関係は、図２および図３に示すようになる。エラー付
加回路１５３からは所定のエラーが付加されたＳＤ画素
データが出力されるが、係数データ生成装置１５０では
そのＳＤ画素データのエラー状態に対応した係数データ
が生成される。エラー付加回路１５３では、例えばある
走査線上のデータを１画素分ずらす、特定の画素データ
の値を変化させる等の処理により、種々のエラーを付加
することが可能とされている。

【００５６】また、係数データ生成装置１５０は、入力
端子１５１に供給されるＨＤ画素データＨＤより得られ
る予測対象画素値としての複数個のＨＤ画素データにそ
れぞれ対応して、エラー付加回路１５３より出力される
ＳＤ画素データＳＤより所定領域のＳＤ画素データを順
次切り出す領域切り出し回路１５５と、この領域切り出
し回路１５５で順次切り出されたＳＤ画素データに対し
てＡＤＲＣ処理を適用して、主に空間内の波形を表すク
ラス（空間クラス）を決定してクラス情報を出力するＡ
ＤＲＣ回路１５６とを有している。

【００５７】領域切り出し回路１５５は、上述した画像
信号変換装置１００の領域切り出し回路１０２と同様に
構成される。この領域切り出し回路１５５からは、例え
ば図４に示すように、予測対象画素値としてのＨＤ画素
データｙに対応して、このＨＤ画素データｙの近傍に位
置するＳＤ画素データｋ₁〜ｋ₅が切り出される。また、
ＡＤＲＣ回路１５６も、上述した画像信号変換装置１０
０のＡＤＲＣ回路１０３と同様に構成される。このＡＤ
ＲＣ回路１５６からは、予測対象画素値としての各ＨＤ
画素データにそれぞれ対応して切り出された所定領域の
ＳＤ画素データ毎に再量子化コードｑiが空間クラスを
示すクラス情報として出力される。

【００５８】また、係数データ生成装置１５０は、上述
した予測対象画素値としての各ＨＤ画素データにそれぞ
れ対応して、エラー付加回路１５３より出力されるＳＤ
画素データより所定領域のＳＤ画素データを順次切り出
す領域切り出し回路１５７と、この領域切り出し回路１
５７で切り出されたＳＤ画素データより、主に動きの程
度を表すためのクラス（動きクラス）を決定してクラス
情報を出力する動きクラス決定回路１５８とを有してい
る。

【００５９】領域切り出し回路１５７は、上述した画像
信号変換装置１００の領域切り出し回路１０４と同様に
構成される。この領域切り出し回路１５７からは、例え
ば図５に示すように、予測対象画素値としてのＨＤ画素
データｙに対応して、このＨＤ画素データｙの近傍に位
置する１０個のＳＤ画素データｍ₁〜ｍ₅，ｎ₁〜ｎ₅が切
り出される。また、動きクラス決定回路１５８も、上述
した画像信号変換装置１００の動きクラス決定回路１０
５と同様に構成される。この動きクラス決定回路１０５
からは、予測対象画素値としての各ＨＤ画素データにそ
れぞれ対応して切り出された所定領域のＳＤ画素データ
毎に動きの指標である動きクラスのクラス情報ＭＶが出
力される。

【００６０】また、係数データ生成装置１５０は、ＡＤ
ＲＣ回路１５６より出力される空間クラスのクラス情報
としての再量子化コードｑiと、動きクラス決定回路１
５８より出力される動きクラスのクラス情報ＭＶに基づ
いてクラスコードＣＬを得るためのクラスコード発生回
路１５９を有している。このクラスコード発生回路１５
９は、上述した画像信号変換装置１００のクラスコード
発生回路１０６と同様に構成される。このクラスコード
発生回路１０６からは、予測対象画素値としての各ＨＤ
画素データにそれぞれ対応して、そのＨＤ画素データが
属するクラスを示すクラスコードＣＬが出力される。

【００６１】また、係数データ生成装置１５０は、上述
した予測対象画素値としての各ＨＤ画素データにそれぞ
れ対応して、エラー付加回路１５３より出力されるＳＤ
画素データより予測タップ値としての所定領域のＳＤ画
素データを順次切り出す領域切り出し回路１６０を有し
ている。領域切り出し回路１６０は、上述した画像信号
変換装置１００の領域切り出し回路１０９と同様に構成
される。この領域切り出し回路１０９からは、例えば図
６に示すように、予測対象画素値としてのＨＤ画素デー
タｙに対応して、このＨＤ画素データｙの近傍に位置す
る２５個のＳＤ画素データｘ₁〜ｘ₂₅が切り出される。

【００６２】また、係数データ生成装置１５０は、入力
端子１５１に供給されるＨＤ画素データより得られる予
測対象画素値としての各ＨＤ画素データｙと、予測対象
画素値としての各ＨＤ画素データｙにそれぞれ対応して
領域切り出し回路１６０で順次切り出された予測タップ
画素値としてのＳＤ画素データｘiと、予測対象画素値
としての各ＨＤ画素データｙにそれぞれ対応してクラス
コード発生回路１５９より出力されるクラスコードＣＬ
とから、各クラス毎に、ｎ個の係数データｗiを生成す
るための正規方程式（（１１）式参照）を生成する正規
方程式生成回路１６１を有している。

【００６３】この場合、１個のＨＤ画素データｙとそれ
に対応するｎ個の予測タップ画素値との組み合わせで上
述した学習データが生成され、従って生成回路１６１で
は多くの学習データが登録された正規方程式が生成され
る。なお、図示しないが、領域切り出し回路１６０の前
段に時間合わせ用の遅延回路を配置することで、領域切
り出し回路１６０から正規方程式生成回路１６１に供給
されるＳＤ画素データｘiのタイミング合わせを行うこ
とができる。

【００６４】また、係数データ生成装置１５０は、正規
方程式生成回路１６１で各クラス毎に生成された正規方
程式のデータが供給され、各クラス毎に生成された正規
方程式を解いて、各クラス毎の係数データ（予測係数）
ｗiを求める予測係数決定回路１６２と、この求められ
た係数データｗiを記憶するメモリ１６３とを有してい
る。予測係数決定回路１６２では、正規方程式が例えば
掃き出し法などによって解かれて、係数データｗiが求
められる。

【００６５】図８に示す係数データ生成装置１５０の動
作を説明する。入力端子１５１には教師信号としてのハ
イビジョンのビデオ信号を構成するＨＤ画素データが供
給され、そしてこのＨＤ画素データに対して間引き回路
１５２で水平および垂直の間引き処理等が行われて入力
信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ
画素データが得られる。そして、このＳＤ画素データに
対してエラー付加回路１５３で所定のエラーが付加され
る。

【００６６】また、入力端子１５１に供給されるＨＤ画
素データより得られる予測対象画素値としての各ＨＤ画
素データｙにそれぞれ対応して、エラー付加回路１５３
より出力されるＳＤ画素データから領域切り出し回路１
５５で所定領域のＳＤ画素データｋiが順次切り出さ
れ、この切り出された各ＳＤ画素データｋiに対してＡ
ＤＲＣ回路１５６でＡＤＲＣ処理が施されて空間クラス
（主に空間内の波形表現のためのクラス分類）のクラス
情報としての再量子化コードｑiが得られる。

【００６７】また、予測対象画素値としての各ＨＤ画素
データｙにそれぞれ対応して、エラー付加回路１５３よ
り出力されるＳＤ画素データから領域切り出し回路１５
７で所定領域のＳＤ画素データｍi，ｎiが順次切り出さ
れ、この切り出された各ＳＤ画素データｍi，ｎiより動
きクラス決定回路１５８で動きクラス（主に動きの程度
を表すためのクラス分類）を示すクラス情報ＭＶが得ら
れる。そして、このクラス情報ＭＶと上述したＡＤＲＣ
回路１５６で得られる再量子化コードｑiとからクラス
コード発生回路１５９で、予測対象画素値としての各Ｈ
Ｄ画素データｙが属するクラスを示すクラス情報として
のクラスコードＣＬが得られる。

【００６８】また、予測対象画素値としての各ＨＤ画素
データｙにそれぞれ対応して、エラー付加回路１５３よ
り出力されるＳＤ画素データから領域切り出し回路１６
０で所定領域のＳＤ画素データｘiが順次切り出され
る。そして、入力端子１５１に供給されるＨＤ画素デー
タより得られる予測対象画素値としての各ＨＤ画素デー
タｙと、予測対象画素値としての各ＨＤ画素データｙに
それぞれ対応して領域切り出し回路１６０で順次切り出
された予測タップ画素値としてのＳＤ画素データｘi
と、予測対象画素値としての各ＨＤ画素データｙにそれ
ぞれ対応してクラスコード発生回路１５９より出力され
るクラスコードＣＬとから、正規方程式生成回路１６１
では、各クラス毎に、ｎ個の係数データｗiを生成する
ための正規方程式が生成される。そして、予測係数決定
回路１６２でその正規方程式が解かれ、各クラス毎の係
数データｗiが求められ、その係数データｗiはクラス別
にアドレス分割されたメモリ１６３に記憶される。

【００６９】このように、図８に示す係数データ生成装
置１５０においては、エラー付加回路１５３で付加され
るエラーを順次変更することで、異なるエラー状態のＳ
Ｄ画素データに対応する係数データｗｉを順次生成する
ことができる。

【００７０】なお、上述実施の形態においては、空間波
形を少ないビット数でパターン化する情報圧縮手段とし
て、ＡＤＲＣ回路１０３，１５６を設けることにした
が、これはほんの一例であり、信号波形のパターンの少
ないクラスで表現できるような情報圧縮手段であれば何
を設けるかは自由であり、例えばＤＰＣＭ（Differenti
al Pulse Code Modulation）やＶＱ（Vector Quantizat
ion ）等の圧縮手段を用いてもよい。

【００７１】また、上述実施の形態においては、ＮＴＳ
Ｃ方式のビデオ信号をハイビジョンのビデオ信号に変換
する例を示したが、この発明はそれに限定されるもので
なく、線形推定式を使用して第１の画像信号をこの第１
の画像信号と同じあるいはそれより多い画素数の第２の
画像信号に変換する場合に適用できることは勿論であ
る。

【００７２】

【発明の効果】この発明によれば、線形推定式を使用し
て第１の画像信号をこの第１の画像信号と同じあるいは
それより多い画素数の第２の画像信号に変換する際に、
第１の画像信号のエラー状態に応じた係数データを選択
的に使用可能とするものであり、第１の画像信号のエラ
ー状態に応じて、変換処理を適切に行うことができる。

【図面の簡単な説明】

【図１】実施の形態としての画像信号変換装置の構成を
示すブロック図である。

【図２】ＳＤ画素とＨＤ画素の位置関係を説明するため
の略線図である。

【図３】ＳＤ画素とＨＤ画素の位置関係を説明するため
の略線図である。

【図４】空間クラス分類に使用するＳＤ画素データを説
明するための略線図である。

【図５】動きクラス分類に使用するＳＤ画素データを説
明するための略線図である。

【図６】推定演算に使用するＳＤ画素データを説明する
ための略線図である。

【図７】予測係数の学習フローを示すフローチャートで
ある。

【図８】係数データ生成装置の構成例を示すブロック図
である。

【符号の説明】

１００・・・画像信号変換装置、１０１・・・入力端
子、１０２，１０４，１０９・・・領域切り出し回路、
１０３・・・ＡＤＲＣ回路、１０５・・・動きクラス決
定回路、１０６・・・クラスコード発生回路、１０７_-1
〜１０７_-n・・・ＲＯＭテーブル、１０８・・・エラー
検出回路、１１０・・・推定演算回路、１１１・・・出
力端子、１５０・・・係数データ生成装置、１５１・・
・入力端子、１５２・・・間引き回路、１５３・・・エ
ラー付加回路、１５５，１５７，１６０・・・領域切り
出し回路、１５６・・・ＡＤＲＣ回路、１５８・・・動
きクラス決定回路、１５９・・・クラスコード発生回
路、１６１・・・正規方程式生成回路、１６２・・・予
測係数決定回路、１６３・・・メモリ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 第１の画像信号を、この第１の画像信号
   と同じあるいはそれより多い画素数の第２の画像信号に
   変換するようにした画像信号変換装置において、 上記第１の画像信号から第１の領域の画素の信号を切り
   出す第１の画素切り出し手段と、 上記第１の画素切り出し手段により切り出された上記第
   １の領域の画素の信号のレベル分布パターンを検出し、
   このパターンに基づいて推定しようとする上記第２の画
   像信号を構成する所定画素の信号が属するクラスを決定
   してクラス情報を出力するクラス決定手段と、 それぞれ上記クラス情報で示される各クラスに対応した
   線形推定式の係数データを記憶すると共に、それぞれ上
   記第１の画像信号の異なるエラー状態に対応した線形推
   定式の係数データを記憶する複数の係数データ記憶部を
   持つ係数データ記憶手段と、 上記第１の画像信号のエラー状態を検出するエラー検出
   手段と、 上記エラー検出手段で検出されるエラー状態に基づいて
   上記複数の係数データ記憶部より選択された一の係数デ
   ータ記憶部から、上記クラス決定手段より出力される上
   記クラス情報に対応した係数データを読み出して出力す
   る係数データ出力手段と、 上記第１の画像信号から第２の領域の画素の信号を切り
   出す第２の画素切り出し手段と、 上記係数データ出力手段より出力された上記係数データ
   と、上記第２の画素切り出し手段により切り出された上
   記第２の領域の画素の信号とから、上記線形推定式を用
   いて上記第２の画像信号を構成する所定画素の信号を演
   算して出力する画像信号出力手段とを備えることを特徴
   とする画像信号変換装置。
2. 【請求項２】 第１の画像信号を、この第１の画像信号
   と同じあるいはそれより多い画素数の第２の画像信号に
   変換するようにした画像信号変換方法において、 上記第１の画像信号から第１の領域の画素の信号を切り
   出す第１のステップと、 上記第１のステップで切り出された上記第１の領域の画
   素の信号のレベル分布パターンを検出し、このパターン
   に基づいて推定しようとする上記第２の画像信号を構成
   する所定画素の信号が属するクラスを決定してクラス情
   報を出力する第２のステップと、 上記第１の画像信号のエラー状態を検出する第３のステ
   ップと、 それぞれ上記クラス情報で示される各クラスに対応した
   線形推定式の係数データを記憶すると共に、それぞれ上
   記第１の画像信号の異なるエラー状態に対応した線形推
   定式の係数データを記憶する複数の係数データ記憶部の
   うち、上記第３のステップで検出されるエラー状態に基
   づいて選択された一の係数データ記憶部から、上記第２
   のステップで出力されるクラス情報に対応した係数デー
   タを読み出して出力する第４のステップと、 上記第１の画像信号から第２の領域の画素の信号を切り
   出す第５のステップと、 上記第４のステップで出力された上記係数データと、上
   記第５のステップで切り出された上記第２の領域の画素
   の信号とから、上記線形推定式を用いて上記第２の画像
   信号を構成する所定画素の信号を演算して出力する第６
   のステップとを備えることを特徴とする画像信号変換方
   法。
3. 【請求項３】 第１の画像信号を、この第１の画像信号
   より画素数の多い第２の画像信号に変換する際に使用さ
   れる線形推定式の係数データを生成する装置において、 上記第２の画像信号に対応する教師信号を処理して上記
   第１の画像信号に対応する第１の入力信号を得る第１の
   信号処理手段と、 上記第１の入力信号を処理して所定のエラーを持つ第２
   の入力信号を得る第２の信号処理手段と、 上記教師信号を構成する複数の画素の信号にそれぞれ対
   応して、上記第２の入力信号より第１の領域の画素の信
   号を順次切り出す第１の画素切り出し手段と、 上記第１の画素切り出し手段により順次切り出された上
   記第１の領域の画素の信号のレベル分布のパターンを検
   出し、このパターンに基づいて上記教師信号を構成する
   上記複数の画素の信号がそれぞれ属するクラスを決定し
   てクラス情報を出力するクラス決定手段と、 上記教師信号を構成する上記複数の画素の信号にそれぞ
   れ対応して、上記第２の入力信号より第２の領域の画素
   の信号を順次切り出す第２の画素切り出し手段と、 上記クラス決定手段より出力される上記教師信号を構成
   する上記複数の画素の信号がそれぞれ属するクラスを示
   すクラス情報と、上記教師信号を構成する上記複数の画
   素の信号と、上記第２の画素切り出し手段により順次切
   り出された上記第２の領域の画素の信号とから、各クラ
   ス毎に上記係数データをそれぞれ得るための正規方程式
   を生成する正規方程式生成手段と、 上記正規方程式を解いて上記各クラス毎の係数データを
   得る係数データ演算手段とを備えることを特徴とする係
   数データ生成装置。
4. 【請求項４】 第１の画像信号を、この第１の画像信号
   より画素数の多い第２の画像信号に変換する際に使用さ
   れる線形推定式の係数データを生成する方法において、 上記第２の画像信号に対応する教師信号を処理して上記
   第１の画像信号に対応する第１の入力信号を得る第１の
   ステップと、 上記第１の入力信号を処理して所定のエラーを持つ第２
   の入力信号を得る第２のステップと、 上記教師信号を構成する複数の画素の信号にそれぞれ対
   応して、上記第２の入力信号より第１の領域の画素の信
   号を順次切り出す第３のステップと、 上記第３のステップで順次切り出された上記第１の領域
   の画素の信号のレベル分布のパターンを検出し、このパ
   ターンに基づいて上記教師信号を構成する上記複数の画
   素の信号がそれぞれ属するクラスを決定してクラス情報
   を出力する第４のステップと、 上記教師信号を構成する上記複数の画素の信号にそれぞ
   れ対応して、上記第２の入力信号より第２の領域の画素
   の信号を順次切り出す第５のステップと、 上記第４のステップで出力される上記教師信号を構成す
   る上記複数の画素の信号がそれぞれ属するクラスを示す
   クラス情報と、上記教師信号を構成する上記複数の画素
   の信号と、上記第５のステップで順次切り出された上記
   第２の領域の画素の信号とから、各クラス毎に上記係数
   データをそれぞれ得るための正規方程式を生成する第６
   のステップと、 上記第６のステップで生成される正規方程式を解いて上
   記各クラス毎の係数データを得る第７のステップとを備
   えることを特徴とする係数データ生成方法。