JPH09327000A - 信号変換装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＳＤデータに対して予測しようとする２つの
ＨＤデータを水平方向に鏡像関係の位置とし、ＳＤデー
タに乗ずる係数データを線対称に入れ換え積和演算する
ことで、係数データの数を半減し、ハード規模を軽減す
る。 【解決手段】 被乗数レジスタ３からＳＤデータが積和
器４および６へ供給される。そのＳＤデータに基づい
て、アドレスコントロール回路１では、クラスコードcl
ass が発生し、そのclass に応答して係数メモリ２から
係数データが読み出される。読み出された係数データ
は、積和器４および係数入れ換え回路６へ供給される。
係数入れ換え回路６では、鏡像関係が成立するＳＤデー
タに対応する係数データが入れ換られて、積和器７へ供
給される。積和器４および７では、積和演算が実行さ
れ、その演算出力は、出力端子５および８から出力され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、外部から供給さ
れる通常の解像度の画像情報を高解像度の画像情報へ変
換して出力するようにした信号変換装置および方法に関
し、特に画素データと係数データとの積和演算を改良し
たものである。

【０００２】

【従来の技術】今日において、オーディオ・ビジュアル
指向の高まりから、より高解像度の画像を得ることがで
きるようなテレビジョン受像機の開発が望まれ、この要
望に応えて、いわゆるハイビジョンが開発された。この
ハイビジョンは、いわゆるＮＴＳＣ方式に規定される走
査線数５２５本なのに対して、２倍以上の１１２５本と
なっているうえ、表示画面の縦横比もＮＴＳＣ方式が
３：４に対して９：１６と広角画面になっている。この
ため、高解像度で臨場感のある画面を得ることができる
ようになっている。

【０００３】ここで、このような優れた特性を有するハ
イビジョンではあるが、ＮＴＳＣ方式の映像信号をその
まま供給しても画像表示を行うことはできない。これ
は、上述のようにＮＴＳＣ方式とハイビジョン方式とで
は規格が異なるからである。このため、ＮＴＳＣ方式の
映像信号に応じた画像をハイビジョンで表示しようとす
る場合、従来は、供給されたＮＴＳＣ方式の映像信号
（ＳＤ（Standerd Definition ）データ）の水平方向の
補間処理を行い、その後垂直方向の補間処理を行うこと
で映像信号のレート変換を行っていた。

【０００４】この水平方向および垂直方向の補間処理
は、縦続接続型のＦＩＲフィルタからなるものであり、
これらは、単に水平方向および垂直方向の補間を行って
いるにすぎないため、解像度は基となるＮＴＳＣ方式の
映像信号と何ら変わらなかった。特に、通常の画像を変
換対象とした場合、垂直方向の補間をフィールド内処理
で行うのが一般的であるが、その場合、画像のフィール
ド間相関を使用していないため、画像静止部において
は、変換ロスにより、ＮＴＳＣ方式の映像信号よりむし
ろ解像度が劣化する欠点があった。

【０００５】これに対し、出願人は、特願平６−２０５
９３４号の画像信号変換装置において、入力信号である
画像信号レベルの３次元（時空間）分布に応じてクラス
分割を行い、クラス毎に予め学習により獲得された予測
係数値を格納した記憶手段を持ち、予測式に基づいた演
算により最適な推定値を出力する、というものを提案し
ている。

【０００６】この手法は、ＨＤ（High Definition ）デ
ータを創造する場合、創造するＨＤ画素の近傍にあるＳ
Ｄデータを用いてクラス分割を行い、それぞれのクラス
毎に予測係数値を学習により獲得することで、画像静止
部において、より真値に近いＨＤデータを得る、という
ような巧妙なものである。

【０００７】このように、ＳＤデータに対応するＨＤデ
ータを推定するための予測係数値を各クラス毎に予め学
習により求めた上で、ＲＯＭテーブルに格納しておき、
入力されるＳＤデータおよびＲＯＭテーブルから読み出
した予測係数値を出力することにより、入力されたＳＤ
データを単に補間処理したものとは異なり、実際のＨＤ
データにより近いデータを出力することができるという
特徴がある。

【０００８】従来、ＳＤデータとＨＤデータの位置関係
は、図７に示すような配置とされている。この図７は、
垂直方向および水平方向の画素位置の関係を示したもの
であり、ＳＤデータｘ₁ と水平方向に同じ位置にＨＤデ
ータｙ₁ が配置され、ＳＤデータｘ₁ およびｘ₂ から水
平方向に等距離にＨＤデータｙ₂ が配置される。また、
ＨＤデータｙ₃ は、ＨＤデータｙ₁ と水平方向に同じ位
置に配置され、ＨＤデータｙ₄ は、ＨＤデータｙ₂ と水
平方向に同じ位置に配置される。

【０００９】図８は、垂直方向および時間方向の画素位
置の関係を示したものであり、この図８は、同一フィー
ルドのＳＤデータの垂直方向の間隔を１とする時に、同
一フィールドのＳＤデータから垂直方向に１／８および
３／８の間隔となるようにＨＤデータを生成することを
示す。

【００１０】このような画素配置のときに信号変換装置
に用いられる積和回路を図９に示す。被乗数レジスタ２
２からは、複数のＳＤデータが積和器２４および２７へ
供給される。また、クラス決定回路としてのアドレスコ
ントロール回路２１が設けられ、クラスコードがアドレ
スコントロール回路２１から係数メモリ２３および２６
へ供給される。乗数メモリ２３および２６では、クラス
コードに対応する係数データがそれぞれ積和器２４およ
び２７へ供給される。

【００１１】具体的には、図７の画素の配置の場合、積
和器２４では、複数のＳＤデータと係数データから積和
演算の結果ＨＤデータｙ₁ が生成され、積和器２７で
は、複数のＳＤデータと係数データから積和演算の結果
ＨＤデータｙ₂ が生成される。同様に、積和器２４では
ＨＤデータｙ₃ が生成され、積和器２７ではＨＤデータ
ｙ₄ が生成される。このように、係数メモリ２３では、
水平方向にＳＤデータｘ₁ と同位置となるＨＤデータを
求めるための係数データが記憶され、その係数データを
用いて積和器２４では、ＳＤデータとの積和演算が実行
され、ＨＤデータが生成される。係数メモリ２６では、
水平方向にＳＤデータｘ₁ およびｘ₂ から等距離の位置
となるＨＤデータを求めるための係数データが記憶さ
れ、その係数データを用いて積和器２７では、ＳＤデー
タとの積和演算が実行され、ＨＤデータが生成される。
そして、積和器２４の積和出力は出力端子２５から出力
され、積和器２７の積和出力は、出力端子２８から出力
される。

【００１２】この積和器２４および２７の一例として図
１０に示すように、入力端子３１からＳＤデータが供給
され、そのＳＤデータは、レジスタ３２を介して乗算器
３５へ供給される。入力端子３３から係数データが供給
され、その係数データは、レジスタ３４を介して乗算器
３５へ供給される。乗算器３５では、ＳＤデータと係数
データとが乗算され、その乗算出力は、レジスタ３６を
介して加算器３７へ供給される。加算器３７では、２つ
の乗算出力が加算され、その加算出力は、レジスタ３８
を介して加算器３９へ供給される。加算器３９では、２
つの加算出力が加算され、レジスタ４０を介して出力端
子４１から積和出力が出力される。

【００１３】このように、積和演算回路を用いた演算に
おいて、予め係数データをメモリ等に用意しておき、画
像の特徴によって係数データを可変できる構成が画像信
号の変換に用いられていた。

【００１４】

【発明が解決しようとする課題】しかしながら、ＳＤデ
ータを演算することで出力されるＨＤデータの物理的な
画素位置が図７の配置のように２種類あった場合、フィ
ルタ演算の際の係数データの傾向が異なるため、図９に
示すように、それぞれの係数メモリ２３および２６を持
たなければならなかった。この係数データの種類を多く
持てば持つほど係数メモリの容量が増え、ハード規模が
増大するという問題があった。

【００１５】従って、この発明の目的は、上述した問題
点を鑑みて、ハード規模を削減することができる信号変
換装置および方法を提供することにある。

【００１６】

【課題を解決するための手段】請求項１に記載の発明
は、第１の画素からなる第１のディジタル画像信号を第
１の画素より画素数の多い第２の画素からなる第２のデ
ィジタル画像信号に変換するようにした信号変換装置に
おいて、予め学習により獲得された係数データを記憶す
る係数データ記憶手段と、第１のディジタル画像信号か
ら複数の第１の画素を切り出す領域切り出し手段と、領
域切り出し手段からの複数の第１の画素と係数データ記
憶手段からの係数データとの線形１次結合によって第２
の画素を予測する演算手段とを有し、領域切り出し手段
によって切り出された複数の第１の画素の中の所定の第
１の画素に対して水平方向に鏡像関係にある位置の２つ
の第２の画素を予測する場合、２つの第２の画素の一方
を予測する時と、２つの第２の画素の他方を予測する時
とで、水平方向に鏡像関係にある第１の画素に対して乗
じられる係数データが線対称に入れ換えられることを特
徴とする信号変換装置である。

【００１７】また、請求項３に記載の発明は、第１の画
素からなる第１のディジタル画像信号を第１の画素より
画素数の多い第２の画素からなる第２のディジタル画像
信号に変換するようにした信号変換方法において、予め
学習により獲得された係数データを記憶するステップ
と、第１のディジタル画像信号から複数の第１の画素を
切り出すステップと、複数の第１の画素と係数データと
の線形１次結合によって第２の画素を予測するステップ
とからなり、切り出された複数の第１の画素の中の所定
の第１の画素に対して水平方向に鏡像関係にある位置の
２つの第２の画素を予測する場合、２つの第２の画素の
一方を予測する時と、２つの第２の画素の他方を予測す
る時とで、水平方向に鏡像関係にある第１の画素に対し
て乗じられる係数データが線対称に入れ換えられること
を特徴とする信号変換方法である。

【００１８】上述したように、この発明は、ＳＤデータ
を中心に鏡像関係にある２つのＨＤデータを水平方向に
配置するようにされ、１つのＳＤデータから出力される
ＨＤデータの物理的な画素位置が２種類あった場合、Ｓ
Ｄデータに対して係数データを線対称に入れ換えて用い
ることによって、係数データの数を半減することがで
き、ハード規模を削減することができる。

【００１９】

【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。まず、この発明の理解を容
易とするために、ＳＤ画素と予測しようとするＨＤ画素
の画素位置の関係から説明する。図１に示すように。水
平方向にあるあ２つのＨＤデータｙ₁およびｙ₂ の間に
１／２となる位置にＳＤデータｘ₁ が配置される。この
ように、入力されるＳＤデータから水平方向に等距離に
ＨＤデータを配置する（以下、鏡像関係と称する）。

【００２０】このときに、２つのＨＤデータｙ₁ および
ｙ₂ 、またはｙ₃ およびｙ₄ を生成する場合、係数デー
タを線対称に入れ換え、同じ係数データを使用すること
ができる。これは、画像信号の自己相関性から近傍の画
像信号は、中心のＳＤデータに対して左右対称であるこ
とが多いためであり、水平方向に鏡像関係をなす２つの
ＨＤデータを求める場合、ＳＤデータに乗ずる係数デー
タを線対称に入れ換えることができる。従って、１つの
係数データで鏡像関係にある２つのＨＤデータを予測す
ることが可能となる。

【００２１】なお、図１は、垂直方向および水平方向の
画素位置の関係を示したものであり、垂直方向および時
間方向の画素位置は、上述した図８と同じ画素配置とな
る。

【００２２】図２は、この発明の一実施例の回路構成を
示す。被乗数レジスタ３には、図３における被乗数とし
てのＳＤデータｘ₁ 〜ｘ₁₅が蓄えられており、ＳＤデー
タｘ₁ 〜ｘ₁₅が被乗数レジスタ３から積和器４および７
へ供給される。この被乗数レジスタ３から出力されるＳ
Ｄデータｘ₁ 〜ｘ₁₅においては、ＳＤデータｘ₂ と
ｘ₄ 、ｘ₆ とｘ₁₀、ｘ₇ とｘ₉ 、ｘ₁₂とｘ₁₄が鏡像関係
にある。

【００２３】アドレスコントロール回路１では、複数の
ＳＤデータに基づいて、クラスコードclass が生成され
る。このクラスコードclass は、複数のＳＤデータに対
して後述するＡＤＲＣ（Adaptive Dynamic Range Codin
g ）などの圧縮を施し、各ＳＤデータを例えば８ビット
から２ビットのデータへ圧縮し、生成される。このとき
のＳＤデータは、上述したｘ₁ 〜ｘ₁₅でも良く、異なる
ものでも良い。このように生成されたクラスコードclas
s は、アドレスコントロール回路１から係数メモリ２へ
供給される。

【００２４】係数メモリ２では、供給されたクラスコー
ドclass に応答した係数データｗ₁〜ｗ₁₅が読み出さ
れ、読み出された係数データｗ₁ 〜ｗ₁₅は、積和器４お
よび係数入れ換え回路６へ供給される。この係数メモリ
２は、予め学習することによって得られた係数データが
記憶されたものである。係数入れ換え回路６は、供給さ
れた係数データｗ₁ 〜ｗ₁₅の中から水平方向に鏡像関係
となるＳＤデータに対応する係数データｗ₂ とｗ₄ 、ｗ
₆ とｗ₁₀、ｗ₇ とｗ₉ 、ｗ₁₂とｗ₁₄を入れ換え、積和器
７へ出力する。係数メモリ２からの係数データｗ₁ 〜ｗ
₁₅は、積和器４に対しては、入れ換えの処理をせずに供
給される。このように、積和器７に対しては、鏡像関係
を考慮して、水平方向に鏡像関係となるＳＤデータに対
応する係数データｗ₂ とｗ₄ 、ｗ₆ とｗ₁₀、ｗ₇ と
ｗ₉ 、ｗ₁₂とｗ₁₄が線対称に入れ換えられて供給され
る。

【００２５】積和器４では、ＳＤデータと係数データが
式（１）に基づいて積和演算が行われ、その演算結果ｙ
₁ は、出力端子５から出力される。

【００２６】 ｙ₁ ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋ｗ₃ ｘ₃ ＋ｗ₄ ｘ₄ ＋ｗ₅ ｘ₅ ＋ｗ₆ ｘ₆ ＋ｗ₇ ｘ₇ ＋ｗ₈ ｘ₈ ＋ｗ₉ ｘ₉ ＋ｗ₁₀ｘ₁₀＋ｗ₁₁ｘ₁₁＋ｗ₁₂ｘ₁₂＋ｗ₁₃ｘ₁₃＋ｗ₁₄ｘ ₁₄ ＋ｗ₁₅ｘ₁₅ （１）

【００２７】積和器７では、ＳＤデータと係数データが
式（２）に基づいて積和演算が行われ、その演算結果ｙ
₂ は、出力端子８から出力される。

【００２８】 ｙ₂ ＝ｗ₁ ｘ₁ ＋ｗ₄ ｘ₂ ＋ｗ₃ ｘ₃ ＋ｗ₂ ｘ₄ ＋ｗ₅ ｘ₅ ＋ｗ₁₀ｘ₆ ＋ｗ₉ ｘ₇ ＋ｗ₈ ｘ₈ ＋ｗ₇ ｘ₉ ＋ｗ₆ ｘ₁₀＋ｗ₁₁ｘ₁₁＋ｗ₁₄ｘ₁₂＋ｗ₁₃ｘ₁₃＋ｗ₁₂ｘ ₁₄ ＋ｗ₁₅ｘ₁₅ （２）

【００２９】上述のように、画像特性の左右均等性を考
慮して、水平方向に鏡像関係となるＳＤデータは、同じ
係数データを入れ換えて用いることにより、係数メモリ
２を共有することができる。

【００３０】上述したような、この発明による積和演算
回路を使用して構成された信号変換装置の一例を図４に
示す。入力端子１１からＳＤデータが供給され、そのＳ
Ｄデータは、領域切り出し回路１２、１４および１９へ
供給される。領域切り出し回路１２は、入力端子１１か
ら供給されたＳＤデータから空間クラスに必要なＳＤデ
ータを切り出す。この一例では、例えば図６に示すよう
に創造するべきＨＤデータｙ₁ 〜ｙ₄ の近傍に位置する
５つのＳＤデータｋ₁ 〜ｋ₅ を切り出す。

【００３１】領域切り出し回路１２により切り出された
ＳＤデータは、ＡＤＲＣ回路１３へ供給される。ＡＤＲ
Ｃ回路１３は、供給されたＳＤデータのレベル分布のパ
ターン化を目的として、各領域のデータを、例えば８ビ
ットのＳＤデータから２ビットのＳＤデータに圧縮する
ような演算を行う。これにより、形成されたパターン圧
縮データをクラスコード発生回路１６へ供給する。

【００３２】領域切り出し回路１４は、主に動きを表現
する（動きクラス）ために必要なＳＤデータを切り出
す。この一例では、例えば供給されたＳＤデータから創
造するべきＨＤデータｙ₁ 〜ｙ₄ に対して図６に示す位
置に存在する１０個のＳＤデータｍ₁ 〜ｍ₅ およびｎ₁
〜ｎ₅ を切り出す。

【００３３】領域切り出し回路１４により切り出された
ＳＤデータは、動きクラス決定回路１５へ供給される。
動きクラス決定回路１５は、供給されたＳＤデータのフ
レーム間差分を算出し、その絶対値の平均値をしきい値
処理することにより動きの指標である動きパラメータを
算出する。具体的には、動きクラス決定回路１５は、以
下の式（３）により、供給されるＳＤデータの差分の絶
対値の平均値param を算出する。

【００３４】

【数１】 ただし、図５の画素配置では、ｎ＝５である。

【００３５】動きパラメータは、例えば４つの動きクラ
スmv-classのことである。すなわち、ＳＤデータの差分
の絶対値の平均値param ≦２の場合、動きクラスmv-cla
ssを０と決定し、平均値param ≦４の場合、動きクラス
mv-classを１と決定し、平均値param ≦８の場合、動き
クラスmv-classを２と決定し、平均値param ＞８の場
合、動きクラスmv-classを３と決定する。このように決
定された動きクラスmv-classがクラスコード発生回路１
６へ供給される。

【００３６】クラスコード発生回路１６は、ＡＤＲＣ回
路１３からの空間クラスおよび動きクラス決定回路１５
からの動きクラスmv-classに基づいて以下の式（４）の
演算を行うことにより、そのブロックが属するクラスを
検出し、そのクラスを示すクラスコードclass を係数メ
モリ１７へ供給する。このクラスコードclass は、係数
メモリ１７からの読み出しアドレスを示すものとなって
いる。

【００３７】

【数２】 この例では、ｎ＝５、ｐ＝２である。

【００３８】係数メモリ１７には、ＳＤデータのパター
ンとＨＤデータの関係を学習することにより、線形推定
式を用いて、ＳＤデータに対応するＨＤデータを算出す
るための係数データが各クラス毎に記憶されている。こ
の係数メモリ１７からは、クラスコードclass で示され
るアドレスから、そのクラスの係数データであるｗ_i（c
lass ）が読み出される。この係数データは、係数メモ
リ１７から推定演算回路１８へ供給される。

【００３９】一方、ＳＤデータは、領域切り出し回路１
９にも供給される。領域切り出し回路１９は、ＳＤデー
タを図３に示すような位置にある推定演算に使用する１
５個のＳＤデータｘ₁ 〜ｘ₁₅を切り出す。領域切り出し
回路１９の出力信号は、推定演算回路１８へ供給され
る。推定演算回路１８は、領域切り出し回路１９からの
ＳＤデータ、係数メモリ１７からの係数データに基づい
て、入力されたＳＤデータに対応するＨＤデータを算出
する。算出されたＨＤデータは、出力端子２０から出力
される。

【００４０】この図４に示す係数メモリ１７、推定演算
回路１８および領域切り出し回路１９は、上述したこの
発明の一実施例に対応する部分である。具体的には、係
数メモリ１７は係数メモリ２と同様のものであり、領域
切り出し回路１９から切り出されたＳＤデータは、被乗
数レジスタ３に保持され、積和器４および７へ供給され
る。推定演算回路１８は、積和器４、係数入れ換え回路
６および積和器７から構成され、供給されたＳＤデータ
と係数データとを用いて、上述した式（１）および式
（２）の積和演算が実行される。すなわち、推定演算回
路１８からの演算結果は、ＨＤデータとして出力端子２
０から出力される。

【００４１】なお、この実施例では、係数入れ換え回路
６を使用して係数データの入れ換えを行っているが、こ
の係数入れ換え回路６を使用せず、係数メモリ２と積和
器７との結線を予め入れ換えることによって、同様の効
果を得ることができる。

【００４２】

【発明の効果】この発明に依れば、入力されるＳＤデー
タに対して出力されるＨＤデータの物理的な位置を、水
平方向において鏡像関係の位置とすることにより、鏡像
関係にあるＳＤデータに対する係数データを線対称に入
れ換えて用いることができるため、係数メモリを半減す
ることができるため、大幅にハード規模を削減すること
ができる。

【図面の簡単な説明】

【図１】この発明に係る画素位置を説明するための略線
図である。

【図２】この発明の積和演算回路の一実施例を示す回路
図である。

【図３】この発明に係る画素位置を説明するための略線
図である。

【図４】この発明が適用できる信号変換装置の一例を示
すブロック図である。

【図５】領域切り出しを説明するための略線図である。

【図６】領域切出しを説明するための略線図である。

【図７】従来の信号変換装置における空間内の画素位置
を説明するための略線図である。

【図８】従来の信号変換装置における時間方向の画素位
置を説明するための略線図である。

【図９】信号変換装置に使用できる従来の積和演算回路
を示す回路図である。

【図１０】積和器の一例を示す回路図である。

【符号の説明】

１・・・アドレスコントロール回路、２・・・係数メモ
リ、３・・・被乗数メモリ、４、７・・・積和器、６・
・・係数入れ換え回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 第１の画素からなる第１のディジタル画
   像信号を上記第１の画素より画素数の多い第２の画素か
   らなる第２のディジタル画像信号に変換するようにした
   信号変換装置において、 予め学習により獲得された係数データを記憶する係数デ
   ータ記憶手段と、 上記第１のディジタル画像信号から複数の第１の画素を
   切り出す領域切り出し手段と、 上記領域切り出し手段からの複数の上記第１の画素と上
   記係数データ記憶手段からの上記係数データとの線形１
   次結合によって第２の画素を予測する演算手段とを有
   し、 上記領域切り出し手段によって切り出された複数の上記
   第１の画素の中の所定の第１の画素に対して水平方向に
   鏡像関係にある位置の２つの上記第２の画素を予測する
   場合、 上記２つの第２の画素の一方を予測する時と、上記２つ
   の第２の画素の他方を予測する時とで、水平方向に鏡像
   関係にある上記第１の画素に対して乗じられる上記係数
   データが線対称に入れ換えられることを特徴とする信号
   変換装置。
2. 【請求項２】 請求項１に記載の信号変換装置におい
   て、 さらに、上記第１のディジタル画像信号のレベル分布の
   パターンに基づいて、推定しようとする画素データが属
   するクラスを決定するクラス決定手段を有することを特
   徴とした信号変換装置。
3. 【請求項３】 第１の画素からなる第１のディジタル画
   像信号を上記第１の画素より画素数の多い第２の画素か
   らなる第２のディジタル画像信号に変換するようにした
   信号変換方法において、 予め学習により獲得された係数データを記憶するステッ
   プと、 上記第１のディジタル画像信号から複数の第１の画素を
   切り出すステップと、 上記複数の第１の画素と上記係数データとの線形１次結
   合によって第２の画素を予測するステップとからなり、 切り出された上記複数の第１の画素の中の所定の第１の
   画素に対して水平方向に鏡像関係にある位置の２つの上
   記第２の画素を予測する場合、 上記２つの第２の画素の一方を予測する時と、上記２つ
   の第２の画素の他方を予測する時とで、水平方向に鏡像
   関係にある上記第１の画素に対して乗じられる上記係数
   データが線対称に入れ換えられることを特徴とする信号
   変換方法。