JPH0759060A - 圧縮高解像度ビデオ信号の補間装置 - Google Patents

Abstract

(57)【要約】 【目的】 サブサンプリングにより間引かれた画素のデ
ータを正確に補間し、復号画像の画質を向上させる。 【構成】 ＭＵＳＥ方式のエンコーダと同一の処理を行
ない、その結果の信号と元のハイビジョン信号とを使用
して、間引き画素の値を正確に補間するための代表値を
学習によって予め作成する。注目画素の周囲の画素の値
のダイナミックレンジＤＲおよび最小値ＭＩＮを回路６
８により検出し、ＭＩＮを除去した値を回路７０におい
てＤＲにより割算することによって、正規化を行なう。
度数メモリ６６およびデータメモリ６７は、クラスコー
ドｃをアドレスとして、同じクラスの代表値の発生回数
と、代表値の平均値とをそれぞれ記憶する。乗算器７２
により累積代表値が計算され、現在の代表値と加算器７
１で加算され、加算結果が割算器７３により累積度数で
割算され、平均代表値が発生する。これがメモリ６７に
格納される。学習により得られた代表値が補間装置にお
いて使用される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、サブサンプリングに
より伝送情報量を圧縮するような高解像度ビデオ信号の
デコーダ例えばハイビジョン信号の圧縮方式であるＭＵ
ＳＥ方式のデコーダに適用される圧縮高解像度ビデオ信
号の補間装置に関する。

【０００２】

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステム
は、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮する
ことができる。

【０００３】

【発明が解決しようとする課題】従来のＭＵＳＥ方式で
は、エンコード時に、１回あるいは２回サブサンプリン
グされたデータをデコードする際に、補間のために２次
元の空間フィルタを用いている。しかしながら、ＭＵＳ
Ｅ方式では、斜め方向の解像度が低いという視覚特性を
利用して伝送情報量を圧縮しているので、エンコード時
に失われた斜め方向の解像度を取り戻すことができない
問題点があった。

【０００４】従って、この発明の目的は、ＭＵＳＥ方式
のデコーダに対して適用され、上述の問題点が解決され
た高解像度ビデオ信号の補間装置を提供することにあ
る。

【０００５】

【課題を解決するための手段】この発明は、サブサンプ
リングにより伝送情報量が圧縮されたディジタル高解像
度ビデオ信号を受け取り、間引かれた画素を補間するた
めの高解像度ビデオ信号の補間装置において、補間対象
としての注目画素の空間的および／または時間的に近傍
の複数の参照画素に基づいて、注目画素のクラスを決定
するためのクラス分類手段と、間引かれた画素の補間値
を生成するために、予め学習により獲得されたクラス毎
の代表値が格納されたメモリ手段と、メモリ手段と結合
され、代表値に基づいて補間値を生成する補間値生成手
段とを備え、学習時に、注目画素を含む複数の画素から
なるブロックを形成し、ブロック内のダイナミックレン
ジによって、注目画素の値からブロックの基準値を減算
した値を正規化し、正規化された値の累積値を累積度数
で除した値を代表値としてメモリ手段に格納するように
した圧縮高解像度ビデオ信号の補間装置である。

【０００６】

【作用】学習によって、補間値を予め作成するので、補
間フィルタを使用するのと異なり、斜め方向の解像度を
復元でき、復号画像の画質を向上できる。また、代表値
として、ダイナミックレンジで正規化された値を用いる
ので、代表値を格納するメモリの規模が大きくなること
を防止することができる。

【０００７】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。まず、ＭＵＳＥ方式のエンコーダの主
要部を図１を参照して説明する。ハイビジョン信号をＡ
／Ｄ変換器によってディジタル信号へ変換し、マトリク
ス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信
号、Ｐｂ（Ｂ−Ｙ成分）信号が形成され、図１中の１、
２、３で示す入力端子にそれぞれ供給される。

【０００８】Ｙ信号がフィールド間前置フィルタ４に供
給される。このフィルタ４に対して、フィールドオフセ
ットサブサンプリング回路５、ローパスフィルタ６およ
びサンプリング周波数変換回路７が接続される。フィー
ルドオフセットサブサンプリング回路５は、フィールド
間でサブサンプリングの位相が１画素ずらされるもの
で、その出力がローパスフィルタ８に供給される。原Ｙ
信号のサンプリング周波数は、４８．６ＭＨｚで、サブ
サンプリング回路５のサンプリング周波数が２４．３Ｍ
Ｈｚで、ローパスフィルタ８によって、１２．１５ＭＨ
ｚ以上の周波数成分が除去されるとともに、データが内
挿されてサンプリング周波数が４８．６ＭＨｚに戻され
る。

【０００９】ローパスフィルタ８に対して、サンプリン
グ周波数変換回路９が接続され、サンプリング周波数が
サンプリング周波数変換回路９によって、３２．４ＭＨ
ｚに変換される。この回路９の出力信号がＴＣＩ(Time
Compressed Integration) スイッチ１０に供給される。
サブサンプリング回路５から変換回路９までの信号路
は、静止領域の処理のために設けられている。

【００１０】帯域制限用のローパスフィルタ６に対して
サンプリング周波数変換回路１１が接続され、４８．６
ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換
される。この回路１１の出力がＴＣＩスイッチ１２に供
給される。ＴＣＩスイッチ１２からの信号が２次元サブ
サンプリングフィルタ１６を介して混合回路１７に供給
される。ローパスフィルタ６からサブサンプリングフィ
ルタ１６に至る信号路が動き領域の処理のために設けら
れている。混合回路１７では、フィルタ１６の出力信号
とＴＣＩスイッチ１０の出力信号とが混合される。

【００１１】サンプリング周波数変換回路７に対して
は、動きベクトル検出回路１３が接続される。動きベク
トル検出回路１３に対して、動きフィルタ１４および動
き検出回路１５が接続される。動きフィルタ１４には、
サンプリング周波数変換回路１１の出力信号も供給され
る。動きフィルタ１４の出力が動き検出回路１５に供給
される。動き検出回路１５での検出結果（動き量）に基
づいて混合回路１７の混合比を制御する制御信号が生成
される。

【００１２】入力端子２、３からの色信号Ｐｒ、Ｐｂが
垂直ローパスフィルタ２１、２２をそれぞれ介して線順
次化回路２３に供給される。線順次化回路２３からの線
順次色信号がローパスフィルタ２４に供給され、７ＭＨ
ｚ以上の成分が除去され、そして、フィールドオフセッ
トサブサンプリング回路２６に供給される。線順次色信
号が帯域制限用のローパスフィルタ２５を介してフィー
ルドオフセットサブサンプリング回路２７に供給され
る。サブサンプリング回路２７に対して時間圧縮回路２
８が接続される。

【００１３】ローパスフィルタ２４およびサブサンプリ
ング回路２６は、静止領域用の処理回路であり、ローパ
スフィルタ２５、サブサンプリング回路２７および時間
圧縮回路２８は、動き領域用の処理回路である。サブサ
ンプリング回路２６および時間圧縮回路２８の出力信号
がＴＣＩスイッチ１０および１２へそれぞれ供給され、
上述のように処理された輝度信号成分と時間軸多重化さ
れる。

【００１４】混合回路１７の出力信号がフレーム，ライ
ンオフセットサブサンプリング回路３１に供給される。
ここでのサブサンプリングのパターンは、フレーム間お
よびライン間で反転され、また、サンプリング周波数が
１６．２ＭＨｚとされる。サブサンプリング回路３１の
出力信号が伝送用ガンマ補正回路３２を介してＭＵＳＥ
のフォーマット化回路３３に供給される。図では省略さ
れているが、時間軸圧縮されたオーディオ信号、同期信
号、ＶＩＴ信号等がフォーマット化回路３３に加えら
れ、出力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出
される。

【００１５】上述のＭＵＳＥエンコーダのサブサンプリ
ングについて、図２を参照して概略的に説明する。静止
領域の処理が上側に示され、動き量子化の処理が下側に
示されている。図１の各点の信号に関して、そのサンプ
リング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信
号と同様であるため、その説明を省略する。フィールド
オフセットサブサンプリング回路５の入力（Ａ点）から
ディジタルＹ信号が供給され、フィールド毎にサンプリ
ング位相が１画素ずれたパターンでサブサンプリングさ
れた出力信号がＢ点に発生する。

【００１６】ローパスフィルタ１２の出力（Ｃ点）に
は、内挿処理された信号（サンプリング周波数が４８．
６ＭHz）が発生する。サンプリング周波数変換回路９の
出力（Ｄ点）もサンプリング周波数が３２．４ＭＨｚに
変換された信号が現れる。

【００１７】一方、ローパスフィルタ６の入力（ａ点）
には、Ａ点と同様のディジタルＹ信号が供給される。動
き領域では、フィールドオフセットサブサンプリングが
なされず、サンプリング周波数変換回路１１の出力（ｂ
点）には、Ｄ点と同様のＹ信号が発生する。

【００１８】静止領域および動き領域のそれぞれの処理
を受けたＹ信号が混合回路１７で混合され、混合回路１
７の出力がフレーム，ラインオフセットサブサンプリン
グ回路３１に供給される。この回路３１の出力（Ｅ点）
では、フレーム間およびライン間で水平方向に１画素の
オフセットを持つようにサンプリングされた出力信号が
発生する。

【００１９】図３は、この発明を適用できるＭＵＳＥデ
コーダの一部を示す。受信されベースバンド信号に変換
され、ディジタル信号に変換されたＭＵＳＥ信号がフレ
ーム間内挿回路４１、フィールド間内挿回路４２および
動き部分検出回路４３にそれぞれ供給される。動き部分
検出回路４３によって、動き領域を検出し、動き領域と
静止領域との処理がそれぞれなされた信号の混合比が制
御される。

【００２０】すなわち、静止領域は、フレーム間内挿回
路４１により１フレーム前の画像データを使用したフレ
ーム間内挿がなされる。但し、カメラのパニングのよう
に、画像の全体が動く時には、コントロール信号として
伝送される動きベクトルに応じて１フレーム前の画像を
動かして重ね合わせる処理がなされる。フレーム間内挿
回路４１の出力信号がローパスフィルタ４４、サンプリ
ング周波数変換回路（３２．４ＭＨｚから４８．６ＭＨ
ｚへ）４５、フィールドオフセットサブサンプリング回
路４６およびフィールド間内挿回路４７を介して混合回
路４８に供給される。サブサンプリング回路４６から
は、２４．３ＭＨｚのサンプリング周波数の信号が得ら
れる。

【００２１】動き領域は、フィールド内内挿回路４２に
よって、空間的内挿がなされる。内挿回路４２に対し
て、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリン
グ周波数変換回路４９が接続され、その出力信号が混合
回路４８に供給される。この混合回路４８の混合比は、
動き部分検出回路４３の出力信号により制御される。混
合回路４８の出力信号が図示しないが、ＴＣＩデコーダ
に供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さ
らに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ
補正がされてからＲ、Ｇ、Ｂ信号が得られる。

【００２２】上述のデコーダの処理を図４のサンプリン
グパターンを参照して概略的に説明する。入力信号（Ｅ
点）のサンプリング状態は、上述のエンコーダの出力
（Ｅ点）と同一である。静止領域がフレーム間内挿回路
４を介され、その出力（Ｆ点）で間引き画素が内挿され
たビデオ信号が生じる。サンプリング周波数変換回路４
５（Ｇ点）では、サンプリング周波数が４８．６ＭＨｚ
に変換されたビデオ信号が現れる。

【００２３】フィールドオフセットサブサンプリング回
路４６の出力（Ｈ点）では、フィールド毎に１画素ずれ
たオフセットサンプリングがなされた信号が発生する。
次のフィールド間内挿回路４７の出力（Ｉ点）に画素が
内挿された信号が生じる。これが混合回路４８に供給さ
れる。

【００２４】動き領域の処理のためのフィールド内内挿
回路４２の出力（ｆ点）にフィールド内の画素により内
挿されたビデオ信号が発生する。サンプリング周波数変
換回路４９によって、その出力（ｈ点）には、４８．６
ＭＨｚのサンプリング周波数のビデオ信号が発生する。
これが混合回路４８に供給される。

【００２５】さて、上述のＭＵＳＥ方式では、静止領域
に関して２回のサブサンプリングがなされ、２回の補間
がなされ、また、動き領域に関しては、１回のサブサン
プリングと補間がなされる。これらの補間のために、従
来では、フィルタを使用していたが、その結果、最初に
述べたように、斜め方向の解像度が失われる問題があっ
た。この問題点を解決するのがこの発明であり、従っ
て、この発明は、上述のＭＵＳＥデコーダにおけるフレ
ーム間内挿回路４１、フィールド内内挿回路４２および
フィールド間内挿回路４７の何れに対しても適用でき
る。

【００２６】一例として、動き領域のためのフィールド
内内挿回路４２に対してこの発明を適用した一実施例を
図５に示す。図５において、５１は、オフセットサブサ
ンプリングされたディジタル画像信号の入力端子であ
る。５２は、入力信号をブロック構造の信号に変換する
ための時系列変換回路である。

【００２７】時系列変換回路５２の出力信号が補間演算
回路５３およびクラス分類回路５５に供給される。補間
演算回路５３には、後述のように予め学習により獲得さ
れた代表値が格納されているメモリ５４が接続されてい
る。この代表値は、間引き画素の補間値を正確に推定す
るための値である。

【００２８】クラス分類回路５５からクラスコードｃが
発生する。補間の対象である、注目画素を含むブロック
のブロックの２次元的なレベル分布のパターン、すなわ
ち、クラスが決定される。このクラスコードｃがこのク
ラスを指示する。

【００２９】クラスコードｃがメモリ５４にアドレスと
して供給され、そのクラスと対応する代表値がメモリ５
４から読出される。メモリ５４からの代表値によって、
注目画素の補間値が形成される。補間演算回路５３から
出力端子５６に間引き画素の補間値が出力される。ここ
で、代表値は、補間対象の注目画素の周辺の複数の画素
からなるブロックの基準値baseとダイナミックレンジＤ
Ｒとで正規化された値ｇ（ｃ）である。従って、補間演
算回路５３では、下記の演算によって、補間値ｙ´が生
成される。 ｙ´＝ＤＲ×ｇ（ｃ）＋base （１）

【００３０】クラス分類は、図７に示すように、注目画
素（補間画素）ｘの周囲の同一フィールド内の４個の参
照画素（そのレベルをａ、ｂ、ｃ、ｄとする）のレベル
分布に基づいて行われる。この例では、クラス分類用の
参照画素を含む３×３のブロックが代表値を決定するた
めのブロックとしても設定される。クラス分類回路５５
は、図８に示すように、参照画素の平均値Ａｖを計算
し、次に、参照画素の各値と平均値Ａｖとを比較し、比
較結果に応じたクラスコードｃを発生する。図８の例で
は、（ａ＜Ａｖ，ｂ≧Ａｖ，ｃ＜Ａｖ，ｄ≧Ａｖ）の比
較結果に基づいて、（０１０１）のクラスコードｃが形
成される。

【００３１】クラス分類回路５５の他の例は、ＡＤＲＣ
（Adaptive Dynamic Range Coding)である。ＡＤＲＣ
は、画像の局所的な相関を利用してレベル方向の冗長度
を適応的に除去するものである。より具体的には、１ビ
ットＡＤＲＣを使用できる。すなわち、上述の参照画素
を含むブロックの最大値および最小値が検出され、最大
値および最小値の差であるダイナミックレンジが検出さ
れ、参照画素の値がダイナミックレンジで割算され、そ
の商が０．５と比較され、０．５以上のものが`1' 、そ
れより小さいものが`0' に符号化される。前フレームお
よび後フレームに含まれる画素のような、時間方向の参
照画素を使用しても良い。

【００３２】１ビット以外のビット数の出力を発生する
ＡＤＲＣを採用しても良い。ＡＤＲＣに限らず、ＤＰＣ
Ｍ(Differential pulse code modulation)、ＢＴＣ(Blo
ck Trancation Coding) 等の圧縮符号化のエンコーダを
クラス分類回路５５として使用することができる。さら
に、クラス分けのために、参照画素の値をそのまま使用
することも可能である。また、情報圧縮のために、ＶＱ
（ベクトル量子化）も使用できる。

【００３３】上述のメモリ５４には、予め学習により作
成された代表値が格納されている。図６は、学習時のハ
ードウエアの一例を示す。６１で示す入力端子から学習
用の高解像度ディジタル画像信号が供給される。この入
力信号としては、異なる絵柄の静止画像信号を使用でき
る。

【００３４】入力ディジタル画像信号がＭＵＳＥのエン
コーダにおけるのと同様に、２次元サブサンプルフィル
タ６２を介してフレーム，ラインオフセットサブサンプ
リング回路６３に供給される。この回路６３の出力が時
系列変換回路６４に供給され、上述のように、複数の参
照画素のデータが同時化される。時系列変換回路６４の
出力信号がクラス分類回路６５に供給される。クラス分
類回路６５は、クラス分類回路５５と同一のクラスコー
ドｃを発生する。このクラスコードｃが度数メモリ６６
およびデータメモリ６７に対してアドレスとして供給さ
れる。これらのメモリ６６、６７は、学習開始時の初期
状態では、クリアされている。

【００３５】また、時系列変換回路６３の出力信号がダ
イナミックレンジ検出回路６８に供給され、処理の単位
のブロックのダイナミックレンジＤＲが検出される。こ
の検出回路６８では、ブロックの最小値ＭＩＮも検出さ
れる。最小値ＭＩＮが減算回路６９に供給され、各画素
の値から最小値ＭＩＮが除去される。ＭＩＮは、ブロッ
クの基準値の一例である。基準値としては、注目画素に
近い位置のサンプリング点の画素レベル、ブロック内の
画素レベルの平均値等を採用できる。この基準値をbase
と称する。基準値baseは、ブロック内の画素のレベル分
布にとっては、共通成分、すなわち、冗長成分であり、
基準値baseを除去することにより、レベル方向の冗長度
を除去できる。

【００３６】減算回路６９の出力信号およびダイナミッ
クレンジＤＲが正規化回路７０に供給される。正規化回
路７０では、入力値をｙとすると、（ｙ−base）／ＤＲ
の演算により入力データが正規化される。この正規化の
処理によって、画素の相対的レベルに注目することがで
き、従って、レベル方向の冗長度を除くことができる。
正規化回路７０の出力信号が加算回路７１を介して割算
器７３に被除数として供給され、割算器７３の出力信号
（割算の商）がデータメモリ６７の入力データとされ
る。

【００３７】度数メモリ６６の読出し出力が乗算器７２
および＋１回路７４に供給される。＋１回路７４の出力
が度数メモリ６６のデータ入力とされ、また、割算器７
３に除数として供給される。度数メモリ６６およびデー
タメモリ６７は、クラスコードｃでアドレスが指定され
ると、そのアドレスの内容が読出され、また、そのアド
レスに対して、＋１回路７４からの度数および割算器７
３からのデータがそれぞれ書込まれる。＋１回路７４に
よって、度数メモリ６６の各アドレスには、累積度数が
記憶される。

【００３８】図６の構成において、あるクラスコードｃ
が発生すると、そのクラスの累積度数ｎ（ｃ）と代表値
ｇ（ｃ）とが度数メモリ６６およびデータメモリ６７か
らそれぞれ読出され、乗算器７２で乗算される。従っ
て、乗算器７２からは、累積代表値が発生する。この累
積代表値と正規化回路７０からの現在の代表値とが加算
回路７１で加算される。加算結果が割算器７３に供給さ
れ、現在の代表値を考慮した代表値が形成され、これが
データメモリ６７に書込まれる。

【００３９】すなわち、データメモリ６７に書込まれる
代表値ｇ（ｃ）´は、次の式（２）で算出されたもので
ある。 g(c)´＝｛(y−base）／DR＋n(c)×g(c)｝／n(c)＋１ （２）

【００４０】この処理を入力される学習データに関して
繰り返すことにより、代表値の精度を高めることができ
る。入力画素データｙから基準値baseを減算し、さら
に、ダイナミックレンジＤＲにより正規化しているの
で、代表値のレベル方向の冗長度が少なくなる。その結
果、メモリ等の構成要素の規模が大きくなることを防止
することができる。データメモリ６７に格納された代表
値が図５中のメモリ５４に格納され、補間値の作成（式
（１）参照）のために使用される。

【００４１】また、データメモリ６７内に、代表値の累
積値を格納することも可能である。この場合では、乗算
器７２を省略できる。さらに、検出されたダイナミック
レンジＤＲが比較器７５に供給され、しきい値Ｔｈと比
較される。比較器７５からは、ダイナミックレンジＤＲ
としきい値Ｔｈとの大小関係に応じた制御信号Ｓｃが発
生する。この制御信号Ｓｃが度数メモリ６６およびデー
タメモリ６７の制御に使用される。

【００４２】すなわち、検出されたダイナミックレンジ
ＤＲがしきい値Ｔｈより小さい時には、制御信号Ｓｃに
よって、度数メモリ６６およびデータメモリ６７の読出
し動作および書込み動作が禁止される。これは、ダイナ
ミックレンジＤＲが小さいブロックに関しては、ノイズ
による影響が大きいので、学習対象からそのようなブロ
ックのデータを除外するための処理である。制御信号Ｓ
ｃによって、メモリを制御するのに限らず、クラスコー
ド分類回路６５を制御して、例えば存在しないクラスコ
ードを発生することによって、実質的に上述と同様の処
理を行なっても良い。

【００４３】図６は、学習のためのハードウエア構成を
示しているが、図９のフローチャートに示すように、ソ
フトウェア処理で学習を行うこともできる。ステップ８
１から学習処理の制御が開始され、ステップ８２の学習
データ形成では、既知の画像に対応した学習データが形
成される。具体的には、上述したように、図７に示すよ
うに、注目補間画素の実データとその周囲の画素ａ〜ｄ
のデータを一組の学習データとする。また、このステッ
プ８２では、ブロックのダイナミックレンジＤＲが所定
のしきい値よりも小さいものは、学習データとして扱わ
ない処理もなされる。ステップ８３のデータ終了では、
入力された全データ例えば１フレームのデータの処理が
終了していれば、ステップ８６の代表値決定へ、終了し
ていなければ、ステップ８４のクラス決定へ制御が移
る。

【００４４】ステップ８４のクラス決定では、入力され
た学習データのクラス分類がなされる。これは、上述の
ように、平均値との比較結果に応じたクラスコードの生
成、または、ＡＤＲＣ、ＤＰＣＭ等によって、情報量が
圧縮された参照画素のデータに基づくクラスコードの生
成である。ステップ８５の正規化では、ブロック内の基
準値baseの除去とダイナミックレンジＤＲによる正規化
の処理がなされる。

【００４５】ステップ８３のデータ終了から全データの
処理が終了後、制御がステップ８６に移り、ステップ８
６の代表値決定では、過去の累積値と現在の正規化され
た値とを加算し、累積度数でこの加算結果を除算するこ
とで、代表値が決定される。この代表値がステップ８７
において、メモリにストアされ、ステップ８８で学習処
理の制御が終了する。

【００４６】以上の一実施例では、学習により決定され
る代表値は、ブロックの基準値baseを除去した値をダイ
ナミックレンジＤＲで正規化したものであった。これに
限らず、線形１次結合の係数を学習により決定し、メモ
リに格納するようにしても良い。以下に、この係数を使
用するこの発明の他の実施例について説明する。間引き
画素を補間するための図５の構成は、メモリ５４中に係
数が格納されていることを除けば、他の実施例でも同様
である。従って、学習によって係数の決定する処理につ
いて以下に説明する。

【００４７】図１０は、学習をソフトウェア処理で行う
時のその動作を示すフローチャートである。ステップ９
１から学習処理の制御が開始され、ステップ９２の学習
データ形成では、既知の画像に対応した学習データが形
成される。具体的には、上述したように、図７の画素の
配列を使用できる。ここでも、ダイナミックレンジＤＲ
がしきい値よりも小さいものは、学習データとして扱わ
ない制御がなされる。ステップ９３のデータ終了では、
入力された全データ例えば１フレームのデータの処理が
終了していれば、ステップ９６の予測係数決定へ、終了
していなければ、ステップ９４のクラス決定へ制御が移
る。

【００４８】ステップ９４のクラス決定は、上述の一実
施例と同様のステップである。ステップ９５の正規方程
式加算では、後述する式（１０）の正規方程式が作成さ
れる。全データの処理が終了後、ステップ９３のデータ
終了から制御がステップ９６に移る。このステップ９６
の予測係数決定では、この正規方程式を行列解法を用い
て解いて、予測係数を決める。ステップ９７の予測係数
ストアで、予測係数をメモリにストアし、ステップ９８
で学習処理の制御が終了する。

【００４９】図１０中のステップ９５（正規方程式生
成）およびステップ９６（予測係数決定）の処理をより
詳細に説明する。注目画素の真値をｙとし、その推定値
をｙ´とし、その周囲の画素の値をｘ₁ 〜ｘ_n としたと
き、クラス毎に係数ｗ₁ 〜ｗ_nによるｎタップの線形１
次結合 ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_n ｘ_n （３） を設定する。学習前はｗ_i が未定係数である。

【００５０】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（４）に従って、 ｙ_j ´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_n ｘ_jn （４） （但し、ｊ＝１，２，‥‥ｍ）

【００５１】ｍ＞ｎの場合、ｗ₁ 〜ｗ_n は一意には決ま
らないので、誤差ベクトルＥの要素をそれぞれの学習デ
ータｘ_j1，ｘ_j2，‥‥ｘ_jn，ｙ_j における予測誤差をｅ
_j として、次の式（５）のごとく定義する。 ｅ_j ＝ｙ_j −（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_n ｘ_jn） （５） （但し、ｊ＝１，２，‥‥ｍ）次に、次の式（６）を最
小にする係数を求め、最小二乗法における最適な予測係
数ｗ₁ ，ｗ₂ ，‥‥，ｗ_n を決定する。

【００５２】

【数１】

【００５３】すなわち、式（６）のｗ_i による偏微分係
数を求めると、次の式（７）のごとくになる。式（７）
で（ｉ＝１，２，・・・，ｎ）である。

【００５４】

【数２】

【００５５】式（６）を０にするように各ｗ_i を決めれ
ばよいから、

【００５６】

【数３】

【００５７】として、行列を用いると、

【００５８】

【数４】

【００５９】となる。この方程式は一般に正規方程式と
呼ばれている。正規方程式は、丁度、未知数がｎ個だけ
ある連立方程式である。これにより最確値たる各未定係
数ｗ₁ ，ｗ₂ ，‥‥，ｗ_n を求めることができる。具体
的には、一般的に式（１０）の左辺の行列は、正定値対
称なので、コレスキー法という手法により式（１０）の
連立方程式を解くことができ、未定係数ｗ_i が求まり、
クラスコードをアドレスとして、この係数ｗ_i をメモリ
に格納しておく。

【００６０】

【発明の効果】この発明は、予め学習によって決定され
た正確な値で補間することができ、斜め方向の解像度を
復元できる。然も、この発明は、ダイナミックレンジＤ
Ｒで正規化された値を代表値としているので、レベルそ
のものを代表値とするのと比して、メモリの容量の削
減、ハードウエアの小規模化を達成できる。また、学習
時に、アクティビィティーが低いデータを学習対象から
除外しているので、精度の高い代表値を生成できる。

【図面の簡単な説明】

【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック
図である。

【図２】ＭＵＳＥ方式のエンコーダのサブサンプリング
を説明するための略線図である。

【図３】この発明を適用できるＭＵＳＥ方式のデコーダ
の部分的なブロック図である。

【図４】ＭＵＳＥ方式のデコーダの補間処理を説明する
ための略線図である。

【図５】この発明をサブサンプリング信号の補間装置に
対して適用した一実施例のブロック図である。

【図６】この発明における代表値を決定するするための
学習時の構成の一例のブロック図である。

【図７】クラス分類に使用する画素の配列の一例の略線
図である。

【図８】クラス分類の一例を示す略線図である。

【図９】代表値を決定するするための学習をソフトウェ
ア処理で行う時のフローチャートである。

【図１０】代表値としての係数を求めるための学習をソ
フトウェア処理で行う時のフローチャートである。

【符号の説明】

４１ フレーム間内挿回路 ４２ フィールド内内挿回路 ４７ フィールド間内挿回路 ５３ 補間演算回路 ５４ 代表値が格納されたメモリ ５５ クラス分類回路 ６６ 度数メモリ ６７ データメモリ ６８ ダイナミックレンジ検出回路 ７０ 正規化回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川口 邦雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 サブサンプリングにより伝送情報量が圧
   縮されたディジタル高解像度ビデオ信号を受け取り、間
   引かれた画素を補間するための高解像度ビデオ信号の補
   間装置において、 補間対象としての注目画素の空間的および／または時間
   的に近傍の複数の参照画素に基づいて、上記注目画素の
   クラスを決定するためのクラス分類手段と、 上記間引かれた画素の補間値を生成するために、予め学
   習により獲得された上記クラス毎の代表値が格納された
   メモリ手段と、 上記メモリ手段と結合され、上記代表値に基づいて補間
   値を生成する補間値生成手段とを備え、 上記学習時に、上記注目画素を含む複数の画素からなる
   ブロックを形成し、 上記ブロック内のダイナミックレンジによって、上記注
   目画素の値から上記ブロックの基準値を減算した値を正
   規化し、 上記正規化された値の累積値を累積度数で除した値を上
   記代表値として上記メモリ手段に格納するようにした圧
   縮高解像度ビデオ信号の補間装置。
2. 【請求項２】 請求項１に記載の圧縮高解像度ビデオ信
   号の補間装置において、 上記学習時に、アクティビィティーが低い領域のデータ
   を学習対象から除外するようにした圧縮高解像度ビデオ
   信号の補間装置。
3. 【請求項３】 請求項１に記載の圧縮高解像度ビデオ信
   号の補間装置において、 上記クラス分類手段は、参照画素の値をそのまま使用す
   るようにした圧縮高解像度ビデオ信号の補間装置。
4. 【請求項４】 請求項１に記載の圧縮高解像度ビデオ信
   号の補間装置において、 上記クラス分類手段は、参照画素をＡＤＲＣ符号化する
   ことによってそのビット数が圧縮されたものを使用する
   ようにした圧縮高解像度ビデオ信号の補間装置。
5. 【請求項５】 請求項１に記載の圧縮高解像度ビデオ信
   号の補間装置において、 上記クラス分類手段は、参照画素をＤＰＣＭ符号化する
   ことによってそのビット数が圧縮されたものを使用する
   ようにした圧縮高解像度ビデオ信号の補間装置。
6. 【請求項６】 請求項１に記載の圧縮高解像度ビデオ信
   号の補間装置において、 上記クラス分類手段は、参照画素をＢＴＣ符号化するこ
   とによってそのビット数が圧縮されたものを使用するよ
   うにした圧縮高解像度ビデオ信号の補間装置。