JPH0846934A

JPH0846934A - ディジタル画像信号の処理装置

Info

Publication number: JPH0846934A
Application number: JP19907094A
Authority: JP
Inventors: Kenji Takahashi; 健治高橋; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-01
Filing date: 1994-08-01
Publication date: 1996-02-16
Anticipated expiration: 2018-11-25
Also published as: JP3470403B2

Abstract

(57)【要約】【目的】間引き画素の補間のみならず、伝送画素の値
を予め学習により求められた予測値に置き換えることに
よって、フィルタリング処理で失われた高域成分を補償
し、また、補正後の伝送画素を使用してクラス適応処理
を行なうことにより補間を良好に行なうことを可能とす
る。【構成】クラス分類回路３、メモリ４および補正値生
成回路５によって、伝送画素がクラス分類適応処理によ
って補正される。補正された伝送画素を使用したクラス
分類適応処理によって、間引き画素が補間される。クラ
ス分類回路６、メモリ７および補間値生成回路８は、間
引き画素の補間処理のために設けられている。メモリ
４、７には、予め学習によって、伝送画素の予測値と真
値の誤差を最小とするような係数がクラス毎に蓄えられ
ている。この係数と周辺の画素の値との線形１次結合に
よって、補正値生成回路５、補間値生成回路８が補正
値、補間値を生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、サブサンプリング信
号を受け取って、間引き画素を補間し、また、伝送画素
を補正するようにしたディジタル画像信号の処理装置に
関する。

【０００２】

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。

【０００３】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。図１２は、オフセッ
トサブサンプリング回路の一例であって、６１で示す入
力端子にディジタルビデオ信号が供給され、プリフィル
タ６２を介してサブサンプリング回路６３に供給され
る。サブサンプリング回路６３には、入力端子６４から
所定の周波数のサンプリングパルスが供給される。

【０００４】サブサンプリング回路６３でなされる２次
元のオフセットサブサンプリングの一例を図１３に示
す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサン
プリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔
（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く
（間引き画素を×で示す）とともに、垂直方向に隣合う
伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ
／２）だけオフセットするものである。このようなオフ
セットサブサンプリングを行うことによる伝送帯域は、
斜め方向の空間周波数に対して水平あるいは垂直方向の
空間周波数成分を広帯域化することができる。

【０００５】サブサンプリング回路６３の出力信号がポ
ストフィルタ６５を介して出力端子６６に取り出され
る。プリフィルタ６２は、サンプリングされる画像信号
の帯域を制限し、ポストフィルタは、不要な、あるいは
悪影響を及ぼす信号成分を取り除く。サブサンプリング
によって伝送されるデータ量を減少でき、比較的低い速
度の伝送路を介してディジタルビデオ信号を伝送でき
る。また、受信されたオフセットサブサンプリングされ
た画像信号をモニタに表示したり、プリントアウトする
場合には、間引き画素が隣接画素を使用して補間され
る。

【０００６】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前のプリフィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
てプリフィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるためにプリフィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。

【０００７】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の１／２平均値補間と垂直方向
の１／２平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、１画素当り１ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。

【０００８】上述の補助情報を使用する適応型補間方法
においては、伝送画素に加えて補助情報を伝送する必要
があり、データ量の圧縮率が低下する問題を生じる。ま
た、伝送、あるいは記録再生の過程において、補助情報
にエラーが生じた場合には、誤った補間がなされるため
に、再生画像の劣化が生じやすい欠点があった。

【０００９】この問題を解決する一つの方法として、本
願出願人の提案による特開昭６３−４８０８８号公報に
は、注目画素の値をその周辺の画素と係数の線形１次結
合で表し、誤差の二乗和が最小となるように、注目画素
の実際の値を使用して最小二乗法によりこの係数の値を
決定するものが提案されている。ここでは、線形１次結
合の係数を予め学習によって決定し、決定係数がメモリ
に格納されている。さらに、注目画素を補間する時に、
周辺の参照画素の平均値を計算し、平均値と各画素の値
との大小関係に応じて、各画素を１ビットで表現し、
（参照画素数×１ビット）のパターンに応じたクラス分
けを行い、注目画素を含む画像の局所的特徴を反映した
補間値を形成している。この方法は、補助情報を必要と
せずに、間引き画素を良好に補間することができる。

【００１０】

【発明が解決しようとする課題】一方、伝送画素につい
て考えると、プリフィルタ６２およびポストフィルタ６
５を介して伝送されるために、高域成分が失われ、その
結果、信号波形がなまる問題が生じる。つまり、サブサ
ンプリングのために必要とされるフィルタリングの処理
は、伝送画素についても悪影響を与えている。そこで、
間引き画素のみならず、伝送画素についても、間引き画
素と同様に、クラス分類適応処理によって補正すること
が好ましい。

【００１１】また、間引き画素を補間するために使用す
る伝送画素も、上述のフィルタリング処理を受けたもの
であると、クラス分類適応処理で形成された補間値もそ
の影響を受けている。すなわち、伝送画素が高域成分を
失われたものであれば、それを使用した補間値も高域の
補償が不充分なものとなる可能性がある。

【００１２】従って、この発明の目的は、サブサンプリ
ング信号を復号する時に、クラス分類適応処理を使用し
て、間引き画素の補間のみならず、伝送画素についてフ
ィルタ等により失われた帯域を補償することが可能なデ
ィジタル画像信号の処理装置を提供することにある。

【００１３】この発明の他の目的は、補償された伝送画
素を使用して間引き画素を補間することによって、間引
き画素の補間を良好になしうるディジタル画像信号の処
理装置を提供することにある。

【００１４】

【課題を解決するための手段】請求項１に記載の発明
は、プリフィルタを介されたディジタル画像信号をサン
プリングし、サンプリングによって画素数が減少された
信号を受け取り、サンプリングにより間引かれた画素を
補間するようにしたディジタル画像信号の処理装置にお
いて、受け取ったディジタル画像信号中に存在する注目
伝送画素の周囲の複数の伝送画素を使用して、注目伝送
画素のクラスを決定するための第１のクラス分類回路
と、入力ディジタル画像信号中に含まれ、注目伝送画素
の空間的および／または時間的に近傍の複数の伝送画素
の値と第１の係数の線形１次結合によって、注目伝送画
素の値を作成した時に、作成された値と注目伝送画素の
真値との誤差を最小とするような、第１の係数をクラス
毎に発生するための第１の係数発生回路と、第１の係数
と注目伝送画素の空間的および／または時間的に近傍の
複数の伝送画素の値との線形１次結合によって、補正さ
れた注目伝送画素の値を生成するための第１の演算回路
と、第１の演算回路からの補正伝送画素を受け取り、注
目間引き画素の周囲の複数の補正伝送画素を使用して、
注目間引き画素のクラスを決定するための第２のクラス
分類回路と、注目間引き画素の空間的および／または時
間的に近傍の複数の補正伝送画素の値と第２の係数の線
形１次結合によって、注目間引き画素の値を作成した時
に、作成された値と注目間引き画素の真値との誤差を最
小とするような、第２の係数をクラス毎に発生するため
の第２の係数発生回路と、第２の係数と注目間引き画素
の空間的および／または時間的に近傍の複数の補正伝送
画素の値との線形１次結合によって、注目間引き画素の
補間値を生成するための第２の演算回路とからなること
を特徴とするディジタル画像信号の処理装置である。

【００１５】請求項３に記載の発明は、受け取ったディ
ジタル画像信号中に存在する注目伝送画素の周囲の複数
の伝送画素を使用して、注目伝送画素のクラスを決定す
るための第１のクラス分類回路と、予め学習により獲得
された第１の代表値がクラス毎に貯えられ、第１のクラ
ス分類回路によって決定されたクラスと対応する第１の
代表値を注目伝送画素の値として出力するための第１の
メモリ回路と、第１のメモリ回路からの補正伝送画素を
受け取り、注目間引き画素の周囲の複数の補正伝送画素
を使用して、注目間引き画素のクラスを決定するための
第２のクラス分類回路と、予め学習により獲得された第
２の代表値がクラス毎に貯えられ、第２のクラス分類回
路によって決定されたクラスと対応する第２の代表値を
注目間引き画素の値として出力するための第２のメモリ
回路とからなることを特徴とするディジタル画像信号の
処理装置である。

【００１６】

【作用】伝送画素について、クラス分類適応処理によっ
て、予測された伝送画素の値を形成することができる。
クラス分類適応処理は、予め学習により獲得された係数
と周辺の伝送画素の値との線形１次結合によって伝送画
素の補正値を形成し、または予め学習により獲得された
代表値あるいは正規化代表値を伝送画素の値として出力
する処理である。係数または代表値（あるいは正規化代
表値）は、伝送画素を含む部分的な小領域の特徴と対応
するクラス毎に決定される。このように伝送画素を補正
した後に、補正後の伝送画素を使用してクラス分類適応
処理によって、間引き画素が補間される。補正後の伝送
画素を使用するので、補間が良好になされる。

【００１７】

【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。図１
において、１は、オフセットサブサンプリングされたデ
ィジタルビデオ信号の入力端子である。具体的には、放
送などによる伝送、ＶＴＲ等からの再生信号が入力端子
１に供給される。伝送画素の値は、８ビットのコードで
表されている。２は、テレビジョンラスター順序で到来
する入力信号をブロックの順序に変換するための時系列
変換回路である。

【００１８】時系列変換回路２の出力信号が第１のクラ
ス分類回路３に供給される。クラス分類回路３は、補正
の対象の注目伝送画素のクラスを決定するもので、その
クラスを指示するクラスコードが第１のメモリ４に対し
てアドレスとして供給される。メモリ４から読出された
予測係数が第１の補正値生成回路５に供給される。

【００１９】メモリ４には、後述のように、予め学習に
より獲得された第１の予測係数が格納されている。この
係数は、伝送画素の補正値を予測するために必要とされ
る。補正値生成回路５に対しては、注目伝送画素の周囲
の複数の画素の値が時系列変換回路２から供給される。
補正値生成回路５は、注目伝送画素の補正値をメモリ４
からの係数と周囲の伝送画素の値との線形１次結合によ
って生成する。

【００２０】補正値生成回路５の出力信号が第２のクラ
ス分類回路６に供給される。クラス分類回路６は、補間
の対象の注目間引き画素のクラスを決定するもので、そ
のクラスを指示するクラスコードが第２のメモリ７に対
してアドレスとして供給される。メモリ７から読出され
た予測係数が補間値生成回路８に供給される。

【００２１】メモリ４と同様に、メモリ７には、予め学
習により獲得された予測係数が格納されている。この係
数は、間引き画素の補間値を予測するために必要とされ
る。補間値および補正値は、何れも予測値であるが、間
引き画素に対する予測値を補間値と称し、伝送画素に対
する予測値を補正値と称している。補間値生成回路８に
対して、補正値生成回路５から注目間引き画素の周囲の
複数の画素の値が供給される。そして、補間値生成回路
８は、注目間引き画素の予測値をメモリ７からの係数と
周囲の伝送画素の値との線形１次結合によって生成す
る。

【００２２】生成された補正値および補間値とが合成回
路９に供給され、出力端子１０に間引き画素が補間さ
れ、また、フィルタ処理で失われた周波数成分を補償さ
れたディジタルビデオ信号が出力される。補正値が補間
値より先に生成されるので、必要に応じて時間合わせの
ための遅延回路が使用される。図示しないが、出力端子
１０に対して時系列変換回路が接続され、ブロックの順
序からラスター走査の順序へ変換されたディジタルビデ
オ信号が形成される。

【００２３】クラス分類回路６は、注目間引き画素の近
傍の伝送画素の値を使用して、この注目間引き画素のク
ラスを決定する。図２Ａに示すように、注目間引き画素
の上下左右の伝送画素（Ａ、Ｂ、Ｃ、Ｄ）のレベル分布
のパターンをクラスとして決定する。これらの伝送画素
は、適応処理で補正されたものである。一例として、こ
の参照される４画素の平均値Ａｖを求め、平均値Ａｖに
対する大小関係によって、周囲の画素を８ビットから１
ビットへ圧縮する。すなわち、図３に一例を示すよう
に、平均値Ａｖより大きい値の場合は、`1' を割り当
て、平均値Ａｖより小さい値の場合は、`0' を割り当て
る。図３の例では、（１０１０）のクラスコードがクラ
ス分類回路６から発生する。

【００２４】クラス分類回路３は、注目伝送画素のクラ
スを決定する。図２Ｂに示すように、注目伝送画素（そ
の値をｙとする）とその周囲の画素ａ〜ｄのレベル分布
のパターンに基づいて、この注目伝送画素のクラスを決
定する。これは、上述の間引き画素と同様に、注目伝送
画素と周囲の４画素との計５画素の平均値を計算し、平
均値に対する比較結果に応じて、各画素と対応する`0'
または`1' のビットを形成する処理である。この場合、
注目伝送画素自身の値を圧縮したものをクラス情報に含
めても良い。

【００２５】上述のクラス分けでは、クラス分けのため
に参照する画素の値を平均値と比較して１ビットに圧縮
しているが、１ビットあるいは数ビットのＡＤＲＣによ
り圧縮しても良い。すなわち、ＡＤＲＣは、複数の画素
のダイナミックレンジＤＲおよび最小値ＭＩＮを検出
し、各画素の値から最小値ＭＩＮを減算し、最小値が減
算された値をダイナミックレンジＤＲで除算し、商を整
数化する処理である。

【００２６】間引き画素のクラス分けに対して、１ビッ
トＡＤＲＣを適用した場合について説明すると、クラス
分けのために、Ａ〜Ｄの４画素の中の最大値ＭＡＸおよ
び最小値ＭＩＮが検出され、ダイナミックレンジＤＲ
（＝ＭＡＸ−ＭＩＮ）が計算される。各画素Ａ〜Ｄの値
から最小値ＭＩＮが減算され、最小値除去後の値がダイ
ナミックレンジＤＲで割算される。この割算の商が０．
５と比較され、０．５以上の場合は、`1' とされ、商が
０．５より少ない場合は、`0' とされる。１ビットＡＤ
ＲＣは、上述の平均値と各画素の値とを比較するものと
実質的に同一の結果が得られる。

【００２７】注目伝送画素のクラス分けの他のいくつか
の例について説明する。図２Ｂに示すように、ａ〜ｄの
みならず、注目伝送画素の斜め方向の伝送画素（ｅ，
ｆ，ｇ，ｈ）をも参照する画素に含める。クラス分け
は、周辺の伝送画素の値ａ〜ｈおよび注目伝送画素の値
ｙに関して、同一方向に整列する画素の値の差分の絶対
値に基づいてクラス分けを行う。このクラス分けについ
て図４を参照して説明する。

【００２８】図４Ａは、垂直方向に整列する画素間の値
の差分を演算する場合を示す。すなわち、以下に示す４
個の差分の絶対値が求められる。ここで、０〜３の値
は、各差分を区別するための２ビットの方向データの値
を表している。０：｜ｈ−ｇ｜１：｜ａ−ｙ｜２：｜ｙ−ｃ｜３：｜ｅ−ｆ｜

【００２９】この４個の差分の絶対値の中の最小値が検
出され、最小値をとるものを指示する、垂直方向に関す
る２ビットの方向データが決定される。例えば｜ａ−ｙ
｜の値が最小値の場合には、１（すなわち、０１）の方
向データが決定される。図４Ｂは、右上がりの斜め方向
に整列する画素間の値の差分を演算する場合を示す。す
なわち、０：｜ｈ−ｄ｜１：｜ｅ−ｙ｜２：｜ｙ−ｇ｜３：｜ｂ−ｆ｜の差分の絶対値が演算される。そして、その中の最小値
が検出され、最小値のものを指示する、斜め方向に関す
る２ビットの方向データが決定される。

【００３０】図４Ｃは、左上がりの斜め方向に整列する
画素間の差分の絶対値、すなわち、０：｜ｄ−ｇ｜１：｜ｈ−ｙ｜２：｜ｙ−ｆ｜３：｜ｅ−ｂ｜を演算する場合を示す。これらの値の中の最小値が検出
され、最小値のものを指示する、斜め方向に関する２ビ
ットの方向データが決定される。

【００３１】さらに、図４Ｄは、水平方向に整列する画
素間の差分の絶対値、すなわち、０：｜ｈ−ｅ｜１：｜ｄ−ｙ｜２：｜ｙ−ｂ｜３：｜ｇ−ｆ｜を演算する場合を示す。これらの値の中の最小値が検出
され、最小値のものを指示する、水平方向に関する２ビ
ットの方向データが決定される。

【００３２】以上の４個の方向に関する合計８ビットの
方向データが注目伝送画素のクラスを指示するクラスコ
ードと決定される。ここで、差分の絶対値の中の最小値
の他に、減算の式を固定しておき、得られる差分の極性
を指示する１ビットを付加しても良い。例えば（ａ−
ｙ）の式で得られる差分の絶対値が最小の場合に、差分
の極性を１ビットで表し、方向データの２ビットと合わ
せて３ビットのコード信号を形成しても良い。この場合
には、クラスを指示するクラスコードは、１２ビットで
ある。

【００３３】クラス情報として、方向データに加えて、
注目伝送画素の値ｙを再量子化あるいはＡＤＲＣ（ダイ
ナミックレンジに適応した符号化）によって、８ビット
からより少ないビット数へ変換した値を使用しても良
い。例えば注目伝送画素の値を３ビットへ量子化した場
合では、８ビット＋３ビット＝１１ビットがクラスコー
ドとなる。

【００３４】このように、注目伝送画素を中心とする小
領域内で、同一方向の中で差分値が最小のものを検出す
ることによって、方向データを形成し、さらに、複数の
方向に関する方向データからなるクラス分けを行うこと
によって、少ないビット数、言い換えると少ないクラス
数でもって注目伝送画素のクラスを決定することができ
る。方向データにさらに、注目伝送画素の値の量子化値
を加えてクラス情報とすることができるので、より高い
精度のクラス分けが可能となる。若し、周辺の伝送画素
の８ビットデータをそのまま使用すると、クラス数が膨
大となり、メモリの容量、メモリの制御回路等のハード
ウエアの規模が大きくなりすぎる。周辺の伝送画素ａ〜
ｈをそれぞれ２ビットへ圧縮したとしても、合計のビッ
ト数が１６ビットとなり、やはり、クラス数が多過ぎ
る。上述のクラス分けの方法は、かかる問題点を解消で
きる。

【００３５】補正値生成回路５は、メモリ４からの予測
係数の周囲の伝送画素の値の線形１次結合によって、補
正値を生成する。この予測のためには、自分自身の値ｙ
を使用しない。また、予測のための画素数は、ａ〜ｈの
８画素またはこれより多い数の周囲の伝送画素が使用さ
れる。補間値生成回路８は、メモリ７からの予測係数と
補正後の周辺伝送画素の値との線形１次結合によって、
補間値を生成する。図２Ａに示すように、クラス分類の
ために４個の画素が使用されているが、予測のために
は、より多くの画素の値（圧縮されない）が使用され
る。

【００３６】注目伝送画素のクラス分けの他の方法につ
いて説明する。図２Ｂに示す画素の配列において、周囲
の伝送画素ａ〜ｈと注目伝送画素ｙとの間で、次の差分
値の絶対値が形成される。

【００３７】Ｄ１＝｜ａ−ｙ｜Ｄ２＝｜ｂ−ｙ｜Ｄ３＝｜ｃ−ｙ｜Ｄ４＝｜ｄ−ｙ｜Ｄ５＝｜ｅ−ｙ｜Ｄ６＝｜ｆ−ｙ｜Ｄ７＝｜ｇ−ｙ｜Ｄ８＝｜ｈ−ｙ｜

【００３８】これらの８個の差分値Ｄ１〜Ｄ８の中の最
小値が検出され、最小値をとる方向を指示する３ビット
の方向データが形成される。また、最小の差分値の極性
が１ビットで表される。従って、クラスを指示するクラ
スコードは、４ビットである。方向データは、図２Ｂで
示されるような小領域内の画像の相関が強い方向を示
す。なお、極性ビットは、必ずしも必要ではない。さら
に、注目伝送画素自身の値を８ビットから３ビットへ圧
縮し、４ビット＋３ビット＝７ビットのクラスコードが
形成される。

【００３９】次に、間引き画素のクラス分けの他の例お
よびさらに他の例について説明する。クラス分けのため
に参照する画素の範囲は、図２Ａの場合より拡げられ、
図５Ａに示すものとされる。すなわち、注目間引き画素
とその上下左右の伝送画素Ａ、Ｂ、Ｃ、Ｄを用いて第１
のクラス分けを行なう。さらに、これらの伝送画素Ａ〜
Ｄとそれらの周辺の伝送画素Ｅ〜Ｐの平均値を使用して
第２のクラス分けを行なう。そして、第１および第２の
クラス分けを統合して注目間引き画素のクラスとする。

【００４０】第２のクラス分けのための平均値の生成に
ついて説明する。図５Ｂに示すように、伝送画素Ａとそ
の上の画素Ｏとその斜め上の画素Ｅ、Ｈとを使用して、
平均値Ａ´（＝(1/4) ・（Ａ＋Ｅ＋Ｈ＋Ｏ））を生成す
る。また、伝送画素Ｂとその右側の伝送画素Ｍとその斜
め上の画素Ｉとその斜め下の画素Ｊとにより、平均値Ｂ
´（＝(1/4) ・（Ｂ＋Ｉ＋Ｊ＋Ｍ））を生成する。同様
に、伝送画素Ｃとその周辺の伝送画素Ｆ、Ｇ、Ｐとによ
り、平均値Ｃ´（＝(1/4) ・（Ｃ＋Ｆ＋Ｇ＋Ｐ））を生
成し、また、伝送画素Ｄとその周辺の伝送画素Ｋ、Ｌ、
Ｎとにより、平均値Ｄ´（＝(1/4) ・（Ｄ＋Ｋ＋Ｌ＋
Ｎ））を生成する。

【００４１】上述の平均値Ａ´〜Ｄ´は、図５Ｃに示す
ように、注目間引き画素の周辺画素Ａ〜Ｄのそれぞれと
隣接する間引き画素の推定値である。この平均値Ａ´〜
Ｄ´を使用して第２のクラス分けを行なう。第１のクラ
ス分けは、図３に示す方法と同様に、上下左右の４個の
伝送画素Ａ〜Ｄの平均値Ａｖを計算し、各画素Ａ〜Ｄと
この平均値Ａｖとの大小関係に応じてクラスコードを発
生する。また、同様に、推定値としてのＡ´〜Ｄ´の平
均値Ａｖ´を計算する。この平均値Ａｖ´と平均値Ａ´
〜Ｄ´の大小関係に応じて、４ビットの第２のクラスコ
ードが発生する。これらの第１および第２のクラスコー
ドの両者を組み合わせた８ビットが注目間引き画素のク
ラスコードとして採用される。

【００４２】このように、注目間引き画素を中心とする
小領域内で、周辺の伝送画素ａ〜ｄに加えて、平均値Ａ
´〜Ｄ´を使用したクラス分けを行なうことによって、
広い領域の特徴を反映し、然も、少ないビット数、言い
換えると少ないクラス数でもって注目間引き画素のクラ
スを決定することができる。

【００４３】図６は、間引き画素のクラス分けのさらに
他の例を示す。間引き画素の左右両側の伝送画素Ｂおよ
びＤのそれぞれの方向性に基づいて、注目間引き画素の
クラスを決定する。図６Ａは、注目間引き画素の左側の
伝送画素Ｄを中心として方向性を調べる様子を示し、図
６Ｂは、注目間引き画素の右側の伝送画素Ｂを中心とし
て方向性を調べる様子を示す。

【００４４】すなわち、図６Ａに示すように、左側の伝
送画素Ｄとその周辺の８個の伝送画素（Ａ，Ｂ，Ｃ，
Ｇ，Ｈ，Ｋ，Ｌ，Ｎ）のそれぞれとの差分が計算され
る。この差分値が最小のものが検出される。８方向を示
すために、３ビットの方向ビットが必要であり、最小の
差分値を生じさせる方向を方向ビットが指示する。同様
に、図６Ｂに示すように、右側の伝送画素Ｂと周辺の８
個の伝送画素（Ａ，Ｃ，Ｄ，Ｅ，Ｆ，Ｉ，Ｊ，Ｍ）のそ
れぞれとの差分の最小値が検出され、この検出結果に応
じて３ビットの方向ビットが形成される。これらの二つ
の方向ビットを合わせた６ビットがクラスコードとして
採用される。必要であれば、最小の差分の極性を示す符
号ビットをクラスコードに含めることができる。

【００４５】なお、この発明は、以上の伝送画素あるい
は間引き画素のクラス分類の方法に限定されるものでは
ない。この発明の特徴は、クラス分類適応処理によっ
て、伝送画素自身を補正すること、また、補正された伝
送画素を使用してクラス分類適応処理によって、間引き
画素の補間を行なうことにある。

【００４６】上述したように、メモリ４および７のそれ
ぞれには、予め学習により得た予測係数、代表値または
正規化代表値が格納されている。図７は、伝送画素を補
正するための予測係数を決定するための学習時の構成を
示す。学習は、図１の入力端子１に供給されるディジタ
ルビデオ信号を原ディジタルビデオ信号から形成する処
理と同様の処理を行なう。学習によって、注目伝送画素
の真値に対する予測値が有する誤差の二乗和を最小とす
るような係数が最小二乗法により決定される。

【００４７】図７において、１１で示す入力端子に原デ
ィジタルビデオ信号が供給される。入力端子１１に対し
て、プリフィルタ１２、サブサンプリング回路１３およ
びポストフィルタ１５が接続される。サブサンプリング
回路１３には、入力端子１４からオフセットサブサンプ
リングを行うための所定の周波数のサンプリングパルス
が供給される。従って、ポストフィルタ１５の出力に
は、オフセットサブサンプリングされたディジタルビデ
オ信号が得られる。

【００４８】ポストフィルタ１５に対して時系列変換回
路１６が接続され、ラスター走査の順序からブロックの
順序へ変換されたビデオデータがクラス分類回路１７に
供給される。クラス分類回路１７は、上述のクラス分類
回路３と同様に、注目伝送画素の周辺の伝送画素を使用
して注目伝送画素のクラスを決定する。クラス分類回路
１７からのクラスコードが係数決定回路１８に供給され
る。

【００４９】係数決定回路１８は、線形１次結合で生成
される予測値ｙ´とその真値ｙとの誤差の二乗和を最小
とするような予測係数を決定する。入力端子１１に供給
される原データが時系列変換回路１９に供給され、この
回路１９から係数決定回路１８に対して注目伝送画素の
真値が供給される。また、係数決定回路１８には、予測
のために使用される伝送画素が時系列変換回路１６から
供給される。

【００５０】係数決定回路１８は、最小二乗法によって
最良の予測係数を決定する。決定された予測係数がメモ
リ２０に格納される。格納アドレスは、クラス分類回路
１７からのクラスコードで指示される。このように伝送
画素に対する係数が決定された後に、間引き画素の補間
のための係数が決定される。図８は、間引き画素に対す
る係数を学習する時の構成の一例を示す。

【００５１】入力端子１１に対して、プリフィルタ１
２、サブサンプリング回路１３、ポストフィルタ１５が
接続され、オフセットサブサンプリングの処理がなされ
る。時系列変換回路１６の出力信号がクラス分類回路１
７に供給され、伝送画素に対するクラス分けがなされ
る。そして、クラス分類回路１７からのクラスコードが
メモリ２０にアドレスとして供給される。

【００５２】メモリ２０には、図７に示される学習によ
って、予め伝送画素を補正するための係数が格納されて
いる。メモリ２０から読出された係数と時系列変換回路
１６の出力信号とが補正値生成回路２１に供給される。
補正値生成回路２１は、係数と周辺の複数の伝送画素の
値の線形１次結合によって、補正値を生成する。このよ
うに補正された伝送画素を使用して間引き画素に関する
予測係数が生成される。

【００５３】すなわち、補正値生成回路２１の出力信号
がクラス分類回路２２に供給され、補正伝送画素を使用
して、注目間引き画素がクラス分けされる。クラス分類
回路２２は、上述のクラス分類回路６と同様に、注目間
引き画素の周辺の間引き画素を使用して注目間引き画素
のクラスを決定する。クラス分類回路２２からのクラス
コードが係数決定回路２３に供給される。

【００５４】係数決定回路２３は、線形１次結合で生成
される予測値とその真値との誤差の二乗和を最小とする
ような予測係数を決定する。入力端子１１に供給される
原データが時系列変換回路２４に供給され、この回路２
４から係数決定回路２３に対して注目間引き画素の真値
が供給される。また、係数決定回路２３には、予測のた
めに使用される伝送画素が補正値生成回路２１から供給
される。係数決定回路２３は、最小二乗法によって最良
の予測係数を決定する。決定された予測係数がメモリ２
５に格納される。格納アドレスは、クラス分類回路２２
からのクラスコードで指示される。

【００５５】一例として、伝送画素の補正値に関する係
数決定の処理をソフトウェア処理で行う動作について、
図９を参照して説明する。なお、間引き画素の補間値に
関する係数決定も、図９と同様の処理でなされる。ま
ず、ステップ４１から処理の制御が開始され、ステップ
４２の学習データ形成では、既知の画像に対応した学習
データが形成される。ステップ４３のデータ終了では、
入力された全データ例えば１フレームのデータの処理が
終了していれば、ステップ４６の予測係数決定へ、終了
していなければ、ステップ４４のクラス決定へ制御が移
る。

【００５６】ステップ４４のクラス決定は、上述のよう
に、注目伝送画素の値とその周辺画素の値のレベル分布
のパターンと対応してクラスを決定するステップであ
る。次のステップ４５の正規方程式生成では、後述する
正規方程式が作成される。

【００５７】ステップ４３のデータ終了から全データの
処理が終了後、制御がステップ４６に移り、ステップ４
６の予測係数決定では、後述する式（８）を行列解法を
用いて解いて、係数を決める。ステップ４７の予測係数
ストアで、予測係数をメモリ２０にストアし、ステップ
４８で学習処理の制御が終了する。

【００５８】図９中のステップ４５（正規方程式生成）
およびステップ４６（予測係数決定）の処理をより詳細
に説明する。学習時には、注目伝送画素の真値ｙが既知
である。注目伝送画素の補正値をｙ´、その周囲の画素
の値をｘ₁ 〜ｘ_nとしたとき、クラス毎に係数ｗ₁ 〜ｗ
_nによるｎタップの線形１次結合ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （１）を設定する。学習前はｗ_iが未定係数である。

【００５９】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（１）に従って、ｙ_j´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn （２）（但し、ｊ＝１，２，‥‥ｍ）

【００６０】ｍ＞ｎの場合、ｗ₁ 〜ｗ_nは一意には決ま
らないので、誤差ベクトルＥの要素をｅ_j＝ｙ_j−（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn）（３）（但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式
（４）を最小にする係数を求める。

【００６１】

【数１】

【００６２】いわゆる最小自乗法による解法である。こ
こで式（４）のｗ_iによる偏微分係数を求める。

【００６３】

【数２】

【００６４】式（５）を０にするように各ｗ_iを決めれ
ばよいから、

【００６５】

【数３】

【００６６】として、行列を用いると

【００６７】

【数４】

【００６８】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗ_iについて解けば、予測係数ｗ_iが
求まり、クラスコードをアドレスとして、この予測係数
ｗ_iをメモリ２０に格納しておく。

【００６９】図９は、学習のためのソフトウェア構成を
示しているが、ハードウエアの構成またはソフトウェア
およびハードウエアを併用した構成によって、学習を行
うこともできる。また、補間値および補正値をそれぞれ
形成するのに、予測係数による線形１次結合に限らず、
これらのデータの値そのものを学習によって予め作成
し、これらの値を補間値および補正値としてそれぞれ採
用しても良い。

【００７０】図１０は、データの値そのものを予め作成
するための学習を説明するためのフローチャートであ
る。制御の開始のステップ５１、学習データ形成のステ
ップ５２、データ終了のステップ５３およびクラス決定
のステップ５４は、上述の予測係数を決定するための学
習におけるステップ４１、４２、４３および４４と同様
の処理を行うステップである。

【００７１】代表値決定のステップ５５は、クラス毎に
真値の平均値を求め、この平均値を代表値として決定す
るステップである。すなわち、学習の過程で得られた真
値の累積値を累積度数で割算することによって、代表値
が得られる。このように、真値の平均値を代表値とする
処理は、重心法と称される。また、データの値そのもの
を累算すると、累積したデータ量が多くなるので、ブロ
ック内の基準値とブロックのダイナミックレンジＤＲで
正規化した値を代表値として求めても良い。

【００７２】すなわち、ブロックの基準値をＢ（例えば
ブロック内の画素の最小値）とし、ダイナミックレンジ
をＤＲで表すと、正規化された代表値Ｇは、Ｇ＝（ｙ−Ｂ）／ＤＲで規定される。ステップ５６において、決定された代表
値がメモリに格納され、学習が終了する。

【００７３】このように正規化された値を学習により求
めておいた時には、補間値生成または補正値生成のため
には、図１１の構成が使用される。図１１は、簡単のた
めに補正値生成のための構成のみを示す。時系列変換回
路２の出力信号がクラス分類回路３および検出回路２７
に供給される。クラス分類回路３からのクラスコードで
指示されるメモリ４のアドレスから正規化された代表値
が読出される。また、検出回路２７は、予測に使用する
複数の伝送画素のダイナミックレンジＤＲおよび最小値
ＭＩＮを検出する。

【００７４】メモリ４からの正規化代表値が乗算回路２
８に供給され、正規化代表値と検出されたダイナミック
レンジＤＲとが乗算される。乗算回路２８の出力が加算
回路２９に供給され、検出された最小値ＭＩＮと加算さ
れる。この加算回路２９の出力信号が補正値である。

【００７５】なお、この発明におけるクラス分類あるい
は予測演算のために、空間的に注目画素の周囲の画素の
値を使用するものに限らず、時間方向で注目画素と近い
画素（例えば前フレームの同一の画素）も使用すること
ができる。

【００７６】また、補間値および補正値を同一の予測方
法により予測するのに限らず、上述した予測式（線形１
次結合）による予測、代表値を使用する予測、正規化代
表値を使用する予測を組み合わせても良い。

【００７７】

【発明の効果】この発明は、サンプリングにより間引か
れた画素のみならず、伝送画素の値も補正しているの
で、サンプリングのためのフィルタリング処理によって
失われた高域成分を補償することができる。従って、復
号信号の波形のなまりを補償でき、復号画像の質を向上
できる。

【００７８】また、この発明は、補正された伝送画素を
使用して間引き画素の補間を行なうので、補間を良好に
行なうことができる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】クラス分けのために参照する画素の位置を示す
ための略線図である。

【図３】間引き画素のクラス分けの方法の一例を説明す
るための略線図である。

【図４】伝送画素のクラス分けの一例を説明するための
略線図である。

【図５】間引き画素のクラス分けの他の例を説明するた
めの略線図である。

【図６】間引き画素のクラス分けのさらに他の例を説明
するための略線図である。

【図７】伝送画素に関する予測係数を学習により求める
ための構成の一例のブロック図である。

【図８】間引き画素に関する予測係数を学習により求め
るための構成の一例のブロック図である。

【図９】予測係数を求めるための学習をソフトウェア処
理で行う時のフローチャートである。

【図１０】代表値を求めるための学習をソフトウェア処
理で行う時のフローチャートである。

【図１１】正規化代表値を使用して予測値を生成するた
めの処理を説明するためのブロック図である。

【図１２】オフセットサブサンプリングのための構成の
一例のブロック図である。

【図１３】２次元のオフセットサブサンプリングの構造
を示す略線図である。

【符号の説明】

３，６クラス分類回路４，７予測係数が格納されたメモリ５補正値生成回路８補間値生成回路

Claims

【特許請求の範囲】

【請求項１】プリフィルタを介されたディジタル画像
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、受け取ったディジタル画像信号中に存在する注目伝送画
素の周囲の複数の伝送画素を使用して、上記注目伝送画
素のクラスを決定するための第１のクラス分類手段と、上記入力ディジタル画像信号中に含まれ、上記注目伝送
画素の空間的および／または時間的に近傍の複数の伝送
画素の値と第１の係数の線形１次結合によって、上記注
目伝送画素の値を作成した時に、作成された値と上記注
目伝送画素の真値との誤差を最小とするような、第１の
係数を上記クラス毎に発生するための第１の係数発生手
段と、上記第１の係数と上記注目伝送画素の空間的および／ま
たは時間的に近傍の複数の伝送画素の値との線形１次結
合によって、補正された注目伝送画素の値を生成するた
めの第１の演算手段と、上記第１の演算手段からの補正伝送画素を受け取り、注
目間引き画素の周囲の複数の補正伝送画素を使用して、
上記注目間引き画素のクラスを決定するための第２のク
ラス分類手段と、上記注目間引き画素の空間的および／または時間的に近
傍の複数の補正伝送画素の値と第２の係数の線形１次結
合によって、上記注目間引き画素の値を作成した時に、
作成された値と上記注目間引き画素の真値との誤差を最
小とするような、第２の係数を上記クラス毎に発生する
ための第２の係数発生手段と、上記第２の係数と上記注目間引き画素の空間的および／
または時間的に近傍の複数の補正伝送画素の値との線形
１次結合によって、上記注目間引き画素の補間値を生成
するための第２の演算手段とからなることを特徴とする
ディジタル画像信号の処理装置。
【請求項２】請求項１に記載のディジタル画像信号の
処理装置において、上記第１および第２の係数発生手段
のそれぞれは、最小二乗法によって第１および第２の係
数が決定されることを特徴とするディジタル画像信号の
処理装置。
【請求項３】プリフィルタを介されたディジタル画像
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、受け取ったディジタル画像信号中に存在する注目伝送画
素の周囲の複数の伝送画素を使用して、上記注目伝送画
素のクラスを決定するための第１のクラス分類手段と、予め学習により獲得された第１の代表値が上記クラス毎
に貯えられ、上記第１のクラス分類手段によって決定さ
れた上記クラスと対応する上記第１の代表値を上記注目
伝送画素の値として出力するための第１のメモリ手段
と、上記第１のメモリ手段からの補正伝送画素を受け取り、
注目間引き画素の周囲の複数の補正伝送画素を使用し
て、上記注目間引き画素のクラスを決定するための第２
のクラス分類手段と、予め学習により獲得された第２の代表値が上記クラス毎
に貯えられ、上記第２のクラス分類手段によって決定さ
れた上記クラスと対応する上記第２の代表値を上記注目
間引き画素の値として出力するための第２のメモリ手段
とからなることを特徴とするディジタル画像信号の処理
装置。
【請求項４】請求項３に記載のディジタル画像信号の
処理装置において、上記第１および第２のメモリ手段のそれぞれに格納され
る代表値は、学習時に与えられる注目伝送画素および注
目間引き画素の真値をそれぞれ平均化した値であること
を特徴とするディジタル画像信号の処理装置。
【請求項５】請求項３に記載のディジタル画像信号の
処理装置において、上記第１および第２のメモリ手段のそれぞれに格納され
る代表値は、注目伝送画素および注目間引き画素をそれ
ぞれ含むブロック内の複数画素の基準値と、上記ブロッ
クのダイナミックレンジとによって、上記伝送画素およ
び上記注目間引き画素の真値をそれぞれ正規化した値か
ら形成されたものであることを特徴とするディジタル画
像信号の処理装置。