JPH0746589A

JPH0746589A - ディジタル画像信号処理装置

Info

Publication number: JPH0746589A
Application number: JP20475293A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Hideo Nakaya; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-07-27
Filing date: 1993-07-27
Publication date: 1995-02-14
Anticipated expiration: 2017-04-02
Also published as: JP3271096B2

Abstract

(57)【要約】【目的】間引き画素の補間値を作成したり、推定値を
作成する時に、その画素を含む画像の局所的特徴を表す
クラス分けを行なうことを可能とし、然も、クラス数を
実用的な個数で抑える。【構成】時系列変換回路１１によって、注目画素の空
間的および時間的に近傍の複数の画素データが同時に出
力される。垂直方向、水平方向、斜め方向、時間方向の
整列する２画素の値の差分値が減算器１２₀〜１２₆に
より形成され、絶対値に変換される。最小値検出回路１
４は、この絶対差分値の中の最小値を検出する。絶対差
分値が比較回路１５₀〜１５₆でしきい値Ｔｈと比較さ
れ、静止平坦部検出回路１６は、全ての絶対差分値がし
きい値Ｔｈより小さいときに、その小領域を静止平坦部
として検出する。選択回路１７は、静止平坦部の検出結
果を優先的に出力する。静止平坦部以外では、最小値検
出回路１４の検出結果を出力する。検出結果がクラスを
指示するインデックスとして出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、空間的および／また
は時間的に近傍に存在する複数の画素を使用して注目画
素の値を作成することを必要とするディジタル画像信号
処理装置に関する。

【０００２】

【従来の技術】ディジタル画像信号の高能率符号化の一
つとして、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。また、入力される標準精細度のビデオ信号を高精
細度のビデオへ変換するアップコンバージョンも提案さ
れている。この場合には、不足している画素を標準精細
度の信号から作成する必要がある。さらに、画像を電子
的に拡大する時には、不足する画素の値の補間を必要と
する。これらのものに限らず、シーンチェンジ検出、Ｄ
ＰＣＭ等では、周辺の画素の値から注目画素の推定値を
作成する必要がある。

【０００３】上述のように、注目画素の値を作成する時
には、従来では、固定タップ、固定係数の補間フィルタ
を使用するのが普通であった。

【０００４】

【発明が解決しようとする課題】補間フィルタにより非
伝送画素を補間する処理は、ある種の画像に対して有効
であっても、動きのある画像や静止画像等の多種多様な
種類の画像に関して、全体的に補間処理が効果的に発揮
されるとはと限らない。その結果として、伝送画素およ
び補間画素で構成される復元画像中に、「ぼけ」、動き
の不自然さである「ジャーキネス」等が発生する問題が
あった。

【０００５】この問題を解決する一つの方法として、注
目画素の値をその周辺の画素と係数の線形１次結合で表
し、誤差の二乗が最小となるように、注目画素の実際の
値を使用して最小二乗法によりこの係数の値を決定する
ものが提案されている。この方法は、有効なものである
が、注目画素を含む画像の局所的特徴を充分に反映した
補間値を形成できるとは言えない。

【０００６】さらに、本願出願人の提案による特開昭６
３−４８０８８号公報には、間引き画素を補間する時
に、周辺の参照画素の平均値を計算し、平均値と各画素
の値との大小関係に応じて、各画素を１ビットで表現
し、（参照画素数×１ビット）のパターンに応じたクラ
ス分けを行うことが提案されている。しかしながら、こ
の方法は、参照画素数が少ないと、局所的特徴を反映す
ることが不充分となり、逆に参照画素数が多いと、クラ
ス数が多くなり、ハードウエアの規模が大きくなる問題
がある。

【０００７】従って、この発明の一つの目的は、クラス
分類を行なうことによって、注目画素の持つ実際の値と
の誤差が少ない値を作成することが可能であり、また、
比較的少ないクラス数でもって、クラス分類を良好に行
うことができるディジタル画像信号処理装置を提供する
ことにある。

【０００８】この発明の他の目的は、注目画素の値を作
成する時に、補間フィルタを使用することなく、多種多
様な種類の画像に適応することができるディジタル画像
信号処理装置を提供することにある。

【０００９】

【課題を解決するための手段】この発明は、注目画素の
値を注目画素の空間的および／または時間的に近傍に存
在する複数の画素を使用して作成することを必要とする
ディジタル画像信号処理装置において、入力ディジタル
画像信号中に含まれ、注目画素の空間的および／または
時間的に近傍の複数の参照画素を使用して注目画素のク
ラスを決定するクラス分類手段と、入力ディジタル画像
信号中に含まれ、注目画素の空間的および／または時間
的に近傍の複数の画素の値と複数の係数の線形１次結合
によって、注目画素の値を作成した時に、作成された値
と注目画素の真値との誤差を最小とするような、係数を
クラス毎に発生する係数発生手段とを有し、クラス分類
手段は、複数の方向の参照画素間のレベル差に基づい
て、複数の方向の相関の程度をそれぞれ検査し、検査結
果から最も相関が強い方向をその注目画素のクラスとし
て決定することを特徴とするディジタル画像信号処理装
置である。

【００１０】また、この発明は、クラス分類手段が複数
の方向に関して参照画素を使用した平均値と注目画素の
真値との差分をそれぞれ生成し、生成された差分が最小
である方向をその注目画素のクラスとして決定すること
を特徴とするディジタル画像信号処理装置である。

【００１１】さらに、この発明は、上述のクラス分類手
段と、入力ディジタル画像信号をサブサンプリングする
ことによって伝送画素数を減少するための間引き手段
と、入力ディジタル画像信号と間引き手段の出力信号と
を受け取って、補間すべき注目画素の空間的および／ま
たは時間的に近傍の複数の画素の値と複数の係数の線形
１次結合によって、注目画素の値を作成した時に、作成
された値と注目画素の真値との誤差を最小とするよう
な、係数をクラス毎に発生するための係数発生手段と、
間引き手段の出力と係数発生手段からの係数とを伝送す
るための手段とからなるディジタル画像信号処理装置で
ある。

【００１２】

【作用】注目画素の空間的および／または時間的に近傍
の複数の画素を参照して、注目画素を含む部分的画像の
特徴に従ってクラス分けを行うことができる。クラス分
けとして、その部分的画像の相関が強い方向をクラスと
して決定する。このようなクラス分けは、少ない数のク
ラスによって局所的特徴を表すことができる。

【００１３】この発明による伝送画素数を減少させる符
号化装置は、サブサンプリングの時に、例えば１フレー
ムの画像に対して最適な係数を決定し、この係数を伝送
する。受信側では、係数と伝送画素データとを用いた線
形１次結合によって、非伝送画素データを補間する。そ
の結果、補間の精度が向上し、良好な復元画像が作成で
きる。間引かれる画素の周辺の複数の伝送画素の値を参
照してクラス分けを行ない、クラス毎に係数を発生する
ことによって、画像の局所的特徴を反映する、精度が高
い補間を行うことができる。

【００１４】

【実施例】以下、伝送画素を間引き処理する高能率符号
化に対してこの発明を適用した例について説明する。こ
の発明は、この応用以外にも、標準精細度のビデオ信号
を高精細度のビデオ信号に変換する処理、電子的に画像
を拡大する処理、ビデオ信号中のシーンチェンジを検出
する処理、ＤＰＣＭにおける予測値を形成する処理等の
応用が可能である。

【００１５】この発明の理解を容易とするために、ま
ず、サブサンプリングと非伝送画素を補間するための係
数の生成について、図１および図２を参照しながら説明
する。図１は、この発明を適用できるサブサンプリング
の一例を示すものである。Ｔ１、Ｔ２、Ｔ３は、時間的
に連続する３フレームを示す。各フレームでは、五の目
格子パターンのサブサンプリングがなされ、画素数が１
／２に間引かれる。然も、フレーム間では、サブサンプ
リングの位相が相補的とされている。かかる図１に示す
サブサンプリングを１／２時空間サブサンプリングと称
する。図１では、伝送画素の位置が○および◎で表さ
れ、非伝送画素の位置が×で表され、クラス分類に使用
する伝送画素が◎で表される。つまり、３８画素中の１
４画素がクラス分けにも使用される参照画素である。

【００１６】フレームＴ２に含まれる間引き画素の一つ
である注目画素（＋で示される）を例えば３８タップの
線形１次結合モデルで表す。より具体的には、フレーム
Ｔ１、Ｔ２、Ｔ３から空間的に同一位置の（５×５）の
領域をそれぞれ切り出す。３個の領域によって一つの３
次元ブロックが構成される。以下により詳細に説明する
ように、フレームＴ２の中央の注目画素が伝送画素と係
数の線形１次結合モデルで表され、線形１次結合で表現
されるデータの実データに対する誤差の二乗が最小とな
るように、係数が最小二乗法で決定される。一例とし
て、１フレームで各クラスの１組の係数が決定され、伝
送画素データと係数が送信される。

【００１７】図１に示す時空間モデルにおいて、３個の
領域を含むブロック内には、合計で３８個の伝送画素が
含まれる。図２に示すように、この伝送画素の値をｘ_i
（ｉ＝１，２，・・・，３８）とする。そして、伝送画
素のそれぞれに乗じられる係数は、図２に示すように、
ｗ₁〜ｗ₃₈と規定される。従って、フレームＴ２の注目
画素の値をｙとすると、この値を伝送画素と係数の線形
１次結合ｘ_iｗ_iで表現する。すなわち、フレームＴ２
の中央位置の値ｙは、このように３８タップの入力画素
の線形１次結合ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₃₈ｘ₃₈
によって表される。この線形１次結合モデルにおける係
数ｗ_iについては、実際の値と線形１次結合で表される
値との誤差の二乗が最小になるものが求められる。

【００１８】この未定係数ｗ_iを決定するために、入力
画像を空間方向（水平方向および垂直方向）に１画素ず
つずらした時の図１に示すブロックの伝送画素の値ｘ_i
（ｉ＝１，・・・，ｎ）と補間対象である注目画素の実
際の値ｙ_j（ｊ＝１，・・・，ｍ）をそれぞれ代入した
線形１次結合の式を作成する。ここでの例では、（ｎ＝
３８）である。例えば１フレームに対して１組の係数を
求める時には、１フレームの画像に対して、ブロックの
切り出しを１画素ずつシフトすることによって、非常に
多くの式、すなわち、１フレームの画素数（＝ｍ）の連
立方程式（観測方程式と称する）が作成される。３８個
の係数を決定するためには、最低で（ｍ＝３８）の連立
方程式が必要である。方程式の個数ｍは、補間精度の問
題と処理時間との兼ね合いで適宜選定できる。観測方程
式は、ＸＷ＝Ｙ（１）である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行
列である。

【００１９】

【数１】

【００２０】係数ｗとして、実際の値との誤差を最小に
するものを最小二乗法により求める。このために、観測
方程式の右辺に残差行列Ｅを加えた下記の残差方程式を
作成する。すなわち、最小二乗法において、残差方程式
における残差行列Ｅの要素の二乗、すなわち二乗誤差が
最小になる係数行列Ｗを求める。

【００２１】

【数２】

【００２２】次に、残差方程式（３）から係数行列Ｗの
各要素ｗ_iの最確値を見いだすための条件は、ブロック
内の画素に対応するｍ個の残差をそれぞれ二乗してその
総和を最小にする条件を満足させればよい。この条件
は、下記の式（４）により表される。

【００２３】

【数３】

【００２４】ｎ個の条件を入れてこれを満足する係数行
列Ｗの要素である未定係数ｗ₁，ｗ₂，・・・，ｗ_nを
見出せばよい。従って、残差方程式（３）より、

【００２５】

【数４】

【００２６】となる。式（４）の条件をｉ＝１，２，・
・・，ｎ）について立てれば、それぞれ

【００２７】

【数５】

【００２８】が得られる。式（３）と式（６）から、下
記の正規方程式が得られる。

【００２９】

【数６】

【００３０】正規方程式（７）は、丁度、未知数の数が
ｎ個だけある連立方程式である。これにより、最確値た
る各未定係数ｗ_iを求めることができる。正確には、式
（７）における、ｗ_iにかかるマトリクスが正則であれ
ば、解くことができる。実際には、Gauss-Jordanの消去
法（別名、掃き出し法）を用いて未定係数ｗ_iを求めて
いる。このようにして、非伝送画素の補間のための係数
が１フレームでクラス毎に１組確定し、この係数が伝送
される。

【００３１】上述のように係数を決定する時に、補間の
対象である注目画素を含む部分的画像の特徴を反映した
クラス分けがなされる。このクラス分けとしては、参照
される画素の値自身を使用することが考えられる。しか
しながら、各画素の値が８ビットの時に、Ｎ個の参照画
素の場合で、クラス数が２^8Nとなり、クラス数が非常に
多くなる。その結果、係数を決定するためのハードウエ
アが大規模となり、実現が難しい。

【００３２】この問題を解決する一つの方法は、参照画
素のビット数を圧縮符号化により減少させることであ
る。この方法は、各画素を１ビットのように圧縮する時
には、クラス数を少なくできるが、その反面、クラス分
けの精度が不充分となる可能性がある。従って、この発
明は、クラス数が過度とならず、部分的画像の特徴を反
映したクラス分けを行う。

【００３３】図１中で◎で表されるクラス分類のための
参照画素の値は、図２から分かるように、フレームＴ
１、Ｔ３の注目画素と同一位置の画素の値ｘ₇、ｘ
₃₂と、フレームＴ２内の画素の値ｘ₁₉、ｘ₂₀、ｘ₁₇、ｘ
₂₂、ｘ₁₄、ｘ₂₅、ｘ₁₅、ｘ₂₄、ｘ₁₆、ｘ₂₃、ｘ₁₈、ｘ₂₁
である。そして、これらの画素の中の各方向に整列して
いる対の値の差分を検出し、差分値の絶対値から最も相
関が強い方向が検出される。すなわち、図１および図３
に示すように、垂直方向ｄ０、水平方向ｄ１、斜めの４
方向ｄ２、ｄ３、ｄ４、ｄ５、時間方向のｄ６が相関検
出の方向とされる。相関の最も強い方向がその注目画素
のクラスとされ、このクラスを指示するために、３ビッ
トのインデックスが生成される。３ビットは、８通りの
値を持ちうるので、余りの一つが静止平坦部ｄ７のクラ
スとして使用される。

【００３４】図４は、この発明を高能率符号化装置に適
用した一例の全体的なブロック図である。入力端子１か
らのディジタル画像データが間引き回路２に供給され、
間引き回路２にてサブサンプリングがなされる。図１に
示される１／２時空間間引きがその一例である。間引き
回路２からの伝送画素データが圧縮符号化のエンコーダ
３に供給される。

【００３５】圧縮符号化は、伝送画素のデータ量をより
少なくするためのものである。例えば本願出願人の提案
にかかるダイナミックレンジに適応した符号化（ＡＤＲ
Ｃ）が圧縮符号化として使用される。ＡＤＲＣは、ブロ
ック毎に画素の最大値および最小値を検出し、その差で
あるダイナミックレンジを求め、ダイナミックレンジに
適応した量子化ステップで、最小値または最大値を除去
した後の画素データを量子化するものである（特開昭６
１−１４４９８９号公報参照）。画像の局所的相関から
ブロック内の画素データを元の量子化ビット数（例えば
８ビット）より少ないビット数（例えば４ビット）で量
子化しても、画像の劣化を抑えることができる。

【００３６】圧縮符号化の他の例は、離散的コサイン変
換符号化（ＤＣＴ）である。これは、ブロックの画素デ
ータをコサイン変換することで求められた係数データを
量子化し、量子化出力を可変長符号化するものである。
さらに、動き補償を付加されたＤＣＴ等、種々の圧縮符
号化を使用しても良い。圧縮符号化の結果、伝送画素デ
ータのデータ量がより少なくされる。エンコーダ３の出
力が出力端子５に伝送コードとして取り出され、また、
ローカルデコーダ４に供給される。

【００３７】間引き回路２からの伝送画素データがクラ
ス分類回路６に供給される。クラス分類回路６は、上述
のように、注目画素の周辺の参照画素から相関の強い方
向を検出し、検出された方向に対応する例えば３ビット
のインデックスを発生する。クラス分けのための参照画
素は、間引き回路２の出力（すなわち、伝送画素）とさ
れているが、これに限らず、ローカルデコーダ４の出力
データを使用しても良い。クラス分類回路６からのイン
デックスと、入力端子１からの注目画素の実データと、
ローカルデコーダ４からの伝送画素の復号データが最小
二乗法の演算回路７に供給される。

【００３８】最小二乗法の演算回路７は、ｘ_iとして復
号データを用い、また、間引きされる画素データの実際
の値を用い、上述の最小二乗法のアルゴリズムによっ
て、例えば１フレームで１組の係数ｗ_iを決定する。演
算回路７からの係数が出力端子８に取り出される。伝送
画素の符号化出力（コード）と係数とが図示しないが、
フレーム化回路、チャンネル変調回路等を介して伝送路
へ送出される。伝送路は、通信回線、磁気記録／再生プ
ロセス等である。

【００３９】送信されるデータは、１フレーム内の１／
２間引きで残った伝送画素を圧縮符号化することで発生
したコードと１組の係数である。この係数の情報量は、
１フレームあたりのコードの情報量に比べて無視しうる
ものである。上述の例において、データの圧縮について
説明する。図１に示されるサブサンプリングによってデ
ータ量を半減でき、圧縮符号化として、量子化ビット数
を半分とするＡＤＲＣを採用した時には、ＡＤＲＣによ
ってデータ量を半減できる。結果として、１／４にデー
タ量を減少できる。

【００４０】図５は、図４の符号化回路と対応する復号
回路を示す。受信データは、図示しないが、チャンネル
復調、フレーム分解等の処理を受けて、２１で示す入力
端子にコードが供給され、２２で示す入力端子に係数が
供給される。コードが圧縮符号化のデコーダ２３および
クラス分類回路２７に供給される。デコーダ２３からの
復号データが時系列変換回路２４および補間演算回路２
５に供給される。

【００４１】クラス分類回路２７は、符号化回路中のク
ラス分類回路６と同一のクラス分けを行い、インデック
スを発生する。このインデックスが補間演算回路２５に
供給され、インデックスにより指示される係数を使用し
て、非伝送画素の値が形成される。若し、符号化の際
に、復号データを使用してクラス分けがなされている時
には、デコーダ２３の出力データを使用してクラス分け
がなされる。

【００４２】図４および図５の構成では、入力画像デー
タを使用してリアルタイムで係数を決定しているが、予
め学習によって係数を決定することもできる。その場合
には、異なる絵柄の画像を使用して、汎用性のある係数
が決定され、これが固定係数としてメモリに格納され
る。注目画素の補間のための復号化回路にこのメモリが
設けられ、メモリ中の固定係数が使用される。さらに、
学習で決定された固定係数をメモリに格納し、このメモ
リの係数を実際に伝送する入力画像データから決定され
た係数で更新する構成も可能である。

【００４３】図６は、クラス分類回路６、２７の一例の
構成である。間引き回路２からのディジタル画像信号が
供給され、時空間モデルを構成するデータ、すなわち、
注目画素の周辺のクラス分けに使用するデータを同時化
するための時系列変換回路１１が設けられている。時系
列変換回路１１からのデータで、同一方向に整列する一
対のデータ毎に減算器１２₀〜１２₆にそれぞれ供給さ
れる。減算器１２₀〜１２₆が下記のように、一対のデ
ータの差分値を形成する。

【００４４】減算器１２₀：ｘ₁₇−ｘ₂₂、減算器１２₁：ｘ₁₉−ｘ₂₀ 減算器１２₂：ｘ₁₄−ｘ₂₅、減算器１２₃：ｘ₁₈−ｘ₂₁ 減算器１２₄：ｘ₁₆−ｘ₂₃、減算器１２₅：ｘ₁₅−ｘ₂₄ 減算器１２₆：ｘ₇−ｘ₃₂

【００４５】これらの減算器１２₀〜１２₆により形成
された差分値は、注目画素ｙを含む小領域画像のレベル
変化の傾きを示す。差分値が小さい時には、この傾きが
小さいこと、すなわち、差分値が生成された方向ｄ₀〜
ｄ₆の何れかの方向の相関が強いことを意味する。減算
器１２₀〜１２₆のそれぞれからの差分値が絶対値化回
路１３₀〜１３₆に供給され、差分値が絶対値へ変換さ
れる。絶対差分値が最小値検出回路１４に供給され、７
個の絶対差分値の中の最小値が検出される。この検出結
果は、相関が最も強い方向を指示するものであり、この
検出結果が選択回路１７に供給される。

【００４６】さらに、絶対値化回路１３₀〜１３₆から
の絶対差分値が比較器１５₀〜１５₆にそれぞれ供給さ
れる。比較器１５₀〜１５₆には、しきい値Ｔｈが供給
される。比較器１５₀〜１５₆の比較出力が静止平坦部
検出回路１６に供給される。この検出回路１６は、全て
の絶対差分値がしきい値Ｔｈより小さいことを静止平坦
部ｄ₇として検出するものである。すなわち、７個の方
向ｄ₀〜ｄ₆の何れのレベル変化もしきい値Ｔｈより小
さいことは、画像が平坦なことを意味し、また、時間方
向のレベル変化もしきい値Ｔｈより小さいことは、静止
画像であることを意味する。この検出結果が選択回路１
７に供給される。

【００４７】選択回路１７は、クラス分けの対象が静止
平坦部ｄ₇として検出された時には、優先的に静止平坦
部の検出結果を出力し、そうでないならば、最小値検出
回路１４の検出結果を出力する。コード化回路１８は、
選択回路１７の出力信号を受けて、３ビットコードのイ
ンデックスを発生する。

【００４８】次に、図７を参照して最小二乗法の演算回
路７について説明する。図７に示すように、間引き回路
２の出力信号が供給され、時空間モデルを構成するデー
タ、すなわち、注目画素の実データｙと線形１次結合に
使用するデータｘ_iを同時化するための時系列変換回路
３１が設けられている。時系列変換回路３１からのデー
タが乗算器アレー３２に供給される。乗算器アレー３２
に対して加算メモリ３３が接続される。インデックスが
デコーダ３５に供給され、デコーダ３５からのクラス情
報が加算メモリ３３に供給される。これらの乗算器アレ
ー３２および加算メモリ３３は、正規方程式生成回路を
構成する。

【００４９】乗算器アレー３２は、各画素同士の乗算を
行ない、加算メモリ３３は、乗算器アレー３２からの乗
算結果が供給される加算器アレーとメモリアレーとで構
成される。図８は、乗算器アレー３２の具体的構成であ
る。図８において、その一つを拡大して示すように、四
角のセルが乗算器を表す。乗算器アレー３２において各
画素同士の乗算が行われ、その結果が加算メモリ３３に
供給される。

【００５０】乗算器アレー３２の乗算結果が供給される
加算メモリ３３は、図９に示すように、加算器アレー３
３ａとメモリ（またはレジスタ、以下同様）アレー３３
ｂとからなる。クラスの個数（この例では、８）と等し
い個数のメモリアレー３３ｂの並列回路が加算器アレー
３３ａに対して接続されている。インデックスデコーダ
３５からの出力（クラス）に応答して一つのメモリアレ
ー３３ｂが選択される。また、メモリアレー３３ｂの出
力が加算器アレー３３ａに帰還される。これらの乗算器
アレー３２、加算器アレー３３ａ、メモリアレー３３ｂ
によって積和演算がなされる。インデックスによって決
定されるクラス毎にメモリアレーが選択されて、積和演
算の結果によってメモリアレーの内容が更新される。

【００５１】前述の正規方程式（７）のｗ_iにかかる積
和演算の項を見ると、右上の項を反転すると、左下と同
じものとなる。従って、（７）式を斜めに分割し、上側
の三角形部分に含まれる項のみを演算すれば良い。この
点から乗算器アレー３２、加算器アレー３３ａ、メモリ
アレー３３ｂは、図８および図９に示すように、上側の
三角形部分に含まれる項を演算するのに必要とされる、
乗算セルあるいはメモリセルを備えている。

【００５２】以上のようにして、入力画像が到来するに
従って積和演算が行われ、正規方程式が生成される。ク
ラス毎の正規方程式の各項の結果は、クラスとそれぞれ
対応するメモリアレー３３ｂに記憶されており、次に、
この正規方程式の各項が掃き出し法のＣＰＵ演算回路３
４に計算される。ＣＰＵを用いた演算によって正規方程
式（連立方程式）が解かれ、最確値である係数が求ま
る。この係数が出力される。

【００５３】復号化のために設けられる、補間演算回路
２５は、非伝送画素を補間するためのものであり、図１
０は、その一例の構成である。４０で示す係数メモリ
は、例えば１フレーム毎に各クラスの係数組を記憶し、
インデックスデコーダ３６からのクラス情報により選択
された係数組を出力する。この係数組ｗ₁〜ｗ_nがレジ
スタをそれぞれ介して乗算器３７₁〜３７_nにその一方
の入力として供給される。乗算器３７₁〜３７_nの他方
の入力としては、時系列変換回路３８によりまとめられ
た画素データｘ₁〜ｘ_nが供給される。乗算器３７₁〜
３７_nの出力が加算器３９で加算される。加算器３９か
らは、注目画素の推定値ｙ（＝ｘ₁ｗ₁＋ｘ₂ｗ₂＋・
・・・＋ｘ_nｗ_n）が得られる。

【００５４】クラス分類の方法は、上述の図３および図
６に示すものに限られない。クラス分類の他の方法につ
いて以下に説明する。図１１および図１２は、図１およ
び図３と対応している。図１１および図１は、同じもの
であって、サブサンプリングのパターン、係数を決定す
るためのモデルを示している。

【００５５】図１２は、注目画素を含む小領域の相関の
検出の方向を示す。ｄ₀〜ｄ₆は、上述の実施例と同様
のものである。そして、ｄ₇として、クラス分けに使用
した複数の画素の値の加重平均値を採用する。また、ク
ラス分けの方法として、各方向の補間値と加重平均値と
を生成し、これと注目画素の実際の値との差分値をそれ
ぞれ検出する。この絶対差分値の最小のものから相関の
方向を検出する。

【００５６】図１３は、クラス分類回路の他の例であ
る。間引き回路２からのディジタル画像信号が供給さ
れ、時空間モデルを構成するデータ、すなわち、注目画
素の値ｙとその周辺のクラス分けに使用するデータを同
時化するための時系列変換回路５１が設けられている。
時系列変換回路５１からのデータで、同一方向に整列す
る一対のデータ毎に加算器５２₀〜５２₆にそれぞれ供
給される。加算器５２₀〜５２₆は、二つの入力の和の
１／２の値を出力する。

【００５７】さらに、クラス分けのための全ての参照画
素の値が重みｋ₀〜ｋ₁₃の重み付けがされてから加算器
５２₇に供給される。重み係数ｋ₀〜ｋ₁₃は、それらの
和（ｋ₀＋ｋ₁＋・・・＋ｋ₁₃＝１）の関係である。ま
た、重み係数ｋ₀〜ｋ₁₃の値は、注目画素と参照画素と
の空間的距離等を考慮したものとされる。加算器５２₀
〜５２₇の出力が減算器５３₀〜５３₇にそれぞれ供給
される。これらの減算器５３₀〜５３₇は、加算器５２
₀〜５２₇の出力信号と真値ｙとの誤差を発生する。減
算器５３₀〜５３₇の出力信号が絶対値化回路５４₀〜
５４₇に供給され、絶対値へ変換される。これらの絶対
値化回路５４₀〜５４₇の出力信号は、下記に示すもの
である。

【００５８】絶対値化回路５４₀：｜ｙ−1/2 ( ｘ₁₇−ｘ₂₂）｜絶対値化回路５４₁：｜ｙ−1/2 ( ｘ₁₉−ｘ₂₀）｜絶対値化回路５４₂：｜ｙ−1/2 ( ｘ₁₄−ｘ₂₅）｜絶対値化回路５４₃：｜ｙ−1/2 ( ｘ₁₈−ｘ₂₁）｜絶対値化回路５４₄：｜ｙ−1/2 ( ｘ₁₆−ｘ₂₃）｜絶対値化回路５４₅：｜ｙ−1/2 ( ｘ₁₅−ｘ₂₄）｜絶対値化回路５４₆：｜ｙ−1/2 ( ｘ₇−ｘ₃₂）｜絶対値化回路５４₇：｜ｙ−（ｋ₀ｘ₁₇＋ｋ₁ｘ₂₂＋ｋ
₂ｘ₁₉＋ｋ₃ｘ₂₀＋ｋ₄ｘ₁₄＋ｋ₅ｘ₂₅＋ｋ₆ｘ₁₈＋ｋ
₇ｘ₂₁＋ｋ₈ｘ₁₆＋ｋ₉ｘ₂₃＋ｋ₁₀ｘ₁₅＋ｋ₁₁ｘ₂₄＋ｋ
₁₂ｘ₇＋ｋ₁₃ｘ₃₂）｜

【００５９】これらの絶対値化回路５４₀〜５４₇から
の絶対差分値は、注目画素ｙを周辺の画素で補間した時
の誤差を示す。従って、補間画素を求めるのに最も適し
た方向を検出することは、注目画素を含む小領域の相関
の強い方向を求めることと等化であると考えられる。絶
対値化回路５４₀〜５４₇からの絶対差分値が最小値検
出回路５８に供給され、８個の絶対差分値の中の最小値
が検出される。この検出結果は、相関が最も強い方向を
指示するものであり、この検出結果がコード化回路５９
に供給され、コード化回路５９から３ビットコードのイ
ンデックスが発生する。

【００６０】コード化回路５９からのインデックスが最
小二乗法の演算回路７に供給されるとともに、出力端子
９に取り出され、コードおよび係数とともに、伝送され
る。図１３に示すクラス分類回路は、クラス分けのため
に、注目画素の実際の値ｙを必要とする。復号化回路で
は、符号化回路と異なり、この値ｙが分からないので、
補間誤差に基づいてクラス分けすることができない。従
って、非伝送画素毎にインデックスを伝送する必要があ
る。

【００６１】なお、相関が強い方向を求める場合、注目
画素を中心とする放射状の方向を設定する必要はない。
例えば水平方向として、画素ｘ₁₆、ｘ₁₇、ｘ₁₈を含む方
向と画素ｘ₂₁、ｘ₂₂、ｘ₂₃を含む方向とを設定し、垂直
方向として、画素ｘ₁₄、ｘ₁₉、ｘ₂₄を含む方向と画素ｘ
₁₅、ｘ₂₀、ｘ₂₅を含む方向とを設定し、斜め方向とし
て、画素ｘ₁₅、ｘ₁₇、ｘ₁₉、ｘ₂₁を含む方向と画素
ｘ₁₈、ｘ₂₀、ｘ₂₂、ｘ₂₄を含む方向と画素ｘ₁₄、ｘ₁₇、
ｘ₂₀、ｘ₂₃を含む方向と画素ｘ₁₆、ｘ₁₉、ｘ₂₂、ｘ₂₅を
含む方向とを設定しても良い。

【００６２】そして、各方向に関して、次式の値を計算
する。Ｈ＝ 1/2｛｜ｘ₁₇−1/2(ｘ₁₆＋ｘ₁₈）｜＋｜ｘ₂₂−1/2(ｘ₂₁＋ｘ₂₃）｜｝Ｖ＝ 1/2｛｜ｘ₁₉−1/2(ｘ₁₄＋ｘ₂₄）｜＋｜ｘ₂₀−1/2(ｘ₁₅＋ｘ₂₅）｜｝Ｄ１＝ 1/4｛｜ｘ₁₇−1/2(ｘ₁₄＋ｘ₂₀）｜＋｜ｘ₂₀−1/2(ｘ₁₇＋ｘ₂₃）｜＋｜ｘ₁₉−1/2(ｘ₁₆＋ｘ₂₂）｜＋｜ｘ₂₂−1/2(ｘ₁₉＋ｘ₂₅）｜｝Ｄ２＝ 1/4｛｜ｘ₁₇−1/2(ｘ₁₉＋ｘ₁₅）｜＋｜ｘ₁₉−1/2(ｘ₂₁＋ｘ₁₇）｜＋｜ｘ₂₀−1/2(ｘ₂₂＋ｘ₁₈）｜＋｜ｘ₂₂−1/2(ｘ₂₄＋ｘ₂₀）｜｝

【００６３】これらの値を計算する回路は、図示しない
が、加算回路、減算回路、ビットシフト回路、絶対値化
回路により構成できる。これらの値は、小さいほどその
方向の相関が強い（定常性がある）ことを示している。
そこで、この４個の値を比較して、Ｈが最小のクラスを
クラス０とする。Ｖが最小のクラスをクラス１とする。
Ｄ１が最小のクラスをクラス２とする。Ｄ２が最小のク
ラスをクラス０とする。但し、４個の値を比較した時
に、互いに等しい最小値が２個以上、検出された時に
は、予め設定されている優先順位に従って相関が強い方
向を決定する。

【００６４】クラス数が４個であるので、インデックス
が２ビットである。また、伝送画素の値を使用してクラ
ス分けを行うので、送信側と同一のアルゴリズムで受信
側でクラス分けを行うことができ、インデックスを伝送
する必要がない。４個のクラスに限らず、空間方向に関
してより細かな方向を設定したり、時間方向の相関を調
べるなど、より多いクラス数を設定しても良い。

【００６５】また、上述の説明では、図１に示すサブサ
ンプリングをモデルとしているが、この発明は、これ以
外の種々のサブサンプリングに対して適用することがで
きる。例えば連続する２フレームの中の１フレームの伝
送を省略する駒落としに対しても適用できる。

【００６６】さらに、図１４に示すようなフィールドオ
フセットサブサンプリングに対しても、この発明を適用
できる。図１４において、実線が第１および第３フィー
ルドのラインであり、破線が第２および第４フィールド
のラインである。各フィールドにおいて、１／４のサブ
サンプリングがなされる。図１４では、伝送画素がフィ
ールド番号と対応する記号で表されている。また、サン
プリング位置が図に示す規則性でもって、オフセットを
持たされている。このようなサブサンプリングを採用
し、また、圧縮符号化により１／２にデータ量を減少さ
せる時には、全体として伝送データ量を１／８に圧縮で
きる。

【００６７】さらに、上述の例は、求める未定係数を１
フレームに１組としたが、画像の局所的な特徴に応じて
空間内で細分化し、１フレームに複数組の係数を求め、
これを伝送しても良い。よりさらに、階層構造の補間を
可能とする係数を伝送するようにしても良い。

【００６８】

【発明の効果】以上の説明から明らかなように、この発
明は、クラス分けを行うのに、注目画素を含む小領域の
最も相関の強い方向を検出し、それをクラスとしてい
る。従って、この小領域の局所的特徴を実際的な個数の
クラスで表すことができる。

【００６９】また、この発明による高能率符号化装置に
よれば、サブサンプリングによる間引きと圧縮符号化と
を組み合わせており、高い圧縮率を実現できる。然も、
この発明は、線形１次結合で補間するための最適な係数
を送信側で求めているので、補間フィルタを用いるのと
比較して、復元画像の品質を良好とできる。さらに、非
伝送画素の周辺の伝送画素を使用したクラス分けを行な
い、このクラスに対応する係数を算出することによっ
て、クラス毎に最適な係数を決定でき、復元画像の画質
を向上することができる。

【図面の簡単な説明】

【図１】この発明を適用できるサブサンプリングのパタ
ーンの一例とクラス分類に使用する画素を説明するため
の略線図である。

【図２】伝送画素とそれに対する線形１次結合の係数を
示す略線図である。

【図３】クラス分類の一例の説明のための略線図であ
る。

【図４】この発明が適用された高能率符号化装置の一例
のブロック図である。

【図５】図４に示される高能率符号化の復号装置のブロ
ック図である。

【図６】クラス分類回路の一例のブロック図である。

【図７】最小二乗法の演算回路の一例のブロック図であ
る。

【図８】最小二乗法の演算回路に含まれる乗算器アレー
を説明するための略線図である。

【図９】最小二乗法の演算回路に含まれる加算器アレー
およびメモリアレーを説明するための略線図である。

【図１０】復号装置に含まれる補間演算回路の一例のブ
ロック図である。

【図１１】この発明を適用できるサブサンプリングのパ
ターンの一例とクラス分類に使用する画素を説明するた
めの略線図である。

【図１２】クラス分類の他の例の説明のための略線図で
ある。

【図１３】クラス分類回路の他の例のブロック図であ
る。

【図１４】この発明を適用できるサブサンプリングパタ
ーンの他の例を説明するための略線図である。

【符号の説明】

２間引き回路３エンコーダ４ローカルデコーダ６、２７クラス分類回路７最小二乗法の演算回路２３デコーダ２５補間演算回路

Claims

【特許請求の範囲】

【請求項１】注目画素の値を上記注目画素の空間的お
よび／または時間的に近傍に存在する複数の画素を使用
して作成することを必要とするディジタル画像信号処理
装置において、入力ディジタル画像信号中に含まれ、上記注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して上記注目画素のクラスを決定するクラス分類手段
と、上記入力ディジタル画像信号中に含まれ、上記注目画素
の空間的および／または時間的に近傍の複数の画素の値
と複数の係数の線形１次結合によって、上記注目画素の
値を作成した時に、作成された値と上記注目画素の真値
との誤差を最小とするような、係数を上記クラス毎に発
生する係数発生手段とを有し、上記クラス分類手段は、複数の方向の上記参照画素間の
レベル差に基づいて、複数の方向の相関の程度をそれぞ
れ検査し、検査結果から最も相関が強い方向をその注目
画素のクラスとして決定することを特徴とするディジタ
ル画像信号処理装置。
【請求項２】請求項１に記載のディジタル画像信号処
理装置において、上記クラス分類手段がさらに、複数の方向の上記レベル
差が全て所定のしきい値より小さい時に、その注目画素
のクラスを静止平坦として決定することを特徴とするデ
ィジタル画像信号処理装置。
【請求項３】注目画素の値を上記注目画素の空間的お
よび／または時間的に近傍に存在する複数の画素を使用
して作成することを必要とするディジタル画像信号処理
装置において、入力ディジタル画像信号中に含まれ、上記注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して上記注目画素のクラスを決定するクラス分類手段
と、上記入力ディジタル画像信号中に含まれ、上記注目画素
の空間的および／または時間的に近傍の複数の画素の値
と複数の係数の線形１次結合によって、上記注目画素の
値を作成した時に、作成された値と上記注目画素の真値
との誤差を最小とするような、係数を上記クラス毎に発
生する係数発生手段とを有し、上記クラス分類手段は、複数の方向に関して上記参照画
素を使用した平均値と上記注目画素の真値との差分をそ
れぞれ生成し、生成された差分が最小である方向をその
注目画素のクラスとして決定することを特徴とするディ
ジタル画像信号処理装置。
【請求項４】請求項３に記載のディジタル画像信号処
理装置において、上記クラス分類手段がさらに、複数の上記参照画素の値
の重み付け加算値と上記注目画素の真値との差分を生成
し、生成された差分を他の差分とともに、最小値検出に
供することを特徴とするディジタル画像信号処理装置。
【請求項５】請求項１または２に記載のディジタル画
像信号処理装置において、学習用の入力ディジタル画像信号から上記係数発生手段
で生成された係数が格納されるメモリをさらに有するこ
とを特徴とするディジタル画像信号処理装置。
【請求項６】ディジタル画像信号の伝送データ量を減
少させるためのディジタル画像信号処理装置において、入力ディジタル画像信号をサブサンプリングすることに
よって伝送画素数を減少するための間引き手段と、上記入力ディジタル画像信号中または上記間引き手段の
出力信号中に含まれ、上記注目画素の空間的および／ま
たは時間的に近傍の複数の参照画素に基づいて、複数の
方向の上記参照画素間のレベル差に基づいて、複数の方
向の相関の程度をそれぞれ検査し、検査結果から最も相
関が強い方向をその注目画素のクラスとして決定するた
めのクラス分類手段と、上記入力ディジタル画像信号と上記間引き手段の出力信
号とを受け取って、補間すべき注目画素の空間的および
／または時間的に近傍の複数の画素の値と複数の係数の
線形１次結合によって、上記注目画素の値を作成した時
に、作成された値と上記注目画素の真値との誤差を最小
とするような、係数を上記クラス毎に発生するための係
数発生手段と、上記間引き手段の出力と上記係数発生手段からの係数と
を伝送するための手段とからなるディジタル画像信号処
理装置。
【請求項７】ディジタル画像信号の伝送データ量を減
少させるためのディジタル画像信号処理装置において、入力ディジタル画像信号をサブサンプリングすることに
よって伝送画素数を減少するための間引き手段と、上記入力ディジタル画像信号中または上記間引き手段の
出力信号中に含まれ、注目画素の空間的および／または
時間的に近傍の複数の参照画素が規定され、複数の方向
に関して上記参照画素を使用した平均値と上記注目画素
の真値との差分をそれぞれ生成し、生成された差分が最
小である方向をその注目画素のクラスとして決定するた
めのクラス分類手段と、上記入力ディジタル画像信号と上記間引き手段の出力信
号とを受け取って、補間すべき注目画素の空間的および
／または時間的に近傍の複数の画素の値と複数の係数の
線形１次結合によって、上記注目画素の値を作成した時
に、作成された値と上記注目画素の真値との誤差を最小
とするような、係数を上記クラス毎に発生するための係
数発生手段と、上記間引き手段の出力と上記係数発生手段からの係数と
を伝送するための手段とからなるディジタル画像信号処
理装置。