JP3348318B2 - ディジタル画像信号処理装置および処理方法 - Google Patents
ディジタル画像信号処理装置および処理方法Info
- Publication number
- JP3348318B2 JP3348318B2 JP31902993A JP31902993A JP3348318B2 JP 3348318 B2 JP3348318 B2 JP 3348318B2 JP 31902993 A JP31902993 A JP 31902993A JP 31902993 A JP31902993 A JP 31902993A JP 3348318 B2 JP3348318 B2 JP 3348318B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interest
- value
- digital image
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【発明の属する技術分野】この発明は、空間的および／
または時間的に近傍に存在する複数の画素を使用して注
目画素の値を作成することを必要とするディジタル画像
信号処理装置、例えばサブサンプリング信号を受け取っ
て、間引き画素を補間するディジタル画像信号処理装置
および処理方法に関する。
または時間的に近傍に存在する複数の画素を使用して注
目画素の値を作成することを必要とするディジタル画像
信号処理装置、例えばサブサンプリング信号を受け取っ
て、間引き画素を補間するディジタル画像信号処理装置
および処理方法に関する。
【０００２】
【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。また、入力される標準精細度のビデオ信号を高精
細度のビデオへ変換するアップコンバージョンも提案さ
れている。この場合には、不足している画素を標準精細
度の信号から作成する必要がある。さらに、画像を電子
的に拡大する時には、不足する画素の値の補間を必要と
する。これらのものに限らず、シーンチェンジ検出、Ｄ
ＰＣＭ等では、周辺の画素の値から注目画素の予測値を
作成する技術が適用可能である。
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。また、入力される標準精細度のビデオ信号を高精
細度のビデオへ変換するアップコンバージョンも提案さ
れている。この場合には、不足している画素を標準精細
度の信号から作成する必要がある。さらに、画像を電子
的に拡大する時には、不足する画素の値の補間を必要と
する。これらのものに限らず、シーンチェンジ検出、Ｄ
ＰＣＭ等では、周辺の画素の値から注目画素の予測値を
作成する技術が適用可能である。
【０００３】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。２次元のオフセット
サブサンプリングの一例を図７に示す。水平方向（ｘ方
向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔ
ｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の
２倍に設定し、１画素おきに間引く（間引き画素を×で
示す）とともに、垂直方向に隣合う伝送画素（○で示
す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセ
ットするものである。このようなオフセットサブサンプ
リングを行うことによる伝送帯域は、図８に示すよう
に、斜め方向の空間周波数に対して水平あるいは垂直方
向の空間周波数成分を広帯域化することができる。
サブサンプリングが知られている。２次元のオフセット
サブサンプリングの一例を図７に示す。水平方向（ｘ方
向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔ
ｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の
２倍に設定し、１画素おきに間引く（間引き画素を×で
示す）とともに、垂直方向に隣合う伝送画素（○で示
す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセ
ットするものである。このようなオフセットサブサンプ
リングを行うことによる伝送帯域は、図８に示すよう
に、斜め方向の空間周波数に対して水平あるいは垂直方
向の空間周波数成分を広帯域化することができる。
【０００４】また、オフセットサブサンプリングされた
画像信号をモニタに表示したり、プリントアウトする場
合には、図９に示すように、間引き画素を隣接画素から
補間する必要がある。この補間処理は、図８に示す斜線
領域の周波数成分を通過させるとともに、折返し点Ａを
含む領域の周波数成分の通過を阻止する空間フィルタと
して機能するものであり、この補間処理は、サンプリン
グ理論上では後置フィルタとして位置付けられる。
画像信号をモニタに表示したり、プリントアウトする場
合には、図９に示すように、間引き画素を隣接画素から
補間する必要がある。この補間処理は、図８に示す斜線
領域の周波数成分を通過させるとともに、折返し点Ａを
含む領域の周波数成分の通過を阻止する空間フィルタと
して機能するものであり、この補間処理は、サンプリン
グ理論上では後置フィルタとして位置付けられる。
【０００５】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前の前置フィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
て前置フィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるために前置フィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。
ンプリングは、サンプリングの前の前置フィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
て前置フィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるために前置フィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。
【０００６】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の１／２平均値補間と垂直方向
の１／２平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、１画素当り１ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の１／２平均値補間と垂直方向
の１／２平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、１画素当り１ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。
【０００７】
【発明が解決しようとする課題】上述の補助情報を使用
する適応型補間方法においては、伝送画素に加えて補助
情報を伝送する必要があり、データ量の圧縮率が低下す
る問題を生じる。また、伝送、あるいは記録再生の過程
において、補助情報にエラーが生じた場合には、誤った
補間がなされるために、再生画像の劣化が生じやすい欠
点があった。
する適応型補間方法においては、伝送画素に加えて補助
情報を伝送する必要があり、データ量の圧縮率が低下す
る問題を生じる。また、伝送、あるいは記録再生の過程
において、補助情報にエラーが生じた場合には、誤った
補間がなされるために、再生画像の劣化が生じやすい欠
点があった。
【０００８】この問題を解決する一つの方法として、本
願出願人の提案による特開昭６３−４８０８８号公報に
は、注目画素の値をその周辺の画素と係数の線形１次結
合で表し、誤差の二乗和が最小となるように、注目画素
の実際の値を使用して最小二乗法によりこの係数の値を
決定するものが提案されている。ここでは、線形１次結
合の係数を予め学習によって決定し、決定係数がメモリ
に格納されている。さらに、注目画素を補間する時に、
周辺の参照画素の平均値を計算し、平均値と各画素の値
との大小関係に応じて、各画素を１ビットで表現し、
（参照画素数×１ビット）のパターンに応じたクラス分
けを行い、注目画素を含む画像の局所的特徴を反映した
補間値を形成している。
願出願人の提案による特開昭６３−４８０８８号公報に
は、注目画素の値をその周辺の画素と係数の線形１次結
合で表し、誤差の二乗和が最小となるように、注目画素
の実際の値を使用して最小二乗法によりこの係数の値を
決定するものが提案されている。ここでは、線形１次結
合の係数を予め学習によって決定し、決定係数がメモリ
に格納されている。さらに、注目画素を補間する時に、
周辺の参照画素の平均値を計算し、平均値と各画素の値
との大小関係に応じて、各画素を１ビットで表現し、
（参照画素数×１ビット）のパターンに応じたクラス分
けを行い、注目画素を含む画像の局所的特徴を反映した
補間値を形成している。
【０００９】しかしながら、この方法は、参照画素数が
少ないと、局所的特徴を反映することが不充分となり、
逆に参照画素数が多いと、クラス数が多くなり、メモリ
等の発生の規模が大きくなる問題がある。
少ないと、局所的特徴を反映することが不充分となり、
逆に参照画素数が多いと、クラス数が多くなり、メモリ
等の発生の規模が大きくなる問題がある。
【００１０】従って、この発明の目的は、比較的少ない
クラス数でもって、クラス分類を高精度に行うことがで
きるディジタル画像信号処理装置および処理方法を提供
することにある。
クラス数でもって、クラス分類を高精度に行うことがで
きるディジタル画像信号処理装置および処理方法を提供
することにある。
【００１１】
【課題を解決するための手段】請求項１に記載の発明
は、注目画素の値を注目画素の空間的および／または時
間的に近傍に存在する複数の画素の値を使用して作成す
ることを必要とするディジタル画像信号処理装置におい
て、入力ディジタル画像信号中に含まれ、注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して注目画素のクラスを決定するクラス分類手段と、
入力ディジタル画像信号中に含まれ、注目画素の空間的
および／または時間的に近傍の複数の画素の値と係数と
の演算によって、注目画素の値を作成した時に、作成さ
れた値と注目画素の真値との誤差を最小とするような、
係数をクラス毎に発生する係数発生手段を有し、クラス
分類手段は、複数の方向の参照画素間のレベル差を検出
し、検出されたレベル差をソートした時の順序を、注目
画素のクラスとして決定することを特徴とするディジタ
ル画像信号処理装置である。
は、注目画素の値を注目画素の空間的および／または時
間的に近傍に存在する複数の画素の値を使用して作成す
ることを必要とするディジタル画像信号処理装置におい
て、入力ディジタル画像信号中に含まれ、注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して注目画素のクラスを決定するクラス分類手段と、
入力ディジタル画像信号中に含まれ、注目画素の空間的
および／または時間的に近傍の複数の画素の値と係数と
の演算によって、注目画素の値を作成した時に、作成さ
れた値と注目画素の真値との誤差を最小とするような、
係数をクラス毎に発生する係数発生手段を有し、クラス
分類手段は、複数の方向の参照画素間のレベル差を検出
し、検出されたレベル差をソートした時の順序を、注目
画素のクラスとして決定することを特徴とするディジタ
ル画像信号処理装置である。
【００１２】請求項２に記載の発明は、注目画素の値を
注目画素の空間的および／または時間的に近傍に存在す
る複数の画素の値を使用して作成することを必要とする
ディジタル画像信号処理装置において、入力ディジタル
画像信号中に含まれ、注目画素の空間的および／または
時間的に近傍の複数の参照画素を使用して注目画素のク
ラスを決定するクラス分類手段と、入力ディジタル画像
信号中に含まれ、注目画素の空間的および／または時間
的に近傍の複数の画素の値と係数との演算によって、注
目画素の値を作成した時に、作成された値と注目画素の
真値との誤差を最小とするような、係数をクラス毎に発
生する係数発生手段を有し、クラス分類手段は、複数の
方向の参照画素間のレベル差を検出し、検出されたレベ
ル差を非線形量子化した値で規定されるレベル分布のパ
ターンを、注目画素のクラスとして決定することを特徴
とするディジタル画像信号処理装置である。
注目画素の空間的および／または時間的に近傍に存在す
る複数の画素の値を使用して作成することを必要とする
ディジタル画像信号処理装置において、入力ディジタル
画像信号中に含まれ、注目画素の空間的および／または
時間的に近傍の複数の参照画素を使用して注目画素のク
ラスを決定するクラス分類手段と、入力ディジタル画像
信号中に含まれ、注目画素の空間的および／または時間
的に近傍の複数の画素の値と係数との演算によって、注
目画素の値を作成した時に、作成された値と注目画素の
真値との誤差を最小とするような、係数をクラス毎に発
生する係数発生手段を有し、クラス分類手段は、複数の
方向の参照画素間のレベル差を検出し、検出されたレベ
ル差を非線形量子化した値で規定されるレベル分布のパ
ターンを、注目画素のクラスとして決定することを特徴
とするディジタル画像信号処理装置である。
【００１３】
【作用】注目画素の空間的および／または時間的に近傍
の複数の画素の値同士の差分値が求められる。この差分
値は、二つの画素の位置を結ぶ方向の相関の程度を表し
ている。複数の方向に関して、差分値が求められ、この
差分値がソートされる。ソートされた結果の順序をクラ
ス情報とする。また、差分値を非線形量子化によって圧
縮した値で規定されるレベル分布のパターンをクラス情
報とする。これらのクラス情報は、比較的少ないクラス
数で、且つ良好に注目画素を含む部分的画像の特徴を表
現することができ、予測精度を向上できる。
の複数の画素の値同士の差分値が求められる。この差分
値は、二つの画素の位置を結ぶ方向の相関の程度を表し
ている。複数の方向に関して、差分値が求められ、この
差分値がソートされる。ソートされた結果の順序をクラ
ス情報とする。また、差分値を非線形量子化によって圧
縮した値で規定されるレベル分布のパターンをクラス情
報とする。これらのクラス情報は、比較的少ないクラス
数で、且つ良好に注目画素を含む部分的画像の特徴を表
現することができ、予測精度を向上できる。
【００１４】
【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。この
発明は、標準解像度の画像信号を高精細度の画像信号に
変換する信号変換装置等に適用できる。図１において、
１は、オフセットサブサンプリングされたディジタル画
像信号の入力端子である。具体的には、放送などによる
伝送、ＶＴＲ等からの再生信号が入力端子１に供給され
る。２は、入力信号をブロック構造の信号に変換するた
めのブロック化回路である。
装置に対して適用した一実施例について説明する。この
発明は、標準解像度の画像信号を高精細度の画像信号に
変換する信号変換装置等に適用できる。図１において、
１は、オフセットサブサンプリングされたディジタル画
像信号の入力端子である。具体的には、放送などによる
伝送、ＶＴＲ等からの再生信号が入力端子１に供給され
る。２は、入力信号をブロック構造の信号に変換するた
めのブロック化回路である。
【００１５】ブロック化回路２の出力信号が差分演算回
路５および補間値生成回路７に供給される。補間値生成
回路７には、後述のように予め学習により獲得された予
測係数が格納されているメモリ６が接続されている。こ
の代表値は、間引き画素の補間値を正確に予測するため
の値である。
路５および補間値生成回路７に供給される。補間値生成
回路７には、後述のように予め学習により獲得された予
測係数が格納されているメモリ６が接続されている。こ
の代表値は、間引き画素の補間値を正確に予測するため
の値である。
【００１６】差分演算回路３は、補間画素に対して空間
的に近接する複数の参照画素を使用して、二つの画素間
の値の差分を演算する。図２を参照して説明すると、中
央位置の×の画素が補間対象の画素とする。ａ〜ｌの値
が付された１２個の画素は、参照画素として使用される
周辺の伝送画素である。差分演算回路３は、下記の減算
により差分値α1 〜α6 を生成する。
的に近接する複数の参照画素を使用して、二つの画素間
の値の差分を演算する。図２を参照して説明すると、中
央位置の×の画素が補間対象の画素とする。ａ〜ｌの値
が付された１２個の画素は、参照画素として使用される
周辺の伝送画素である。差分演算回路３は、下記の減算
により差分値α1 〜α6 を生成する。
【００１７】 α1 ＝ａ−ｃ α2 ＝ｂ−ｄ α3 ＝ｅ−ｉ α4 ＝ｆ−ｊ α5 ＝ｇ−ｋ α6 ＝ｈ−ｌ
【００１８】図２から分かるように、上述の減算は、注
目画素を中心として、水平方向、垂直方向、４個の斜め
方向からなる６個の方向に関して、差分値を演算するも
のである。差分値は、注目画素を中心とするブロック内
の部分的画像の相関の方向を表している。すなわち、差
分値が小である方向が相関が強い方向である。
目画素を中心として、水平方向、垂直方向、４個の斜め
方向からなる６個の方向に関して、差分値を演算するも
のである。差分値は、注目画素を中心とするブロック内
の部分的画像の相関の方向を表している。すなわち、差
分値が小である方向が相関が強い方向である。
【００１９】ブロックの画像の相関が強い方向を検出す
るための減算は、上述のものに限定されない。例えば水
平方向の相関の程度を調べるのに、注目画素を通らな
い、ｇおよびｌの差分値、並びにｈおよびｋの差分値を
使用し、垂直方向に関して、ｅおよびｊの差分値、並び
にｆおよびｉの差分値を使用することができる。
るための減算は、上述のものに限定されない。例えば水
平方向の相関の程度を調べるのに、注目画素を通らな
い、ｇおよびｌの差分値、並びにｈおよびｋの差分値を
使用し、垂直方向に関して、ｅおよびｊの差分値、並び
にｆおよびｉの差分値を使用することができる。
【００２０】差分演算回路３の出力信号がソーティング
回路４に供給される。ソーティング回路４は、差分値α
1 〜α6 をその大きさに従って順序付ける。差分値は、
極性付きの値および絶対値の何れでも良い。ソーティン
グ回路４に対して、クラスコード発生回路５が接続さ
れ、これよりクラスコードが発生する。クラスコード
は、ソーティング回路４でなされたソートの結果の順序
と対応するクラスコードを発生する。クラスコードは、
そのブロックの複数の方向の相関の程度をソートした時
の順序と対応するクラスを指示する。
回路４に供給される。ソーティング回路４は、差分値α
1 〜α6 をその大きさに従って順序付ける。差分値は、
極性付きの値および絶対値の何れでも良い。ソーティン
グ回路４に対して、クラスコード発生回路５が接続さ
れ、これよりクラスコードが発生する。クラスコード
は、ソーティング回路４でなされたソートの結果の順序
と対応するクラスコードを発生する。クラスコードは、
そのブロックの複数の方向の相関の程度をソートした時
の順序と対応するクラスを指示する。
【００２１】ソーティング回路４のソートの処理につい
て、図３のフローチャートを参照して説明する。ここで
は、差分値を大きい順に並べる。また、図３において、
Ｔは、判断の結果が肯定を意味し、Ｆは、これが否定を
意味する。まず、最初のステップ１１において、データ
の個数ｎが読み込まれる（上述の例では、ｎ＝６）。次
に、ステップ１２において、データαi （差分値）が読
み込まれる。最初は、データα1 と他のデータとの大き
さが調べられる。
て、図３のフローチャートを参照して説明する。ここで
は、差分値を大きい順に並べる。また、図３において、
Ｔは、判断の結果が肯定を意味し、Ｆは、これが否定を
意味する。まず、最初のステップ１１において、データ
の個数ｎが読み込まれる（上述の例では、ｎ＝６）。次
に、ステップ１２において、データαi （差分値）が読
み込まれる。最初は、データα1 と他のデータとの大き
さが調べられる。
【００２２】ステップ１３では、ｉ≦ｎ−１かどうかが
決定される。若し、そうならば、制御がステップ１４に
移り、そうでないならば、制御がステップ１７に移る。
ステップ１３に続いて、ステップ１４において、ｊ≦ｎ
かどうかが決定され、若し、そうならば、制御がステッ
プ１５に移る。ステップ１５の後に、入れ替えのステッ
プ１６が続く。ステップ１５の条件が満足されない場
合、並びにステップ１６の後でステップ１４へ処理が戻
る。
決定される。若し、そうならば、制御がステップ１４に
移り、そうでないならば、制御がステップ１７に移る。
ステップ１３に続いて、ステップ１４において、ｊ≦ｎ
かどうかが決定され、若し、そうならば、制御がステッ
プ１５に移る。ステップ１５の後に、入れ替えのステッ
プ１６が続く。ステップ１５の条件が満足されない場
合、並びにステップ１６の後でステップ１４へ処理が戻
る。
【００２３】ステップ１３からステップ１６によって、
データ中の最大値を選択して、選択された最大値を以前
に選択された最大値と入れ替える処理がなされる。最初
は、データα1 より大きい値をα2 〜αn から捜し、そ
れをα1 と入れ替える。α1の代わりに最大値が先頭順
位となる。次に、α2 より大きい値をα3 〜αn から捜
し、それをα2 と入れ替える。この処理を繰り返すこと
によって、大きい順序に並び替えられたデータが得られ
る。この発明では、小さい順に並び替える処理を使用し
ても良い。
データ中の最大値を選択して、選択された最大値を以前
に選択された最大値と入れ替える処理がなされる。最初
は、データα1 より大きい値をα2 〜αn から捜し、そ
れをα1 と入れ替える。α1の代わりに最大値が先頭順
位となる。次に、α2 より大きい値をα3 〜αn から捜
し、それをα2 と入れ替える。この処理を繰り返すこと
によって、大きい順序に並び替えられたデータが得られ
る。この発明では、小さい順に並び替える処理を使用し
ても良い。
【００２４】６個の差分値を用いる時には、７２０通り
の順序がある。ソーティング回路４では、上述のソート
処理の際に、データの並び替えた結果の順序の情報を出
力する。クラスコード発生回路５は、ソーティング回路
５からのこの情報を受けて、７２０通りのクラスを表す
１０ビットのクラスコードを発生する。ソーティング回
路４におけるソートの際に、差分値に対して予め重み係
数を乗じて、重み付けられた値をソートすることもでき
る。また、空間内の差分値のみならず、時間方向の差分
値を求めても良い。
の順序がある。ソーティング回路４では、上述のソート
処理の際に、データの並び替えた結果の順序の情報を出
力する。クラスコード発生回路５は、ソーティング回路
５からのこの情報を受けて、７２０通りのクラスを表す
１０ビットのクラスコードを発生する。ソーティング回
路４におけるソートの際に、差分値に対して予め重み係
数を乗じて、重み付けられた値をソートすることもでき
る。また、空間内の差分値のみならず、時間方向の差分
値を求めても良い。
【００２５】クラスコードがメモリ６にアドレスとして
供給され、そのクラスと対応する予測係数がメモリ６か
ら読出される。補間値生成回路７は、予測係数と周辺画
素の値との線形１次結合によって、補間値を生成する。
補間値生成回路７から出力端子８に間引き画素の補間値
が出力される。一例として、クラス分類に使用した１２
個の周辺画素の値ａ〜ｌとメモリ６からの予測係数ｗ1
〜ｗ12とを使用して下記の線形１次結合によって、注目
画素の補間値ｙ´が生成される。
供給され、そのクラスと対応する予測係数がメモリ６か
ら読出される。補間値生成回路７は、予測係数と周辺画
素の値との線形１次結合によって、補間値を生成する。
補間値生成回路７から出力端子８に間引き画素の補間値
が出力される。一例として、クラス分類に使用した１２
個の周辺画素の値ａ〜ｌとメモリ６からの予測係数ｗ1
〜ｗ12とを使用して下記の線形１次結合によって、注目
画素の補間値ｙ´が生成される。
【００２６】 ｙ´＝ａ・ｗ1 ＋ｂ・ｗ2 ＋ｃ・ｗ3 ＋ｄ・ｗ4 ＋ｅ・ｗ5 ＋ｆ・ｗ6 ＋ｇ・ ｗ7 ＋ｈ・ｗ8 ＋ｉ・ｗ9 ＋ｊ・ｗ10＋ｋ・ｗ11＋ｌ・ｗ12 （１）
【００２７】ここでは、クラス分類のために参照される
画素と補間演算に使用する画素とが同一とされている
が、必ずしもその必要はない。
画素と補間演算に使用する画素とが同一とされている
が、必ずしもその必要はない。
【００２８】メモリ６に蓄えられている予測係数ｗ1 〜
ｗ12は、予め学習により決定された値である。図４は、
学習をソフトウェア処理で行う時のその動作を示すフロ
ーチャートである。ステップ２１から学習処理の制御が
開始され、ステップ２２の学習データ形成では、既知の
画像に対応した学習データが形成される。具体的には、
上述したように、図２の配列の複数の画素を使用でき
る。ステップ２３のデータ終了では、入力された全デー
タ例えば１フレームのデータの処理が終了していれば、
ステップ２６の予測係数決定へ、終了していなければ、
ステップ２４のクラス決定へ制御が移る。
ｗ12は、予め学習により決定された値である。図４は、
学習をソフトウェア処理で行う時のその動作を示すフロ
ーチャートである。ステップ２１から学習処理の制御が
開始され、ステップ２２の学習データ形成では、既知の
画像に対応した学習データが形成される。具体的には、
上述したように、図２の配列の複数の画素を使用でき
る。ステップ２３のデータ終了では、入力された全デー
タ例えば１フレームのデータの処理が終了していれば、
ステップ２６の予測係数決定へ、終了していなければ、
ステップ２４のクラス決定へ制御が移る。
【００２９】ステップ２４のクラス決定は、上述のよう
に、注目画素の周辺画素に関して差分値を求め、差分値
をソートした結果の順序と対応してクラスを決定するス
テップである。次のステップ２５の正規方程式生成で
は、後述する正規方程式が作成される。
に、注目画素の周辺画素に関して差分値を求め、差分値
をソートした結果の順序と対応してクラスを決定するス
テップである。次のステップ２５の正規方程式生成で
は、後述する正規方程式が作成される。
【００３０】ステップ２３のデータ終了から全データの
処理が終了後、制御がステップ２６に移り、ステップ２
６の予測係数決定では、後述する式（９）を行列解法を
用いて解いて、係数を決める。ステップ２７の予測係数
ストアで、予測係数をメモリにストアし、ステップ２８
で学習処理の制御が終了する。
処理が終了後、制御がステップ２６に移り、ステップ２
６の予測係数決定では、後述する式（９）を行列解法を
用いて解いて、係数を決める。ステップ２７の予測係数
ストアで、予測係数をメモリにストアし、ステップ２８
で学習処理の制御が終了する。
【００３１】図４中のステップ２５（正規方程式生成）
およびステップ２６（予測係数決定）の処理をより詳細
に説明する。学習時には、注目画素の真値ｙが既知であ
る。注目画素の予測値をｙ´、その周囲の画素の値をｘ
1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn による
ｎタップの線形１次結合 ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （２） を設定する。学習前はｗi が未定係数である。
およびステップ２６（予測係数決定）の処理をより詳細
に説明する。学習時には、注目画素の真値ｙが既知であ
る。注目画素の予測値をｙ´、その周囲の画素の値をｘ
1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn による
ｎタップの線形１次結合 ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （２） を設定する。学習前はｗi が未定係数である。
【００３２】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（２）に従って、 ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （３） （但し、ｊ＝１，２，‥‥ｍ）
データ数がｍの場合、式（２）に従って、 ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （３） （但し、ｊ＝１，２，‥‥ｍ）
【００３３】ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決ま
らないので、誤差ベクトルＥの要素を ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （４） （但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式
（５）を最小にする係数を求める。
らないので、誤差ベクトルＥの要素を ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （４） （但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式
（５）を最小にする係数を求める。
【００３４】
【数１】
【００３５】いわゆる最小自乗法による解法である。こ
こで式（５）のｗi による偏微分係数を求める。
こで式（５）のｗi による偏微分係数を求める。
【００３６】
【数２】
【００３７】式（６）を０にするように各ｗi を決めれ
ばよいから、
ばよいから、
【００３８】
【数３】
【００３９】として、行列を用いると
【００４０】
【数４】
【００４１】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解けば、予測係数ｗi が
求まり、ソートの順序を示すクラスコードをアドレスと
して、この予測係数ｗi をメモリに格納しておく。
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解けば、予測係数ｗi が
求まり、ソートの順序を示すクラスコードをアドレスと
して、この予測係数ｗi をメモリに格納しておく。
【００４２】図４は、学習のためのソフトウェア構成を
示しているが、ハードウエアの構成によって、学習を行
うこともできる。また、補間値を形成するのに、予測係
数による線形１次結合に限らず、データの値そのものを
学習によって予め作成し、この値を補間値としても良
い。
示しているが、ハードウエアの構成によって、学習を行
うこともできる。また、補間値を形成するのに、予測係
数による線形１次結合に限らず、データの値そのものを
学習によって予め作成し、この値を補間値としても良
い。
【００４３】図５は、この発明の他の実施例を示す。上
述の一実施例と同様に、間引き画素を補間する時に、注
目画素の周辺の参照画素を用いてクラス分類を行うが、
ソーティング回路４の代わりに非線形量子化回路９が設
けられている。上述のように、周辺画素の値同士の差分
値が求められ、この差分値が非線形量子化回路９に供給
される。
述の一実施例と同様に、間引き画素を補間する時に、注
目画素の周辺の参照画素を用いてクラス分類を行うが、
ソーティング回路４の代わりに非線形量子化回路９が設
けられている。上述のように、周辺画素の値同士の差分
値が求められ、この差分値が非線形量子化回路９に供給
される。
【００４４】非線形量子化回路９の量子化特性の一例を
図６に示す。差分値のレベルに対して、０，１，２，３
の量子化値が形成されるが、０付近のレベルがそれ以外
のものと比して、より細かく量子化される。もともと、
画像信号が空間的相関を有しているので、差分値が小さ
い値となるのが普通である。従って、均等に量子化する
線形量子化よりも、０付近のレベルを細かく量子化する
方が好ましい。
図６に示す。差分値のレベルに対して、０，１，２，３
の量子化値が形成されるが、０付近のレベルがそれ以外
のものと比して、より細かく量子化される。もともと、
画像信号が空間的相関を有しているので、差分値が小さ
い値となるのが普通である。従って、均等に量子化する
線形量子化よりも、０付近のレベルを細かく量子化する
方が好ましい。
【００４５】非線形量子化回路９の出力信号は、各差分
値に関して２ビットのデータである。クラスコード発生
回路５は、差分値が６個の場合、６×２＝１２ビットの
クラスコードを発生する。メモリ６には、非線形量子化
を使用したクラス分類を使用して予め学習により獲得さ
れたように係数が蓄えられている。メモリ６からの予測
係数と周辺画素の値との線形１次結合により、間引き画
素の補間値が生成される。
値に関して２ビットのデータである。クラスコード発生
回路５は、差分値が６個の場合、６×２＝１２ビットの
クラスコードを発生する。メモリ６には、非線形量子化
を使用したクラス分類を使用して予め学習により獲得さ
れたように係数が蓄えられている。メモリ６からの予測
係数と周辺画素の値との線形１次結合により、間引き画
素の補間値が生成される。
【００４６】
【発明の効果】この発明は、クラス分けとして、ソーテ
ィングした結果の順序を利用しているので、少ないクラ
ス数、言い換えると、小さいハードウエア規模でもっ
て、クラス分けを行うことができる。例えば参照画素が
１２個の場合、各画素を１ビットに圧縮しても、１２ビ
ットのクラスコードとなり、２12のクラス数となるの
が、７２０個のクラス数へ減少できる。クラス分けは、
局所的画像の複数の方向に関してそれぞれ求めた相関の
程度の順序に基づいているので、クラス分けを良好に行
うことができ、補間精度が低下することはない。
ィングした結果の順序を利用しているので、少ないクラ
ス数、言い換えると、小さいハードウエア規模でもっ
て、クラス分けを行うことができる。例えば参照画素が
１２個の場合、各画素を１ビットに圧縮しても、１２ビ
ットのクラスコードとなり、２12のクラス数となるの
が、７２０個のクラス数へ減少できる。クラス分けは、
局所的画像の複数の方向に関してそれぞれ求めた相関の
程度の順序に基づいているので、クラス分けを良好に行
うことができ、補間精度が低下することはない。
【００４７】また、非線形量子化を使用する場合には、
２ビット×６＝１２ビットのクラスコードとなる。クラ
ス数は、減少しないが、各画素に対して１ビットを割り
当てるのと比較して、差分値を求め、各差分値に２ビッ
トを割り当てるために、クラス分けの精度がより高い利
点がある。
２ビット×６＝１２ビットのクラスコードとなる。クラ
ス数は、減少しないが、各画素に対して１ビットを割り
当てるのと比較して、差分値を求め、各差分値に２ビッ
トを割り当てるために、クラス分けの精度がより高い利
点がある。
【図１】この発明をサブサンプリング信号補間装置に対
して適用した一実施例のブロック図である。
して適用した一実施例のブロック図である。
【図２】クラス分けのために参照する画素の位置を示す
ための略線図である。
ための略線図である。
【図３】クラス分けのためのソートの処理を示すフロー
チャートである。
チャートである。
【図４】予測係数を求めるための学習をソフトウェア処
理で行う時のフローチャートである。
理で行う時のフローチャートである。
【図５】この発明の他の実施例のブロック図である。
【図６】この発明の他の実施例を説明するための略線図
である。
である。
【図７】２次元のオフセットサブサンプリングの構造を
示す略線図である。
示す略線図である。
【図８】２次元オフセットサブサンプリングにより伝送
可能な帯域の空間周波数スペクトルを示す略線図であ
る。
可能な帯域の空間周波数スペクトルを示す略線図であ
る。
【図９】補間処理を示す略線図である。
３ 差分演算回路 ４ ソーティング回路 ６ 予測係数が格納されたメモリ ７ 補間値生成回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−263382（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/14 - 5/217 H04N 7/00 - 7/088 H04N 7/24 - 7/68
Claims (5)
- 【請求項１】 注目画素の値を上記注目画素の空間的お
よび／または時間的に近傍に存在する複数の画素の値を
使用して作成することを必要とするディジタル画像信号
処理装置において、 入力ディジタル画像信号中に含まれ、上記注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して上記注目画素のクラスを決定するクラス分類手段
と、 上記入力ディジタル画像信号中に含まれ、上記注目画素
の空間的および／または時間的に近傍の複数の画素の値
と係数との演算によって、上記注目画素の値を作成した
時に、作成された値と上記注目画素の真値との誤差を最
小とするような、係数を上記クラス毎に発生する係数発
生手段を有し、 上記クラス分類手段は、複数の方向の上記参照画素間の
レベル差を検出し、検出された上記レベル差をソートし
た時の順序を、上記注目画素のクラスとして決定するこ
とを特徴とするディジタル画像信号処理装置。 - 【請求項２】 注目画素の値を上記注目画素の空間的お
よび／または時間的に近傍に存在する複数の画素の値を
使用して作成することを必要とするディジタル画像信号
処理装置において、 入力ディジタル画像信号中に含まれ、上記注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して上記注目画素のクラスを決定するクラス分類手段
と、 上記入力ディジタル画像信号中に含まれ、上記注目画素
の空間的および／または時間的に近傍の複数の画素の値
と係数との演算によって、上記注目画素の値を作成した
時に、作成された値と上記注目画素の真値との誤差を最
小とするような、係数を上記クラス毎に発生する係数発
生手段を有し、 上記クラス分類手段は、複数の方向の上記参照画素間の
レベル差を検出し、検出されたレベル差を非線形量子化
した値で規定されるレベル分布のパターンを、上記注目
画素のクラスとして決定することを特徴とするディジタ
ル画像信号処理装置。 - 【請求項３】 請求項１または請求項２に記載のディジ
タル画像信号処理装置において、 注目画素がサブサンプリングにより間引かれた画素であ
り、係数発生手段からの係数と上記注目画素の空間的お
よび／または時間的に近傍の複数の画素の値との演算に
よって、上記間引かれた画素の補間値を生成するための
補間値生成手段をさらに有することを特徴とするディジ
タル画像信号処理装置。 - 【請求項４】 注目画素の値を上記注目画素の空間的お
よび／または時間的に近傍に存在する複数の画素の値を
使用して作成することを必要とするディジタル画像信号
処理方法において、 入力ディジタル画像信号中に含まれ、上記注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して上記注目画素のクラスを決定するクラス分類ステ
ップと、 上記入力ディジタル画像信号中に含まれ、上記注目画素
の空間的および／または時間的に近傍の複数の画素の値
と係数との演算によって、上記注目画素の値を作成した
時に、作成された値と上記注目画素の真値との誤差を最
小とするような、係数を上記クラス毎に発生するステッ
プを有し、 上記クラス分類ステップは、複数の方向の上記参照画素
間のレベル差を検出し、検出された上記レベル差をソー
トした時の順序を、上記注目画素のクラスとして決定す
ることを特徴とするディジタル画像信号処理方法。 - 【請求項５】 注目画素の値を上記注目画素の空間的お
よび／または時間的に近傍に存在する複数の画素の値を
使用して作成することを必要とするディジタル画像信号
処理方法において、 入力ディジタル画像信号中に含まれ、上記注目画素の空
間的および／または時間的に近傍の複数の参照画素を使
用して上記注目画素のクラスを決定するクラス分類ステ
ップと、 上記入力ディジタル画像信号中に含まれ、上記注目画素
の空間的および／または時間的に近傍の複数の画素の値
と係数との演算によって、上記注目画素の値を作成した
時に、作成された値と上記注目画素の真値との誤差を最
小とするような、係数を上記クラス毎に発生するステッ
プを有し、 上記クラス分類ステップは、複数の方向の上記参照画素
間のレベル差を検出し 、検出されたレベル差を非線形量
子化した値で規定されるレベル分布のパターンを、上記
注目画素のクラスとして決定することを特徴とするディ
ジタル画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31902993A JP3348318B2 (ja) | 1993-11-25 | 1993-11-25 | ディジタル画像信号処理装置および処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31902993A JP3348318B2 (ja) | 1993-11-25 | 1993-11-25 | ディジタル画像信号処理装置および処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07154642A JPH07154642A (ja) | 1995-06-16 |
| JP3348318B2 true JP3348318B2 (ja) | 2002-11-20 |
Family
ID=18105721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31902993A Expired - Lifetime JP3348318B2 (ja) | 1993-11-25 | 1993-11-25 | ディジタル画像信号処理装置および処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3348318B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6057885A (en) * | 1996-05-30 | 2000-05-02 | Sony Corporation | Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof |
| KR100537123B1 (ko) * | 1996-12-26 | 2006-02-28 | 소니 가부시끼 가이샤 | 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 |
| US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| KR100504415B1 (ko) * | 1996-12-26 | 2005-11-22 | 소니 가부시끼 가이샤 | 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체 |
| US6160845A (en) | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| JP4300436B2 (ja) * | 1998-09-28 | 2009-07-22 | ソニー株式会社 | 画像データ変換装置及び画像データ変換方法 |
| JP4337186B2 (ja) * | 1998-10-29 | 2009-09-30 | ソニー株式会社 | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 |
| US6775418B1 (en) | 1999-03-24 | 2004-08-10 | Matsushita Electric Industrial Co., Ltd. | Image processing device and processing method |
| JP3702464B2 (ja) * | 2002-05-08 | 2005-10-05 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| US7627198B2 (en) | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| WO2010084714A1 (ja) * | 2009-01-23 | 2010-07-29 | 日本電気株式会社 | 画像識別子抽出装置 |
-
1993
- 1993-11-25 JP JP31902993A patent/JP3348318B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07154642A (ja) | 1995-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| US5666164A (en) | Image signal converting apparatus | |
| EP0508351B1 (en) | Method and apparatus for the motion compensated predictive coding of an image signal | |
| JPH07147681A (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| EP0920215A1 (en) | Image processing device and method, and transmission medium, transmission method and image format | |
| EP0820196A2 (en) | Hierarchic image encoding | |
| JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3470403B2 (ja) | ディジタル画像信号の処理装置 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
| JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3671437B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP3470380B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3709570B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080913 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090913 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090913 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100913 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110913 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110913 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120913 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120913 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130913 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |