JP2840324B2 - 映像信号符号化方法及び復号化方法 - Google Patents

Description

【発明の詳細な説明】 （イ）産業上の利用分野 本発明は、映像信号の伝送時及び蓄積時などに用いら
れる映像信号の符号化技術に関する。

（ロ）従来の技術 従来より、映像信号を狭帯域で伝送又は記録する方式
の１つとして、サブナイキストサンプリングが良く知ら
れている。

このサブナイキストサンプリングは高品位映像信号の
伝送方式（MUSE方式）にも採用されている。

この例を第７図及び第８図に示す。映像信号データ
は、第７図のサブナイキストサンプリング回路（16）で
サブサンプリング処理される。この出力を第８図に示
す。第８図の「×」は間引かれた画素を示している。そ
して残りの画素「０」のみを出力する 複合化時には、０挿入回路（18）でサンプリング周波
数を元に戻す。そして、補間画素部分例えば第８図ｘ周
囲の画素（例えば第８図ａ、ｂ、ｃ、ｄ）を用いて、補
間フィルタ回路（22）は補間を行う。

ところで、この例では補間フィルタ回路（22）で一率
の補間を行なっているため解像度が低下する。

このため、この補間を適応補間とする例が、電子情報
通信学会技術報告の磁気記録研究会資料のMR86−43の
「適応型ダイナミックレンジ符号化」の中で開示されて
いる。この従来技術は第９図に示す様に補間のためのフ
ィルタの係数を符号化時に検出した相関の強い補間方向
に基づいて決定しておき、この補間方向を示す情報を２
ビットの付加情報とするものである。この方式は、画像
の持つ局所相関を利用する事になるので、斜め方向の解
像度の低下を最小限に押えることができ画質が改善され
る。尚、第９図に於いて、（24）は補間方向検出回路、
（20′）は適応補間フィルタである。

この例では、相関を検出する方向としては、第10図の
６方向（ａ−ｂ、ｃ−ｄ、ｇ−ｈ、ｅ−ｆ、ｋ−ｌ、ｍ
−ｎ）が考えられるのに対して、付加情報量を少なくす
るために、４方向（ａ−ｂ、ｃ−ｄ、ｇ−ｈ、ｅ−
ｆ、）の相関の検出しか行なわれない。このため、１つ
の補間画素に対応する付加情報を２ビットに押さえられ
る。つまり、復号後の映像信号の画質を向上させるに
は、６方向の相関を検出して、相関の強い方向を示す３
ビットの付加情報が必要となり、付加情報の量が多くな
る。

尚、この様な付加情報を用いることなく復号化装置側
で局部相関性より相関の強い方向を検出する例もある。
これは特公昭64−1997号（H04N7/137）に示される様
に、補間画素を挟んで相対する２つの画素の差が最小と
なる方向に補間するものである。しかし、この様な例で
は、原映像信号に高周波成分が多い画像部分では復号化
装置側での相関方向の検出が誤る可能性が高い。

このため、符号化装置側で補間方向を検出して作成し
た付加情報を使用して復号する第９図の従来技術の方が
良い。

（ハ）発明が解決しようとする課題 本発明は付加情報が少なく且つ復号が良好に行なわれ
る技術を提供するものである。

（ニ）課題を解決するための手段 本発明は、映像信号をサブサンプル処理して主情報と
し、このサブサンプル処理により間引かれる画素（Ｘ）
の周囲の間引かれない画素（a,b,c,d,e,f,g,h,k,l,m,
n）により、この間引かれる画素（ｘ）の一番相関性の
高い補間方向を３以上の複数の方向の中から検出し、こ
の検出された補間方向を示す情報を付加情報とする映像
符号化方法において、 前記付加情報を前記複数の補間方向のうち予め定めら
れた異なる補間方向を同一のデータ値で示す補間方向組
情報とし、前記選択された補間方向をこの補間方向組情
報に符号化することを特徴とする。

又、本発明はサブサンプル処理された映像信号を補間
方向に応じて適応補間処理する映像信号復号化方法に於
いて、真の補間方向を含む複数の補間方向を含んだ補間
方向組情報を受信し、補間する画素（Ｘ）の周囲の画素
（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｋ、ｌ、ｍ、ｎ）
の局所相関性を検出し、前記補間方向組情報により示さ
れる複数の補間方向の内、前記局所相関性の高い方向を
補間方向として前記映像信号を適応補間処理することを
特徴とする。

又、本発明は、映像信号をサブサンプル処理して主情
報とし、このサブサンプル処理により間引かれる画素
（ｘ）の周囲の間引かれない画素（ａ、ｂ、ｃ、ｄ、
ｅ、ｆ、ｇ、ｈ、ｋ、ｌ、ｍ、ｎ）よりこの間引かれる
画素（ｘ）の補間方向を求めると共に、この時に補間方
向が求まらない場合は、前記間引かれる画素（ｘ）の周
囲の間引かれる画素（ｏ、ｐ、ｑ、ｒ）からも補間方向
を求め、この補間方向を付加情報とすることを特徴とす
る。

又、本発明は、映像信号をサブサンプル処理して主情
報とし、このサブサンプル処理により間引かれる画素
（ｘ）の周囲の間引かれない画素（ａ、ｂ、ｃ、ｄ、
ｅ、ｆ、ｇ、ｈ、ｋ、ｌ、ｍ、ｎ）よりこの間引かれる
画素（ｘ）の補間方向を求める第１補間方向検出処理を
行なうと共に、この第１補間方向検出処理により前記補
間方向が求まらない場合は、前記間引かれる画素（ｘ）
の周囲の間引かれる画素（ｏ、ｐ、ｑ、ｒ）であり、且
つ前記第１補間方向検出処理により補間方向が求められ
る画素と、前記間引かれない画素（ａ、ｂ、ｃ、ｄ、
ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ）より補間方向を求め
る第２補間方向検出処理を行ない補間方向を求めて付加
情報とすることを特徴とする。

（ホ）作用 本発明では、複数の補間方向を組み合わせて同一の付
加情報の値とする。

そして、復号時は、付加情報の値より複数の補間方向
を検出し、この方向の中で最も局部相関性の強い方向を
補間方向とする。

又、本発明は、間引かれる画素を基にする方向につい
ても補間方向を検出する。

（ヘ）実施例 第１図乃至第６図を参照しつつ本発明の一実施例を説
明する。

第１図に於いて、（10）はサンプリング回路である。
（12）は補間方向を間引かれる画素を中心とした６方向
より求める６方向判定回路である。（14）は６方向判定
回路（12）で補間方向が求まらない場合に動作する８方
向判定回路である。（16）はサブナイキスト回路であ
る。

復号側の（18）は０挿入回路、（20）は８方向の適応
補間フィルタである。

尚、この第１図はハードブロックで示したが、実際に
はソフトウエアで実施したので、第２図乃至第６図を参
照しつつ説明する。

（ａ）符号化は２回の符号化を行う。

まず、第２図（１）に示す様に映像データを読み込
む。そして、第３図に示す画素（ｘ）を、この周囲の間
引かれない画素（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、
ｋ、ｌ、ｍ、ｎ）により６方向に１次補間を行った値
と、この画素（ｘ）との差分の絶対値（Y₁）−（Y₆）を
求める（第２図２）。

Y₁＝|x−（ａ＋ｂ）/2| Y₂＝|x−（ｃ＋ｄ）/2| Y₃＝|x−（ｅ＋ｆ）/2| Y₄＝|x−（ｇ＋ｈ）/2| Y₅＝|x−（ｋ＋ｌ）/2| Y₆＝|x−（ｍ＋ｎ）/2| このY₁〜Y₆の中で最も小さい値に対応する方向が相関
性が高い補間方向であると考えられる（第２図３）。そ
して、この最も小さい値が所定値α（例えば８ビット量
子化で10）以下の時は、この方向を補間方向とする。そ
れ以外の時は保留処理を行う。

そして（第２図４）及び第４図に示される様に、この
補間方向が第10図のａ−ｂ方向またはｃ−ｄ方向の時に
付加情報を「０」とする。同様に、ｅ−ｆ、ｍ−ｎ方向
を「１」、ｋ−ｌ、ｇ−ｈ方向を「２」とする。つまり
複数の補間方向を同一値で表わす。この情報を補間方向
組情報と称す。

この様な第１補間方向検出処理を読み込んだ映像デー
タについて全く行う（第２図５、６、７、８）。

この第１補間方向検出処理の後に、第２補間方向検出
処理を行う（第２図９）。

この２回目の処理は、前述の処理により補間方向組が
求められずに保留処理した画素について、再び補間方向
組を検出するものである（第２図10）。

つまり、第３図に示す画素（ｏ、ｐ）の第１回の補間
方向組が共に求められているのであれば、前述の６方向
にこのop方向（第５図参照）も加えて補間方向を求め
る。同様に、画素（ｑ、ｒ）の第１回の補間方向組が共
に求められているのであれば、このｑ、ｒ方向も加えて
補間方向を求める。例えば画素（ｏ）（ｐ）（ｑ）
（ｒ）全てが求められていれば以下の如く動作する。

Y₁＝|x−（ａ＋ｂ）/2| Y₂＝|x−（ｃ＋ｄ）/2| Y₃＝|x−（ｅ＋ｆ）/2| Y₄＝|x−（ｇ＋ｈ）/2| Y₅＝|x−（ｋ＋ｌ）/2| Y₆＝|x−（ｍ＋ｎ）/2| Y₇＝|x−（ｏ＋ｐ）/2| Y₈＝|x−（ｑ＋ｒ）/2| このY₁〜Y₈の中で最も小さい値を取った画素の方向
を、第２図（12）第４図に示す様に補間方向組情報とし
て付加情報とする。

（ｂ）復号化を説明する。

第６図の（ｘ）を補間する場合、補間方向組情報であ
る付加情報が「０」である場合、この「０」に対応する
ａ−ｂ、ｃ−ｄの各方向で、各対応する画素の差分の絶
対値が小さい方向に画像が連続していると考え、その方
向に１次補間を行う。つまり、 ε_１＝|a−b| ε_２＝|c−d| ここでε_１がε_２よりも小さければ、補間画素（ｘ）
は、次のように補間される。

ｘ＝（ａ＋ｂ）/2 また、そうでなければ ｘ＝（ｃ＋ｄ）/2 同様にして「１」が付加情報中に見つかったときには ε_１＝|e−f| ε_２＝|m−n| ここでε_１がε_２よりも小さければ、補間画素（ｘ）
は、次のように補間される。

ｘ＝（ｅ＋ｆ）/2 また、そうでなければ ｘ＝（ｍ＋ｎ）/2 同様にして「２」が付加情報中に見つかったときには ε_１＝|k−l| ε_２＝|g−h| ここでε_１がε_２よりも小さければ補間画素（ｘ）
は、次のように補間される ｘ＝（ｋ＋１）/2 また、そうでなければ ｘ＝（ｇ＋ｈ）/2 また、「３」が付加情報中に見つかったときにはその
時は、補間を行わず次の補間画素の補間を施す。

この１回目の復号化の後に１回目に復号化を行わなか
った付加情報「３」の画素に対して復号化を行う。この
時１回目の復号化により、画素（ｏ、ｐ）又は（ｑ、
ｒ）又は（ｏ、ｐ、ｑ、ｒ）が求められているので、 ε_１＝|o−p| ε_２＝|q−r| を求める。尚画素が求められていない方のε_１又はε_２
は大きな値が入力される。

ここでε_１がε_２よりも小さければ、補間画素（ｘ）
は、次のように補間される。

ｘ＝（ｏ＋ｐ）/2 また、そうでなければ ｘ＝（ｑ＋ｒ）/2 この処理を全画面の全画素について行なう。

尚、本実施例では１方向を２つの画素より決定した
が、これはいくらでも良い。又、補間方向組情報は２方
向で且つ直角交差する方向であるが別にこれらに限られ
るわけではない。又、画素の補間は１次補間を用いたが
３次補間など他の補間方向でも良い。

（ト）発明の効果 請求項１に依れば、複数の補間方向を組として同一デ
ータ値を出力しているので、付加情報のビット数を削減
出来る。例えば、実施例では８方向の補間方向を「０」
「１」「２」「３」の２ビットの情報と出来る。

請求項２はその復号化が行なえる。

請求項３、４に依れば、間引かれる画素からも補間方
向を求めて画像の解像度を向上出来る。

【図面の簡単な説明】

第１図は本発明の一実施例を示す図、第２図はその動作
を示すフローチャート、第３図、第４図、第５図、第６
図はその動作を説明するための図である。 第７図、第８図、第９図、第10図は従来例を説明するた
めの図である。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】映像信号をサブサンプル処理して主情報と
   し、このサブサンプル処理により間引かれる画素（Ｘ）
   の周囲の間引かれない画素（a,b,c,d,e,f,g,h,k,l,m,
   n）より、この間引かれる画素（ｘ）の一番相関性の高
   い補間方向を３以上の複数の方向の中から検出し、この
   検出された補間方向を示す情報を付加情報とする映像符
   号化方法において、 前記付加情報を前記複数の補間方向のうち予め定められ
   た異なる補間方向を同一のデータ値で示す補間方向組情
   報とし、前記検出された補間方向をこの補間方向組情報
   に符号化してなる映像信号符号化方法。
2. 【請求項２】サブサンプル処理された映像信号を補間方
   向に応じて適応補間処理する映像信号復号化方法に於い
   て、 真の補間方向を含む複数の補間方向を含んだ補間方向組
   情報を受信し、 補間する画素（Ｘ）の周囲の画素（a,b,c,d,e,f,g,h,k,
   l,m,n）の局所相関性を検出し、 前記補間方向組情報により示される複数の補間方向の
   内、前記局所相関性の高い方向を補間方向として、前記
   映像信号を適応補間処理する映像信号の復号化方法。
3. 【請求項３】映像信号をサブサンプル処理して主情報と
   し、このサブサンプル処理により間引かれる画素（Ｘ）
   の周囲の間引かれない画素（a,b,c,d,e,f,g,h,k,l,m,
   n）より、この間引かれる画素（Ｘ）の補間方向を求め
   ると共に、この時に補間方向が求まらない場合は、前記
   間引かれた画素（Ｘ）の周囲の間引かれる画素（o,p,q,
   r）からも補間方向を求め、この補間方向を付加情報と
   する映像信号符号化方法。
4. 【請求項４】映像信号をサブサンプル処理して主情報と
   し、このサブサンプル処理により間引かれる画素（Ｘ）
   の周囲の間引かれない画素（a,b,c,d,e,f,g,h,k,l,m,
   n）より、この間引かれる画素（Ｘ）の補間方向を求め
   る第１補間方向検出処理を行うと共に、この第１補間方
   向検出処理により前記補間方向が求まらない場合は、前
   記間引かれる画素（Ｘ）の周囲の間引かれる画素（o,p,
   q,r）であり、且つ、前記第１補間方向検出処理により
   求められる画素と、前記間引かれない画素（a,b,c,d,e,
   f,g,h,k,l,m,n）より補間芳香を求める第２補間方向検
   出処理を行い補間方向を付加情報とする映像信号符号化
   方法。