JP2744085B2

JP2744085B2 - 映像信号符号化方法及び符号化装置

Info

Publication number: JP2744085B2
Application number: JP25284589A
Authority: JP
Inventors: 憲明南
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1989-09-28
Filing date: 1989-09-28
Publication date: 1998-04-28
Anticipated expiration: 2013-04-28
Also published as: JPH03114380A

Description

【発明の詳細な説明】（イ）産業上の利用分野本発明は、映像信号の伝送時及び蓄積時などに用いら
れる映像信号の符号化技術に関する。

（ロ）従来の技術従来より、映像信号を狭帯域で伝送又は記録する方式
の１つとして、サブナイキストサンプリングが良く知ら
れている。

このサブナイキストサンプリングは高品位映像信号の
伝送方式（MUSE方式）にも採用されている。

この例を第９図及び第10図に示す。映像信号データ
は、第９図のサブサンプリング回路（10）でサブサンプ
リング処理される。この出力を第10図に示す。第10図の
「×」は間引かれた画素を示している。そして、残りの
画素「○」のみを出力する。

複号化時には、０挿入回路（12）でサンプリング周波
数を元に戻す。そして、補間画素部分例えば第10図ｘ周
囲の画素（例えば第10図ｄ、ｉ、ｆ、ｊ）を用いて、補
間フィルタ回路（14）は補間を行う。

ところで、この例では、補間フィルタ回路（14）で一
率の補間を行なっているため解像度が低下する。

このため、この補間を適応補間とする例が、電子情報
通信学会技術報告の磁気記録研究会資料のMR86−43の
「適応型ダイナミックレンジ符号化」の中で開示されて
いる。この従来技術は、第11図に示す様に補間のための
フィルタの係数を符号化時に検出した相関の強い補間方
向に基づいて決定しておき、この補間方向を示す情報を
２ビットの付加情報とするものである。この方式は、画
像の持つ局所相関を利用する事になるので、斜め方向の
解像度の低下を最小限に押さえることができ画質が改善
される。尚第11図に於いて、（16）は補間方向検出回
路、（18）は適応補間フィルタである。

この例では、相関を検出する方向としては、第12図の
６方向（ｄ−ｉ、ｂ−ｋ、ｅ−ｈ、ｇ−ｆ、ｊ−ｃ、ｌ
−ａ）が考えられるのに対して、付加情報量を少なくす
るために、４方向（ｄ−ｉ、ｅ−ｈ、ｇ−ｆ、ｊ−ｃ）
の相関の検出しか行なわない。このため、１つの補間画
素に対応する付加情報を２ビットに押さえられる。つま
り、複合後の映像信号の画質を向上させるには、６方向
の相関を検出してた３ビットの付加情報が必要となり、
付加情報の量が多くなる。

尚、この様な付加情報を用いることなく複合化装置側
で相関の強い方向を検出する例もある。これは、特公昭
64−1997号（H04N7/137）に示される様に、補間画素を
挟んで相対する２つの画素の差が最小となる方向に補間
するものである。しかし、この様な例では、原映像信号
に高周波成分が多い画面部分では複合化装置側での相関
方向の検出が誤る可能性が高い。

このため、符号化装置側で補間方向を検出して作成し
た付加情報を使用して複合する第11図の従来技術の方が
良い。

この付加情報の情報量を少なくするために、ファクシ
ミリの伝送に利用されるランレングス符号化、ハフマン
符号化等のエントロピー符号化を利用して、この一画面
分の付加情報の情報量を削減することが考えられる。

しかし、エントロピ符号化は、ファクシミリ等で良く
知られている様に例えば同じ情報が多く続く場合は、そ
の情報量の削減が行なえる（例えば、ファクシミリに於
いては、白紙を伝送する所要時間は、通常原稿の伝送所
要時間に比べ短い。）（ハ）発明が解決しようとする課題本発明は、付加情報の情報量を削減することを目的と
する。

（ニ）課題を解決するための手段本発明は、映像信号をサブサンプル処理して主情報と
して出力すると共に、このサブサンプル処理により間引
かれる画素（ｘ）とこの画素（ｘ）の周囲の間引かれな
い画素（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、
ｋ、ｌ）より正規の補間方向を検出すると共に、前記間
引かれない画素（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、
ｉ、ｊ、ｋ、ｌ）より複数の補間方向の優先順位データ
を検出し、前記正規の補間方向の前記優先順位データを
出力することを特徴とする。

又、本発明は、オフセットサンプリングを行う映像信
号符号化装置において、間引かれる画素の周りの間引かれない画素より間引か
れる画素を中心として対向する２個以上の画素の組を複
数作成し、この画素の組のうちの少なくとも２個の画素の差の絶
対値について、これらの小さいものから順に順位をつ
け、前記画素の組から補間値を計算し、この補間値とその
中心にある間引かれる画素の差の絶対値が最も小さくな
る組に対応する前記順位を求めることを特徴とする。

（ホ）作用本発明では、補間方向のデータを直接付加情報とせず
に、この補間方向の局所相関性から求めた優先順位を付
加情報として利用する。

（ヘ）実施例第１図乃至第６図に本発明の第１実施例を示す。

第１図に於いて、（20）は符号化装置、（22）は複合
化装置である。符号化装置（20）に於いて、（20a）は
主情報符号化部である。（24）はこの主情報符号化回路
（20a）を形成するサブサンプリング回路である。この
サブサンプリング回路（24）は入力端子（26）より入力
された映像信号をフィールドオフセットサブサンプル処
理（第２図に示すＸ点の画素を間引く）して出力端子
（28）より出力する。尚、この主情報符号化出力は、必
要なら更に符号化しても良い。

（20b）は付加情報符号化回路である。（30）はメモ
リより形成された遅延回路であり、第２図に示す符号化
により間引かれる画素（ｘ）と周りの画素（ａ、ｂ、
ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ）に対応する
データを出力する。

（32）は差演算回路である。この差演算回路（32）は
間引かれる画素（ｘ）を中心に向かい合う２つの画素を
１ペアとし、このペアの画素の差を演算し且つ絶対値化
して出力する。

つまり、以下の６信号△_１〜△_６を出力する。

△_１＝|d−i| △_２＝|b−k| △_３＝|e−h| △_４＝|g−f| △_５＝|j−c| △_６＝|l−a| （34）は補間方向順位付け回路である。つまり、通常
の場合は、対向するペアの画素の差が小さい方向、つま
り△_１〜△_６の値の内、一番小さい値の方向が相関の強
い方向であるので、この相関方向順位付け回路（34）
は、△_１〜△_６よりこの方向を類推し、６方向につい
て、その可能性の優先順位（△_１〜△_６の値が小さい順
「１」〜「６」を、出力する。尚、この△_１〜△_６のう
ち複数が同じ値であった場合は、予め定めた優先順によ
り、順位を決める。

（36）は差演算回路である。この差演算回路（36）
は、前述のペアの平均と間引かれる画素（ｘ）の差の絶
対値を示す６信号（Y₁〜Y₆）を出力する。

Y₁＝|x−（ｄ＋ｉ）/2| Y₂＝|x−（ｂ＋ｋ）/2| Y₃＝|x−（ｅ＋ｈ）/2| Y₄＝|x−（ｇ＋ｆ）/2| Y₅＝|x−（ｊ＋ｃ）/2| Y₆＝|x−（ｌ＋ａ）/2| （38）は補間方向検出回路である。つまり、当然前述
のY₁〜Y₆が最も小さい方向が補間方向である。依って、
補間方向検出回路（38）はこのY₁〜Y₆より補間方向を検
出して、この方向を示すデータを出力する。尚、従来
は、このデータを付加情報としてエントロピー符号化し
て伝送又は記録していた。

（40）は補間方向優先順位出力回路である。つまり、
この回路（40）は、補間方向検出回路（38）で求めた補
間方向が、補間方向順位付け回路（34）で何番に順位付
けされたかを検出して、この順位を出力する。

つまり、画素の局所相関性から、対向する２つの画素
の差（△ｊ）が、最も小さい方向が、ほぼ補間方向に一
致すると考えられるので、この補間方向優先順位出力回
路（40）の出力は、優先順位が最も高い値「１」となる
場合が多い。従って、エントロピー符号化による情報量
の低減が期待出来る。

（42）はエントロピー符号化回路である。尚、エント
ロピー符号化としては、ハフマン符号化、ランレングス
符号化、算術符号化などが考えられるが、エントロピー
符号化であれば何でも良い。複号化装置（22）に於い
て、（30′）は遅延回路であり、主情報であるサブサン
プリングされた映像信号を入力して第３図の補間する画
素（ｘ）の周りの画素データ（ａ、ｂ、ｃ、ｄ、ｅ、
ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ）を出力する。差演算回路
（32′）は、符号化装置側の回路（32）と同様に動作す
る。

（43）はこの差演算回路（32′）の出力（△_１〜
△_６）より補間の優先順位を検知して、優先順位別に６
方向のデータを出力する順位別方向出力回路である。

（44）はエントロピー符号化情報複号化回路である。
（46）は補間方向検出回路である。この回路（46）はエ
ントロピー符号化情報複号化回路（44）からの優先順位
のデータに基づいて補間方向を出力する。

（48）は平均データ演算回路である。この回路（48）
は、第３図の補間する画素（ｘ）を中心に向かい合う２
つの画素を１ペアとして、このペアの画素の平均を演算
出力する。（50）は補間方向検出回路（46）の出力によ
り、補間方向の平均値を選択出力する保管画素値出力回
路である。（52）は、この補間画素値を内挿する内挿回
路である。

上記動作を説明する。符号化装置（20）の主情報符号
化部（20a）に入力された映像データはサブサンプリン
グ回路（24）で間引き処理されて出力される。

付加情報符号化部（20b）では、間引かれる画素
（ｘ）の実際の補間方向を差演算回路（36）、補間方向
検出回路（38）で求める。

又、画像の局所相関性からの補間方向を類推し、その
可能性の高い順番を示すデータ（各方向の優先順位）を
差演算回路（32）、補間方向順位付け回路（34）で検出
する。そして、実際の補間方向の優先順位を補間方向優
先順位出力回路（40）で選択出力する。そして、これを
エントロピー符号化回路（42）で符号化して付加情報と
して出力する。

複号化装置（22）では、差演算回路（32′）、順位別
方向出力回路（43）により補間方向として可能性の高い
順に補間方向を示す信号を補間方向検出回路（46）に出
力する。又、付加情報は、エントロピー符号化情報複合
化回路（44）で複合されて正規の補間方向の優先順位を
出力する。補間方向検出回路（46）はこの優先順位の補
間方向を出力する。適応補間フィルタ（18）はこの補間
方向に応じた補間を行う。

なお、本実施例では、２次元について行ったが、本発
明は、いわゆる３次元方向に拡張しても適用可能であ
る。

この場合は、たとえば、第４図（ａ）、（ｂ）に示す
ようにフレーム毎にサンプリングパターンを変化させる
ことにより、静止画に近い画像の場合は、隣のフレーム
のほぼ同じ位置の情報で補間する事ができ、より画質を
向上できる。

また、本実施例では、補間方式として１次補間を用い
たが、高次補間を用いてもよいし、また、他の補間方法
を用いても良い。

画素の差の絶対値は、実施例と同じく２画素を使用し
てもよいし、補間に使用する画素のうちから適当にいく
つかを選んで使用しても良い。

なお、これらの操作は、第５図第６図に示す如くソフ
トウェアで実現しても良いことは、言うまでもない。

また、符号化に使用する回路の大部分は、複号化、に
も使用できるので、符号化と複号化を一つの装置で行う
ことが必要な場合はこの回路を共用できることは、言う
までもない。

又、上記実施例では、６方向について全ての順位を伝
送しているが、補間方向が優先順位の「４」「５」
「６」となることは極めて稀であると考えられる。依っ
て情報量を更に少なくするために、優先順位の「４」
「５」「６」を「４」に統一しても実用上の問題は少な
い。そこで第７図及び第８図に示す様に優先順位の種類
を「１」〜「４」とする。この様にすれば、順位のデー
タは６方向のための３ビットより２ビットに削減出来
る。この様にすればエントロピー符号化をしなくても付
加情報の情報量を少なく出来る。尚、エントロピー符号
化すれば、更に情報量を少なく出来る。

（ト）発明の効果本発明に依れば、適応補間のための付加情報の情報量
を少なくすることが出来る。

【図面の簡単な説明】

第１図は本発明の第１図のブロック図、第２図第３図第
４図は動作を説明するための図、第５図及び第６図はフ
ローチャートを示す図である。第７図、第８図は本発明の第２実施例のフローチャート
を示す図である。第９図、第10図は従来例を示す図である。第11図、第12
図は他の従来例を示す図である。

Claims

(57)【特許請求の範囲】

【請求項１】映像信号をサブサンプル処理して主情報と
して出力すると共に、このサブサンプル処理により間引かれる画素（ｘ）とこ
の画素（ｘ）の周囲の間引かれない画素（ａ、ｂ、ｃ、
ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ）より正規の補間
方向を検出すると共に、前記間引かれない画素（ａ、
ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ）より複
数の補間方向の優先順位データを検出し、前記正規の補
間方向の前記優先順位データを出力することを特徴とす
る映像信号符号化方法。
【請求項２】オフセットサンプリングを行う映像信号符
号化装置において、間引かれる画素の周りの間引かれない画素より間引かれ
る画素を中心として対向する２個以上の画素の組を複数
作成し、この画素の組のうちの少なくとも２個の画素の差の絶対
値について、これらの小さいものから順に順位をつけ、前記画素の組から補間値を計算し、この補間値とその中
心にある間引かれる画素の差の絶対値が最も小さくなる
組に対応する前記順位を求めることを特徴とする映像信
号符号化装置。
【請求項３】前記求めた順位をエントロピー符号化して
付加情報となし、間引かれない画素のデータとともに符
号化データとすることを特徴とする請求項２記載の映像
信号符号化装置。
【請求項４】サンプリングのオフセットは、フィールド
オフセットとすることを特徴とする請求項２記載の映像
信号符号化装置。
【請求項５】サンプリングのオフセットは、フィールド
オフセットにさらにフレームオフセットをかけたものと
することを特徴とする請求項２記載の映像信号符号化装
置。
【請求項６】前記画素の組のうちの少なくとも２個の画
素の差の絶対値に同一のものがある場合、あらかじめ決
められた特定の順番に従って、前記順位を付けることを
特徴とする請求項２記載の映像信号符号化装置。