JP3125145B2 - 画像データの高能率符号化方法及びその装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像データの高能率符号化方法及びその装
置に関するものである。

〔発明の概要〕

一般に画像データの高能率符号化方式では、隣接画素
との相関を利用してデータの圧縮を行う。従ってTVカメ
ラ出力などのインターレース画像を符号化する場合はノ
ンインターレース変換（フレームを構成する信号に変
換）し、ノンインターレースデータ（フレームデータと
もいう）として、垂直方向の画素相関を強くしてから符
号化する方が圧縮効率が高くなる。しかし、一般的に言
うと、画像内に動きが生じた場合、ノンインターレース
データでは動いた物体のエッジがライン単位のくしの歯
状になるなど垂直方向の相関が著しく低下する。このた
め動きのある部分では、インターレースデータ（フィー
ルドデータともいう）で符号化した方が良い場合が多
い。

そこで本発明では、画像データを符号化する場合、ノ
ンインターレースデータとインターレースデータの両方
を作り、各々の垂直方向の相関を求め、相対比較をし、
両者の内より相関の強い方のデータを選択し符号化する
ようにしたもので、基本的に、動きのある部分はインタ
ーレースデータで、静止している部分はノンインターレ
ースデータで適応的に符号化することを可能とした。こ
れにより、従来問題であった動画に対する劣化を改善
し、より効率良く符号化することができるようになる。

〔従来の技術〕

従来、静止画用の高能率符号化装置などでは、第２図
に示すように、まずカメラ20から出力されたインターレ
ース画像21をA/D変換器22でディジタル化する。そし
て、A/D変換器22の出力であるインターレースデータ23
を、フレームメモリ24でフレームを構成するノンインタ
ーレースデータ25に変換し、垂直方向の隣接画素の相関
を強くしてから符号化処理部26で圧縮処理とすることが
多い。

ところが動画に対しては、必ずしも上記方式は適切で
ない。例えば、第３図に示すように、画像内の物体Ａ
が、フィールド１とフィールド２で動いた場合、インタ
ーレースデータとして見ると、第３図のフィールド1,2
に示したようになり、これをノンインターレースデータ
として見ると、第３図のフレームに示したようになる。
これから明らかなように、動いた部分について見ると、
ノンインターレースデータにすると、動いた物体のエッ
ジがライン単位のくしの歯状になり、垂直方向の隣接画
素の相関が極端に劣化し圧縮しにくくなる。むしろイン
ターレースデータのまま処理した方が圧縮し易いが、動
画像に対して常にインターレースデータとして扱えば、
動きのある部分ばかりではないため、全体の符号化効率
は良くならない。従来技術にはこれを解決する適切な方
法がなかった。

〔発明が解決しようとする課題〕

前述の従来技術には、動画像に適用した場合、フィー
ルド１とフィールド２の間で動きのある部分において
は、ノンインターレースデータにしたことにより、垂直
方向における隣接画素の相関が低下し、圧縮しにくくな
るという欠点がある。

本発明は、これらの欠点を解決するために、画像に応
じてノンインターレースデータとインターレースデータ
を切り替えて、垂直方向における隣接画素の相関が常に
損なわれないようにし、動画像に対しても効率よく符号
化することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の全体構成を示すブロック図である。
但し、説明の都合上、画像を所定の基本処理ブロックに
分割して符号化するブロック符号化を前提とした。図に
おいて、カメラ１の出力であるインターレース画像２
は、A/D変換器３に入力され、そのA/D変換器３の出力で
あるインターレースデータ４はノンインターレース変換
部５に入力され、そのノンインターレース変換部５の出
力であるノンインターレースデータ６は、ブロック分割
部７に入力され、そのブロック分割部７の出力は後述の
ようなブロックノンインターレースデータ８となる。

このブロックノンインターレースデータ８は、セレク
タ17と相関演算部11とインターレース変換部９に入力さ
れる。このインターレース変換部９の出力であるブロッ
クインターレースデータ10は、セレクタ17と相関演算部
12に入力される。

また、比較器15には前記相関演算部11,12の出力で、
相関の強弱を示す相関値13,14が入力され、比較器15の
出力である制御信号16はセレクタ17と符号化処理部19に
入力される。このセレクタ17の出力であるデータ18も符
号化処理部19に入力される。

〔作用〕

本発明の動作について以下に述べる。第１図のカメラ
１はインターレース画像２を出力し、そのインターレー
ス画像２をA/D変換器３でディジタル化する。次にこのA
/D変換器３の出力であるインターレースデータ４を、ノ
ンインターレース変換部５によってデータの並びを替
え、フレームを構成するノンインターレースデータ６と
し、全体に垂直方向の隣接画素の相関を強める。

次にブロック分割部７で、ブロック符号化処理がし易
いように、後述の様なブロック単位のデータの並びに変
更し、かつ垂直方向に連続する２ブロックをペアとした
ブロック順として、これをブロックノンインターレース
データ８とする。このブロックノンインターレースデー
タ８をそのまま符号化処理すると、前述のように動きの
ある部分で問題となる。そこで前記ペアのブロックノン
インターレースデータ８をインターレース変換部９に入
力し、２ブロック間でインターレース変換（フィールド
を構成する信号に変換）をする。

例えば、第４図（ａ）に示すブロック１、ブロック２
という垂直２ブロックのブロックノンインターレースデ
ータ８を前記インターレース変換部９で処理したブロッ
クインターレースデータ10は、第４図（ｂ）のように、
フィールド１のデータがブロック１、フィールド２のデ
ータがブロック２になる。このとき、第４図（ｂ）のブ
ロック１とブロック２の境界に、画像として不連続な部
分が生じ、画素の値に大きな隔たりが生じる恐れがあり
得るが、基本的にブロック符号化では、ブロック内に前
記隔たりが生じなければ良いので問題とならない。

次に、前記ブロックノンインターレースデータ８とブ
ロックインターレースデータ10について、それぞれ相関
演算部11,12を用い、垂直方向の画素相関を求める。具
体的には、符号化処理部19の符号化方式に対する圧縮の
し易さを求めるわけで、符号化処理部19の符号化方式が
異なれば、前記相関演算部11,12の内容も多少異なるこ
とはある。そしてその結果である相関強度を示す相関値
13,14を比較器15で比較し、制御信号16によってセレク
タ17を制御することで、ブロックノンインターレースデ
ータ８とブロックインターレースデータ10の内より、圧
縮し易い方をデータ18として後段の符号化処理部19に入
力することができる。

また、セレクタ制御信号16も符号化処理部19に入力
し、各ブロックがブロックノンインターレースデータ８
とブロックインターレースデータ10のどちらか選択した
かを示す情報として、符号データに付加する。

従って、復号化処理ではこの情報を基に元の画像デー
タの並びに構成することができる。

以上のように本発明では、ブロックノンインターレー
スデータ８とブロックインターレースデータ10の内よ
り、圧縮し易い方を用いることで、基本的に動きのない
部分はブロックノンインターレースデータ８を使用し、
動きの激しい部分ではブロックインターレースデータ10
を使用して、効率よく符号化することができる。これに
より、従来技術における動きのある部分で垂直方向の画
素相関が極端に低下し、圧縮劣化が著しくなるという問
題を解決することが可能である。

なお、前述では、基本的に動きのない部分はブロック
ノンインターレースデータ８を、動きの激しい部分では
ブロックインターレースデータ10を選択して、符号化す
るとして説明したが、これはあくまで、基本的なデータ
の選択を説明するものであって、必ずしも、常にこのよ
うに選択がなされるものではない。

即ち、本発明は、前述のように、それぞれの相関値1
3,14を比較器15で比較することにより、ブロックノンイ
ンターレースデータ８とブロックインターレースデータ
10の内より、圧縮し易い方のデータを求め、この圧縮し
易い方のデータを選択して符号化するものであるため、
例えば、動きのない部分であっても、相関値の比較の結
果、圧縮し易い方のデータがブロックインターレースデ
ータ10であればこれを、動きの激しい部分であっても、
圧縮し易い方のデータがブロックノンインターレースデ
ータ８であれば、こちらを選択して符号化する。

また、前述ではペアのブロックを用いてインターレー
ス変換をする説明をしたが、前記画像としての不連続が
ブロック内に生じても問題ない符号化方式（例えば、ブ
ロック内をさらに小さいブロックで分割して符号化する
場合など）では、１ブロック毎にインターレース変換し
ても可能である。また、ブロック符号化以外であれば、
インターレース変換する単位は任意である。さらに、第
１図のブロック分割部７から、第４図（ｂ）に示すよう
なブロックインターレースデータ10が出力されるように
し、インターレース変換部９にノンインターレース変換
部を設定しても可能である。

〔実施例〕

以下、第１図のブロック分割部７以降の部分につい
て、本発明の一実施例を第５図に示す。また、ここで用
いる符号化方式は、特開昭62−252217号（「データ符号
化方式」）公報等に示されている非等長ブロック分割符
号化方式で符号化するものとする。

この符号化方式は、例えば16画素×16画素のブロック
に対し、各ブロック内の画素値の変化に応じて、16画素
×16画素、８画素×８画素、４画素×４画素、２画素×
２画素の各ブロックで適応的にさらにブロック分割をす
るもので、分割されたブロック内の各画素の値を下記
（１）式に示す双線形関数で近似して圧縮符号化するも
のである。なお、この時、16画素×16画素を、基本処理
ブロックと呼ぶことにする。

fi,j＝aij＋bi＋ci＋ｄ ……（１） ここで、（i,j）はブロック内の画素の位置を示すも
ので、ｉは水平位置、ｊは垂直位置とする。fi,jは（i,
j）の位置の画素値の近似値となり、a,b,c,dが（１）式
の係数である。

つまり、この符号化方式では、垂直方向の画素値変化
は係数ａとｃのみで表現されるため、複雑な画素値の変
化には対応できず、単純に垂直方向の画素の相関が強い
方が圧縮し易いことになる。

では、第５図の説明をする。ここでは、前記非等長ブ
ロック分割符号化の基本処理ブロックを16画素×16画素
とする。従って、第５図のデータ28は、16画素×16画素
に分割されたノンインターレースデータで、かつ垂直方
向に連続したペアの基本処理ブロックになっているとす
る。このデータ28は、ペアの基本処理ブロック単位にメ
モリ30に入力され、次にメモリ30からの読み出し順を変
えて、第４図（ｂ）に示したようなインターレースデー
タであるデータ32になる。

一方、ノンインターレースデータのデータ28はシフト
レジスタ29にも入力され、前記データ32が出力されるま
で遅延させられデータ31となる。ここで同期のとられた
データ31とデータ32は、各々の垂直方向の画素相関を求
めるために、メモリ33とメモリ34に各々入力される。

次に、メモリ33,34から垂直方向の画素相関を求めや
すいように、各基本処理ブロック内のデータを垂直方向
に読み出しデータ35,36とする。そしてデータ35はラッ
チ37と減算器41のｂに、データ36はラッチ38と減算器42
のｂに入力される。ラッチ37とラッチ38の出力であるデ
ータ39,40は、それぞれ１画素遅れた画素データとし
て、前記演算器41のａと減算器42のａに各々入力され
る。ここで、減算器41,42はａ−ｂの絶対値をｃとして
出力するものとする。従って、減算器41,42の出力であ
るデータ43,44には、垂直方向隣接画素間の差分絶対値
が得られる。

次に、データ43を加算器45、データ47、ラッチ49、デ
ータ51のループによって積和する。データ44も同様に加
算器46、データ48、ラッチ50、データ52のループにより
積和する。

従って、最終的にデータ51には、ノンインターレース
データの場合の隣接画素間の差分絶対値の積和がペアの
基本処理ブロック毎に得られ、データ52にはインターレ
ースデータの場合の隣接画素間の差分絶対値の積和がペ
アの基本処理ブロック毎に得られることになる。このデ
ータ51とデータ52の値を相関値と呼ぶことにする。

以上、垂直方向の画素相関の求め方を式（２）にまと
める。

ここで、（i,j）は基本処理ブロック内の画素の位置
を示し、ｉは水平方向、ｊは垂直方向の位置を示すもの
とする。また、ｅ_i,jは、ペアの基本処理ブロックの一
方の画素の値で、ｅ′_i,jは、もう一方の基本処理ブロ
ックの画素の値を示すものとする。

従って、（２）式により得られる相関値は、値が小さ
いほど相関が強いことを示すことになる。

これにより、比較器53では、ノンインターレースデー
タであるデータ31の相関値をデータ51から、またインタ
ーレースデータであるデータ32の相関値をデータ52から
得ることができ、その大小を比較して値の小さい方、つ
まり、より相関の強い方をスイッチ59で選択できるよう
に制御信号54を出力する。

一方、データ31,32は前記制御信号54が出力されるま
でシフトレジスタ55,56で各々遅延させられ、データ57,
58としてスイッチ59に入力される。そして、スイッチ59
は相関の強い方の基本処理ブロックのペアをデータ60と
して出力し、非等長ブロック分割符号化部61の入力とす
る。なお、制御信号54も、どちらのデータを選択したか
を示す情報を符号データに付加するために、非等長ブロ
ック分割符号化部61に入力される。

以上により、静止している部分と動きのある部分に対
し、インターレースデータ、ノンインターレースデータ
を２つの基本処理ブロックごとに適応的に選択して圧縮
することができる。

次に、前記相関値によってデータの選択が行われる具
体例を示す。まず、第６図に、ペアの基本処理ブロック
内で斜線の物体が静止している場合のノンインターレー
スデータを示す。これは、第５図においてはデータ31に
相当する。

そして、この第６図に示すデータをインターレースデ
ータにしたものを第７図に示す。これは、第５図のデー
タ32に相当する。この第７図では、各基本処理ブロック
内に水平ラインのエッジが２本あり、第６図よりは圧縮
しにくいものになっている。

ここで、第６図、第７図の斜線部分の輝度値を10、そ
の背景の輝度値を０として、第５図に示した相関値を演
算算出する手段（33〜50）により、各データの相関値を
前述の（２）式に基づき求めると、 第６図のノンインターレースデータの相関値＝140 第７図に示すインターレースデータの相関値＝280 となる。

そこで、これら相関値を第５図の比較器53で比較する
と、140＜280であるから、第６図のノンインターレース
データが正しく選択されることになる。

次に、第６図の斜線の物体がフィールド２で水平方向
に４画素移動した場合のノンインターレースデータを第
８図に示す。これも第５図のデータ31に相当するが、従
来問題となっていた動きにより垂直方向の相関が低下し
た一例である。

そして、第８図に示すデータをインターレースデータ
にしたものが第９図で、第５図のデータ32に相当する。

ここで、第８図と第９図を比べると、明らかにインタ
ーレースデータの第９図の方が圧縮し易い。そこで、第
５図に示した相関値を演算算出する手段（33〜50）によ
り、各データの相関値を前述の（２）式に基づき求める
と、 第８図のノンインターレースデータの相関値＝1020 第９図に示すインターレースデータの相関値＝ 200 となる。

そこで、これら相関値を第５図の比較器53で比較する
と、200＜1020であるから、今度は、第９図のインター
レースデータが、正しく選択されることになる。

以上のように、前記（２）式に基づき算出したそれぞ
れの垂直方向の相関値の相対比較によって、適切に、静
止している部分はノンインターレースデータを、また動
いている部分はインターレースデータを自動的に選択
し、圧縮符号化することが可能であることがわかる。

ここで、前述の、ノンインターレースデータとインタ
ーレースデータのそれぞれの垂直方向の画素相関を求
め、相対比較をし、相関の強い方のデータ、即ち、実際
に符号化のし易いデータがどちらであるかを判定し、相
関の強い方のデータを選択して符号化する本発明が、従
来技術では得ることのできない格別なる効果を得ること
について説明する。

実際に符号化する画像としては種々のものがあり、例
えば、動画像であっても垂直方向の相関が比較的強い画
像や、逆に静止画像であっても垂直方向の相関が比較的
弱い画像が考えられるため、この相関値が所定値以上で
あるから動画像、以下であるから静止画像であるとは、
一概に決まるものではない。

従って、符号化の際、どちらのデータを選択すれば良
いかの判定を、従来技術（例えば、特開昭63−234788号
公報に記載の技術）のように、ノンインターレースデー
タの相関値を所定の閾値と比較し、相関値が閾値より高
い場合には動画像、低い場合には静止画像と判定する動
静判定により行うと、例えば、所定の閾値＜ノンインタ
ーレースデータの相関値＜インターレースデータの相関
値となる画像の場合、動画像であると判定するため、イ
ンターレースデータを選択することになるが、実際に
は、ノンインターレースデータの方が相関値が低く、圧
縮符号化し易いにもかかわらず、符号化効率の悪いイン
ターレースデータの方を選択して符号化する結果とな
る。

これに対して本発明は、前述のように、インターレー
スデータとノンインターレースデータのそれぞれの垂直
方向の画素相関を求め、相対比較をし、両者の内より相
関の強い方のデータを選択するため、このような画像の
場合であっても、実際に相関値が低い、ノンインターレ
ースデータの方を選択して符号化することになり、より
適応的で効率的な符号化ができる。

〔発明の効果〕

以上説明した如く本発明は、インターレース走査によ
り得られる画像データを符号化する場合、インターレー
スデータとノンインターレースデータのそれぞれの垂直
方向の画素相関を求め、相対比較をし、両者の内より相
関の強い方のデータを選択して符号化しているため、本
来の符号化処理内部を変更することなく、その前処理と
いう形で、基本的に、静止している部分はノンインター
レースデータで処理し、動きのある部分はインターレー
スデータで処理するという適応処理が可能となり、更に
は、符号化する画像が、垂直方向の相関の比較的強い動
画像や、もともと複数のエッジ部分を持つ垂直方向の相
関の比較的弱い静止画像の場合であっても、相関の強い
方のデータ、即ち、実際に符号化のし易い方のデータを
選択することになるため、より適応的で効率的な符号化
ができ、動画に対する著しい圧縮劣化を改善できる。

【図面の簡単な説明】

第１図は本発明の全体構成を示すブロック図、第２図は
従来技術例を示すブロック図、第３図は動きのある場合
に垂直方向の相関が無くなる例を示す図、第４図は本発
明によるブロック単位にインターレース変換した例を示
す図、第５図は本発明の一実施例を示す図、第６図は静
止画をノンインターレースデータとして見た図、第７図
は静止画をインターレースデータとして見た図、第８図
は動画をノンインターレースデータとして見た図、第９
図は動画をインターレースデータとして見た図である。 5:ノンインターレース変換部、6:ノンインターレースデ
ータ、7:ブロック分割部、8:ブロックノンインターレー
スデータ、9:インターレース変換部、10:ブロックイン
ターレースデータ、11,12:相関演算部、13,14:相関値、
15:比較器、16:制御信号、17:セレクタ、18:データ、1
9:符号化処理部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−121372（ＪＰ，Ａ) 特開 昭63−197185（ＪＰ，Ａ) 特開 昭64−34067（ＪＰ，Ａ) 特開 昭64−36173（ＪＰ，Ａ) 特開 昭62−21389（ＪＰ，Ａ) 八島由幸，他，“適応ブロック構成Ｄ ＣＴを用いたＨＤＴＶ−標準ＴＶコンパ チブル符号化”，1989年電子情報通信学 会秋季全国大会講演論文集，社団法人電 子情報通信学会，平成１年９月，分冊 ６，Ｐ．54

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】インタレース走査により得られる画像デー
   タを符号化する高能率符号化方法において、当該画像デ
   ータから、フレームデータで構成されかつ垂直方向に連
   続するペアの所定の基本処理ブロックに分割されたブロ
   ックノンインターレースデータとフィールドデータで構
   成されかつ垂直方向に連続するペアの所定の基本処理ブ
   ロックに分割されたブロックインターレースデータとを
   生成し、上記ブロックノンインターレースデータと上記
   ブロックインターレースデータについて、それぞれの垂
   直方向の画素相関を、上記所定の基本処理ブロック毎に
   算出し上記それぞれのペアの基本処理ブロック毎に加算
   して求め、これら相関値の相対比較をすると共に、当該
   比較結果に基づき上記生成されたそれぞれのブロックデ
   ータの内より相関の強い方のデータを選択し、当該選択
   されたデータを上記所定の基本処理ブロック毎に符号化
   することを特徴とする画像データの高能率符号化方法。
2. 【請求項２】特許請求の範囲第１項に記載の画像データ
   の高能率符号化方法において、上記ペアの各ブロックデ
   ータの垂直方向の画素相関は、それぞれ上記所定の基本
   処理ブロック毎に当該ブロックデータ内の垂直方向隣接
   画素間の差分絶対値を積和し上記それぞれのペアの基本
   処理ブロック毎に加算して求めるものであることを特徴
   とする画像データの高能率符号化方法。
3. 【請求項３】インタレース走査により得られる画像デー
   タを符号化する高能率符号化装置において、当該画像デ
   ータからフレームデータで構成されかつ垂直方向に連続
   するペアの所定の基本処理ブロックに分割されたブロッ
   クノンインターレースデータを生成する手段と、フィー
   ルドデータで構成されかつ垂直方向に連続するペアの所
   定の基本処理ブロックに分割されたブロックインターレ
   ースデータを生成する手段と、生成された上記ブロック
   ノンインターレースデータと上記ブロックインターレー
   スデータについて、それぞれの垂直方向の画素相関を、
   上記所定の基本処理ブロック毎に算出し上記それぞれの
   ペアの基本処理ブロック毎に加算してこれらの相関値を
   算出するそれぞれの相関演算手段と、当該算出された各
   相関値の相対比較をする手段と、該比較結果に基づき上
   記生成されたそれぞれのブロックデータの内より相関の
   強い方のデータを選択する手段と、当該選択されたデー
   タを上記所定の基本処理ブロック毎に符号化する手段と
   を有することを特徴とする画像データの高能率符号化装
   置。
4. 【請求項４】特許請求の範囲第３項記載の画像データの
   高能率符号化装置において、上記ペアの各ブロックデー
   タの垂直方向の画素相関をとるそれぞれの相関演算手段
   は、それぞれ上記所定の基本処理ブロック毎に当該ブロ
   ックデータ内の垂直方向隣接画素間の差分絶対値を積和
   し上記それぞれのペアの基本処理ブロック毎に加算して
   求めるものであることを特徴とする画像データの高能率
   符号化装置。