JPH04108285A - 画像データの高能率符号化方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は１画像データの高能率符号化方式に関するもの
である。

〔発明の概要〕

一般に画像データの高能率化方式では、隣接画素との相
関を利用してデータの圧縮を行う。従ってＴＶカメラ出
力などのインタレース画像を符号化する場合はノンイン
クレース変換し、ノンインタレースデータとして垂直方
向の画素相関を強くしてから符号化する方が圧縮効率が
高くなる。しかし画像内に動きが生じた場合、ノンイン
タレースデータでは動いた物体のエツジがライン単位の
くしの書状になるなど垂直方向の相関が著しく低下する
。このため動きのある部分ではインタレースデータで符
号化した方が良い場合が多い。

そこで本発明では、ノンインタレースデータとインタレ
ースデータの両方を作り、各々の垂直方向の相関を求め
、より相関の強い方のデータを選択し符号化することで
、動きのある部分はインタレースデータで、＃止してい
る部分はノンインタレースデータで適応的に符号化する
ことを可能とした。これにより、従来問題であった動画
に対する劣化を改善し、より効率良く符号化することが
できるようになる。

〔従来の技術〕

従来静止画用の高能率符号化装置などでは、第２図に示
すように、まずカメラ２ｏがら出力されたインタレース
画像２１をＡ／Ｄ変換器２２でディジタル化する。そし
てＡ／Ｄ変換器２２の出力であるインタレースデータ２
３をフレームメモリ２４でノンインタレースデータ２５
に変換し、垂直方向の隣接画素の相関を強くしてから符
号化処理部２６で圧縮処理をすることが多い。

ところが動画に対しては必ずしも上記方式は適切でない
。例えば９画像内の物体Ａがフィールド１とフィールド
２で動いたとした場合、インタレースデータとして見る
と第３図のフィールド１゜２に示したようになり、これ
をノンインタレースデータとして見ると第３図のフレー
ムに示したようになる。これから明らかなように動いた
部分について見るとノンインタレースデータにすること
で垂直方向の隣接画素の相関が極端に劣化し圧縮しにく
くなる。むしろインタレースデータのまま処理した方が
圧縮し易いが、動画像に対して常にインクレースデータ
として扱えば、動きのある部分ばかりではないため、全
体の符号化効率は良くならない。従来技術にはこれを解
決する適切な方法がなかった。

〔発明が解決しようとする課題〕

前述の従来技術には、動画像に適用した場合。

フィールド１とフィールド２の間で動きのある部分にお
いては、ノンインタレースデータにしたことにより、垂
直方向における隣接画素の相関が低下し、圧縮しにくく
なるという欠点がある。

本発明は、これらの欠点を解決するために、動きに応じ
てインタレースデータとノンインタレースデータを切り
替えて、垂直方向における隣接画素の相関が常に損われ
ないようにし、動画像にだいしても効率よく符号化する
ことを目的とする。

〔課題を解決するための手段〕

第１図は本発明の全体構成を示すブロック図である。但
し、説明の都合上ブロック符号化を前提とした。図にお
いて、カメラ１の出力であるインタレース画像２はＡ／
Ｄ変換器３に入力され、そのＡ／Ｄ変換Ｉ１３の出力で
あるインクレースデータ４はノンインタレース変換部５
に入力され、そのノンインタレース変換部５の出力であ
るノンインタレースデータ６はブロック分割部７に入力
され、そのブロック分割部７の出力はブロックノンイン
タレースデータ８となる。このブロックノンインタレー
スデータ８は、セレクタ１７と、相関演算部１１とイン
タレース変換部９に入力される。

このインタレース変換部９の出力であるブロックインタ
レースデータ１０はセレクタ１７と相関演算部１２に入
力される。また、比較［１５には前記相関演算部１１．
１２の出力で、相関の強弱を示す相関値１３．１４が入
力され、比較ａｌ１５の出力である制御信号１６はセレ
クタ１７と符号化処理部１９に入力される。このセレク
タ１７の出力であるデータ１８も符号化処理部１９に入
力される。

〔作用〕

本発明の動作について以下に述べる９第１図のカメラ１
はインタレース画像２を出力し、そのインタレース画像
２をＡ／Ｄ変換器３でディジタル化する。次にこのＡ／
Ｄ変換器３の出力であるインタレースデータ４を、ノン
インタレース変換部５によってデータの並びを替えノン
インタレースデータ６とし、全体に垂直方向の隣接画素
の相関を強める。次にブロック分割部７でブロック符号
化処理がし易いようにブロック単位のデータの並びに変
更し、かつ垂直方向に連続する２ブロツクをペアとした
ブロック順として、これをブロックノンインタレースデ
ータ８とする。このブロックノンインタレースデータ８
をそのまま符号化処理すると前述のように動きのある部
分で問題となる。

そこで前記ペアのブロックノンインタレースデータ８を
インタレース変換部９に入力し、２ブロツク間でインタ
レース変換をする。

例えば第４図（ａ）に示すブロック１．ブロック２とい
う垂直２ブロツクのブロックノンインタレースデータ８
を前記インタレース変換部９で処理したブロックインタ
レースデータ１０は、第４図（ｂ）のようにフィールド
１のデータがブロック１．フィールド２のデータがブロ
ック２になる。

このとき第４図（ｂ）のブロック１とブロック２の境界
に画像として、不連続が生じ画素の値に大きな隔たりが
生じる恐れがありうるが、基本的にブロック符号化では
ブロック内に前記隔たりが生じなければ良いので問題と
ならない。

次に前記ブロックノンインタレースデータ８とブロック
インタレースデータ１０についてそれぞれ相関演算部１
１．１２を用い垂直方向の画素相関を求める。具体的に
は符号化処理部１９の符号化方式に対する圧縮のし易さ
を求めるわけで、符号化処理部１９の符号化方式が異な
れば、前記相関演算部１１．１２の内容も多少異なるこ
とはある。そしてその結果である相関強度を示す相関値
１３．１４を比較器１５で比較し、制御信号１６によっ
てセレクタ１７を制御することで、ブロックノンインタ
レースデータ８とブロックインタレースデータ１０のう
ちより圧縮し易い方をデータ１８として後段の符号化処
理部１９に人力することができる。また、セレクタ制御
信号１６も符号化処理部１９に入力し、各ブロックがブ
ロックノンインタレースデータ８とブロックインタレー
スデータ１０のどちらを選択したかを示す情報として、
符号データに付加する。従って、符号化処理ではこの情
報をもとにもとの画像データの並びに構成することがで
きる。

以上のように本発明では、ブロックノンインタレースデ
ータ８とブロックインタレースデータ１０の２つのうち
圧縮し易い方を用いることで、基本的に動きのない部分
はブロックノンインタレースデータ８を使用し、動きの
激しい部分ではブロックインタレースデータ１０を使用
して、符号化することができる。これにより、従来技術
における動きのある部分で垂直方向の画素相関が極端に
低下し圧縮劣化が著しくなるという問題を解決すること
が可能である。

なお、前述ではペアのブロックを用いてインタレース変
換をする説明をしたが、前記画像としての不連続がブロ
ック内に生じても問題ない符号化方式（例えばブロック
内をさらに小さいブロックで分割して符号化する場合な
ど）では、１ブロツクごとにインタレース変換しても可
能である。また、ブロック符号化以外であれば、インタ
レース変換する単位は任意である。さらに、第１図のブ
ロック分割部７から、第４図（ｂ）に示すようなブロッ
クインタレースデータ１０が出力されるようにし、イン
タレース変換部９にノンインタレース変換部を設定して
も可能である。

〔実施例〕

以下、第１図のブロック分割部７以降の部分について１
本発明の一実施例を第５図に示す。また符号化方式は特
開昭６２−２５２２１７号（「データ符号化方式」）公
報等に示されている非等長ブロック分割符号化方式で符
号化するものとする。

この符号化方式は１例えば１６画素Ｘ１６画素のブロッ
クに対し、各ブロック内の画素の変化に応じて１６画素
Ｘ１６画素、８画素×８画素、４画素×４画素、２画素
×２画素の各ブロックで適応的にさらにブロック分割を
するもので９分割されたブロック内の画素を（１）式に
示す双線形関数で近似する。なお、この時１６画Ｊｘ１
６画素を基本処理ブロックと呼ぶことにする。

ｆ、、＝　ａｉｊ　十ｂｉ　＋　ｃｊ　＋ｄ　・−・（
１）ＣＩＩＪ）はブロック内の画素の位置を示すもので
、ｉは水平位！ｊは垂直位置とする。　ｆ　は（ｉ、ｊ
）は画素の近似値となりｌ　ａ、ｂ、ｃ。

ｄが（１）式の係数である。つまり、垂直方向の変化は
係数ａとＣのみで表現されるため、複雑な変化には対応
できず、単純に垂直方向の画素の相関が強い方が圧縮し
易いことになる。

では、第５図の説明をする。ここでは前記非等長ブロッ
ク分割符号化の基本処理ブロックを１６画素×１６画素
とする。従って第５図のデータ２８は、１６画素Ｘ１６
画素に分割されたノンインタレースデータで、かつ垂直
方向に連続したベアの基本処理ブロックになっていると
する。このデータ２８は、ペアの基本処理ブロック単位
にメモリ３０に入力され９次にメモリ３０がらの読み比
し順を変えて、第４図（ｂ）に示したようなインタレー
スデータであるデータ３２になる。一方。

ノンインタレースデータのデータ２８はシフトレジスタ
２９にも入力され、前記データ３２が出力されるまで遅
延させられデータ３１となる。ここで同期のとられたデ
ータ３１とデータ３２は、各々の垂直方向の画素相関を
求めるために、メモリ３３とメモリ３４に各々入力され
る。次にメモリ３３．３４から垂直方向の画素相関を求
めやすいように各基本処理ブロック内のデータを垂直方
向に読み出しデータ３５．３６とする。そしてデータ３
５はラッチ３７と減算器４１のｂに、データ３６はラッ
チ３８と減算器４２のｂに入力される。

ラッチ３７とラッチ３８の出力であるデータ３９゜４０
はそわぞれ１画素遅れた画素データとして。

前記減算器４１のａと減算器４２のａに各々入力される
。ここで減算器４１．４２はａ−ｂの絶対ｗ１をＣとし
て出勾するものとする。従って′Ｊ１．Ｗｉ１４１．４
２の出力であるデータ４３．４４には垂直方向隣接画素
閉の差分絶対値が得ら九る。次にデータ４３を、加算器
４５．データ４７．ラッチ４９、データ５１のループに
よって積和する。データ４４も同様に加算器４６．デー
タ４８．ラッチ５０．データ５２のループにより積和す
る。従って最終的にデータ５１には、ノンインタレース
データの場合の隣接画素間の差分絶対値の積和がペアの
基本処理ブロックごとに得ら九、データ５２にはインタ
レースデータの場合の隣接画素間の差分絶対値の積和が
ペアの基本処理ブロックごとに得られることになる。二
のデータ５１とデータ５２の値を相関値と呼ぶこと−こ
する。

以上垂直方向の画素相関の求め方を式（２）にここで、
（ｉ＋　ｊ）は基本処理ブロック内の画素の位Ｉを示し
、１は水平方向、Ｊは垂直方向の立夏を示すものとする
。また、ｅ　はペアの基本処理ブロックの一方の画素の
値で、己　はもう−方の基本処理ブロックの画素の埴を
示すものとする。従って、（２）式により得られる相！
！！埴は。

値が小さい程田間が強いことを示すことになる。

２九により比較器３３ては、ノンインタレースデータで
あるデータ３１の相関！ｌｉをデータ５１がら、またイ
ンタレースデータであるデータ３２の相間［をデータ５
２から得ることができ、その大小を比較して値の小さい
方、つまりより相関の強い方をスイッチ５９で選択でき
るように制御信号５４を出力する。一方、データ３１．
３２は舵面制御信号５４が出力されるまでシフトレジス
タ５５．５６で各々遅延させられ、データ５７．５８と
してスイッチ５９に入力される。そしてスイッチ５９は
相関の強い方の基本処理ブロックのペアをデータ６０と
して出力し、非等長ブロック分割符号化部６１の入力と
する。なお、制′Ｓ信号５４もどちらを選択したかを示
す情報を符号データに付加するために、非等長ブロック
分割符号化部６Ｌに八〇される１以上−二上り、静止し
でいる部分と１Ｉｌｌきのある部ン）にχｒＬ、　　１
′ンタレースデータ。

ノンインタレースデータを２つの基本処理ブロフクごと
に適応的に選択−で圧縮する二とができる。

次に前記相関値によって選択が行ゎ九る具体例を示す、
まず、第６図にペアの基本処理プロソゲ内で斜線の物体
が静止している場合のノンインタレースデータを示す。

これは第５図においてはデータ３１に１′！１′ｕｉす
る。次ふここの第６図をインタレースデータにしたもの
を第７図に示す。これは第５図のデータ３１に相当する
。この第７図では各基本処理ブロック内に水平ラインの
エツジが２本あり、第６図よりは圧縮しにくいものにな
っている。そこで第６図、第７図の斜線部分の輝度値を
１０、その背景の輝度値を○として、第５２に示した手
段による相関値を求めると。

第６図の相関値＝１４゜ 第７図の相関値＝２８０ となり、１４０＜２８０であるから、第６図が正しく選
択される二とになる。

次に男６図のｔｊ＋線の物体力１フィールド２で水平方
向４画素移動した場合を第８（ｉｉ！ｌ；こ示す、これ
も第５図のデータ３１に相当する力１．従来間麗となっ
ていた動きにより垂直方向の相関力１低下した一例であ
る。そして、第３図をインタレースデータにしたものが
第９図で、第５図のデータ３２しこ相当する。第８図と
第９図を比べると明ら力１Ｌこインタレースデータの第
９図の方力１圧縮し易し）。そこで、第５図に示した手
段で相関値を求めると。

第８図の相関値＝１０２０ 第９図の相関値＝　２００ となり、２００＜１０２０である力為ら、今度はインタ
レース状態の第９回力（正しく選択されることになる。

以上のように、前記（２）の簡単な弐しこよっても適切
に、静止してｂする部分し士ノンインタレースデータで
、また動（１て一＼る部分４士インタレースデータで自
動的に選択し、圧縮する二と力；可能である二とがわか
る。

〔発明の効果〕

本発明により１本来の符号化処理内部を変更することな
く、その前も理という形で静止している部分はノンイン
タレースデータで処理し、動きのある部分はインタレー
スデータで処理するという適応処理が可能となり、動画
に対する著しい圧縮劣化を改善できる７

【図面の簡単な説明】

第１図は本発明の全体構成を示すブロック図。 第２図は従来技術例を示すブロック図、第３図は動きの
ある場合に垂直方向の相関が無くなる例を示す図、第４
図は本発明によるブロック単位にインタレース変換した
例を示す図、第５図は本発明の一実施例を示す図、第６
図は静止画をノンインタレースデータとして見た図、第
７＠は静止画ヲインタレースデータとして見た図、第８
図は動画をノンインタレースデータとして見た図、第９
図は動画をインタレースデータとして見た図である。 ５：ノンインタレース変換部、６：ノンインタレースデ
ータ、７：ブロツク分割部、８ニブロツクノンインタレ
ースデータ、９：インタレース変換部、１０；ブロンク
インタレースデータ、１１゜Ｌ２：用関演算部、Ｌ３．
Ｌ↓：川関値、１５：比較器、１６二制御信号、１７：
セレクタ、Ｌ８：データ、）９：符号化処理部。 第１図

Claims (1)

1. 【特許請求の範囲】 １、インタレース画像を入力し、その画像データについ
   てノンインタレース変換したノンインタレースデータと
   ノンインタレース変換しないインタレースデータについ
   て垂直方向の画素相関を求め、両者のうちより相関の強
   い方のデータを選択して符号化を行うことを特徴とする
   画像データの高能率符号化方式。 ２、上記相関を求める際、１画像における縦横一定の画
   素数で分割した単位小画像ごとに行うことを特徴とする
   特許請求の範囲第１項記載の画像データの高能率符号化
   方式。 ３、上記相関を求める際、単位小画像の画素数を符号化
   における基本ブロック画素数の縦２倍、横１倍の大きさ
   とすることを特徴とする特許請求の範囲第２項記載の画
   像データの高能率符号化方式。