JPS6125280A

JPS6125280A - 画像符号化復号装置

Info

Publication number: JPS6125280A
Application number: JP14570484A
Authority: JP
Inventors: Kenji Mase; 健二間瀬; Yasuhito Suenaga; 末永　康仁
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1984-07-13
Filing date: 1984-07-13
Publication date: 1986-02-04

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（１）産業上の利用分野本発明は、ディジタル画像による１画像蓄積。

ＴＶ会議等の動画像通信、あるいは画像情報検索システ
ムにおけるデータ伝送などにおいて１画像データを圧縮
、符号化し伝送あるいは蓄積する装置に関するものであ
る。

（２）従来の技術と発明が解決しようとする問題点従来
のこの種の装置には、（ａ）原画像のＰＣＭデーデー直
接扱うＰＣＭ符号化方式、（ｂ）ランレングス符号化方
式、（Ｃ）コサイン符号化方式、（ｄ）ブロック符号化
方式、などのＴＶカメラ等から入力した自然画像を帯域
圧縮して符号化、復号（再生）する部類の方式（（ａｌ
　−＋ｄｉ　）と、幾何学情報をデータタブレット等を
用いて作成し幾何学図形の集合として画像を表現する（
ｅ）コマンド符号化方式等、を装置化したものがあった
。

このうち、自然画像の符号化であるｆａ＋　−＋ｄ＋は
符号化後のデータ量が１枚の画像当たり６４キロバイト
から７５０キロバイトにもなり、蓄積時には大容量の記
憶装置を必要としたり、狭帯域の通信回線を使う伝送時
には１枚の画像伝送に時間がかかり、動画像として送る
ことが出来ないという問題があった。一方、（ｅ）のコ
マンド符号化方式は。

直線、多角形１円の集合で画像を記述する方式であり、
データ量が非常に小さくなるという利点があるが、自動
的に符号化できる対象画像は塗り絵の下絵のようにごく
簡単なものに限られたり、細かな画像を作成するために
は大量の手作業を必要とし、テレビカメラ等から取り込
んだ画像の符号化は不可能であるという欠点があった。

さらに最近では、原入力画像を２値化して符号化するな
ど。

高能率圧縮をこころみた方法が提案されているが。

復号した画像の品質が低いという問題がある。

（３）問題点を解決するための手段本発明はこれらの問題を解決する失め、原入力画像を多
角形等の閉領域の集合に分割し、該閉領域の頂点と該頂
点に対応する特徴量を用いて該閉領域の形状と表示属性
を記述し符号化するものであり、あらゆる種類の画像を
効率よく符号化し。

品質の高い復号画像を得る手段が得られる。

（４）実施例第１図は１本発明の画像符号化復号装置を使用した符号
化復号システムの１実施例を示す構成図であって、２６
．２７はそれぞれ画像符号化復号装置、１は、原入力画
像を符号化部に入力するテレビカメラ等の画像式カニニ
ット、２は、原入力画像から特徴点と該特徴点に対応す
る特徴量を抽出する画像処理ユニットである。３は１画
像°処理ユニット２の処理結果である特徴点と特徴量を
符号化する符号化器、４は、符号化データを蓄積す−る
磁気ディスク等のデータ蓄積ユニット　５は。

符号化データを別の場所に設置した他の本発明の画像符
号化復号装置２７とやり取りして通信を行う場合の伝送
路である。６は、符号化データを上記特徴点の座標値と
上記特徴量に復号する復号器。

７は、該特徴点と該特徴量から原入力画像を”再生する
画像再生ユニット、８は、再生された画像を表示する表
示ユニット、９は、原入力画像情報である。

なおここで、データ蓄積ユニット４はテレビ会議のよう
な実時間システムではとくに必要としない。また、これ
とは逆に、スタンドアロン型の情報検索装置では伝送路
５を必要とせず、データ蓄積ユニット４の記憶媒体に、
入力した情報の符号化データを蓄えることになる。

このシステムをテレビ会議用システムとして使用する場
合には１次のように動作させる。まず。

画像式カニニット１により人物等の画像を入力しアナロ
グ／ディジタル変換してディジタル化された原入力画像
を得る。

本発明の装置は、Ｒ，Ｇ、Ｂ表現されたカラー画像、Ｙ
、１．Ｑ分離画像、白黒の濃淡画像のいずれにも適用可
能であるが、以下には説明の簡単化のた−め白黒濃淡画
像の場合について説明する。

第２図の９は人物の顔画像をディジタル化して得た原入
力画像の例である。以下の説明では画像の大きさを２５
６Ｘ２５６画素、各画素の濃度値は１（ｂｉｔに量子化
されているとする。

本発明の装置は、任意の画像をある表示属性をもった閉
領域の集合に分割することができるという性質を利用す
る。すなわち、１個の画像は、閉領域の形を表わすデー
タと、該閉領域内部の表示属性を一意に決定するデータ
の集合で記述できることになる。そこで２本発明の装置
は、閉領域に対してはその形を表わすために特徴点を利
用し。

表示属性に対しては該特徴点と組み合せた特徴量の形式
で表現して、効率的な画像の記述を達成する。

ここで２表示属性とは、単に該閉領域内の色又は濃度値
であったり、ある方向に対する濃度値の微分値であった
りするほか、該閉領域の濃度値の分布が統計的に仮定で
きるときの統計量（例えば。

平均値９分散など）等、広範なものをさす。上記統計量
を用いるときには、上記分布に従った乱数発生器などを
画像再生ユニット７の中で使って。

該分布に適合した濃度値パターンを該閉領域内に生成す
る。

上記性質を利用するため本発明の装置は、原入力画像情
報９を前記画像処理ユニット２に投入し特徴点の抽出を
行う。本発明の装置では、後に示す画像再生ユニット７
にとって原入力画像を再生するのに適当で十分な特徴点
を９画像処理ユニット２が抽出しさえすれば良いのであ
り、基本的にはこの特徴抽出の方法を特定する必要がな
い。

従って上記閉領域を形成するための特徴点の抽出には、
ディジタル画像処理の手法としてよ（知られている各種
のしきい値処理と微分型フィルタ等（例えば文献、長尾
真訳：「ディジタル画像処理」、近代科学社刊、ｐｐ、
２６５−３４０．１９７８）の中から任意の手法を使う
ことができる。

上述したとおり１本装置の画像処理ユニット２および画
像再生ユニット７はその中の処理手法を限定しないため
汎用性が高いが、非常に再現性のよいしかも符号化効率
の高い符号化復号を達成しようとするときには、全ての
方法を許容するものではない。領域分割したとき各領域
に割り当てる最適な表示属性の選択と、領域分割のため
に必要な最適な特徴点の抽出の手法を上記ディジタル画
像処理の手法から選択することは重要な要素となる。

例えば、多角形内部の表示色が任意の切断線上で適当な
関数（例えば、線形関数など）で表現されるように変化
するといった表示属性を使うときには、特徴抽出の方法
として２次微分フィルタを用いると再現性の良い符号化
復号装置が得られる。

そこで以下にしきい値処理と１局所２次漱分フィルタの
組み合せによる特徴抽出方法を用いた画像処理ユニット
２の構成と動作の実現例を第３図により説明する。

第３図は上記画像処理ユニット２の構成例であり１図中
、１０および１１はそれぞれ画像データを記憶する画像
メモリＡおよび画像メモリＢ、　　１２はしきい値処理
部、１３は微分演算部、１４は抽出された特徴点の情輯
を記憶するデータバッファ、１５は微分画像情報である
。

この動作は、まず原入力画像情報９を画像メモリＡＩＯ
に格納する。次に画像メモリＡＩＯを順次走査し、走査
している画像を中心として３点分の画素データを微分演
算部１３に読み込む。

読み込むべき画素データの位置は、第４図に示すように
これらをそれぞれＰ、ＰＩ、Ｐ２とすると、走査してい
る画素Ｐの座標（ｘ、ｙ）に対して、ｐｉは（Ｘ　＋　
ｋ、　ｙ）　、　ｐ　’ｌは（ｘ−に、　ｙ）の座標の
画素となる。ここで定数には通常１から１０の範囲の整
数であり１本装置の使い方により一定定数としたり、可
変定数とすることができる。

微分演算部１３は、順次走査の各ステップでＰの値Ｇ（
ｘ、ｙ）と、Ｐｌの値Ｇ　（ｘ＋に、ｙ）と、Ｐ２の値
Ｇ（ｘ−に、ｙ）にたいし次式の演算を実行し、現走査
画素ｌｘ、ｙ）の２次微分画素値Ｄ　（ｘ、ｙ）を求め
９画像メモリＢｌｌの該画素位置（ｘ、ｙ）に格納する
。

Ｄ（ｘ、　　）’）＝Ｇ（ｘ＋に、　　ｙ）＋Ｇ（ｘ−
に、　　ｙ）−２０（ｘ、ｙ）　　　　−−−−−−−
−−−−−（ｉ）画像全体について上記処理を実行した
後には１画像メモリＢｌｌには微分画像情報１５が生成
されている。

次に、微分画像情報１５に対して、しきい値処理部１２
を使って特徴点の抽出を行う。しきい値処理部１２の動
作は１画像メモリＢｌｌから順次微分画像１５の画素デ
ータを読み込んで該画素データが次の条件を満たすとき
、当該位置を特徴点とし、該位置の座標データと該座標
データで示される位置の特徴量を組にして、データバッ
ファ１４を介して符号化器３に送る。

上記条件には。

ｌ　Ｄ　’（ｘ　、　　ｙ　）　　ｌ　≧Ｔ　　−−−
−−−−−−−−−−（ｉｉ’）を使うことができる。

ただしＴはあらかじめ設定したしきい値である。特徴量
は上記特徴点座標（ｘ、　　ｙ）に相当する原入力画像
情報９の画素値データＧ　（ｘ、　　ｙ）をそのまま用
いる。

符号化器３．復号化器６はそれぞれ前記抽出された特徴
点の座標と特徴量を磁気デーイスク等のデータ蓄積ユニ
ット４に対し、蓄積・読出しをしたり、あるいは伝送路
５−を通してデータを送るために、コード変換及び逆変
換を行う。復号化器６では、符号化したデータが完全に
復元されるような復号手順を用いて、上記の特徴点座標
と、特徴量を求め２画像再生ユニット７に送る。

画像再生ユニット７の構成例を第５図に示す。

１６は人力された特徴点座標と特徴量のデータを一時的
に格納するデータバッファ、１７および１８は画像メモ
リＣおよびＤであり、それぞれ特徴点画像を格納する画
像メモリと再生画像を格納する画像メモリの役目を果す
。１９は、多角形データを格納する作業用バッファ、２
０は近傍判定器。

２１は特徴点接続器、２２は多角形合成器、２３はＤ／
Ａ変換器、２４は特徴点画像情報、２５は再生画像情報
である。

これらの動作は次のようになる。まずデータバッファ１
６のデータから１組になった特徴点座標と特徴量をもと
に画像メモリＣ１７の該特徴点座標上の画素に該特徴量
を書き込み１画像メモリＣ１７に特徴点画像情報２４を
展開する。

次に、該特徴点画像情報２４に対して、近傍判定器２０
および特徴点接続器２１を使って多角形を構成し、該多
角形データを作業用バ、ツファ１９に形成する。近傍判
定器２０は各特徴点間の距離を計算し、設定したしきい
値以下の距離にある特徴点を近傍にあると判断する。特
徴点接続器２１は近傍判定器２０の出力結果をつかって
近傍にある特徴点同士を順番に作業用バッファ上で接続
し。

全部の特徴点を使って多角形データを作業用バッファ１
９εこ形成する。

第６図の乃至■は３作業用バッファ１９の内容が多角形
データの形成につれて変わる様子を示したものである。

第６図■は説明のための特徴点画像情報の例であり、各
番号３０乃至３９は以下の説明で用いる特徴点の番号で
ある。

第６図■は近傍判定器２０により近傍として判定された
特徴点の組が作業用バッファ１９に書き込まれたところ
である。特徴点接続器２１は作業用バッファ１９を順次
調べ、別の欄の特徴点で同じ番号の特徴点を持つ組を捜
して、もしあれば現在調べている特徴点の組の欄に新た
に上記特徴点を接続し多角形を形成する。

第６図■は処理の終了した状態の作業用バッファ１９の
内容である。

第６図■は形成された多角形を特徴点画像情報上に重畳
して書き示したものである。回内の記号は最終状態にお
ける作業用バッファ１９の各多角形を識別する記号と対
応する。

なお、第６図では特徴点の記述を簡略化し番号で示して
いるが、実際には該特徴点の座標と特徴量が入っている
。

多角形合成器２２は、上記作業用バッファ１９に形成さ
れた。多角形情報と該多角形の頂点となる各特徴点の特
徴量から再生画像を合成する。その動作は、１個１個の
多角形の内部を上記特徴量から決定される表示属性に合
うように多角形内部を塗りつぶし２合成結果を画像メモ
リＤ１Ｂに順次書き込む。塗りつぶしの方法は、前記画
像処理ユニット２において抽出する特徴点が、２次微分
フィルタで抽出されかつ特徴量が該特徴点上の原入力画
像の画素値のときは、第７図■乃至■で説明するシェー
ディング塗りつぶしの技法を用いる。

第７図■は説明のため１作業用バッファ１９に形成され
た多角形情報のうちの１個の多角形に注目して多角形の
形と、特徴量を図式化した図である。図において１口は
特徴点２口内の数字は特徴量、横の数字は特徴点座標を
表わす。多角形合成器２２はまず、多角形の隣接する頂
点を接続する線分を発生し、線分の座標点リストをつ（
る。該座標点リストは表示ユニット８の解像度の１走査
線ごとに１個のＸ座標が対応するようにつくり。

該Ｘ座標の列を座標点リストとする。いま、２頂点が（
ｘａ、ｙａ）、（ｘｂ、ｙｂ）（ｙａ≦ｙｂとする）の
とき、座標点リスト　（ｘｏ、ｘｉ。

ｘ２．ｘ３．・・・、ｘｎ）は次式で求まる。

ｘｋ＝ｘａ＋ｋＸ（ｘｂ−ｘａ）／ｎ−−−−−（ｉｉ
ｉ）ただし、ｘｏ＝ｘａ、ｘｎ＝ｘｂ、に＝０．１゜２
、・・・、ｎ、ｎ＝ｙｂ−ｙａである。このとき。

前記線分の座標点は（ｘｋ、ｙｋ）；ｙｋ＝ｙａ＋にで
求まる。また、座標点リストには該特徴点の特徴量を線
形内挿して二次特徴量としてリストに書き込む。以上の
座標点リストの生成を多角形の各線分について行う。

第７図■は二次特徴量をかきこんだ状態の座標点リスト
である。座標点リストには最上の点に相当するＸ座標、
すなわちｙａを記録しておく。次に上記座標点リストか
ら塗りつぶしを以下のように行う。

第７図■のように各線分の座標点リストからｙｋが同一
となる座標点のＸ座標ｘｐ、ｘｑ　（ｘｐ≦ｘｑ）とそ
れぞれの二次特徴量Ｓｐ、Ｓｑを取り出す。上記データ
から第７図■のように、前記画像メモリＤ１８上に、上
記Ｘ座標で指定された２点間に水平線分２８を引くが、
水平線分２８上の画素値は上記二次特徴量を線形内挿し
て割り当てる。すなわち、水平線分上の点のＸ座標をｘ
ｒＨｘｐ≦ｘｒ≦ｘｑとすると、咳点の画素値Ｄｒ（ｘ
　ｒ、　　ｙ　ｋ）は。

Ｄｒ＝Ｓｐ＋（ｘｒ−ｘｐ）Ｘ（Ｓｑ−３ｐ）／（ｘ　
ｑ　−ｘ　ｐ）　　−−−−・−ｍ−−−・−−−−−
−−一−−−−（ｉｖ　）で求まる。ただしＳｐ、Ｓｑ
は前記二次特徴量である。

上記水平線分の発生を前記１個の多角形全体の座標点リ
ストに対して行うと、第７図■のような陰影のついた多
角形２９が画像メモリＤ１８上に形成される。そこで、
上記の多角形発生の処理を。

前記多角形合成器２２を用いて作業用ハソファ内の全多
角形データに対して行うと１画像メモリＤ１８上に最初
に本発明装置の画像処理ユニット２に投入された原入力
画像が再生画像情報２５として再生される。該再生画像
と原入力画像の一致度は画像処理ユニット２の微分演算
部１３における定数に、　　しきい値処理部１２のしき
い値Ｔ、の影響を受ける。一般的には符号化時のデータ
量は一致度を低くするほど小さくなるため１本装置の使
用環境に合致したパラメータの設定が必要である。

画像再圧ユニット７は、再生画像情報２５をＤ／Ａ変換
器２３で表示用のアナログ信号に変換して９表示ユニッ
ト８に表示する。

なお１本発明装置の実施にあたって、前記画像メモリＤ
１８を使わずに、座標点リストから直接Ｄ／Ａ変換して
表示する方式は容易に構成されることは言うまでもない
。

（５）効果の説明以上説明したように１本装置は画像の効率的符号化のた
め、原入力画像を多角形の集合に分解し。

該多角形の頂点となる特徴点、該特徴点上の特徴量のみ
で原入力画像を記述する。しかも、該特徴点の数は３０
０から２０００で十分な原入力画像の再生ができ、特徴
点の座標と特徴量のデータ量は非常に少なくてすむ。た
とえば１点当たりのデータ量を５バイトとすれば、５０
０点の特徴点データ量は２．５キロバイトにすぎない。

したがって。

狭帯域の動画通信あるいは大容量データベースの符号化
復号装置としての利点がある。また１本装置の各構成ユ
ニットの動作は非常に簡単であり。

高速プロセッサの利用によりその実現は容易であ

【図面の簡単な説明】

第１図は本発明装置を使用した符号化復号化システムの
１実施例構成図、第２図は原入力画像の１例を示す図、
第３図は画像処理ユニットの構成図、第４図は２次微分
フィルタの動作説明図、第５図は画像再生ユニットの構
成図、第６図は処理にともなう作業用バッファの内容説
明図１第７図はシェーディング塗りつぶし技法の説明図
である。図中、１は画像人カニニット、２は画像処理ユニット、
３は符号化器、４はデータ蓄積ユニット。５は伝送路、６は復号器、７は画像再生ユニット８は表
示ユニット、９は原入力画像情報、１０およ−び１１は
それぞれ画像メモリＡおよび画像メモ’ＪＢ、１２はし
きい値処理部、１３は微分演算部。１４はデータバッファ、１５は微分画像情報、】６はデ
ータバッファ、１７および１８はそれぞれ画像メモリＣ
および画像メモリＤ、１９は作業用バッファ、２０は近
傍判定器、２１は特徴点接続器、２２は多角形合成器、
２３はり、／Ａ変換器。２４は特徴点画像情報、２５は再生画像情報、２６およ
び２７は本発明の画像符号化復号装置を示す。特許出願人　　　　日本電信電話公社代理人弁理士　　　　森　１）　寛第　３［２１第　７　図 ■　　　　　■ −＋笈

Claims

【特許請求の範囲】

（１）符号化部および復号化部を有し、符号化部におい
ては、原入力画像から特徴点を複数個抽出しさらに該特
徴点上の特徴量を該原入力画像より計算する画像処理ユ
ニットと、得られた特徴点の座標と特徴量を組み合わせ
て符号化データとする符号化器とを備え、復号部におい
ては、前記符号化データを前記特徴点の座標と特徴量と
に変換する復号器と、得られた該特徴点座標と該特徴量
から隣接する特徴点同士を接続して閉領域を形成し、さ
らに該閉領域内の任意の点の画素の値を該閉領域を形成
する特徴点の特徴量を用いて計算することにより前記原
入力画像を再生する画像再生ユニットとを備えることを
特徴とする、画像符号化復号装置。
（２）符号化部においては、原入力画像から特徴点を複
数個抽出しさらに該特徴点上の特徴量を該原入力画像よ
り計算する画像処理ユニットと、得られた特徴点の座標
と特徴量を組み合わせて符号化データとする符号化器と
を備え、復号部においては、前記符号化データを前記特
徴点の座標と特徴量とに変換する復号器と、得られた該
特徴点座標と該特徴量から隣接する特徴点同士を接続し
て多角形を形成し、さらに該多角形内の任意の点の画素
の値を該多角形を形成する特徴点の特徴量を用いて計算
することにより前記原入力画像を再生する画像再生ユニ
ットとを備えることを特徴とする、特許請求の範囲第（
１）項記載の、画像符号化復号装置。
（３）前記画像処理ユニットは、前記特徴点の特徴量と
して原入力画像における該特徴点上、あるいは該特徴点
の近傍点上の画素の値を用いるユニットであり、前記画
像再生ユニットは、前記特徴点を接続する接続線上に二
次特徴点を設け、該二次特徴点の二次特徴量を前記接続
された特徴点の特徴量を補間して計算し、さらに前記多
角形内の任意の画素について、該画素を通過する直線上
に存在する前記二次特徴点を補間して該画素の値を決定
することにより前記原入力画像を再生するユニットであ
ることを特徴とする、特許請求の範囲第（１）項記載の
、画像符号化復号装置。