JP2743208B2 - 画像補完符号化装置 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 画像データを圧縮符号化するための装置に関し 直交変換結果における高周波成分を０に抑え、符号化
における圧縮効率の低下を防止した画像補完符号化装置
を提供することを目的とし、 画像を所定の大きさを有する部分画像であるブロック
に分割し直交変換を用いて符号化を行う画像符号化部に
おいて、画像領域の境界部分を含むブロックを画素列に
分解するとともに、該画素列における領域の境界を示す
データを発生するブロック分解部と、該画素列における
領域内の画素の値から高周波成分が０になるように領域
外の画素に対する補完値を解析的に決定する解析部と、
該補完処理を行って得られた横方向または縦方向の画素
列からブロックを再構成するブロック形成部とからなる
画像補完部を備え、画像領域の境界部分を含まないブロ
ックと、前記画像補完部からの補完されたブロックとに
よって符号化を行うことによって構成する。

〔産業上の利用分野〕

本発明は、画像データを圧縮符号化するための装置に
係り、特に直交変換符号化によって部分画像を符号化す
る際に、部分画像に満たない部分の補間を解析的に行う
ことによって、効率的に画像符号化を行えるようにした
画像補完符号化装置に関するものである。

近年において、大容量のデータをコンピュータで取り
扱うことが可能となり、画像データのような大容量のデ
ータをコンピュータで処理する技術が開発されている。
そしてこの際、データを蓄積するために必要な記憶装置
の大容量化も進んでいる。

しかしながら、取り扱うべきデータ量の増大は、記憶
装置の大容量化をはかるに上回っている。またデータ量
の増大の影響は、データの蓄積に関してだけではなく、
データの伝達（コミュニケーション）に関しては一層顕
著である。

このようなデータ量の増大に対処するためには、デー
タを効率的かつ高品質に圧縮できる技術が要求される。
画像データの場合のデータ圧縮の技術としては、予測符
号化，ベクトル量子化，変換符号化等、多くの技術が提
案されているが、なかでも変換符号化方式は圧縮率，画
像品質の点で有効と考えられている。

変換符号化方式においては、画像の矩形の部分画像に
分割し、各部分画像ごとに直交変換を行ってエネルギー
を集中させたのち、変換データを量子化することによっ
て、データ量を圧縮するようにしている。

このような変換符号化方式においては、部分画像単位
で符号化を行う際に、部分画像に満たない領域の存在に
基づいて、圧縮の効率が悪化しないようにすることが要
望される。

〔従来の技術〕

一般に、画像を構成する画素の濃度レベルは一様では
ない。しかしながら画像を局所的に観察した場合には、
近接する画素間の濃度レベルは滑らかに変化しており、
その濃度レベルには強い相関関係が認められる。画像の
符号化に際しては、この滑らかに変化するという事実に
注目し、この特徴を利用して符号化を行うようにする。
以下においては、直交変換による符号化の例として、離
散コサイン変換（DCT）による符号化方法について説明
する。

第７図は、画像のブロック分割を説明するものであっ
て、画像は図示のような小さな矩形領域である部分画像
（ブロック）に分割される。このブロックは、圧縮符号
化を行う際の処理の最小単位となるものである。画像を
このような小領域に分割するのは、前述のように小領域
ごとにみれば、画像の濃度レベルには強い相関があるた
めである。

次に各ブロックに対して、二次元の離散コサイン変換
を施す。離散コサイン変換によって、各ブロックは、濃
度値の分布のデータから変換結果の周波数成分の強度分
布のデータに変換される。画素の濃度レベルに強い相関
があるということは、変換結果において低周波成分の強
度が大きく、高周波成分の強度が小さいということを意
味している。そのため各ブロックは、離散コサイン変換
によって低周波数成分にエネルギーが集中する。

第８図は、離散コサイン変換によるエネルギーの集中
を説明するものであって、あるブロックにおいて離散コ
サイン変換を行ったために、低周波成分にエネルギーが
集中した様子を示している。図中、濃い色で表した部分
にエネルギーが集中して大きな値を示し、色が淡くなる
に伴ってエネルギーが低くなる。白い部分では変換値が
ほぼ０となるため、この部分を除去することによってデ
ータ量の圧縮を実現することができる。

画像をブロックに分割する際のサイズとしては，ブロ
ックの一辺のサイズが８（画素）,16（画素）等の2^K個
の画素からなる正方形を用いる。これは一辺が2^K画素の
矩形領域に対しては、離散コサイン変換の高速アルゴリ
ズムが存在し、ハードウエア化も行いやすいためであ
る。

しかしながら、実際の画像をブロックに分割する場
合、画像の大きさがブロックの整数倍の大きさでなく、
画像の端部を含むブロックを生じる場合がある。

第９図は、画像の端部を含むブロックを示したもので
あって、Ａは画像の端部を示し、斜線を施して示した部
分は、画像の端部を含むブロックである。

このような画像の端部を含むブロックでは、画像と画
像以外の空白部分の濃度レベルに差異が生じるため、離
散コサイン変換結果に高周波成分が発生して、データ圧
縮の効果を低下させる。

また、画像に対してその性質が一様な部分をまとめて
一つの領域とするような領域分割を行ったのち、各領域
ごとにブロックに分割して符号化を行う方式がある。

第10図（ａ），（ｂ）は、画像の領域分割を説明する
ものであって、（ａ）に示す原画を領域分割することに
よって、（ｂ）図中の１〜５に示される、月，空，山，
樹木の葉，樹木の幹のような、それぞれ類似の性質を有
する５個の領域が得られることが示されている。

直交変換を用いた符号化では、画素間の相関が強いほ
ど効率がよく、また品質がよいことが知られている。そ
のため画像を性質がよく似た領域に領域分割して、その
領域単位で圧縮することによって、より効率がよく高品
質な符号化を行うことができる。

しかしながら、このような画像の領域分割を利用した
符号化の場合には、領域の境界を含むブロックが多数発
生する。

第11図（ａ），（ｂ）は、領域のブロック分割を示し
たものであって、第10図（ｂ）に示された各領域1,4を
それぞれ矩形ブロックに分割した場合を例示し、両図に
おいて斜線を施して示したブロックのように、領域の境
界を含むブロックが発生することが示されている。

従来、このような画像の端部すなわち領域の境界を含
むブロックを符号化する際には、領域外の空白部分に
は、白や黒を表す値または、境界部分の値のような適当
な一定の値を充填して符号化を行っていた。

〔発明が解決しようとする課題〕

画像をブロックに分割し、そのブロックを単位として
直交変換によって画像を符号化する画像符号化方法で
は、画像の端部すなわち領域分割結果の境界がブロック
内に存在することになる。このようなブロックでは、領
域外の空白部分の値の補完を行うが、領域の境界部分で
濃度差が生じ、直交変換を行った際に高周波成分を強く
発生する。一般に画像は高周波成分を含まないので、こ
のようにして生じた高周波成分は、画像自体の性質とは
無関係であるにもかかわらず、画像の性質を歪めるだけ
でなく、圧縮符号化に際しては高周波成分まで符号化す
ることが必要となるため、画像圧縮の効率が低下すると
いう問題がある。

本発明はこのような従来技術の課題を解決しようとす
るものであって、画像内，領域内の画像の濃度レベルを
解析し、その結果を用いて境界外の空白部分を補完する
ことによって、直交変換結果における高周波成分を０に
抑え、符号化における圧縮効率の低下を防止した画像補
完符号化装置を提供することを目的としている。

〔課題を解決するための手段〕

本発明の画像補完符号化装置は、第１図にその原理的
構成を示すように、画像を所定の大きさを有する部分画
像であるブロックに分割し直交変換を用いて符号化を行
う画像符号化部11において、ブロック分解部19と、解析
部20と、ブロック形成部21とからなる画像補完部18を備
え、画像領域の境界部分を含まないブロックと、画像補
完部18からの補完されたブロックとによって符号化を行
うものである。

ここでブロック分解部19は、画像領域の境界部分を含
むブロックを画素列に分解するとともに、この画素列に
おける領域の境界を示すデータを発生するものであり、
解析部20は、この画素列における領域内の画素の値から
高周波成分が０になるように領域外の画素に対する補完
値を解析的に決定するものである。ブロック形成部21
は、このようにして補完処理を行って得られた横方向ま
たは縦方向の画素列からブロックを再構成する。

〔作用〕

本発明においては、画像をブロックに分解し、補完を
必要とする2^K×2^K画素からなるブロックを、補完の単位
である2^K個からなる画素列に分解し、領域の境界の情報
から補完を必要とする範囲を決定する。そして領域内の
濃度差から補完値を解析的に決定し、補完された画素列
からブロックを再構成する。

第２図（ａ），（ｂ）は、二次元の直交変換を説明す
るものであって、（ａ）に示すように最初、一次元の直
交変換を横方向に行い、その後、（ｂ）に示すように一
次元の直交変換を縦方向に行う。なおこの順序は逆でも
よい。

画像の補完はこれに合わせて一次元で行うので、ブロ
ック分解部では最初に直交変換を行う方向の画素列に分
解する。

例えば８×８の画素からなるブロックを、第２図
（ａ），（ｂ）に示すように横，縦の順に直交変換を行
う場合には、１×８の横方向の８個の画素列に分解す
る。

第３図は１×８の横方向の画素列を示したものであ
る。

このようにして求められた横方向の一次元の画素列
を、画素列のどの部分が領域内でありどの部分が補完す
べき領域であるかを示す情報とともに解析部へ送る。

解析部では、以下に示すようにして補完値を決定す
る。

一次元の直交変換は、次式（１）で示すように一次の
多項式で表すことができる。

ここでx_i（ｉ＝1,2,…,N）は画素の濃度レベルであ
る。f_i（ｉ＝1,2,…,N）は変換後の周波数の強度（変換
値）であって、ｉが大きいほど周波数が高くなる。また
a_ij（i,j＝1,2,…,N）は変換の係数である。Ｎはブロッ
クのサイズであり、Ｎ＝2^Kである。

直交変換は、与えられた画素の濃度値x_iを（１）式に
代入することによって、f_iとして求めることができる。

ブロック内に境界が存在しない場合には、（１）式を
そのまま用いることによって変換値を求めることができ
る。第８図に示すようにブロック内に境界が存在する場
合には、次のようにして変換値を求める。

第４図は、Ｎ個の画素による一次元の画素列を示した
ものである。

いま、第４図の画素列において、x_lが領域の境界であ
り、x₁〜x_lが領域内、x_L+1〜x_Nが補完すべき空白部分と
すると、この場合、f₁〜f_Nを求める代わりに、f_L+1〜f_N
に０を代入して、f₁〜f_l,x_L+1〜x_Nを求めることができ
る。これは未知数ＮのＮ元連立一次方程式なので、
（１）式を解析的に解くことによって、一意に求めるこ
とができるからである。

これによって、変換値f_iの高周波成分f_L+1〜f_Nを０と
するような補完値x_L+1〜x_Nを決定する。

第４図の例では、補完する画素は画素列の後半の連続
部分であったが、これは画素列内に散在していてもよ
く、その場合でも、補完する画素の数Ｋに対して、変換
値f_i（ｉ＝Ｎ−K,…,K）の高周波成分Ｋ個を０として補
完値を求める。

以上においては横方向の画素列の処理について説明し
たが、縦方向の画素列を補完する場合についても、同様
にして補完の処理を行うことができる。

ブロック形成部では、このようにして補完された横方
向または縦方向の2^K個の画素列を並べることによって、
補完された2^K×2^K画素のブロックを再構成する。

このように本発明では、直交変換の変換値の高周波成
分が０になるように直交変換式を解析的に解き、補完値
を一意に決定することによって、画像符号化を効率的に
行うための画像の補完を行う。これによって、本来は画
像の性質と無関係な、補完によって生じる高周波成分の
発生を防止することができる。

以下においては、Ｎ＝４の場合の補完を例示する。こ
のときの直交変化を表す一次式は、 ここで、C4＝cos（π/4）/2,C8＝cos（π/8）/2,C8＝
sin（π/8）/2である。

第５図は画素列の濃度レベルを例示する図である。

いま３番目の画素を境界として、領域内の画素の濃度
値をx₁＝64,x₂＝32,x₃＝64としたとき、４番目の画素に
補完するものとする。

このとき、f₄＝０として濃度値x₄を求めると、（２）
の第４式から x₄＝x₁−C8/S8＊x₂ ＋C8/S8＊x₃ ＝141.25 となる。このときの変換値f_iは f₁＝106.50 f₂＝−41.81 f₃＝38.63 f₄＝0.0 となり、画素３個分のデータがあればよい。

一方、従来方式によって濃度値x₄＝64を代入して変換
値f_iを求めると、 f₁＝79.20 f₂＝−6.12 f₃＝11.31 f₄＝14.78 となって、画素４個分のデータが必要となる。このとき
f₄＝０としてデータを３個に削減してデータを復元する
と、データの高周波成分が除去されて、 x₁＝58.34 x₂＝45.66 x₃＝50.34 x₄＝69.66 となって、大きな誤差を生じることになる。

〔実施例〕

第６図は、本発明の一実施例を示したものであって、
領域分割を利用した画像符号化を行う画像補完符号化装
置を示している。

この画像補完符号化装置は、入力された画像を一様な
領域ごとに領域分割し、その結果得られた領域をブロッ
クに分割するとともに、ブロック内の領域外の空白部分
の画素を補完して、画像を符号化するものである。

第６図において、11は画像の圧縮符号化を行う画像符
号化部を示し、12は画像入力部、13は領域分割部、14は
領域抽出部、15はブロック分割部、16はブロック分類
部、17は符号化部である。18は画像補完部を示し、画像
補完部18は、ブロック分解部19と、解析部20と、ブロッ
ク形成部21とからなっている。22は符号化されたデータ
を受け渡しする画像データベースを示し、データの受け
渡しは回線23によっても行われる。24は符号化されたデ
ータを画像に復元する画像復元部を示している。画像復
元部24は、復号化部25と、領域生成部26と、画像再構成
部27とからなっている。

画像符号化部11において、画像入力部12は、アナログ
画像をディジタル画像に変換して、装置に取り込む。領
域分割部13は、入力された画像を第10図において示され
たように、性質が一様な領域ごとにまとめ領域分割を行
う。領域抽出部14は、領域分割部13で領域分割された画
像から各領域を切り出して、それぞれの領域ごとに境界
線を抽出する。領域抽出部14で切り出された領域データ
と境界線データは、ブロック分割部15へ送られる。

ブロック分割部15では、領域を画素の整数倍である最
小の大きさを有する矩形の部分画像（ブロック）に分割
する。ブロック分類部16は、領域の境界線を参照して、
領域の境界部分を含むブロックと、境界部分を含まない
ブロックとに分類する。第11図においては、領域の境界
部分を含むブロックに斜線を施して示している。

領域の境界部分を含まないブロックは、そのまま符号
化部17へ送られる。一方、領域の境界部分を含むブロッ
クは、境界線のデータとともに画像補完部18に送られ
る。画像補完部18では、領域の境界部分を含むブロック
について、前述の解析的な手段により、領域外の空白部
分の補完を行う。

すなわち、ブロック分解部19ではブロックを横方向ま
たは縦方向の画素列ごとに分解して、補完しなければな
らない部分を示すデータとともに、解析部20へ送る。解
析部20では、前述の（１）で示された方程式を解くこと
によって、補完しなければならない部分に対する補完値
を求めて、その部分に代入する。ブロック形成部21で
は、補完処理の終了した横方向または縦方向の画素列を
まとめてブロックの形に戻す。

符号化部17では、ブロック分類部16から送られてきた
ブロックと、画像補完部18から送られてきたブロックと
を符号化する。符号化部17では、ブロックが、ブロック
分類部16から送られたブロックか、画像補完部18から送
られたブロックかを区別することなく符号化を行う。

このようにして符号化されたデータは、境界線データ
とともに画像データベース22に蓄積される。

画像復元部24において、復号化部25は、画像データベ
ース22から取り出された符号化データを、ブロック単位
で復号化することによって、領域を中に含む画像が再現
される。領域生成部26では、復号化部25で復号化された
画像に対して境界線データをあてはめることによって、
画像符号化部11において、領域部分のみを切り出して領
域分割を行った結果得られたものと同じ領域を生成す
る。このようにして生成された領域は、画像再構成部27
に集められて、画像のもとの位置に組み合わせられるこ
とによって、もとの画像が復元される。

なお、画像データベース22を経由する代わりに、回線
23を経て符号化データを遠隔地に効率的に伝送し、画像
復元部24において画像を復元するようにしてもよい。

〔発明の効果〕

以上説明したように本発明によれば、画像をブロック
に分割して、ブロック単位で画像を符号化および復号化
する装置において、ブロックに満たない領域を符号化す
る際に、直交変換に基づく高周波成分の発生を抑圧し
て、効率的な画像符号化を行うことができる。

【図面の簡単な説明】

第１図は本発明の原理的構成を示す図、第２図（ａ），
（ｂ）は二次元直交変換を説明する図、第３図は１×８
の横方向の画素列を示す図、第４図はＮ個の画素による
一次元の画素列を示す図、第５図は画素列の濃度レベル
を例示する図、第６図は本発明の一実施例を示す図、第
７図は画像のブロック分割を説明する図、第８図は離散
コサイン変換によるエネルギーの集中を説明する図、第
９図は画像の端部を含むブロックを示す図、第10図
（ａ），（ｂ）は画像の領域分割を説明する図、第11図
（ａ），（ｂ）は領域のブロック分割を示す図である。 11は画像符号化部、18は画像補完部、19はブロック分解
部、20は解析部、21はブロック形成部である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 後藤 敏行 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 荒井 美晴 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画像を所定の大きさを有する部分画像であ
   るブロックに分割し直交変換を用いて符号化を行う画像
   符号化部（11）において、 画像領域の境界部分を含むブロックを画素列に分解する
   とともに、該画素列における領域の境界を示すデータを
   発生するブロック分解部（19）と、 該画素列における領域内の画素の値から高周波成分が０
   になるように領域外の画素に対する補完値を解析的に決
   定する解析部（20）と、 該補完処理を行って得られた横方向または縦方向の画素
   列からブロックを再構成するブロック形成部（21）と からなる画像補完部（18）を備え、画像領域の境界部分
   を含まないブロックと、前記画像補完部（18）からの補
   完されたブロックとによって符号化を行うことを特徴と
   する画像補完符号化装置。