JP3478411B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１１及び図１２） 発明が解決しようとする課題（図１１及び図１２） 課題を解決するための手段（図５） 作用（図５） 実施例 （１）階層符号化の原理（図１〜図３） （２）実施例の画像符号化装置（図４〜図１０） （２−１）構成 （２−２）分割処理 （３）実施例の効果 （４）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置及び画像処
理方法に関し、例えば所定の画像データを異なる解像度
でなる複数の画像データに分割して符号化する画像符号
化装置に適用して好適なものである。

【０００３】

【従来の技術】従来、所定の画像データを解像度の異な
る複数の画像データに分割して符号化する画像符号化装
置がある。この種の画像符号化装置は、入力画像データ
をピラミツド符号化等の階層符号化の手法を用いて階層
的に符号化するようになされている。すなわちこの画像
符号化装置においては、高解像度の入力画像データを第
１の階層データとして、この第１の階層データよりも解
像度が低い第２の解像データ、さらに第２の解像データ
よりも解像度が低い第３の階層データ、……を順次再帰
的に形成し、これら複数の階層データを通信路や記録再
生経路でなる伝送路で伝送する。

【０００４】またこの複数の階層データを復号化する画
像復号化装置では、複数の画像データについて全て復号
化しても良く、またそれぞれに対応するテレビジヨンモ
ニタの解像度等により、何れかの階層データのうち所望
の１つを選択して復号化しても良い。これにより、階層
化された複数の階層データから所望の階層データのみに
ついて復号化することにより、必要最小限の伝送データ
量で所望の画像データを得ることもできる。

【０００５】図１１に示すように、この階層符号化とし
て例えば４階層の符号化を実現する画像符号化装置１で
は、それぞれ３段分の間引きフイルタ２、３、４と補間
フイルタ５、６、７とを有し、入力画像データＤ１につ
いて各段の間引きフイルタ２、３、４によつて順次解像
度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると
共に補間フイルタ５、６、７により縮小画像データＤ
２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果画像符号
化装置１においては、階層データのデータ量を低減する
と共に信号電力を低減する。ここでこの差分データＤ８
〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が１、
１／４、１／１６、１／６４のサイズとなつている。

【０００７】各差分回路８〜１０より得られる差分デー
タＤ８〜Ｄ１０及び間引きフイルタ４より得られる縮小
画像データＤ４は、各符号器１１、１２、１３、１４に
よつて符号化されて圧縮処理が施され、この結果各符号
器１１、１２、１３、１４から解像度の異なる第１、第
２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３
及びＤ１４が、所定の順序で伝送路に送出される。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図１２に示す画像復号化装
置２０によつて復号される。すなわち第１〜第４の階層
データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、
２３、２４によつて復号され、この結果復号器２４から
は第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１の階層データＤ２１が復元さ
れる。

【００１０】

【発明が解決しようとする課題】ところが、かかる階層
符号化方法を実現する画像符号化装置においては、入力
画像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加する問題があ
る。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化した場合でも伝送するデー
タ量を低減し得ると共に、データ量を低減しても画質の
劣化が少ない画像処理装置及び画像処理方法を提案しよ
うとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、解像度の最も低い最上位階層情報
Ｄ３５から解像度の最も高い最下位階層情報でなる複数
の階層情報Ｄ４１〜Ｄ４４及びＤ３５からなる画像デー
タＤ３１を処理する画像処理装置４０において、各階層
の階層情報に基づき形成された画素に基づくデータの複
数からなる各ブロツクのデータを構成する複数の信号に
ついて、各ブロツクのブロツクアクテイビテイを検出す
るブロツクアクテイビテイ検出手段５１〜５４と、複数
の信号のうちの第１の信号から検出されたブロツクアク
テイビテイと第１の閾値とから判定された第１の大小関
係から第２の閾値を設定するとともに、複数の信号のう
ちの第２の信号から検出されたブロツクアクテイビテイ
と第２の閾値とから判定された第２の大小関係を判定す
る判定手段５１〜５４と、第２の大小関係の判定結果に
基づいて、当該第２の大小関係の判定結果が得られたブ
ロツクに対して空間的に対応する各階層情報のブロツク
のデータのブロツク分割を制御する制御手段４０Ａとを
設けるようにした。

【００１３】 また本発明においては、解像度の最も低
い最上位階層情報Ｄ３５から解像度の最も高い最下位階
層情報でなる複数の階層情報Ｄ４１〜Ｄ４４及びＤ３５
からなる画像データＤ３１を処理する画像処理方法にお
いて、各階層の階層情報に基づき形成された画素に基づ
くデータの複数からなる各ブロツクのデータを構成する
複数の信号について、各ブロツクのブロツクアクテイビ
テイを検出する第１のステツプと、複数の信号のうちの
第１の信号から検出されたブロツクアクテイビテイと第
１の閾値とから判定された第１の大小関係から第２の閾
値を設定するとともに、複数の信号のうちの第２の信号
から検出されたブロツクアクテイビテイと第２の閾値と
から判定された第２の大小関係を判定する第２のステツ
プと、第２の大小関係の判定結果に基づいて、当該第２
の大小関係の判定結果が得られたブロツクに対して空間
的に対応する各階層情報のブロツクのデータのブロツク
分割を制御する第３のステツプとを設けるようにした。

【００１４】

【００１５】

【作用】互いに相互関係をもつて画像を形成する複数の
信号のうち、第１の信号に基づいてアクテイビテイ判定
のための閾値を選定し、当該閾値により第１の信号と相
互関係にある第２の信号のアクテイビテイを判定し、当
該判定結果に基づいてブロツク分割を制御すれば、各信
号独立に閾値を設定してブロツク分割する場合に比し
て、画像信号の特性に適応したブロツク分割ができ、こ
の結果ブロツク分割に基づく「色にじみ」等の画質劣化
を低減することができる。

【００１６】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１７】（１）階層符号化の原理 図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する原理を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作
り、伝送すべき下位階層データを減少させて、情報量の
増加を伴わない階層構造を実現する。また上位階層から
下位階層の復号についてはブロツク毎のアクテイビテイ
に基づいて適応的に分割を制御することで、平坦部分の
情報量を削減する。さらに下位階層のために行う差分信
号の符号化では、その量子化特性を上位階層のアクテイ
ビテイに基づいて、付加コードなしにブロツク毎に切り
替えることにより高能率化を実現する。

【００１８】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ１〜Ｘ４について、次式

【数１】 で表される算術平均を取り、その値ｍを上位階層の値と
する。この下位階層では、次式

【数２】 で示すように、上位階層との差分値を３画素分だけ用意
することで、元々の４画素データと同じ情報量で階層構
造を構成する。

【００１９】一方下位階層の復号に際しては３画素Ｘ１
〜Ｘ３は、次式

【数３】 で表すように上位階層の平均値ｍにそれぞれの差分値Δ
Ｘｉを加えて復号値Ｅ〔Ｘｉ〕を求め、残つた１画素
は、次式

【数４】 で表すように上位階層の平均値ｍから下位階層の３個の
復号値を引く事で復号値Ｅ〔Ｘ４〕を決定する。ここ
で、Ｅ〔 〕は復号値を意味する。

【００２０】ここでこの階層符号化においては、上位階
層から下位階層に向かうに従つて１つのブロツクを４つ
に分割するため、これに伴つてデータ量が階層毎に４倍
になるが、平坦部ではこの分割を禁止する事で冗長度を
削減している。なおこの分割の有無を指示するためのフ
ラグが１ビツト、ブロツク単位で用意される。下位階層
での分割の必要性の判断は局所的なアクテイビテイとし
て、例えば差分データの最大値で判断する。

【００２１】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減のようす
が分かる。削減効率は画像によつて変わるが最大差分デ
ータに対する閾値を１〜６と変化させると、平均的な削
減率は２８〜６９〔％〕になる。

【００２２】実際上上位階層の解像度を４倍にして下位
階層を作り、このとき下位階層では上位階層データから
の差分データを符号化することで、信号レベル幅を有効
に削減できる。図２について上述した階層符号化による
５階層の場合を、図３に示すが、ここでは階層を下位か
ら数えて第１〜５階層と名付けた。

【００２３】原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅の削減が見られる。特に画素数の多い第１
〜４階層は差分信号なので、大幅な削減が達成でき、以
降の量子化で効率が向上する。図３の表からわかるよう
に削減効率の絵柄への依存性は少なく、全ての絵に対し
て有効である。

【００２４】また下位階層の平均値で上位階層を作る事
で、エラー伝播をブロツク内にとめながら、下位階層を
上位階層の平均値からの差分に変換する事で、効率の良
さも合わせ持つ事ができる。実際上階層符号化では同一
空間的位置での階層間のアクテイビテイには相関があ
り、上位階層の量子化結果から下位階層の量子化特性を
決定する事で、受信側に逆量子化のための量子化情報を
伝送する必要のない（但し、初期値を除く）適応量子化
器を実現できる。

【００２５】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行う事で、各
種ＨＤ標準画像（８ビツトのＹ／ＰＢ／ＰＲ）を約１／
８に圧縮することができる。また適応分割のために用意
されるブロツク毎の付加コードは、圧縮効率の向上のた
めに各階層でランレングス符号化が行われる。このよう
にして、各階層で充分な画質の画像が得られ、最終的な
最下位階層でも視覚的劣化のない良好な画像を得ること
ができる。

【００２６】（２）実施例の階層符号化装置 （２−１）構成 図４において、４０は階層符号化装置を示し、入力画像
データＤ３１を階層符号化して出力する階層符号化エン
コーダ部４０Ａと当該階層符号化エンコーダ部４０Ａに
おける発生情報量が目標値となるように制御する発生情
報量制御部４０Ｂとにより構成されている。階層符号化
エンコーダ部４０Ａはデータ遅延用のメモリＭ１（図
５）とエンコーダによつて構成されている。このうちメ
モリＭ１は発生情報量制御部４０Ｂにおいて最適制御値
が決定されるまでの間、エンコード処理が実行されない
ようにデータを遅延できるよう入力段に設けられてい
る。

【００２７】一方、発生情報量制御部４０Ｂは入力画像
データＤ３１を入力して処理対象データに適合した最適
制御値Ｓ１を設定し、これを階層符号化エンコーダ部４
０Ａに送出することにより、当該階層符号化エンコーダ
部４０Ａで効率の良い符号化ができるようになされてい
る。所謂フイードフオワード型のバツフアリング構成で
ある。

【００２８】階層符号化エンコーダ部４０Ａは図５に示
す構成でなり、この例の場合、５階層の解像度の異なる
圧縮画像データを生成するようになされている。まず入
力画像データＤ３１がメモリＭ１を介して第１の差分回
路４１及び第１の平均化回路４２に入力される。第１の
平均化回路４２は、入力画像データＤ３１（すなわち第
１階層データ（最下位階層データ））の４画素平均によ
り第２階層データＤ３２を生成する。この実施例の場
合、第１の平均化回路４２は、図６（Ｄ）及び（Ｅ）に
示すように、入力画像データＤ３１の４画素Ｘ１（１）
〜Ｘ４（１）から第２階層データＤ２の画素Ｘ１（２）
を生成する。

【００２９】また第２階層データＤ３２の画素Ｘ１
（２）に隣接する画素Ｘ２（２）〜Ｘ４（２）も同様に
第１階層データＤ３１の４画素平均を求めることにより
生成される。第２階層データＤ３２は第２の差分回路４
３及び第２の平均化回路４４に入力され、第２の平均化
回路４４は、第２階層データＤ３２の４画素平均により
第３階層データＤ３３を生成する。例えば、図６（Ｃ）
及び（Ｄ）に示す第２階層データＤ３２の画素Ｘ１
（２）〜Ｘ４（２）から第３階層データＤ３３の画素Ｘ
１（３）が生成されると共に、画素Ｘ１（３）に隣接す
る画素Ｘ２（３）〜Ｘ４（３）も同様に第２階層データ
Ｄ３２の４画素により生成される。

【００３０】第３階層データＤ３３は第３の差分回路４
５及び第３の平均化回路４６に入力され、第３の平均化
回路４６は上述の場合と同様に第３階層データＤ３３の
４画素平均により図６（Ｂ）及び（Ｃ）に示すように、
画素Ｘ１（４）〜Ｘ４（４）でなる第４階層データＤ３
４を生成する。第４階層データＤ４４は第４の差分回路
４７及び第４の平均化回路４８に入力され、第４の平均
化回路４８は、第４階層データＤ３４の４画素平均によ
り最上位階層となる第５階層データＤ３５を生成する。
すなわち図６（Ａ）及び（Ｂ）に示すように、第４階層
データＤ３４の４画素Ｘ１（４）〜Ｘ４（４）を平均化
することにより第５階層データＤ３５の画素Ｘ１（５）
が生成される。

【００３１】ここで第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１ライン×１画素とする
と、第２階層データＤ３２は１／２ライン×１／２画
素、第３階層データＤ３３は１／４ライン×１／４画
素、第４階層データＤ３４は１／８ライン×１／８画
素、最上位階層データである第５階層データＤ３５は１
／１６ライン×１／１６画素となる。

【００３２】階層符号化エンコーダ部４０Ａは、これら
第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の
階層データ（すなわち第５階層データＤ３５）から順に
再帰的処理を繰り返して隣接する２つの階層データ間の
差分を差分回路４１、４３、４５、４７において求め、
差分データのみを符号器５１〜５５によつて圧縮符号化
する。これにより階層符号化エンコーダ部４０Ａは伝送
路に伝送される情報量を圧縮するようになされている。
また階層符号化エンコーダ４０Ａは、（２）式について
上述したように、符号器５１〜５４により、上位階層１
画素に対応する下位階層４画素のうち１画素を減らすこ
とにより、伝送データを削減する。このような圧縮条件
を最適に保つため階層符号化エンコーダ部４０Ａは、各
階層ごとに得られた圧縮符号化データＤ５１〜Ｄ５５を
復号器５６〜５９によつて復号する。

【００３３】すなわち最上位の階層に対応する復号器５
９は符号器５５において圧縮符号化された圧縮符号化デ
ータＤ５５を復元して第５階層データＤ３５に対応する
復号データＤ４８を得、これを第４の差分回路４７に与
える。

【００３４】これに対して復号器５８は圧縮符号化デー
タＤ５４を復元して第４階層データＤ４４と同様の復元
データＤ４７を得、これを第３の差分回路４５に与え
る。同様にして復号器５７は圧縮符号化データＤ５３を
復元して第３階層データＤ４３と同様の復元データＤ４
６を得、これを第２の差分回路４３に与える。また復号
器５６は圧縮符号化データＤ５２を復元して第２階層デ
ータＤ４２と同様の復元データＤ４５を得、これを第１
の差分回路４１に与える。

【００３５】実際上、復号器５８、５７、５６は、図７
に示すように構成されている。ここでは簡単化のため復
号器５８について説明する。復号器５８は復号化回路５
８Ａに第４階層圧縮符号化データＤ５４を受けてこれを
復号する。この結果復号化回路５８Ａからは、例えば図
６に示すＸ１（４）−Ｘ１（５）、Ｘ２（４）−Ｘ１
（５）、Ｘ３（４）−Ｘ１（５）の出力値が得られる。
この出力値は続く加算回路５８Ｂにおいて復元データＤ
４８と加算されることによりＸ１（４）、Ｘ２（４）、
Ｘ３（４）の出力値が得られる。差分値生成回路５８Ｃ
はＸ１（４）、Ｘ２（４）、Ｘ３（４）及びＸ１（５）
を用いて、（４）式に基づく演算を施すことにより非伝
送画素Ｘ４（４）を生成する。従つて続く合成回路５８
Ｄからは、差分前の第４階層データＸ１（４）、Ｘ２
（４）、Ｘ３（４）、Ｘ４（４）が生成され、これが差
分回路４５に与えられる。

【００３６】各差分回路４１、４３、４５、４７により
得られた階層間差分データＤ４１〜Ｄ４４はそれぞれ符
号器５１〜５４によつて圧縮符号化される。このとき各
符号器５１〜５４は、各ブロツクのアクテイビテイを所
定の閾値と比較する。ここでアクテイビテイとは、上位
階層データに対応する下位階層データ領域を「ブロツ
ク」と定義した場合の、所定ブロツク内の階層間差分デ
ータＤ４１〜Ｄ４４の最大値、平均値、絶対値和、標準
偏差又はｎ乗和等で表わされる相関値である。すなわち
アクテイビテイが低い場合には、このブロツクは平坦な
ブロツクということができる。

【００３７】このとき符号器５１〜５４は、ブロツクア
クテイビテイが所定の閾値よりも高い場合には、このブ
ロツクを分割ブロツクとし、当該ブロツクと空間的に対
応する隣接下位階層ブロツクでの分割処理を選択する。
例えば符号器５４において分割処理が選択されたブロツ
クについては、続く符号器５３でこのブロツクに対応す
る階層間差分データＤ４３をそのまま圧縮符号化し、同
時にこのブロツクが分割ブロツクであることを表わす分
割判定フラグをつけて伝送する。

【００３８】これに対して符号器５１〜５４は、ブロツ
クアクテイビテイが所定の閾値未満の場合には、このブ
ロツクを非分割ブロツクとし、当該ブロツクと空間的に
対応する隣接下位階層ブロツクでの分割処理を中止す
る。例えば符号器５４において分割中止と判定されたブ
ロツクについては、続く符号器５３において、このブロ
ツクに対応する階層間差分データＤ４３に関しては符号
化対象から除外し、同時にこのブロツクが非分割ブロツ
クであるとを表わす非分割判定フラグを付けて伝送す
る。この非分割ブロツクは復号装置側において上位階層
データに置き換えられる。

【００３９】ここで符号器５１〜５５は、同一空間内に
存在する信号間の関係を利用してブロツク分割判定を実
行するようになされている。すなわち図８において、符
号器５４は差分データＤ４４を符号化回路５４Ａに入力
すると共に、色信号検出回路５４Ｂ及び輝度信号検出回
路５４Ｅに入力する。輝度信号検出回路５４Ｅは差分デ
ータＤ４４に含まれる輝度成分を抽出し、続くアクテイ
ビテイ検出回路５４Ｆによつて、抽出した輝度成分のブ
ロツク毎のアクテイビテイを検出する。しきい値判定回
路５４Ｇは検出された輝度信号をアクテイビテイを所定
のしきい値と比較し、これにより得られたしきい値判定
結果を続くしきい値設定回路５４Ｈに与える。しきい値
設定回路５４Ｈでは、しきい値判定回路５４Ｇにおける
判定結果が、所定のしきい値よりも輝度信号アクテイビ
テイの方が大きさことを表すものであつた場合には比較
的小さなしきい値を設定し、所定のしきい値よりも輝度
信号アクテイビテイの方が小さいことを表すものであつ
た場合には比較的大きなしきい値を設定する。この際、
しきい値設定回路５４Ｈは、最適制御値Ｓ１に応じて設
定するしきい値の大きさを決定する。このようにして設
定されたしきい値はしきい値判定回路５４Ｄに与えられ
る。

【００４０】また符号器５４では、色信号検出回路５４
Ｂによつて抽出した色信号成分のブロツク毎のアクテイ
ビテイ検出回路５４Ｃによつて検出し、これにより得た
色信号アクテイビテイをしきい値判定回路５４Ｄに与え
る。しきい値判定回路５４Ｄは、しきい値設定回路５４
Ｈで設定されたしきい値によつて色信号アクテイビテイ
をしきい値判定し、当該判定結果に応じて符号化回路５
４Ａでのブロツク分割を制御する。すなわち色信号アク
テイビテイが設定されたしきい値以上の場合には、ブロ
ツク分割するのに対し、しきい値未満の場合にはブロツ
ク分割しない。

【００４１】このように符号器５４（符号器５１〜５３
も同様）においては、一端輝度信号のアクテイビテイに
基づいてしきい値を設定し、この設定したしきい値を用
いて色信号のアクテイビテイを判定し、当該判定結果に
応じてブロツクの分割を制御するようになされている。

【００４２】（２−２）分割処理 次に階層符号化エンコーダ部４０Ａによる具体的な信号
処理を説明する。階層符号化エンコーダ部４０Ａにおい
ては、上述したように階層間差分データＤ４１〜Ｄ４４
の所定ブロツク毎のブロツクアクテイビテイに基づいて
分割選択処理を実行する。また実施例の場合、各ブロツ
クは２ライン×２画素より構成されるものとする。

【００４３】符号器５１〜５４は各ブロツクについてブ
ロツクアクテイビテイと閾値とを比較し、比較結果に基
づいて当該ブロツクを下位階層で分割するか、又は分割
しないかを選択する。これにより階層符号化装置４０に
おいては、ブロツクアクテイビテイが低いブロツクにつ
いてはこのブロツクに対応する隣接下位階層のデータを
送らずに済み、この分伝送情報量を削減できるようにな
されている。因に、分割又は非分割の判定結果を示す判
定フラグとしては１ビツトの判定フラグが用いらてい
る。

【００４４】このように、階層符号化エンコーダ部４０
Ａにおいては、解像度の低い上位階層データから順に圧
縮符号化すると共に、このとき各階層データの所定ブロ
ツク毎にアクテイビテイを判定し、当該アクテイビテイ
の低いブロツクに対しては隣接下位階層でこのブロツク
に対応する画像データを送らないようになされている。
画像復号化装置側では、伝送される分割判定フラグに基
づいて、非分割ブロツクのデータに対しては上位階層デ
ータで置き換えるようになされている。

【００４５】また実施例における階層符号化方式では、
判定フラグをそれ以降の下位階層での判定には反映させ
ない方式が用いられている（以下これを独立判定法と呼
ぶ）。すなわち独立判定法では、各階層独立に、毎回閾
値判定に基づく分割選択処理を行う。例えば一旦非分割
判定がなされたブロツクにおいても、続く下位階層にお
いて再びアクテイビテイの判定を行い、ここで再び分割
するか分割しないかを選択する。この結果独立判定法を
用いた階層符号化方式においては、上位階層での下位階
層の判定フラグの影響を受けないことにより、画質劣化
の少ない階層符号化が実現できるようになされている。

【００４６】かかる構成に加えて、階層符号化エンコー
ダ部４０Ａにおいては、色信号の分割判定を独立に実行
するのではなく、色信号と互いに相互関係にある同一空
間の輝度信号を考慮しながら、色信号の分割判定を行う
ようになされている。階層符号化エンコーダ４０Ａにお
いては、輝度信号のブロツクアクテイビテイに応じて色
信号のブロツク分割判定に用いられる閾値を変化させ
る。

【００４７】すなわち、階層符号化エンコーダ部４０Ａ
においては、色信号上位階層データのデータ値をＸ
_ｉ＋ｌ（０）、色信号下位階層データのデータ値をＸ_ｉ
（ｊ）＝〔ｊ＝０〜３〕、色信号階層間差分符号値をΔ
Ｘ_ｉ（ｊ）＝Ｘ_ｉ＋ｌ（０）−Ｘ_ｉ（ｊ）〔ｊ＝０〜
３〕、色信号ブロツクアクテイビテイ決定関数をＧ
（・）、色信号ブロツクアクテイビテイＡＣＴ_Ｃ＝Ｇ
（ΔＸ_ｉ（ｊ））〔ｊ＝０〜３〕、同一空間の輝度信号
ブロツクアクテイビテイをＡＣＴ_Ｙとしたとき、輝度信
号ブロツクアクテイビテイＡＣＴ_Ｙが所定の閾値ＴＨ０
以上の場合、色信号の分割判定閾値ＴＨをＴＨ０_Ｃに設
定し、輝度信号ブロツクアクテイビテイＡＣＴ_Ｙが閾値
ＴＨ０未満の場合、色信号の分割判定閾値ＴＨをＴＨ１
_Ｃ（＞ＴＨ０_Ｃ）に設定するようになされている。

【００４８】また階層符号化エンコーダ４０Ａにおいて
は、色信号ブロツクアクテイビテイＡＣＴ_Ｃが閾値ＴＨ
以上の場合、下位階層での分割を実行するのに対して、
色信号ブロツクアクテイビテイＡＣＴ_Ｃが閾値ＴＨ未満
の場合、下位階層での分割を中止するようになされてい
る。

【００４９】ここで例えば輝度信号ブロツクアクテイビ
テイＡＣＴ_Ｙが閾値ＴＨ０以上である場合、このことは
物体輪郭部のように輝度信号の変化が大きい場合を表
し、このような場合、階層符号化エンコーダ４０Ａは色
信号の分割判定閾値ＴＨとして、比較的小さい分割判定
閾値ＴＨ０_Ｃを採用することで、輝度信号と同じく分割
を実行する方向に制御する。

【００５０】これに対して、輝度信号ブロツクアクテイ
ビテイＡＣＴ_Ｙが閾値ＴＨ０未満の場合、このことは輝
度信号の変化が大きくないことを表し、このような場合
階層符号化エンコーダ４０Ａは色信号の分割判定閾値Ｔ
Ｈとして、分割判定閾値ＴＨ０_Ｃよりも大きな分割判定
閾値ＴＨ１_Ｃを採用することにより、圧縮効率を向上さ
せる。

【００５１】ここで実施例のように輝度信号ブロツクア
クテイビテイＡＣＴ_Ｙに応じて閾値ＴＨを変化させて色
信号の分割を制御した場合と、一定の閾値の下でブロツ
クアクテイビテイを判定し色信号の分割を制御した場合
との信号波形の比較を図９に示す。図９においては、説
明のために１次元信号の波形を示すと共に、符号化対象
としてカラー画像を想定した。この例では、図９（Ａ）
及び（Ｂ）に示すように、物体エツジのように輝度信号
が激しく変化し、かつ色信号の変化が輝度信号の変化に
対して比較的小さい信号を符号化する場合を示した。

【００５２】このようなカラー画像信号に対し、一定の
閾値の下でブロツクアクテイビテイを判定して分割を制
御した場合の色信号の分割結果は、図９（Ｃ）に示すよ
うになる。ここで図９（Ｃ）は色信号の表示されている
全ブロツクに非分割処理が選択されたことを表してい
る。

【００５３】図９（Ｃ）からも明らかなように、一定の
閾値の下でブロツクアクテイビテイを判定して色信号の
分割を制御した場合には、輝度信号と色信号の分割判定
結果の違いにより、物体のエツジであつても、色信号の
変化が比較的小さい場合は非分割処理が選択されること
がある。この結果、非分割ブロツクデータの復元値とし
て上位階層データを用いることにより、信号波形が階段
状になる。一般には目立たない階段波形であるが、輝度
信号が激しく変化する場所の近傍の平坦部では、この階
段波形が色信号の画質劣化として認識される。

【００５４】特に輝度信号と色信号のブロツクサイズが
異なる場合など、同一空間に存在する輝度信号と色信号
の処理の違いにより、画質差が際だつ。このようにして
色信号に基づいた画質劣化が生じる。

【００５５】これに対して、輝度信号ブロツクアクテイ
ビテイＡＣＴ_Ｙに応じて閾値ＴＨを変化させて分割を制
御した場合には、図９（Ｄ）に示すように、図の中央の
物体輪郭部のような輝度信号変化が大きいブロツクで
の、色信号の分割が行なわれるようになる。従つて、輝
度信号と色信号の分割判定結果が一致し、物体輪郭部で
の色信号の階段波形による画質劣化を回避することがで
きる。すなわち、カラー画像のように複数の信号より構
成される画像に対しこの階層符号化を適用する場合、ブ
ロツク毎の分割判定を各信号独立に行なうのではなく、
同一空間内に存在する信号間の関係を考慮し、分割判定
を行なうことにより、画質を向上させることができる。

【００５６】かくして、階層符号化装置４０において
は、圧縮効率を向上し得ると共に画質劣化を低減するこ
とができる。

【００５７】因に、図１０は階層符号化装置４０による
階層符号化処理のフローチヤートを示し、ステツプＳＰ
２において階層番号を記憶する階層カウンタＩに「４」
が登録され、この階層符号化の枠が決定される。

【００５８】さらにステツプＳＰ３において発生情報量
制御部４０Ｂが発生情報量演算をすることにより階層デ
ータが生成され、続くステツプＳＰ４において各ブロツ
クアクテイビテイが検出される。発生情報量制御部４０
Ｂはこのアクテイビテイに基づいてステツプＳＰ５にお
いて最適制御値Ｓ１を決定する。

【００５９】さらにステツプＳＰ６において階層符号化
エンコーダ部４０Ａで最適制御値Ｓ１に基づいて階層符
号化が実行される。すなわち始めに最上位階層である５
階層データに対し、符号化及び復号化が行われる。この
結果が下位階層における処理の初期値となり、ステツプ
ＳＰ７において下位階層との階層間差分値が生成され
る。さらにステツプＳＰ８においてステツプＳＰ５にお
いて決定された最適制御値Ｓ１に基づいて下位階層での
分割選択及び符号化が実行される。

【００６０】各階層処理の後、ステツプＳＰ９において
階層カウンタＩをデクリメントする。そしてステツプＳ
Ｐ１０において階層カウンタＩの内容に対し、終了判定
が施される。未終了の場合は、さらに下位階層処理を続
行する。全階層の処理を終了した場合、ループを抜けて
ステツプＳＰ１１において当該階層符号化処理を終了す
る。

【００６１】（３）実施例の効果 以上の構成によれば、上位階層から下位階層へのブロツ
ク分割を行う際に、同一空間内に存在する信号間の関係
を考慮して、分割判定を行うようにしたことにより、圧
縮効率が良くかつ画質劣化を低減することができる画像
符号化方法を実現することができる。

【００６２】（４）他の実施例 なお上述の実施例においては、画像を形成する互いに相
互関係にある信号として輝度信号及び色信号を用い、輝
度信号のブロツクアクテイビテイに基づいて色信号の分
割閾値を変化させる場合について述べたが、本発明はこ
れに限らず、例えば互いに相互関係をもつてカラー画像
を形成する信号としてＲＧＢの三原色信号を用い、この
中の１の信号特性に基づいて別の信号の分割閾値を変化
させるようにしてもよく、要は互いに相互関係を有する
信号の関係に基づいて分割閾値を選定するようにすれば
よい。

【００６３】また上述の実施例においては、本発明によ
る画像符号化方法を、各階層独立に毎回閾値判定して分
割処理を行う独立判定法に適用した場合について述べた
が、本発明はこれに限らず、上位階層での分割判定によ
り一旦下位階層の分割を中止した際これ以降の下位階層
の分割を中止する判定方法に適用した場合にも、上述の
実施例と同様の効果を得ることができる。また本発明は
これに限らず、階層符号化方式において、階層データ内
に解像度の異なる複数のブロツクが存在するような場合
に広く適用することができる。

【００６４】

【発明の効果】上述のように本発明によれば、解像度の
最も低い最上位階層情報Ｄ３５から解像度の最も高い最
下位階層情報でなる複数の階層情報からなる画像データ
を処理する画像処理装置において、各階層の階層情報に
基づき形成された画素に基づくデータの複数からなる各
ブロツクのデータを構成する複数の信号について、各ブ
ロツクのブロツクアクテイビテイを検出するブロツクア
クテイビテイ検出手段と、複数の信号のうちの第１の信
号から検出されたブロツクアクテイビテイと第１の閾値
とから判定された第１の大小関係から第２の閾値を設定
するとともに、複数の信号のうちの第２の信号から検出
されたブロツクアクテイビテイと第２の閾値とから判定
された第２の大小関係を判定する判定手段と、第２の大
小関係の判定結果に基づいて、当該第２の大小関係の判
定結果が得られたブロツクに対して空間的に対応する各
階層情報のブロツクのデータのブロツク分割を制御する
制御手段とを設けるようにしたことにより、画像データ
を階層符号化した場合でも伝送するデータ量を低減する
ことができ、かくして全てのデータを送らないにもかか
わらず殆ど画質劣化なく復号することができる画像処理
装置を実現できる。また本発明においては、解像度の最
も低い最上位階層情報から解像度の最も高い最下位階層
情報でなる複数の階層情報からなる画像データを処理す
る画像処理方法において、各階層の階層情報に基づき形
成された画素に基づくデータの複数からなる各ブロツク
のデータを構成する複数の信号について、各ブロツクの
ブロツクアクテイビテイを検出する第１のステツプと、
複数の信号のうちの第１の信号から検出されたブロツク
アクテイビテイと第１の閾値とから判定された第１の大
小関係から第２の閾値を設定するとともに、複数の信号
のうちの第２の信号から検出されたブロツクアクテイビ
テイと第２の閾値とから判定された第２の大小関係を判
定する第２のステツプと、第２の大小関係の判定結果に
基づいて、当該第２の大小関係の判定結果が得られたブ
ロツクに対して空間的に対応する各階層情報のブロツク
のデータのブロツク分割を制御する第３のステツプとを
設けるようにしたことにより、画像データを階層符号化
した場合でも伝送するデータ量を低減することができ、
かくして全てのデータを送らないにもかかわらず殆ど画
質劣化なく復号することができる画像処理方法を実現で
きる。

【図面の簡単な説明】

【図１】階層符号化装置によつて生成される階層データ
の説明に供する略線図である。

【図２】ＨＤ標準画像における適応分割結果を示す図表
である。

【図３】ＨＤ標準画像における各階層の信号レベルの標
準偏差を示す図表である。

【図４】実施例による階層符号化装置を示すブロツク図
である。

【図５】階層符号化エンコーダ部を示すブロツク図であ
る。

【図６】階層構造の説明に供する略線図である。

【図７】復号器の構成を示すブロツク図である。

【図８】符号器の構成を示すブロツク図である。

【図９】色信号の分割結果を示す信号波形図である。

【図１０】階層符号化処理を示すフローチヤートであ
る。

【図１１】従来のピラミツド符号化方法を用いた画像符
号化装置を示すブロツク図である。

【図１２】図１１の画像符号化装置により生成された圧
縮符号化データを復号する従来の画像復号化装置を示す
ブロツク図である。

【符号の説明】

４０……階層符号化装置、４０Ａ……階層符号化エンコ
ーダ部、５１〜５５……符号器。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/00 - 7/68

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データを処理する画像処理装置において、各階層の階層情報に基づき形成された画素に基づくデー
   タの複数からなる各ブロツクの データを構成する複数の
   信号について、各ブロツクのブロツクアクテイビテイを
   検出するブロツクアクテイビテイ検出手段と、上記複数の信号のうちの第１の信号から検出されたブロ
   ツクアクテイビテイと第１の閾 値とから判定された第１
   の大小関係から第２の閾値を設定するとともに、上記複
   数の信号のうちの第２の信号から検出されたブロツクア
   クテイビテイと上記第２の閾値とから判定された第２の
   大小関係を判定する判定手段と、上記第２の大小関係の判定結果に基づいて、当該第２の
   大小関係の判定結果が得られた ブロツクに対して空間的
   に対応する各階層情報のブロツクのデータのブロツク分
   割を制御する制御手段とを具えることを特徴とする画像
   処理装置。
2. 【請求項２】上記各階層の階層情報に基づき形成された
   画素に基づくデータは、上記最上位階層を除く上記各階
   層とその隣接階層に基づくデータとの階層間差分データ
   であることを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】上記階層情報を構成する画素に基づくデー
   タの複数からなる各ブロツクのブロツクアク テイビテイ
   を検出する第２のブロツクアクテイビテイ検出手段を更
   に具え、上記第１の閾値は、上記第２のブロツクアクテイビテイ
   手段により検出された各ブロツ クアクテイビテイに基づ
   いて設定されることを特徴とする請求項１に記載の画像
   処理装置。
4. 【請求項４】発生情報量制御手段を更に具え、 上記第１の閾値は、上記発生情報量制御手段の発生情報
   量が目標値となるように、上記 第２のブロツクアクテイ
   ビテイ手段により検出された各ブロツクアクテイビテイ
   に応じて設定された最適制御値に基づいて決定されるこ
   とを特徴とする請求項３に記載の画像処理装置。
5. 【請求項５】上記第１の大小関係が小と判定された場合
   と大と判定された場合とを比較すると、上記 第１の大小
   関係が小と判定された場合は、上記第１の大小関係が大
   と判定された場合と比較して、上記第２の閾値は大きい
   値が設定されることを特徴とする請求項１に記載の画像
   処理装置。
6. 【請求項６】上記判定手段は、更に上記第２の大小関係
   の判定の結果に応じた付加情報を出力し、 上記制御手段は、上記付加情報に基づいて上記分割を制
   御することを特徴とする請求項１に記載の画像処理装
   置。
7. 【請求項７】上記画像データを伝送する伝送手段を更に
   具え、 当該伝送手段は、上記第２の信号のブロツクアクテイビ
   テイが上記第２の閾値以上のと きは、上記第２の信号の
   ブロツクアクテイビテイが得られた該ブロツクと空間的
   に対応するブロツクのうち、上記該ブロツクの隣接下位
   階層ブロツクに対応する上記画像データを伝送し、上記
   第２の信号のブロツクアクテイビテイが上記第２の閾値
   未満のときは、上記第２の信号のブロツクアクテイビテ
   イが得られた該ブロツクと空間的に対応するブロツクの
   うち、上記該ブロツクの隣接下位階層ブロツクに対応す
   る上記画像データを非伝送とすることを特徴とする請求
   項１に記載の画像処理装置。
8. 【請求項８】上記非伝送の判定結果が得られたブロツク
   と空間的に対応する隣接下位階層以降のブロ ツクにおい
   て、上記非伝送の判定結果によらず、各階層独立に各ブ
   ロツクの閾値判定を行うことを特徴とした請求項７に記
   載の画像処理装置。
9. 【請求項９】上記非伝送の判定結果が得られたブロツク
   と空間的に対応する隣接下位階層以降のブロ ツクにおい
   て、上記非伝送の判定結果を反映させ、上記隣接下位階
   層以降のブロツクのデータを非伝送とすることを特徴と
   する請求項７に記載の画像処理装置。
10. 【請求項１０】上記第１の信号は輝度成分に基づく信号
    であり、上記第２の信号は色成分に基づく信号 であるこ
    とを特徴とする請求項１に記載の画像処理装置。
11. 【請求項１１】上記複数の信号は、カラー画像を形成す
    る三色信号に基づく信号であることを特徴とする請求項
    １に記載の画像処理装置。
12. 【請求項１２】解像度の最も低い最上位階層情報から解
    像度の最も高い最下位階層情報でなる複数の階 層情報か
    らなる画像データを処理する画像処理方法において、各階層の階層情報に基づき形成された画素に基づくデー
    タの複数からなる各ブロツクの データを構成する複数の
    信号について、各ブロツクのブロツクアクテイビテイを
    検出する第１のステツプと、上記複数の信号のうちの第１の信号から検出されたブロ
    ツクアクテイビテイと第１の閾 値とから判定された第１
    の大小関係から第２の閾値を設定するとともに、上記複
    数の信号のうちの第２の信号から検出されたブロツクア
    クテイビテイと上記第２の閾値とから判定された第２の
    大小関係を判定する第２のステツプと、上記第２の大小関係の判定結果に基づいて、当該第２の
    大小関係の判定結果が得られた ブロツクに対して空間的
    に対応する各階層情報のブロツクのデータのブロツク分
    割を制御する第３のステツプとを具えることを特徴とす
    る画像処理方法。