JP2563450B2

JP2563450B2 - ファイル用画像処理装置

Info

Publication number: JP2563450B2
Application number: JP5661388A
Authority: JP
Inventors: 美香福田; 巧長谷部; 則夫青木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-03-10
Filing date: 1988-03-10
Publication date: 1996-12-11
Anticipated expiration: 2011-12-11
Also published as: JPH01229560A

Description

【発明の詳細な説明】産業上の利用分野本発明は、画像データを圧縮し、ファイルシステム等
に利用するファイル用画像処理装置に関するものであ
る。

従来の技術画像ファイルを用いて、入力画像の検索、再生を行う
際、目的とするイメージはあっても、それをキーワード
で表現することが困難であることが少なくない。このよ
うな場合、索引画像を用いて検索する方法は、有力であ
る。ただしこの場合、高速に、かつ、認識可能な程度画
質のよい索引画像を表示しなければならない。

従来の索引画像再生方式としては、第14図に示すもの
がある。（吉良健二“画像データベース向き高能率符
号化法”昭和60.5 NHK技研月報）この方式は、第14図
（Ａ）の原画から縦横指定間隔でサンプリングを行い、
サンプル画素近傍の平均輝度を索引画像データとする。
さらに、全画像を再生するために、索引画像データを用
いてその補完すべきデータを予測し、その予測値と、原
画像との誤差を補完データ（Ｃ）として符号化を行う。
再生の際には、索引画像データのみで、索引画像（Ｂ）
を作成し、索引画像データと、補完データで全画像を再
生する。

発明が解決しようとする課題しかしながら、上記した従来の方法では、符号化の
際、索引画像用データ作成のための特別な回路を必要と
し、また符号化データから、索引画像を再生する際、索
引画像のサイズを変えることが困難である、索引画像再
生と全体画像再生でまったく異なった回路を必要とす
る、全画像を符号化した際の圧縮率も余り良くないとい
う欠点があった。

課題を解決するための手段以上の課題を解決するために本発明では、符号化時に
おいて、ブロック分割した原画像に対して直交変換を施
し符号化することによって得られた符号化データを、符
号化時において、順次読み出す手段と、読みだした符号
化データを復号し変換係数を得る手段と、前記変換係数
の一部もしくは全部の逆直交変換を行う複数の逆変換手
段と、ブロックごとに、前記複数の逆変換手段から一つ
の逆変換手段を選択する手段から構成されている。

作用本発明は、前記した構成により、直交変換を施して得
た変換係数を高圧縮した符号化データの一部を再生画像
データとするため、符号化の際特別な回路を必要とせ
ず、復号の際は、再生サイズにあった逆変換器を用いて
逆変換を行なうため、サイズの可変な索引画像を高速に
得ることができ、また、回路構成では索引画像再生時
と、全体画像再生時で共用の回路を持つ簡単な回路構成
で、索引画像を得ることができる。

実施例実施例１目的索引画像用の特別なデータを記録することなく周
波数成分や再生サイズが可変な索引画像を再生する。

構成以下、本発明の構成について、図面を参照しなが
ら説明する。ここでは、変換符号化として２次元ディス
クリートコサイン変換（以下、DCTと呼ぶ）を取り上げ
る。

第２図、第３図は、本発明の１実施例における原理を
示す。任意の２次元変換（Ｃ）を用いて、ブロック化さ
れた画素（Ｘ）を直交変換した結果をＦとすると、Ｆと
Ｘの関係は、一般にＦ＝Ｃ・Ｘ・C^T （Ｘ＝C^T・Ｆ・Ｃ）で表わされる。Ｆは、２次元の変換係数行列（以下、変
換係数と呼ぶ）である。一般的に画像データを直交変換
した場合、変換係数は、低周波領域にエネルギーが集中
し、高周波領域のエネルギーは小さいのが普通であり、
高周波領域を表す変換係数は、ほとんどゼロになること
が多い。したがって、多少の画像のぼけを許容すれば、
再生の際高周波成分を無視することができる。そこで、
符号化時には、第２図に示すようにＮライン×Ｎ列毎に
ブロック化された画素（Ｘ）にＮライン×Ｎ列の２次元
変換C₂を用いて直交変換を施しＮライン×Ｎ列の変換係
数Ｆを得る。復号化時には、符号化時に得られた変換係
数のうち低周波成分を表す斜線部分ｎライン×ｎ列の変
換係数のみを用いて縮小画像を再生する。第３図に示す
ように、ｎライン×ｎ列の変換係数にｎライン×ｎ列の
２次元変換C₁を用いて、逆直交変換を施し１ブロックに
つきｎライン×ｎ列の縮小画像を再生する。ただし、縮
小画像のサイズはｎライン×ｎ列（ｎ＜Ｎ）とする。

第４図、第１図は、それぞれ本発明の１実施例におけ
る符号化、復号化の概略ブロック図を示したものであ
る。

符号化時には、第４図に示すように原画をブロックに
分割し、各々のブロックについてDCTを施し変換係数を
求める。求めた変換係数に量子化、符号化を行い、符号
化データとする。

復号化時には、第１図に示すように、まず符号化デー
タ読み出し器11を用いて符号化データを読み出し、逆量
子化、復号化を施すことによって変換係数を得る。得ら
れた変換係数のうち必要な部分を取り出し、ブロック毎
に逆変換器14〜16から選択された１個の逆変換器によっ
て逆DCTを施し再生画を得る。ここで、逆変換器は、
最大４個まで（２ライン×２列）の変換係数に逆変換を
施すためのものであり、逆変換器は、最大16個まで
（４ライン×４列）の変換係数を、逆変換器は、最大
64個まで（８ライン×８列）の変換係数を逆変換するた
めのものである。一般的に変換係数の数が少ないほど変
換が高速であるので、再生速度は、逆変換器が最も速
く、逆変換器、逆変換器の順序で遅くなる。

効果直交変換を施すことによって得られる変換係数の
一部を用いて索引画像を再生するので、符号化の際、特
別な回路を必要としない。復号の際は、複数の逆変換手
段の中から再生サイズにあった、かつ最も高速な逆変換
器を用いて逆変換を行なうため、サイズの可変な索引画
像を高速に得ることができ、また、索引画像再生時と、
全体画像再生時で回路を共用することができるため、簡
単な回路構成で高画質な索引画像を得ることができる。

実施例２目的より高速に任意サイズ、任意周波数成分の索引画
像を再生する。

構成以下、本発明の構成について、図面を参照しなが
ら説明する。ここでは、変換符号化としてDCTを取り上
げる。

第５図、第６図は、本発明の１実施例における概略ブ
ロック図を示したものである。

符号化時には、第５図に示すようにブロック分割器41
により原画を16ライン×16列のブロックに分割し、各々
のブロックについてディスクリートコサイン変換器42に
よりDCTを施し変換係数を求める。次に１ブロック内の
変換係数を周波数階層分類器52により複数の階層に分類
する。分類の方法は、第７図に示すように同程度の周波
数成分を持つ変換係数を１つの階層とするもので、第１
階層として変換係数の直流成分、第２階層としては低周
波部分の２ライン×２列から第１階層部分を除いた３個
の変換係数、第３階層として４ライン×４列から、第
１、第２階層を除いた12個の変換係数、その他の階層も
同様に分類を行う。分類を行った変換係数は、ブロック
間にまたがって走査し量子化、符号化を行い、符号化デ
ータとする。この際のブロック間にまたがった走査方式
を第８図に示す。第８図に示すように、第１階層は、各
ブロックの直流成分のみをとびとびに走査し、第２階層
は、まず、ブロック内の第２階層を走査したあと、順
次、次のブロックの第２階層へと第２階層のみを全ての
ブロックに渡って走査していく。次に１ブロック内の走
査方式を、第９図に示す。第９図に示すように、第１階
層は、各ブロックの直流成分のみを走査し、第２階層
は、と、順次走査したあと、次のブロックの第２
階層を走査する。第３階層では、・・・の順序
で走査し、次ブロックの第３階層に移る。

復号化時には、第６図に示すように、まず再生したい
階層を再生階層指定61により指定し、指定した任意の階
層までの符号化データを符号化データ読み出し器11で読
み出し、逆量子化、復号化を施すことによって変換係数
を得る。例えば、第７図に示す第２階層まで再生したい
場合には、まず第１階層を全てのブロックについて読み
出した後、第２階層を読み出す。つまり、１ブロックに
ついて計４個の変換係数（低周波部分の２ライン×２
列）を得ることになる。再生の後、第２階層まででデー
タ量が不足であった場合は、さらに、第３階層を読み出
し、先の第２階層までのデータに加えることによって重
複して読み出すことなく、計16個の変換係数（４ライン
×４列）を得ることができる。得られた変換係数は、逆
変換器54〜56から選択された１個の逆変換器によって逆
DCTを施され再生画となる。第２階層までの再生のため
に、先に得られた１ブロックにつき２ライン×２列の変
換係数は、変換係数の個数が逆変換器の最大個数を満た
す範囲で、最も高速である逆変換器を通ることによっ
て２ライン×２列の逆変換が高速に施され２ライン×２
列の再生画素が得られる。以上の方法で、全てのブロッ
クに対して逆変換を施すと、原画像の（1/8）×（1/8）
の大きさの検索画像が再生できる。

効果原画像に直交変換を施すことによって得られた変
換係数を、その周波数成分によって複数の周波数階層に
分類し、低周波階層からブロック間にまたがって走査し
符号化を行うため、符号化データの最初の部分を読み取
るだけで、おおまかな画像を再生するのに必要な変換係
数の１部（低周波部分）を復号でき、それによって、周
波数成分が可変な索引画像を得ることができる。また、
逆変換を行なう際、複数の逆変換手段の中から再生サイ
ズにあった、かつ最も高速な逆変換器を用いて逆変換を
行なうため、サイズの可変な索引画像を高速に得ること
ができ、索引画像再生時と、全体画像再生時で回路を共
用することができるため、簡単な回路構成で高画質な索
引画像を得ることができる。

実施例３目的視覚特性に合った高画質な索引画像を再生する。

構成以下本発明について、図面を参照しながら説明す
る。ここでは、変換符号化としてDCTを取り上げる。

第10図、第11図は、本発明の１実施例における概略ブ
ロック図を示したものである。

符号化時には、第10図に示すように16ライン×16列に
ブロック分割した画像データにDCTを施し変換係数を求
める。さらに求めた変換係数を使って各画像ブロックの
性質を調べブロック群分類器101で複数のブロック群
（ここでは、３種類のブロック群）に分類する。第１の
ブロック群として、低周波の部分に大きな値の変換係数
が集中し、高周波部分の変換係数は、ほとんど０である
低周波ブロック群（原画では、滑らかな変化をする部分
で背景によく見られる。）、第３のブロック群として、
高周波成分にも変換係数の値が存在する高周波ブロック
群（原画では、急峻な変化をする部分で、エッジ部によ
く見られる。）、そして、第１、第３のどちらのブロッ
ク群でもないブロックを第２の中間周波ブロック群とす
る。次に、実施例２で説明したように、複数の周波数階
層に分類する。以上の分類を行った変換係数は、第12図
に示すように、初めに第１階層の高周波ブロック群、
次に第１階層の中間周波ブロック群、第１階層の低周
波ブロック群、第２階層の高周波ブロック群、次に
第２階層の中間周波ブロック群、第２階層の低周波ブ
ロック群、第３階層の高周波ブロック群・・・と走
査し、量子化、符号化を行い符号化データとする。な
お、ブロック群の個数を多くすることによってより細か
く、画像を周波数分類することができ、ブロック群の個
数を画像のブロック数と同じにした場合は、高周波成分
を持つブロックから、低周波成分を持つブロックへと並
べ直すことと同義になる。

復号化時には、第11図に示すように、まず再生したい
ブロック群とその階層を指定し、符号化データ読みだし
器11を用いて、符号化データの先頭から順次指定ブロッ
ク及び指定階層までの符号化データを読み出す。読み出
した符号化データに、逆量子化及び復号化を施し変換係
数を得、得られた変換係数に、逆変換器14〜16から選択
された複数個の逆変換器を用いて逆DCTを施し画像を再
生する。ここで、読出し方式について第12図を参照しな
がら説明する。第12図において、二重線で囲まれたデー
タをの順序で読み出すことにより、中間
周波ブロック群及び、低周波ブロック群は、第２階層ま
で、高周波ブロック群は、第３階層までの符号化データ
を読み出すことができる。このように画像の部分によっ
て読み出すデータの階層を変えることによって、エッジ
部分や細かい部分のみを詳しく再生することが可能にな
る。以上の方式で、読み出したデータに逆量子化、復号
化を施し、中間周波ブロック群及び、低周波ブロック群
は、２ライン×２列、高周波ブロック群は、４ライン×
４列の変換係数を得る。そこで、複数の逆変換器の中か
ら、変換係数の個数が、各逆変換器の最大個数を満たす
範囲で、最も高速な逆変換器を選択する。第12図に示す
中間周波ブロック群及び、低周波ブロック群で得られ
た、２ライン×２列の変換係数は、実施例２で説明した
理由により逆変換器を用いて２ライン×２列の逆変換
を施し、１ブロックについて２ライン×２列の再生画素
を得る。また高周波ブロック群で得られた、４ライン×
４列の変換係数は、逆変換器を用いて４ライン×４列
の逆変換を施し１ブロックにつき４ライン×４列の再生
画素を得る。最後に、低周波ブロック群及び高周波ブロ
ック群で得られた１ブロックにつき２ライン×２列の再
生画素を１ブロックにつき４ライン×４列になるように
拡大操作を行い、高周波ブロック群の再生画素と合わせ
て原画像の（1/4）×（1/4）の大きさの索引画像を再生
する。

さらに、１例として第13図に示す符号化データ格納方
式を説明する。符号化時に、第１階層の高周波ブロック
群、第１階層の中間周波ブロック群、第２階層の高
周波ブロック群、第１階層の低周波ブロック群、次
に第２階層の中間周波ブロック群、第３階層の高周波
ブロック群、第２階層の低周波ブロック群・・・と
走査し、量子化、符号化を行い、復号の際、二重線で囲
まれた符号化データをの順序で読み出すこ
とにより、高周波ブロック群は第３階層まで、中間周波
ブロック群は第２階層まで、低周波ブロック群は、第１
階層までの符号化データを読み出すこともできる。

効果原画像を周波数特性によって分類し、原画像のエ
ッジ部等高周波部分の変換係数から背景部分等の低周波
部分へ、また、変換係数を複数の周波数階層に分類し、
低周波階層から高周波階層へ、走査し符号化を行うた
め、符号化データの最初の部分を読み取るだけで、エッ
ジ部等の高周波部分の符号化データを多く、背景等の低
周波部分の符号化データを少なく得ることができ、それ
によって、周波数成分が可変で、視覚的に画質のよい再
生画を少ないデータ量で再生できる。さらに、逆変換を
行なう際、複数の逆変換手段の中から適切な逆変換手段
を選択して逆変換を行なうので、サイズの可変な索引画
像を高速に得ることができ、索引画像再生時と、全体画
像再生時で回路を共用することができるため、簡単な回
路構成で高画質な索引画像を得ることができる。

発明の効果本発明は、前記した構成により、直交変換を施して得
た変換係数を高圧縮した符号化データの一部を再生画像
データとするため符号化の際特別な回路を必要とせず、
復号の際は、再生サイズにあった逆変換器を用いて逆変
換を行なうため、サイズの可変な索引画像を高速に得る
ことができ、また、回路構成では索引画像再生時と、全
体画像再生時で共用の回路を持つ簡単な回路構成で、索
引画像を得ることができる。

【図面の簡単な説明】

第１図は復号化の際の概略ブロック図、第２図は直交変
換を用いた変換方式のモデル図、第３図は直交変換を用
いた逆変換方式のモデル図、第４図は符号化の際の概略
ブロック図、第５図は符号化の際の概略ブロック図、第
６図は復号化の際の概略ブロック図、第７図は変換係数
を階層に分類した様子を示した説明図、第８図は変換係
数のブロック間走査方式を示した説明図、第９図は変換
係数のブロック内走査方式を示した説明図、第10図は符
号化の際の概略ブロック図、第11図は復号化の際の概略
ブロック図、第12図は本発明の１実施例の画像ファイル
用符号化装置における符号化データ格納方式を示した説
明図、第13図は符号化データ格納方式を示した説明図、
第14図は従来例を示した説明図である。 11……符号化データ読出し器、12……逆量子化、復号化
器、13……逆変換器指定手段、14……逆変換器、15…
…逆変換器、16……逆変換器、41……ブロック分割
器、42……ディスクリートコサイン変換器、44……量子
化、復号化器、52……周波数階層分類器、61……再生階
層指定器、101……ブロック群分類器、111……画像形成
器、112……再生ブロック群指定手段。

Claims

(57)【特許請求の範囲】

【請求項１】ブロック分割した原画像に対して直交変換
を施し変換係数を得る手段と、前記変換係数を符号化す
る手段とで構成された符号化部、および前記符号化デー
タの一部または全てを読み出す手段と、読みだした符号
化データを復号し変換係数を得る手段と、前記復号した
変換係数の一部もしくは全部の逆直交変換を行う複数の
逆変換手段と、ブロックごとに前記複数の逆変換手段か
ら一つの逆変換手段を選択する手段とで構成される復号
化部とを有し、再生画像の保有する周波数成分及びサイ
ズを可変にすることを特徴とするファイル用画像処理装
置。
【請求項２】符号化部が、さらにブロック分割した原画
像に対して直交変換を施すことによって得られた変換係
数のうち同程度の周波数成分を持つ変換係数を一つの階
層として複数の周波数階層に分類する手段を有し、かつ
特許請求の範囲第１項記載の符号化する手段が、前記変
換係数を各周波数階層毎に低周波係数を有する階層から
高周波係数を有する階層へとブロック間にまたがって走
査し順次符号化する手段に置換され、復号化部がさらに
前記符号化データに対して、復号を行なう周波数階層を
指定する手段を有し、特許請求の範囲第１項記載の読み
出す手段が、前記指定された周波数階層までの符号化デ
ータを低周波係数を有する階層から高周波係数を有する
階層へと順次読み出す手段と置換されてなる特許請求の
範囲第１項記載のファイル用画像処理装置。
【請求項３】特許請求の範囲第２項記載の符号化部が、
さらに原画像をブロック分割した各ブロックを、その周
波数特性によって複数のブロック群に分類する手段を有
し、かつ変換係数を、周波数階層毎にかつ、各々の階層
の中では、高周波の周波数特性を持つブロック群から、
低周波の周波数特性を持つブロック群へとブロック間に
またがって走査、符号化する手段に置換され、特許請求
の範囲第２項記載復号化部の周波数階層を指定する手段
が、符号化したデータに対して、ブロック群及び周波数
階層を指定する手段に置換され、特許請求の範囲第２項
記載復号化部の順次読み出す手段が、前記指定されたブ
ロック群及びその周波数階層までの符号化データを読み
出す手段に置換されてなる特許請求の範囲第２項記載の
ファイル用画像処理装置。
【請求項４】直交変換にディスクリートコサイン変換を
用いることを特徴とする特許請求の範囲第１項、第２項
または第３項記載のファイル用画像処理装置。
【請求項５】前記直交変換のサイズがＮライン×Ｎ列で
あり、前記逆変換のサイズが、N/2ⁱライン×N/2ⁱ列であ
ることを特徴とする特許請求の範囲第１項、第２項、第
３項または第４項記載のファイル用画像処理装置。（た
だし、Ｎ＝Nⁿ、ｎ、ｉは０以上の整数）
【請求項６】前記周波数階層の各々のサイズが、2ⁱライ
ン×2ⁱ列であることを特徴とする特許請求の範囲第２
項、第３項、第４項または第５項記載のファイル用画像
処理装置。（ただし、ｉは０以上の整数）