JPH1175183A

JPH1175183A - 画像信号の処理方法及び装置、記録媒体

Info

Publication number: JPH1175183A
Application number: JP23306197A
Authority: JP
Inventors: Takahiko Kounou; 孝彦黌農; Shunichi Takeuchi; 俊一竹内; Nobuyuki Sashita; 信行指田
Original assignee: Custom Technol Kk
Current assignee: Custom Technol Kk
Priority date: 1997-08-28
Filing date: 1997-08-28
Publication date: 1999-03-16
Anticipated expiration: 2017-08-28
Also published as: JP3469438B2; US6427029B1

Abstract

(57)【要約】【課題】ＪＰＥＧ方式に代わる方式で効率的な画像圧
縮を行う画像圧縮装置を提供する。【解決手段】画像信号を量子化部で量子化し、量子化
の結果データを並び換え部で独自の方向にスキャンして
同一符号長で連続する複数の符号ブロックを生成する。
符号化部は、複数の符号ブロックのうち、先頭ブロック
を除く符号ブロックの各々について、直前の符号ブロッ
ク内に“０”が連続する連続領域が存在し、且つ、当該
符号ブロック内に“０”が上記連続領域と相対的に同一
となる始点位置から終点位置を越えて連続して存在する
場合に、当該符号ブロック内の連続領域内の“０”の列
をＺＲＬ（ゼロ・ラン・レングス）に置き換えて圧縮画
像データを生成する。復元時には逆の手順で同一符号長
の符号ブロックを伸長する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像圧縮及び画像
復元技術に係り、特に、デジタル・スチル・カメラやデ
ジタル・スキャナ等で自然画像を色、輝度成分を含む画
像信号として取り込み、これを圧縮してパーソナルコン
ピュータ（以下、ＰＣ）等に伝送したり、ＰＣ上で保
存、あるいは伸長して画像信号を復元するための、改良
された画像信号処理手法に関する。

【０００２】

【従来の技術】自然画像を画像信号に変換して保存した
り、あるいは保存した画像信号をＰＣその他の外部装置
（以下、単にＰＣと称する）に転送する手段を備えた画
像処理装置として、例えば単版式のＣＣＤイメージセン
サを用いたデジタル・スチル・カメラやデジタル・スキ
ャナ等が知られている。この種の画像処理装置では、画
像信号を圧縮する画像圧縮装置を有し、この画像圧縮装
置で生成された圧縮画像データをフラッシュメモリ等の
データ記録媒体に記録してＰＣに渡す。この場合の圧縮
方式としては、「ＩＳＯ／ＩＥＣ１０９１８−１」に
よる国際標準である「ＪＰＥＧ」の非可逆圧縮法が用い
られることが多い。

【０００３】非可逆圧縮法を採用した典型的な画像圧縮
装置は、補間処理部、画像成分補正部、及び画像圧縮部
を含んで構成される。補間処理部は、ＣＣＤイメージセ
ンサから出力される色、輝度成分を含む画像信号、例え
ばＲ（赤），Ｇ（緑），Ｂ（青）信号に補間処理を施し
てＲＧＢ信号に変換するものである。代表的なＣＣＤイ
メージセンサの出力信号の構造を図８、補間処理後の画
像信号の構造を図９に示す。

【０００４】画像成分補正部は、補間処理後の画像信号
に対して輪郭強調、ホワイトバランス調整、ガンマ補正
等を行うものである。輪郭強調は、必要に応じて画像信
号に輪郭強調を施す処理であり、ホワイトバランス調整
は、画像信号を人間の視覚特性に適合させる処理であ
り、ガンマ補正は、自然画像を再生するときの画像信号
の特性をディスプレイの特性に線形的に適合させる処理
である。

【０００５】画像圧縮部は、画像成分補正部から出力さ
れる画像信号をＪＰＥＧ方式によって圧縮する。なお、
ＪＰＥＧ方式では、画像信号がＲ，Ｇ，Ｂ信号からなる
場合は、これを図１０に示すような構造の、輝度（Ｙ）
・色差（CbまたはCr）信号に変換する。輝度・色差信号
に変換した後は、サブサンプリングを施し、色差信号の
間引きを行う。その後、例えば８×８のブロック化（８
画素×８画素）を行い、さらに各ブロックにＤＣＴ（離
散コサイン変換）を施す。次いでＤＣＴによって得られ
た変換係数を量子化し、量子化された変換係数を、図１
２に示す要領でジグザグ・スキャンし、各スキャン方向
において“０”がいくつ続くかという数の情報と変換係
数の大きさとをセットにして二次元ハフマン符号化を行
い、エントロピー圧縮を行う。なお、図１２に示される
数値は各画素の座標である。ただし、このままでは符号
の種類が膨大になるため、発生頻度の低い符号に対して
は「Ｅｓｃａｐｅ符号」とそれに続く固定長の符号とを
用いて符号化する場合もある。

【０００６】量子化後の変換係数には、ＤＣ係数とＡＣ
係数とがある。ＤＣ係数は、上記例では、８×８のブロ
ックに対してＤＣＴを施した後の６４個の係数のうち、
左上の最初の１個の係数のことをいい、残りの６３個の
係数がＡＣ係数である。ＤＣ係数は、以下のようにして
符号化される。まず、あるＤＣ係数と直前のＤＣ係数と
の差分ｄをとり、図１１に示すようなハフマンテーブル
を参照して差分ｄに対するグループ番号（ｓｓｓｓ）と
付加ビットとを求める。付加ビットは、個々の符号を識
別するために使用されるビットであり、例えばグループ
番号が「３」の場合は３ビットである。グループ番号は
ハフマン符号化して出力され、差分ｄは付加ビットの大
きさで表現したものが出力される。

【０００７】また、ＡＣ係数は、ジグザグスキャン→ゼ
ロ・ラン・レングスとグループ番号→ハフマン符号化→
付加ビットの流れで符号化を行う。すなわち、ＤＣＴさ
れたブロックは、多くの“０（０係数、以下同じ）”を
含んでいるため、“０”とそれが続いた後の次の値のビ
ットカウント、というペアに対して符号化した方が圧縮
効率がよい。例えば“０”が６個続いた後に“７”が出
てきた場合は，「“０”が６個続いた後にグループ番号
３の値が来た」という内容のハフマン符号を用いる。た
だし、“０”が１５個以上連続した場合は，「“０”が
１５個続いた」という内容を表す符号（ＺＲＬ（Zero R
un Length）：ゼロ・ラン・レングス）を用いる。ま
た、後続の係数がすべて“０”のときは、ＥＯＢ（End
Of Block）という符号を用いることによって、符号量の
短縮化を図る。

【０００８】一方、ＰＣに構築された画像復元装置で
は、画像圧縮装置で生成された圧縮画像データを取り込
み、これを圧縮と逆手順で伸長する。すなわち、二次元
ハフマン符号の復号を行う。その後、逆ジグザグスキャ
ン、逆量子化、逆ＤＣＴを行って、輝度・色差信号を生
成する。そして、この輝度・色差信号からＲＧＢ信号を
復元し、自然画像を再生する。

【０００９】

【発明が解決しようとする課題】上述のような従来の画
像信号の処理手法には、以下のような問題点があった。（１）計算量が多く、圧縮及び伸長に時間がかかる。上
述のように、従来は、色、輝度成分を含む画像信号、例
えばＣＣＤイメージセンサの出力を、一旦補間処理によ
ってデータ量を増加させた後に、圧縮のための計算を行
っている。そのため、エントロピー圧縮を行う際の計算
量が多くなる。例えば、８ｂｐｐ（bits per pel)の
Ｒ，Ｇ，Ｂ信号に補間処理を施してＲＧＢ信号に変換す
る場合、ＲＧＢ信号は２４ｂｐｐとなり、３倍ものデー
タに一旦増加させてから圧縮することとなる。また、Ｊ
ＰＥＧ方式では、最初に画像信号から輝度・色差信号へ
の変換を施すが、この変換には小数点レベルでの積和演
算を必要とするので膨大な計算量が必要となる。また、
ＪＰＥＧ方式は、それ自体の計算量が多い。すなわち、
ＤＣＴ演算それ自体の計算量が多く、量子化の際に計算
量の多い除算処理も必要となる。

【００１０】（２）画像圧縮の段階で色差信号を間引く
ため、再生時に画像が劣化する。一般に、ＪＰＥＧ方式
では、色差信号の垂直解像度を１／２に間引いて扱うこ
とが多い。これは、いわゆる４：２：２形式と呼ばれ
る。この４：２：２形式では、８×８のブロック化を行
った場合、画素あたりの平均サイズは１６ｂｐｐとなる
が、そのためには、一旦、８ｂｐｐの画像信号を２４ｂ
ｐｐに補間処理し、そのサイズで輝度・色差信号に変換
した後に、１６ｂｐｐに間引く処理が必要となる。この
段階で画像が劣化する。

【００１１】（３）ＪＰＥＧ方式では、画像圧縮の際
に、隣接ブロック間の相関を無視しているため、圧縮効
率の向上に限界がある。つまり、ＪＰＥＧ方式におい
て、８×８のブロックは、それぞれ独立に符号化され、
圧縮される。一般に自然画像において、隣接したブロッ
クは似たようなテクスチャを持つことが多く、その結
果、ＤＣＴなどの直交変換をかけた後の変換係数もまた
似たような値となる場合が多い。この点を考慮すれば圧
縮効率の向上が期待できるが、ＪＰＥＧ方式ではこのよ
うな相関を無視しており、圧縮効率の向上に限界があっ
た。

【００１２】（４）ＤＣ係数とＡＣ係数という２つの異
なる要素をまとめた二次元ハフマン符号化は効率的では
あるが，すべての組み合わせについてハフマン符号を求
めるとハフマンテーブルのサイズが膨大になってしま
う。

【００１３】（５）復号処理が複雑となる。ＪＰＥＧ方
式による圧縮化の際に問題になる要因の一つは、ＡＣ係
数の最大符号長が長いことである。ソフトウエアでハフ
マン符号を復号する場合、高速な実現手法としてテーブ
ル参照による方式が用いられることが多いが、ＪＰＥＧ
方式で用いられる二次元ハフマン符号は最長１６ビット
であり、ＥＳＣＡＰＥ符号を伴う符号の場合は、２８ビ
ットの符号となる。そのため、単一のテーブル参照によ
る高速な復号化のソフトウエアを構築することは困難で
ある。このため、従来、複数の表を組み合わせて復号す
ることがよく行われる。これによってある程度負荷は軽
減されるが、復号処理は複雑なものとなってしまう。

【００１４】そこで本発明は、デジタル・スチル・カメ
ラやデジタル・スキャナ、その他の電子装置において、
上記問題を発生させない、改良された画像信号の処理方
法、処理装置、及びこの処理方法を電子装置上で実現す
るための記録媒体を提供することを課題とする。

【００１５】

【課題を解決するための手段】上記課題を解決する本発
明の画像信号の処理方法は、まず、色、輝度成分を含む
ｍビットの画像信号に対してガンマ補正を含む成分補正
を施す。そして、補正後の画像信号に対して所定ブロッ
ク単位に直交変換と量子化とを施してスケーリングされ
た色・輝度信号を生成する。その後、生成した色・輝度
信号を圧縮してｍビットの圧縮画像データを得る。画像
復元を行う場合は、前記圧縮画像データを取り込み、取
り込んだ圧縮画像データを伸長して前記スケーリングさ
れた色・輝度信号を再生する。そして、再生した色・輝
度信号に対して逆量子化と逆直交変換とを施し、前記ｍ
ビットの画像信号を復元する。その後、復元された前記
ｍビットの画像信号の各々に対して色画素信号を補間し
てｎビット（ｎ＞ｍ）の画像信号を得る。このような処
理を電子装置で実行する。

【００１６】すなわち、従来のように補間処理を画像圧
縮前ではなく、画像信号の復元後に行うようにすること
で、圧縮及び伸長時の画像信号のサイズをｍビットのみ
とする。また、画像圧縮時に輝度・色差信号への変換を
行わず、直交変換処理の際に、輝度・色差信号への変換
と等価の処理を行うようにする。これによって、画像圧
縮・画像復元時のそれぞれにおいて計算量が低減され
る。さらに、圧縮時に画素を間引かないので、画像劣化
も抑制される。なお、この明細書において、画像信号と
は画像を形成する上で必要な要素信号を指している。例
えば、前述のＲ，Ｇ，Ｂ信号、ＲＧＢ信号のような画素
信号のほか、これらの算術演算結果の信号も画像信号に
含まれるものとして扱う。また、自然画像を電子画像と
して取り込む場合の信号形態として、前記Ｒ，Ｇ，Ｂ信
号のほか、Ｙ（黄），Ｍ（マゼンタ），Ｇ（緑），Ｃ
（シアン）信号もあるが、このような信号も画像信号に
含まれるものとする。

【００１７】本発明の画像信号の処理方法は、また、Ｊ
ＰＥＧ方式に代わる画像圧縮過程及び画像伸長過程を含
む。画像圧縮過程は、下記のプロセスを経て圧縮画像デ
ータを生成する。（１−１）画像信号を量子化して得た複数の符号ブロッ
クを連続的に生成する。（１−２）先頭ブロックを除く符号ブロックの各々につ
いて、直前の符号ブロック内に特定符号が連続する連続
領域が存在し、且つ、当該符号ブロック内に前記特定符
号が前記連続領域と相対的に同一となる始点位置から終
点位置を越えて連続して存在する場合に、当該符号ブロ
ック内の前記連続領域の特定符号群を所定記号に置き換
える。一方、画像伸長過程では、下記のプロセスを経て
同一符号長の符号ブロックを再生する。（１−３）前記圧縮画像データを取り込む。（１−４）取り込んだ圧縮画像データに含まれる複数の
符号ブロックの先頭ブロックを符号列に展開する。つま
り複数の符号列を並べる。（１−５）前記先頭ブロックを除く符号ブロックの各々
について、前記所定記号が存在する場合に当該所定記号
を直前の符号ブロックの符号群と対比して該当数の前記
特定符号に置き換える。

【００１８】また、上記課題を解決するため、本発明
は、画像圧縮装置と画像復元装置とを提供する。本発明
の画像圧縮装置は、下記の構成要素を具備してなる。・入力された画像信号を量子化する量子化手段、・量子化の結果データを所定方向にスキャンして複数の
符号ブロックを連続的に生成する符号並び換え手段、・前記符号ブロックのうち先頭ブロックを除く符号ブロ
ックの各々について、直前の符号ブロック内に特定符号
が連続する連続領域が存在し、且つ、当該符号ブロック
内に前記特定符号が前記連続領域と相対的に同一となる
始点位置から終点位置を越えて連続して存在する場合
に、当該符号ブロック内の前記連続領域の特定符号群を
所定記号に置き換えて圧縮画像データを生成する符号化
手段。なお、前記符号並び換え手段は、前記特定符号が
連続するように統計的に定めた方向に前記量子化の結果
データを並び換えることで前記複数の符号ブロックを生
成するように構成される。

【００１９】本発明の画像復元装置は、下記の構成要素
を具備してなる。・上記本発明の画像圧縮装置によって生成された圧縮画
像データを取り込む画像データ入力手段、・前記取り込んだ圧縮画像データに含まれる複数の符号
ブロックの先頭ブロックを符号列に展開するとともに、
前記先頭ブロックを除く符号ブロックの各々について、
前記所定記号が存在する場合に、直前の符号ブロックと
対比して該当数の前記特定符号に置き換える画像伸長手
段。

【００２０】本発明は、また、電子装置に対して画像圧
縮装置の機能を付与する第１記録媒体と、画像復元装置
の機能を付与する第２記録媒体とを提供する。

【００２１】第１記録媒体は、下記の処理を電子装置、
例えばＣＰＵ（マイクロプロセッサ）を具備する装置に
実行させるプログラムを当該電子装置が読み取り可能な
形態で記録してなる記録媒体である。・画像信号を複数のブロックに分割する処理、・分割された前記ブロックの各々に対して整数を要素と
する直交変換を施す処理、・前記変換結果を量子化するとともに、量子化の結果デ
ータをブロック単位で所定方向にスキャンして複数の符
号ブロックを連続的に生成する処理、・先頭ブロックを除く符号ブロックの各々について、直
前の符号ブロック内に特定符号が連続する連続領域が存
在し、且つ、当該符号ブロック内に前記特定符号が前記
連続領域と相対的に同一となる始点位置から終点位置を
越えて連続して存在する場合に、当該符号ブロック内の
前記連続領域の特定符号群を所定記号に置き換えて圧縮
画像データを生成する処理。

【００２２】また、第２記録媒体は、下記の処理を電子
装置に実行させるプログラムを当該電子装置が読み取り
可能な形態で記録してなる記録媒体である。・前記画像圧縮過程ないし画像圧縮手段によって生成さ
れた圧縮画像データを取り込む処理、・前記取り込んだ圧縮画像データに含まれる複数の符号
ブロックの先頭ブロックを符号列に展開するとともに、
前記先頭ブロックを除く符号ブロックの各々について、
前記所定記号が存在する場合に、直前の符号ブロックと
対比して該当数の前記特定符号に置き換える処理、・再生された符号ブロックを逆スキャンするとともに、
逆スキャン結果に対して逆量子化と逆直交変換とを施し
て前記分割された画像信号を再生する処理。

【００２３】

【発明の実施の形態】以下、デジタル・スチル・カメラ
等の画像処理装置に本発明の画像圧縮装置を組み込み、
この画像圧縮装置で生成した圧縮画像データをＰＣで実
現した画像復元装置において復元する場合の実施の一形
態を、図面を参照して説明する。

【００２４】図１は、本実施形態による画像圧縮装置１
の要部構成図である。この画像圧縮装置１は、例えば単
版色ＣＣＤイメージセンサから、色、輝度成分を含む画
像信号を取り込む画像信号入力部１１と、取り込んだ画
像信号に対してガンマ補正、輪郭強調、ホワイトバラン
ス調整等の成分補正処理を施す、従来型装置のものと同
一機能の画像成分補正部１２と、成分補正された画像信
号を圧縮して圧縮画像データを生成する画像圧縮部１３
と、圧縮画像データを記録するデータ記録媒体、例えば
公知のフラッシュメモリ１５と、データ記録媒体１５と
の間のデータ記録及びその読み出しを制御するメモリ制
御部１４を備えて構成される。なお、画像信号入力部１
１と画像成分補正部１２は、画像圧縮装置１の構成要素
ではなく、画像処理装置の標準機能として備えられてい
る場合もあり、この場合は、画像処理装置１にこれらの
機能を具備することを要さない。

【００２５】画像圧縮部１３は、画像信号を例えばＮ×
Ｎ（Ｎは自然数）のブロックに分割するブロック化部１
３１、分割されたブロックの各々に対して整数を要素と
するＮ×Ｎの直交変換を施す直交変換部１３２、直交変
換の結果データを量子化する量子化部１３３、量子化の
結果データをブロック単位で所定方向にスキャン（並び
換え）し、複数の符号ブロックを連続的に生成する並び
換え部１３４、各符号ブロックを圧縮して圧縮画像デー
タを生成する符号化部１３５の機能ブロックを具備して
いる。これらの機能ブロック１３１〜１３５は、本発明
の第１記録媒体であるＲＯＭ（読み出し専用メモリ：図
示省略）等に格納されたプログラムをＣＰＵ（マイクロ
プロセッサ：図示省略）が読み出して実行することによ
って形成される。換言すれば、本発明の第１記録媒体
は、ＣＰＵを搭載した電子装置に上記画像圧縮装置の機
能を付与するものである。

【００２６】なお、データ記録媒体１５を介さずに、通
信ケーブル等によって直接ＰＣ等の外部装置に伝送する
形態も可能であり、この場合は、データ記録媒体１５と
メモリ制御部１４は不要となるが、それに代えて、公知
の通信制御手段が必要となる。

【００２７】一方、画像復元装置２は、図２に示すよう
に、画像圧縮装置１で生成された圧縮画像データを入力
するデータ入力部２１と、入力された圧縮画像データか
ら画像信号を復元する画像復元部２２と、復元した画像
信号を記録するハードディスク装置等のデータ記録媒体
２４と、データ記録媒体への画像信号の記録とその読み
出しを制御する画像メモリ制御部２３とを備えて構成さ
れる。

【００２８】画像復元部２２は、圧縮画像データを前記
圧縮と逆手順で伸長して複数の符号ブロックを再生する
復号化部２２１、各符号ブロックの符号の逆並び換えを
行う逆並び換え部２２２、逆並び換えがなされた符号を
逆量子化する逆量子化部２２３、逆量子化結果を逆直交
変換して画像信号（画像ブロック）を復元する逆直交変
換部２２４、復元された個々の画像信号に対して色画素
信号を補間する補間処理部２２５の機能ブロックを具備
している。これらの機能ブロック２２１〜２２５は、本
発明の第２記録媒体であるＲＯＭ（読み出し専用メモ
リ）やＣＤ−ＲＯＭ（コンパクトディスク型ＲＯＭ）そ
の他の可搬性メディアに格納されたプログラムをＰＣの
ＣＰＵ（マイクロプロセッサ：図示省略）が読み出して
実行することによって形成される。換言すれば、本発明
の第２記録媒体は、ＰＣのような情報処理装置に上記画
像復元装置の機能を付与するものである。

【００２９】次に、Ｎ×Ｎのブロックを１６×１６画素
のＲ，Ｇ，Ｂ信号とした場合の上記画像圧縮装置１及び
画像復元装置２の処理内容を、より具体的に説明する。
本実施形態では、（１）圧縮及び伸長時の計算量の削減
と画像再生時の画像劣化の防止を同時に満足するため、
補間処理は、画像圧縮装置１では行わず、画像復元装置
２側で行うようにしたこと、（２）画像圧縮及びその復
元の際の計算量をより削減するため、直交変換部１３２
において、直交変換、例えば「Ｈａｄａｍａｒｄ−Ｈａ
ａｒ変換」を用い、さらに圧縮に際しては、隣接の符号
ブロック間の相関を利用することとしたことが、従来型
装置と顕著に異なる点である。

【００３０】図３は、本実施形態における画像信号の１
６×１６のブロックに対する直交変換の基底となる行列
である。この行列を基底とする変換手法がＨａｄａｍａ
ｒｄ−Ｈａａｒ変換である。実際にはこのＨａｄａｍａ
ｒｄ−Ｈａａｒ変換（一次元）を垂直・水平方向のそれ
ぞれに対して実行し、二次元的に使用する。

【００３１】本実施形態でＨａｄａｍａｒｄ−Ｈａａｒ
変換を用いたのは、ＤＣＴと比較して少ない計算量でこ
れに近い圧縮効率を持ち、且つ色、輝度成分を含む画像
信号の輝度・色差信号への変換と等価の変換結果が得ら
れたことを確認したことがその理由である。例えば、Ｄ
ＣＴで８×８のブロックの演算を４回適用して１６×１
６のブロックを処理した場合は、４００回以上の乗算と
１８００回以上の加減算が必要となる。これに対して、
Ｈａｄａｍａｒｄ−Ｈａａｒ変換では、１５３６回の加
減算とビットシフトのみで計算することが可能であり、
ＤＣＴに比較して、計算量はかなり少なくなる。但し、
画像圧縮を行う上で、必ずＨａｄａｍａｒｄ−Ｈａａｒ
変換を用いなければならないというものではなく、Ｈａ
ｄａｍａｒｄ変換、あるいはＨａａｒ変換、Ｈａｄａｍ
ａｒｄ−Ｈａａｒ変換を用いることもできる。因みに、
８×８のブロックに対する直交変換に要する乗算と加減
算の回数は、それぞれＨａｄａｍａｒｄ変換が０回と３
８４回、Ｈａａｒ変換が３２回と３２０回、Ｈａｄａｍ
ａｒｄ−Ｈａａｒ変換が６４回（ただし、図３に示す
「２」または「−２」による乗算なので、ビットシフト
処理によって置き換えることが可能）と２５６回であっ
た。

【００３２】また、直交変換は、それ自身の逆変換が存
在するため、変換によって情報が失われることはない
が、目標とする圧縮率に応じた値で変換係数を除算する
ことで圧縮率をコントロールしているのが通常である。
ＪＰＥＧ方式においても、ＤＣＴ結果の変換係数を除算
することによって圧縮率を調整している。しかし、除算
は非常に負荷の大きな演算である。そこで本実施形態で
は、変換時に必要となる除算をデータビットの右シフト
によって行うようにした。これによって計算量がさらに
削減することができた。

【００３３】本実施形態では、また、画像圧縮に先立
ち、並び換え部１３４において、“０”が連続するよう
に統計的に定めた独自の方向に、量子化部１３３の出力
データをスキャンすることで、１６×１６の要素を含む
符号ブロックを生成する。このときのスキャンオーダ
は、直交変換の種類に依存し、または影響を受ける。図
４は、このようにして作成された符号ブロックの一部を
例示したものである。

【００３４】符号化部１３５では、これらの符号ブロッ
クを効率的な手法で圧縮（例えばエントロピー圧縮）す
る。参考のため、ＪＰＥＧ方式で図４の内容の符号ブロ
ックを圧縮した場合の例を図５（ａ）に示す。図中、
（0*0,30)は、“０”の連続がない状態で非０係数であ
る“３０”が存在すること、(0*4,1)は、“０”が４個
連続した後に非０係数である“１”が存在することを表
す。他の場合も同様の見方をすることができる。このよ
うに、ＪＰＥＧ方式では、隣接ブロックの相関を考慮し
ていない。なお、「EOB(End of Block)」は、その符号
ブロックに後続の符号がないことを表す符号である。

【００３５】これに対し、本実施形態の符号化部１３５
では、注目する符号ブロックとその直前の符号ブロック
との相関をみる。そして、直前の符号ブロック内に
“０”が連続する連続領域が存在し、且つ、注目する符
号ブロック内に“０”が上記連続領域と相対的に同一と
なる始点位置から終点位置を越えて連続して存在する、
という条件を満たす場合に、その注目する符号ブロック
内の連続領域内の“０”の列を一つのＺＲＬ（Zero Run
Length）に置き換える。例えば、図５（ｂ）におい
て、Ｎ＋１の符号ブロックに注目した場合、直前の符号
ブロックＮとの関係では、５番目〜８番目の係数領域Ｒ
１で上記条件を満たす。従って、この場合は、当該係数
領域Ｒ１の“０”の列をＺＲＬに置き換える。一方、Ｎ
＋２の符号ブロックに注目した場合、その直前の符号ブ
ロックＮ＋１との関係では、７番目〜９番目の係数領域
Ｒ３で上記条件を満たすので、その係数領域Ｒ３の
“０”の列をＺＲＬに置き換える。４番目〜５番目の係
数領域Ｒ２では連続領域が重複するが、上記条件を満た
さないため、ＺＲＬに置き換えることはできない。これ
は、単に直前の符号ブロックと“０”の連続する領域が
重複するだけでは、伸長の際に、“０”を何個補充した
らよいかが不明になるからである。換言すれば、上記条
件を満たす場合は、直前の符号ブロックと対比するだけ
で、容易に補充すべき“０”の数を割り出すことができ
るようになる。図５（ｃ）は、このようにして生成され
た圧縮画像データの例を示した図である。

【００３６】画像復元装置２では、画像圧縮装置１で行
った圧縮手順と逆の手順で画像信号を復元する。ただ
し、復号化部２２１では、まず、先頭ブロック（図４の
例では、符号ブロックＮ）を展開し、符号列を並べる。
その後に後続の符号ブロックについて、ＺＲＬが存在す
る場合に、それを順次“０”の列に置き換えていく。こ
れにより、圧縮前の符号ブロックが再生される。

【００３７】次に、本実施形態による画像圧縮時及び画
像復元時のデータサイズの変遷をＪＰＥＧ方式との比較
において説明する。比較の便宜上、ＣＣＤイメージセン
サからの画像信号は共に８ｂｐｐとする。図６はこの場
合の画像圧縮の際のデータサイズの変遷図であり、
（ａ）はＪＰＥＧ方式の場合、（ｂ）は本実施形態の場
合である。ＪＰＥＧ方式の場合は、８ｂｂｐの画像信号
を取り込んだ後（Ｓ１１）、直ちに２４ｂｐｐへの補間
処理を行う（Ｓ１２）。補間処理後は輝度・色差信号Ｙ
／Ｃｂ・Ｃｒに変換するが、このときは２４ｂｐｐのま
まとなる（Ｓ１３）。その後、１６ｂｐｐのサイズに間
引いて圧縮するため（Ｓ１４）、圧縮画像データは１６
ｂｐｐとして出力される。従って、画像圧縮時の負荷が
大きい反面、画像が劣化する。これは前述のとおりであ
る。これに対し、本実施形態では、画像信号入力後、８
ｂｐｐのまま圧縮を行うので（Ｓ２１）、画像劣化がな
く、しかも画像圧縮時の負荷も軽減されることがわか
る。

【００３８】画像復元の際のデータサイズの変遷は、図
７のようになる。すなわち、ＪＰＥＧ方式の場合は、図
７（ａ）のように、１６ｂｐｐに画像伸長した後（Ｓ１
５）、２４ｂｐｐのＲＧＢ信号に変換して画像信号の再
生を行うが（Ｓ１６）、本実施形態の場合は、図７
（ｂ）のように、８ｂｐｐのサイズで画像伸長と画像信
号の復元を行った後に（Ｓ２２）、２４ｂｐｐへの補間
処理を行う（Ｓ２３）。そのため、画像復元時の負荷が
ＪＰＥＧ方式よりも軽減されるばかりでなく、再生時の
画像信号がより鮮明になる。

【００３９】このように、本実施形態の画像圧縮装置１
では、隣接する符号ブロックは同じようなテクスチャを
持つことが多く、その結果、非０係数も同じような位置
に出現することが多いという性質を有効に利用して圧縮
を行うようにしたので、ＡＣ係数については、非０係数
と１個のＺＲＬだけで足りるようになり、結果的にＪＰ
ＥＧ方式の１６ビット長（Ｅｓｃａｐｅ符号を用いた場
合は２８ビット長）に比較して、その半分以下（最長８
ビット）のデータサイズでハフマン符号を構成すること
が可能になる。また、８×８のブロックの場合は、２５
６の要素を用意するだけで、効率よく復号処理を行うこ
とができるようになり、ハフマンテーブルの肥大化も防
止できるようになる。ＤＣ係数の扱いについては従来手
法と同様となる

【００４０】なお、画像圧縮装置１は、上記条件を満た
す場合に複数の“０”の列をＺＲＬに置き換える点に主
眼があるので、画像信号は、必ずしも色、輝度信号を含
むカラーの信号でなくともよく、モノクロの画像信号に
ついても同様に適用できるものである。また、画質劣化
を抑制する観点からは、補間処理を画像復元後に行えば
よいので、ＪＰＥＧ方式のように、他の直交変換（この
場合はＤＣＴ）を用いて圧縮する場合においても、本発
明を適用することは可能である。

【００４１】

【発明の効果】以上の説明から明らかなように、本発明
によれば、従来の画像信号の処理手法よりも格段に少な
い計算量で従来手法と同等の圧縮効果を得ることがで
き、しかも画質の劣化を抑制できるという優れた効果が
得られる。

【図面の簡単な説明】

【図１】本発明の画像圧縮装置の実施の一形態を示す機
能ブロック図。

【図２】本発明の画像復元装置の実施の一形態を示す機
能ブロック図。

【図３】本実施形態の画像圧縮装置が直交変換時に用い
る一次元Ｈａｄａｍａｒｄ−Ｈａａｒ変換の直交基底行
列の説明図。

【図４】本実施形態の並び換え部によって作成された符
号ブロックの一部を例示した図。

【図５】（ａ）はＪＰＥＧ方式によって図５の符号ブロ
ックのエントロピー圧縮した場合の概念説明図、（ｂ）
は本実施形態の方式によって圧縮する場合の原理説明
図、（ｃ）は本実施形態の方式によって圧縮した後の圧
縮画像データの説明図。

【図６】画像圧縮時のデータサイズの変遷を示す図で、
（ａ）はＪＰＥＧ方式の場合、（ｂ）は本実施形態の場
合である。

【図７】画像復元時のデータサイズの変遷を示す図で、
（ａ）はＪＰＥＧ方式の場合、（ｂ）は本実施形態の場
合である。

【図８】ＣＣＤイメージセンサから出力される代表的な
画像信号の説明図。

【図９】画像信号に対して補間処理した後の状態を示す
説明図。

【図１０】輝度・色差信号の説明図。

【図１１】ＪＰＥＧ方式でＤＣ係数を符号化する際に用
いられるテーブルの説明図。

【図１２】ＪＰＥＧ方式でＡＣ係数を符号化する際に行
われるジグザグスキャンの例を示す説明図。

【符号の説明】

１画像圧縮装置２画像復元装置１１画像信号入力部１２画像成分補正部１３画像圧縮部１３１ブロック化部１３２直交変換部１３３量子化部１３４並び換え部１３５符号化部１４メモリ制御部１５データ記録媒体２１データ入力部２２画像復元部２２１復号化部２２２逆並び換え部２２３逆量子化部２２４逆直交変換部２２５補間処理部２３メモリ制御部２４データ記録媒体

Claims

【特許請求の範囲】

【請求項１】色、輝度成分を含むｍビット（ｍは自然
数）の画像信号に対してガンマ補正を含む成分補正を施
すとともに、補正後の画像信号に対して所定ブロック単
位に直交変換と量子化とを施してスケーリングされた色
・輝度信号を生成し、前記生成した色・輝度信号を圧縮
してｍビットの圧縮画像データを得る画像圧縮過程と、前記圧縮画像データを取り込み、取り込んだ圧縮画像デ
ータを伸長して前記スケーリングされた色・輝度信号を
再生し、この再生信号に対して逆量子化と逆直交変換と
を施して前記ｍビットの画像信号を復元する画像伸長過
程と、復元された前記ｍビットの画像信号の各々に対して色画
素信号を補間してｎビット（ｎ＞ｍ）の画像信号を得る
補間過程と、を少なくともこの順に実行することを特徴
とする、電子装置による画像信号の処理方法。
【請求項２】画像信号を量子化して得た複数の符号ブ
ロックを連続的に生成するとともに、先頭ブロックを除
く符号ブロックの各々について、直前の符号ブロック内
に特定符号が連続する連続領域が存在し、且つ、当該符
号ブロック内に前記特定符号が前記連続領域と相対的に
同一となる始点位置から終点位置を越えて連続して存在
する場合に、当該符号ブロック内の前記連続領域の特定
符号群を所定記号に置き換えて圧縮画像データを生成す
る画像圧縮過程と、前記圧縮画像データを取り込み、取り込んだ圧縮画像デ
ータに含まれる複数の符号ブロックの先頭ブロックを符
号列に展開し、前記先頭ブロックを除く符号ブロックの
各々について、当該符号ブロック内に前記所定記号が存
在する場合に、直前の符号ブロックの符号群と対比して
その所定記号を該当数の前記特定符号に置き換える画像
伸長過程とを含む、電子装置による画像信号の処理方
法。
【請求項３】画像信号を複数のブロックに分割する過
程と、分割された前記画像信号の各々に対して整数を要素とす
る直交変換を施す過程と、前記変換結果を量子化するとともに、量子化の結果デー
タを所定方向にスキャンして複数の符号ブロックを連続
的に生成する過程と、前記複数の符号ブロックのうち先頭ブロックを除く符号
ブロックの各々について、直前の符号ブロック内に特定
符号が連続する連続領域が存在し、且つ、当該符号ブロ
ック内に前記特定符号が前記連続領域と相対的に同一と
なる始点位置から終点位置を越えて連続して存在する場
合に、当該符号ブロック内の前記連続領域の特定符号群
を所定記号に置き換えて圧縮画像データを生成する過程
とを含む、電子装置による画像信号の処理方法。
【請求項４】前記量子化の結果データのスキャンは、
前記特定符号が連続するように統計的に定めた方向に、
前記結果データを並べることにより行うことを特徴とす
る請求項３記載の処理方法。
【請求項５】前記直交変換が、色、輝度成分を含む画
像信号の輝度・色差信号への変換と等価の変換結果を得
る変換手法であることを特徴とする請求項３記載の処理
方法。
【請求項６】前記変換手法が、Ｈａｄａｍａｒｄ変
換、Ｈａａｒ変換、またはＨａｄａｍａｒｄ−Ｈａａｒ
変換のいずれかを二次元的に演算するものであることを
特徴とする請求項５記載の処理方法。
【請求項７】変換時に生じる除算処理をビットシフト
によって代行することを特徴とする請求項６記載の処理
方法。
【請求項８】請求項３記載の処理方法によって生成さ
れた圧縮画像データを取り込み、取り込んだ圧縮画像デ
ータに含まれる複数の符号ブロックの先頭ブロックを符
号列に展開するとともに、前記先頭ブロックを除く符号
ブロックの各々について、前記所定記号が含まれている
場合にその所定符号を直前の符号ブロックの符号と対比
して該当数の前記特定符号に置き換える過程と、前記特定符号に置き換えられた符号ブロックを逆スキャ
ンし、逆スキャン結果に対して逆量子化と逆直交変換と
を施して前記分割された画像信号を復元する過程と、を
含む、電子装置による画像信号の処理方法。
【請求項９】画像信号を量子化する量子化手段と、量子化の結果データを所定方向にスキャンして複数の符
号ブロックを連続的に生成する符号並び換え手段と、前記複数の符号ブロックのうち先頭ブロックを除く符号
ブロックの各々について、直前の符号ブロック内に特定
符号が連続する連続領域が存在し、且つ、当該符号ブロ
ック内に前記特定符号が前記連続領域と相対的に同一と
なる始点位置から終点位置を越えて連続して存在する場
合に、当該符号ブロック内の前記連続領域の特定符号群
を所定記号に置き換えて圧縮画像データを生成する符号
化手段と、を具備してなる画像圧縮装置。
【請求項１０】前記符号並び換え手段は、前記特定符
号が連続するように統計的に定めた方向に前記量子化の
結果データを並び換えることで前記複数の符号ブロック
を生成するように構成されていることを特徴とする請求
項９記載の画像圧縮装置。
【請求項１１】請求項８記載の画像圧縮装置によって
生成された圧縮画像データを取り込む画像データ入力手
段と、前記取り込んだ圧縮画像データに含まれる複数の符号ブ
ロックの先頭ブロックを符号列に展開するとともに、前
記先頭ブロックを除く符号ブロックの各々について、前
記所定記号が存在する場合に当該所定記号を直前の符号
ブロックと対比して該当数の前記特定符号に置き換える
画像伸長手段と、を具備してなる画像復元装置。
【請求項１２】画像信号を複数のブロックに分割する
処理、分割された前記ブロックの各々に対して整数を要素とす
る直交変換を施す処理、前記変換結果を量子化するとともに、量子化の結果デー
タを所定方向にスキャンして複数の符号ブロックを連続
的に生成する処理、前記複数の符号ブロックのうち先頭ブロックを除く符号
ブロックの各々について、直前の符号ブロック内に特定
符号が連続する連続領域が存在し、且つ、当該符号ブロ
ック内に前記特定符号が前記連続領域と相対的に同一と
なる始点位置から終点位置を越えて連続して存在する場
合に、当該符号ブロック内の前記連続領域の特定符号群
を所定記号に置き換えて圧縮画像データを生成する処理
を電子装置に実行させるプログラムが、当該電子装置に
読み取り可能な形態で記録された記録媒体。
【請求項１３】請求項３記載の処理方法によって生成
された圧縮画像データを取り込む処理、前記取り込んだ圧縮画像データに含まれる複数の符号ブ
ロックの先頭ブロックを符号列に展開するとともに、前
記先頭ブロックを除く符号ブロックの各々について、前
記所定記号が存在する場合に、当該所定記号を直前の符
号ブロックと対比して該当数の前記特定符号に置き換え
る処理、再生された符号ブロックを逆スキャンするとともに、逆
スキャン結果に対して逆量子化と逆直交変換とを施して
前記分割された画像信号を復元する処理を電子装置に実
行させるプログラムが、当該電子装置に読み取り可能な
形態で記録された記録媒体。