JP4159259B2 - Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program - Google Patents

Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program Download PDF

Info

Publication number
JP4159259B2
JP4159259B2 JP2001044782A JP2001044782A JP4159259B2 JP 4159259 B2 JP4159259 B2 JP 4159259B2 JP 2001044782 A JP2001044782 A JP 2001044782A JP 2001044782 A JP2001044782 A JP 2001044782A JP 4159259 B2 JP4159259 B2 JP 4159259B2
Authority
JP
Japan
Prior art keywords
color
frequency coefficient
subband
conversion
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001044782A
Other languages
Japanese (ja)
Other versions
JP2002247581A (en
Inventor
熱河 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001044782A priority Critical patent/JP4159259B2/en
Publication of JP2002247581A publication Critical patent/JP2002247581A/en
Application granted granted Critical
Publication of JP4159259B2 publication Critical patent/JP4159259B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳細には、デジタルカラー画像を符号化／復号化するための画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、例えば、デジタルカメラ、コンピュータ、プリンタ、複写機といったデジタルカラー画像を取り扱う画像処理装置は広く普及している。しかし、高画質なカラー画像は多くの画素から構成されるので、各種装置内においてその保存のために大量のメモリ容量を必要とするばかりではなく、インターネット等を介した伝送に際して時間がかかるといった扱いにくさが生じる。そこで、従来よりカラー画像を効率的に圧縮するための様々な手段が提案されている。このうちサブバンド変換を用いる技術では、カラー画像に対してまず色変換を行なって輝度信号と色差信号に分け、その後、輝度信号のみ、あるいは輝度信号と色差信号の両者に対してサブバンド変換を施すという手法が知られている。
【０００３】
例えば、昭和６１年６月３，４日開催の「昭和６１年度画像電子学会 第１４回全国大会」の予稿集に記載されているＮｏ.２４「均等色空間に基づくカラー画像の符号化」（大島、門馬、窪田）における手法を図２４に示す。図中、２００は、ＲＧＢ―Ｌａｂ変換部、２０１，２０２は、色差平均化部、２０３は、輝度サブサンプリング部、２０４，２０５は、色差サブサンプリング部、２０６は、符号化部である。まず、ＲＧＢ−Ｌａｂ変換部２００において色変換（ＲＧＢ→Ｌａｂ変換）されたカラー画像データは、色差平均化部２０１，２０２において、劣化させても画質上影響の少ない色信号ａ，ｂのみが２×２画素ブロック単位で４画素平均化される。その後、画像データは、明度信号と色信号が夫々輝度サブサンプリング部２０３、色差サブサンプリング部２０４，２０５でサブサンプリングされ、符号化部２０６で符号化される。
【０００４】
また、上述の手法と同様な考えに基づく特開昭６３−９２８２号公報に記載された手法を図２５に示す。図中、３００は、Ｒ色ブロック、３０１は、Ｇ色ブロック、３０２は、Ｂ色ブロック、３０３は、色変換部、３０４は、輝度直交変換部、３０５，３０６は、色差代表色算出部、３０７，３０８，３０９は、量子化・符号化部である。まず、Ｒ色ブロック３００、Ｇ色ブロック３０１、Ｂ色ブロック３０２のブロック単位毎に、色変換部３０３で色変換されたカラー画像データは、輝度直交変換部３０４で明度信号が直交変換されて直流成分および交流成分に変換され、直流・交流成分ともに量子化・符号化部３０７で量子化・符号化される。他方、色信号は、色差代表色算出部３０５，３０６でブロック内の情報を１色で表した代表色（本実施例ではブロック平均値）が算出された後、量子化・符号化部３０８，３０９で代表色のみが量子化・符号化される。
【０００５】
さらに動画像符号化においても、色変換処理後にサブバンド変換を行うという処理がもっぱら用いられている。例えば、ＭＰＥＧ２においては、各フレームは輝度信号であるＹ信号と、色差信号であるＣｒ信号、Ｃｂ信号とからなる信号として符号化される。このように、従来のカラー画像の符号化は、まず色変換により情報を偏らせ、その後に、必要に応じ明度信号・色信号毎に位置的相関を用いてさらに情報を偏らせることを基本的な処理の流れとしていた。
【０００６】
一方、カラー画像を簡易に扱う方法の一つとして、近年、オリジナルのカラー画像から低解像度画像を作り、この低解像度画像を表示に使用する手法が広く用いられている。例えば、低解像度画像のみを伝送するのに要する時間はフルサイズのカラー画像を伝送する時間に比べて数分の１から数十分の１と短くできるために、インターネット等において、まずは低解像度画像の一覧を表示させ、ユーザが選択した後にフルサイズ画像を表示することが行なわれる。このような表示用の低解像度画像はサムネイル画像と呼ばれる。
【０００７】
サブバンド変換を用いた符号化において、低周波係数をサムネイル画像に用いるという考えは従来より知られている。例えば、特開平１１−４３４３号公報に記載されたＲＧＢ色成分ごとに個別にサブバンド変換して得られた低周波画像をサムネイル画像として使用する方法、およびＲＧＢ色成分を輝度、色差信号に色変換してから輝度、色差の各信号に対してサブバンド変換を施し、得られた低解像度の輝度信号と色差信号から低解像度のＲＧＢ信号を算出してサムネイル画像とする方法が開示されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、色変換後にサブバンド変換を行うという従来の方式は必ずしもカラー画像の符号化に最適な方式というわけではなく、回路規模の面で無駄が多かった。具体的には、冗長度削減効果が高いサブバンド変換を処理の最上流で行なわないので、本来少数でよいはずの色変換回路が増大するという問題があった。また、特にサムネイル画像を作成する場合においては、上流で輝度、色差へと変換することによって回路規模が増大することに加え、低解像度画像を作るための逆色変換処理が必要になり、サムネイル画像作成のために更に回路が必要となり、且つ処理時間が増大するという欠点があった。
【０００９】
一方、特開２０００−２３１９６号公報では、低解像度画像を素早く表示させるために、復号時にまず低周波成分を逆色変換してサムネイル画像を得、解像度の高い画像を復元する際には逆色変換、逆サブバンド変換の順で変換を施す方法が開示されている。しかし、かかる方法においても、低解像度画像を得るためにまず逆色変換を行なわなければならないため、処理速度はその分だけ遅れ、また逆色変換回路が必要となる。特にサムネイル表示や動画の復元においては、復号処理時間の短縮は重要であり、今まで以上に早い時間で復号可能な画像処理が必要とされている。
【００１０】
本発明は、上述の問題点に鑑みてなされたものであり、カラー画像の圧縮において従来より回路規模が少なくてすむ符号化装置、復号化装置、符号化方法、復号化方法、そのための方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータが読取可能な記録媒体を提供すること、を目的としてなされたものである。
また、本発明の別の目的は、サムネイル表示や動画の復号に適した復号化装置等を提供することである。
【００１１】
【課題を解決するための手段】
請求項１の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、前記第２のサブバンド変換手段で変換された低周波係数、前記第２の色変換手段で色変換された明度信号及び色差信号、及び前記第１の色変換手段で色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１３】
請求項２の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、前記第２の色変換手段で色変換された明度信号及び色差信号と前記第１の色変換手段で色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１４】
請求項３の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記色変換手段で色変換された明度信号及び色差信号と前記第２のサブバンド変換手段で変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１９】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記低周波係数をサムネイル画像として表示する表示手段を有することを特徴としたものである。
【００２０】
請求項５の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、前記第２のサブバンド変換ステップで変換された低周波係数、前記第２の色変換ステップで色変換された明度信号及び色差信号、及び前記第１の色変換ステップで色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２１】
請求項６の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、前記第２の色変換ステップで色変換された明度信号及び色差信号と前記第１の色変換ステップで色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２２】
請求項７の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記色変換ステップで色変換された明度信号及び色差信号と前記第２のサブバンド変換ステップで変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２３】
請求項８の発明は、請求項５乃至７のいずれか１の発明における画像処理方法をコンピュータに実行させるためのプログラムである。
【００２４】
請求項９の発明は、請求項８の発明におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３２】
【発明の実施の形態】
図１，図３，図４は、本発明において用いられるサブバンド変換の一例を示す図である。本発明においてサブバンド変換は、１次元に適用しても２次元に適用しても良い。例えば、１次元に適用した場合には図１に示す形となり、２つの画素値Ｘ（２ｋ），Ｘ（２ｋ−１）が１つの低周波係数Ｌと１つの高周波係数Ｈとに変換される。ここで、Ｘ（ｊ）は色成分Ｘの画像データにおける１次元位置ｊでの画素値であり、インデックスとして用いられる「ｘ」は色成分であるＲＧＢのいずれかを示す。
【００３３】
図２は、サブバンド変換を２次元に適用した場合の生成符号の記述例を示す図で、図２（Ａ）中、１は、サブバンド変換が適用される所定領域（太枠で囲った領域）で、該所定領域１は、画素１ａ，１ｂ，１ｃ，１ｄの４つの画素からなり、画素１ａ〜１ｄの４つの画素値Ｘ（ｊ，ｍ）が１つの低周波係数ＬＬと、３つの高周波係数ＬＨ，ＨＬ，ＨＨとに変換される。ここでＸ（ｊ，ｍ）は色成分Ｘの画像データにおける２次元位置（ｊ，ｍ）での画素値であり、インデックスとして用いられる「ｘ」は色成分であるＲＧＢのいずれかを示す。２次元に適用する場合には、図１に示したサブバンド変換を水平方向に適用する。図２（Ｂ）にその結果を示す。その後、さらに垂直方向に適用すればよく、図２（Ｃ）にその結果を示す。具体的にはＬＬ，ＬＨ，ＨＬ，ＨＨとして図３に示すような値が得られる。
【００３４】
なお、本発明に適用できるサブバンド変換は上述の例に限られない。図４に１次元的な形としてその他のサブバンド変換の例を示し、いわゆるハール変換を始めとするウェーブレット変換全般、あるいはＤＣＴ変換やアダマール変換を適用しても良い。本発明におけるサブバンド変換とは、例えば、周波数変換、ウェーブレット変換といった情報を波の集合として表現する変換の総称として用いられ、本発明は、各色成分ごとの位置的相関を利用した変換であれば、あらゆるサブバンド変換に適用できる。
【００３５】
また、水平方向に図１のサブバンド変換を施した後、垂直方向には図４に示すサブバンド変換を施しても良い。本発明において重要なのは、低解像度画像として使用できる低周波係数、および、低周波係数と演算されることによってもとの画素を完全にあるいは劣化を伴って復元できる高周波係数とに変換することである。本実施例では図３に示す２次元的なサブバンド変換を使用するものとする。図６は、図３に示すサブバンド変換の逆サブバンド変換の一例を示す図で、この場合、復号化時には図６に示す各式によって画素値が復元される。なお、以下の説明においては画素値およびサブバンド係数の座標は省略し、例えばＬＬｘ（ｉ，ｋ）ではなく単にＬＬｘと略記する。
【００３６】
また、周知のようにサブバンド変換を２階層以上にわたり適用することも可能である。具体的には、低周波係数ＬＬの集合に対して図３に示す式に従ってサブバンド変換を行なうことで２階層のサブバンド変換が達成される。そこで以下の説明では階層を簡易に表すためにサブバンド係数に数字をつける。例えば、ＬＬ１ｘ（ｉ，ｋ）は画素値を変換して得られた１階層目のＬＬ係数であり、ＬＬ２ｘ（ｉ，ｋ）はＬＬ１ｘ（ｉ，ｋ）に対してさらに変換を施して得られた２階層目のＬＬ係数を示す。
【００３７】
また、図５は、本発明において用いられる色変換の一例を示す図で、本実施例において使用される。以下の説明において、「明度信号と色信号に変換」することを単に「色変換」とし、よってＲＧＢ色を変換する場合のみならず、サブバンド変換係数を「明度信号と色信号に分離するのと同じ変換」で変換することも「色変換」とし、そのような変換をする回路を「色変換部」または「色変換回路」という。無彩画像に対しては色信号に対応する信号が０となる点で通常の色変換と共通するからである。図７は、図５に示す色変換の逆色変換の一例を示す図である。
【００３８】
（実施例１）
図８は、本発明が適用される静止画像を圧縮するための符号化、復号化回路の一例を示す図で、図８（Ａ）は、静止画像を圧縮するための符号化回路を示すブロック図である。図中、１０は、第１のサブバンド変換部、１１は、第２のサブバンド変換部、２０は、第１の色変換部、２１は、第２の色変換部、３０は、エントロピー符号化部、３１は、圧縮符号である。本実施例では、ＲＧＢ３色から構成されるデジタルカラー画像に対して図３に示すサブバンド変換を２階層施して圧縮する場合を考える。まず、ＲＧＢの各色成分で構成されたカラー画像データは、所定の画素ブロック単位ごとに第１のサブバンド変換部１０に送られる。第１のサブバンド変換部１０は画素情報を、各色ごとに１つの低周波成分ＬＬ１ｘと３つの高周波成分ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘとに変換する。ここでインデックスｘは、ＲＧＢ各成分について変換を行なうことを示している。
【００３９】
第１階層の高周波成分であるＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘは、第１の色変換部２０に送られ、図５に示す方法によりＹｚ１，Ｕｚ１，Ｖｚ１に色変換される。ここで、インデックスｚは各高周波成分について変換を行なうことを示している。また、ｚのあとの数字は高周波成分の階層を示す。
【００４０】
一方、第１階層の低周波成分であるＬＬ１ｘは第２のサブバンド変換部１１に送られ、１つの低周波成分ＬＬ２ｘと３つの高周波成分ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘとに変換される。ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘは更に第２の色変換部２１においてＹｚ２，Ｕｚ２，Ｖｚ２に色変換される。
【００４１】
エントロピー符号化部３０は、第２階層の低周波成分ＬＬ２ｘ、第２階層の高周波成分を色変換した情報であるＹｚ２，Ｕｚ２，Ｖｚ２，及び、第１階層の高周波成分を色変換した情報であるＹｚ１，Ｕｚ１，Ｖｚ１をエントロピー圧縮し、圧縮符号３１を作成する。エントロピー圧縮方法としては、例えば、ＪＰＥＧ２０００方式，算術符号化方式といった、公知のあらゆるエントロピー圧縮法が採用可能である。
【００４２】
ただし本実施例では、低周波成分ＬＬ２ｘをサムネイル画像として用いることができるようにするために、ＬＬ２ｘに関するエントロピー符号化は他の係数とは独立に行なう。例えば、先に符号化した情報の傾向に基づいて学習しながら符号化・復号化を進めるタイプのエントロピー圧縮方式を用いる場合には、ＬＬ２ｘが他の係数の学習結果を参照せずに符号化・復号化されるようにし、また他の係数を参照しながら符号化・復号化を進めるタイプのエントロピー圧縮方式を用いる場合には、ＬＬ２ｘが他の係数を参照しないようにする。
【００４３】
図８（Ｂ）は、図８（Ａ）に示した圧縮符号３１の概略の構成例を示す図で、図中、該圧縮符号３１は、左側から、エントロピー圧縮されたＬＬ２ｘ成分３１ａ、エントロピー圧縮されたＹｚ２，Ｕｚ２，Ｖｚ２成分３１ｂ、エントロピー圧縮されたＹｚ１，Ｕｚ１，Ｖｚ１成分３１ｃが埋め込まれている。図８（Ｂ）の左側ほど、送信等において優先度の高い情報が詰め込まれており、ＬＬ２ｘが最も優先度が高くなっている。本実施例の符号では、圧縮符号３１を転送する場合にはまず第２階層の情報が転送され、その後に第１階層の高周波成分が転送されることになる。また、図示は省略するが、圧縮符号の先頭には各係数の先頭アドレス等を示すヘッダーが付加されている。
【００４４】
本実施例の符号を作成後にＬＬ２ｘのみをサムネイル画像として使用する場合には、ＬＬ２ｘのみを復号化すればサムネイル画像が得られる。このとき、低周波係数のビット数がもとのビット数よりも増えてしまうような場合には、必要に応じて下位ビットを削減すればよい。なお、本発明において適用可能な符号構成の他の実施例としては、第１階層の高周波成分の上位プレーンが第２階層の高周波成分の下位プレーンよりも優先度が高くなるように構成することも可能である。そのように符号を構成すると、圧縮符号３１のうち優先度の低い部分を削除したときでも、画像内の強いエッジ情報を再現することができる。
【００４５】
図８（Ｃ）は、図８（Ａ）に示す符号化回路で作成した圧縮符号３１を伸長するための復号化回路を示すブロック図である。図中、４０は、エントロピー復号化部、５０は、第１の逆色変換部、５１は、第２の逆色変換部、６０は、第１の逆サブバンド変換部、６１は、第２の逆サブバンド変換部である。圧縮符号３１はエントロピー復号化部４０にてＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１へと復元される。Ｙｚ２，Ｕｚ２，Ｖｚ２及びＹｚ１，Ｕｚ１，Ｖｚ１は、第２の逆色変換部５１及び第１の逆色変換部５０において、図７に示す式に従いそれぞれＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘ及びＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘへと変換される。ＬＬ２ｘは第２の逆サブバンド変換部６１において図６に示す式に従いＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘと演算されてＬＬ１ｘが復号化され、ＬＬ１ｘは第１の逆サブバンド変換部６０において図６に示す式に従いＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘと演算されて、ＲＧＢ画像データの画素値が復元される。
【００４６】
次に、本発明が適用された図８に示す符号化回路及び復号化回路と、従来例との比較を行う。図８に示した符号化回路及び復号化回路は、従来のものに比べて回路数を削減することができることを図８（Ａ）、図２６を用いて説明する。まず、図８（Ａ）に示す各変換部において必要な演算回路数は、第１のサブバンド変換部１０が４８個、第２のサブバンド変換部１１が１２個、第１の色変換部２０が３６個、第２の色変換部２１が９個となる。これは、例えば、第１のサブバンド変換部１０では３色×１６画素分の演算を行なうため、演算回路が４８個必要になるからである。
【００４７】
図２６は、従来公知の符号化回路の一例を示すブロック図で、図中、２３は、色変換部、１３〜１６は、サブバンド変換部である。図２６に示す符号化回路は、図８（Ａ）と同様にＲＧＢ３色からなるデジタルカラー画像を色変換及び２階層のサブバンド符号化によって符号化するための符号化回路である。但し、図２６においては各色の画像データは色変換部２３で色変換され、輝度成分はサブバンド変換部１３に、色差成分はサブバンド変換部１４に送られる。その後、輝度成分はサブバンド変換部１３，１５において、また色差成分はサブバンド変換部１４，１６において２階層の符号化を施され、その結果得られた係数がエントロピー符号化部３０にて圧縮符号３１へと符号化される。
【００４８】
図２６に示す各変換部において必要な演算回路数は、色変換部２３が４８個、サブバンド変換部１３が１６個、サブバンド変換部１４が３２個、サブバンド変換部１５が４個、サブバンド変換部１６が８個となる。図８（Ａ）と図２６との必要な演算回路数を比較すると、図８（Ａ）に示す符号化回路では、４８＋３６＋１２＋９＝１０５の回路が必要であるのに対し、従来例の図２６に示す符号化回路では、４８＋１６＋３２＋４＋８＝１０８の回路が必要となり、図８（Ａ）に示す符号化回路では演算回路数を、図２６に示す従来例の符号化回路よりも削減可能であることが分かる。
【００４９】
また、低解像度画像をサムネイル画像として使用する場合を考えると、従来例では圧縮符号の中に存在するのは輝度信号の低周波成分及び色差信号の低周波成分である。このため、従来例においてサムネイル画像を作成するためには、輝度信号の低周波成分及び色差信号の低周波成分を演算して各色成分ごとの低解像度画像を得る必要がある。この結果、サムネイル画像の作成に時間がかかりユーザの快適な利用を妨げることになる。かかる困難を回避するために従来例の符号化回路の後に輝度と色差の低周波成分を演算し、各色の低周波成分を得る演算回路を付加しても良いが、その場合には余分な回路が必要となり、また復号化時にも余計な時間がかかることになる。これに対し、図８（Ａ）に示す符号化回路では、ＬＬ２ｘが圧縮符号の先頭に存在するので、低周波成分を逆色変換せずにサムネイル画像として使用することできる。なお、図８（Ａ）に示すようにＬＬ２ｘにもエントロピー符号化を行なう場合には、ＬＬ２ｘが色変換されていない形であるために従来例よりも圧縮率が若干落ちる可能性もあるが、もともとサムネイル画像は非常に小さいために、両者の圧縮率の差はわずかである。
【００５０】
（実施例２）
図９は、本発明が適用される符号化、復号化回路の別の構成例を示す図である。図９（Ａ）は、符号化回路を示すブロック図、図９（Ｂ）は、圧縮符号３１の概略の構成例を示す図、図９（Ｃ）は、復号化回路を示すブロック図である。図８と図９に示す回路の違いは、図８ではＬＬ２ｘをエントロピー符号化していたのに対して、図９ではエントロピー符号化しない点のみで異なる。このため、回路的に共通部分が多いので、図８と図９に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換方法も前述の実施例１と同様である。
【００５１】
図９（Ａ）に示す符号化回路の基本的な働きは、図８（Ａ）に示す符号化回路と同様である。違いは、ＬＬ２ｘがエントロピー符号化部３０において圧縮されない点である。この違いにより、本実施例の圧縮符号３１は図９（Ｂ）に示す構成をとる。図８（Ｂ）に示す構成に比べて本実施例の符号はＬＬ２ｘが非圧縮のまま圧縮符号が構成されている。図９（Ｃ）には本実施例の復号化回路を示すが、図８（Ｃ）に示す復号化回路との違いは、ＬＬ２ｘがエントロピー復号化部４０において復号化されない点のみが異なる。本実施例の符号化回路・復号化回路は、前述の実施例１に示す回路に比べ、ＬＬ２ｘが非圧縮状態であるのでサムネイル画像をより素早く表示可能である。なお、本実施例においても、実施例１に示す回路と同様に、従来例に比べ符号化回路・復号化回路を構成する演算回路数は削減されており、さらに、サムネイル画像が素早く表示できるというメリットがある。
【００５２】
（実施例３）
図１０は、本発明が適用される符号化、復号化回路の別の構成例を示す図である。図１０（Ａ）は、符号化回路を示すブロック図、図１０（Ｂ）は、圧縮符号３１の概略の構成例を示す図、図１０（Ｃ）は、復号化回路を示すブロック図である。図８と図１０に示す回路の違いは、図８ではＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘを第２の色変換部２１にて色変換していたのに対し、図１０では色変換しない点のみが異なる。このため、回路的に共通部分が多いので、図８と図１０に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換方法も前述の実施例１と同様である。図１０（Ａ）に示す符号化回路の基本的な働きは、図８（Ａ）に示す符号化回路と同様である。違いは、ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが第２の色変換部２１において色変換されない点である。この違いにより、本実施例の圧縮符号３１は図１０（Ｂ）に示す構成をとる。図８（Ｂ）に示す構成に比べて本実施例の符号はＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが色変換されないまま圧縮符号が構成されている。図１０（Ｃ）には本実施例の復号化回路を示すが、図８（Ｃ）に示す復号化回路との違いは、第２の逆色変換部５１が存在しない点のみが異なる。
【００５３】
本実施例の符号化回路・復号化回路は、前述の実施例１に比べ、色変換回路・逆色変換回路が存在しないので回路数が少なくてすむ。なお、本実施例においても、実施例１と同様に、従来例に比べ符号化回路・復号化回路を構成する演算回路数は削減されており、さらに、サムネイル画像が素早く表示できるというメリットがある。
【００５４】
図１１は、本発明が適用される符号化回路の別の構成例を示すブロック図である。これまで、本発明を２階層の階層的符号化を用いて説明してきたが、もちろん、図１１（Ａ）に示すように１階層の階層的符号化に適用することもできるし、あるいは、図１１（Ｂ）に示すように３階層の階層的符号化に適用することもできる。
【００５５】
（実施例４）
図１２は、本発明が適用される復号化回路の別の構成例を示すブロック図で、図中、５２は、第３の逆色変換部である。図８（Ｃ）と図１２に示す回路の違いは、図１２では第３の逆色変換部５２が存在する点である。図１２に示す復号化回路は、図２６に示す従来例の符号化回路で符号化された圧縮符号も、図８（Ａ）に示す本発明の符号化回路で符号化された圧縮符号も、ともに伸長可能となっている。回路的に共通部分が多いので、図８（Ｃ）と図１２に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換としては図４に示すハール変換を用いるものとする。
【００５６】
図１２に示す復号化回路の基本的な働きは、図８（Ｃ）に示す復号化回路と同様である。違いは、エントロピー復号化部４０の働きと、第３の逆色変換部５２が存在する点である。図１２において、エントロピー復号化部４０は圧縮符号３１のヘッダーを参照することにより、復号化対象である圧縮符号が図２６に示す符号化回路で符号化された圧縮符号であるのか、あるいは、図８（Ａ）に示す符号化回路で符号化された圧縮符号であるのかを識別する。識別結果は識別情報として第３の逆色変換部５２に送られる。
【００５７】
また、エントロピー復号化部４０から第３の逆色変換部５２には、圧縮符号３１が図２６に示す符号化回路で符号化された圧縮符号である場合には輝度信号の低周波成分及び色差信号の低周波成分が、圧縮符号３１が図８（Ａ）に示す符号化回路で符号化された圧縮符号である場合にはＬＬ２ｘが送られる。第３の逆色変換回路５２は、識別情報を参照し、図２６に示す符号化回路で符号化された圧縮符号を復号化する場合には逆色変換を行ない、図８（Ａ）に示す符号化回路で符号化された圧縮符号を復号化する場合には信号を、そのまま第２の逆サブバンド変換部６１へと送る。このような構成により、第２の逆サブバンド変換部６１はＬＬ２ｘ情報を得ることができる。
【００５８】
一方、高周波成分については、図４に示すサブバンド変換及び図５に示す色変換はともに線形変換であるために、図８（Ａ）に示す符号化回路によって得られる「高周波係数を色変換した情報」と、図２６に示す符号化回路によって得られる「色変換係数をサブバンド変換して得られた高周波係数情報」とは等しくなる。従って、圧縮符号がどちらの符号化回路で圧縮されたかによらず第２の逆色変換部５１、第１の逆色変換部５０、第２の逆サブバンド変換部６１、第１の逆サブバンド変換部６０によって画素情報を復元することができる。このように、本実施例に示す復号化回路は、本発明の符号化回路で作成した圧縮符号については短時間で復号化／サムネイル表示可能であるとともに、従来例で作成した圧縮符号についても伸長することができる。
【００５９】
（画像処理装置への適用例）
図１３は、本発明を画像処理装置へ適用した場合の適用例を示す図で、図中、７０は、記憶装置であって、該記憶装置７０は、符号化回路７１、復号化回路７３、ＨＤＤ等の記憶手段７２からなる。図１３においては符号化回路・復号化回路として前述の図９に示したものを用いる。デジタルカラー画像は符号化回路７１によって図９（Ａ）に示すように符号化され、圧縮符号が記憶手段７２に格納される。格納された圧縮符号は、必要に応じてサムネイル画像として記憶装置７０から読み出される。また、格納された圧縮符号は、必要に応じて復号化回路７３によって図９（Ｃ）に示すように復号化され、伸長画像として記憶装置７０から読み出される。ここで、本適用例では図９に示した符号化回路・復号化回路を使用しているためにサムネイル画像は直接、記憶手段７２から記憶装置７０外に送られたが、図８，図１０，図１１，図１２に示す符号化回路・復号化回路を使用する場合に、サムネイル画像は復号化装置７３、または別に設けた専用の復号化装置で復号化された上で記憶装置７０外に送られることになる。
【００６０】
（画像形成装置への適用例）
図１４は、本発明をデジタルカラー画像形成装置に適用した場合の構成例を示すブロック図で、図中、８０は、デジタルカラー画像形成装置であって、該画像形成装置８０は、記憶装置７０、ＲＩＰ部８１、画像処理部８２、書込部８３、スキャナ８４、液晶パネル８５、感光体９１、現像装置９２、定着装置９３、帯電装置９４、クリーニング装置９５、中間転写体９６、給紙トレイ９７、紙搬送路９８からなり、１００は、ネットワークである。まず、スキャナ８４から読み込まれた画像データ又は、ネットワーク１００を介してＲＩＰ部８１に入力された画像データは、図１３に示した記憶装置７０へと送られ、複数部数出力機能やデジタルメモリ機能実現のために図１３に示す記憶手段７２に記憶される。編集等のために画像の概要を表示する際には、サムネイル画像が記憶装置７０から液晶パネル８５へと送られ、画像形成時には伸長画像が画像処理部８２へと送られる。画像処理部８２でフィルタ処理、階調処理等を施された画像データは書込部８３にて書込み信号に変換され、書込み信号は感光体９１上を走査する。公知の電子写真プロセスによって、感光体９１の表面は帯電装置９４により帯電され、書込部８３により静電潜像が形成され、現像装置９２にてトナー像として現像される。現像されたトナー像は中間転写体９６に転写され、さらに中間転写体９６上のトナー像は記録用紙に転写され、記録用紙上のトナー像は定着装置９３において定着させられる。
【００６１】
（伝送媒体、記録媒体における適用例）
図１５は、本発明に係る復号化回路、復号化プログラムをネットワーク（伝送媒体）及びＣＤ−ＲＯＭ（記録媒体）を用いた配信に適用した場合の構成例を示す図で、図中、１０１は、サーバであって、該サーバ１０１は、復号化プログラム格納部１０１ａ、記憶装置７０を有し、１０２，１０３，１０４は、ＰＣ、１０２ａ，１０３ａは、ＣＤ−ＲＯＭである。サーバ１０１とＰＣ１０２，１０３，１０４はネットワーク１００を介して接続されている。
【００６２】
図１５に示すサーバ１０１は、本発明にかかる符号化方法で符号化された圧縮符号の配信や、本発明にかかる復号化プログラムの配信を行なう事業者の有するサーバである。また、例えば、インターネット等のネットワーク１００を介して接続されたＰＣ１０２，１０３は、ユーザが使用するＰＣ端末である。ＰＣ１０２のユーザは圧縮符号のみが格納されたＣＤ−ＲＯＭ１０２ａを購入したために、サーバ１０１の復号化プログラム格納部１０１ａより、復号化プログラムを有償又は無償でダウンロードして、圧縮符号を伸長する。一方、ＰＣ１０３を使用するユーザは圧縮符号及び復号化プログラムが記録されたＣＤ−ＲＯＭ１０３ａを購入したので、ダウンロードすることなく本発明の復号化方法を用いて圧縮符号を復号化可能である。ここで、復号化プログラム格納部１０１ａ内にある復号化プログラムと、ＣＤ−ＲＯＭ１０３ａ内の復号化プログラムは同じものである。
【００６３】
図１６は、図８（Ａ）に示す符号化回路に対応した符号化プログラムの処理の一例を説明するフローチャートである。まず、ＲＧＢ画像データは所定の画素ブロック単位毎にサブバンド変換部に送られ（ステップＳ１）、サブバンド変換処理においてＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘの各々に変換される（ステップＳ２，第１のサブバンド変換部１０に対応）。次いで、ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘが色変換処理によってＹｚ１，Ｕｚ１，Ｖｚ１に変換され（ステップＳ３，第１の色変換部２０に対応）、サブバンド変換処理によってＬＬ１ｘがＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘへと変換される（ステップＳ４，第２のサブバンド変換部１１に対応）。続いて、ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが色変換処理によってＹｚ２，Ｕｚ２，Ｖｚ２に変換され（ステップＳ５，第２の色変換部２１に対応）、エントロピー符号化処理によってＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１が圧縮符号として符号化される（ステップＳ６，エントロピー符号化部３０に対応）。
【００６４】
以上のステップＳ１〜Ｓ６の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて符号化が終了したか否かが判定され（ステップＳ７）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。なお、以上は図８（Ａ）に示す符号化回路の処理を実行した場合であるが、図９（Ａ）に示す符号化回路の処理を実行する場合は、ステップＳ６でＬＬ２ｘに関してはエントロピー符号化しなければ良く、図１０（Ａ）に示す符号化回路の処理を実行する場合はステップＳ５を省けばよい。
【００６５】
図１７は、図８（Ｃ）に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。まず、圧縮符号はエントロピー復号化処理においてＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１の各々に復号化される（ステップＳ１１，エントロピー復号化部４０に対応）。次いで，Ｙｚ２，Ｕｚ２，Ｖｚ２が逆色変換処理によってＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘに変換され（ステップＳ１２，第２の逆色変換部５１に対応）、逆サブバンド変換処理によってＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘがＬＬ１ｘへと変換される（ステップＳ１３，第２の逆サブバンド変換部６１に対応）。続いて、Ｙｚ１，Ｕｚ１，Ｖｚ１が逆色変換処理によってＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘに変換され（ステップＳ１４，第１の逆色変換部５０に対応）、逆サブバンド変換処理によってＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘがデジタルカラー画像データへと復号化される（ステップＳ１５，第１の逆サブバンド変換部６０に対応）。
【００６６】
以上のステップＳ１１〜Ｓ１５の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて復号化が終了したか否かが判定され（ステップＳ１６）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。サムネイル画像を作成する際は、エントロピー復号化処理（ステップＳ１１）においてＬＬ２ｘのみを復号化し、ステップＳ１２〜Ｓ１６はスルーすればよい。なお、以上は図８（Ｃ）に示す復号化回路の処理を実行した場合であるが、図９（Ｃ）に示す復号化回路の処理を実行する場合は、ステップＳ１１でＬＬ２ｘに関してはエントロピー復号化しなければ良く、図１０（Ｃ）に示す復号化回路の処理を実行する場合はステップＳ１２を省けばよい。
【００６７】
図１８は、図１２に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。まず、圧縮符号のヘッダー認識処理を行い（ステップＳ２１）、エントロピー復号化処理（ステップＳ２２）を行った後に、復号化対象となる圧縮符号が本発明にかかる符号化回路によって符号化されたものか否かが判定され（ステップＳ２３）、ＮＯなら逆色変換処理がなされ（ステップＳ２４，第３の逆色変換部５２に対応）、ＹＥＳなら第２の逆色変換部５１へと進む（ステップＳ２５）。以下、図１７に示すフローチャートと同様に、逆サブバンド変換処理によってＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘがＬＬ１ｘへと変換される（ステップＳ２６，第２の逆サブバンド変換部６１に対応）。続いて、Ｙｚ１，Ｕｚ１，Ｖｚ１が逆色変換処理によってＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘに変換され（ステップＳ２７，第１の逆色変換部５０に対応）、逆サブバンド変換処理によってＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘがデジタルカラー画像データへと復号化される（ステップＳ２８，第１の逆サブバンド変換部６０に対応）。以上のステップＳ２１〜Ｓ２８の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて復号化が終了したか否かが判定され（ステップＳ２９）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。
【００６８】
本実施例においてユーザは、目的やウインドウのサイズに応じてサムネイル画像を選択することも、あるいはＬＬ１ｘ等、途中の階層までの伸長を行なうことも選択可能である。また、ＣＤ−ＲＯＭやインターネットを通じて画像を提供する提供者は、圧縮符号のヘッダー部に復号化プログラムを付加した形で画像を提供しても良い。
【００６９】
（実施例５）
図１９は、本発明がモーションＪＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図で、図中、１１０は、フレーム内符号化回路、１１１は、フレーム内復号化回路である。この符号化は、動画像を静止画像の集合として構成し、フレーム内符号化を各静止画像フレームに適用することで動画像を符号化する方法である。図１９（Ａ）に動画像用フレーム内符号化回路１１０を示し、図１９（Ｂ）に動画像用フレーム内復号化回路１１１を示す。図１９（Ａ）において、動画像は１フレームずつフレーム内符号化回路１１０に送られ、各フレーム独立に符号化されて圧縮符号とされる。フレーム内符号化回路１１０としては、各フレームを符号化するために前述した図８（Ａ），図９（Ａ），図１０（Ａ）に示す静止画像用の符号化回路が使用可能である。図１９（Ｂ）において、圧縮符号は１フレーム分ずつフレーム内復号化回路１１１に送られ、各フレーム独立に復号化されて伸長される。フレーム内復号化回路１１１としては、各フレームを復号化するために前述した図８（Ｃ），図９（Ｃ），図１０（Ｃ）に示す静止画像用の復号化回路が使用可能である。
【００７０】
図１９（Ａ）に示す符号化回路で得られる圧縮符号は、フレームを色々な方法で並べることが可能である。図２０は、フレームを並べた圧縮符号の一例を示す図である。図２０（Ａ）に示す圧縮符号は、１フレーム目の低周波成分、１フレーム目の低周波成分以外、２フレーム目の低周波成分、というように、各フレームが順番に並んだ圧縮符号となっている。一方、図２０（Ｂ）に示す圧縮符号は、１フレーム目の低周波成分、１フレーム目の低周波成分以外、２フレーム目の低周波成分、というように、各フレームが順番に並んだ圧縮符号となっているが、安定した伝送を達成するために各フレームの長さが一定となっている。また、図２０（Ｃ）に示す圧縮符号は、各フレームの低周波成分が先頭に並べられた後に、各フレームの低周波成分以外の情報が順番に並んだ圧縮符号となっている。
【００７１】
なお図示はしないが、フレームの位置を示すポインタ等の情報を含むヘッダーが各圧縮符号に付加されている。動画像の概要のみを素早く復号化する場合には、ヘッダーに含まれるポインタ情報から各フレームの低周波成分のみを抜き出し、順次表示させればモーションＪＰＥＧ方式のサムネイル動画像が得られる。このように本発明によれば、カラー動画像の符号化／復号化を従来よりも少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に動画像を表示する場合にも、短時間で表示が可能である。
【００７２】
（実施例６）
図２１は、本発明がＭＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図で、図２１（Ａ）中、１１２は、フレーム分解部、１１３は、Ｉピクチャ符号化回路、１１４は、Ｂピクチャ符号化回路、１１５は、Ｐピクチャ符号化回路、図２１（Ｂ）中、１１６は、Ｉピクチャ復号化回路、１１７は、Ｂピクチャ復号化回路、１１８は、Ｐピクチャ復号化回路、１１９は、フレーム結合部である。この符号化は、動画像を構成する各フレームを、フレーム内の情報のみによって符号化される（フレーム内符号化）Ｉピクチャと、動きベクトル等によって他フレームからフレーム内の情報を予測させた上で予測との差分が符号化されるＢピクチャ、Ｐピクチャとに分解することで動画像を符号化する方法である。図２１（Ａ）に動画像用符号化回路を示し、図２１（Ｂ）に動画像用復号化回路を示す。
【００７３】
図２１（Ａ）において、動画像はフレーム分解部１１２においてＩピクチャ、Ｂピクチャ、Ｐピクチャに分解され、それぞれのピクチャはＩピクチャ符号化回路１１３、Ｂピクチャ符号化回路１１４、Ｐピクチャ符号化回路１１５にて符号化された後に圧縮符号となる。本実施例では、Ｉピクチャ符号化回路１１３として前述した図８（Ａ）に示した静止画像用符号化回路を用いる。
【００７４】
図２１（Ｂ）において、圧縮符号はＩピクチャ復号化回路１１６、Ｂピクチャ復号化回路１１７、Ｐピクチャ復号化回路１１８にて復号化され、フレーム結合部１１９において再結合されて動画像となる。本実施例では、Ｉピクチャ復号化回路１１６として前述した図８（Ｃ）に示した静止画像用復号化回路を用いる。
【００７５】
図２２は、圧縮符号の構成例を示す図である。図２２（Ａ）では、１つのＩピクチャ、及び、Ｐピクチャ・Ｂピクチャ群を１つのまとまりとした符号の構成を示す。図２２（Ａ）において圧縮符号は、Ｉピクチャの低周波成分、Ｉピクチャに関する低周波成分以外の情報、Ｂ，Ｐピクチャの差分情報（ここで、差分情報とは、フレーム間符号化において予測との差分を符号化した部分である。）、Ｂ，Ｐピクチャの動きベクトル情報の順で構成されている。また、図示しないがヘッダーが圧縮符号に付加され、各情報のアドレスを有している。
【００７６】
この場合、動画像のサムネイル表示を行なう場合には、Ｉピクチャの低周波成分のみを連続的に表示することで、コマ送り状態でサムネイル表示が可能となる。図２２（Ｂ）においては、圧縮符号は、Ｉピクチャの低周波成分、Ｉピクチャに関する低周波成分以外の情報、Ｂ，Ｐピクチャの差分情報、Ｂ，Ｐピクチャの動きベクトル情報、サムネイル画像のフレーム間符号化部分、の順で構成されている。ここで、サムネイル画像のフレーム間符号化部分とは、各Ｉピクチャのサムネイル画像の間を補間するための、サムネイル画像用の差分情報及び動きベクトルの部分である。この場合、動画像のサムネイル表示を行なう場合には、Ｉピクチャの低周波成分およびサムネイル画像のフレーム間符号化部分を用いて復号化することで、より滑らかなサムネイル表示が可能となる。
【００７７】
ここで、サムネイル画像用の差分情報及び動きベクトルは、公知のＭＰＥＧ方式によって得ることができる。またサムネイル画像用の差分情報及び動きベクトルを得る回路またはプログラムは、カラー動画像自体のフレーム間符号化回路またはフレーム間符号化プログラムと共用可能である。このように本発明によれば、カラー動画像の符号化／復号化を従来よりも少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に動画像を表示する場合にも、短時間で表示が可能である。
【００７８】
図２３は、本発明に係る動画像符号化回路、復号化回路の適用例を示す図で、図中、１２０は、配信センター、１２１，１２２は、ＴＶで、該ＴＶ１２１は、簡易表示画面１２１ａを有し、１２３は、ケーブルである。図２３（Ａ）において、配信センター１２０とは、ケーブルＴＶ配信会社であり、ケーブル１２３を介してＴＶ番組を配信している。配信センター１２０からのＴＶ番組（デジタル動画像の圧縮符号）はケーブル１２３を介して各ＴＶ１２１，１２２に配信される。ここで、ＴＶ１２１では１つの局を鑑賞中に他局の番組をチェックするべく、簡易表示画面１２１ａが設けられている。配信センター１２０は圧縮符号を送信する際、例えば、図２２（Ａ）に示すタイプの圧縮符号を用いる場合には、この簡易表示画面１２１ａ用にはサムネイル画像のみを用いることとし、図２３（Ｂ）に示す符号を配信する。これにより、第一局分として高精細な動画像が得られ、第二局分としてコマ送りのサムネイル画像が得られることになる。配信センター１２０が複数の場合には、図２３（Ｂ）に示す符号中、第一局分と第二局分の情報は別々の配信センターから送られ、ＴＶ１２１の内部でそれぞれ処理されることとなる。なお、本発明はＢＳ放送等にも同様に適用可能である。
【００７９】
また、別の適用例として、本発明が適用された符号化回路で符号化した動画像をインターネット等によって配信することも可能である。この場合、動画と静止画の違いはあるものの、図１５に示した配信方法が同様に適用可能である。
【００８０】
以上のように、本発明は、カラー静止画像、カラー動画像の符号化／復号化を少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に静止画像、動画像を表示／配信する場合にも、短時間での処理が可能である。なお、本発明は上述した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変形して実行可能である。
【００８１】
【発明の効果】
以上の説明から明らかなように、本発明によると、カラー画像の符号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８２】
本発明によると、低周波成分を復号化する際に、他の成分を復号化する必要がないため、高速な処理が可能である。
【００８３】
本発明によると、低周波成分を復号化処理することなく、サムネイル画像を得ることができる圧縮符号が得られるので、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８４】
本発明によると、カラー画像の復号化を少ない回路数で実現でき、またサムネイル画像を表示／配信する場合に短時間での処理が可能である。
【００８５】
本発明によると、上述の効果に加え、従来の符号化手段で得られた圧縮符号をも復号化できる。
【００８６】
本発明によると、カラー動画像の符号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８７】
本発明によると、カラー動画像の復号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能である。
【００８８】
本発明によると、画質の良いサムネイル動画像を得ることが可能な圧縮符号を構成できる。
【００８９】
本発明によると、圧縮符号から画質の良いサムネイル動画像を得ることが可能となる。
【００９０】
本発明によると、サムネイル画像をネットワーク等を介して、送信し、表示することができる。
【００９１】
本発明によると、カラー画像の符号化、復号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能となる画像処理方法及び該方法をコンピュータに実行させるためのプログラムを提供することができる。
【図面の簡単な説明】
【図１】 本発明において用いられるサブバンド変換の一例を示す図である。
【図２】 サブバンド変換を２次元に適用した場合の生成符号の記述例を示す図である。
【図３】 本発明において用いられるサブバンド変換の一例を示す図である。
【図４】 本発明において用いられるサブバンド変換の一例を示す図である。
【図５】 本発明において用いられる色変換の一例を示す図である。
【図６】 図３に示すサブバンド変換の逆サブバンド変換の一例を示す図である。
【図７】 図５に示す色変換の逆色変換の一例を示す図である。
【図８】 本発明が適用される静止画像を圧縮するための符号化、復号化回路の一例を示す図である。
【図９】 本発明が適用される符号化、復号化回路の別の構成例を示す図である。
【図１０】 本発明が適用される符号化、復号化回路の別の構成例を示す図である。
【図１１】 本発明が適用される符号化回路の別の構成例を示すブロック図である。
【図１２】 本発明が適用される復号化回路の別の構成例を示すブロック図である。
【図１３】 本発明を画像処理装置へ適用した場合の適用例を示す図である。
【図１４】 本発明をデジタルカラー画像形成装置に適用した場合の構成例を示すブロック図である。
【図１５】 本発明に係る復号化回路、復号化プログラムをネットワーク（伝送媒体）及びＣＤ−ＲＯＭ（記録媒体）を用いた配信に適用した場合の構成例を示す図である。
【図１６】 図８（Ａ）に示す符号化回路に対応した符号化プログラムの処理の一例を説明するフローチャートである。
【図１７】 図８（Ｃ）に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。
【図１８】 図１２に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。
【図１９】 本発明がモーションーＪＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図である。
【図２０】 フレームを並べた圧縮符号の一例を示す図である。
【図２１】 本発明がＭＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図である。
【図２２】 圧縮符号の構成例を示す図である。
【図２３】 本発明に係る動画像符号化回路、復号化回路の適用例を示す図である。
【図２４】 従来公知の符号化回路の一例を示すブロック図である。
【図２５】 従来公知の符号化回路の一例を示すブロック図である。
【図２６】 従来公知の符号化回路の一例を示すブロック図である。
【符号の説明】
１…所定領域、１０…第１のサブバンド変換部、１１…第２のサブバンド変換部、１２…第３のサブバンド変換部、１３〜１６…サブバンド変換部、２０…第１の色変換部、２１…第２の色変換部、２２…第３の色変換部、２３…色変換部、３０…エントロピー符号化部、３１…圧縮符号、４０…エントロピー復号化部、５０…第１の逆色変換部、５１…第２の逆色変換部、５２…第３の逆色変換部、６０…第１の逆サブバンド変換部、６１…第２の逆サブバンド変換部、７０…記憶装置、７１…符号化回路、７２…記憶手段、７３…復号化回路、８０…デジタルカラー画像形成装置、８１…ＲＩＰ部、８２…画像処理部、８３…書込部、８４…スキャナ、８５…液晶パネル、９１…感光体、９２…現像装置、９３…定着装置、９４…帯電装置、９５…クリーニング装置、９６…中間転写体、９７…給紙トレイ、９８…紙搬送路、１００…ネットワーク、１０１…サーバ、１０２，１０３，１０４…ＰＣ、１０２ａ，１０３ａ…ＣＤ−ＲＯＭ、１１０…フレーム内符号化回路、１１１…フレーム内復号化回路、１１２…フレーム分解部、１１３…Ｉピクチャ符号化回路、１１４…Ｂピクチャ符号化回路、１１５…Ｐピクチャ符号化回路、１１６…Ｉピクチャ復号化回路、１１７…Ｂピクチャ復号化回路、１１８…Ｐピクチャ復号化回路、１１９…フレーム結合部、１２０…配信センター、１２１，１２２…ＴＶ、１２３…ケーブル。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, more specifically, an image processing apparatus for encoding / decoding a digital color image, an image processing method, a program for causing a computer to execute the image processing method, and a recording of the program The present invention relates to a computer-readable recording medium.
[0002]
[Prior art]
In recent years, for example, image processing apparatuses that handle digital color images, such as digital cameras, computers, printers, and copying machines, are widely used. However, since a high-quality color image is composed of many pixels, not only does it require a large amount of memory capacity for storage in various devices, but it also takes time for transmission over the Internet or the like. Hardness occurs. Therefore, various means for efficiently compressing color images have been proposed. Among them, in the technique using subband conversion, color conversion is first performed on a color image to divide it into a luminance signal and a color difference signal, and then the subband conversion is performed on only the luminance signal or both the luminance signal and the color difference signal. The technique of applying is known.
[0003]
For example, No. 24 “Color image coding based on uniform color space” described in the proceedings of “The 14th National Conference of Image Electronics Society of Japan 1986” held on June 3 and 4, 1986 The method in Oshima, Monma, Kubota) is shown in FIG. In the figure, 200 is an RGB-Lab conversion unit, 201 and 202 are color difference averaging units, 203 is a luminance subsampling unit, 204 and 205 are color difference subsampling units, and 206 is an encoding unit. First, color image data that has undergone color conversion (RGB → Lab conversion) by the RGB-Lab conversion unit 200 has only two color signals a and b that have little influence on image quality even if they are degraded by the color difference averaging units 201 and 202. 4 pixels are averaged in units of 2 pixel blocks. Thereafter, the brightness signal and the color signal of the image data are subsampled by the luminance subsampling unit 203 and the color difference subsampling units 204 and 205, respectively, and encoded by the encoding unit 206.
[0004]
FIG. 25 shows a technique described in Japanese Patent Laid-Open No. 63-9282 based on the same idea as the above technique. In the figure, 300 is an R color block, 301 is a G color block, 302 is a B color block, 303 is a color conversion unit, 304 is a luminance orthogonal conversion unit, 305 and 306 are color difference representative color calculation units, Reference numerals 307, 308, and 309 denote quantization / encoding units. First, for each block unit of the R color block 300, the G color block 301, and the B color block 302, the color image data that has been color-converted by the color conversion unit 303 is subjected to orthogonal conversion of the brightness signal by the luminance orthogonal conversion unit 304 and the direct current. It is converted into a component and an AC component, and both the DC and AC components are quantized and encoded by the quantization / encoding unit 307. On the other hand, the color signal is calculated by the color difference representative color calculation units 305 and 306 after the representative color (block average value in this embodiment) representing the information in the block by one color is calculated, and then the quantization / encoding unit 308, At 309, only the representative color is quantized and encoded.
[0005]
Further, in the moving image coding, processing that performs subband conversion after color conversion processing is exclusively used. For example, in MPEG2, each frame is encoded as a signal composed of a Y signal that is a luminance signal, a Cr signal that is a color difference signal, and a Cb signal. As described above, in the conventional color image encoding, information is first biased by color conversion, and then information is further biased using positional correlation for each lightness signal / color signal as necessary. The flow of processing was as follows.
[0006]
On the other hand, as one method for easily handling a color image, in recent years, a method of creating a low resolution image from an original color image and using this low resolution image for display has been widely used. For example, since the time required to transmit only a low-resolution image can be shortened from a fraction of the time required to transmit a full-size color image to a few tenths, the low-resolution image is first used on the Internet or the like. A full-size image is displayed after the list is displayed and selected by the user. Such a low-resolution image for display is called a thumbnail image.
[0007]
The idea of using low-frequency coefficients for thumbnail images in encoding using subband transformation has been known. For example, a method of using a low frequency image obtained by performing individual subband conversion for each RGB color component described in Japanese Patent Application Laid-Open No. 11-4343 as a thumbnail image, and RGB color components for luminance and color difference signals. A method is disclosed in which sub-band conversion is performed on luminance and color difference signals after conversion, and low resolution RGB signals are calculated from the obtained low resolution luminance and color difference signals to form thumbnail images. .
[0008]
[Problems to be solved by the invention]
However, the conventional method of performing subband conversion after color conversion is not necessarily an optimal method for encoding a color image, and is wasteful in terms of circuit scale. Specifically, since the subband conversion having a high redundancy reduction effect is not performed at the most upstream of the processing, there is a problem that the number of color conversion circuits that should originally be small increases. In particular, in the case of creating a thumbnail image, in addition to increasing the circuit scale by converting to luminance and color difference upstream, it is necessary to perform reverse color conversion processing to create a low-resolution image. There are disadvantages in that an additional circuit is required for the production and the processing time is increased.
[0009]
On the other hand, in Japanese Patent Laid-Open No. 2000-23196, in order to quickly display a low-resolution image, a reverse frequency conversion is first performed on low-frequency components at the time of decoding to obtain a thumbnail image. A method of performing conversion in the order of conversion and inverse subband conversion is disclosed. However, even in such a method, reverse color conversion must be performed first in order to obtain a low-resolution image. Therefore, the processing speed is delayed by that amount, and a reverse color conversion circuit is required. Particularly in thumbnail display and moving image restoration, it is important to shorten the decoding processing time, and image processing that can be decoded in a faster time than before is required.
[0010]
The present invention has been made in view of the above-described problems. An encoding device, a decoding device, an encoding method, a decoding method, and a method therefor which require less circuit scale than conventional methods for color image compression. The object of the present invention is to provide a program to be executed by a computer and a recording medium readable by the computer on which the program is recorded.
Another object of the present invention is to provide a decoding device and the like suitable for displaying thumbnails and decoding moving images.
[0011]
[Means for Solving the Problems]
The invention of claim 1 Consists of RGB color components Color image data For each color component A first subband converting means for converting into a low frequency coefficient and a high frequency coefficient, and the first subband converting means For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing Converted by the first color conversion means for performing the first subband conversion means and the first subband conversion means For each color component The low frequency coefficient is further converted by the second subband converting means for converting the low frequency coefficient into a low frequency coefficient and a high frequency coefficient, and the second subband converting means. For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing The second color converting means for performing the low frequency coefficient converted by the second subband converting means, and the color converted by the second color converting means Lightness signal and color difference signal And color converted by the first color converting means. Lightness signal and color difference signal And entropy encoding means for entropy encoding.
[0013]
The invention of claim 2 Consists of RGB color components Color image data For each color component A first subband converting means for converting into a low frequency coefficient and a high frequency coefficient, and the first subband converting means For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing Converted by the first color conversion means for performing the first subband conversion means and the first subband conversion means For each color component The low frequency coefficient is further converted by the second subband converting means for converting the low frequency coefficient into a low frequency coefficient and a high frequency coefficient, and the second subband converting means. For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing The second color conversion means for performing the color conversion and the color conversion by the second color conversion means Lightness signal and color difference signal And color converted by the first color converting means Lightness signal and color difference signal And entropy encoding means for entropy encoding.
[0014]
The invention of claim 3 Consists of RGB color components Color image data For each color component A first subband converting means for converting into a low frequency coefficient and a high frequency coefficient, and the first subband converting means For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing The line Dark blue Converted by the converting means and the first subband converting means For each color component A second subband converting means for converting the low frequency coefficient into a low frequency coefficient and a high frequency coefficient; Color Color converted by conversion means Lightness signal and color difference signal And entropy encoding means for entropy encoding the low-frequency coefficient and the high-frequency coefficient converted by the second subband conversion means.
[0019]
Claim 4 The invention of claim 1 to claim 1 3 In any one of the inventions, there is provided display means for displaying the low frequency coefficient as a thumbnail image.
[0020]
Claim 5 The invention of Consists of RGB color components Color image data For each color component A first subband conversion step for converting to a low frequency coefficient and a high frequency coefficient and the first subband conversion step For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing Converted by the first color conversion step and the first subband conversion step For each color component A second subband conversion step for converting the low frequency coefficient into a low frequency coefficient and a high frequency coefficient, and the second subband conversion step. For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing Color conversion in the second color conversion step, the low frequency coefficient converted in the second subband conversion step, and the color conversion in the second color conversion step Lightness signal and color difference signal And color conversion in the first color conversion step Lightness signal and color difference signal And an entropy encoding step for entropy encoding.
[0021]
Claim 6 The invention of Consists of RGB color components Color image data For each color component A first subband conversion step for converting to a low frequency coefficient and a high frequency coefficient and the first subband conversion step For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing The first to do color Transformed in the transformation step and the first subband transformation step For each color component A second subband conversion step for converting the low frequency coefficient into a low frequency coefficient and a high frequency coefficient, and the second subband conversion step. For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing The second color conversion step for performing the color conversion and the color conversion performed in the second color conversion step Lightness signal and color difference signal And color conversion in the first color conversion step Lightness signal and color difference signal And an entropy encoding step for entropy encoding.
[0022]
Claim 7 The invention of Consists of RGB color components Color image data For each color component A first subband conversion step for converting to a low frequency coefficient and a high frequency coefficient and the first subband conversion step For each color component For high frequency coefficient Convert to lightness signal and color difference signal Color conversion processing The line Dark blue Transformed in the transformation step and the first subband transformation step For each color component A second subband conversion step for converting the low frequency coefficient into a low frequency coefficient and a high frequency coefficient; Color Color converted in the conversion step Lightness signal and color difference signal And an entropy encoding step for entropy encoding the low frequency coefficient and the high frequency coefficient converted in the second subband conversion step.
[0023]
Claim 8 The invention of claim 5 Thru 7 A program for causing a computer to execute the image processing method according to any one of the inventions.
[0024]
Claim 9 The invention of claim 8 It is a computer-readable recording medium which recorded the program in invention of this invention.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
1, FIG. 3 and FIG. 4 are diagrams showing an example of subband conversion used in the present invention. In the present invention, the subband transform may be applied to one dimension or two dimensions. For example, when it is applied to one dimension, the form shown in FIG. 1 is obtained, and two pixel values X (2k) and X (2k−1) are converted into one low frequency coefficient L and one high frequency coefficient H. . Here, X (j) is a pixel value at the one-dimensional position j in the image data of the color component X, and “x” used as an index indicates one of RGB as the color component.
[0033]
FIG. 2 is a diagram illustrating a description example of a generated code when the subband transform is applied two-dimensionally. In FIG. 2A, reference numeral 1 denotes a predetermined region to which the subband transform is applied (enclosed by a thick frame) The predetermined region 1 is composed of four pixels 1a, 1b, 1c, and 1d, and the four pixel values X (j, m) of the pixels 1a to 1d are one low frequency coefficient LL, 3 Are converted into two high frequency coefficients LH, HL, and HH. Here, X (j, m) is a pixel value at a two-dimensional position (j, m) in the image data of the color component X, and “x” used as an index indicates one of RGB as the color component. When applied to two dimensions, the subband transform shown in FIG. 1 is applied in the horizontal direction. The result is shown in FIG. Thereafter, it may be applied in the vertical direction, and the result is shown in FIG. Specifically, values as shown in FIG. 3 are obtained as LL, LH, HL, and HH.
[0034]
The subband conversion applicable to the present invention is not limited to the above example. FIG. 4 shows another example of subband transformation as a one-dimensional form, and general wavelet transformation including so-called Haar transformation, or DCT transformation and Hadamard transformation may be applied. The sub-band transform in the present invention is used as a general term for transforms that express information such as frequency transform and wavelet transform as a set of waves. For example, the present invention is a transform that uses positional correlation for each color component. It can be applied to any subband conversion.
[0035]
Further, after the subband conversion of FIG. 1 is performed in the horizontal direction, the subband conversion shown in FIG. 4 may be performed in the vertical direction. What is important in the present invention is to convert a low-frequency coefficient that can be used as a low-resolution image, and a high-frequency coefficient that can be restored as a low-frequency coefficient to restore the original pixel completely or with deterioration. . In this embodiment, the two-dimensional subband transform shown in FIG. 3 is used. FIG. 6 is a diagram illustrating an example of inverse subband conversion of the subband conversion illustrated in FIG. 3. In this case, pixel values are restored by the respective expressions illustrated in FIG. 6 at the time of decoding. In the following description, the coordinates of the pixel value and the subband coefficient are omitted, and are simply abbreviated as LLx, for example, not LLx (i, k).
[0036]
Further, as is well known, subband conversion can be applied over two or more layers. Specifically, two-layer subband conversion is achieved by performing subband conversion on the set of low frequency coefficients LL according to the equation shown in FIG. Therefore, in the following description, numbers are given to the subband coefficients in order to simply represent the hierarchy. For example, LL1x (i, k) is an LL coefficient in the first layer obtained by converting the pixel value, and LL2x (i, k) is obtained by further converting LL1x (i, k). The LL coefficient in the second layer is shown.
[0037]
FIG. 5 is a diagram showing an example of color conversion used in the present invention, and is used in this embodiment. In the following description, “converting to a lightness signal and a color signal” is simply referred to as “color conversion”, and thus not only converting RGB colors, but also subband conversion coefficients are separated into “lightness signals and color signals”. “Color conversion” is also referred to as “color conversion”, and a circuit that performs such conversion is referred to as “color conversion unit” or “color conversion circuit”. This is because an achromatic image is common to normal color conversion in that the signal corresponding to the color signal is zero. FIG. 7 is a diagram illustrating an example of reverse color conversion of the color conversion illustrated in FIG.
[0038]
(Example 1)
FIG. 8 is a diagram illustrating an example of an encoding / decoding circuit for compressing a still image to which the present invention is applied. FIG. 8A is a block diagram illustrating an encoding circuit for compressing a still image. FIG. In the figure, 10 is a first subband conversion unit, 11 is a second subband conversion unit, 20 is a first color conversion unit, 21 is a second color conversion unit, and 30 is an entropy code. The conversion unit 31 is a compression code. In this embodiment, consider a case where a digital color image composed of three RGB colors is subjected to compression by applying two layers of subband conversion shown in FIG. First, color image data composed of RGB color components is sent to the first subband converter 10 for each predetermined pixel block unit. The first subband converter 10 converts the pixel information into one low frequency component LL1x and three high frequency components LH1x, HL1x, and HH1x for each color. Here, the index x indicates that conversion is performed for each of the RGB components.
[0039]
LH1x, HL1x, and HH1x, which are high-frequency components in the first layer, are sent to the first color conversion unit 20, and are converted into Yz1, Uz1, and Vz1 by the method shown in FIG. Here, the index z indicates that conversion is performed for each high-frequency component. The number after z indicates the hierarchy of high frequency components.
[0040]
On the other hand, LL1x, which is a low-frequency component in the first layer, is sent to the second subband converter 11 and converted into one low-frequency component LL2x and three high-frequency components LH2x, HL2x, and HH2x. LH2x, HL2x, and HH2x are further color-converted into Yz2, Uz2, and Vz2 by the second color converter 21.
[0041]
The entropy coding unit 30 is information obtained by color-converting the low-frequency component LL2x of the second layer, Yz2, Uz2, Vz2, which are information obtained by color-converting the high-frequency component of the second layer, and the high-frequency component of the first layer. Yz1, Uz1, and Vz1 are entropy-compressed to create a compression code 31. As the entropy compression method, for example, any known entropy compression method such as JPEG2000 method or arithmetic coding method can be adopted.
[0042]
However, in the present embodiment, in order to use the low-frequency component LL2x as a thumbnail image, entropy encoding regarding LL2x is performed independently of other coefficients. For example, when using an entropy compression method in which encoding / decoding is performed while learning based on the tendency of previously encoded information, LL2x performs encoding / decoding without referring to learning results of other coefficients. When using an entropy compression method in which encoding and decoding are performed while referring to other coefficients, LL2x does not refer to other coefficients.
[0043]
FIG. 8B is a diagram illustrating a schematic configuration example of the compression code 31 illustrated in FIG. 8A. In the drawing, the compression code 31 includes an LL2x component 31a subjected to entropy compression and an entropy compression from the left side. The Yz2, Uz2, Vz2 component 31b and the entropy-compressed Yz1, Uz1, Vz1 component 31c are embedded. In the left side of FIG. 8B, information with higher priority is packed in transmission or the like, and LL2x has the highest priority. In the code of this embodiment, when the compression code 31 is transferred, the information of the second layer is transferred first, and then the high frequency component of the first layer is transferred. Although not shown, a header indicating the head address of each coefficient is added to the head of the compression code.
[0044]
When only LL2x is used as a thumbnail image after creating the code of the present embodiment, a thumbnail image can be obtained by decoding only LL2x. At this time, if the number of bits of the low frequency coefficient increases from the original number of bits, the lower bits may be reduced as necessary. As another example of the code configuration applicable in the present invention, the higher-order plane of the high-frequency component in the first layer may be configured to have a higher priority than the lower-order plane of the high-frequency component in the second layer. Is possible. If the code is configured in such a manner, strong edge information in the image can be reproduced even when the low-priority portion of the compressed code 31 is deleted.
[0045]
FIG. 8C is a block diagram showing a decoding circuit for expanding the compression code 31 created by the encoding circuit shown in FIG. In the figure, 40 is an entropy decoding unit, 50 is a first reverse color conversion unit, 51 is a second reverse color conversion unit, 60 is a first reverse subband conversion unit, and 61 is a second reverse color conversion unit. This is an inverse subband conversion unit. The compressed code 31 is restored to LL2x, Yz2, Uz2, Vz2, Yz1, Uz1, and Vz1 by the entropy decoding unit 40. Yz2, Uz2, Vz2 and Yz1, Uz1, Vz1 are LH2x, HL2x, HH2x and LH1x, HL1x, HH1x, respectively, according to the equations shown in FIG. 7 in the second inverse color conversion unit 51 and the first inverse color conversion unit 50. Converted to. LL2x is calculated as LH2x, HL2x, and HH2x according to the formula shown in FIG. 6 in the second inverse subband transform unit 61, and LL1x is decoded. LL1x is computed in the first inverse subband transform unit 60 by the formula shown in FIG. Accordingly, LH1x, HL1x, and HH1x are calculated, and the pixel values of the RGB image data are restored.
[0046]
Next, the encoding circuit and decoding circuit shown in FIG. 8 to which the present invention is applied are compared with the conventional example. It will be described with reference to FIGS. 8A and 26 that the number of circuits in the encoding circuit and the decoding circuit shown in FIG. 8 can be reduced as compared with the conventional circuit. First, the number of arithmetic circuits required in each conversion unit shown in FIG. 8A is 48 for the first subband conversion unit 10, 12 for the second subband conversion unit 11, and the first color conversion unit. There are 36 20 and 9 second color conversion units 21. This is because, for example, since the first subband conversion unit 10 performs calculations for 3 colors × 16 pixels, 48 arithmetic circuits are required.
[0047]
FIG. 26 is a block diagram showing an example of a conventionally known encoding circuit. In FIG. 26, reference numeral 23 denotes a color conversion unit, and reference numerals 13 to 16 denote subband conversion units. The encoding circuit shown in FIG. 26 is an encoding circuit for encoding a digital color image composed of RGB three colors by color conversion and two-level subband encoding as in FIG. 8A. However, in FIG. 26, the image data of each color is color-converted by the color conversion unit 23, and the luminance component is sent to the subband conversion unit 13 and the color difference component is sent to the subband conversion unit 14. Thereafter, the luminance component is subjected to two-layer encoding in the subband conversion units 13 and 15 and the chrominance component is subjected to two-layer encoding in the subband conversion units 14 and 16, and the resulting coefficients are compressed in the entropy encoding unit 30. It is encoded into code 31.
[0048]
The number of arithmetic circuits required in each conversion unit shown in FIG. 26 is 48 for the color conversion unit 23, 16 for the subband conversion unit 13, 32 for the subband conversion unit 14, 4 for the subband conversion unit 15, There are eight subband converters 16. Comparing the required number of arithmetic circuits between FIG. 8A and FIG. 26, the encoding circuit shown in FIG. 8A requires 48 + 36 + 12 + 9 = 105 circuits, whereas FIG. The encoding circuit shown in the figure requires 48 + 16 + 32 + 4 + 8 = 108 circuits, and the encoding circuit shown in FIG. 8A can reduce the number of arithmetic circuits as compared with the conventional encoding circuit shown in FIG. .
[0049]
Considering the case of using a low resolution image as a thumbnail image, in the conventional example, the low frequency component of the luminance signal and the low frequency component of the color difference signal are present in the compression code. For this reason, in order to create a thumbnail image in the conventional example, it is necessary to obtain a low-resolution image for each color component by calculating the low-frequency component of the luminance signal and the low-frequency component of the color difference signal. As a result, it takes a long time to create a thumbnail image, which hinders the user's comfortable use. In order to avoid such difficulty, an arithmetic circuit for calculating low frequency components of luminance and color difference and obtaining the low frequency components of each color after the encoding circuit of the conventional example may be added. Is required, and additional time is required for decoding. On the other hand, in the encoding circuit shown in FIG. 8A, since LL2x is present at the head of the compression code, the low frequency component can be used as a thumbnail image without performing reverse color conversion. As shown in FIG. 8A, when entropy coding is performed on LL2x as well, there is a possibility that the compression rate is slightly lower than the conventional example because LL2x is not color-converted. Originally, thumbnail images are very small, so the difference in compression ratio between them is small.
[0050]
(Example 2)
FIG. 9 is a diagram showing another configuration example of an encoding / decoding circuit to which the present invention is applied. 9A is a block diagram showing an encoding circuit, FIG. 9B is a diagram showing a schematic configuration example of the compression code 31, and FIG. 9C is a block diagram showing a decoding circuit. . 8 differs from the circuit shown in FIG. 9 only in that entropy encoding is not performed in FIG. 9, whereas LL2x is entropy encoded in FIG. For this reason, since there are many common parts in the circuit, the same symbols are assigned to the arithmetic circuits that perform the same functions in the circuits shown in FIGS. The subband conversion method is the same as that in the first embodiment.
[0051]
The basic operation of the encoding circuit illustrated in FIG. 9A is the same as that of the encoding circuit illustrated in FIG. The difference is that LL2x is not compressed in the entropy encoding unit 30. Due to this difference, the compression code 31 of this embodiment has the configuration shown in FIG. Compared to the configuration shown in FIG. 8B, the code of this embodiment is a compressed code with LL2x remaining uncompressed. FIG. 9C shows the decoding circuit of the present embodiment. The difference from the decoding circuit shown in FIG. 8C is that only LL2x is not decoded by the entropy decoding unit 40. Compared with the circuit shown in the first embodiment, the encoding circuit / decoding circuit of this embodiment can display thumbnail images more quickly because LL2x is in an uncompressed state. In the present embodiment as well, as with the circuit shown in the first embodiment, the number of arithmetic circuits constituting the encoding circuit / decoding circuit is reduced compared to the conventional example, and further, thumbnail images can be displayed quickly. There are benefits.
[0052]
(Example 3)
FIG. 10 is a diagram showing another configuration example of an encoding / decoding circuit to which the present invention is applied. 10A is a block diagram showing the encoding circuit, FIG. 10B is a diagram showing a schematic configuration example of the compression code 31, and FIG. 10C is a block diagram showing the decoding circuit. . 8 differs from the circuit shown in FIG. 10 in that LH2x, HL2x, and HH2x are color-converted by the second color conversion unit 21 in FIG. 8, but only color conversion is not performed in FIG. For this reason, since there are many common parts in circuit, the same symbols are assigned to the arithmetic circuits that perform the same functions in the circuits shown in FIGS. The subband conversion method is the same as that in the first embodiment. The basic operation of the encoding circuit illustrated in FIG. 10A is the same as that of the encoding circuit illustrated in FIG. The difference is that LH2x, HL2x, and HH2x are not subjected to color conversion in the second color conversion unit 21. Due to this difference, the compression code 31 of this embodiment has the configuration shown in FIG. Compared to the configuration shown in FIG. 8B, the code of this embodiment is a compressed code without color conversion of LH2x, HL2x, and HH2x. FIG. 10C shows the decoding circuit of the present embodiment. The difference from the decoding circuit shown in FIG. 8C is only that the second inverse color conversion unit 51 does not exist.
[0053]
The encoding circuit / decoding circuit according to the present embodiment does not include a color conversion circuit / inverse color conversion circuit as compared with the first embodiment, so that the number of circuits can be reduced. In the present embodiment, as in the first embodiment, the number of arithmetic circuits constituting the encoding circuit / decoding circuit is reduced compared to the conventional example, and further, there is an advantage that thumbnail images can be displayed quickly. .
[0054]
FIG. 11 is a block diagram showing another configuration example of an encoding circuit to which the present invention is applied. So far, the present invention has been described using the hierarchical encoding of two layers, but of course, it can also be applied to the hierarchical encoding of one layer as shown in FIG. As shown in FIG. 11 (B), the present invention can be applied to three-layer hierarchical encoding.
[0055]
Example 4
FIG. 12 is a block diagram showing another configuration example of a decoding circuit to which the present invention is applied. In the figure, reference numeral 52 denotes a third inverse color conversion unit. The difference between the circuits shown in FIG. 8C and FIG. 12 is that the third inverse color conversion unit 52 exists in FIG. The decoding circuit shown in FIG. 12 includes both the compression code encoded by the conventional encoding circuit shown in FIG. 26 and the compression code encoded by the encoding circuit of the present invention shown in FIG. Both can be extended. Since there are many common parts in the circuit, the same symbols are assigned to the arithmetic circuits that perform the same functions in the circuits shown in FIG. 8C and FIG. Further, the Haar transform shown in FIG. 4 is used as the subband transform.
[0056]
The basic operation of the decoding circuit shown in FIG. 12 is the same as that of the decoding circuit shown in FIG. The difference is that the function of the entropy decoding unit 40 and the third inverse color conversion unit 52 exist. In FIG. 12, the entropy decoding unit 40 refers to the header of the compression code 31 to determine whether the compression code to be decoded is the compression code encoded by the encoding circuit shown in FIG. Whether the compressed code is encoded by the encoding circuit shown in FIG. The identification result is sent to the third reverse color conversion unit 52 as identification information.
[0057]
Further, the entropy decoding unit 40 to the third inverse color conversion unit 52 transfer the low frequency component and color difference of the luminance signal when the compression code 31 is a compression code encoded by the encoding circuit shown in FIG. When the low frequency component of the signal is a compression code in which the compression code 31 is encoded by the encoding circuit shown in FIG. 8A, LL2x is sent. The third reverse color conversion circuit 52 refers to the identification information, and performs reverse color conversion when decoding the compression code encoded by the encoding circuit shown in FIG. 26, as shown in FIG. When decoding the compression code encoded by the encoding circuit, the signal is sent to the second inverse subband conversion unit 61 as it is. With such a configuration, the second inverse subband converter 61 can obtain LL2x information.
[0058]
On the other hand, for the high frequency component, since the subband conversion shown in FIG. 4 and the color conversion shown in FIG. 5 are both linear conversions, the “high frequency coefficient color-converted” obtained by the encoding circuit shown in FIG. The “information” and “high-frequency coefficient information obtained by performing subband conversion on the color conversion coefficient” obtained by the encoding circuit shown in FIG. 26 are equal. Therefore, the second reverse color conversion unit 51, the first reverse color conversion unit 50, the second reverse subband conversion unit 61, and the first reverse sub are irrespective of which encoding circuit is used to compress the compressed code. Pixel information can be restored by the band converter 60. As described above, the decoding circuit shown in the present embodiment can decode / thumbnail display the compression code created by the coding circuit of the present invention in a short time, and also decompress the compression code created in the conventional example. can do.
[0059]
(Application example to image processing device)
FIG. 13 is a diagram showing an application example when the present invention is applied to an image processing apparatus, in which 70 is a storage device, and the storage device 70 includes an encoding circuit 71, a decoding circuit 73, It comprises storage means 72 such as an HDD. In FIG. 13, the coding circuit / decoding circuit shown in FIG. 9 is used. The digital color image is encoded as shown in FIG. 9A by the encoding circuit 71, and the compressed code is stored in the storage means 72. The stored compressed code is read from the storage device 70 as a thumbnail image as necessary. The stored compressed code is decoded by the decoding circuit 73 as shown in FIG. 9C as necessary, and is read from the storage device 70 as an expanded image. In this application example, since the encoding circuit / decoding circuit shown in FIG. 9 is used, the thumbnail image is directly sent from the storage means 72 to the outside of the storage device 70. , FIGS. 11 and 12, the thumbnail images are decoded by the decoding device 73 or a dedicated decoding device provided separately and then stored outside the storage device 70. Will be sent.
[0060]
(Application example to image forming apparatus)
FIG. 14 is a block diagram showing a configuration example when the present invention is applied to a digital color image forming apparatus. In FIG. 14, reference numeral 80 denotes a digital color image forming apparatus, and the image forming apparatus 80 includes a storage device 70. , RIP unit 81, image processing unit 82, writing unit 83, scanner 84, liquid crystal panel 85, photosensitive member 91, developing device 92, fixing device 93, charging device 94, cleaning device 95, intermediate transfer member 96, paper feed tray Reference numeral 97 denotes a paper conveyance path 98, and reference numeral 100 denotes a network. First, the image data read from the scanner 84 or the image data input to the RIP unit 81 via the network 100 is sent to the storage device 70 shown in FIG. 13 to realize a multiple copies output function and a digital memory function. Is stored in the storage means 72 shown in FIG. When displaying an outline of an image for editing or the like, a thumbnail image is sent from the storage device 70 to the liquid crystal panel 85, and an expanded image is sent to the image processing unit 82 at the time of image formation. Image data that has been subjected to filter processing, gradation processing, and the like by the image processing unit 82 is converted into a writing signal by the writing unit 83, and the writing signal scans the photoreceptor 91. By a known electrophotographic process, the surface of the photoreceptor 91 is charged by the charging device 94, an electrostatic latent image is formed by the writing unit 83, and developed as a toner image by the developing device 92. The developed toner image is transferred to the intermediate transfer member 96, the toner image on the intermediate transfer member 96 is transferred to the recording paper, and the toner image on the recording paper is fixed by the fixing device 93.
[0061]
(Application examples in transmission media and recording media)
FIG. 15 is a diagram showing a configuration example when the decoding circuit and the decoding program according to the present invention are applied to distribution using a network (transmission medium) and a CD-ROM (recording medium). The server 101 includes a decryption program storage unit 101a and a storage device 70, 102, 103, and 104 are PCs, and 102a and 103a are CD-ROMs. The server 101 and the PCs 102, 103, and 104 are connected via the network 100.
[0062]
A server 101 shown in FIG. 15 is a server owned by an operator that distributes a compressed code encoded by the encoding method according to the present invention and a decoding program according to the present invention. For example, the PCs 102 and 103 connected via the network 100 such as the Internet are PC terminals used by the user. Since the user of the PC 102 has purchased the CD-ROM 102a in which only the compressed code is stored, the decoding program is downloaded from the decoding program storage unit 101a of the server 101 for a fee or free of charge, and the compressed code is expanded. On the other hand, since the user who uses the PC 103 has purchased the CD-ROM 103a in which the compression code and the decoding program are recorded, the compression code can be decoded using the decoding method of the present invention without downloading. Here, the decryption program in the decryption program storage unit 101a and the decryption program in the CD-ROM 103a are the same.
[0063]
FIG. 16 is a flowchart for explaining an example of processing of an encoding program corresponding to the encoding circuit shown in FIG. First, RGB image data is sent to a subband conversion unit for each predetermined pixel block unit (step S1), and converted into each of LL1x, LH1x, HL1x, and HH1x in a subband conversion process (step S2, first step). Corresponding to the subband conversion unit 10). Next, LH1x, HL1x, and HH1x are converted to Yz1, Uz1, and Vz1 by color conversion processing (step S3, corresponding to the first color conversion unit 20), and LL1x is converted to LL2x, LH2x, HL2x, and HH2x by subband conversion processing. (Step S4, corresponding to the second subband conversion unit 11). Subsequently, LH2x, HL2x, and HH2x are converted into Yz2, Uz2, and Vz2 by color conversion processing (step S5, corresponding to the second color conversion unit 21), and LL2x, Yz2, Uz2, Vz2, and Yz1 are processed by entropy encoding processing. , Uz1, Vz1 are encoded as compression codes (step S6, corresponding to the entropy encoding unit 30).
[0064]
The above steps S1 to S6 are executed in units of blocks. When one block is completed, it is determined whether or not encoding has been completed for all blocks (step S7). If NO, the process is continued. If YES, the process is performed. finish. The above is a case where the processing of the encoding circuit shown in FIG. 8A is executed. However, when the processing of the encoding circuit shown in FIG. 9A is executed, an entropy code is generated for LL2x in step S6. If the processing of the encoding circuit shown in FIG. 10A is executed, step S5 may be omitted.
[0065]
FIG. 17 is a flowchart for explaining an example of processing of the decryption program corresponding to the decryption circuit shown in FIG. First, the compression code is decoded into LL2x, Yz2, Uz2, Vz2, Yz1, Uz1, and Vz1 in the entropy decoding process (step S11, corresponding to the entropy decoding unit 40). Next, Yz2, Uz2, and Vz2 are converted into LH2x, HL2x, and HH2x by the reverse color conversion process (step S12, corresponding to the second reverse color conversion unit 51), and LL2x, LH2x, HL2x, and HH2x by the reverse subband conversion process. Is converted to LL1x (corresponding to step S13, second inverse subband converting unit 61). Subsequently, Yz1, Uz1, and Vz1 are converted into LH1x, HL1x, and HH1x by the inverse color conversion process (step S14, corresponding to the first inverse color conversion unit 50), and LL1x, LH1x, HL1x, HH1x is decoded into digital color image data (step S15, corresponding to the first inverse subband converting unit 60).
[0066]
The processes in steps S11 to S15 described above are executed in units of blocks. When one block is completed, it is determined whether or not the decoding has been completed for all the blocks (step S16). If NO, the process is continued. If YES, the process is performed. finish. When creating a thumbnail image, only LL2x is decoded in the entropy decoding process (step S11), and steps S12 to S16 may be passed. The above is the case where the processing of the decoding circuit shown in FIG. 8C is executed. However, when the processing of the decoding circuit shown in FIG. 9C is executed, entropy decoding is performed for LL2x in step S11. If the processing of the decoding circuit shown in FIG. 10C is executed, step S12 may be omitted.
[0067]
FIG. 18 is a flowchart for explaining an example of processing of a decoding program corresponding to the decoding circuit shown in FIG. First, the header recognition process of the compression code is performed (step S21), and after the entropy decoding process (step S22), the compression code to be decoded is encoded by the encoding circuit according to the present invention. It is determined whether or not (step S23). If NO, a reverse color conversion process is performed (step S24, corresponding to the third reverse color converter 52). If YES, the process proceeds to the second reverse color converter 51 (step S25). ). Thereafter, as in the flowchart shown in FIG. 17, LL2x, LH2x, HL2x, and HH2x are converted into LL1x by the reverse subband conversion process (step S26, corresponding to the second reverse subband conversion unit 61). Subsequently, Yz1, Uz1, and Vz1 are converted into LH1x, HL1x, and HH1x by the reverse color conversion process (step S27, corresponding to the first reverse color conversion unit 50), and LL1x, LH1x, HL1x, HH1x is decoded into digital color image data (step S28, corresponding to the first inverse subband conversion unit 60). The processes in steps S21 to S28 are executed in units of blocks. When one block is completed, it is determined whether or not the decoding has been completed for all blocks (step S29). If NO, the process is continued. If YES, the process is performed. finish.
[0068]
In this embodiment, the user can select a thumbnail image according to the purpose and the size of the window, or can select to expand to an intermediate level such as LL1x. A provider who provides an image through a CD-ROM or the Internet may provide the image in a form in which a decoding program is added to the header portion of the compression code.
[0069]
(Example 5)
FIG. 19 is a diagram showing a configuration example when the present invention is applied to encoding of a motion JPEG type moving image. In FIG. 19, 110 is an intra-frame encoding circuit, and 111 is an intra-frame decoding circuit. is there. This encoding is a method of encoding a moving image by configuring a moving image as a set of still images and applying intra-frame encoding to each still image frame. FIG. 19A shows the moving picture intra-frame coding circuit 110, and FIG. 19B shows the moving picture intra-frame decoding circuit 111. In FIG. 19A, a moving image is sent frame by frame to the intraframe coding circuit 110, and is encoded independently for each frame to be a compression code. As the intra-frame coding circuit 110, the still picture coding circuits shown in FIGS. 8A, 9A, and 10A can be used to code each frame. . In FIG. 19B, the compressed code is sent to the intra-frame decoding circuit 111 one frame at a time, and is decoded and expanded independently for each frame. As the intra-frame decoding circuit 111, the still picture decoding circuits shown in FIGS. 8C, 9C, and 10C described above can be used to decode each frame. .
[0070]
The compression code obtained by the encoding circuit shown in FIG. 19A can arrange frames in various ways. FIG. 20 is a diagram illustrating an example of a compression code in which frames are arranged. The compression code shown in FIG. 20A is a compression code in which frames are arranged in order, such as a low-frequency component in the first frame, a low-frequency component in the second frame other than the low-frequency component in the first frame, and the like. It has become. On the other hand, the compression code shown in FIG. 20B is a compression in which each frame is arranged in order, such as the low-frequency component of the first frame, the low-frequency component of the first frame, and the low-frequency component of the second frame. Although it is a code, the length of each frame is constant in order to achieve stable transmission. The compression code shown in FIG. 20C is a compression code in which information other than the low frequency components of each frame is arranged in order after the low frequency components of each frame are arranged at the head.
[0071]
Although not shown, a header including information such as a pointer indicating the position of the frame is added to each compression code. When only the outline of the moving image is quickly decoded, only the low-frequency component of each frame is extracted from the pointer information included in the header and sequentially displayed to obtain a motion JPEG thumbnail moving image. As described above, according to the present invention, it is possible to realize encoding / decoding of a color moving image with a smaller number of circuits than in the past, and particularly when displaying a moving image easily as a thumbnail image, Display is possible in a short time.
[0072]
(Example 6)
FIG. 21 is a diagram showing a configuration example when the present invention is applied to encoding of an MPEG type moving image. In FIG. 21A, reference numeral 112 denotes a frame decomposing unit, and 113 denotes an I picture encoding circuit. , 114 is a B picture encoding circuit, 115 is a P picture encoding circuit, in FIG. 21B, 116 is an I picture decoding circuit, 117 is a B picture decoding circuit, and 118 is a P picture decoding The circuit 119 is a frame coupling unit. In this encoding, each frame constituting a moving picture is predicted based on an I picture that is encoded only by the information in the frame (intra-frame encoding) and information in the frame from other frames by a motion vector or the like. In this method, a moving image is encoded by decomposing it into a B picture and a P picture in which the difference from the prediction is encoded. FIG. 21A shows a moving picture encoding circuit, and FIG. 21B shows a moving picture decoding circuit.
[0073]
In FIG. 21A, a moving image is decomposed into an I picture, a B picture, and a P picture in the frame decomposing unit 112, and each picture is divided into an I picture encoding circuit 113, a B picture encoding circuit 114, and a P picture encoding circuit. After being encoded at 115, it becomes a compression code. In the present embodiment, the still picture coding circuit shown in FIG. 8A is used as the I picture coding circuit 113.
[0074]
In FIG. 21B, the compressed code is decoded by an I picture decoding circuit 116, a B picture decoding circuit 117, and a P picture decoding circuit 118, and recombined by a frame combining unit 119 to become a moving image. In this embodiment, the still picture decoding circuit shown in FIG. 8C is used as the I picture decoding circuit 116.
[0075]
FIG. 22 is a diagram illustrating a configuration example of a compression code. FIG. 22A shows a code structure in which one I picture and P picture / B picture group are grouped. In FIG. 22A, the compression code is the low frequency component of the I picture, information other than the low frequency component related to the I picture, the difference information of the B and P pictures (here, the difference information is the prediction in the interframe coding) Are encoded in the order of motion vector information of B and P pictures. Although not shown, a header is added to the compression code and has an address of each information.
[0076]
In this case, when displaying thumbnails of moving images, thumbnails can be displayed in the frame advance state by continuously displaying only the low frequency components of the I picture. In FIG. 22B, the compression code is a low frequency component of the I picture, information other than the low frequency component related to the I picture, difference information of the B and P pictures, motion vector information of the B and P pictures, and a frame of the thumbnail image. The inter-coded portion is configured in this order. Here, the inter-frame encoded portion of the thumbnail image is a portion of the difference information and motion vector for the thumbnail image for interpolating between the thumbnail images of each I picture. In this case, when displaying thumbnails of moving images, smoother thumbnail display is possible by decoding using the low-frequency component of the I picture and the inter-frame encoded portion of the thumbnail image.
[0077]
Here, the difference information and the motion vector for the thumbnail image can be obtained by a known MPEG method. The circuit or program for obtaining the difference information and the motion vector for the thumbnail image can be shared with the inter-frame coding circuit or the inter-frame coding program for the color moving image itself. As described above, according to the present invention, it is possible to realize encoding / decoding of a color moving image with a smaller number of circuits than in the past, and particularly when displaying a moving image easily as a thumbnail image, Display is possible in a short time.
[0078]
FIG. 23 is a diagram showing an application example of a moving picture encoding circuit and decoding circuit according to the present invention, in which 120 is a distribution center, 121 and 122 are TVs, and the TV 121 is a simple display screen 121a. 123 is a cable. In FIG. 23A, a distribution center 120 is a cable TV distribution company, and distributes TV programs via a cable 123. A TV program (digital moving image compression code) from the distribution center 120 is distributed to the TVs 121 and 122 via the cable 123. Here, in the TV 121, a simple display screen 121a is provided to check a program of another station while watching one station. When the distribution center 120 transmits a compression code, for example, when using the compression code of the type shown in FIG. 22A, only the thumbnail image is used for the simplified display screen 121a. ) Is delivered. Thereby, a high-definition moving image is obtained for the first station, and a frame-advanced thumbnail image is obtained for the second station. In the case where there are a plurality of distribution centers 120, the information for the first station and the second station are sent from different distribution centers in the code shown in FIG. Become. Note that the present invention can be similarly applied to BS broadcasting and the like.
[0079]
As another application example, a moving image encoded by an encoding circuit to which the present invention is applied can be distributed over the Internet or the like. In this case, although there is a difference between a moving image and a still image, the distribution method shown in FIG. 15 can be similarly applied.
[0080]
As described above, the present invention makes it possible to realize encoding / decoding of a color still image and a color moving image with a small number of circuits, and particularly for displaying / displaying a still image and a moving image easily as thumbnail images. Even in the case of distribution, processing in a short time is possible. Note that the present invention is not limited to the above-described embodiment, and can be appropriately modified and executed without changing the gist of the invention.
[0081]
【The invention's effect】
As is clear from the above explanation, Book According to the present invention, it is possible to configure a compression code that can realize encoding of a color image with a small number of circuits and that can be processed in a short time when a thumbnail image is displayed / distributed.
[0082]
Book According to the present invention, when the low frequency component is decoded, it is not necessary to decode other components, so that high-speed processing is possible.
[0083]
Book According to the invention, a compression code capable of obtaining a thumbnail image without decoding a low frequency component is obtained, and thus a compression code that can be processed in a short time when a thumbnail image is displayed / distributed is configured. it can.
[0084]
Book According to the present invention, decoding of a color image can be realized with a small number of circuits, and processing in a short time is possible when displaying / distributing thumbnail images.
[0085]
Book According to the invention, the above Effect of In addition to the results, the compressed code obtained by the conventional encoding means can also be decoded.
[0086]
Book According to the present invention, encoding of a color moving image can be realized with a small number of circuits, and a compression code that can be processed in a short time when a thumbnail image is displayed / distributed can be configured.
[0087]
Book According to the present invention, decoding of a color moving image can be realized with a small number of circuits, and processing in a short time is possible when displaying / distributing thumbnail images.
[0088]
Book According to the invention, a compression code capable of obtaining a thumbnail moving image with high image quality can be configured.
[0089]
Book According to the invention, it is possible to obtain a thumbnail moving image with good image quality from a compression code.
[0090]
Book According to the invention, thumbnail images can be transmitted and displayed via a network or the like.
[0091]
Book According to the invention, an image processing method capable of realizing encoding and decoding of a color image with a small number of circuits and capable of processing in a short time when displaying / distributing a thumbnail image, and executing the method on a computer A program can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of subband conversion used in the present invention.
FIG. 2 is a diagram illustrating a description example of a generated code when subband transformation is applied two-dimensionally.
FIG. 3 is a diagram illustrating an example of subband conversion used in the present invention.
FIG. 4 is a diagram illustrating an example of subband conversion used in the present invention.
FIG. 5 is a diagram illustrating an example of color conversion used in the present invention.
6 is a diagram illustrating an example of inverse subband conversion of the subband conversion illustrated in FIG. 3; FIG.
7 is a diagram illustrating an example of reverse color conversion of the color conversion illustrated in FIG. 5. FIG.
FIG. 8 is a diagram illustrating an example of an encoding / decoding circuit for compressing a still image to which the present invention is applied.
FIG. 9 is a diagram showing another configuration example of an encoding / decoding circuit to which the present invention is applied.
FIG. 10 is a diagram showing another configuration example of an encoding / decoding circuit to which the present invention is applied.
FIG. 11 is a block diagram showing another configuration example of an encoding circuit to which the present invention is applied.
FIG. 12 is a block diagram showing another configuration example of a decoding circuit to which the present invention is applied.
FIG. 13 is a diagram illustrating an application example when the present invention is applied to an image processing apparatus.
FIG. 14 is a block diagram illustrating a configuration example when the present invention is applied to a digital color image forming apparatus.
FIG. 15 is a diagram illustrating a configuration example when the decoding circuit and the decoding program according to the present invention are applied to distribution using a network (transmission medium) and a CD-ROM (recording medium).
FIG. 16 is a flowchart for explaining an example of processing of an encoding program corresponding to the encoding circuit shown in FIG.
FIG. 17 is a flowchart illustrating an example of processing of a decryption program corresponding to the decryption circuit illustrated in FIG.
18 is a flowchart for explaining an example of processing of a decoding program corresponding to the decoding circuit shown in FIG.
FIG. 19 is a diagram illustrating a configuration example when the present invention is applied to encoding of a motion JPEG type moving image.
FIG. 20 is a diagram illustrating an example of a compression code in which frames are arranged.
FIG. 21 is a diagram illustrating a configuration example when the present invention is applied to encoding of an MPEG type moving image.
FIG. 22 is a diagram illustrating a configuration example of a compression code.
FIG. 23 is a diagram illustrating an application example of a moving image encoding circuit and a decoding circuit according to the present invention.
FIG. 24 is a block diagram illustrating an example of a conventionally known encoding circuit.
FIG. 25 is a block diagram illustrating an example of a conventionally known encoding circuit.
FIG. 26 is a block diagram illustrating an example of a conventionally known encoding circuit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Predetermined area | region, 10 ... 1st subband conversion part, 11 ... 2nd subband conversion part, 12 ... 3rd subband conversion part, 13-16 ... Subband conversion part, 20 ... 1st color Conversion unit, 21 ... second color conversion unit, 22 ... third color conversion unit, 23 ... color conversion unit, 30 ... entropy encoding unit, 31 ... compression code, 40 ... entropy decoding unit, 50 ... first Reverse color conversion unit, 51 ... second reverse color conversion unit, 52 ... third reverse color conversion unit, 60 ... first reverse subband conversion unit, 61 ... second reverse subband conversion unit, 70 ... Storage device 71 ... Coding circuit 72 ... Storage means 73 ... Decoding circuit 80 ... Digital color image forming device 81 ... RIP unit 82 ... Image processing unit 83 ... Writing unit 84 ... Scanner 85 Liquid crystal panel, 91 Photoconductor, 92 Developing device, 93 Fixing device, 94 Charging device 95 ... Cleaning device, 96 ... Intermediate transfer member, 97 ... Paper feed tray, 98 ... Paper transport path, 100 ... Network, 101 ... Server, 102, 103, 104 ... PC, 102a, 103a ... CD-ROM, 110 ... Intra-frame encoding circuit, 111... Intra-frame decoding circuit, 112... Frame decomposing unit, 113... I-picture encoding circuit, 114... B-picture encoding circuit, 115. Circuit 117, B picture decoding circuit, 118 P picture decoding circuit, 119 frame combining unit, 120 distribution center, 121, 122 TV, 123 cable.

Claims (9)

ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、
前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、
前記第２のサブバンド変換手段で変換された低周波係数、前記第２の色変換手段で色変換された明度信号及び色差信号、及び前記第１の色変換手段で色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化手段と、
を有することを特徴とする画像処理装置。First subband conversion means for converting color image data composed of RGB color components into a low frequency coefficient and a high frequency coefficient for each color component ;
First color conversion means for performing color conversion processing for converting a high-frequency coefficient for each color component converted by the first subband conversion means into a brightness signal and a color difference signal ;
Second subband conversion means for converting the low frequency coefficient for each color component converted by the first subband conversion means into a low frequency coefficient and a high frequency coefficient;
Second color conversion means for performing color conversion processing for converting the high-frequency coefficient for each color component converted by the second subband conversion means into a lightness signal and a color difference signal ;
Low-frequency coefficients converted by the second sub-band transform means, the brightness signal and the color difference signal subjected to color conversion in a second color conversion means, and the lightness signal color has been converted by said first color conversion means and Entropy encoding means for entropy encoding the color difference signal ;
An image processing apparatus comprising: ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、
前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、
前記第２の色変換手段で色変換された明度信号及び色差信号と前記第１の色変換手段で色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化手段と、
を有することを特徴とする画像処理装置。First subband conversion means for converting color image data composed of RGB color components into a low frequency coefficient and a high frequency coefficient for each color component ;
First color conversion means for performing color conversion processing for converting a high-frequency coefficient for each color component converted by the first subband conversion means into a brightness signal and a color difference signal ;
Second subband conversion means for converting the low frequency coefficient for each color component converted by the first subband conversion means into a low frequency coefficient and a high frequency coefficient;
Second color conversion means for performing color conversion processing for converting the high-frequency coefficient for each color component converted by the second subband conversion means into a lightness signal and a color difference signal ;
Entropy encoding means for entropy encoding the brightness signal and color difference signal color-converted by the second color conversion means and the brightness signal and color difference signal color-converted by the first color conversion means;
An image processing apparatus comprising: ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、
前記色変換手段で色変換された明度信号及び色差信号と前記第２のサブバンド変換手段で変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化手段と、
を有することを特徴とする画像処理装置。First subband conversion means for converting color image data composed of RGB color components into a low frequency coefficient and a high frequency coefficient for each color component ;
And line Cormorant color converter color conversion processing for converting the luminance signal and color difference signal to the high frequency coefficients of each color component converted by the first sub-band transform means,
Second subband conversion means for converting the low frequency coefficient for each color component converted by the first subband conversion means into a low frequency coefficient and a high frequency coefficient;
And entropy encoding means for entropy encoding the low-frequency coefficients and high frequency coefficients converted by the color conversion lightness signal and color difference signal and the second subband transform means prior Symbol color conversion means,
An image processing apparatus comprising: 請求項１乃至３のいずれか１項に記載の画像処理装置において、前記低周波係数をサムネイル画像として表示する表示手段を有することを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 3, the image processing apparatus characterized by comprising a display means for displaying the low-frequency coefficients as a thumbnail image. ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、
前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、
前記第２のサブバンド変換ステップで変換された低周波係数、前記第２の色変換ステップで色変換された明度信号及び色差信号、及び前記第１の色変換ステップで色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化ステップと、
を有することを特徴とする画像処理方法。 A first subband conversion step of converting color image data composed of RGB color components into a low frequency coefficient and a high frequency coefficient for each color component ;
A first color conversion step for performing a color conversion process for converting a lightness signal and a color difference signal to the high-frequency coefficient for each color component converted in the first subband conversion step;
A second subband conversion step for converting the low frequency coefficient for each color component converted in the first subband conversion step into a low frequency coefficient and a high frequency coefficient;
A second color conversion step of performing a color conversion process for converting a lightness signal and a color difference signal with respect to the high-frequency coefficient for each color component converted in the second subband conversion step;
Low-frequency coefficients converted by the second sub-band transformation step, the second value signal and the color difference signal subjected to color conversion by the color conversion step, and lightness signal color has been converted by the first color conversion step and An entropy encoding step for entropy encoding the color difference signal ;
An image processing method comprising: ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、
前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、
前記第２の色変換ステップで色変換された明度信号及び色差信号と前記第１の色変換ステップで色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化ステップと、
を有することを特徴とする画像処理方法。 A first subband conversion step of converting color image data composed of RGB color components into a low frequency coefficient and a high frequency coefficient for each color component ;
A first color conversion step for performing a color conversion process for converting a lightness signal and a color difference signal to the high-frequency coefficient for each color component converted in the first subband conversion step;
A second subband conversion step for converting the low frequency coefficient for each color component converted in the first subband conversion step into a low frequency coefficient and a high frequency coefficient;
A second color conversion step of performing a color conversion process for converting a lightness signal and a color difference signal with respect to the high-frequency coefficient for each color component converted in the second subband conversion step;
An entropy encoding step for entropy encoding the lightness signal and color difference signal color-converted in the second color conversion step and the lightness signal and color difference signal color-converted in the first color conversion step;
An image processing method comprising: ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、
前記色変換ステップで色変換された明度信号及び色差信号と前記第２のサブバンド変換ステップで変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化ステップと、
を有することを特徴とする画像処理方法。 A first subband conversion step of converting color image data composed of RGB color components into a low frequency coefficient and a high frequency coefficient for each color component ;
And line Cormorant color converting step the color conversion processing for converting the luminance signal and color difference signal to the high frequency coefficients of each color component converted by the first sub-band transformation step,
A second subband conversion step for converting the low frequency coefficient for each color component converted in the first subband conversion step into a low frequency coefficient and a high frequency coefficient;
And entropy encoding step for entropy encoding the low-frequency coefficients and high frequency coefficients converted by the color conversion lightness and color difference signals the second sub-band transform step before Symbol color converting step,
An image processing method comprising: 請求項５乃至７のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。A program for causing a computer to execute the image processing method according to any one of claims 5 to 7 . 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which the program according to claim 8 is recorded.
JP2001044782A 2001-02-21 2001-02-21 Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program Expired - Fee Related JP4159259B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001044782A JP4159259B2 (en) 2001-02-21 2001-02-21 Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001044782A JP4159259B2 (en) 2001-02-21 2001-02-21 Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program

Publications (2)

Publication Number Publication Date
JP2002247581A JP2002247581A (en) 2002-08-30
JP4159259B2 true JP4159259B2 (en) 2008-10-01

Family

ID=18906712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001044782A Expired - Fee Related JP4159259B2 (en) 2001-02-21 2001-02-21 Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program

Country Status (1)

Country Link
JP (1) JP4159259B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2384007B1 (en) 2003-02-27 2014-09-10 Seiko Epson Corporation Image reproduction using a particular color space

Also Published As

Publication number Publication date
JP2002247581A (en) 2002-08-30

Similar Documents

Publication Publication Date Title
US10614593B2 (en) Image processing device and method
US11051044B2 (en) Image processing device and method
Thyagarajan Still image and video compression with MATLAB
TW496090B (en) Circuit and method for modifying a region of an encoded image
Mukhopadhyay Image and video processing in the compressed domain
KR100512210B1 (en) Method and apparatus for decoding image
JP2009543423A (en) Video encoding / decoding method and apparatus
US20080089413A1 (en) Moving Image Encoding Apparatus And Moving Image Encoding Method
WO2006046551A1 (en) Image encoding method and device, and image decoding method and device
JPH08265762A (en) Image data post-processing
JPH11331847A (en) Image conversion method, digital camera and computer system
JP3651941B2 (en) Image playback device
US10728544B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2017005096A2 (en) Method and device for encoding multiple video streams
JP4382284B2 (en) Subband encoding / decoding
JP2002247580A (en) Image processing method, and image encoding device and image decoding device capable of using the method
TW519842B (en) Circuit and method for formatting each of a series of encoded video images into respective regions
JP2004104650A (en) Image processor, image reader, image forming device, program for image processing and storage medium
US20070025626A1 (en) Method, medium, and system encoding/decoding image data
JP3332580B2 (en) Image reproducing apparatus and image reproducing method
JP2006014086A (en) Moving image encoding apparatus and moving image encoding method
US20060056714A1 (en) Image process device, image processing program, and recording medium
JP4159259B2 (en) Image processing apparatus, image processing method, program for causing computer to execute image processing method, and computer-readable recording medium storing the program
JP4339784B2 (en) A method for decoding compressed bitstream encoded video encoded as a plurality of blocks.
JP4193252B2 (en) Signal processing apparatus and method, signal decoding apparatus, and signal encoding apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080715

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees