JP3711104B2 - 画像圧縮装置および画像圧縮方法 - Google Patents

画像圧縮装置および画像圧縮方法 Download PDF

Info

Publication number
JP3711104B2
JP3711104B2 JP2002325446A JP2002325446A JP3711104B2 JP 3711104 B2 JP3711104 B2 JP 3711104B2 JP 2002325446 A JP2002325446 A JP 2002325446A JP 2002325446 A JP2002325446 A JP 2002325446A JP 3711104 B2 JP3711104 B2 JP 3711104B2
Authority
JP
Japan
Prior art keywords
information
transparency
luminance
block
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002325446A
Other languages
English (en)
Other versions
JP2004159260A (ja
Inventor
隆治 徳永
幸司 蟹江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axell Corp
Original Assignee
Axell Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axell Corp filed Critical Axell Corp
Priority to JP2002325446A priority Critical patent/JP3711104B2/ja
Publication of JP2004159260A publication Critical patent/JP2004159260A/ja
Application granted granted Critical
Publication of JP3711104B2 publication Critical patent/JP3711104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、画像処理技術に係り、特に、画像圧縮装置及び画像圧縮方法並びにそのプログラムに関するものである。
【0002】
【従来の技術】
図柄の各画素における色や明るさの色空間を光の三原色のR(赤)、G(緑)、B(青)の数値により表現するRGB色空間情報と、各画素の透明または不透明の情報を数値により表したα成分値(透過情報)とをデータとして保持している画像データがある。そして、従来の画像圧縮処理技術においては、RGB色空間情報を、輝度と色差で表したYUV情報に変換し、そのYUV情報と透明度情報を別々に圧縮処理している。(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開平11−205788号公報
【0004】
【発明が解決しようとする課題】
しかしながら、従来の画像データの圧縮方法は透明度情報をYUV色空間情報により把握できるという相関性に基づいて圧縮していないので、圧縮効率の観点からは改良の余地が十分にあった。
そこでこの発明は、修正輝度情報と透明度情報との間の相関性に基づいて透明度情報を圧縮し、その圧縮した透明度情報用いて画像データを圧縮することのできる機能を備えた、画像圧縮装置及び画像圧縮方法並びにそのプログラムを提供することを目的としている。
【0005】
【課題を解決するための手段】
本発明は、上述の課題を解決すべくなされたもので、請求項1に記載の発明は、輝度を表す輝度情報と色差を表す色差情報とからなる色空間情報と、透明度を表す透明度情報とを保持する画像データを圧縮する画像データ圧縮方法であって、前記透明度情報に応じて前記輝度情報を修正することによって修正輝度情報を生成し、この修正輝度情報と前記透明度情報との間の相関性に基づいて前記透明度情報を圧縮する処理を行うことを特徴とする画像データ圧縮方法である。
【0006】
また、請求項2に記載の発明は、輝度を表す輝度情報と色差を表す色差情報とからなる色空間情報と、透明度を表す透明度情報とを保持する画像データを圧縮する画像データ圧縮装置であって、前記透明度情報に応じて前記輝度情報を修正することによって修正輝度情報を生成する輝度修正手段と、この修正輝度情報と前記透明度情報との間の相関性に基づいて前記透明度情報を圧縮する透明度情報圧縮手段とを備えることを特徴とする画像データ圧縮装置である。
【0007】
また、請求項3に記載の発明は、輝度を表す輝度情報と色差を表す色差情報とからなる色空間情報と、透明度を表す透明度情報とを画素毎に保持する画像データを圧縮する画像データ圧縮装置であって、各画素について、前記透明度情報に応じて前記輝度情報を修正することによって修正輝度情報を生成する輝度修正手段と、前記修正輝度情報と前記色差情報とからなる修正色空間情報を圧縮して圧縮修正色空間情報を生成する色空間情報圧縮手段と、前記圧縮色空間情報から復元される復元輝度情報を抽出する復元輝度情報抽出手段と、前記画像データをブロックに分割し、各ブロックについて、当該ブロックに含まれる各画素の前記透明度情報と前記修正輝度情報の組合せのパターンに応じてブロックパターン符号を割り当てるブロックパターン割り当て手段であって、(1)前記ブロックパターンのみから当該ブロックの全画素の透明度情報を復元できるブロックと、(2)前記復元輝度情報のみから当該ブロック内の所定画素の透明度情報を復元できるブロックと、(3)その他のブロックと、を判別できるように前記ブロックパターンを割り当てるブロックパターン割り当て手段と、前記(2)のパターンの各ブロックについて、前記復元輝度情報から前記所定画素の透明度情報を復元するための差分情報を生成するとともに前記所定画素以外の画素の透明度情報を第1のブロック内透明度符号として生成する第1のブロック内透明度符号生成手段と、前記(3)のパターンの各ブロックについて、各画素の透明度情報を第2のブロック内透明度符号として生成する第2のブロック内透明度符号生成手段と、前記ブロックパターンを表す符号と、前記差分情報と、前記第1および第2のブロック内透明度符号と、前記圧縮修正色空間情報とを出力する出力手段とを備えることを特徴とする画像圧縮装置である。
【0008】
上述の構成によれば、輝度修正手段が各画素について、透明度情報に応じて輝度情報を修正することによって修正輝度情報を生成し、色空間情報圧縮手段が修正輝度情報と色差情報とからなる修正色空間情報を圧縮して圧縮修正色空間情報を生成する。また、復元輝度情報抽出手段が圧縮色空間情報から復元される復元輝度情報を抽出し、ブロックパターン割り当て手段が、画像データをブロックに分割して、各ブロックについて、当該ブロックに含まれる各画素の前記透明度情報と前記修正輝度情報の組合せのパターンに応じて上述の(1)〜(3)に対応するブロックパターン符号を割り当てる。そして、第1のブロック内透明度符号生成手段が、(2)のパターンの各ブロックについて、復元輝度情報から所定画素の透明度情報を復元するための差分情報を生成するとともに前記所定画素以外の画素の透明度情報を第1のブロック内透明度符号として生成し、また、第2のブロック内透明度符号生成手段が(3)のパターンの各ブロックについて、各画素の透明度情報を第2のブロック内透明度符号として生成する。そして、出力手段がブロックパターンを表す符号と、差分情報と、第1および第2のブロック内透明度符号と、圧縮修正色空間情報とを出力する。
これにより、修正輝度情報と透明度情報との間の相関性に基づいて透明度情報を圧縮し、その圧縮した透明度情報用いた画像圧縮データを生成することができる。
【0009】
また、請求項4に記載の発明は、輝度を表す輝度情報と色差を表す色差情報とからなる色空間情報と、透明度を表す透明度情報とを画素毎に保持する画像データを圧縮する画像データ圧縮装置であって、各画素について、透明度情報が透明を表す各画素に対応する第1の輝度情報が、透明度情報が不透明を表す各画素に対応する第2の輝度情報よりも小さくなる値に前記輝度情報を修正することによって修正輝度情報を生成する輝度修正手段と、前記修正輝度情報と前記色差情報とからなる修正色空間情報を圧縮して圧縮修正色空間情報を生成する色空間情報圧縮手段と、前記圧縮色空間情報から復元される復元輝度情報を抽出する復元輝度情報抽出手段と、前記画像データをブロックに分割し、各ブロックについて、当該ブロックに含まれる各画素の前記透明度情報と前記修正輝度情報の組合せのパターンに応じてブロックパターン符号を割り当てるブロックパターン割り当て手段であって、(a)当該ブロック内における全ての画素の透明度情報が透明を表す値であるブロックと、(b)当該ブロック内における全ての画素の透明度情報が不透明を表す値であるブロックと、(c)当該ブロック内の前記透明度情報の透明と不透明の画素の関係において、前記復元輝度情報の大小関係が前記第1の輝度情報と前記第2の輝度情報との値の大小関係と同じであるブロックと、(d)当該ブロック内の前記透明度情報の透明と不透明の画素の関係において、前記復元輝度情報の大小関係が前記第1の輝度情報と前記第2の輝度情報との値の大小関係と異なるブロックと、を判別できるように前記ブロックパターンを割り当てるブロックパターン割り当て手段と、前記(c)のブロックパターン符号で表される各ブロックにおいて、透明度情報が不透明を表す各画素の各復元輝度情報の最小値に基づいて差分情報を生成するとともに前記各画素の透明度情報を符号化して第1のブロック内透明度符号を生成する第1のブロック内透明度符号生成手段と、前記(d)のブロックパターン符号で表される各ブロックにおいて、各画素の透明度情報を符号化して第2のブロック内透明度符号を生成する第2のブロック内透明度符号生成手段と、前記4つのブロックパターン符号と、前記差分情報と、前記第1および第2のブロック内透明度符号と、前記圧縮修正色空間情報とを出力する出力手段とを備えることを特徴とする画像圧縮装置である。
【0010】
また、請求項5に記載の発明は、請求項3または請求項4に記載の画像圧縮装置であって、前記色空間情報圧縮手段は、非可逆圧縮方法を用いて前記圧縮修正色空間情報を生成することを特徴とする。
【0011】
また、請求項6に記載の発明は、請求項3から請求項5のいずれかに記載の画像圧縮装置であって、前記透明度情報が、画素毎に透明あるいは不透明の2値により表され、前記第1のブロック内透明度符号は、無情報であることを特徴とする。
【0012】
また、請求項7に記載の発明は、請求項4に記載の画像圧縮装置であって、前記差分情報は前記(c)のブロックパターン符号で表される各ブロックにおいて、透明度情報が不透明を表す各画素の各復元輝度情報が最小値である画素のブロック内座標を符号化した情報であることを特徴とする。
【0013】
また、請求項8に記載の発明は、輝度を表す輝度情報と色差を表す色差情報とからなる色空間情報と、透明度を表す透明度情報とを画素毎に保持する画像データを圧縮する画像データ圧縮装置のコンピュータに実行させるプログラムであって、各画素について、前記透明度情報に応じて前記輝度情報を修正することによって修正輝度情報を生成する輝度修正過程と、前記修正輝度情報と前記色差情報とからなる修正色空間情報を圧縮して圧縮修正色空間情報を生成する色空間情報圧縮過程と、前記圧縮色空間情報から復元される復元輝度情報を抽出する復元輝度情報抽出過程と、前記画像データをブロックに分割し、各ブロックについて、当該ブロックに含まれる各画素の前記透明度情報と前記修正輝度情報の組合せのパターンに応じてブロックパターン符号を割り当てるブロックパターン割り当て過程であって、(1)前記ブロックパターンのみから当該ブロックの全画素の透明度情報を復元できるブロックと、(2)前記復元輝度情報のみから当該ブロック内の所定画素の透明度情報を復元できるブロックと、(3)その他のブロックと、を判別できるように前記ブロックパターンを割り当てるブロックパターン割り当て過程と、前記(2)のパターンの各ブロックについて、前記復元輝度情報から前記所定画素の透明度情報を復元するための差分情報を生成するとともに前記所定画素以外の画素の透明度情報を第1のブロック内透明度符号として生成する第1のブロック内透明度符号生成過程と、前記(3)のパターンの各ブロックについて、各画素の透明度情報を第2のブロック内透明度符号として生成する第2のブロック内透明度符号生成過程と、前記ブロックパターンを表す符号と、前記差分情報と、前記第1および第2のブロック内透明度符号と、前記圧縮修正色空間情報とを出力する出力過程とをコンピュータに実行させるプログラムである。
【0014】
【発明の実施の形態】
以下、本発明の一実施形態による画像圧縮装置を図面を参照して説明する。
図1は、この発明の一実施形態による画像圧縮装置の構成を示す概略ブロック図である。この図において符号1は画像圧縮装置である。そして画像圧縮装置1において符号11は画像データを外部より取り込む画像取り込み手段である。また、12は画像取り込み手段11が取り込んだ画像データの各画素に対応する透明度情報を取得する透明度情報取得手段である。また、13は画像データの色のRGB情報をYUV情報に変換するRGB−YUV変換手段である。
【0015】
また、14はYUV情報のY成分に修正を加えるY成分修正手段(輝度修正手段)である。また、15はYUV情報をJPEGなどの非可逆圧縮方式を用いて符号化する非可逆圧縮手段(色空間情報圧縮手段)である。また、16は非可逆圧縮手段15により符号化されたYUV情報のY成分を復号して、そのY成分の情報に基いて透明度情報取得手段12で取得した透明度情報を所定の処理により符号化する透明度情報処理手段(尚、透明度情報処理手段は、復元輝度情報抽出手段、ブロックパターン割り当て手段、第1のブロック内透明度符号生成手段、第2のブロック内透明度符号生成手段を備えている。)である。また、17は非可逆圧縮手段15で符号化されたYUV情報と透明度情報処理手段16で符号化された透明度情報を一つの圧縮画像データとして出力する圧縮画像データ出力手段(出力手段)である。
【0016】
次に図2を用いてこの画像圧縮装置1の動作の概要を説明する。図2は画像圧縮装置1の処理により画像データが画像圧縮データに変換されるまでの処理概要を示すブロック図である。
画像圧縮装置1において、まず、画像取り込み手段11が画像データ(Din)を取り込む(1)。ここで、画像データ(Din)は24ビットで表されるRGBのカラー画像である。そして、画像データ(Din)には、画素毎の情報としてそれぞれ光の三原色である赤色(R)、緑色(G)、青色(B)のRGB情報(DRGB)が保持されている。尚、RGB情報(DRGB)におけるR、G、Bの値はそれぞれ8ビットで表される。また、画像データ(Din)には、画素毎のα成分値を表す透明度情報(Dα)が組み込まれている。尚、画像データ(Din)は、PNG(Portable Network Graphics)形式などの、透明度情報(Dα)を保持した画像ファイルフォーマットである。
そして、画像データにおける各画素のα成分値は2値を取る場合と、多値を取る場合が存在するが、本発明においては、2値を取る場合には透明度情報(Dα)におけるα成分値は0または255であり、多値をとる場合には透明度情報(Dα)におけるα成分値は0から255の任意の値を取る。なお透明度情報(Dα)は8ビットで表される。
【0017】
次に、透明度情報取得手段12が画像データ(Din)を構成している透明度情報(Dα)を取得する(2)。また、RGB−YUV変換手段13が画像データ(Din)を構成しているRGB情報(DRGB)を取得する(3)。
次に、RGB−YUV変換手段13は、RGB情報(DRGB)に基づいて、そのRGB情報(DRGB)を形成するRGBで表された各画素の値を、輝度情報(Y)と色差情報(UとV)で表されるYUV成分へと所定の方法を用いて変換する。こうして、RGB−YUV変換手段13は、RGB情報(DRGB)の各画素をY、U、Vの3つの値で表現したYUV情報(Dyuv)を生成する(4)。
【0018】
次に、Y成分修正手段14がRGB−YUV変換手段13の生成したYUV情報(Dyuv)のY成分(輝度情報)を所定の方法により修正する。この処理についての詳細は後述するが、これは、透明度情報が透明を表す各画素に対応する輝度情報が、透明度情報が不透明(α成分値が0でない場合)を表す各画素に対応する輝度情報よりも小さくなるように各画素の輝度情報を修正する処理である。これにより、輝度情報によって、各画素に対応する透明度情報が透明か不透明かを把握できるようになる。なお、Y成分修正手段14がYUV情報(Dyuv)のY成分を修正して生成したものをY´UV情報(Dy uv(修正輝度情報と色差情報とからなる色空間情報))とする(5)。
次に、非可逆圧縮手段15はY成分修正手段14が生成したY´UV情報(Dy uv)をJPEGなどの非可逆圧縮手法を用いて符号化してY´UV圧縮情報(Dy uv-com(圧縮修正色空間情報))を生成する(6)。
【0019】
次に、透明度情報処理手段16が非可逆圧縮手段15の符号化したY´UV圧縮情報(Dy uv-com)から圧縮されたY´成分のみを取り出して、その圧縮されたY´成分を復号したY´成分復号情報(Dy (復元輝度情報))を生成する(7)。そして、透明度情報処理手段16は、Y´成分復号情報(Dy )と透明度情報取得手段12から転送を受けた透明度情報(Dα)に基づいて、透明度情報(Dα)を効率よく圧縮できる後述の所定の方法を用いて、透明度情報圧縮情報(Dα -com)を生成する(8)。
次に、圧縮画像データ出力手段17が、非可逆圧縮手段15の生成したY´UV圧縮情報(Dy uv-com)と、透明度情報処理手段16が生成した透明度情報圧縮情報(Dα -com)とを一つのファイルにまとめて出力し、一つの画像圧縮データ(Dcom)を生成し(9)記憶部などで保持する。
【0020】
次に、画像データ(Din)を構成する透明度情報(Dα)が0または255の2値により表現される場合の画像圧縮装置1の動作を図3〜図7を参照して詳細に説明する。図3は本実施形態における画像圧縮装置1の動作を示すフローチャートである。
まず、画像圧縮装置1の画像取り込み手段11が画像データ(Din)を取り込む(ステップS1)。次に、透明度情報処理手段16が画像データ(Din)を構成している透明度情報(Dα)を取得する(ステップS2)。また、RGB−YUV変換手段13が画像データ(Din)を構成しているRGB情報(DRGB)を取得する(ステップS3)。そしてRGB−YUV変換手段13は、取得したRGB情報(DRGB)のRGBで表された各画素の値を、輝度(Y)と2つの色差(UとV)で表されるYUV値へと変換し、YUV情報(Dyuv)を生成する(ステップS4)。ここで、RGBの値をYUVに変換する変換式を以下に示す。
【0021】
【数1】
Figure 0003711104
【数2】
Figure 0003711104
【数3】
Figure 0003711104
ただし、HLF_LUMI=128である。
【0022】
次に、Y成分修正手段14はRGB−YUV変換手段13が生成したYUV情報(Dyuv)からY成分の情報を取り出し、また透明度情報取得手段12が取得した透明度情報(Dα)を参照する。そして、各画素に対応したY成分値とα成分値を比較して、α成分値=0となる各画素のY成分値を0とする(ステップS5)。このステップ5はα成分値が0となる画素と、α成分値が255となる画素をYUV情報(Dyuv)で把握できるようにするための処理である。そして、この処理により、各画素のα成分値を把握しなくてもY成分値が0となっていればα成分値も0であるということが分かるようになる。
【0023】
次に、Y成分修正手段14は透明度情報取得手段12より透明度情報(Dα)を参照し、縦8画素、横8画素で表される64画素分の画素範囲を1つのブロックとする。そして、Y成分修正手段14は透明度情報(Dα)の一つのブロック内の各画素に対応するY成分値をYUV情報(Dyuv)から把握する。そして、Y成分修正手段14は、一つのブロック内において、α成分値が0と255の2つの値の画素が混在しているブロックを把握し、そのブロック内の画素においてα成分値=255となっている画素のY成分値をクリッピング処理する(ステップS6)。
【0024】
ここでクリッピング処理とは、Y成分値をある一定の範囲内に収めるように値を強制的に変更することであり、具体的には、Y成分値の最小値を決定し、その最小値以下の値であるY成分値を最小値に修正する処理のことを言う。このY成分値のクリッピング処理は、α成分値が0でなくY成分値が最小値よりも小さい画素のY成分値を修正している。これにより、α成分値が0である画素とα成分値が0でない画素とがより明確に区別できるようになる。そして、ステップS5及びステップS6の処理によりY成分値が変更されるのでY成分値が変更された情報をY´UV情報(Dy uv)とする。尚、このステップS5及びステップS6の処理により、Y成分修正手段14はブロック内の各画素について、α成分値=0の画素に対応するY成分値の最大値(A(第1の輝度情報))と、α成分値=255の画素のY成分値の最小値(B(第2の輝度情報))の関係がA<Bとなるように修正している。
【0025】
次に、非可逆圧縮手段15が、Y成分修正手段14の生成したY´UV情報(Dy uv)を例えばJPEGなどの非可逆圧縮の手法を用いて、Y´UV情報(Dy uv)を圧縮する(ステップS7)。この、非可逆圧縮手段15が非可逆圧縮の手法を用いて、Y´UV情報(Dy uv)を圧縮した情報をY´UV圧縮情報(Dy uv-com)とする。
【0026】
次に、透明度情報処理手段16が、Y´UV圧縮情報(Dy uv-com)から圧縮されたY´成分のみを取り出して、その圧縮されたY´成分を復号したY´成分復号情報(Dy )を生成する(ステップS8)。尚、このY´成分復号情報(Dy )は、非可逆圧縮の手法を用いて、Y´UV情報(Dy uv)を圧縮した情報のY´UV圧縮情報(Dy uv-com)を復号して得られたものであるので、非可逆圧縮手段15が圧縮する前のY´成分の情報とは多少異なるものとなる。
【0027】
そして、透明度情報処理手段16は、透明度情報(Dα)を参照し、縦8画素、横8画素で表される64画素分の画素範囲を1つのブロックとし、また、各ブロック内の画素に対応するY成分値をY´成分復号情報(Dy )から把握する。尚、透明度情報処理手段16とY成分修正手段14が範囲指定したブロックはそれぞれ同じ64画素を1つのブロックの範囲として指定するものとする。
【0028】
ここで、図4は一つのブロック内における各画素のα成分値が全て0となるブロックのイメージを示す図である。また図5は一つのブロック内における各画素のα成分値が全て255となるとなるブロックのイメージを示す図である。また図6は一つのブロック内における各画素のα成分値が0と255の2つの値で混在するブロックのイメージを示す図である。尚、図4、5、6における各画素において斜線で表される画素部分はα=0であり、白抜きで表される画素部分はα=255である。
そして次に、透明度情報処理手段16は、一つのブロック内における各画素のα成分値が全て0となるブロック(図4)と、一つのブロック内における各画素のα成分値が全て255となるブロック(図5)と、一つのブロック内における各画素のα成分値が0と255の2つの値で混在するブロック(図6)を、透明度情報(Dα)より特定する。
【0029】
また、透明度情報処理手段16は、一つのブロック内における各画素のα成分値が0と255の2つの値で混在するブロックは、さらに、Y´成分復号情報(Dy )から読み取ることのできる各画素のY成分値に基づいて、α成分値が0か255かを判定できるブロックと、Y´成分復号情報(Dy )から読み取ることのできる各画素のY成分値に基づいてα成分値が0か255かを判定できないブロックとに分ける。尚、Y´成分復号情報(Dy )から読み取ることのできる各画素のY成分値に基づいてα成分値0か255かを判断できるかできないかを区別する処理は、まず、透明度情報処理手段16が透明度情報(Dα)を参照して、α成分値=0の各画素に対応するY´成分復号情報(Dy )から読み取ったY成分値の最大値(A´)を読み取る。また、透明度情報処理手段16が透明度情報(Dα)を参照して、α成分値=255の各画素に対応するY´成分復号情報(Dy )から読み取ったY成分値の最小値(B´)を読み取る。そして、透明度情報処理手段16はA´とB´の関係が、A´<B´の関係にある時には、Y´成分復号情報(Dy )から読み取ることのできる各画素のY成分値に基づいて、α成分値が0か255かを判定できるブロックと決定し、またA´とB´の関係がA´<B´以外の関係にある時には、Y´成分復号情報(Dy )から読み取ることのできる各画素のY成分値に基づいてα成分値が0か255かを判定できないブロックと決定する。
【0030】
そして、透明度情報処理手段16は、各ブロックを区別するために各ブロックの種類毎に判別フラグを振る(ステップS9)。
ここで、一つのブロック内における各画素のα成分値が全て0となるブロックの判別フラグ=0とする。
また、一つのブロック内における各画素のα成分値が全て255となるブロックの判別フラグ=1とする。
また、一つのブロック内における各画素のα成分値が0と255の2つの値で混在するブロックであり、さらに、Y´成分復号情報(Dy )からわかる各画素のY成分値に基づいてα成分が0か255かを判定できるブロックの判別フラグ=2とする。
また、一つのブロック内における各画素のα成分値が0と255の2つの値で混在するブロックであり、さらに、Y´成分復号情報(Dy )からわかる各画素のY成分値に基づいてα成分が0か255かを判定できないブロックの判別フラグ=3とする。
【0031】
次に、透明度情報処理手段16は判別フラグ=2、判別フラグ=3としたブロック内の各画素について以下の処理を行う。
(1)判別フラグ=2のブロックに関する処理(ステップS10)。
透明度情報処理手段16は、透明度情報(Dα)を参照して、判別フラグ=2としたブロック内においてα成分値=255である各画素に対応するY成分値を、Y´成分復号情報(Dy )から読み取る。そして、その中で最もY成分値が低い画素を読み取り、その画素のブロック内における座標を固定長6ビットで符号化する。このとき、ブロックは縦横が8画素×8画素で表されるので、ブロック内の座標を(x、y)で表すと、(0、0)〜(7、7)の座標で表す事が出来る。よって(0、0)〜(7、7)の座標はx=3ビット、y=3ビットの情報で表す事が出来るので、xとyをあわせて合計で6ビットの情報となる。尚、上述の固定長6ビットで符号化した情報からブロック内における画素が特定でき、また当該画素の輝度情報が特定できるので、その輝度情報以上の値に対応する画素について、透明度情報が255である画素と特定できる。つまり、この固定長6ビットで符号化した情報が、所定画素(透明度情報が不透明(α成分値=255)である画素)の透明度情報を復元できる差分情報である。そして、また、所定画素が特定できると、それ以外の画素は透明度情報が0であることが特定できるので、これにより、ブロック内の透明度情報をすべて復元できる。
【0032】
(2)判別フラグ=3のブロックに関する処理(ステップS11)
判別フラグ=3としたブロック内のα成分値を透明度情報(Dα)より把握する。そして、ブロック内の各画素に対応するα成分値をラン長(ランレングス符号化手法)で表現し、ハフマン符号化する。この場合、ブロック内の左上角の画素を0または1の固定長1ビットで符号化する。本発明においてはα成分値=0の時は0、α成分値=255の時は1として表す。よって、この時のシンボルは0と1の2つとなる。そして、同一シンボルが列または行の最後まで連続する場合はラン長の代わりENDという記号を用いる。なお、図5で表しているブロックの各画素のα成分値をラン長で表すと、
一列目={0、1、4、END}
行方向={END、1、2、2、END、6、END、END、7、END、2,4、END、3,2、END、END}
となる。
尚、一列目の情報を符号化することによって、各行の先頭シンボルの情報量を削減している。そして、一列目のラン長の情報の次に行方向のラン長の情報を並べて、ハフマン符号化する。したがって、ハフマン符号化されるシンボルは1、2、3、4、5、6、7、ENDの8種類となる。
【0033】
次に、透明度情報処理手段16は、各ブロックに振られた判別フラグのラン長をとり、そしてハフマン符号化する(ステップS12)。ただし、ステップS12におけるラン長を取る時には判別フラグが0と1である場合にのみラン長を取ることとする。そして、ステップS12においてラン長を取るときに用いるシンボルは、例として図7に示すテーブルのように表現する。図7はブロック判別フラグとそのブロック判別フラグのラン長の組合せに対応したシンボルを記したテーブルである。
そして、透明度情報処理手段16は、図7に示した各シンボルを用いて、各ブロックに割り振られた判別フラグのラン長をとり、ハフマン符号化を行う。そして、判別フラグが2または3のブロックの判別フラグをハフマン符号化により出力した値の次に、上述のステップS10で得られたブロック内のY成分値が最も低い画素の座標を示す6ビットの情報や、ステップS11の処理におけるハフマン符号化した情報を出力する。この処理により、透明度情報圧縮情報(Dα -com)が生成される。
次に、圧縮画像データ出力手段17が、非可逆圧縮手段15の生成したY´UV圧縮情報(Dy uv-com)と、透明度情報処理手段16が生成した透明度情報圧縮情報(Dα -com)とを、一つのファイルにまとめて出力して、画像圧縮データ(Dcom)を生成し(ステップS13)、記憶部などで保持する。
【0034】
次に、画像データ(Din)を構成する透明度情報(Dα)が0とその他複数の多値により表現される画像データ(Din)を用いた場合の画像圧縮装置1の動作を図3〜図6及び図8、図9を参照して詳細に説明する。
透明度情報(Dα)が0とその他複数の多値により表現される画像データ(Din)を用いた場合の画像圧縮装置1の動作においてステップS1〜ステップS5は同様の処理となる。そして、ステップS6においてY成分修正手段14は、一つのブロック内において、α成分値が0とそれ以外の値の画素が混在しているブロックを把握し、そのブロック内の画素においてα成分値が0以外である画素のY成分値をクリッピング処理する。また、ステップS7〜ステップS8、ステップ13は同様の処理となる。
そしてステップS8の後、透明度情報処理手段16は、Y成分修正手段14と同様に、透明度情報(Dα)を参照し、縦8画素×横8画素で表される64画素分の画素範囲を1つのブロックとし、また、各ブロック内の画素に対応するY成分値をY´成分復号情報(Dy )から把握する。尚、透明度情報処理手段16とY成分修正手段14が範囲指定したブロックはそれぞれ同じ64画素を1つのブロックの範囲として指定するものとする。
【0035】
そして、透明度情報処理手段16は、一つのブロック内における各画素のα成分値が全て0となるブロック(図4)と、一つのブロック内における各画素のα成分値が全て255となるブロック(図5)と、一つのブロック内における各画素のα成分値が全て0または全て255となるブロック以外のブロックを、透明度情報(Dα)より把握する。また、透明度情報処理手段16は、一つのブロック内における各画素のα成分値が全て0または全て255となるブロック以外のブロックを、さらに、一つのブロック内における各画素のα成分値が0とその他の複数の値で混在するブロックで、Y´成分復号情報(Dy’)からわかる各画素のY成分値に基づいてα成分が0かそれ以外の値かを判定できるブロックと、一つのブロック内における各画素のα成分値が0とその他の複数の値で混在するブロックで、Y´成分復号情報(Dy')からわかる各画素のY成分値に基づいてα成分が0かそれ以外の値かを判定できないブロック、またはα成分値が0以外の複数の値で混在するブロック、またはα成分値が全て0または全て255となるブロック以外のブロックで単一の値のブロックのいずれかのブロックとに分ける。尚、Y´成分復号情報(Dy’)から読み取ることのできる各画素のY成分値に基づいてα成分値0かそれ以外の値かを判断できるかできないかを区別する処理は、上述の透明度情報(Dα)におけるα成分値が0と255の2値である場合の処理と同様である。
【0036】
そして、ステップS9において、透明度情報処理手段16は、各ブロックを区別するために各ブロックの種類毎に判別フラグを振る。
ここで、一つのブロック内における各画素のα成分値が全て0となるブロックの判別フラグ=0とする。
また、一つのブロック内における各画素のα成分値が全て255となるブロックの判別フラグ=1とする。
また、一つのブロック内における各画素のα成分値が0とその他の複数の値で混在するブロックで、Y´成分復号情報(Dy')からわかる各画素のY成分値に基づいてα成分が0かそれ以外の値かを判定できるブロックの判別フラグ=2とする。
また、一つのブロック内における各画素のα成分値が0とその他の複数の値で混在するブロックで、Y´成分復号情報(Dy')からわかる各画素のY成分値に基づいてα成分が0かそれ以外の値かを判定できないブロック、またはα成分値が0以外の複数の値で混在するブロック、またはα成分値が全て0または全て255となるブロック以外のブロックで単一の値のブロックのいずれかのブロックの判別フラグ=3とする。
【0037】
次に、透明度情報処理手段16は判別フラグ=2、判別フラグ=3としたブロック内の各画素について以下のステップS10及びステップS11の処理を行う。
(1)判別フラグ=2のブロック関する処理(ステップS10)。
まず、透明度情報処理手段16は、透明度情報(Dα)を参照して、判別フラグ=2としたブロック内においてα成分値が0以外である各画素に対応するY成分値を、Y´成分復号情報(Dy )から読み取る。そして、その中で最もY成分値が低い画素を読み取り、その画素のブロック内における座標を固定長6ビットで符号化する。
【0038】
また、透明度情報処理手段16は、判別フラグ=2としたブロック内の各画素においてα成分値が0以外である各画素をブロック内の左右どちらかに詰める。図8はあるブロック内におけるα成分値が0以外である各画素を左方向に詰めた状態のブロックを示す図である。ここで、透明情報におけるα成分値は、α=0、α=A、α=B、α=255の4つの値を持つこととする。そして図8において、符号(a)はα成分値が0以外である各画素を左方向に詰める前をイメージする図であり、符号(b)はα成分値が0以外である各画素を左方向に詰めた時のイメージを示す図である。
そして、透明度情報処理手段16は、α成分値が0となる画素を無視して、他の各画素のα成分値のラン長を取り、また、ハフマン符号化する。この時、透明度情報処理手段16は、α成分値=255に対応する画素のシンボルのみラン長を取り、ハフマン符号化する。尚、透明度情報処理手段16は、ラン長を取った時にENDのシンボルが多く現れる結果が導き出されるようにラン長を取る際の方向(右方向、左方向)を決定する。
そして、右方向にラン長を取る時と、左方向にラン長を取る時の違いを、固定長1ビットにより決定し、例えば、ハフマン符号化したデータの前に付属させるなどする。
尚、図8(b)に示すブロック内の各画素について、左から右方向へとラン長を取った場合には{A、A、A、B、B、A、A、A、B、2、B、B、A、B、END、A、B、END、A、B、END}となる。
【0039】
(2)判別フラグ=3のブロック関する処理(ステップS11)
また、透明度情報処理手段16は、判別フラグ=3としたブロック内の各画素のα成分値を透明度情報(Dα)より把握する。そして、各ブロック内においてα成分値=0、255である画素のラン長を取ってハフマン符号化する。このラン長を取るときに用いるシンボルは、例として、図9に示すテーブルのように表現する。図9はα成分値とそのα成分値のラン長の組合せに対応したシンボルを表すテーブルである。尚、図8(a)に示すブロック内の各画素についてラン長を取った場合には{J、J、F、A、A、J、E、A、B、B、A、A、D、A、B、L、B、B、D、A、B、R、C、A、B、R、C、A、B、R}となる。
そして、上述のステップS12、ステップS13と同様の処理の後に、圧縮画像データ出力手段17が、非可逆圧縮手段15の生成したY´UV圧縮情報(Dy uv-com)と、透明度情報処理手段16が生成した透明度情報圧縮情報(Dα -com)とを、一つのファイルにまとめて出力して、画像圧縮データ(Dcom)を生成し、記憶部などで保持する。
【0040】
尚、上述の画像圧縮装置1は内部に、コンピュータシステムを有している。そして、上述したステップS1〜ステップS13の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0041】
【発明の効果】
以上説明したように、この発明によれば、輝度修正手段が各画素について、透明度情報に応じて輝度情報を修正することによって修正輝度情報を生成し、色空間情報圧縮手段が修正輝度情報と色差情報とからなる修正色空間情報を圧縮して圧縮修正色空間情報を生成する。また、復元輝度情報抽出手段が圧縮色空間情報から復元される復元輝度情報を抽出し、ブロックパターン割り当て手段が、画像データをブロックに分割して、各ブロックについて、当該ブロックに含まれる各画素の前記透明度情報と前記修正輝度情報の組合せのパターンに応じてブロックパターン符号を割り当てる。そして、第1のブロック内透明度符号生成手段が、復元輝度情報のみから当該ブロック内の所定画素の透明度情報を復元できる各ブロックについて、復元輝度情報から所定画素の透明度情報を復元するための差分情報を生成するとともに前記所定画素以外の画素の透明度情報を第1のブロック内透明度符号として生成し、また、第2のブロック内透明度符号生成手段が復元輝度情報のみから当該ブロック内の所定画素の透明度情報を復元できない各ブロックについて、各画素の透明度情報を第2のブロック内透明度符号として生成する。そして、出力手段がブロックパターンを表す符号と、差分情報と、第1および第2のブロック内透明度符号と、圧縮修正色空間情報とを出力する。
これにより、修正輝度情報と透明度情報との間の相関性に基づいて透明度情報を圧縮し、その圧縮した透明度情報用いた画像圧縮データを生成することができる。
【図面の簡単な説明】
【図1】 この発明の一実施形態による画像圧縮装置の構成を示す概略ブロック図である。
【図2】 本実施形態による画像圧縮装置1の処理により画像データが画像圧縮データに変換されるまでの処理概要を示すブロック図である。
【図3】 本実施形態による画像圧縮装置1の動作を示すフローチャートである。
【図4】 本実施形態による各画素のα成分値が全て0となるブロックのイメージを示す図である。
【図5】 本実施形態による各画素のα成分値が全て255となるとなるブロックのイメージを示す図である。
【図6】 本実施形態による各画素のα成分値が0と255の2つの値で混在するブロックのイメージを示す図である。
【図7】 本実施形態によるブロック判別フラグとそのブロック判別フラグのラン長の組合せに対応したシンボルを記したテーブルである。
【図8】 本実施形態によるα成分値が0以外である各画素を左方向に詰めた状態のブロックを示す図である。
【図9】 本実施形態によるα成分値とそのα成分値のラン長の組合せに対応したシンボルを表すテーブルである。
【符号の説明】
1 画像圧縮装置
11 画像取り込み手段
12 透明度情報取得手段
13 RGB−YUV変換手段
14 Y成分修正手段
15 非可逆圧縮手段
16 透明度情報処理手段
17 圧縮画像データ出力手段

Claims (6)

  1. 画像圧縮装置において、
    画像データを構成する透明度情報を取得する透明度情報取得手段と、
    前記画像データを構成する色空間情報の輝度情報を、前記透明度情報に基づいて修正した修正輝度情報を有する修正色空間情報を生成する輝度情報修正手段と、
    前記修正色空間情報を符号化し、圧縮色空間情報を生成する非可逆圧縮手段と、
    前記圧縮色空間情報のうち圧縮された修正輝度情報を復号化して、復元輝度情報を生成し、前記復元輝度情報と前記透明度情報とに基づいて、透明度情報圧縮情報を生成する透明度情報処理手段とを有し、
    前記輝度情報修正手段は、複数の画素で構成するブロック内において、前記透明度情報を前記輝度情報に基づいて修正して、前記修正輝度情報を生成し、
    前記透明度情報処理部は、前記ブロック内における前記透明度情報と、前記復元輝度情報との比較に基づいて、前記ブロック毎に前記透明度情報の符号化方法を分けることを特徴とする画像圧縮装置。
  2. 画像圧縮装置において、
    画像データを構成する透明度情報を取得する透明度情報取得手段と、
    前記画像データを構成する色空間情報の輝度情報を、前記透明度情報に基づいて修正した修正輝度情報を有する修正色空間情報を生成する輝度情報修正手段と、
    前記修正色空間情報を符号化し、圧縮色空間情報を生成する非可逆圧縮手段と、
    前記圧縮色空間情報のうち圧縮された修正輝度情報を復号化して、復元輝度情報を生成し、前記復元輝度情報と前記透明度情報とに基づいて、透明度情報圧縮情報を生成する透明度情報処理手段とを有し、
    前記輝度情報修正手段は、前記透明度情報の小さい値に対応する画素の前記輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記輝度情報の値とに基づいて修正して、前記修正輝度情報を生成し、
    前記透明度情報処理部は、前記透明度情報の小さい値に対応する画素の前記復元輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記復元輝度情報の値との比較に基づいて、前記透明度情報の符号化方法を分けることを特徴とする画像圧縮装置。
  3. 画像圧縮装置において、
    画像データを構成する透明度情報を取得する透明度情報取得手段と、
    前記画像データを構成する色空間情報の輝度情報を、前記透明度情報に基づいて修正した修正輝度情報を有する修正色空間情報を生成する輝度情報修正手段と、
    前記修正色空間情報を符号化し、圧縮色空間情報を生成する非可逆圧縮手段と、
    前記圧縮色空間情報のうち圧縮された修正輝度情報を復号化して、復元輝度情報を生成し、前記復元輝度情報と前記透明度情報とに基づいて、透明度情報圧縮情報を生成する透明度情報処理手段とを有し、
    前記輝度情報修正手段は、複数の画素で構成するブロック内において、前記透明度情報の小さい値に対応する画素の前記輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記輝度情報の値とに基づいて修正して、前記修正輝度情報を生成し、
    前記透明度情報処理部は、前記ブロック内における前記透明度情報の小さい値に対応する画素の前記復元輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記復元輝度情報の値との比較に基づいて、前記ブロック毎に前記透明度情報の符号化方法を分けることを特徴とする画像圧縮装置。
  4. 画像圧縮方法において、
    画像データを構成する透明度情報を取得する第1のステップと、
    前記画像データを構成する色空間情報の輝度情報を、前記透明度情報に基づいて修正した修正輝度情報を有する修正色空間情報を生成する第2のステップと、
    前記修正色空間情報を符号化し、圧縮色空間情報を生成する第3のステップと、
    前記圧縮色空間情報のうち圧縮された修正輝度情報を復号化して、復元輝度情報を生成し、前記復元輝度情報と前記透明度情報とに基づいて、透明度情報圧縮情報を生成する第4のステップとを有し、
    前記第2のステップは、複数の画素で構成するブロック内において、前記透明度情報を前記輝度情報に基づいて修正して、前記修正輝度情報を生成し、
    前記第4のステップは、前記ブロック内における前記透明度情報と、前記復元輝度情報との比較に基づいて、前記ブロック毎に前記透明度情報の符号化方法を分けることを特徴とする画像圧縮方法。
  5. 画像圧縮方法において、
    画像データを構成する透明度情報を取得する第1のステップと、
    前記画像データを構成する色空間情報の輝度情報を、前記透明度情報に基づいて修正した修正輝度情報を有する修正色空間情報を生成する第2のステップと、
    前記修正色空間情報を符号化し、圧縮色空間情報を生成する第3のステップと、
    前記圧縮色空間情報のうち圧縮された修正輝度情報を復号化して、復元輝度情報を生成し、前記復元輝度情報と前記透明度情報とに基づいて、透明度情報圧縮情報を生成する第4のステップとを有し、
    前記第2のステップは、前記透明度情報の小さい値に対応する画素の前記輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記輝度情報の値とに基づいて修正して、前記修正輝度情報を生成し、
    前記第4のステップは、前記透明度情報の小さい値に対応する画素の前記復元輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記復元輝度情報の値との比較に基づいて、前記透明度情報の符号化方法を分けることを特徴とする画像圧縮方法。
  6. 画像圧縮方法において、
    画像データを構成する透明度情報を取得する第1のステップと、
    前記画像データを構成する色空間情報の輝度情報を、前記透明度情報に基づいて修正した修正輝度情報を有する修正色空間情報を生成する第2のステップと、
    前記修正色空間情報を符号化し、圧縮色空間情報を生成する第3のステップと、
    前記圧縮色空間情報のうち圧縮された修正輝度情報を復号化して、復元輝度情報を生成し、前記復元輝度情報と前記透明度情報とに基づいて、透明度情報圧縮情報を生成する第4のステップとを有し、
    前記第2のステップは、複数の画素で構成するブロック内において、前記透明度情報の小さい値に対応する画素の前記輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記輝度情報の値とに基づいて修正して、前記修正輝度情報を生成し、
    前記第4のステップは、前記ブロック内における前記透明度情報の小さい値に対応する画素の前記復元輝度情報の値と、前記透明度情報の大きい値に対応する画素の前記復元輝度情報の値との比較に基づいて、前記透明度情報の符号化方法を分けることを特徴とする画像圧縮方法。
JP2002325446A 2002-11-08 2002-11-08 画像圧縮装置および画像圧縮方法 Expired - Fee Related JP3711104B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002325446A JP3711104B2 (ja) 2002-11-08 2002-11-08 画像圧縮装置および画像圧縮方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002325446A JP3711104B2 (ja) 2002-11-08 2002-11-08 画像圧縮装置および画像圧縮方法

Publications (2)

Publication Number Publication Date
JP2004159260A JP2004159260A (ja) 2004-06-03
JP3711104B2 true JP3711104B2 (ja) 2005-10-26

Family

ID=32804670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002325446A Expired - Fee Related JP3711104B2 (ja) 2002-11-08 2002-11-08 画像圧縮装置および画像圧縮方法

Country Status (1)

Country Link
JP (1) JP3711104B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101277712B1 (ko) * 2006-11-13 2013-06-24 삼성전자주식회사 영상 처리 방법 및 장치
CN117411978B (zh) * 2023-12-13 2024-03-22 北京拓目科技有限公司 一种mvps系列视频处理系统及方法

Also Published As

Publication number Publication date
JP2004159260A (ja) 2004-06-03

Similar Documents

Publication Publication Date Title
US8213727B2 (en) Image encoding apparatus and image decoding apparatus, and control method thereof
US7903888B2 (en) Image encoding apparatus and image decoding apparatus
US10129385B2 (en) Method and apparatus for generating and playing animated message
JPH07327134A (ja) 画像処理装置およびその方法
JP2006180456A (ja) 画像圧縮装置と画像復号装置と画像変換装置と画像処理方法
JP4829836B2 (ja) 画像符号化装置、画像符号化装置の制御方法、コンピュータプログラム、復号装置、及びコンピュータ可読記憶媒体
CN112118449B (zh) 一种图像压缩与解压缩的方法及装置
US8406517B2 (en) Image processing apparatus and image processing method
JP3462867B2 (ja) 画像圧縮方法および装置、画像圧縮プログラムならびに画像処理装置
US8023756B2 (en) Image encoding apparatus and method of controlling same
JP3711104B2 (ja) 画像圧縮装置および画像圧縮方法
US20220114761A1 (en) Decoding data arrays
JPH04356873A (ja) カラー文書画像の適応符号化方式
US7257260B2 (en) Method and a device for processing digital image
US8494261B2 (en) Image processing apparatus, image processing method, and computer-readable medium
JP4757172B2 (ja) 画像符号化装置及びその制御方法
US10002586B1 (en) Compression of display data stored locally on a GPU
JP4364729B2 (ja) 画像データ圧縮/伸張方法および画像処理装置
JP2009111821A (ja) 画像符号化装置、画像復号化装置、画像データ処理装置、画像符号化方法、及び、画像復号化方法
WO2010018494A1 (en) Image compression
JP3375078B2 (ja) 画像圧縮装置
KR100495001B1 (ko) 이미지 압축 부호화 방법 및 시스템
JP4971880B2 (ja) 画像符号化装置及び画像復号装置、並びにそれらの制御方法
JP3375079B2 (ja) 画像圧縮装置
JP2002199227A (ja) 画像圧縮方法及び装置、記録媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040427

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050811

R150 Certificate of patent or registration of utility model

Ref document number: 3711104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080819

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110819

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130819

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130819

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees