JP4012201B2 - 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム - Google Patents

画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム Download PDF

Info

Publication number
JP4012201B2
JP4012201B2 JP2004560583A JP2004560583A JP4012201B2 JP 4012201 B2 JP4012201 B2 JP 4012201B2 JP 2004560583 A JP2004560583 A JP 2004560583A JP 2004560583 A JP2004560583 A JP 2004560583A JP 4012201 B2 JP4012201 B2 JP 4012201B2
Authority
JP
Japan
Prior art keywords
component
image data
component image
pixels
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004560583A
Other languages
English (en)
Other versions
JPWO2004056084A1 (ja
Inventor
栄司 渥美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JPWO2004056084A1 publication Critical patent/JPWO2004056084A1/ja
Application granted granted Critical
Publication of JP4012201B2 publication Critical patent/JP4012201B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムに関する。
近年、パーソナルコンピュータ、携帯電話、PDA(個人向け携帯情報端末)等の情報機器では、画像データの送受信が盛んに行われるようになっている。このような画像データは、文書データ等に比べて非常に大きなデータ量を有することから、例えば、静止画像データの圧縮及び復元方式として、JPEGやJPEG2000等が開発された。これらの方式を用いて圧縮や復元を行うことにより、画像データをある程度小さなデータに圧縮して送受信することが可能である。尚、JPEGあるいはJPEG2000については、例えば、Information technology: JPEG2000 image coding system, ISO/IEC FCD1544-1, March 2000や、Information technology: digital compression and coding of continuous tone still images (JPEG), ISO/IEC 10918-1, 1993に説明がある。
しかしながら、これらの方式を用いても、画像データのデータ量は未だに大きく、特に、それを無線で送受信するような場合には、多大な時間と費用を要するといった重大な問題が生じている。
ところで、本願出願人によって平成14年6月18日に出願された「画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末」(出願番号2002年177,107号)には、画像処理装置及び画像処理方法、更に言えば、複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを、データサイズを保ったまま複数個に分割し、さらに圧縮等の処理を行った上で出力する、画像処理装置及び画像処理方法が開示されている。
特許出願2002年177,107号
本発明は、この技術を応用することによって、画像データをより小さなデータ量で送受信することができる画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムを提供するものである。
上記の目的を達成するために、本発明は、画像データの圧縮装置において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換し、前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴としている。
ここで単成分画像データとは、色を構成する複数の成分のうち、1つの成分のみを含む画像データをいう。カラー画像を表わすデータは、光の三原色を表わすRGB(赤、緑、青)の3つの成分のデータから構成されるか、輝度と色差を表わすYUV(輝度、色差、色差)の3成分から構成されることが多い。単成分画像データは、例えばR成分のみ、Y成分のみ、など、1つの成分のみを含む画像データを指す。
また、本発明は、画像データの復元装置において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換し、前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、前記圧縮画像データを圧縮解除することによって得られる前記YUVG2成分の4つの単成分画像データを前記RG1G2B成分の4つの単成分画像データに変換し、前記R成分と前記B成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記G1成分と前記G2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記RG1G2B成分の4つの単成分画像データを前記RGB成分の3つの単成分画像データに変換した後に復元を行うことを特徴としている。
本発明の復元装置において、前記移動の方法は、前記圧縮装置との間で予め取り決められていてもよいし、前記圧縮装置に前記復元装置の側からデータを用いて伝えられてもよい。
さらに、当業者であれば容易に理解できるように、本発明による画像データの圧縮装置または復元装置は、これら両方の特徴を備えた1つの圧縮復元装置として構成することが可能であり、また、これら圧縮装置や復元装置、圧縮復元装置は、コンピュータを本発明による画像データの圧縮装置または復元装置、圧縮復元装置として動作させるプログラムとして実施される場合が多い。つまり本発明は、コンピュータを、所定の複数成分から構成される画像データを取り込む手段、前記所定の複数成分のそれぞれについてサンプリングする手段、前記サンプリングされたデータから前記所定の複数成分のいずれか一成分の一部から構成される単成分画像データを前記複数より多い数だけ作成する手段、前記単成分画像データを圧縮する手段として動作させ、さらに前記単成分画像データのうち少なくとも2つは、前記所定の複数成分のうちの同じ成分であるように動作させることを特徴とする圧縮プログラムとして表すことができる。又は、コンピュータを、本発明による圧縮プログラムまたは圧縮装置により圧縮された圧縮画像データに関し、前記圧縮画像データを圧縮解除して前記単成分画像データに戻す手段、前記単成分画像データを伸張する手段、前記所定の複数成分のうちの同じ成分からなる単成分画像データが2つ以上存在する場合はこれらを結合して伸張する手段、として動作させることを特徴とする復元プログラムとして表すことができる。さらに、双方の機能を備えた圧縮復元プログラムとして表すこともできる。
尚、本発明の圧縮又は復元装置において、前記圧縮又は復元のためにJPEG又はJPEG2000を用いてもよい。更に、方法として表すこともできる。
本発明によれば、従来よりも、画像データをより小さなデータ量で送受信することができる。
添付図面を参照して、本発明を、本発明が適用されたパーソナルコンピューター(以下、PCと標記)を例に挙げて説明する。このPCはインターネットに接続され、インターネットを通じて画像等のデータを送受信することができる。また、デジタルカメラ等と接続し、デジタルカメラ等から画像データを取り込むこともできる。特に本発明が適用されたPCは、インターネットやデジタルカメラ等から取り込んだ画像を本発明に従って送信し、また受信した圧縮画像を本発明に従って復元して出力することができる。尚、以下に説明するPCは、本発明を好適に適用できる媒体の一例であって、本発明はPCに限らず、デジタルカメラ等の他の様々なデジタル機器に適用することができることはいうまでもない。
1.第一の実施形態
1−1.画像の取り込み及び圧縮
図1を参照して、第一の実施形態によるPCの、画像の取り込み及び圧縮に係る構成を説明する。
1)入力部
入力部11は、デジタルカメラ等の外部機器に接続し、画像データをPC本体に取り込む部分である。これは、よく知られているUSB等の方式を用いてよい。又は、インターネットに接続し、インターネット上のサーバーから画像データをダウンロードできるように構成してもよい。この場合は、イーサネット(登録商標)等の方式を用いればよい。
現在一般に用いられている形式の画像データは、RGB又はYUVの3つの単成分画像データ(平面)から構成されている場合が多い。尚、RGBとYUVとでは多少性質が異なる。ここではRGBから構成された画像データが取り込まれたものとし、それが図1の110(R:赤色画像)、111(G:緑色画像)、112(B:青色画像)に示されている。これらの単成分画像データ113、114、115にはそれぞれ、複数の画素が含まれる。各画素は各単成分画像データ113、114、115において、それぞれ固有の位置情報と色情報とを有する。色情報には、例えば輝度等が含まれ、各単成分画像データにおける各画素の色情報は、例えば8ビットで表現することができる。この結果、例えば、ある1つの画素の完全な色情報は、8×3=24ビットで表現することができることになる。尚、図1に示したRGB成分の各単成分画像データ110、111、112は、説明を目的としただけのものであって、必ずしもこのような単成分画像データが作成される必要はない。この点については後にも触れる。
2)ダウン・サンプリング部
ダウン・サンプリング部12は、RGB成分の各単成分画像データ110、111、112から色情報をサンプリングする部分である。サンプリングは、画像の劣化が許容できる範囲で、また、好ましくは補間が容易な方法で行うのが好ましい。好ましいサンプリングの方法として、例えば、原色べイヤー配列に基づいたサンプリング方法を考えることができる。よく知られているように、原色べイヤー配列とは、RGBの配列方式の1つであり、ここでは、市松状にG成分が配置され、それらの間にR成分とB成分が交互に配置される。本発明は、この配置に従って、RGB成分の各単成分画像データ110、111、112のそれぞれの所定位置において色情報のサンプリングを行う。図1に、この原色べイヤー配列(ここでは特に、いわゆるRGGBタイプと呼ばれる方式)に基づいてサンプリングを行うことによって得られた結果を、RGB成分の各単成分画像データ120、121、122毎に概念的に示している。図面中、例えば、R成分の単成分画像データ120については、「○」で示した箇所はサンプリングされた画素(位置)を、空白で示した箇所はサンプリングされなかった画素を、それぞれ示している。同様に、G成分の単成分画像データ121については、「○」又は「△」で示した箇所はサンプリングされた画素を、空白で示した箇所はサンプリングされなかった画素を、それぞれ示している。B成分の単成分画像データ122については、R成分の単成分画像データ121と同様である。明らかなように、この原色ベイヤー配列に基づいてサンプリングを行った場合、R成分とB成分の各単成分画像データ120、122については、8画素に対して1画素を抽出することによって計4画素分の色情報が、G成分の単成分画像データ121については、4画素に対して1画素を抽出することによって計8画素分の色情報が、それぞれ選択されることになる(尚、R成分やB成分よりもG成分に関してより多くの情報を得ることとしているのは、人間の目は、RGB成分のうちG成分に最も敏感に反応すると考えられているからである)。
尚、サンプリングの方法は、必ずしも上記の方法に基づく必要はない。例えば、G成分とB成分の各単成分画像データについては4画素分の色情報を、R成分の単成分画像データについては8画素分の色情報を、それぞれ選択してもよい。また、原色ベイヤー配列の中でも、いわゆるGRBGタイプと呼ばれる方式に基づいてサンプリングを行ってもよい。ただし、復元時の画像劣化を防ぐため、上述した原色ベイヤー配列におけるようになるべく規則的に、例えば原色ベイヤー配列におけるように、RGB成分の各画素を水平及び垂直方向において互いに均等に離れた状態等で、サンプリングするのが好ましい。
3)デ・コンポージング部
デ・コンポージング部13は、サンプリングを行うことによって得られたRGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データにするとともに、各単成分画像データを縮小させる、つまり、各単成分画像データにおいて、サンプリングされなかった画素を少なくとも1つ排して(除去して)、元の単成分画像データよりも小さな単成分画像データとする。好ましい縮小方法として、例えば、ダウン・サンプリング部でサンプリングされなかった全ての画素を排して、サンプリングされた画素を水平及び垂直方向に移動させて互いに隣接に配置する、あるいは互いに結合させる、といった方法が考えられる。上述した原色ベイヤー配列に基づいてRGB成分の各画素を規則的にサンプリングし、且つ、サンプリングされたそれらの画素を上述した好ましい方法で縮小させた場合には、縮小後も画像は認識可能な状態で残る。つまり、デ・コンポージング部13における処理後の各単成分画像データは、元の画像の大きさを単に縮小させただけのものとして見ることができる。
図1に、デ・コンポージング部13における処理によって生じた4つの単成分画像データ130、131、132、133を概念的に示している。ここに示されているように、デ・コンポージング部13における処理により、RGB成分の3つの単成分画像データ120、121、122のうち、4×4画素のR成分とB成分の単成分画像データ120、122については、上述した好ましい方法で縮小されて2×2画素(半解像度)のR成分とB成分の単成分画像データ130、133とされ、4×4画素のG成分の単成分画像データ121については、2つに分割されるとともに上述した好ましい方法で縮小されて、2×2画素(半解像度)のG1成分とG2成分の単成分画像データ131、132とされる。ここで、G1成分の単成分画像データ131とは、図1に示したダウン・サンプリング部でサンプリングされた画素のうち、「○」で示した箇所の画素に関する色情報を表す単成分画像データであり、一方、G2成分の単成分画像データ132は、「△」で示した箇所の画素に関する色情報を表す単成分画像データである。これらG1成分の単成分画像データ131とG2成分の単成分画像データ132は、G成分の単成分画像データを構成する要素であるから、明らかなように、これらを合体させることによって元のG成分の完全な単成分画像データ121を得ることができる。
尚、上に示した例では、G1成分とG2成分の単成分画像データ131、132は、規則的に、例えば、上に示したように、G成分の単成分画像データを水平及び垂直方向において互いに離れた画素同士が同じ成分となるように、分割することによって形成されているが、G成分中のどの部分をG1成分とし、あるいは、G2成分とするかは、設計者が自由に決定することができる。ただし、G成分の単成分画像データを規則的に分割した場合には、G1成分の単成分画像データ131やG2成分の単成分画像データ132は、いわば元の画像のG成分を縮小させたものということができ、したがって、G1成分のみによって、あるいは、G2成分の単成分画像データのみよって(更には、残りのRG1B成分を、後述するRGB−YUV変換部14によって変換することによって得られたYUV成分によって、あるいは、このYUV成分のY成分のみによって)、視聴者は、元の画像をある程度の精度で認識することができるという大きな利点がある。また、上に示した例のように、G成分の単成分画像データを規則的に分割した場合には、G1成分とG2成分の単成分画像データを明確に区別する必要はない。つまり、本明細書の記載において、G1とG2を入れ換えて読んでも何ら問題はない。
デ・コンポージング部13における処理により、入力部11におけるデータ量、つまり、4×4(基本領域中の画素の数)×3(単成分画像データの数)×8(RBG成分の各単成分画像データにおける1画素あたりのビット数)=384ビットは、4(RG1G2B成分の各単成分画像データにおける画素の数)×4(単成分画像データの数)×8(RG1G2B成分の各単成分画像データにおける1画素あたりのビット数)=128ビット、つまり、1/3に減少される。このように、デ・コンポージング部13における処理によって、全体としてのデータ量は減少することになるが、その一方で、各画素の位置情報は失われる。しかしながら、失われた位置情報は、デ・コンポージング部13やダウン・サンプリング部12における処理を後述する復元時(特に、後述するコンポージング部(図3の34))との間で予め取り決めておくことによって、また、そのような取り決めがない場合にはデ・コンポージングされたデータ(ファイル、あるいはビットストリーム)に位置情報に関する情報を付加することによって、復元時において容易に回復することができる。
4)RGB−YUV変換部
RGB−YUV変換部14は、当業者によく知られた方法で、RGB成分をYUV成分に変換する。ここでは、デ・コンポージング部13における処理で発生された、RG1G2B成分の4つの単成分画像データ130、131、132、133のうちの、RG1B成分の3つの単成分画像データ130、131、133に基づいて、それらを、YUV成分の3つの単成分画像データ140、141、142へ変換する。残るG2成分の単成分画像データ133については、YUV変換は行わず、そのまま残す。この結果、図1にも示されているように、RGB−YUV変換部における処理により、各々が2×2画素のYUV成分の3つの単成分画像データ140、141、142とG2成分の単成分画像データ143(133)が形成される。尚、YUVへ変換を行うのは、次に述べる圧縮部においてJPEG等を用いるためである。
5)圧縮部
圧縮部15は、デ・コンポージング部13における処理によって得られたYUV成分の3つの単成分画像データ140、141、142とG2成分の単成分画像データ143を、例えばJPEGやJPEG2000を用いて圧縮する。但し、圧縮の方法は、画像圧縮のために通常使用されている様々な方法を用いることができ、JPEG等に限定されるものではない。これらの圧縮方法はよく知られているため、それらの方法自体の詳細な説明はここでは省略する。この圧縮部15における処理により、基本領域における情報は、例えば、全体として6ビット程のデータとすることができる。
尚、JPEGを用いて圧縮を行った場合には、図2に示すように、YUV成分の3つの単成分画像データ140、141、142に関する情報は1つのファイル、例えばfile.1として圧縮され、G2成分の単成分画像データ143に関する情報はそれとは別のファイル、例えばfile.2として圧縮される。G2成分が別のファイルとして圧縮されるのは、このG2成分についてはJPEGによる処理を2回行うことを要するからである。この点は当業者には明らかであろう。圧縮されたこれらのファイルfile.1とfile.2の関係は、ファイル名(例えば、file.1にfile.a.jpgという名を付け、これに関連して、file.2にfile.b.jpgという名を付けることによって)や、ファイルフォーマット内の未使用フィールドにおける宣言により明かにすることができる。受信側は、これらのファイル名を見ることによって、それらが互いに関連のあるデータであることを知ることができる。
一方、JPEG2000を用いて圧縮を行った場合には、YUVG2成分の各単成分画像データ140、141、142、143を、それぞれ単成分画像データ毎に圧縮することができる。この結果、4つのファイルが形成されることになるが、これらについても上と同様に、それらの間の関係をファイル名等で明かにすることができる。
6)出力部
出力部16は、圧縮部15で圧縮されたファイルを出力する。出力は、記録媒体にファイルを保存するためであったり、インターネット上のサーバーに送信するためであったりする。
1−2.圧縮データの復元
図3を参照して、第一の実施形態によるPCの、圧縮データの復元に係る構成を説明する。
1)入力部
入力部31は、記録媒体から本発明による方法で圧縮されたデータを読み込む、又は、インターネット上のサーバーから、そのようなデータをダウンロードする。
2)圧縮解除部
圧縮解除部32は、圧縮部(図1の15)で圧縮されたファイルを、送信側で用いた圧縮方式に対応する方式で圧縮解除し、2×2画素のYUV成分の3つの単成分画像データ320、321、322と、2×2画素のG2成分の単成分画像データ323、即ち、計4つの単成分画像データに戻す。これらの単成分画像データは、圧縮部(図1の15)によって圧縮される前のYUVG2成分の4つの単成分画像データ(図1の140、141、142、143)と全く同じものと考えてよい。
3)YUV−RGB変換部
YUV−RGB変換部33は、送信側のRGB−YUV変換部(図1の14)における処理と反対の処理を行う。YUV−RGB変換部33における処理により、YUV成分の3つの単成分画像データ320、321、322は、変換前のRG1B成分の3つの単成分画像データ330、331、332へ変換される。残るG2成分の単成分画像データ323については、特にRGB−YUV(図1の14)で処理されていないから、そのままの状態とする。この結果、図3に示されているように、YUV−RGB変換部33における処理により、各々が2×2画素のRG1G2B成分の4つの単成分画像データ330、331、332、333が形成される。
4)コンポージング部
コンポージング部34は、デ・コンポージング部(図1の13)に対応して設けられた部分である。コンポージング部34は、デ・コンポージング部(図1の13)とは逆に、RG1G2B成分の4つの単成分画像データ330、331、332、333をRGB成分の3つの単成分画像データ340、341、342に変換するとともに、デ・コンポージング部で失われた位置情報を、変換されたRGB成分の3つの単成分画像データに反映させることにより各単成分画像データを元の大きさに伸張する(つまり、縮小された単成分画像データを元の大きさに戻す)。伸張は、例えば、ダウン・サンプリング部(図1の12)でサンプリングされた画素を、水平及び垂直方向に移動させて元の位置に戻すことによって行うことができる。この操作によって、デ・コンポージング部(図1の13)における処理で失われた位置情報は、RGB成分の各単成分画像データに反映される。図3には、コンポージング部34における処理によって生じた3つの単成分画像データ340、341、342が概念的に示されている。この図から明らかなように、コンポージング部34における処理により、各々が2×2画素のR成分とB成分の単成分画像データ330、333については、4×4画素(フル解像度)のR成分及びB成分の単成分画像データ340、342とされ、各々が2×2画素のG1成分とG2成分の単成分画像データ331、332については、G成分に合体されるとともに伸張されて、4×4画素(フル解像度)のG成分の単成分画像データ341とされる。
5)補間部
補間部35は、送信機のダウン・サンプリング部(図1の12)におけるサンプリングによって失われた色情報を補間する。この補間によってデータが伸張されるのであるが、よく知られているように画素補間には様々な方法が存在するから、装置の計算能力と求める画質に応じた補間方法を用いればよい。最も簡素な補間法は、データが存在する画素と同じ値を隣接するデータが存在しない画素にコピーするというものである。この補間部35における処理により、RGB成分の3つの単成分画像データ350、351、352が発生する。尚、図面中の矢印は、補間を行う際のデータの動きを概的に示したものである。以上より、元のカラー画像の復元が完了する。
6)出力部
出力部36は、復元された元のカラー画像、即ち復元画像データを出力する。例えば、出力部36は、カラー画像を写すディスプレイであってもよい。ただし、出力部36は、カラー画像を特に復元せずに、RGB成分の3つの単成分画像データを単に記憶する記憶媒体であってもよい。
尚、この出力部36は、上述した圧縮解除部32とYUV−RGB変換部33の間、あるいは、YUV−RGB変換部33とコンポージング部34の間に設けることもできる。勿論、圧縮解除部32やYUV−RGB変換部33における処理の直後は、YUVG2成分の単成分画像データ320〜323やRG1G2B成分の単成分画像データ3330〜333が得られるだけで、完全な画像が得られるわけではない。しかしながら、上述したように、G1成分の単成分画像データのみによって、あるいは、G2成分の単成分画像データのみよって、あるいは、残りのRG1B成分をRGB−YUV変換部によって変換することによって得られたYUV成分によって、更には、これらYUV成分のY成分のみによって、元の画像をある程度の精度で認識することができる。したがって、出力部36を、上述した圧縮解除部32とYUV−RGB変換部33の間、あるいは、YUV−RGB変換部33とコンポージング部34の間に設けてもよい。つまり、本発明の技術を用いた場合、完全な画像を得るためには、コンポージング部34における処理を知る必要があり、また、デ・コンポージング部(図1の13)を有する必要があるが、コンポージング部34における処理を知らなくても、また、デ・コンポージング部(図1の13)を有していなくても、送信側から受信したデータに基づいて、ある程度の精度で画像を見ることが可能ということである。
1−3.動作説明
次に、図4、図5のフロチャートを参照して、本発明による圧縮装置及び復元装置の動作を説明する。
図4は、圧縮装置の動作を示している。先ず、入力部によって、カラー画像が装置に取り込まれる(ステップ1)。次に、ダウン・サンプリング部によって、各単成分画像データの各画素から所定の情報がサンプリングされる(図1の120〜122)(ステップ2)。次いで、デ・コンポージング部によって、サンプリングされたRGB成分の3つの単成分画像データがRG1G2B成分の4つの単成分画像データにされるとともに、各単成分画像データが縮小される(図1の130〜133)(ステップ3)。その後、RGB−YUV変換部で、RG1B成分がYUV成分に変換され(ステップ4)、この結果、YUV成分の3つの単成分画像データと、G2成分の単成分画像データ、計4つの単成分画像データ(図1の140〜143)が形成される。更に、JPEG等を用いて、YUVG2成分の4つの単成分画像データに関する情報が圧縮される(ステップ5)、最後に、出力部でファイルが出力される(ステップ6)。
図5は、復元装置の動作を示している。先ず、入力部でファイルが受信され(ステップ1)、次いで、圧縮解除部において、圧縮されたファイルが圧縮解除され、YUVG2成分の4つの単成分画像データ(図3の320〜323)に関する情報が復号される(ステップ2)。次いで、YUV−RGB変換部によって、YUV成分がRGB成分に変換されて、変換前のRG1B成分の3つの単成分画像データとG2成分の単成分画像データ、計4つの単成分画像データ(図3の330〜333)が形成される(ステップ3)。更に、コンポージング部によってRG1G2B成分の4つの単成分画像データがRGB成分の3つの単成分画像データに変換されるとともに、デ・コンポージング部で失われた位置情報が、変換されたRGB成分の3つの単成分画像データに反映されて、各単成分画像データが元の大きさに伸張される(図3の340〜342)(ステップ4)。その後、補間部によって、ダウン・サンプリング部における処理で失われた色情報が補間によって回復され、元のカラー画像が復元される(ステップ5)。最後に、それらを復元画像データとして出力しあるいは表示することができる(ステップ6)。上述したように、出力段階は、ステップ2とステップ3の間(ステップ6’)、あるいは、ステップ3とステップ4の間(ステップ6”)に設けられていてもよい。ただし、これらのステップ6’、6”で出力され得る復元画像データは、ステップ6で出力される復元画像データとはその解像度が異なる。尚、切り替え装置(図示していない)を設けて、これら様々な種類の復元画像データを、ユーザーが自由に選択して出力させることができるようにしてもよい。例えば、利用者が料金を支払ったか否かに応じて、ステップ6’、6”で出力され得る復元画像データ、即ち、単成分画像データ1つから構成される出力画像(この場合、半解像度のカラー画像となる)を出力させたり、あるいは、ステップ6で出力され得る復元画像データ、即ち、伸張後のRGB成分の3つの単成分画像データからなる出力画像を出力させることができる。特に後者の場合は、圧縮前と同じ大きさのカラー画像とすることができる。
2.第二の実施形態
上の第一の実施形態では、カラー画像をRGB成分で表すものとして説明したが、これをYUV成分で表すものとしてもよい。この場合(第二の実施形態)は、第一の実施形態と異なり、RGB−YUV変換部(図1の14)とそれに対応するYUV−RGB変換部(図3の33)は不要である。以下、図6、図7を参照して、第二の実施形態を、第一の実施形態との相違を中心に説明する。尚、図6、図7はそれぞれ、第一の実施形態における図1、図3に対応するものと考えてよい。また、特に説明しない事項は、第一の実施形態と同様に考えてよい。
2−1.画像の取り込み及び圧縮
図6において、入力部51は、YUV成分の各単成分画像データ510、511、512から構成されるYUV形式のデータを取り込む。この場合、例えば、Y成分について4×4画素分のデータが含まれるのに対し、U成分とV成分については4×2画素分のデータが含まれる。
ダウン・サンプリング部52は、Y成分の単成分画像データ510については、4画素に対して1画素を抽出することによって、例えば図6に示されているように、図1で説明した原色ベイヤー配列の特にG成分の所定位置においてサンプリングすることによって(つまり、「○」及び「△」で示した箇所の画素をサンプリングして)、Y成分の単成分画像データ520を形成する。一方、U成分とV成分の単成分画像データ511、512については、2画素に対して1画素を抽出することによって、例えば図6に示されているように、4×2画素のデータの1行目と3行目の位置のデータをサンプリングすることによって(つまり、「○」で示した箇所の画素をサンプリングして)、U成分とV成分の単成分画像データ521、522を形成する。
デ・コンポージング部53は、サンプリングされたYUV成分の3つの単成分画像データ520、521、522をY1UVY2成分の4つの単成分画像データとするとともに、各単成分画像データを縮小する(図6の530、531、532、533)。ここでは、Y1成分とY2成分の単成分画像データ530、531が、第一の実施形態におけるG1成分とG2成分の単成分画像データ(図1の131、132)に相当し、U成分とV成分の単成分画像データ532、533が、第一の実施形態におけるR成分やB成分の単成分画像データ(図1の130、133)に相当すると考えてよい。即ち、このデ・コンポージング部53における処理により、YUV成分の3つの単成分画像データ520、521、522は、4×4画素のY成分の単成分画像データ520については、2つに分割されるとともに縮小されて、2×2画素(半解像度)のY1成分とY2成分の単成分画像データ530、531とされ、一方、4×2画素のU成分とV成分の単成分画像データ521、522については、縮小されて2×2画素のU成分とV成分の単成分画像データ532、533とされる。
圧縮部54は、Y1UVY2成分の4つの単成分画像データ530〜533に関する情報を、例えば、JPEG2000を用いて圧縮する。尚、この場合は、第一の実施形態のG2成分のように、JPEG2000による処理を2回行うことはないため、1つのファイルとして形成することができる。出力部55は、このファイルを出力する。
2−2.圧縮データの復元
図7において、入力部71は、ファイルを受信する。圧縮解除部71は、このファイルを、圧縮時に用いられた圧縮方式に対応する圧縮方式で圧縮解除し、図7に示されているような、2×2画素のY1UVY2成分の4つの単成分画像データ720〜723に戻す。
コンポージング部73は、Y1UVY2成分の4つの単成分画像データ720〜723をYUV成分の3つの単成分画像データ730〜732に変換するとともに、デ・コンポージング部で失われた位置情報を、変換されたYUV成分の3つの単成分画像データに反映させることによって各単成分画像データを元の大きさに伸張する。即ち、このコンポージング部73における処理により、各2×2画素のU成分とV成分の単成分画像データ722、723については、伸張されて4×4画素(フル解像度)のU成分とV成分の単成分画像データ731、732とされ、各2×2画素のY1成分とY2成分の単成分画像データ720、721については、Y成分に合体されるとともに伸張されて、4×4画素の(フル解像度)のY成分の単成分画像データ730とされる。
補間部74は、Y成分の単成分画像データ740については、例えば、第一の実施形態のG成分の単成分画像データ(図3の341)と同様の方法で補間を行う。一方、U成分とV成分の単成分画像データ741、742については、デ・コンポージング部(図6の53)でサンプリングされた箇所、例えば1行目と3行目の画素をその真下のサンプリングされなかった箇所、例えば2行目と4行目にコピーすることによって補間を行う。この補間方法は当業者にはよく知られているから、ここでは詳述しない。
3.その他
上の実施形態では、送信機及び受信機をそれぞれ、複数の部分に分けて説明したが、この分類は単に説明を目的としただけのものである。例えば、実際の装置では、送信側の入力部における機能とダウン・サンプリング部における機能は、一度に実行されることが多い。つまり、カラー画像は一般には、特定の色成分のみを検出する複数の検知素子を配した検出器を用いて、当初からサンプリングされた状態で検出される。したがって、これらの分類方法は本願発明にとって重要ではない。また、コンピュータ・ソフトウェアとして提供される。
また、上の実施形態では、G成分をG1成分とG2成分の2つに、あるいは、Y成分をY1成分とY2成分の2つに分割するものとして説明したが、必ずしも2つの分割する必要はなく、それ以上に分割してもよい。最終的に合成によって画像が得られれば十分である。
また、本発明では、RGB成分とYUV成分の単成分画像データに関する実施形態だけを説明したが、色彩に関する情報を同様の単成分画像データで表現する場合には、本発明を同様に適用することが可能であろう。更に、本発明の重要な特徴は、色彩に関する単成分画像データを分割することにあり、本発明が、本発明の実施形態に記載された発明に限定されるものではない。
明らかなように、本発明による画像データの圧縮装置または復元装置は、これら両方の特徴を備えた1つの圧縮復元装置として構成することもできる。また、これら圧縮装置や復元装置、圧縮復元装置は、コンピュータを本発明による画像データの圧縮装置または復元装置、圧縮復元装置として動作させるプログラムとして実施されてもよい。
本発明の第一の実施形態によるPCの、画像の取り込み及び圧縮に係る構成を説明する図である。 JPEGを用いた圧縮方法を示す概念図である。 本発明の第一の実施形態によるPCの、圧縮データの復元に係る構成を説明する図である。 本発明による圧縮装置の動作を説明するフローチャートである。 本発明による復元装置の動作を説明するフローチャートである。 本発明の第二の実施形態によるPCの、画像の取り込み及び圧縮に係る構成を説明する図である。 本発明の第二の実施形態によるPCの、圧縮データの復元に係る構成を説明する図である。

Claims (9)

  1. 画像データの圧縮装置において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換し、前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮装置。
  2. 画像データの復元装置において、
    RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換し、前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、
    前記圧縮画像データを圧縮解除することによって得られる前記YUVG2成分の4つの単成分画像データを前記RG1G2B成分の4つの単成分画像データに変換し、前記R成分と前記B成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記G1成分と前記G2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記RG1G2B成分の4つの単成分画像データを前記RGB成分の3つの単成分画像データに変換した後に復元を行うことを特徴とする復元装置。
  3. 前記移動の方法は前記圧縮装置との間で予め取り決められている請求項1に記載の圧縮装置。
  4. 前記移動の方法は前記圧縮装置に前記復元装置の側からデータを用いて伝えられる請求項に記載の復元装置。
  5. 前記圧縮のためにJPEG又はJPEG2000を用いる請求項に記載の圧縮装置。
  6. 前記復元のためにJPEG又はJPEG2000を用いる請求項に記載の復元装置。
  7. 請求項1又は2に記載された圧縮装置又は復元装置としてコンピュータを機能させることを特徴とする圧縮又は復元プログラム。
  8. 画像データの圧縮方法において、
    RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、
    前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動さ せて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換し、
    前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮方法。
  9. 画像データの復元方法において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換し、前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、
    前記圧縮画像データを圧縮解除することによって得られる前記YUVG2成分の4つの単成分画像データを前記RG1G2B成分の4つの単成分画像データに変換し、
    前記R成分と前記B成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記G1成分と前記G2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記RG1G2B成分の4つの単成分画像データを前記RGB成分の3つの単成分画像データに変換した後に復元を行うことを特徴とする復元方法。
JP2004560583A 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム Expired - Fee Related JP4012201B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/013221 WO2004056084A1 (ja) 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム

Publications (2)

Publication Number Publication Date
JPWO2004056084A1 JPWO2004056084A1 (ja) 2006-04-20
JP4012201B2 true JP4012201B2 (ja) 2007-11-21

Family

ID=32587965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004560583A Expired - Fee Related JP4012201B2 (ja) 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム

Country Status (5)

Country Link
US (1) US20050286778A1 (ja)
EP (1) EP1575262A4 (ja)
JP (1) JP4012201B2 (ja)
AU (1) AU2002368463A1 (ja)
WO (1) WO2004056084A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
US20070201058A1 (en) * 2006-02-28 2007-08-30 Texas Instruments Incorporated Systems and methods for indirect image data conversion
US8200959B2 (en) 2007-06-28 2012-06-12 Cisco Technology, Inc. Verifying cryptographic identity during media session initialization
US8417942B2 (en) 2007-08-31 2013-04-09 Cisco Technology, Inc. System and method for identifying encrypted conference media traffic
US20090169001A1 (en) * 2007-12-28 2009-07-02 Cisco Technology, Inc. System and Method for Encryption and Secure Transmission of Compressed Media
US8837598B2 (en) * 2007-12-28 2014-09-16 Cisco Technology, Inc. System and method for securely transmitting video over a network
US8948523B2 (en) 2008-05-29 2015-02-03 Nagato Oya Data processing method in tree form and data processing device
JP5099860B2 (ja) * 2008-11-13 2012-12-19 長門 大矢 樹状形式によるデータ処理方法およびデータ処理装置
EP2528319A1 (en) * 2011-05-23 2012-11-28 Alcatel Lucent Image data compressing and decompressing methods and devices
US10721470B2 (en) * 2018-07-06 2020-07-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compression of a raw image
CN114189689B (zh) * 2021-11-25 2024-02-02 广州思德医疗科技有限公司 图像压缩处理方法、装置、电子设备和存储介质
CN115150390B (zh) * 2022-06-27 2024-04-09 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3298596B2 (ja) * 1993-06-22 2002-07-02 キヤノン株式会社 カラー画像伝送装置及び方法
JPH07221993A (ja) * 1994-02-02 1995-08-18 Kokusai Electric Co Ltd カラー画像データの間引き方法及び装置、並びにカラー画像データの圧縮方法
JPH10271529A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp 画像処理装置及び静止画像撮像装置並びに画像処理方法
US7372485B1 (en) * 1999-06-08 2008-05-13 Lightsurf Technologies, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
JP4560180B2 (ja) * 2000-06-28 2010-10-13 キヤノン株式会社 撮像装置
JP2002354265A (ja) * 2001-05-30 2002-12-06 Ricoh Co Ltd 画像処理装置および画像形成装置

Also Published As

Publication number Publication date
AU2002368463A1 (en) 2004-07-09
WO2004056084A1 (ja) 2004-07-01
EP1575262A1 (en) 2005-09-14
US20050286778A1 (en) 2005-12-29
EP1575262A4 (en) 2010-02-24
JPWO2004056084A1 (ja) 2006-04-20

Similar Documents

Publication Publication Date Title
CN100586147C (zh) 采用可逆色彩变换对镶嵌图像数据编码的系统和方法
US20050286778A1 (en) Compression unit, decompression unit for image data and programs for compressing and decompressing image data
US8660345B1 (en) Colorization-based image compression using selected color samples
US8358363B2 (en) Video-processing apparatus, method and system
EP1613097A1 (en) Digital video signal compression and decompression method and apparatus
US20010012397A1 (en) Image processing apparatus and method
JP2014204175A (ja) 画像処理装置及びその制御方法
JP4288398B2 (ja) 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
JP4073942B2 (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
EP1499106A1 (en) Image data compression device, image data compression method, recording medium, and program
JP2006304203A (ja) 色差間引きの変換機能を有する電子カメラ
JP2007215001A (ja) 画像処理装置、画像処理システム及び画像処理方法
WO2003107684A1 (ja) 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末
JP5247594B2 (ja) 画像処理装置及びその制御方法、プログラム
JP5945816B2 (ja) 映像処理システム
JP2006173931A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP6316640B2 (ja) 映像記録装置、映像再生装置及び映像記録プログラム
JP5719665B2 (ja) 画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラム
JP2007329795A (ja) 画像処理システム、商品注文システムおよび画像処理プログラム
JP3867089B2 (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
JP3910192B2 (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
JP4860558B2 (ja) 符号化装置及び符号化方法
JPH10313403A (ja) 静止画撮像装置、カラー複写装置及び表示装置
US6628438B1 (en) Method for compressing image data with fixed rate and device therefor
RU2485591C1 (ru) Способ сжатия графических файлов

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees