JP4687263B2 - 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム - Google Patents

符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム Download PDF

Info

Publication number
JP4687263B2
JP4687263B2 JP2005172037A JP2005172037A JP4687263B2 JP 4687263 B2 JP4687263 B2 JP 4687263B2 JP 2005172037 A JP2005172037 A JP 2005172037A JP 2005172037 A JP2005172037 A JP 2005172037A JP 4687263 B2 JP4687263 B2 JP 4687263B2
Authority
JP
Japan
Prior art keywords
image
binary
encoding
browsing
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005172037A
Other languages
English (en)
Other versions
JP2006352213A (ja
Inventor
裕 越
俊一 木村
雅則 関野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2005172037A priority Critical patent/JP4687263B2/ja
Priority to US11/320,000 priority patent/US7602939B2/en
Publication of JP2006352213A publication Critical patent/JP2006352213A/ja
Priority to US12/461,817 priority patent/US7957602B2/en
Application granted granted Critical
Publication of JP4687263B2 publication Critical patent/JP4687263B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32256Spatial or amplitude domain methods in halftone data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/3232Robust embedding or watermarking
    • H04N1/32325Robust embedding or watermarking the embedded data being visible
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/403Discrimination between the two tones in the picture signal of a two-tone original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3236Details of authentication information generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、符号化された文書の改ざん痕を検知する符号化装置及び復号化装置に関する。
文書は、文書の内容が確認されうる程度の見読性を保ちつつ適切に圧縮されて、利用者が扱いやすい態様とされることが求められている。一方では、企業の情報、個人情報を含む文書の改ざんを防ぐことが求められている。このため、見読性と改ざん防止とを両立することが重要になっている。
特許文献1は、カラーの入力画像に対して、画像の劣化を抑えながら、下地色や裏写り等の不要画像部を除去する方法を開示する。
特許文献2は、下地が網点領域の場合においても、孤立点を残すことなく下地を除去する方法を開示する。
しかしながら、これらの方法のいずれにおいても、改ざん痕を検知することは考慮されていない。
また、特許文献3は、ユーザにより提供された電子文書を、暗号関数を用いて認定し、文書フィンガープリントを作成する方法を開示する。
しかしながら、改ざん痕検知に必要な下地部分は、高い圧縮率で符号化されると消滅しやすい。
特開2001−094804 特開2002−354253 特開平11−338780
本発明は、上述した背景からなされたものであり、改ざん痕を検知しうる程度に効果的に文書を符号化及び復号化する符号化装置及び復号化装置を提供することを目的とする。
上記目的を達成するために、本発明にかかる符号化装置は、異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成する2値画像生成手段と、前記2値画像生成手段により生成された複数の2値画像に基づいて、確認画像を生成する確認画像生成手段と、前記2値画像生成手段により生成された少なくとも1つの2値画像と、前記確認画像生成手段により生成された確認画像とを、異なる手法を用いて符号化して符号データを生成する符号生成手段とを有する。
好適には、前記2値画像生成手段は、多値画像から閲覧用2値画像を生成する閲覧用画像生成手段と、多値画像から検知用2値画像を生成する検知用画像生成手段とを有する。
好適には、前記閲覧用画像生成手段は、多値画像の所定の範囲内の画素値の濃度に応じて、2値化のしきい値を変動させる。
好適には、前記検知用画像生成手段は、前記閲覧用画像生成手段における所定の範囲より狭い範囲内の画素値の濃度に応じて、2値化のしきい値を変動させる。
好適には、前記検知用画像生成手段は、多値画像の所定の範囲内の画素値の濃度に応じて、2値網点画像を生成して検知用2値画像とする。
好適には、前記確認画像生成手段は、前記閲覧用画像生成手段により生成された閲覧用2値画像と、前記検知用画像生成手段により生成された検知用2値画像とを論理演算して、2値の確認画像を生成する。
好適には、前記符号生成手段は、前記閲覧用画像生成手段により生成された閲覧用2値画像を符号化する閲覧画像符号化手段と、前記確認画像生成手段により生成された確認画像を符号化する検知用画像符号化手段とを有する。
好適には、前記閲覧画像符号化手段は、JBIG2に規定されるテキスト領域符号化又はジェネリック領域符号化を適用する。
好適には、前記検知用画像符号化手段は、JBIG2に規定されるリファインメント符号化を適用する。
また、本発明にかかる復号化装置は、異なる手法を適用して符号化された複数の画像データを含む符号データを受け付ける受付手段と、前記受付手段により受け付けられた符号データに含まれる画像データそれぞれを、異なる手法により復号化する画像復号化手段と、前記画像復号化手段により復号化された画像を合成する合成手段とを有する。
好適には、前記受付手段は、異なる手法を適用して符号化された閲覧用2値画像と2値の確認画像とを含む符号データを受け付ける。
好適には、前記画像復号化手段は、前記受付手段により受け付けられた符号データに含まれる閲覧用2値画像を復号化する閲覧画像復号化手段と、前記受付手段により受け付けられた符号データに含まれる2値の確認画像を復号化する検知画像復号化手段とを有する。
好適には、前記閲覧画像復号化手段は、JBIG2に規定されるテキスト領域復号化又はジェネリック領域復号化を適用する。
好適には、前記検知画像復号化手段は、JBIG2に規定されるリファインメント領域復号化を適用する。
好適には、前記合成手段は、前記閲覧画像復号化手段により復号化された閲覧用2値画像と、前記検知画像復号化手段により復号化された2値の確認画像とを合成する。
また、本発明にかかる符号化方法は、異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成し、前記生成された複数の2値画像に基づいて、確認画像を生成し、前記生成された少なくとも1つの2値画像と、前記生成された確認画像とを、異なる手法を用いて符号化して符号データを生成する。
また、本発明にかかる復号化方法は、異なる手法を適用して符号化された複数の画像データを含む符号データを受け付け、前記受け付けられた符号データに含まれる画像データそれぞれを、異なる手法により復号化し、前記復号化された画像を合成する。
また、本発明にかかる第1のプログラムは、コンピュータを含む符号化装置において、異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成する2値画像生成ステップと、前記生成された複数の2値画像に基づいて、確認画像を生成する確認画像生成ステップと、前記生成された2値画像と、前記生成された少なくとも1つの2値画像及び前記生成された確認画像とを、異なる手法を用いて符号化して符号データを生成する符号生成ステップとを前記符号化装置に実行させる。
さらに、本発明にかかる第2のプログラムは、コンピュータを含む復号化装置において、異なる手法を適用して符号化された複数の画像データを含む符号データを受け付ける受付ステップと、前記受け付けられた符号データに含まれる画像データそれぞれを、異なる手法により復号化する復号化ステップと、前記復号化された画像を合成する合成ステップとを前記復号化装置に実行させる。
本発明の符号化装置及び復号化装置によれば、改ざん痕を検知しうる程度に効果的に文書を符号化及び復号化することができる。
本発明の第1の実施形態にかかる符号化装置2及び復号化装置3を説明する。
図1は、本発明にかかる符号化方法及び復号化方法が適応される符号化装置2及び復号化装置3のハードウェア構成を、制御装置20を中心に例示する図である。
図1に例示するように、符号化装置2等は、CPU202及びメモリ204などを含む制御装置20、通信装置22、HDD・CD装置などの記録装置24、及びLCD表示装置あるいはCRT表示装置並びにキーボード・タッチパネルなどを含むユーザインターフェース装置(UI装置)26を有する。
符号化装置2及び復号化装置3は、例えば、後述する符号化プログラム4及び復号化プログラム5がプリンタドライバの一部としてインストールされた汎用コンピュータである。符号化装置2は、通信装置22又は記録装置24を介して入力された多値の画像データに対して所定の符号化処理を施して、改ざん痕を検知しうる符号データを生成する。復号化装置3は、図示しないネットワークを介して通信装置22より符号データを取得し、又は記録装置24に記憶されている符号データを取得し、復号化処理を施して、文書が改ざんされているか否かを検知しうるデータを抽出する。
図2は、制御装置20により実行され、本発明にかかる符号化方法を実現する符号化プログラム4の機能構成を示す図である。
図2に示すように、符号化プログラム4は、多値データ受付部40、2値画像生成部42、論理演算部44及び符号生成部46を含む。また、2値画像生成部42は、閲覧画像生成部420及び検知画像生成部422を含み、符号生成部46は、閲覧画像符号化部460及び検知画像符号化部462を含む。
なお、符号化プログラム4の全部又は一部の機能は、プリンタ装置10に設けられた例えばASICなどのハードウェアにより実現されてもよい。
符号化プログラム4において、多値データ受付部40は、通信装置22又は記録装置24などを介して取得された多値の画像データを入力する。多値データ受付部40は、受け付けられた入力画像の画像データを各色成分のラスタデータ(色成分画像)に変換し、このラスタデータにスクリーン処理を施して、2値画像生成部42の閲覧画像生成部420並びに検知画像生成部422に対して出力する。
2値画像生成部42は、多値データ受付部40から入力された多値画像から、少なくとも2つの2値画像を生成する。より具体的には、2値画像生成部42は、多値画像から、閲覧用2値画像及び改ざん検知のための検知用2値画像を生成する。2値画像生成部42は、異なるパラメータを適用することにより、1つの多値画像から2つの2値画像を生成する。
2値画像生成部42の閲覧画像生成部420は、多値画像から閲覧用2値画像を生成する。閲覧画像生成部420は、多値画像の所定の範囲内の画素値の濃度(階調値)に応じて、2値化のしきい値を変動させて、多値画像に対して2値化処理を施す。閲覧画像生成部420は、変動されたしきい値に従って、各画素値を黒又は白に2値化して、閲覧用2値画像を生成する。閲覧画像生成部420は、例えば5×5画素の画像領域に含まれる画素の画素値に基づいて、しきい値を上下に変動させる。閲覧画像生成部420は、符号生成部46の閲覧画像符号化部460、及び論理演算部44に対して、生成された閲覧用2値画像を出力する。
検知画像生成部422は、多値画像から検知用2値画像を生成する。検知画像生成部422は、閲覧画像生成部420における所定の範囲内より狭い範囲内の画素値の濃度に応じて、2値化のしきい値を変動させて、多値画像に対して2値化処理を施す。閲覧画像生成部420は、より狭い範囲内の画素値に応じてしきい値を変動するので、検知用2値画像では、閲覧用2値画像と比べて、例えば顔の表情のシワなど細い線が残されやすくなり、物体の陰影がより強調される。検知画像生成部422は、例えば3×3画素の画像領域に含まれる画素の画素値に基づいて、しきい値を上下に変動させる。検知画像生成部422は、論理演算部44に対して、生成された検知用2値画像を出力する。
なお、多値画像が、カラー画像を構成する複数の色成分画像を有する場合には、2値画像生成部42の閲覧画像生成部420及び検知画像生成部422は、色成分画像それぞれにおいて、浮動2値化処理を施す。
また、2値画像生成部42による浮動2値化処理については、後で詳述する。
論理演算部44は、閲覧画像生成部420により生成された閲覧用2値画像と、検知画像生成部422により生成された検知用2値画像とに基づいて、確認画像を生成する。より具体的には、論理演算部44は、閲覧画像生成部420により生成された閲覧用2値画像と、検知画像生成部422により生成された検知用2値画像とを論理演算し、論理2値画像を生成して、確認画像とする。例えば、論理演算部44は、閲覧用2値画像と検知用2値画像とで対応する画素のいずれか一方の画素値が黒で、他方の画素値が白である場合には、その画素の画素値を黒とし、両方の画素値が黒又は白である場合には、その画素の画素値を白として、閲覧用2値画像と検知用2値画像との差分画像を生成し、生成された差分画像を確認画像とする。論理演算部44は、符号生成部46の検知画像符号化部462に対して、確認画像を出力する。
なお、論理演算部44による論理演算処理については、後で詳述する。
符号生成部46は、2値画像生成部42により生成された閲覧用2値画像と、論理演算部44により生成された2値の確認画像とを、異なる手法を用いて符号化する。より具体的には、符号生成部46は、JBIG2に規定されるテキスト領域符号化あるいはジェネリック領域符号化を適用して、閲覧用2値画像を符号化し、JBIG2に規定されるリファインメント符号化を適用して、2値の確認画像を符号化する。符号生成部46は、これらの符号化されたデータから符号データを生成して、通信装置22に対して出力し、又は記録装置24に保存する。
なお、テキスト領域符号化、リファインメント符号化等は、後で詳述する。
符号生成部46の閲覧画像符号化部460は、JBIG2に規定されるテキスト領域符号化あるいはジェネリック領域符号化を適用して、閲覧用2値画像を符号化する。
検知画像符号化部462は、JBIG2に規定されるリファインメント符号化を適用して、確認画像(論理2値画像)を符号化する。
図3は、2値画像生成部42によりなされる浮動2値化処理を説明する図であって、図3(A)は、入力画素値と浮動しきい値との関係を例示し、図3(B)は、閲覧画像生成部420により生成される閲覧用2値画像を例示し、図3(C)は、検知画像生成部422により生成される検知用2値画像を例示し、図3(D)は、論理演算部44により生成される確認画像を例示する。
図3(A)に例示するように、画素値が、走査方向に従って入力されると、浮動しきい値は、閲覧画像生成部420又は検知画像生成部422により、上下に変動される。閲覧画像生成部420は、所定の範囲に含まれる画素の画素値に応じて、浮動しきい値を変動させるので、浮動しきい値(広範囲)は、入力画素値の明暗に追従するように、上下に変動する。
検知画像生成部422は、閲覧画像生成部420における所定の範囲より狭い範囲に含まれる画素の画素値に応じて、浮動しきい値を変動させるので、浮動しきい値(狭範囲)は、入力画素値に対して、浮動しきい値(広範囲)より速く追従するように変動し、変動幅は、閲覧画像生成部420における変動幅より大きくなる。
図3(B)に例示するように、閲覧用2値画像では、わずかな画素値の明暗、細い線等は、除去され、閲覧用2値画像は、閲覧に適した2値画像となる。
一方、図3(C)に例示するように、検知用2値画像では、細い線等が残され、わずかな画素値の明暗も、黒と白とにより表現されて残される。このため、検知用2値画像は、より細かな情報を含む2値画像となる。
図3(D)に例示するように、確認画像は、閲覧用2値画像と検知用2値画像とで値が異なる画素の画素値を黒とし、値が等しい画素の画素値を白として、論理演算部44により生成される。
なお、論理演算部44において、論理演算は、本例の演算に限定されず、論理積(AND)演算、論理和(OR)演算、排他的論理和(XOR)、差分演算等であってもよい。
図4は、閲覧画像符号化部460によりなされるテキスト領域符号化を例示する図であって、図4(A)は、閲覧画像符号化部460に入力される閲覧用2値画像を例示し、図4(B)は、閲覧画像符号化部460により作成される画像辞書を例示し、図4(C)は、テキスト領域符号化後のデータを例示する。
図4(A)に例示するように、閲覧用2値画像は、黒と白の2値で構成され、細線等は、除去されている。
図4(B)に例示するように、閲覧画像符号化部460は、閲覧用2値画像に含まれる類型的なパターンを画像辞書に登録し、パターンそれぞれに対して、これらのパターンを識別するインデクスを付与して、画像辞書を完成させる。
図4(C)に例示するように、閲覧画像符号化部460は、登録されたパターンと、閲覧用2値画像の各色成分画像に含まれるパターンとを比較して、インデクスと位置とを対応させたデータを生成し、符号化する。
また、閲覧画像符号化部460は、JBIG2に規定されるジェネリック領域符号化により、図4(A)に例示される閲覧用2値画像を符号化してもよい。ジェネリック領域符号化は、閲覧用2値画像を、画像辞書等を作成することなく符号化する方式である。より具体的には、ジェネリック領域符号化は、局所的な画素の並びの統計(例えば、コンテクスト)を利用して、入力画像を符号化する。
次に、JBIG2に規定されるリファインメント領域について説明する。
JBIG2は、領域の復号結果である画像を置く2種類のバッファを規定する。バッファの1つはページバッファであり、復号器の出力となるバッファである。他方は補助バッファであり、中間的なデータを置くバッファである。テキスト領域、ジェネリック領域など全ての領域は、中間属性を有することができる。領域が中間属性を有する場合、復号結果はページバッファではなく、補助バッファに配置される。補助バッファに配置された領域は、後述のリファインメント領域を使用することにより、ページバッファに描画されることができる。その際、補助バッファの領域は、ページバッファに単に描画されることもできるし、画像に変更を加えた上でページバッファに描画されることもできる。
検知画像符号化部462は、中間属性を有する領域において確認画像を符号化し、リファインメント領域を使用することにより復号化されうるデータを生成する。
図5は、符号化プログラム4による符号化処理(S10)を示すフローチャートである。
図5に示すように、ステップ100(S100)において、多値データ受付部40は、多値画像データが入力されると、多値画像データを各色成分のラスタデータに変換し、このラスタデータにスクリーン処理を施して、閲覧画像生成部420及び検知画像生成部422に対して出力する。
閲覧画像生成部420は、多値データ受付部40から入力された多値画像につき所定の範囲内の画素値の濃度に応じて、2値化のしきい値を変動させて、多値画像に対して2値化処理を施し、閲覧用2値画像を生成する。閲覧画像生成部420は、閲覧画像符号化部460及び論理演算部44に対して、生成された閲覧用2値画像を出力する。
ステップ102(S102)において、検知画像生成部422は、閲覧画像生成部420における所定の範囲内より狭い範囲内の画素値の濃度に応じて、2値化のしきい値を変動させて、多値データ受付部40から入力された多値画像に対して2値化処理を施し、検知用2値画像を生成する。検知画像生成部422は、論理演算部44に対して、生成された検知用2値画像を出力する。
ステップ104(S104)において、論理演算部44は、閲覧画像生成部420により生成された閲覧用2値画像と、検知画像生成部422により生成された検知用2値画像とを論理演算して、2値の確認画像(論理2値画像)を生成する。論理演算部44は、検知画像符号化部462に対して、生成された2値の確認画像を出力する。
ステップ106(S106)において、閲覧画像符号化部460は、テキスト領域符号化あるいはジェネリック領域符号化を適用して、閲覧用2値画像を符号化する。
ステップ108(S108)において、検知画像符号化部462は、2値の確認画像を、リファインメント符号化する。
ステップ110(S110)において、符号生成部46は、閲覧画像符号化部460及び検知画像符号化部462により符号化されたデータそれぞれを含む符号データを生成して、通信装置22に対して出力し、又は記録装置24に保存する。
図6は、制御装置20により実行され、本発明にかかる復号化方法を実現する復号化プログラム5の機能構成を示す図である。
図6に示すように、復号化プログラム5は、符号データ受付部50、復号化部52及び合成部54を含み、復号化部52は、閲覧画像復号化部520及び検知画像復号化部522を含む。
なお、復号化プログラム5の全部又は一部の機能は、プリンタ装置10に設けられた例えばASICなどのハードウェアにより実現されてもよい。
復号化プログラム5において、符号データ受付部50は、通信装置22又は記録装置24を介して、異なる手法を適用して符号化された複数の画像データを含む符号データを受け付け、復号化部52に対して、これらの画像データを出力する。より具体的には、符号データ受付部50は、異なる手法を適用して符号化された閲覧用2値画像と2値の確認画像とを含む符号データを受け付け、復号化部52の閲覧画像復号化部520に対して閲覧用2値画像を出力し、検知画像復号化部522に対して2値の確認画像(論理2値画像)を出力する。ここで、閲覧用2値画像は、JBIG2に規定されるテキスト領域又はジェネリック領域で符号化された画像であり、2値の確認画像は、リファインメント符号化を適用して符号化された画像である。
復号化部52は、符号データ受付部50から入力された画像データそれぞれを、異なる手法により復号化し、合成部54に対して、符号化されたデータそれぞれを出力する。より具体的には、復号化部52は、テキスト領域復号化又はジェネリック領域復号化を適用して、閲覧用2値画像を復号化し、リファインメント符号化を適用して、2値の確認画像を復号化する。
なお、復号化部52は、画像の閲覧及び改ざん検知等に応じて、閲覧用2値画像のみを復号化してもよいし、2値の確認画像のみを検知してもよい。
復号化部52の閲覧画像復号化部520は、復号化部52の制御により、テキスト領域復号化又はジェネリック領域復号化を適用して、符号データ受付部50から入力された閲覧用2値画像を復号化を復号化し、合成部54に対して閲覧用2値画像を出力する。また、閲覧画像復号化部520は、閲覧用2値画像を、通信装置22に対して出力し、又は記録装置24に保存してもよい。
検知画像復号化部522は、復号化部52の制御により、リファインメント復号化を適用して、2値の確認画像を復号化し、合成部54に対して2値の確認画像を出力する。また、検知画像復号化部522は、2値の確認画像を、通信装置22に対して出力し、又は記録装置24に保存してもよい。
なお、リファインメント復号化については、後で詳述する。
合成部54は、閲覧画像復号化部520により復号化された閲覧用2値画像(図3(B))と、検知画像復号化部522により復号化された2値の確認画像(図3(D))とを合成して、検知用2値画像(図3(C))を生成する。より具体的には、合成部54は、符号化プログラム4(図2)の論理演算部44によりなされた演算に対応する演算をして、検知用2値画像を生成する。例えば、合成部54は、閲覧用2値画像と確認画像とで対応する画素のいずれか一方の画素値が黒で、他方の画素値が白である場合には、その画素の画素値を黒とし、両方の画素値が黒又は白である場合には、その画素の画素値を白として、検知用2値画像を生成する。合成部54は、生成された検知用2値画像を、通信装置22に対して出力し、又は記録装置24に保存する。
なお、合成部54において、論理演算は、符号化プログラム4の論理演算部44に対応する演算であればよく、本例の演算に限定されず、論理積(AND)演算、論理和(OR)演算等であってもよい。
図7は、リファインメント復号化を説明する図であって、図7(A)は、中間属性のある領域の復号化を示し、図7(B)は、補助バッファの領域とリファインメント復号化との関係を示し、図7(C)は、ページバッファとリファインメント復号化との関係を示す。
図7(A)に示すように、領域が中間属性を有する場合には、復号結果はページバッファではなく、補助バッファに配置される。補助バッファに置かれた領域は、リファインメント領域を使用して、ページバッファに描画されうる。補助バッファの領域は、そのままページバッファに描画されてもよいし、画像に変更を加えながらページバッファに描画されてもよい。
図7(B)に示すように、補助バッファの領域に対してリファインメント領域の復号がなされると、補助バッファに配置される画像が利用されて、ページバッファに描画される。
図7(C)に示すように、ページバッファに対してリファインメント領域の復号がなされると、ページバッファの画像が利用されてページバッファに描画される。
なお、補助バッファの領域は、画像を変更することなく利用されて、そのままページバッファに描画されてもよい。
このように、合成部54は、ページバッファと補助バッファを利用して、閲覧用2値画像と2値の確認画像とを合成する。
図8は、復号化プログラム5による復号化処理(S20)を示すフローチャートである。
図8に示すように、ステップ200(S200)において、符号データ受付部50は、符号化された閲覧用2値画像と2値の確認画像とを含む符号データを受け付け、閲覧画像復号化部520に対して閲覧用2値画像を出力し、検知画像復号化部522に対して2値の確認画像を出力する。
ステップ202(S202)において、閲覧画像復号化部520は、テキスト領域復号化又はジェネリック領域復号化を適用して、符号データ受付部50から入力された閲覧用2値画像を復号化し、合成部54に対して、この閲覧用2値画像を出力する。また、閲覧画像復号化部520は、記録装置24等に対して閲覧用2値画像を出力する。
ステップ204(S204)において、検知画像復号化部522は、リファインメント復号化を適用して、2値の確認画像(論理2値画像)を復号化し、合成部54に対して、この確認画像を出力する。また、検知画像復号化部522は、記録装置24等に対して確認画像を出力する。
なお、画像の閲覧時には、検知画像復号化部522は、確認画像を復号して出力しなくてもよい。
ステップ206(S206)において、合成部54は、閲覧画像復号化部520により復号化された閲覧用2値画像と、検知画像復号化部522により復号化された2値の確認画像とを合成して、検知用2値画像を生成する。合成部54は、記録装置24等に対して、生成された検知用2値画像を出力する。
以上説明したように、本実施形態にかかる符号化装置2は、異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成し、生成された複数の2値画像に基づいて確認画像を生成し、生成された少なくとも1つの2値画像と前記確認画像生成手段により生成された確認画像とを異なる手法を用いて符号化するので、文書の見読性と改ざん検知性とを備えて、文書を符号化することができる。また、符号化装置2は、多値画像から閲覧用2値画像及び検知用2値画像を生成し、これらの画像を論理演算して2値の確認画像を生成するので、文書の閲覧及び改ざん検知が高速になされうる文書データを生成することができる。さらに、符号化装置2は、JBIG2に規定されるテキスト領域符号化又はジェネリック領域符号化を適用して、閲覧用2値画像を符号化し、リファインメント符号化を適用して、2値の確認画像を符号化するので、効率よくかつ高速に、符号化処理を行うことができる。
また、本実施形態にかかる復号化装置3は、異なる手法を適用して符号化された複数の画像データを含む符号データを受け付け、この符号データに含まれる画像データそれぞれを異なる手法により復号化し、復号化された結果を合成するので、閲覧時及び改ざん検知時の処理速度を向上させることができる。また、復号化装置3は、受け付けられた符号データに含まれる閲覧用2値画像及び2値の確認画像を復号化するので、見読性のある文書を復号化することができ、改ざん検知性を向上したデータを復号することができる。さらに、復号化装置3は、JBIG2に規定されるテキスト領域復号化又はジェネリック領域復号化を適用して、閲覧用2値画像を復号化し、リファインメント復号化を適用して、2値の確認画像を復号化するので、効率よくかつ高速に復号化処理を行うことができる。
次に、本発明の第2の実施形態にかかる符号化装置2及び復号化装置3を説明する。
本実施形態は、符号化処理において、検知用2値画像が、多値画像を2値網点化することにより生成される点で、第1の実施形態と異なる。
図9は、本実施形態にかかる符号化プログラム4の検知画像生成部422によりなされる検知用2値画像生成処理を説明する図である。
図9に示すように、検知画像生成部422は、多値データ受付部40から入力された多値画像の所定の範囲内の画素値の濃度に応じて、2値網点画像を生成して検知用2値画像とする。
より具体的には、検知画像生成部422は、多値画像の所定の範囲の濃度値(階調値)に対応する2値の網点画像に基づいて、検知用2値画像を生成する。網点の大きさは、濃度値に対応している。このようにして、検知画像生成部422は、多値画像から、擬似的に階調表現しうる2値の網点画像を構成し、検知用2値画像とする。
以上説明にしたように、本実施形態にかかる符号化装置2は、多値画像の所定の範囲内の画素値の濃度に応じて、2値網点画像を生成して検知用2値画像とするので、効率よく符号化することができる。また、改ざん検知時においても、復号化プログラム5が、2値網点画像を出力するので、文書が改ざんされているか否かの検知が、容易になされることができる。
なお、符号化装置2は、生成された閲覧用2値画像及び検知用2値画像の少なくとも一方に、タイムスタンプ情報等を埋め込んでもよい。符号化装置2は、例えば文書の作成日時又は発行日時のタイムスタンプ情報を、改ざん検知データとして、画像の下地等に埋め込む。符号化装置2は、例えば、画像の下地に、人間に視覚されない画像パターンを埋め込むことにより、タイムスタンプ情報を埋め込む。
また、復号化装置3は、合成して生成された検知用2値画像を、例えば記録装置24に原本としてあらかじめ記憶されている画像データから生成された検知用2値画像と比較することにより、文書が改ざんされているか否かを検知してもよい。復号化装置3は、改ざん検知時において、復号された2値の確認画像(論理2値画像)を、あらかじめ記憶されている画像データから生成された2値の確認画像と比較することにより、文書の改ざんを検知してもよい。さらに、復号化装置3は、閲覧用2値画像及び検知用2値画像に埋め込まれているタイムスタンプ情報を用いて、文書の改ざんを検知してもよい。
本発明にかかる符号化方法及び復号化方法が適応される符号化装置2及び復号化装置3のハードウェア構成を、制御装置20を中心に例示する図である。 制御装置20により実行され、本発明にかかる符号化方法を実現する符号化プログラム4の機能構成を示す図である。 本発明の第1の実施形態において、2値画像生成部42によりなされる浮動2値化処理を説明する図であって、図(A)は、入力画素値と浮動しきい値との関係を例示し、図3(B)は、閲覧画像生成部420により生成される閲覧用2値画像を例示し、図3(C)は、検知画像生成部422により生成される検知用2値画像を例示し、図3(D)は、論理演算部44により生成される確認画像を例示する。 閲覧画像符号化部460によりなされるテキスト領域符号化を例示する図であって、図4(A)は、閲覧画像符号化部460に入力される閲覧用2値画像を例示し、図4(B)は、閲覧画像符号化部460により作成される画像辞書を例示し、図4(C)は、テキスト領域符号化後のデータを例示する。 符号化プログラム4による符号化処理(S10)を示すフローチャートである。 制御装置20により実行され、本発明にかかる復号化方法を実現する復号化プログラム5の機能構成を示す図である。 リファインメント復号化を説明する図であって、図7(A)は、中間属性のある領域の復号化を示し、図7(B)は、補助バッファの領域とリファインメント復号化との関係を示し、図7(C)は、ページバッファとリファインメント復号化との関係を示す。 復号化プログラム5による復号化処理(S20)を示すフローチャートである。 本発明の第2の本実施形態において、符号化プログラム4の検知画像生成部422によりなされる検知用2値画像生成処理を説明する図である。
符号の説明
2・・・符号化装置
20・・・制御装置
202・・・CPU
204・・・メモリ
22・・・通信装置
24・・・記録装置
3・・・復号化装置
4・・・符号化プログラム
40・・・多値データ受付部
42・・・2値画像生成部
420・・・閲覧画像生成部
422・・・検知画像生成部
44・・・論理演算部
46・・・符号生成部
460・・・閲覧画像符号化部
462・・・検知画像符号化部
5・・・復号化プログラム
50・・・符号データ受付部
52・・・復号化部
520・・・閲覧画像復号化部
522・・・検知画像復号化部
54・・・合成部

Claims (16)

  1. 異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成する2値画像生成手段と、
    前記2値画像生成手段により生成された複数の2値画像に基づいて、確認画像を生成する確認画像生成手段と、
    前記2値画像生成手段により生成された少なくとも1つの2値画像と、前記確認画像生成手段により生成された確認画像とを、異なる手法を用いて符号化して符号データを生成する符号生成手段と
    を有する符号化装置。
  2. 前記2値画像生成手段は、
    多値画像から閲覧用2値画像を生成する閲覧用画像生成手段と、
    多値画像から検知用2値画像を生成する検知用画像生成手段と
    を有する
    請求項1に記載の符号化装置。
  3. 前記閲覧用画像生成手段は、多値画像の所定の範囲内の画素値の濃度に応じて、2値化のしきい値を変動させる
    請求項2に記載の符号化装置。
  4. 前記検知用画像生成手段は、前記閲覧用画像生成手段における所定の範囲より狭い範囲内の画素値の濃度に応じて、2値化のしきい値を変動させる
    請求項3に記載の符号化装置。
  5. 前記検知用画像生成手段は、多値画像の所定の範囲内の画素値の濃度に応じて、2値網点画像を生成して検知用2値画像とする
    請求項2又は3に記載の符号化装置。
  6. 前記確認画像生成手段は、前記閲覧用画像生成手段により生成された閲覧用2値画像と、前記検知用画像生成手段により生成された検知用2値画像とを論理演算して、2値の確認画像を生成する
    請求項2乃至5のいずれかに記載の符号化装置。
  7. 前記符号生成手段は、
    前記閲覧用画像生成手段により生成された閲覧用2値画像を符号化する閲覧画像符号化手段と、
    前記確認画像生成手段により生成された確認画像を符号化する検知用画像符号化手段と
    を有する
    請求項2乃至6のいずれかに記載の符号化装置。
  8. 前記閲覧画像符号化手段は、JBIG2に規定されるテキスト領域符号化又はジェネリック領域符号化を適用する
    請求項7に記載の符号化装置。
  9. 前記検知用画像符号化手段は、JBIG2に規定されるリファインメント符号化を適用する
    請求項7又は8に記載の符号化装置。
  10. 異なる手法を適用して符号化された閲覧用2値画像と2値の確認画像とを含む符号データを受け付ける受付手段と、
    前記受付手段により受け付けられた符号データに含まれる画像データそれぞれを、異なる手法により復号化する画像復号化手段と、
    前記画像復号化手段により復号化された画像を合成する合成手段と
    を有する復号化装置。
  11. 前記画像復号化手段は、
    前記受付手段により受け付けられた符号データに含まれる閲覧用2値画像を復号化する閲覧画像復号化手段と、
    前記受付手段により受け付けられた符号データに含まれる2値の確認画像を復号化する検知画像復号化手段と
    を有する
    請求項10に記載の復号化装置。
  12. 前記閲覧画像復号化手段は、JBIG2に規定されるテキスト領域復号化又はジェネリック領域復号化を適用する
    請求項11に記載の復号化装置。
  13. 前記検知画像復号化手段は、JBIG2に規定されるリファインメント領域復号化を適用する
    請求項12に記載の復号化装置。
  14. 前記合成手段は、前記閲覧画像復号化手段により復号化された閲覧用2値画像と、前記検知画像復号化手段により復号化された2値の確認画像とを合成する
    請求項12又は13に記載の復号化装置。
  15. 異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成し、
    前記生成された複数の2値画像に基づいて、確認画像を生成し、
    前記生成された少なくとも1つの2値画像と、前記生成された確認画像とを、異なる手法を用いて符号化して符号データを生成する
    符号化方法。
  16. コンピュータを含む符号化装置において、異なる手法を適用して、多値画像から少なくとも2つの2値画像を生成する2値画像生成ステップと、
    前記生成された複数の2値画像に基づいて、確認画像を生成する確認画像生成ステップと、
    前記生成された2値画像と、前記生成された少なくとも1つの2値画像及び前記生成された確認画像とを、異なる手法を用いて符号化して符号データを生成する符号生成ステップと
    を前記符号化装置に実行させるプログラム。
JP2005172037A 2005-06-13 2005-06-13 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム Expired - Fee Related JP4687263B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005172037A JP4687263B2 (ja) 2005-06-13 2005-06-13 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
US11/320,000 US7602939B2 (en) 2005-06-13 2005-12-29 Encoding device, decoding device, encoding method, decoding method, and storage medium storing programs thereof
US12/461,817 US7957602B2 (en) 2005-06-13 2009-08-25 Encoding device, decoding device, encoding method, decoding method, and storage medium storing programs thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005172037A JP4687263B2 (ja) 2005-06-13 2005-06-13 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム

Publications (2)

Publication Number Publication Date
JP2006352213A JP2006352213A (ja) 2006-12-28
JP4687263B2 true JP4687263B2 (ja) 2011-05-25

Family

ID=37524130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005172037A Expired - Fee Related JP4687263B2 (ja) 2005-06-13 2005-06-13 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム

Country Status (2)

Country Link
US (2) US7602939B2 (ja)
JP (1) JP4687263B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010186352A (ja) * 2009-02-12 2010-08-26 Brother Ind Ltd 情報処理装置及び情報処理用プログラム
US20110199633A1 (en) * 2010-02-17 2011-08-18 Nguyen Uoc H Halftone bit depth dependent digital image compression

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324486A (ja) * 1999-05-07 2000-11-24 Sharp Corp 動画像符号化装置
JP2002125115A (ja) * 2000-10-17 2002-04-26 Kowa Co 電子透かしの表示および印刷
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
JP2003087558A (ja) * 2001-09-14 2003-03-20 Fuji Xerox Co Ltd 画像処理装置および方法
JP2003087576A (ja) * 2002-05-13 2003-03-20 Kyowa Denshi Kogyo Kk データの作成方法および作成装置ならびに照合方法およびシステム
JP2003338924A (ja) * 2002-03-14 2003-11-28 Canon Inc 電子透かし抽出方法及び装置及びプログラム及び記憶媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US8144368B2 (en) * 1998-01-20 2012-03-27 Digimarc Coporation Automated methods for distinguishing copies from original printed objects
US5859604A (en) * 1997-01-14 1999-01-12 International Business Machines Corporation Merged VLSI implementation of hardware optimized Q-Coder and software optimized QM-Coder
DE69835133T8 (de) * 1997-12-03 2007-05-16 Kabushiki Kaisha Toshiba, Kawasaki Verfahren zur Bildinformationsverarbeitung und Verfahren zur Verhinderung von Fälschungen von Zertifikaten und dergleichen
EP0940945A3 (en) 1998-03-06 2002-04-17 AT&T Corp. A method and apparatus for certification and safe storage of electronic documents
JP3325243B2 (ja) 1999-09-20 2002-09-17 京セラミタ株式会社 画像処理装置
JP2002354253A (ja) 2001-05-25 2002-12-06 Minolta Co Ltd 画像処理装置およびそのプログラム
US20030210803A1 (en) * 2002-03-29 2003-11-13 Canon Kabushiki Kaisha Image processing apparatus and method
US7206450B2 (en) * 2002-04-25 2007-04-17 Microsoft Corporation Compression of bi-level images with explicit representation of ink clusters
US8036475B2 (en) * 2002-12-13 2011-10-11 Ricoh Co., Ltd. Compression for segmented images and other types of sideband information
US7421581B2 (en) * 2003-09-30 2008-09-02 Graphic Security Systems Corporation Method and system for controlling encoded image production
US8086050B2 (en) * 2004-08-25 2011-12-27 Ricoh Co., Ltd. Multi-resolution segmentation and fill

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324486A (ja) * 1999-05-07 2000-11-24 Sharp Corp 動画像符号化装置
JP2002125115A (ja) * 2000-10-17 2002-04-26 Kowa Co 電子透かしの表示および印刷
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
JP2003087558A (ja) * 2001-09-14 2003-03-20 Fuji Xerox Co Ltd 画像処理装置および方法
JP2003338924A (ja) * 2002-03-14 2003-11-28 Canon Inc 電子透かし抽出方法及び装置及びプログラム及び記憶媒体
JP2003087576A (ja) * 2002-05-13 2003-03-20 Kyowa Denshi Kogyo Kk データの作成方法および作成装置ならびに照合方法およびシステム

Also Published As

Publication number Publication date
JP2006352213A (ja) 2006-12-28
US20090317006A1 (en) 2009-12-24
US20060280332A1 (en) 2006-12-14
US7602939B2 (en) 2009-10-13
US7957602B2 (en) 2011-06-07

Similar Documents

Publication Publication Date Title
US7536026B2 (en) Image processing apparatus and method
US8595503B2 (en) Method of self-authenticating a document while preserving critical content in authentication data
JP5118360B2 (ja) 原稿認証方法、プログラム及びデータ処理装置
Kim et al. Separable reversible data hiding in encrypted halftone image
JP5253352B2 (ja) 文書内にメッセージを埋め込む方法、及び距離場を使用して文書内にメッセージを埋め込む方法
US7394573B1 (en) System for authenticating hardcopy documents
WO2005094058A1 (ja) 印刷媒体の品質調整システム,検査用透かし媒体出力装置,透かし品質検査装置,調整済透かし媒体出力装置,印刷媒体の品質調整方法,および検査用透かし媒体
KR20040089557A (ko) 워터마크 삽입 영역을 적응적으로 선택하는 비디오시퀀스의 워터마킹 방법, 대응하는 검출 방법, 장치,데이터 반송파 및 컴퓨터 프로그램
JP2005520426A (ja) 階調表現を用いた二値文書の電子透かし
JP4364809B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JPWO2008035401A1 (ja) 電子透かし埋め込み装置および検出装置
US7006256B2 (en) Watermarked image generator and method of embedding watermarks into an input image
JP2006074339A (ja) 符号化装置、復号化装置、符号化方法、復号化方法、及びこれらのプログラム
JP4687263B2 (ja) 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
US6804373B1 (en) Method and system using renormalized pixels for public key and compressed images watermarks on prints
JP2007074362A (ja) 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
JP2007081595A (ja) 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
JP2005142969A (ja) 画像処理システム
JP2006303807A (ja) 電子透かし埋め込み装置、電子透かし埋め込み方法、その方法をコンピュータに実現するプログラム、そのプログラムを記録した機械読取可能な記録媒体および印刷物
JP2006352214A (ja) 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
JP4753007B2 (ja) 画像符号化装置、画像復号化装置及びこれらのプログラム
JP4144511B2 (ja) 画像処理システム
JP4753006B2 (ja) 画像符号化装置、画像復号化装置及びこれらのプログラム
Talwar et al. Secure Text Hiding Method in Image Processing using Enhanced MSB Technique
Fu et al. A set of mutually watermarked halftone images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101029

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110131

R150 Certificate of patent or registration of utility model

Ref document number: 4687263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees