JP3805172B2 - 画像処理装置及び方法及び記憶媒体 - Google Patents

画像処理装置及び方法及び記憶媒体 Download PDF

Info

Publication number
JP3805172B2
JP3805172B2 JP2000143208A JP2000143208A JP3805172B2 JP 3805172 B2 JP3805172 B2 JP 3805172B2 JP 2000143208 A JP2000143208 A JP 2000143208A JP 2000143208 A JP2000143208 A JP 2000143208A JP 3805172 B2 JP3805172 B2 JP 3805172B2
Authority
JP
Japan
Prior art keywords
image
data
image data
bit plane
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000143208A
Other languages
English (en)
Other versions
JP2001169093A (ja
JP2001169093A5 (ja
Inventor
恵市 岩村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000143208A priority Critical patent/JP3805172B2/ja
Priority to US09/660,444 priority patent/US7606426B1/en
Publication of JP2001169093A publication Critical patent/JP2001169093A/ja
Publication of JP2001169093A5 publication Critical patent/JP2001169093A5/ja
Application granted granted Critical
Publication of JP3805172B2 publication Critical patent/JP3805172B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09CCIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • H04N1/32213Modulating the least significant bits of pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32277Compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0083Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル画像データを処理する画像処理装置及び方法に関し、特にデジタル画像データへ電子透かしを埋め込むことにより著作権の保護、画像改竄防止、各種情報記録等を行う画像処理装置及び方法と記憶媒体に関するものである。
【0002】
【従来の技術】
近年、画像をデジタルデータ(デジタル画像データ)として扱うことが多くなってきている。デジタル画像データは、画質が劣化することなく、簡単にコンピュータなどを用いてコピーされたり、通信回線を介して伝送されたりする。
【0003】
よって、上記デジタル画像データは安易に不正コピーされ、再配布される恐れがある。これらの行為を抑止するための方法として電子透かし技術が知られている。
【0004】
電子透かし技術には、大きく分類して著作権情報、利用者情報等の透かし情報を人間の目に識別しにくい形で埋め込む不可視の電子透かし技術と、その画像の著作権を保有する会社のロゴ等の透かし画像を、その画像上に人間の目に識別し可能な形で形成する可視の電子透かし技術がある。
【0005】
不可視の電子透かし技術にて画像に電子透かし情報が埋め込まれた場合には、この透かし情報が埋め込まれているかどうかは、その埋め込み画像を一見しただけでは識別できない。従って、透かし情報の削除は行われにくいが、一方で不正コピーや不正配布は可視の電子透かし技術に比べて行われ易い。
【0006】
但し、例えデジタル画像データが不正にコピー又は配布された場合には、そのデジタル画像データ中には透かし情報が残っている可能性が高いので、電子透かし情報として埋め込まれたユーザID等を抽出することにより、不正ユーザを特定できる。
【0007】
なお、埋め込まれた電子透かし情報を抽出する為には、この電子透かし情報が画像中のどの位置に埋め込まれているかを示す情報、又はその関連情報(埋め込み位置が乱数的に定まっている場合、その乱数発生のための初期値など)は、この電子透かし情報を抽出のための『鍵』情報として特定の装置或いは人が秘密に保持しておかなければならない。
【0008】
上記不可視の電子透かしの代表的なものとしては、入力画像に対し高速フーリエ変換、離散コサイン変換、ウェーブレット変換等の周波数変換を行い、ある周波数領域に埋め込む手法や、パッチワークと呼ばれる空間領域に直接埋め込む手法などが知られている。また、画像中の各画素値を表す下位ビット(例えば最下位ビット)に情報を埋め込むことも知られている。
【0009】
一般に、不可視の電子透かしはそのままでオリジナル画像と同様の価値で利用できる。また、不正利用を追跡するために埋め込まれだ情報は画像から除去されにくい。よって不可視の電子透かし情報の埋め込み処理は非可逆な画像処理であるとも言える。
【0010】
一方、可視の電子透かし技術にて画像に電子透かし情報が埋め込まれた場合には、この電子透かし情報はデジタル画像上に目で見える形で埋め込まれており、そのままではオリジナル画像と同様の価値で利用しにくい。よって不正コピー、不正配布という行為を抑制することができる。
【0011】
上記可視型の電子透かし情報の埋め込み方法としては、著作権所有者のロゴ等を表した画像の各画素値を、オリジナル画像中の指定領域の画素値の第mビット目の値と置換することにより、その著作権情報をオリジナル画像に貼り込むといった手法がある。図1を参照して説明すると、このmビット目とは、画素値の最下位ビットを第0ビットとした場合における、比較的上位のビット位置(最上位に近いビット位置)に相当しており、即ち人間の目に識別可能なビット位置に相当する。図1において、101はオリジナル画像を示し、102はその画像を構成する任意の1画素を示し、103はこの画素102の画素値のビット構成を示している。
【0012】
このような可視の電子透かし情報が埋め込まれた画像を、本来のオリジナル画像として利用したい場合には上記電子透かし情報を取り除いて、オリジナル画像を復元する必要がある。例えばそのためには、置換前の画像(オリジナル画像)の第mビット目の値を鍵情報として秘密に保持しておき、オリジナル画像に復元する際に、その鍵情報に相当する値をその電子透かし情報を埋め込んだ画像の画素値に再度置換する。
【0013】
一般的には可視の電子透かし情報は上述した様な可逆変換を実現することが好ましい。しかしながら、可逆変換を達成しようとすると、例えば可視の電子透かし情報を埋め込む画像の指定領域がオリジナル画像の大部分を占める場合には、別に保持するべき上記鍵情報のデータ量が非常に大きくなってしまうという問題がある。
【0014】
上記従来の可視の電子透かし技術に対する対処方法の一つとして、例えば図2に示すように、上述の鍵情報を不可視の透かし情報として画像に埋め込み、鍵情報の保持による全体的なデータ量の増加を抑制することが考えられる。例えば、上述した可視透かしの鍵情報を第0ビット目に置換する(元の第0ビット目は削除)する様にすれば、その第0ビット目は最下位ビットであるので人間の目に識別しにくく鍵情報を埋め込むことができると共に、全体的なデータ量の増加も抑制することができる。しかしながら、この様にすると完全な可逆変換を実現できないことになる。
【0015】
【発明が解決しようとする課題】
従来、不可視の電子透かし技術を用いて電子透かし情報をオリジナル画像に埋め込んだ場合には、埋め込み後に得られた画像から完全なオリジナル画像を復元することは困難であった。
【0016】
また一方、可視の電子透かし情報をオリジナル画像に埋め込んだ場合には、埋め込み後に得られた画像から完全なオリジナル画像を復元する為には、この電子透かし情報を除去するために必要となる鍵情報が必要となり、この鍵情報の保持による全体的な画像データ量の増大が起こるという問題が有った。
【0017】
本発明は上記問題点に鑑みてなされたものであり、本発明は上記問題点に鑑みてなされたものであり、透かし情報が埋め込まれた画像を復元可能とし、かつ復元の際に用いる鍵情報の保持による全体的な画像データの増大等を回避する技術を提供することを主な目的とする。
【0018】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置によれば、オリジナル画像を表し、かつ複数個のビットプレーンにより構成される画像データを入力する入力手段と、前記画像データの少なくとも第2のビットプレーンのデータを圧縮する圧縮手段と、前記圧縮手段で圧縮された圧縮データを、前記画像データの第1のビットプレーンに埋め込む第1の埋め込み手段を有することを特徴とする。
また、上記目的を達成するために本発明の画像処理装置によれば、画像データからオリジナル画像を復元させる画像処理装置であって、前記画像データの第1のビットプレーンに埋め込まれた圧縮情報を抽出する抽出手段と、前記抽出手段で抽出された圧縮情報を伸張する伸張手段と、前記伸張手段により得られた前記オリジナル画像の第2のビットプレーンを構成するデータを、前記画像データの第2のビットプレーンと置換する置換手段を有することを特徴とする。
【0019】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0020】
(第1の実施の形態)
図3は、本実施の形態に係る画像処理装置の構成を示すブロック図である。
【0021】
201は装置全体の動作を制御するCPUで、このCPU201は例えばマイクロプロセッサ等で構成され、プログラムメモリ202に記憶された制御プログラムに従って各種制御を実行している。203は表示部で、例えばCRTや液晶などを備え、各種画像やオペレータへのメッセージを表示するのに使用される。
【0022】
204は画像入力部で、このような画像入力部としては、例えばスキャナやカメラなどの画像入力部であっても、或は通信回線などのからの画像データを受信して取り込むインターフェース部であってもよい。205は入力部で、例えばキーボードやマウスなどを有し、オペレータにより操作されて、この画像処理装置への各種データや命令などを入力するのに使用される。206はハードディスクやCD-ROM,MO等の外部記憶部で、各種画像データや電子透かし情報を保存する為に使用される。
【0023】
またこの外部記憶部206には各種プログラムが記憶されており、このプログラムがプログラムメモリ202にロードされることによりCPU201により実行され、そのプログラムに基づく装置内の制御が行われる。207は画像メモリで、入力した画像データ等を記憶するのに使用される。208は通信インターフェース部で、LAN或は通信回線等を介して、他の機器やプリンタ等の出力装置と接続されている。
【0024】
図4は、本実施の形態で適用する画像処理装置が実行する電子透かし埋め込み処理を説明する為のフローチャートであり、図5はそれに対応するオリジナル画像の復元処理を説明する為のフローチャートである。
【0025】
本実施の形態は、図10の概念図に示される様に、画像中の指定された領域について、この領域内の各画素値を表す第mビット目のデータ(ビットプレーン)と、ロゴ等の著作権情報を表した可視の電子透かし情報(ビットプレーン)とを置換することにより、可視の電子透かし情報を埋め込み、その置換された第mビット目のデータと第0ビット目のデータとを合成したデータを不可視の電子透かし情報として、第0ビット目に埋め込む為の技術を説明するものである。これにより、上記可視透かしが埋め込まれた画像のデータ量はオリジナル画像と同じにでき、かつ、上記画像から完全にオリジナル画像を復元することが可能である。以下詳しく説明する。
【0026】
図4において、先ず301において、可視の電子透かし情報が埋め込まれるべき位置相当する第mビット目のデータ(ビットプレーン)と、不可視の電子透かし情報が埋め込まれるべき位置に相当する第0ビット目のデータ(ビットプレーン)を一部に含む画像データ(オリジナル画像を表す画像データ)を生成する。
【0027】
次に302において、上記画像データを可逆的に圧縮する。これは後に完全なオリジナル画像を復元する為に重要な特徴である。なお、本実施の形態では、上記第mビット目のデータと第0ビット目のデータとを圧縮するものとして説明する。従って、ここで得られる圧縮画像データは2つのビットプレーン分の圧縮画像データである。
【0028】
次に303において、上記圧縮された画像データを、上記指定領域における各画素値の第0ビット目(ビットプレーン)に不可視の電子透かし情報として埋め込む。不可視の電子透かし情報として埋め込むとは、人間の目に識別しにくく埋め込むことに相当する。一方で可視の電子透かし情報として埋め込むとは、人間の目に識別可能に埋め込むことに相当する。
【0029】
尚、302の可逆圧縮処理における圧縮率は、第mビット目と第0ビット目からなる画像データ(ビットプレーン)を圧縮して得られたデータが、303において上記一方に相当する第0ビット目のビットプレーンに埋めこまれなければならないことを考慮すると、50%以下になる必要がある。
【0030】
この可逆圧縮の手法としては、例えばJPEG−LSやLZW(Lempel-Ziv-Welch)法や算術符号化等が考えられる。また、303における不可視の電子透かし情報の埋め込みにおいて、『埋め込み位置が第0ビット目であること』を示す情報が鍵情報1となる。最後に304では、上述した第mビット目(ビットプレーン)と可視の電子透かし情報(ビットプレーン)とを置換することにより、指定領域の画素値に可視の電子透かし情報が埋め込まれる。
【0031】
なお、上記可逆圧縮において、オリジナル画像の内容によっては、第mビット目と第0ビット目からなる画像データを50%以下に可逆圧縮できない場合も考えられる。これは第mビット目付近の上位ビットは統計的予測を利用して高圧縮率で可逆圧縮できるが、第0ビット目付近の下位のビットプレーンは同様の高圧縮率で可逆圧縮できないことが主な理由である。この場合には、第mビット目のビットプレーン優先的に可逆圧縮し、第0ビット目のビットプレーンは非優先的に可逆圧縮することにより本発明に類する目的を達成することとする。これにより画像の概略(第mビット目に相当する上位ビット)は完全に保つことができると共に、下位ビットも出来るだけ保存できるという効果が有る。
【0032】
次に図5を参照して、上記電子透かし情報が埋め込まれた画像をオリジナル画像へ復元する処理を説明する。
【0033】
図5によるオリジナル画像への復元処理では、まず401において、上述した鍵情報1を用いて、指定領域の画素値の第0ビット目(ビットプレーン)から不可視の電子透かし情報である圧縮画像データを抽出する。
【0034】
次に402において、その圧縮画像データを圧縮時と逆のアルゴリズムを用いて伸長し、オリジナル画像の指定領域を構成する為の第mビット目と第0ビット目の画像データ(ビットプレーン)を復元する。最後に403において、第mビット目に埋め込まれていた、ロゴ等の著作権情報に相当する可視の電子透かし情報(ビットプレーン)と、オリジナル画像を構成する上記第mビット目のビットプレーンとを置換することにより可視の電子透かし情報を除去する。更に上記伸張により得られた第0ビット目のビットプレーンを、圧縮画像データと置換することにより不可視の電子透かし情報も除去する。以上の処理により完全なオリジナル画像が復元できる。
【0035】
尚、本発明の思想は上述した場合に限らず、種々の応用が可能である。
【0036】
例えば、不可視の電子透かし情報として画像の一部に埋め込む為の圧縮画像データは、オリジナル画像全体を可逆圧縮したものになる様にしても良い。この場合、図4における302ではオリジナル画像全体を可逆圧縮することになる。また、この可逆圧縮としては、不可視の電子透かし情報として圧縮画像データを埋め込む対象の画像データ量以下に圧縮できる手法であれば良い。
【0037】
また、303における不可視の電子透かし情報の埋め込みと、304における可視の電子透かし情報の埋め込みは、互いに影響を及ぼし合わない/影響が微少であれば、夫々任意の方法を適用して良い。また場合によっては、これら可視/不可視の電子透かし情報を埋め込む順序(303と304の処理手順)を入れ替えることも可能である。
【0038】
以下に上記順序の入れ替えが可能な、本実施の形態とは異なるアルゴリズムの例を簡単に示す。本発明は下記の方法にも適用可能である。
【0039】
例えば、各成分が複数ビットであるRGB成分で構成されるカラー画像がオリジナル画像であった場合に適用できる。ここでは、可視の電子透かし情報を埋め込む対象をR成分とし、不可視の電子透かし情報を埋め込む対象をB成分に設定するものとする。
【0040】
具体的には、R成分の画像データの一部(R成分の第mビット目のビットプレーン)を、ロゴ等の著作権情報を視覚的に表す画像データに置換することにより、可視の電子透かし情報を埋め込む。またオリジナル画像は輝度、色度成分に分離してからJPEG−LSで可逆圧縮する等により、元のB成分よりも少ないデータ量の圧縮画像データを作成しておき、この圧縮画像データをB成分のできるだけ下位のビットプレーンに埋め込むこととする。
【0041】
なお、不可視の電子透かし情報の埋め込み方法としては、上述した画素値を置換する様な空間的な電子透かし情報の埋め込みに限らず、不可視の電子透かし情報を埋め込む対象となる画像データ(B成分)の周波数成分へ埋め込むことにより不可視の電子透かし処理を実現しても良い。
【0042】
また、オリジナル画像全ての情報がB成分に埋め込まれていることを考慮すると、可視の電子透かし情報(ロゴ等)の埋め込みの為の画像データの変換は、R成分全てに施すことも可能である。
【0043】
上述したRGBのカラーオリジナル画像への電子透かし情報の埋め込みに対応する、オリジナル画像の復元方法を説明する。
【0044】
図5における401において、B画像から不可視の電子透かし情報として埋め込まれている圧縮画像データを抽出する。
【0045】
次に402において、その圧縮画像データを伸長することにより、元のRGB成分で構成されるオリジナル画像と同様のものが復元される。
【0046】
最後に403では、可視の電子透かし情報がR成分に埋め込まれた画像データ全体に、上記伸張で得られたオリジナル画像と同等のデータ全体を置換することにより、オリジナル画像を復元する。
【0047】
ここで、オリジナル画像の復元は、電子透かし情報が埋め込まれている画像へ、上記伸張で得られたオリジナル画像と同等のデータ全体を置換することにより実現されるので、不可視の電子透かし情報(圧縮画像データ)さえ正しく抽出できる方法であれば、可視の電子透かしの方法に関わらず確実にオリジナル画像を復元できる。
【0048】
(第2の実施の形態)
第1の実施の形態では、鍵情報の保持による全体的なデータ量の増大を回避し、かつ完全な可逆性を実現できる可視の電子透かし情報の埋め込み方法を説明した。
【0049】
しかしながら、第1の実施の形態の安全性は不可視の電子透かし情報の安全性に依存する。例えば、不正に画像を利用しようとする者(以下攻撃者とする)に第0ビット目に圧縮画像データが埋め込まれていることが知られてしまうと、一般に圧縮方法は公開されているものが多いので、攻撃者は、第0ビット目から上記圧縮画像データを抽出して圧縮画像データだけを伸長できる。この伸長された画像がオリジナル画像である場合には、攻撃者は容易にオリジナル画像を得ることができてしまう。
【0050】
そこで本実施の形態では、第1の実施の形態に比べて、不当にオリジナル画像が復元されない様に、安全性を高めた方法を説明する。
【0051】
図6は、本実施の形態に係る画像処理装置が実行する、電子透かし情報の埋め込み処理を説明する為のフローチャートであり、図7はそれに対応するオリジナル画像の復元処理を説明する為のフローチャートである。
【0052】
図6の501〜502は、第1の実施の形態に示す図4の301〜302と同様の処理であり、この処理によってオリジナル画像を復元する為に使用する圧縮画像データが生成される。
【0053】
503ではこの圧縮画像データに暗号化を施す。この暗号化はDES(Data Encryption Standard)等の共通鍵暗号またはRSA暗号等の公開鍵暗号によって実現できる。このとき、暗号データを復号(解読)する為の復号鍵を鍵情報2として特定の装置或いは人が秘密に保持しておかなければならない。
【0054】
次に504において、その暗号化データを不可視の電子透かし情報としてオリジナル画像の下位のビットプレーンに埋め込む。この暗号化データは、一般に平文データとデータ長が変わらないので、504における不可視の電子透かし情報の埋め込みは、304の圧縮データの埋め込みと同様の方法によって実現できる。
【0055】
最後に、505において可視の電子透かし情報の埋め込みを行う。これは304と同様の動作であるので、その説明を省略する。
【0056】
図7に示されるオリジナル画像の復元処理において、601、603、604は第1の実施の形態にて示した図5の401〜403と同様である。但し、601から抽出される不可視の電子透かし情報は、第1の実施の形態の様に単なる圧縮画像データとは異なり、圧縮画像データが暗号化されたデータである。よって、602において、暗号化データを上記鍵情報2を用いて復号(解読)することにより圧縮画像データを復元し、更に603において圧縮画像データを復号し、604にてオリジナル画像が復元される。この処理は第1の実施の形態と同様である。
【0057】
(第3の実施の形態)
本発明は、上記各実施の形態の様に、可視の電子透かし技術を利用する場合には制限されない。即ち上記可視の電子透かし処理に不可視の電子透かし処理を適用することもできる。
【0058】
例えば、後述する方法を適用すれば、不可視の電子透かし情報の通常の用途である“著作権情報や利用者情報等による不正配布防止”と“オリジナル画像の完全復元”とを両立させることもできる。
【0059】
図8は、本実施の形態に係る画像処理装置における電子透かし情報の埋め込み処理を説明する為のフローチャートであり、図9はそれに対応するオリジナル画像の復元処理を説明する為のフローチャートである。
【0060】
図8の701では、オリジナル画像を生成する。
【0061】
次に702において、上記オリジナル画像を可逆圧縮し、703において、得られた圧縮画像データを不可視の電子透かし情報としてオリジナル画像中の一部に埋め込む。ここで、圧縮画像データの埋め込み位置等を明示する鍵情報1を特定の装置或いは人が秘密に保存する。
【0062】
次に、704において、著作権情報や利用者情報等を不可視の電子透かし情報としてオリジナル画像中の一部に埋め込み、これに対応する鍵情報3を上記特定の装置或いは人が秘密に保存する。以下703、704の具体例を示す。
【0063】
ビットプレーンの置換方法を用いる場合、圧縮画像データを第0ビット目に埋め込み、著作権情報は第1ビット目に埋め込む。
【0064】
なお、圧縮画像データが第0ビット目に全て埋め込むことが出来ない場合には、第1ビット目にも圧縮画像データを埋め込むこととし、著作権情報は圧縮画像データに続いて第1ビット目或いは第2ビット目から埋め込むものとする。
【0065】
また、圧縮画像データは第0ビット目に全て埋め込めるが、著作権情報が全て第1ビット目に埋め込めなかった場合には、上述の処置と同様に、第2ビット目にも著作権情報を埋め込むこととする。
【0066】
このように、圧縮画像データの埋め込みと著作権情報の埋め込みを同じ埋め込み手法で実現する場合には、圧縮画像データと著作権情報とを連続した情報と見なす。
【0067】
次に、圧縮画像データの埋め込みと著作権情報の埋め込みに異なる電子透かし手法を用いる場合について説明する。
【0068】
例えば上述した様な、オリジナル画像をRGB成分からなるカラー画像データで表し、成分毎に電子透かし処理を行う様な場合を考える。この場合には、圧縮画像データの埋め込み対象をB成分、著作権情報の埋め込み対象をG成分とすれば、埋め込み対象が異なるので各々任意の不可視の電子透かし埋め込み手法を採用することができる。
【0069】
上記埋め込みで得られた画像データからオリジナル画像を復元する際には、画像データのR成分から圧縮画像データを抽出し、B成分から著作権情報を抽出することで達成できる。
【0070】
図9に示す復元処理では、先ず801において、オリジナル画像の復元か、著作権情報等の電子透かし情報の表示かを選択する。
【0071】
電子透かし情報(著作権情報等)の表示が選択された場合には、802において上記鍵情報3を用いて、埋め込んであった著作権情報や利用者情報等を抽出し、803において、それらの情報を表示する。
【0072】
一方、オリジナル画像の復元が選択された場合は、第1の実施の形態の401〜403の手順と同様に鍵情報1を用いて手順804〜806を実行してオリジナル画像を復元する。
【0073】
尚、本実施の形態では、オリジナル画像の復元と電子透かし情報(著作権情報等)の表示を選択する場合を説明したが、本発明はこれに限らない。
【0074】
例えば、不可視の電子透かし情報として圧縮画像データを埋め込むことにより、オリジナル画像の復元を可能とするだけの為に本方法を用いることもできる。この場合、図8では704、図9では801〜803を省くことによって実現可能である。
【0075】
また、各実施の形態における画像の圧縮処理は可逆の圧縮が好ましいとして説明したが、用途に問題がなければ、JPEG等の非可逆な圧縮処理を適用しても良い。例えば、第1の実施の形態において非可逆圧縮を適用した場合には、可視の電子透かし情報を復元するための鍵情報1の保持による全体的な画像データ量の増加は少なくとも回避でき、復元される画像を表す画像データ内には、第mビットと第0ビットを含む全てのビットプレーンの内容を反映させることができるので、高品質な画像を復元することが可能である。
【0076】
例えば、オリジナル画像には、後にDCT及び量子化を用いるJPEG等の非可逆圧縮が施されることが分かっている場合には、このオリジナル画像を必ずしも各実施の形態の様に可逆圧縮を実行する必要もなく、非可逆圧縮を適用しても良い。
【0077】
この方法であっても、不可視の電子透かし情報となる圧縮画像データは、視覚と周波数成分の関係等に基づいて、オリジナル画像の特徴を十分保存した画像データとすることができる。よって、圧縮画像データから画像を復元した場合には、復元画像は十分オリジナル画像に近い画質になっている。
【0078】
また、各実施の形態は静止画像に限られるものでなく、上述した圧縮手段と電子透かし手段等を備えれば音声や動画像、テキストデータなど種々のディジタルデータに適用できる。
【0079】
即ち、上述した静止画像に適用する場合にはビットプレーン、或いは色成分を1つの部分データと見なし、圧縮画像データを埋め込む部分データと、著作権情報を埋め込む部分データを割り当てることにより、本発明を実現した。従って、上記各種のディジタルデータに適用する場合にも、これらディジタルデータを複数の部分データに分割でき、かつ、埋め込み対象となるデータを含むディジタルデータを圧縮したものを上記部分データの1つに埋め込むことができる状況さえ存在すれば、本発明を適用可能である。
【0080】
例えば音声においては、音声データを複数の周波数成分に分割し、得られた複数の周波数成分において人間の聴覚で識別しにくい成分に全音声の圧縮データを埋め込み、人間の聴覚に識別し易い成分に著作権情報等を埋め込むことにより、上述した実施の形態と同様の効果を奏することができる。また、動画像においては、複数のフレームに分割し、各フレームを上述した部分データとして扱うことにより同様の処理が可能である。
【0081】
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、或は1つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0082】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0083】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0084】
以上説明したように上記各実施の形態によれば、鍵情報のデータ量を少なくしたり、鍵情報の保持による全体的なデータ量の増大を回避したり、可逆的で、かつ安全な可視の電子透かし情報の埋め込みを実現することができる。
【0085】
また、不可視の電子透かし処理において、通常の不正配布追跡のための情報を表示する他に、オリジナル画像の復元を行うことも可能となる。
【0086】
【発明の効果】
以上説明したように本発明によれば、透かし情報が埋め込まれた画像を復元可能とし、かつ復元の際に用いる鍵情報の保持による全体的な画像データの増大等を回避することが可能である。
【図面の簡単な説明】
【図1】オリジナル画像への可視の電子透かし情報の埋め込み方法の一例を示す図
【図2】従来の可視透かし技術の問題を解決する一例を示す図
【図3】画像処理装置のハードウェア構成を示すブロック図
【図4】第1の実施の形態に係る埋め込み手法を説明する流れ図
【図5】第1の実施の形態に係る画像復元手法を説明する流れ図
【図6】第2の実施の形態に係る埋め込み手法を説明する流れ図
【図7】第2の実施の形態に係る画像復元手法を説明する流れ図
【図8】第3の実施の形態に係る埋め込み手法を説明する流れ図
【図9】第3の実施の形態に係る画像復元手法を説明する流れ図
【図10】第1の実施の形態の電子透かし情報の埋め込みを説明する概念図

Claims (16)

  1. オリジナル画像を表し、かつ複数個のビットプレーンにより構成される画像データを入力する入力手段と、
    前記画像データの少なくとも第2のビットプレーンのデータを圧縮する圧縮手段と、
    前記圧縮手段で圧縮された圧縮データを、前記画像データの第1のビットプレーンに埋め込む第1の埋め込み手段を有することを特徴とする画像処理装置。
  2. オリジナル画像を表し、かつ複数個のビットプレーンにより構成される画像データを入力する入力手段と、
    前記画像データの少なくとも第2のビットプレーンのデータを圧縮する圧縮手段と、
    前記圧縮手段で圧縮された圧縮データを、前記画像データの第1のビットプレーンに埋め込む第1の埋め込み手段と、
    前記画像データの第2のビットプレーンに、付加情報を埋め込む第2の埋め込み手段を有することを特徴とする画像処理装置。
  3. 前記第2の埋め込み手段による埋め込みは、可視透かしとして埋め込むことを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1の埋め込み手段は、前記圧縮データを暗号化する暗号化手段を有し、前記暗号化手段により暗号化された情報を、前記画像データの第1のビットプレーンに埋め込むことを特徴とすることを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記圧縮手段は、前記画像データの第1のビットプレーンと第2のビットプレーンを圧縮することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
  6. 前記圧縮手段による圧縮は、可逆圧縮であることを特徴とする請求項1〜5の何れか1項に記載の画像処理装置。
  7. 前記第1の埋め込み手段による埋め込みは、不可視透かしとして埋め込むことを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。
  8. 画像データからオリジナル画像を復元させる画像処理装置であって、
    前記画像データの第1のビットプレーンに埋め込まれた圧縮情報を抽出する抽出手段と、
    前記抽出手段で抽出された圧縮情報を伸張する伸張手段と、
    前記伸張手段により得られた前記オリジナル画像の第2のビットプレーンを構成するデータを、前記画像データの第2のビットプレーンと置換する置換手段を有することを特徴とする画像処理装置。
  9. さらに、前記置換手段は、前記伸張手段により得られた前記オリジナル画像の第1のビットプレーンを構成するデータを、前記画像データの第1のビットプレーンと置換することを特徴とする請求項8に記載の画像処理装置。
  10. オリジナル画像を表し、かつ複数個のビットプレーンにより構成される画像データを入力する入力工程と、
    前記画像データの少なくとも第2のビットプレーンのデータを圧縮する圧縮工程と、
    前記圧縮手段で圧縮された圧縮データを、前記画像データの第1のビットプレーンに埋め込む第1の埋め込み工程を有することを特徴とする画像処理方法。
  11. オリジナル画像を表し、かつ複数個のビットプレーンにより構成される画像データを入力する入力工程と、
    前記画像データの少なくとも第2のビットプレーンのデータを圧縮する圧縮工程と、
    前記圧縮手段で圧縮された圧縮データを、前記画像データの第1のビットプレーンに埋め込む第1の埋め込み工程と、
    前記画像データの第2のビットプレーンに、付加情報を埋め込む第2の埋め込み工程を有することを特徴とする画像処理方法。
  12. 前記圧縮工程は、前記画像データの第1のビットプレーンと第2のビットプレーンを圧縮することを特徴とする請求項10又は11に記載の画像処理方法。
  13. 前記圧縮工程による圧縮は、可逆圧縮であることを特徴とする請求項10〜12の何れか1項に記載の画像処理方法。
  14. 画像データからオリジナル画像を復元させる画像処理方法であって、
    前記画像データの第1のビットプレーンに埋め込まれた圧縮情報を抽出する抽出工程と、
    前記抽出工程で抽出された圧縮情報を伸張する伸張工程と、
    前記伸張工程で得られた前記オリジナル画像の第2のビットプレーンを構成するデータを、前記画像データの第2のビットプレーンと置換する置換工程を有することを特徴とする画像処理方法。
  15. さらに、前記置換工程は、前記伸張工程で得られた前記オリジナル画像の第1のビットプレーンを構成するデータを、前記画像データの第1のビットプレーンと置換することを特徴とする請求項14に記載の画像処理方法。
  16. 請求項1〜の何れか1項に記載の画像処理装置の機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読出可能な記憶媒体。
JP2000143208A 1999-09-30 2000-05-16 画像処理装置及び方法及び記憶媒体 Expired - Fee Related JP3805172B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000143208A JP3805172B2 (ja) 1999-09-30 2000-05-16 画像処理装置及び方法及び記憶媒体
US09/660,444 US7606426B1 (en) 1999-09-30 2000-09-12 Image processing apparatus and method and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP27998399 1999-09-30
JP11-279983 1999-09-30
JP2000143208A JP3805172B2 (ja) 1999-09-30 2000-05-16 画像処理装置及び方法及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2001169093A JP2001169093A (ja) 2001-06-22
JP2001169093A5 JP2001169093A5 (ja) 2005-04-21
JP3805172B2 true JP3805172B2 (ja) 2006-08-02

Family

ID=26553563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000143208A Expired - Fee Related JP3805172B2 (ja) 1999-09-30 2000-05-16 画像処理装置及び方法及び記憶媒体

Country Status (2)

Country Link
US (1) US7606426B1 (ja)
JP (1) JP3805172B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977216B2 (ja) * 2001-09-27 2007-09-19 キヤノン株式会社 情報処理装置及び方法及び情報処理プログラム及び記憶媒体
JP4635790B2 (ja) * 2005-09-07 2011-02-23 株式会社ニコン Raw画像の電子透かしを処理する画像処理システム、撮像装置、画像処理装置、および画像処理プログラム
JP4886609B2 (ja) * 2007-06-08 2012-02-29 キヤノン株式会社 印刷システムおよび画像形成装置
JP4897860B2 (ja) 2009-09-16 2012-03-14 シャープ株式会社 画像処理装置、画像形成装置、画像処理システム、コンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体
EP2846188A1 (en) * 2013-09-04 2015-03-11 Thomson Licensing Method and apparatus for storing data
US9866724B2 (en) 2015-06-18 2018-01-09 Vmware, Inc. Pixel perturbation for transmission of meta-information
US9842387B2 (en) * 2015-06-18 2017-12-12 Vmware, Inc. Pixel perturbation for image quality measurement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE252796T1 (de) 1993-07-20 2003-11-15 Canon Kk Verfahren und kommunikationssystem unter verwendung einer verschlüsselungseinrichtung
US6574350B1 (en) * 1995-05-08 2003-06-03 Digimarc Corporation Digital watermarking employing both frail and robust watermarks
EP0656709B1 (en) 1993-11-30 2005-07-13 Canon Kabushiki Kaisha Encryption device and apparatus for encryption/decryption based on the Montgomery method using efficient modular multiplication
JPH0973337A (ja) 1995-09-05 1997-03-18 Canon Inc 課金装置、情報受信装置及び通信システム
JPH10198272A (ja) 1996-12-27 1998-07-31 Canon Inc 階層を有する鍵管理方法及び暗号システム、分散デジタル署名システム
KR19980086811A (ko) * 1997-05-08 1998-12-05 니시무로 타이조 부가정보 매입과 재생을 위한 장치와 방법 및 그 기록 매체
US6115485A (en) * 1997-10-06 2000-09-05 General Electric Company Introducing reduced data set information into a primary image data set
US6332030B1 (en) * 1998-01-15 2001-12-18 The Regents Of The University Of California Method for embedding and extracting digital data in images and video
US6473516B1 (en) * 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
US6275599B1 (en) * 1998-08-28 2001-08-14 International Business Machines Corporation Compressed image authentication and verification
US6285775B1 (en) * 1998-10-01 2001-09-04 The Trustees Of The University Of Princeton Watermarking scheme for image authentication
JP3853115B2 (ja) * 1999-08-27 2006-12-06 シャープ株式会社 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
US7164369B2 (en) * 2001-06-19 2007-01-16 Sharp Laboratories Of America, Inc. System for improving storage efficiency of digital files

Also Published As

Publication number Publication date
JP2001169093A (ja) 2001-06-22
US7606426B1 (en) 2009-10-20

Similar Documents

Publication Publication Date Title
US6823455B1 (en) Method for robust watermarking of content
Goljan et al. Distortion-free data embedding for images
JP4669187B2 (ja) 圧縮イメージ内に透かしを組み込む方法、圧縮されたイメージからすかしを回復する方法、ならびに記録媒体
JP3053610B2 (ja) コンピュータ・システムにおけるコピーライト・データの保護方法及び装置
US6668246B1 (en) Multimedia data delivery and playback system with multi-level content and privacy protection
US7461255B2 (en) Digital watermark processing apparatus, and digital contents distribution system using the apparatus
KR100383312B1 (ko) 식별정보를 디지털 콘텐츠 내로 전사하고, 그 전사된 정보를판독하는 방법과 장치
US20100086170A1 (en) Progressive Image Quality Control Using Watermarking
Tian High capacity reversible data embedding and content authentication
JP2002101288A (ja) 画像伝送システム及び方法並びに記録媒体
AU2003203718A1 (en) Methods and systems for authentication of components in a graphics system
WO2003048939A1 (en) Methods and systems for cryptographically protecting secure content
US6922777B1 (en) Apparatus, computer medium, and method for embedding and extracting a first and second data into a watermark
Bhautmage et al. Advanced video steganography algorithm
US7447314B2 (en) Information processing method, information processing apparatus, program, and storage medium
US7003666B1 (en) Apparatus and method for embedding information for tamper detection and detecting tamper and recording medium having program for carrying out the method recorded thereon
JP3805172B2 (ja) 画像処理装置及び方法及び記憶媒体
JP2003536110A (ja) ウォーターマーク検出器
JP4218539B2 (ja) 電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,および電子透かし検出方法
JP5508896B2 (ja) 画像処理方法
US20060020806A1 (en) Method and apparatus for imprinting ID information into a digital content and for reading out the same
Puteaux et al. Hierarchical high capacity data hiding in JPEG crypto-compressed images
JPH10313402A (ja) 画像データのエンコードシステム及び画像入力装置
US9922173B2 (en) Digital rights management
US11303777B2 (en) System, method and apparatus for digital watermarking

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140519

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees