JP4049966B2 - 画像出力方法および装置並びに記録媒体 - Google Patents

画像出力方法および装置並びに記録媒体 Download PDF

Info

Publication number
JP4049966B2
JP4049966B2 JP2000065276A JP2000065276A JP4049966B2 JP 4049966 B2 JP4049966 B2 JP 4049966B2 JP 2000065276 A JP2000065276 A JP 2000065276A JP 2000065276 A JP2000065276 A JP 2000065276A JP 4049966 B2 JP4049966 B2 JP 4049966B2
Authority
JP
Japan
Prior art keywords
image
information
image data
original image
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000065276A
Other languages
English (en)
Other versions
JP2001257863A (ja
Inventor
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000065276A priority Critical patent/JP4049966B2/ja
Priority to US09/801,649 priority patent/US20010022667A1/en
Publication of JP2001257863A publication Critical patent/JP2001257863A/ja
Application granted granted Critical
Publication of JP4049966B2 publication Critical patent/JP4049966B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148Storage
    • H04N1/00151Storage with selective access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00188Printing, e.g. prints or reprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3235Checking or certification of the authentication information, e.g. by comparison with data stored independently
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)
  • Cleaning In Electrography (AREA)
  • Storage Device Security (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データに基づいてプリント画像を得る画像出力方法および装置並びに画像出力方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
写真プリントの焼き増しは、例えば特開平2−214836号公報に記載されたようにネガフイルムから行われるのが一般的であったが、近年フイルムを光電的に読取って得た画像データや、デジタルカメラにより取得された画像データを用いて写真プリントの焼き増しが行われるようになってきている。しかしながら、画像データは管理が困難であるため、一般家庭において保存されるのは画像データではなくプリントのみであることがほとんどである。また、仮に画像データが保管されていたとしても、アルバム等に貼付されたプリントには画像データのファイル名が付与されていることはないため、プリントとパソコンのハードディスク等に保管された画像データとを対応付けることは困難である。
【0003】
このように、プリントと画像データとは対応付かない状態で保存されていることが多いため、プリントの焼き増しを行う際には、例えば特開平7−254988号公報に記載されたように、プリントをスキャナにより光電的に読取って画像データを得、この読取った画像データを用いてデジタルプリンタ等を用いて複製プリントを作成するようにしている。また、プリントに文字等を書き込んだものを複製する、プリントを貼り付けた文書やアルバムをそのまま複製するという要求もあり、このような場合においても原稿を読取ることにより得た画像データを用いての複製プリントの作成が行われている。
【0004】
しかしながら、上記特開平7−254988号公報に記載された複製プリントの作成方法においては、スキャナの光学系のボケ、フレア、撮像素子のサンプリング時の劣化やノイズ等、画像を劣化させる多くの要因を含んでいる。また、原稿には傷や指紋等の汚れが付与しやすく、また経時による退色や変色により色が劣化してしまう。さらに、デジタルプリントや印刷物を原稿とした場合、画像を形成する走査線や網点とスキャナの走査線とにより複製プリントにモアレが生じてしまう。したがって、原稿を読取ることによる複製プリントの作成は画質の劣化を避けることができず、とくに、複製プリントからさらに複製プリントを作成する場合には、画質の劣化が倍増してしまう。この場合、光学特性の良好なスキャナを使用すれば、ある程度は画質の劣化を抑えることができるが、このようなスキャナは高価であり、さらに画質の劣化を完全に抑制することはできない。
【0005】
このため、人間の目に識別し難い状態で画像のID番号を原稿に付与し、この原稿をスキャナで読取った際にID番号を抽出し、予めID番号と画像データとを対応付けて記憶した記憶手段から、読取ったID番号に対応する画像データを読出し、この読出した画像データを用いて複製プリントを作成するようにした画像形成方法が提案されている(特開平8−331362号公報)。この方法を複製プリントに適用すれば、原稿を読取ってはいるものの、読取りによって得たものではないオリジナルの画像データが複製プリントの作成に使用されるため、画質の劣化のない複製プリントを作成することができる。
【0006】
【発明が解決しようとする課題】
しかしながら、原稿に記録されている画像は、複製プリントとは異なる解像度のプリンタによりプリントされたものであったり、原画像にトリミング、拡大縮小等の加工を施したものである場合が多い。このような場合に原画像データをそのままプリントしたのでは、複製プリントにおける画像のサイズやプリントされる範囲が原稿の画像と異なるものとなってしまう。とくに、画像の枠外に手書きコメントがある場合や、他の画像や文字とレイアウトされた合成画像が原稿である場合には、原画像データをそのままプリントしたのでは、原稿とはイメージが異なる複製プリントが作成されてしまう場合もある。
【0007】
本発明は上記事情に鑑みなされたものであり、原稿のイメージそのままに複製プリントを得ることができる画像出力方法および装置並びに画像出力方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
本発明による画像出力方法は、原画像および該原画像を識別するID情報が不可分な状態で付与された原稿を読取って、該原稿に記録された原稿画像を表す原稿画像データおよび前記ID情報を得、
複数の原画像データをID情報と対応付けて記憶した記憶手段から、前記得られたID情報に対応する対応原画像を表す対応原画像データを読出し、
前記原稿画像データと前記対応原画像データとを比較し、前記対応原画像を前記原稿画像に付与された原画像と幾何学的に一致させる処理を前記対応原画像データに対して施して処理済み画像データを得、
前記処理済み画像データをプリント出力してプリント画像を得ることを特徴とするものである。
【0009】
「ID情報」とは、ID番号や原画像データのファイル名等、原画像を識別できるものであれば、いかなるものをも用いることができる。
【0010】
「ID情報を不可分な状態で付与する」とは、原稿が白縁を有する場合にこの白縁部分に、あるいは原稿の裏面にID情報をバーコードや番号等により印字することが挙げられる。しかしながら、原画像を台紙に貼り付けたものを原稿としたり、原稿が縁なしプリントであったり、また原稿が両面プリントである場合や他の画像、イラストあるいは文字との合成画像等である場合を考慮して、ID情報を原稿に含まれる原画像中に秘匿的に埋め込むことが好ましい。このように画像中に情報を秘匿的に埋め込む方法については種々の文献にその詳細が記載されている(例えば、「電子透かし、松井甲子雄、O plus E No.213,1997年8月)。
【0011】
「対応原画像を原稿画像に付与された原画像と幾何学的に一致させる処理」とは、対応原画像を原稿画像に含まれる原画像と一致させるための、対応原画像の拡大縮小、平行移動、回転、トリミング等の処理をいう。
【0012】
なお、本発明による画像出力方法においては、前記処理済み画像データおよび/または前記プリント画像にコピー防止処理を施すことが好ましい。
【0013】
「処理済み画像データにコピー防止処理を施す」とは、処理済み画像データに複製であることを示す情報を秘匿的に埋め込む等の方法によって付与することをいう。
【0014】
「プリント画像にコピー防止処理を施す」とは、プリントの支持体にマイクロラインによるコピーガードを施すことや、感光材料の表面上にマイクロライン状のパターンを形成すること等により行うことができる。
【0015】
また、本発明による画像出力方法においては、前記ID情報に基づいて、前記原画像の著作権を管理するが好ましい。
【0016】
「著作権を管理する」とは、原画像が著作権を有するものである場合に、原画像の複製を禁止したり、著作権使用料の徴収を管理することをいう。
【0017】
本発明による画像出力装置は、原画像および該原画像を識別するID情報が不可分な状態で付与された原稿を読取って、該原稿に記録された原稿画像を表す原稿画像データおよび前記ID情報を得る読取手段と、
複数の原画像データをID情報と対応付けて記憶した記憶手段と、
前記得られたID情報に対応する対応原画像を表す対応原画像データを前記記憶手段から読出す読出手段と、
前記原稿画像データと前記対応原画像データとを比較し、前記対応原画像を前記原稿画像に付与された原画像と幾何学的に一致させる処理を前記対応原画像データに対して施して処理済み画像データを得る処理手段と、
前記処理済み画像データをプリント出力してプリント画像を得る出力手段とを備えたことを特徴とするものである。
【0018】
なお、本発明による画像出力装置においては、前記ID情報が前記原稿画像に秘匿的に埋め込まれていることが好ましい。
【0019】
また、本発明による画像出力装置においては、前記処理済み画像データおよび/または前記プリント画像にコピー防止処理を施すコピー防止処理手段をさらに備えることが好ましい。
【0020】
さらに、本発明による画像出力装置においては、前記ID情報に基づいて、前記原画像の著作権を管理する情報管理手段をさらに備えることが好ましい。
【0021】
なお、本発明による画像出力方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0022】
【発明の効果】
本発明によれば、原稿を読取ることにより原稿画像を表す原稿画像データおよび原画像を識別するID情報が得られ、この得られたID情報に対応する対応原画像データが記憶手段から読出される。そして、対応原画像データと原稿画像データとが比較され、対応原画像を原稿画像に付与された原画像と幾何学的に一致させる処理が対応原画像データに対して施されて処理済み画像データが得られ、これがプリント出力されてプリント画像が得られる。このため、原稿画像に含まれる画像が原画像にトリミング、拡大縮小処理、回転処理等の加工を施したものである場合や、他の画像や文字とレイアウトされたものであっても、原稿画像のイメージと同一となる原画像を含んだプリント画像を得ることができる。
【0023】
また、ID情報を原画像に秘匿的に埋め込むことにより、他人に知られることなく原画像にID情報を付与することができる。
【0024】
さらに、処理済み画像データおよび/またはプリント画像にコピー防止処理を施せば、本発明により得られたプリント画像を用いた複製を防止することができる。
【0025】
また、原画像の著作権を管理することにより、原画像が著作権を有する場合に、原画像の不正な複製を防止することができる。
【0026】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【0027】
図1は本発明の実施形態による画像出力装置を適用した画像出力システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による画像出力システムは、ユーザ1とラボ2との間においてデータおよびプリントのやりとりを行うものであり、ユーザ1のデジタルカメラ(DSC)11により取得された原画像データS0に付与するID情報Hを発行するID発行手段3と、ID情報Hを原画像データS0に秘匿的に埋め込んで、ID情報Hが埋め込まれた原画像データS1を生成する埋込手段4と、原画像データS1およびID情報Hを管理する画像管理手段5と、原画像データS1とID情報Hとを対応付けて記憶する記憶手段6と、原画像データS1により表される原画像(以下原画像についてもS1とする)および後述する合成画像データG0により表される合成画像(以下合成画像についてもG0とする)をプリント出力するプリンタ7と、後述するように原画像S1を用いてユーザ1により作成された原稿Mを読取って原稿画像を表す原稿画像データM0を得るスキャナ等の読取手段8と、原稿画像データM0からID情報Hを抽出する抽出手段9と、原稿画像データM0から抽出されたID情報Hに基づいて画像管理手段5から読出された原画像データS1と原稿画像データM0とに基づいて、原稿Mに対応する合成画像を表す合成画像データG0を生成する合成手段10とを備える。
【0028】
ユーザ1はデジタルカメラ11により撮像された原画像データS0をFD等の記録媒体に記録してラボ2に提供してもよく、ネットワークを介してラボ2に提供してもよい。
【0029】
埋込手段4はID発行手段3において発行されたID情報Hを原画像データS0に秘匿的に埋め込んで、ID情報Hが埋め込まれた原画像データS1を得るものである。以下、埋込手段4におけるID情報Hの埋め込みについて説明する。なお、原画像データS0により表される原画像S0はm×n画素からなるRGB各8ビットの画像とする。まず、原画像S0から数画素おきにp×q画素(p<m,q<n)のサブプレーンSBを作成する。このサブプレーンSBは図2(a)に示すように原画像S0中に1つのみ設けてもよいが、図2(b)に示すように複数設けてもよい。本実施形態においては図2(b)に示すように7つのサブプレーンSBを設けるものとする。そして、このサブプレーンSBにおけるRチャンネルおよびBチャンネルの下位から3ビット、Gチャンネルの下位から2ビットの計8ビットをID情報Hの埋込対象ビットプレーンとする。
【0030】
ここで、ID情報Hが16ビットで記述されているとすると、R、Bチャンネルにそれぞれ7ビット、Gチャンネルに2ビットを割り振っておく。なお、Gチャンネルの割り振りをR,Bチャンネルより少なくしたのは、Gチャンネルが人間の目に最も敏感であるからである。まず、Rチャンネルへの情報の埋め込みについて説明する。Rチャンネルには7ビットの情報が埋め込まれるため、サブプレーンSBと同一のp×q画素の画像について7種類の変調パターンを用意する。例えば図3に示すように、サブプレーンSBを8つの領域に分割し、各領域についてx方向に2p/k(k=1,2,3,4)、y方向に2q/l(l=1,2)の周期で変調させたA〜Gの7種類の変調パターンを用意する。なお、k=l=1の場合については変調パターンとしては使用しない。また、サブプレーンSBを図3に示すように8つの領域に分割する場合、各領域には1画素有れば後述するように情報を埋め込むことができるため、サブプレーンSBは少なくとも4×2画素有すればよいものとなる。
【0031】
そして、これら7種類の変調パターンA〜Gの斜線領域のオン/オフを、Rチャンネルに割り当てられた7ビットの0,1に対応させるとともに、オンとされた領域の数を斜線領域の画素値とすることにより、7ビットの情報をp×q画素のサブブレーンSBに埋め込むことができる。すなわち、図3に示す変調パターンA〜Gにおいて、斜線領域をオン(=1)、それ以外の領域をオフ(=0)とした場合、および図4に示すように変調パターンA〜Gを反転した変調パターンA′〜G′における斜線領域をオン(=1)、それ以外の領域をオフ(=0)とした場合のそれぞれにおいて合計7ビットの情報を表すことができる。また、各変調パターンA〜G,A′〜G′において、変調された領域数の加算値は0〜7の値を採る。したがって、斜線領域の画素値を斜線領域の数とすれば、斜線領域の画素値は0〜7の値を採り、Rチャンネルの下位3ビットの画素値としてサブプレーンSBに埋め込むことができる。
【0032】
そして、BチャンネルについてもRチャンネルと同様にして下位3ビットに7ビットの情報を埋め込むことができる。一方、Gチャンネルについては、p×q画素のサブプレーンSBを2つの領域に分割し、2つの変調パターンを用意して、変調した領域のオン/オフを切り替えることにより2ビットの情報を表すことができる。また、オンとされた領域の数は0〜2の値を採ることとなる。したがって、Gチャンネルの下位2ビットの画素値として2ビットの情報をサブプレーンSBに埋め込むことができる。
【0033】
このように、RGB各チャンネルにおいて合計16ビットのID情報Hを原画像データS0に埋め込んで、ID情報Hが埋め込まれた原画像データS1を得ることができる。なお、ID情報HはRGB各チャンネルの下位3ビットおよび2ビットに分散して埋め込まれているため、原画像データS1を再生した場合でも人間の目にはほとんど知覚できないレベルにある。
【0034】
画像管理手段5は、原画像データS1およびID情報Hを互いに対応付けて記憶手段6に記憶するとともに、記憶手段6に記憶された原画像データS1をID情報Hに基づいて検索する機能を有する。そして、後述するように抽出手段9において抽出されたID情報Hに対応する原画像データS1を検索し、記憶手段6から読出すものである。
【0035】
ユーザ1はプリンタ7によりプリントされた原画像S1を用いて合成画像Mを作成するが、ユーザ1は原画像S1および他の画像や文字画像等を用いて切り貼り加工を行って原稿Mを作成してもよく、ユーザ1が有するスキャナを用いて原画像S1を読取って画像データを得、パソコンを用いて加工を行った後これをプリントアウトして原稿Mを作成してもよい。なお、本実施形態においては、原画像S1が図5に示すものであり、原稿Mは図6に示すように原画像S1に対応する画像A1、他の画像A2および文字画像A3とを組み合わせたものとする。また、原稿Mとしては、図6に示すものに限定されるものではなく、原画像S1にトリミング、拡大縮小、回転処理等の加工のみを施したものであってもよい。
【0036】
抽出手段9は読取手段8において原稿Mを読取ることにより得られた原稿画像データM0から画像A1〜A3を認識し、各画像A1〜A3についてID情報Hが埋め込まれているか否かを判断して、ID情報Hが埋め込まれた画像からID情報Hを抽出する。すなわち、原稿画像データM0のRGB各チャンネルについて、R,Gチャンネルについては下位3ビット、Gチャンネルについては下位2ビットのビットプレーンを抽出し、このビットプレーンに図3あるいは図4に示す変調されたサブプレーンSBが含まれているか否かを判断することにより、いずれの画像A1〜A3にID情報Hが埋め込まれているか否かを判断できる。また、ID情報Hが埋め込まれている画像(ここでは画像A1)について、サブプレーンSBの変調パターンと図3および図4に示す変調パターンとのパターンマッチングを行って相関を求めることにより、いずれの変調パターンが埋め込まれているかを知ることができる。したがって、このパターンマッチングをRGB各チャンネルの下位ビットプレーンについて行うことにより、16ビットの情報をID情報Hとして得ることができる。
【0037】
合成手段10は、原稿画像データM0について抽出手段9と同様にいずれの画像A1〜A3にID情報Hが埋め込まれているかを判断し、ID情報Hが埋め込まれた画像についてのみ、画像管理手段5から入力された原画像データS1と入れ替える合成処理を行う。なお、抽出手段9における判断結果を合成手段10に入力し、合成手段10においてはID情報Hが埋め込まれているか否かの判断を行わなくともよい。この合成処理は以下のようにして行う。まず、原稿画像データM0における画像A1に対応する領域を位置合わせ対象領域として設定し、この位置合わせ対象領域について原画像データS1とのパターンマッチングを行う。このパターンマッチングは、原画像データS1に対して拡大縮小、回転、トリミング、平行移動という幾何学的処理を施しつつ、位置合わせ対象領域のデータと原画像データS1との差分を求めることにより行う。そして原稿画像データM0について差分が最も小さい領域を原稿画像データS1と入れ替えて、合成画像データG0を生成する。
【0038】
ここで、原稿Mにおいては、画像A1に画像A2が重なっており、かつその境界部分に「賀正」の文字画像A3が重なっている。ここで、上記パターンマッチングにおいては、画像A1における画像A2および文字画像A3が重なった領域については、それ以外の領域と比較して差分値が大きくなる。したがって、差分値が最も小さい領域のみについて幾何学処理が施された原画像データS1と入れ替えることにより、画像A1および文字画像A3との重なり部分を損なうことなく合成画像データG0を得ることができる。
【0039】
なお、本実施形態においては画像A1に対応する原画像データS0のみが合成手段10に入力されるため、画像A2および文字画像A3については原稿画像データM0の対応する部分が合成画像データG0の生成に用いられる。
【0040】
次いで、本実施形態の動作について説明する。図7は原画像S1がプリントアウトされるまでの本実施形態の動作を示すフローチャートである。まず、ユーザ1がデジタルカメラ11により取得した原画像データS0が埋込手段4に入力され(ステップS1)、さらにID発行手段3においてID情報Hが発行される(ステップS2)。そして、このID情報Hが埋込手段4において原画像データS0に埋め込まれ、ID情報Hが埋め込まれた原画像データS1が得られる(ステップS3)。原画像データS1およびID情報Hは画像管理手段5に入力され、ID情報Hと原画像データS1とが互いに対応付けられて記憶手段6に記憶される(ステップS4)。一方、原画像データS1はプリンタ7に入力され、図5に示す原画像S1がプリントされる(ステップS5)。以上が原画像S1をプリントするまでの処理である。
【0041】
プリントされた原画像S1はユーザ1に提供される。ユーザ1は提供された原画像S1を加工して図6に示す原稿Mを作成する。作成した原稿Mはラボ2に提供される。図8は原稿Mを用いて行われる処理を示すフローチャートである。ラボ2においては、読取手段8において原稿Mが読取られ、原稿Mに記録された原稿画像を表す原稿画像データM0が得られる(ステップS11)。原稿画像データM0は抽出手段9に入力され、上述したようにID情報Hが抽出される(ステップS12)。抽出されたID情報Hは画像管理手段5に入力され、ID情報Hに対応する原画像データS1が記憶手段6から読出される(ステップS13)。原画像データS1は合成手段10に入力され、ここで原稿画像データM0とともに上述したようにパターンマッチングが行われて、原画像データS1と原稿画像データM0との合成画像データG0が生成される(ステップS14)。合成画像データG0はプリンタ7においてプリントされ(ステップS15)、処理を終了する。
【0042】
このように、本実施形態においては、原稿画像M0と原画像S1とを比較し、パターンマッチングを行って、原稿画像M0中における画像A1を原画像S1と入れ替えて合成画像G0を生成するようにしたため、原稿画像M0に含まれる画像A1が原画像S1にトリミング、拡大縮小処理、回転処理等の加工を施したものである場合や、他の画像A2や文字画像A3とレイアウトされたものであっても、原稿画像M0のイメージと同一となる高画質の原画像S1を含んだ合成画像G0を得ることができる。
【0043】
また、埋込手段4においてID情報Hを原画像S0に秘匿的に埋め込むようにしたため、他人に知られることなく原画像S0にID情報Hを付与することができる。
【0044】
なお、上記実施形態においては、図3および図4に示す変調パターンにより7ビットの情報を埋め込んでいるが、サブプレーンSBのp×q画素の領域を7つの小領域に分割し、各領域についてオン/オフの変調パターンを作成することにより、7ビットの情報を1つのサブプレーンSBに埋め込むこともできる。この場合、小領域の画素値をオンとなった小領域の数と同一とすれば、画素値は0〜7の値を採るため、上記実施形態と同様にR,Bの下位3ビットに情報を埋め込むことができる。この場合、複数のサブプレーンSBを原画像S1中に設けることにより、プリントされた原画像S1の一部が破損しているような場合にも、サブプレーンSBが1つでも残っていれば、原画像S1を表す原画像データS1を読出すことができることとなる。
【0045】
また、上記実施形態においては、合成画像データG0を生成する際に、合成画像G0に含まれる原画像S1が複製であることを示す情報を、合成画像データG0中に埋め込むようにしてもよい。このように、複製であることを示す情報を合成画像データG0に埋め込むことにより、合成画像データG0を読取ればその合成画像G0が複製であることが分かるため、不正なコピーの作成を防止することができる。
【0046】
また、合成画像G0をプリントする際に、複製であることを示す情報として、コピーガードを施したプリント用紙を用いてもよい。このコピーガードとしてはマイクロラインであることが好ましい。図9はこのマイクロラインがプリントされたプリント用紙の部分拡大図である。このマイクロラインは、50〜300ミクロンピッチの細線が、黄色または水色等の比較的薄い色により支持体に印刷されているものである。このようなマイクロラインのパターンは平均的には反射率が一定であり、濃淡コントラストも小さいため、均一に薄く着色されたプリント用紙にしか見えない。しかしながら、このプリント用紙をスキャナにより読取ると、主走査方向と副走査方向とにおいて解像度が完全には一致しないため、斜め線の方向が異なると、その部分が他の部分と異なる濃度となるように読取られてしまう。このため、このプリント用紙に記録された合成画像G0をスキャナにより読取ることにより、マイクロラインのパターンが現れることとなる。したがって、合成画像G0を読取った際にマイクロラインのパターンが現れれば、その合成画像G0が複製であることが分かるため、不正なコピーの作成を防止することができる。
【0047】
なお、写真プリントの場合には感光材料が光沢を有するため、マイクロラインを感光材料にプリントしても、スキャナにより読取ることが困難である。このため、感光材料のゼラチン層の表面にポリエチレンのカバー層を設け、ここにマイクロラインと同様のパターンを有する凹凸を形成することにより、プリント用紙の場合と同様に複製であることを示す情報を感光材料に付与することができる。この場合、マイクロラインのパターンは着色されていないが、感光材料を読取る際に、反射光の散乱パターンに異方性が生じるため、ラインの向きの相違が読取った画像中にマイクロラインと同様のパターンとして出現することとなる。
【0048】
さらに、上記実施形態において、原画像S1が著作権を有する画像である場合、画像管理手段5に著作権管理手段を設け、原画像S1のID情報Hに基づいて、原画像S1の著作権情報を管理してもよい。例えば、ユーザ1のパソコンとラボ2とがネットワークを介して接続されているとし、著作権を有する原画像S1のプリント依頼があった場合には、ユーザ1に対して、この画像は著作権を有するものであるから課金される旨の情報を転送し、ユーザ1から課金に同意する旨の情報の転送を受けた後にプリントを行うようにすることができる。一方、著作権情報に基づいて複製不可という情報をユーザ1に転送することもできる。これにより、著作権を有する画像の不正な複製を防止することができる。
【0049】
また、画像A1の部分について依頼のあった原画像S1とは異なる原画像に入れ替えることもできる。これは、例えばユーザ1が依頼した原稿Mに著作権を有する原画像S1が含まれているような場合において、複製不可という情報の転送を受け、ユーザ1が著作権を有さない画像に入れ替えたい旨をラボ2に指示したような場合に適用することができる。この入れ替えは、合成手段10において原稿画像データM0と原画像データS1とのマッチングを行って、原画像S1を挿入する領域をマスク領域として生成し、このマスク領域に著作権情報を有さない画像データを貼り付けることにより行うことができる。これにより、画像の貼り付け位置を誤ることなく、正確に画像を入れ替えることができる。
【0050】
さらに、上記実施形態において、原稿Mの画像A1と画像A2との重ね合わせ部分は画像A2の方が上側にあるため、合成画像G0においても画像A2が上側となるようにプリントされる。しかしながら、ユーザ1の要望に応じて、画像A1すなわち原画像S1の方が上側となるように合成画像G0を生成することも可能である。この場合は、合成手段10におけるパターンマッチングの後、原画像データS1を原稿画像データM0にそのまま貼り付ければ原画像S1の方が上側となる合成画像G0を得ることができる。
【0051】
また、上記実施形態においては、ラボ2がプリンタ7を有する場合について説明したが、ラボ2以外にプリンタが存在する場合には、合成画像データG0の複製を防止するために、合成画像データG0を暗号化してプリンタに転送することが好ましい。ここで、プリントを行う正当な権利を有するプリンタにのみ暗号を解読する機能を設けることにより、正当なプリンタのみにおいてしか合成画像データG0をプリントすることができなくなる。したがって、合成画像データG0の不正なコピーを防止することができる。
【0052】
さらに、上記実施形態においては、ID情報Hを原画像データS0に秘匿的に埋め込んでいるが、例えば原画像をプリントする際に、プリントの裏面にバーコードや文字等によりID情報Hを記録してもよく、プリントが白縁を有する場合には、この白縁部分にID情報Hを記録してもよい。この場合、読取手段8において原稿Mに記録されたID情報Hを読取って、これを画像管理手段5に入力し、画像管理手段5は入力されたID情報Hに基づいて原画像データS1の検索を行う。
【0053】
また、上記実施形態においては、原稿Mの画像A1のみならず画像A2にもID情報Hが埋め込まれた原画像S1を用いることができる。
【図面の簡単な説明】
【図1】本発明の実施形態による画像出力システムの構成を示す概略ブロック図
【図2】サブプレーンの位置を説明するための図
【図3】変調パターンを示す図
【図4】変調パターンを示す図
【図5】原画像の例を示す図
【図6】原稿の例を示す図
【図7】本実施形態の動作を示すフローチャート(その1)
【図8】本実施形態の動作を示すフローチャート(その2)
【図9】マイクロラインがプリントされたプリント用紙の部分拡大図
【符号の説明】
1 ユーザ
2 ラボ
3 ID発行手段
4 埋込手段
5 画像管理手段
6 記憶手段
7 プリンタ
8 読取手段
9 抽出手段
10 合成手段
11 デジタルカメラ

Claims (12)

  1. 読取手段が、自身を識別するID情報が不可分な状態で付与された少なくとも1つの画像を含む複数の画像が配置された原稿を読取って、該原稿に記録された原稿画像を表す原稿画像データ得、
    読出手段が、前記複数の画像について前記ID情報が付与されているか否かを判断し、該ID情報が付与された画像についてのみ、複数の原画像データをそれぞれのID情報と対応付けて記憶した記憶手段から、前記得られたID情報に対応する対応原画像を表す対応原画像データを読出し、
    処理手段が、前記原稿画像データと前記対応原画像データとを比較し、前記対応原画像を前記原稿画像における前記ID情報が付与された画像と幾何学的に一致させる処理を前記対応原画像データに対して施して処理済み画像を表す処理済み画像データを得、
    合成手段が、前記原稿画像における前記ID情報が付与された画像に対応する領域を前記処理済み画像と入れ替えて合成画像を表す合成画像データを生成し、
    出力手段が、前記合成画像データをプリント出力してプリント画像を得ることを特徴とする画像出力方法。
  2. 前記ID情報が前記画像に秘匿的に埋め込まれていることを特徴とする請求項1記載の画像出力方法。
  3. コピー防止処理手段が、前記処理済み画像データおよび/または前記プリント画像にコピー防止処理を施すことを特徴とする請求項1または2記載の画像出力方法。
  4. 情報管理手段が、前記ID情報に基づいて、前記ID情報が付与された画像の著作権を管理することを特徴とする請求項1から3のいずれか1項記載の画像出力方法。
  5. 自身を識別するID情報が不可分な状態で付与された少なくとも1つの画像を含む複数の画像が配置された原稿を読取って、該原稿に記録された原稿画像を表す原稿画像データ得る読取手段と、
    複数の原画像データをそれぞれのID情報と対応付けて記憶した記憶手段と、
    前記複数の画像について前記ID情報が付与されているか否かを判断し、該ID情報が付与された画像についてのみ、前記得られたID情報に対応する対応原画像を表す対応原画像データを前記記憶手段から読出す読出手段と、
    前記原稿画像データと前記対応原画像データとを比較し、前記対応原画像を前記原稿画像における前記ID情報が付与された画像と幾何学的に一致させる処理を前記対応原画像データに対して施して処理済み画像を表す処理済み画像データを得る処理手段と、
    前記原稿画像における前記ID情報が付与された画像に対応する領域を前記処理済み画像と入れ替えて合成画像を表す合成画像データを生成する合成手段と、
    前記合成画像データをプリント出力してプリント画像を得る出力手段とを備えたことを特徴とする画像出力装置。
  6. 前記ID情報が前記画像に秘匿的に埋め込まれていることを特徴とする請求項5記載の画像出力装置。
  7. 前記処理済み画像データおよび/または前記プリント画像にコピー防止処理を施すコピー防止処理手段をさらに備えたことを特徴とする請求項5または6記載の画像出力装置。
  8. 前記ID情報に基づいて、前記ID情報が付与された画像の著作権を管理する情報管理手段をさらに備えたことを特徴とする請求項5から7のいずれか1項記載の画像出力装置。
  9. 自身を識別するID情報が不可分な状態で付与された少なくとも1つの画像を含む複数の画像が配置された原稿を読取って、該原稿に記録された原稿画像を表す原稿画像データ得る手順と、
    前記複数の画像について前記ID情報が付与されているか否かを判断し、該ID情報が付与された画像についてのみ、複数の原画像データをそれぞれのID情報と対応付けて記憶した記憶手段から、前記得られたID情報に対応する対応原画像を表す対応原画像データを読出す手順と、
    前記原稿画像データと前記対応原画像データとを比較し、前記対応原画像を前記原稿画像における前記ID情報が付与された画像と幾何学的に一致させる処理を前記対応原画像データに対して施して処理済み画像を表す処理済み画像データを得る手順と、
    前記原稿画像における前記ID情報が付与された画像に対応する領域を前記処理済み画像と入れ替えて合成画像を表す合成画像データを生成する手順と、
    前記合成画像データをプリント出力してプリント画像を得る手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  10. 前記ID情報が前記画像に秘匿的に埋め込まれていることを特徴とする請求項9記載のコンピュータ読取り可能な記録媒体。
  11. 前記処理済み画像データおよび/または前記プリント画像にコピー防止処理を施す手順をさらに有することを特徴とする請求項9または10記載のコンピュータ読取り可能な記録媒体。
  12. 前記ID情報に基づいて、前記ID情報が付与された画像の著作権を管理する手順をさらに有することを特徴とする請求項9から11のいずれか1項記載のコンピュータ読取り可能な記録媒体。
JP2000065276A 2000-03-09 2000-03-09 画像出力方法および装置並びに記録媒体 Expired - Fee Related JP4049966B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000065276A JP4049966B2 (ja) 2000-03-09 2000-03-09 画像出力方法および装置並びに記録媒体
US09/801,649 US20010022667A1 (en) 2000-03-09 2001-03-09 Method, apparatus, and recording medium for outputting images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000065276A JP4049966B2 (ja) 2000-03-09 2000-03-09 画像出力方法および装置並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2001257863A JP2001257863A (ja) 2001-09-21
JP4049966B2 true JP4049966B2 (ja) 2008-02-20

Family

ID=18584837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000065276A Expired - Fee Related JP4049966B2 (ja) 2000-03-09 2000-03-09 画像出力方法および装置並びに記録媒体

Country Status (2)

Country Link
US (1) US20010022667A1 (ja)
JP (1) JP4049966B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993152B2 (en) 1994-03-17 2006-01-31 Digimarc Corporation Hiding geo-location data through arrangement of objects
US6869023B2 (en) * 2002-02-12 2005-03-22 Digimarc Corporation Linking documents through digital watermarking
US6577746B1 (en) 1999-12-28 2003-06-10 Digimarc Corporation Watermark-based object linking and embedding
US6760464B2 (en) 2000-10-11 2004-07-06 Digimarc Corporation Halftone watermarking and related applications
US6694041B1 (en) 2000-10-11 2004-02-17 Digimarc Corporation Halftone watermarking and related applications
US7249257B2 (en) * 2001-03-05 2007-07-24 Digimarc Corporation Digitally watermarked maps and signs and related navigational tools
US7061510B2 (en) 2001-03-05 2006-06-13 Digimarc Corporation Geo-referencing of aerial imagery using embedded image identifiers and cross-referenced data sets
US7098931B2 (en) * 2001-03-05 2006-08-29 Digimarc Corporation Image management system and methods using digital watermarks
US6950519B2 (en) 2001-03-05 2005-09-27 Digimarc Corporation Geographically watermarked imagery and methods
US7042470B2 (en) * 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US6664976B2 (en) 2001-04-18 2003-12-16 Digimarc Corporation Image management system and methods using digital watermarks
US9363409B2 (en) 2001-03-05 2016-06-07 Digimarc Corporation Image management system and methods using digital watermarks
US7197160B2 (en) * 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US7254249B2 (en) * 2001-03-05 2007-08-07 Digimarc Corporation Embedding location data in video
JP2003134324A (ja) * 2001-10-24 2003-05-09 Fuji Xerox Co Ltd 文書処理方法及び装置
US7316032B2 (en) * 2002-02-27 2008-01-01 Amad Tayebi Method for allowing a customer to preview, acquire and/or pay for information and a system therefor
US7562397B1 (en) 2002-02-27 2009-07-14 Mithal Ashish K Method and system for facilitating search, selection, preview, purchase evaluation, offering for sale, distribution, and/or sale of digital content and enhancing the security thereof
ATE509326T1 (de) 2001-12-18 2011-05-15 L 1 Secure Credentialing Inc Mehrfachbildsicherheitsmerkmale zur identifikation von dokumenten und verfahren zu ihrer herstellung
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
JP2004348268A (ja) 2003-05-20 2004-12-09 Canon Inc データ保管システムへのデータアップロード方法
JP2005088572A (ja) * 2003-08-08 2005-04-07 Canon Inc 記録装置と画像供給装置及び記録システム及びその制御方法、プログラム
WO2005076985A2 (en) 2004-02-04 2005-08-25 Digimarc Corporation Digital watermarking image signals on-chip and photographic travel logs through digital watermarking
JP4502385B2 (ja) * 2004-11-30 2010-07-14 キヤノン株式会社 画像処理装置およびその制御方法
JP4093262B2 (ja) 2005-10-06 2008-06-04 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP4218714B2 (ja) * 2006-08-23 2009-02-04 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、複写システム、複写方法、およびコンピュータプログラム
US10726511B2 (en) * 2018-03-22 2020-07-28 Fuji Xerox Co., Ltd. Systems and methods for tracking copying of printed materials owned by rights holders

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3852088A (en) * 1972-03-20 1974-12-03 Ibm Security document system and method
US5404411A (en) * 1990-12-27 1995-04-04 Xerox Corporation Bitmap-image pattern matching apparatus for correcting bitmap errors in a printing system
ATE237197T1 (de) * 1993-11-18 2003-04-15 Digimarc Corp Identifikations/beglaubigungskodierungsverfahre und -vorrichtung
US6345104B1 (en) * 1994-03-17 2002-02-05 Digimarc Corporation Digital watermarks and methods for security documents
JP3520550B2 (ja) * 1994-03-15 2004-04-19 セイコーエプソン株式会社 カラー画像処理システムおよびそのデータ補正方式
US5974141A (en) * 1995-03-31 1999-10-26 Mitsubishi Corporation Data management system
US6181867B1 (en) * 1995-06-07 2001-01-30 Intervu, Inc. Video storage and retrieval system
US6577746B1 (en) * 1999-12-28 2003-06-10 Digimarc Corporation Watermark-based object linking and embedding
US6625295B1 (en) * 1996-09-13 2003-09-23 Purdue Research Foundation Authentication of signals using watermarks
JPH10285378A (ja) * 1997-03-28 1998-10-23 Internatl Business Mach Corp <Ibm> 複写装置及びその制御方法
US6647126B1 (en) * 2000-01-28 2003-11-11 Eastman Kodak Company Authorizing the production of visual images from digital images

Also Published As

Publication number Publication date
JP2001257863A (ja) 2001-09-21
US20010022667A1 (en) 2001-09-20

Similar Documents

Publication Publication Date Title
JP4049966B2 (ja) 画像出力方法および装置並びに記録媒体
US5752152A (en) Copy restrictive system
US5772250A (en) Copy restrictive color-reversal documents
JP3968159B2 (ja) 擬似複写装置
US6600571B1 (en) Method, apparatus and recording medium for image printing
KR20070060032A (ko) 디지털 워터마크가 삽입된 화상을 처리할 수 있는화상처리장치, 그 화상처리장치를 제어하는 방법, 및 그방법을 실행하는 프로그램을 기억한 기억매체
US6001516A (en) Copy restrictive color-negative photographic print media
JP3753279B2 (ja) メッセージ付きプリント作成方法及びシステム
KR100971103B1 (ko) 워터마크 정보 삽입 장치, 화상 처리 장치, 워터마크 정보삽입 방법 및 화상 처리 방법
US20070008570A1 (en) Image processing apparatus, program, and recording medium
JP3246222B2 (ja) 画像形成装置
JP4813524B2 (ja) 画像データ保管装置および方法並びに記録媒体
JP3307431B2 (ja) 画像形成装置
JP2006168261A (ja) 画像形成装置およびデータ処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP4179438B2 (ja) 画像id生成方法および装置並びに記録媒体
JPH11284835A (ja) プリンタ
JP2002019195A (ja) 画像処理装置及びこれを用いたカストマイズプリントシステム
JP3581526B2 (ja) 画像処理装置及びその方法
JP2002023278A (ja) 画像形成装置及び画像形成方法
JP3908216B2 (ja) プリントシステム
JP2004088420A (ja) 複写装置、デジタルカメラおよび印刷システム
JP2006126834A (ja) メッセージ付きプリント作成方法及びシステム
JP4235352B2 (ja) 画像判別装置及び複写機及び画像判別方法
JP2007306090A (ja) 画像処理装置、画像形成装置、複写禁止コード検出方法及び画像形成方法
JP2001096860A (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4049966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees