JP4296126B2 - スクリーン作成装置 - Google Patents

スクリーン作成装置 Download PDF

Info

Publication number
JP4296126B2
JP4296126B2 JP2004179231A JP2004179231A JP4296126B2 JP 4296126 B2 JP4296126 B2 JP 4296126B2 JP 2004179231 A JP2004179231 A JP 2004179231A JP 2004179231 A JP2004179231 A JP 2004179231A JP 4296126 B2 JP4296126 B2 JP 4296126B2
Authority
JP
Japan
Prior art keywords
screen
image
matrix
halftone
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004179231A
Other languages
English (en)
Other versions
JP2005012807A (ja
Inventor
ファン ジガン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2005012807A publication Critical patent/JP2005012807A/ja
Application granted granted Critical
Publication of JP4296126B2 publication Critical patent/JP4296126B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Description

本発明は、スクリーン作成装置に関する。
普通紙コピア(複写機)の導入によって用紙オリジナルの用紙のコピーが急増することになった。ディジタルスキャナが簡単に入手できることや、インターネットを介して、すばやく且つ広い範囲から、画像にアクセスできることから、電子画像にも同様の結果が発生している。現在、画像の作成者が、不正コピーが第3者に流布されないと確信できる電子オリジナル(コンテンツ)を生成することは非常に困難である。「ディジタル電子透かし(digital watermark)」の使用は、電子コピーの画像のソースを識別可能な識別マークを、画像内に組み込むことによって、このような流布を防止することを目的とする技術である。識別マークは、画像のオリジナルコンテンツをじゃましたり乱したりしないと同時に、ソースの容易な識別を可能とすることが重要である。電子透かしはスキャナーかハーフトーンソフトウェアのいずれかによって付け加えられる。
電子透かし識別は、画像の所有権オーナーを識別するディジタル電子透かしをディジタル又はプリントされたページに埋め込むことによって達成され得る。以前は、これらの画像はハードコピーにおいて生成され配布されていた。将来において、これらの画像は主としてディジタル形式で分配される。従って、画像の識別は、ハードコピーとディジタル画像形式の両方に対して有効である必要がある。
電子透かしは、可視又は知覚可能であることと、不可視又は知覚不可能であることと、の二つの基本形態を取る。可視の電子透かしは、コピーライトロゴやシンボル、或いは、ディジタル画像又はプリント画像に押印されて配布されるロゴなどの標識である。電子透かしの存在は、画像内ではっきりと目に見えるが、画像に損傷を与えずに電子透かしを除去することが困難である。可視の電子透かしの存在は、画像の有用性を侵害せず、画像が無許可で使用されることを禁止する。しかしながら、可視の電子透かしは、画像の使用や、画像の美観の点でじゃまになることがある。可視の電子透かしはまた、偽造の潜在的なターゲット、即ち、画像を不正に複写する者が、電子透かしの位置を識別したり、電子透かしを使わずに画像の再生しようとすることを可能とする。
不可視の電子透かしは、目に補助なしでは容易に認識できないように、ディジタル画像又はプリント画像に埋め込まれる、コピーライトシンボル、ロゴ、シリアル番号などの標識である。最近では、これらの電子透かしに埋め込まれた情報を画像から取り出し可能で、所有者及び画像の販売先である個人を含む、画像のソースの識別を助ける。このような電子透かしは、画像の所有権が論議されるようなときに所有権を確立するために有用であるが、画像盗難の抑止力としては、十分に役立つには至っていない。
可視又は不可視の電子透かしのいずれかを画像内で望まれる一方で、複写防止又は複写検出のいずれかを行うためにはそれぞれ異なる技術を示す。コンテンツ作成者は、両方の保護を使用したいとする場合が考えられる。
共役スクリーンのコンセプトは、画像に情報を埋め込む確率的(stochastic)スクリーニング(二枚のスクリーンが一枚のスクリーンからなる)おいて使用された。ディジタル電子透かしなどの他のデータ隠蔽技術と比較すると、プリントに対して強い(robust、ロバスト)という点では有利である。更に、埋め込まれた情報は、ディジタルのみならず、光学的に検索することもできる。しかしながら、共役スクリーンにもいくつかの弱点がある。第1に、情報埋め込みプロセスは実質的な演算を必要とし、このプロセスをリアルタイムに実施することは困難である。第2に、埋め込まれたシンボルの大きさがハーフトーンマトリックスのサイズによって制限される。第3に、光学的検出には注意深い位置合わせが要求される。
共役スクリーンコンセプトを用いた新情報埋め込み技術が開示されている。より詳細には、埋め込まれるシンボルに対応する領域に対するスクリーン(オブジェクト)と背景用のスクリーンとの二つのスクリーンがハーフトーン化プロセスに用いられる。両スクリーンが2層構造へ概念的に(conceptually)分解される。最上層は全体的なハーフトーンテクスチュアを決定するが、背景とオブジェクトに対して共役である最下層は埋め込まれたデータを担持する。情報は、ディジタル的又は光学的に検索され得る。埋め込みの際、シンボルのサイズに制限は無い。演算は比較的単純であり、リアルタイムに実施され得る。検索において、位置合わせ誤差に対して比較的強い。
本発明の第1の態様は、3×3で構成されかつ1〜9の値が配置された第1のマトリックススクリーンt(k,r)、2×2で構成されかつ1〜4の値が配置された第2のマトリックススクリーンbbk(m,n)、及び2×2で構成されかつ1〜4の値が該第2のマトリックスとは異なる位置に配置された第3のマトリックススクリーンbob(m,n)を記憶する記憶手段と、前記第1のマトリックススクリーンt(k,r)、前記第3のマトリックススクリーンbob(m,n)、及び以下の式(2)により、ディジタル画像に電子透かしとしての識別マークが組み込まれる予め定められた第1の領域に対応してしきい値を第1のパターンで配置した第1のスクリーンob(i,j)を作成すると共に、前記第1のマトリックススクリーンt(k,r)、前記第2のマトリックススクリーンbbk(m,n)、及び以下の式(1)により、該ディジタル画像に該識別マークが組み込まれない第2の領域に対応して該しきい値を該第1のパターンとは異なる第2のパターンで配置した第2のスクリーンbk(i,j)を作成する作成手段と、を備えている。
bk(i,j)=t(k,r)+(M×N)×[bbk(m,n)−1]・・・(1)
ob(i,j)= t(k,r)+(M×N)×[bob(m,n)−1]・・・(2)
ここで、
m、n=0、L−1
k=0、1、M−1
r=0、1、N−1
i=L×k+m
j=L×k+n
本発明は、その好ましい実施の形態について説明されるが、説明される実施の形態によって本発明を限定することを意図するものではないことを理解されたい。むしろ、以下の請求項に定義されている本発明の精神及び範囲から逸脱しない限り、すべての代替、変形、及びこれらの同等のものが、もれなく、可能であることを意図するものである。
本発明を理解するために、図面が参照され、図面においては、同じ構成エレメントを示すために同様の参照番号が全体を通して使用されている。画像内のそれぞれの位置を「ピクセル」と呼ぶことがある。データ又は画像信号の各アイテムが値を提供する画像を定義するアレイにおいて、位置のカラーを表すそれぞれの値は、「ピクセル値」と呼ばれてもよい。各ピクセル値は、画像の「バイナリ形式」におけるビット、画像の「グレースケール形式」のグレースケール値、又は画像の「カラー座標形式」における一組のカラースペース座標であって、バイナリ形式、空間グレースケール値、及びカラー座標形式は、それぞれ、画像を定義付ける二次元アレイである。また、(デジタル)コンテンツには画像、文書、ドキュメント等が含まれる。
図1によれば、デバイスの特性に関連すると共に一般にピクセルが1ピクセルあたりnビットで定義付けられたフォーマットにおいて、画像入力ターミナル10から得られるオリジナル(当初の、原)コンテンツの電子的表示を表す汎用システムが示されている。電子画像信号は、画像処理ユニット(IPU)20を介して処理されるように方向付けられ、これによって画像出力ターミナル30上で再生するのに適した画像が得られる。画像処理ユニット(IPU)20は、一般に、mビットのディジタル画像データ信号を、特定のプリンタや他のデバイスを駆動するのに適したnビットの画像データ信号へ、変換するハーフトーンプロセッサ40を含み、ここで、mは整数の値であり、nは1である。一般に、画像はそのページの外見を記述するページ記述言語フォーマットで表されてもよい。このような場合、IPU20は、そのページの分解のための処理エレメント及びプリンタを駆動するために適切な信号を提供するためのカラー変換エレメントを含んでいてもよい。
図2は、ハーフトーンプロセッサ40(ハーフトーンスクリーン生成手段の例)の作動特性を示す。この例において、ハーフトーン目的のため各プロセスにおいて個別の得られる4分割、即ち、C(x、y)、M(x、y)、Y(x、y)、及びK(x、y)を用いて、mビットの入力をnビットの出力へ削減する、カラープロセッシングシステムが示されている。単一カラー分割又はブラックアンドホワイトの再生の変更に適用可能であるとも理解されよう。図2に示されるように、スクリーンマトリックス情報、スクリーンマトリックスメモリ106は、それぞれのコンパレータ100、102、104、106、及び108へ入力する。各コンパレータへの他の入力は、mビットのカラー分割画像データである。各コンパレータの出力は、プリンタ又は同様のレンダリング(描画)のためのデバイスへ方向付けされるnビットの出力である。この図示において、個別のスクリーンマトリックスが各コンパレータへ供給され得る点がかなり省略されている。
N×Mの要素を有するスクリーンしきい値マトリックスよって入力画像からハーフトーン画像を生成することを考慮する。最初は、画像レイアウト全体領域をカバーするようにこのマトリックスを周期的に反復する。次に、各入力ピクセルの画像を対応するしきい値と比較する。画像に対して出力されたハーフトーン値は、入力値がしきい値より大きい場合は、1にセットされる。そうでない場合、ハーフトーン値は、ゼロにセットされる。
単に例として記載するが、3×3のスクリーンしきい値マトリックス50として図3を用いて、図4に示された6×6の入力画像52にしきい値マトリックスを用いることによって、図6に示されたハーフトーンスクリーンが生じる。より具体的には、図5は、図3のマトリックスが、周期的に反復された後のしきい値を示す。図4のピクセル(1,1)において、最初の行及び最初の列のピクセルにおいて、入力値は、6であり、図5において、対応するしきい値は2である。入力値がしきい値より大きいので、出力は1である。反対に、図4におけるピクセルの入力(1,2)が図5のしきい値(4対6)より小さく、出力は0である。図6は、各セルに対する手順を完了した後に得られるハーフトーン56を示す。
本発明によれば、情報はハーフトーンに埋め込まれる。一つは埋め込まれるシンボルに対応する領域に対するスクリーン(オブジェクト)と一つのは背景に対するスクリーンの二つのスクリーンがハーフトーン化プロセスに用いられる。提案されている方法において、両スクリーンは、2層構造にコンセプチュアルに分解され得る。特に、小さなブロック間のドット割付けをコントロールする最上層は背景スクリーンとオブジェクトスクリーンの両方に対して同一である。これに対して、各ブロック内のドット割付けをコントロールする最下層はオブジェクトと背景に対して共役である。即ち、これらは相反する(ドット)埋め込み順序を有する。最下層のマトリックスは、一般に小さい(2×2又は3×3ブロック)。
最上層及び最下層は、ともに、スクリーンマトリックスによって指定され得る。最上層は全体的なハーフトーンの外見を決定する。それは、ストカスチック、クラスター及び分散スクリーンのいずれのハーフトーンスクリーンであってもよい。背景スクリーン及びオブジェクトスクリーンは、トップスクリーン及びボトムスクリーンを用いて生成され得る。これは、図3に示された3×3マトリックスがトップスクリーンとして使用される以下の例によって図示され得る。
図7(a)及び図7(b)は、背景58とオブジェクト60のそれぞれに対する2×2のボトムスクリーンを具体的に示す。この生成された6×6の背景62とオブジェクトスクリーン64は、図8及び図9で付与される(すべてのスクリーンは、埋め込み順序のみを指定しているにすぎない)。図7(a)及び図7(b)の互いに対応する2×2のブロックは同じ数字を有するが、置かれる場所は異なる。例えば、両スクリーンのトップ左側のブロックは、2、11、20、29からなるが、2は、背景のブロックの最下左部にあり、オブジェクトの最上右部にもある。これによって、同じ入力を受けた場合、両スクリーンは、同様の全体的テクスチュアを有するハーフトーンを生成するが、細部では異なったり、相対的にシフトがある場合がある。
概して、M×NのトップスクリーンとL×Lのボトムスクリーンに対して、背景スクリーンとオブジェクトスクリーンの入力は以下のようにして得られる:
ここで、bk(i,j)とob(i,j)は、それぞれ、背景スクリーンとオブジェクトスクリーンの入力であり、tはトップスクリーンであり、bbk及びbobは、背景スクリーンとオブジェクトスクリーンに対するボトムスクリーンである。埋め込まれたシンボルは、均一な入力、好ましくは、中間調を有する背景スクリーン及びオブジェクトスクリーンのいずれかに作成されるハーフトーン画像をディジタル的又は光学的に重畳することによって検索され得る。図10は、XEROX(登録商標)のロゴを埋め込む例示的な画像を示す。図11は、検出結果をシミュレートした画像である。
従って、本発明はスクリーン作成装置を提供することが明確である。本発明において、好ましい実施の形態に関して記述されてきたが、多くの代替、変形、及び変更が可能であることは当業者に明確である。従って、以下の請求項に定義されている本発明の精神及び範囲から逸脱しない限り、本発明が、すべての代替、変形、及び変更を反映し得ることを意図する。
本発明の一つの実施の形態であるシステムを示す図である。 ハーフトーン画像を作成するハーフトーン化構成を示す図である。 3×3のハーフトーンスクリーンを示す図である。 6×6の入力画像を示す図である。 図3のハーフトーンスクリーンが反復された後のしきい値を示す図である。 図4及びよ図5から得られたハーフトーン画像を示す図である。 (a)は、2×2の下部背景スクリーンを示す図である。 (b)は、2×2の下部オブジェクトスクリーンを示す図である。 6×6の背景スクリーンを示す図である。 6×6のオブジェクトスクリーンを示す図である。 XEROXロゴが埋め込まれた例示的な画像を示す図である。 検出結果をシミュレートした画像を示す図である。
符号の説明
10:画像入力ターミナル10
20:画像処理ユニット(IPU)
30:画像出力ターミナル
40:ハーフトーンプロセッサ

Claims (1)

  1. 3×3で構成されかつ1〜9の値が配置された第1のマトリックススクリーンt(k,r)、2×2で構成されかつ1〜4の値が配置された第2のマトリックススクリーンbbk(m,n)、及び2×2で構成されかつ1〜4の値が該第2のマトリックスとは異なる位置に配置された第3のマトリックススクリーンbob(m,n)を記憶する記憶手段と、
    前記第1のマトリックススクリーンt(k,r)、前記第3のマトリックススクリーンbob(m,n)、及び以下の式(2)により、ディジタル画像に電子透かしとしての識別マークが組み込まれる予め定められた第1の領域に対応してしきい値を第1のパターンで配置した第1のスクリーンob(i,j)を作成すると共に、前記第1のマトリックススクリーンt(k,r)、前記第2のマトリックススクリーンbbk(m,n)、及び以下の式(1)により、該デジタル画像に該識別マークが組み込まれない第2の領域に対応して該しきい値を該第1のパターンとは異なる第2のパターンで配置した第2のスクリーンbk(i,j)を作成する作成手段と、
    を備えたスクリーン作成装置。
    bk(i,j)=t(k,r)+(M×N)×[bbk(m,n)−1]・・・(1)
    ob(i,j)= t(k,r)+(M×N)×[bob(m,n)−1]・・・(2)
    ここで、
    m、n=0、L−1
    k=0、1、M−1
    r=0、1、N−1
    i=L×k+m
    j=L×k+n
JP2004179231A 2003-06-20 2004-06-17 スクリーン作成装置 Expired - Fee Related JP4296126B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/600,139 US7197161B2 (en) 2003-06-20 2003-06-20 Embedding information in images using two-layer conjugate screening

Publications (2)

Publication Number Publication Date
JP2005012807A JP2005012807A (ja) 2005-01-13
JP4296126B2 true JP4296126B2 (ja) 2009-07-15

Family

ID=33517676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004179231A Expired - Fee Related JP4296126B2 (ja) 2003-06-20 2004-06-17 スクリーン作成装置

Country Status (4)

Country Link
US (1) US7197161B2 (ja)
JP (1) JP4296126B2 (ja)
BR (1) BRPI0401962A (ja)
CA (1) CA2470980C (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333628B2 (en) * 2003-08-22 2008-02-19 Seiko Epson Corporation Data embedding with multi-level screening
JP4167590B2 (ja) * 2003-12-22 2008-10-15 株式会社東芝 画像処理方法
US7352879B2 (en) * 2004-12-06 2008-04-01 Xerox Corporation Conjugate cluster screens for embedding digital watermarks into printed halftone documents
US7436977B2 (en) * 2005-01-26 2008-10-14 Xerox Corporation Embedding variable watermark information in halftone screens
DE602006019104D1 (de) * 2005-08-22 2011-02-03 Nds Ltd Spielfilm-kopierschutz
US20070070425A1 (en) * 2005-09-29 2007-03-29 Lexmark International, Inc. Object-based sharpening for an image forming device
US7580155B2 (en) * 2005-12-19 2009-08-25 Xerox Corporation Tools to embed information into digital visual works
US20080019559A1 (en) * 2006-07-21 2008-01-24 Xerox Corporation Digital watermarking process
US8761532B2 (en) * 2007-02-20 2014-06-24 Xerox Corporation Method and system for the selective application of automatic image enhancement to digital images
US20080250505A1 (en) * 2007-04-05 2008-10-09 Jason David Koziol Methods And Systems For Generating A Symbol Identification Challenge
US20100217988A1 (en) * 2007-04-12 2010-08-26 Avow Systems, Inc. Electronic document management and delivery
US7974437B2 (en) * 2007-11-19 2011-07-05 Seiko Epson Corporation Identifying steganographic data in an image
US8081823B2 (en) * 2007-11-20 2011-12-20 Seiko Epson Corporation Segmenting a string using similarity values
US8031905B2 (en) * 2007-11-21 2011-10-04 Seiko Epson Corporation Extracting data from images
US8243981B2 (en) * 2007-11-26 2012-08-14 Seiko Epson Corporation Identifying embedded data in an image
US8009862B2 (en) * 2007-11-27 2011-08-30 Seiko Epson Corporation Embedding data in images
US7894103B2 (en) * 2008-02-20 2011-02-22 Xerox Corporation Variable data digital pantographs
US20100046790A1 (en) * 2008-08-22 2010-02-25 Koziol Anthony R Method and system for generating a symbol identification challenge
US7869090B2 (en) * 2008-12-17 2011-01-11 Xerox Corporation Variable data digital pantographs
US8240475B2 (en) 2010-06-15 2012-08-14 Xerox Corporation Color flicker boxes
US10068074B2 (en) 2016-03-25 2018-09-04 Credly, Inc. Generation, management, and tracking of digital credentials
US10033536B2 (en) 2016-03-25 2018-07-24 Credly, Inc. Generation, management, and tracking of digital credentials
US20190089692A1 (en) 2017-09-15 2019-03-21 Pearson Education, Inc. Time-based degradation of digital credentials in a digital credential platform
US10803104B2 (en) 2017-11-01 2020-10-13 Pearson Education, Inc. Digital credential field mapping

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790703A (en) * 1997-01-21 1998-08-04 Xerox Corporation Digital watermarking using conjugate halftone screens
US6252971B1 (en) * 1998-04-29 2001-06-26 Xerox Corporation Digital watermarking using phase-shifted stoclustic screens
US6752432B1 (en) * 1999-06-23 2004-06-22 Digimarc Corporation Identification card with embedded halftone image security feature perceptible in transmitted light
US7089420B1 (en) * 2000-05-24 2006-08-08 Tracer Detection Technology Corp. Authentication method and system
US7058199B1 (en) * 2000-08-14 2006-06-06 The Hong Kong University Of Science And Technology Methods and apparatus for hiding data in halftone images
US6731409B2 (en) * 2001-01-31 2004-05-04 Xerox Corporation System and method for generating color digital watermarks using conjugate halftone screens
US6839450B2 (en) * 2001-04-26 2005-01-04 Hewlett-Packard Development Company, L.P. Detecting halftone modulations embedded in an image
US6991260B2 (en) * 2002-10-30 2006-01-31 Xerox Corporation Anti-counterfeiting see-through security feature using line patterns

Also Published As

Publication number Publication date
CA2470980A1 (en) 2004-12-20
US7197161B2 (en) 2007-03-27
US20040258272A1 (en) 2004-12-23
BRPI0401962A (pt) 2005-01-25
JP2005012807A (ja) 2005-01-13
CA2470980C (en) 2008-07-29

Similar Documents

Publication Publication Date Title
JP4296126B2 (ja) スクリーン作成装置
US5790703A (en) Digital watermarking using conjugate halftone screens
JP3898519B2 (ja) 認証可能なカラー・ドキュメントを生成するプロセス
US5734752A (en) Digital watermarking using stochastic screen patterns
US6252971B1 (en) Digital watermarking using phase-shifted stoclustic screens
JP4004528B2 (ja) デジタル像符牒の処理方法及びシステム
US8169634B2 (en) Image processing apparatus and image forming apparatus
US6526155B1 (en) Systems and methods for producing visible watermarks by halftoning
KR100911973B1 (ko) 전자 워터마크 매립 장치 및 검출 장치
US7436977B2 (en) Embedding variable watermark information in halftone screens
JP4595014B2 (ja) 電子透かし埋め込み装置および検出装置
JP2009111980A (ja) 閉ループ処理における文書の真偽判定
JP2001148778A (ja) 画像処理装置、画像処理方法及び記憶媒体
US20070041608A1 (en) Watermark information embedding apparatus, image processing device, watermark information embedding method and image processing method
JP2004128845A (ja) 透かし情報埋め込み方法,透かし情報検出方法,透かし情報埋め込み装置,及び,透かし情報検出装置
US20100060945A1 (en) Information embedding method, its program and information embedding device
JP4061143B2 (ja) 画像処理装置および画像処理方法
JP4310031B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
TW200406717A (en) Watermarking
JP2003244428A (ja) スキャンしたイメージを識別する方法
JP2001339598A (ja) 画像処理装置、画像処理方法、及び記憶媒体
US20040141210A1 (en) Method and apparatus for halftone image embedding
JP3535791B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2006115314A (ja) 画像処理方法および装置
JP2007324917A (ja) 文書処理装置、文書処理方法、および文書処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081029

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081201

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees