JP4137935B2 - 画像処理装置、パターン検出方法、プログラム、及び記録媒体 - Google Patents

画像処理装置、パターン検出方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP4137935B2
JP4137935B2 JP2005327843A JP2005327843A JP4137935B2 JP 4137935 B2 JP4137935 B2 JP 4137935B2 JP 2005327843 A JP2005327843 A JP 2005327843A JP 2005327843 A JP2005327843 A JP 2005327843A JP 4137935 B2 JP4137935 B2 JP 4137935B2
Authority
JP
Japan
Prior art keywords
pattern
primitive
image
color
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005327843A
Other languages
English (en)
Other versions
JP2007135091A (ja
Inventor
和田  隆
嘉之 中井
浩一 角田
耀一 嶋澤
明彦 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2005327843A priority Critical patent/JP4137935B2/ja
Priority to US11/589,019 priority patent/US20070109312A1/en
Priority to CNB2006101435595A priority patent/CN100468445C/zh
Publication of JP2007135091A publication Critical patent/JP2007135091A/ja
Application granted granted Critical
Publication of JP4137935B2 publication Critical patent/JP4137935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • H04N1/00843Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
    • H04N1/00846Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote based on detection of a dedicated indication, e.g. marks or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00875Inhibiting reproduction, e.g. by disabling reading or reproduction apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0064Image watermarking for copy protection or copy management, e.g. CGMS, copy only once, one-time copy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理装置、パターン検出方法、プログラム、及び記録媒体に関し、より詳細には、特定のパターンを検知する機能をもつ画像処理装置、特定のパターンを検出するパターン検出方法、その装置に組み込まれるパターン検出用のプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
印刷原稿の不正な複写を防止するために、原稿を印刷する際に地紋などの特定パターン(特定画像情報)を付与する手法が用いられている。この特定画像情報は、複写防止情報、或いはアンチコピー情報などとも呼ばれる。
特定画像情報を付加する方法としては、電子透かしのように周波数領域に情報を紛れ込ませる方法、バーコードなどを非画像エリアに付加する方法、ウォーターマークのような情報を画像エリアに付加する方法などがある。このような方法を用い、例えば、PC等で動くアプリケーションからプリンタに画像データを送り、プリンタにて画像データを印刷出力するときに、印刷画像の複写を防止するための特定画像情報を上述の画像データとともにプリンタに送ることにより、プリンタでは、印刷画像のどこかにその特定画像情報を埋め込んで印刷出力させるようにする。また、専用の印刷機で特定画像情報を埋め込んで印刷物を出力することもなされている。
上述のような特定画像情報は、ユーザが識別できない形状で印刷画像に埋め込まれている場合と、複写を牽制するために、特定画像情報であることをユーザが識別できる形状で印刷画像に埋め込まれている場合とがある。そして、ユーザ識別可能か否かを問わず、その特定画像情報が埋め込まれた印刷画像を、ユーザが複写機を用いて複写しようとすると、複写機がその特定画像情報を検出し、複写印刷を出力しないようにしたり、或いは、“コピー禁止”等の文字を印刷して出力する、等の動作を行うようにする。
このように、従来からカラーコピー機等の複写機において、複写禁止原稿を特定するために肉眼では判別し難い特定パターン(コピー禁止付加パターンと言える)を複写物に付加する方法があり、その特定パターンを検出することにより特定していた。しかしながら、このような特定パターンは肉眼で判別し難くするためのパターン形状及びパターン色をもっており、その結果、特定パターンを付加する原稿の色や入力画像情報により、複写機が特定パターンを判別することが困難となり、結果として複写禁止原稿とみなさなくなるという問題がある。
その対策の一つとして、特許文献1には、複写機が受けた入力画像の単一色の色抽出を、複数の色について色抽出を行い、これらの複数の色についての抽出結果を1つにまとめ、その結果を基に、入力画像に所定の特定パターンが含まれているか否かを判定する技術が開示されている。
特開平9−16043号公報
しかしながら、特許文献1の技術においては、特定パターンと共に特定パターンを付加している原稿の色や入力画像情報と共に色抽出を行い、複数の色の抽出結果を1つにまとめた後に特定パターンの判定を行うため、特定パターン以外の情報により特定パターンの判定が困難になることがある。また、特定パターンが色によって大きさが異なる場合、抽出結果をひとつにまとめた後に判定を行うと、判定が困難になることがある。
本発明は、上述のごとき実情に鑑みてなされたものであり、特定パターンが付加された複写禁止原稿の原稿の色や入力画像情報に依らず、また特定パターンの大きさが異なる場合でも、特定パターンの判定を正確に且つ容易にし、複写禁止原稿を判定することが可能な画像処理装置、パターン検出方法、その装置に組み込まれるパターン検出用のプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的としている。
上述の課題を解決するために、本発明の第1の技術手段は、入力された画像データから複数の単一色を分離して2値化する2値化手段と、該2値化手段で2値化された各色の画像データから、各色毎に大きさが異なるプリミティブパターンを各色毎に検出するプリミティブパターン検出手段と、該プリミティブパターン検出手段で各色毎に検出した結果、プリミティブパターンが所定個数以上検出された色のデータを選択し、該選択したプリミティブパターンを、各色共通の所定の大きさにしてから1つにまとめる統合手段と、該統合手段でまとめたプリミティブパターンの配置に基づき、特定パターンを検出する特定パターン検出手段とを備えたことを特徴とした画像処理装置である。
の技術手段は、第1の技術手段において、前記所定個数は、前記特定パターン検出手段で検出する対象となる1つの特定パターンに含まれるプリミティブパターンの数と、前記特定パターン検出手段で抽出すべき特定パターンの数から決める個数であることを特徴としたものである。
の技術手段は、第1又は第2の技術手段において、前記プリミティブパターン検出手段は、連続画素数をカウントする連続画素カウンタを有し、該連続画素カウンタのカウント値に基づき、不要データを判定することを特徴としたものである。
の技術手段は、第1乃至第のいずれかの技術手段において、前記特定パターンはコピー禁止を示すパターンであり、当該画像処理装置は、前記特定パターン検出手段で前記特定パターンが所定数以上検出された場合、入力画像の出力を禁止する出力禁止手段を備えたことを特徴としたものである。
の技術手段は、第1乃至第のいずれかの技術手段における画像処理装置に組み込み、該画像処理装置における演算処理装置を、各手段として機能させるためのプログラムである。
の技術手段は、第の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
第7の技術手段は、入力された画像データから複数の単一色を分離して2値化する2値化ステップと、該2値化ステップで2値化された各色の画像データから、各色毎に大きさが異なるプリミティブパターンを各色毎に検出するプリミティブパターン検出ステップと、該プリミティブパターン検出ステップで各色毎に検出した結果、プリミティブパターンが所定個数以上検出された色のデータを選択し、該選択したプリミティブパターンを、各色共通の所定の大きさにしてから1つにまとめる統合ステップと、該統合ステップでまとめたプリミティブパターンの配置に基づき、特定パターンを検出する特定パターン検出ステップとを有することを特徴としたパターン検出方法である。
本発明によれば、特定パターンが付加された複写禁止原稿の原稿の色や入力画像情報に依らず、また特定パターンの大きさが異なる場合でも、特定パターンの判定を正確に且つ容易にし、複写禁止原稿を判定することが可能となる。
図1は、本発明の画像処理装置におけるシステム構成例を示すブロック図で、図中、1はデジタル複合機等の画像処理装置、10はPCI(Peripheral Component Interconnect)バス、11はCPU(Central Processing Unit)、12はシステムコントローラ、13はRAM(Random Access Memory)等のシステムメモリ、14はI/O(入出力)コントローラ、14aはHDD(ハードディスクドライブ)コントローラ、15a,15bはHDD、16は外部インタフェース、17はページメモリ、18はイメージコントローラ、19は画像処理LSI(Large Scale Integrated Circuit)、20は画像形成部、21は画像読取部である。
画像処理装置1は、演算によって情報処理を行うCPU11を備え、CPU11には、CPU11に対するデータの入出力を行うシステムコントローラ12が接続されている。システムコントローラ12には、CPU11が行う処理に伴うデータを一時的に記憶するRAM13及びPCIバス10が接続されている。PCIバス10には、PCIバス10に対するデータの入出力を行うI/Oコントローラ14及びイメージコントローラ18が接続されている。
イメージコントローラ18には、原稿に記録された画像を読み取る画像読取部21と、画像データをページ単位で記憶するページメモリ17と、画像データを処理する画像処理部(画像処理LSI19)と、画像データから画像を形成して出力する画像形成部20とが接続されている。I/Oコントローラ14には、情報処理装置外の装置との間でデータを入出力するUSB(Universal Serial Bus)やLAN(Local Area Network)等の外部インタフェース16と、データを記憶するHDD15a,15b(1つのHDDでもよい)が接続されている。
本発明は、コピー禁止付加パターンの検出処理に関するものであり、この検出処理は、例えば図1中のイメージコントローラ18で実行される。この場合、例えば、イメージコントローラ18内のCPU等の演算処理装置を後述の各手段として機能させるためのプログラムを、イメージコントローラ18内のROM(Read Only Memory)等に格納しておき、演算処理装置がイメージコントローラ18内のRAM等にこのプログラムを読み出して実行することにより遂行される。また、本発明は、このようなプログラムとしての形態や、そのプログラムを記録したコンピュータ読み取り可能な各種記録媒体としての形態も採用できる。この記録媒体に記録されたプログラムはPCなどで読み取られ、ネットワーク経由で画像処理装置に転送されてROM(この場合、書き換え可能なROM)にファームウェアとして実行可能に組み込まれる。但し、本発明に係る画像処理装置は、コピー禁止付加パターンの検出がイメージコントローラ18内で実行されるような構成に限定されるものではない。
本発明は、複写禁止原稿を特定する特定パターン(コピー禁止付加パターン)を、原稿にM+N個以上付加しており、実際に検知するときに、その特定パターンをN個検出することでコピー禁止原稿を識別する画像処理装置、及びそのパターン検出方法に関するものである。本発明に係るパターン検出方法は、本発明に係る画像処理装置における検出処理を実行する手順からなり、以下ではその説明を省略する。
以下の説明においては、コピー禁止付加パターンは黒或いは黄色の連続した数画素から構成されるドット形状からなる複数のプリミティブパターンで構成されていて、コピー禁止付加パターンを目立ち難く且つ検出可能にするため、黄色のプリミティブパターンは黒のプリミティブパターンよりも大きく印字されているものを想定して説明するが、プリミティブパターンの色構成や形状はこれに限定されるものではない。また、黒色及び黄色のプリミティブパターンはその位置関係などが同じであるものとする。
図2は、本発明の一実施形態に係る画像処理装置の構成例を示すブロック図で、図中、30は画像処理装置、31は黒色検出色フィルタ、32は黄色検出色フィルタ、33は黒色用プリミティブパターン検出部、34は黄色用プリミティブパターン検出部、35は黒色用細線化部、36は黄色用細線化部、37はOR回路(OR処理部)、38は各種画像処理部、39はコピー禁止付加パターン検出部である。
この画像処理装置30は、画像中にコピー禁止付加パターンが存在するか否かを判定する機能を有する装置であり、図に示すように黒色検出色フィルタ(黒検出色フィルタ)31と、黄色検出色フィルタ32と、プリミティブパターン検出部33,34と、細線化部35,36と、OR回路37と、各種画像処理部38と、コピー禁止付加パターン検出部39から構成されている。
黒検出色フィルタ31は、入力画像データを黒に関して2値化の処理を行っている。黄色検出色フィルタ32は、同様に入力画像データを黄色に関して2値化の処理を行っている。複写禁止原稿に付加されたコピー禁止付加パターンは、黒若しくは黄色のパターンであるため、黒検出色フィルタ31、或いは、黄色検出色フィルタ32での2値化処理により、プリミティブパターンは2値データとして出力される。検出用の色フィルタ31,32で例示したように、本発明に係る画像処理装置には、入力された画像データから複数の単一色を分離して2値化する2値化手段を備えるものとする。
プリミティブパターン検出部33,34は、2値化手段で2値化された各色の画像データから、各色毎のプリミティブパターンを検出する手段をもつ。そして、後述するが、本発明に係る画像処理装置は、プリミティブパターン検出部33,34で検出されたプリミティブパターンの配置に基づき、コピー禁止付加パターンを検出する特定パターン検出手段を備える。以下、この特定パターン検出手段がコピー禁止付加パターン検出部39に具備されるものとして例示する。このように、色毎にプリミティブパターンの検出を行うことにより、色毎に異なるプリミティブパターンの検出が正確になる。
ここで例示するプリミティブパターン検出部33,34は、各々、連続画素カウンタ部33a,34aと、比較データ記憶部33b,34bと、比較器33c,34cと、カウンタ部(カウンタ)33d,34dとを備えている。
連続画素カウンタ33aは、黒検出色フィルタ31からの2値データの連続している画素の画素数をカウントする。カウント方法としては、1次元方向で連続画素数をカウントしても、1次元方向で連続画素数をカウントし、設定範囲外のものに対して2次元に拡張してカウントしても構わない。
比較器33cにおいて、連続画素カウンタ33aでカウントされた結果と、比較データ記憶部33bに予め設定された値と比較を行い、例えば設定された画素数以下の長さをもつデータ及び設定された画素数以上の長さを持つデータの消去を行う。例えば、プリミティブパターンの大きさを5×5画素、比較データ記憶部33bに2画素以下、8画素以上消去と設定している場合、2画素以下の長さをもつデータ及び8画素以上の長さをもつデータを消去する。
このように、プリミティブパターン検出部33(34)は、連続画素数をカウントする連続画素カウンタ33a(34a)を有し、そのカウント値に基づき、不要データを判定して削除できるようにすることが好ましい。これにより、不要データを削除することが可能で、プリミティブパターンの検出が正確になる。
カウンタ33dは、比較器33cにおいて処理されたデータから、プリミティブパターンの大きさをもつデータ、例えば5×5画素の大きさをもつデータ、の個数をカウントし、カウント数が設定した値、例えば、[(コピー禁止付加パターン有り判定個数:N)×(コピー禁止付加パターン構成プリミティブパターン数)×定数]の値、以下の値である場合は、全データを消去する。以上の処理により、コピー禁止付加パターンの付加された原稿の色データ、入力画像データを取り除き、プリミティブパターンの検出を行う。
このように、プリミティブパターン検出部33(34)は、黒色(黄色)で検出したプリミティブパターンの数が、コピー禁止付加パターン検出部39で抽出すべき(検出したと判定すべき)コピー禁止付加パターンの数から決める閾値より小さい場合、所定の処理を行う手段を有することが好ましい。これにより、コピー禁止付加パターンを構成するプリミティブパターン以外の不要データを削除でき、プリミティブパターンの検出が正確になる。
細線化部35は、プリミティブパターン検出部33からのデータを、既知の方法により細線化、例えば1画素に細線化を行う。この処理により、後述する黄色のコピー禁止付加パターンを構成するプリミティブパターンの大きさとの整合性をとることにより、以降の処理の共通化を行っている。
このように、プリミティブパターン検出部33(34)で黒色(黄色)で検出したプリミティブパターンから、プリミティブパターン内の代表点を求める代表点検出手段を備えることが好ましい。ここで、代表点とは、例えばプリミティブパターン内の中心の一画素又は数画素などである。細線化部35(36)は、この代表点検出手段の一例として、プリミティブパターン内の代表点を細線化により求める細線化手段を有する。これにより、色毎に異なるプリミティブパターンからコピー禁止付加パターンを検出することが容易となる。特に、細線化を行うことで、異なる形状のプリミティブパターンの代表点を容易に抽出することが可能となる。
説明を一部行ったが、黄色のコピー禁止付加パターンに対しても黒のコピー禁止付加パターンの処理と同様の方法で処理される。即ち、入力画像データを黄色検出色フィルタにより、2値データとして出力する。
黄色検出色フィルタ32からのデータは連続画素カウンタ34aで、連続している画素の画素数をカウントする。カウント方法としては、1次元方向で連続画素数をカウントしても、1次元方向で連続画素数をカウントし、設定範囲外のものに対して2次元に拡張してカウントしても構わない。
比較器34cにおいて、連続画素カウンタ34aでカウントされた結果と、比較データ記憶部34bに予め設定された値と比較を行い、例えば設定された画素数以下の長さをもつデータ及び設定された画素数以上の長さを持つデータの消去を行う。例えば、プリミティブパターンの大きさを8×8画素、比較データ記憶部34bに5画素以下、11画素以上消去と設定している場合、3画素以下の長さをもつデータ及び9画素以上の長さをもつデータを消去する。
カウンタ34dは、比較器34cにおいて処理されたデータから、プリミティブパターンの大きさをもつデータ、例えば8×8画素の大きさをもつデータ、の個数をカウントし、カウント数が設定した値、例えば、[(コピー禁止付加パターン有り判定個数:N)×(コピー禁止付加パターン構成プリミティブパターン数)×定数]の値、以下の値である場合は、全データを消去する。以上の処理により、コピー禁止付加パターンの付加された原稿の色データ、入力画像データを取り除き、プリミティブパターンの検出を行う。
細線化部36は、プリミティブパターン検出部34からのデータを、既知の方法により細線化、例えば1画素に細線化を行う。この処理により、前述の黒のコピー禁止付加パターンを構成するプリミティブパターンの大きさとの整合性をとっている。
ここで、プリミティブパターン検出部、細線化部は、黒、黄色の2箇所で構成している。これは黒のプリミティブパターンと黄色のプリミティブパターンの大きさが異なるためであり、各々のプリミティブパターンに対して異なる処理をすることにより、後の合成後のコピー禁止付加パターン部における検知を正確なものとしている。勿論、例示したように2色に対応するものに限らず、3色以上に対応するために、それぞれの色の色フィルタ、プリミティブパターン検出部、及び細線化部を備えてもよい。
細線化部35からのデータと細線化部36からのデータは、合成手段の一例であるOR回路37により合成される。合成されたデータは各種画像処理部38で各種画像処理を行った後、コピー禁止付加パターン検出部39において、例えば、プリミティブパターンの位置関係によりコピー禁止付加パターンの有無を判定する。このような合成手段を備えることで、複数の色でコピー禁止付加パターンが付加されている場合にも対応できる。
ここで、OR回路37で合成をしているが、セレクタ等の選択手段により、プリミティブパターン有りのデータをセレクトした後、各種画像処理部38、コピー禁止付加パターン検出部39の処理を行っても構わない。これは、一般的にコピー禁止付加パターンが単色のプリミティブパターンから構成される場合に特に有効である。このような選択手段を備えることで、コピー禁止付加パターンを検出するハードの回路規模を小さくできる。
OR回路37やセレクタで例示したように、プリミティブパターン検出部33,34で各色毎に検出したプリミティブパターンを1つにまとめる統合手段(統一部)を備えることが好ましく、この場合、コピー禁止付加パターン検出部39は、統合手段でまとめたプリミティブパターンの配置に基づき、コピー禁止付加パターンの検出を行うこととなり、コピー禁止付加パターンを検出するハードの回路規模を小さくできる。
そして、細線化部35若しくは細線化部36で原稿に付加されている黒のコピー禁止付加パターン若しくは黄色のコピー禁止付加パターンのプリミティブの大きさの整合性をとることにより、コピー禁止付加パターン検出部39を共通にすることが可能な画像処理装置となる。このように、各色検出色フィルタ後に各色毎にプリミティブパターン検出を行って、検出後の部分が各色で共通とするとよい。
コピー禁止付加パターン検出部39において所定の数(N個)以上のコピー禁止付加パターンを検出した場合は、図1に示す画像形成部20に複写禁止等の適切な措置を行う。このように、画像処理装置30は、コピー禁止付加パターンが所定数以上検出された場合、入力画像の出力を禁止する出力禁止手段(入力無効化手段)を備える。この出力禁止手段では、検出結果を基に他のブロック(例えば図1の画像形成部20や外部インタフェース16)の制御を行うこととなる。
図3は、原稿に複数のコピー禁止付加パターンを配置した配置例を示す図で、図中、40は原稿、41はコピー禁止付加パターンである。原稿40にはM+N個以上のコピー禁止付加パターン41が配置されている。以下、M+N個のうち1つのコピー禁止付加パターン41の検出処理について、前述したOR回路37による合成処理までの処理における形状例を、図4〜図7を参照して説明する。すなわち、以下に説明する処理が、並行又は順次処理で、複数のコピー禁止付加パターン41に対して実行されることとなる。
図4は、黄色のコピー禁止付加パターンが黒の画像中に配置された原稿の一例に対する処理を説明するための図で、図中、50は画像データであり、51はプリミティブパターン、52は入力画像(黒)である。入力画像とは、図1における画像読取部21等で取り込んだ画像であり、複写しようとする文字、写真等のことを指す。
画像データ50は、黒検出色フィルタ31により入力画像(黒)52が色フィルタ通過画像データ53aとして出力され、黄色検出色フィルタ32によりプリミティブパターン51が色フィルタ通過画像データ53bとして出力される。比較器33cにより入力画像(黒)52は比較後画像データ54aにおいて消去されるが、プリミティブパターン51は比較器34cから出力される比較後画像データ54bでも残っている。
カウンタ34dによりコピー禁止付加パターンを構成するプリミティブパターン以外のプリミティブパターン程度の大きさのデータは消去されるが、コピー禁止付加パターンを構成するプリミティブパターン51はカウント後画像データ55bでも残っている。なお、カウント後画像データ55aはカウンタ33dでカウントした後の画像データである。
細線化部36により、プリミティブパターン51の細線化処理を行って細線化後画像データ56bを出力した後、OR回路37で、細線化処理を行った黒検出データ(細線化後画像データ56a)と黄色検出データ(細線化後画像データ56b)を合成し、細線化されたプリミティブパターン51aをもつOR処理後画像データ57が出力される。
図5は、黒色のコピー禁止付加パターンが黄色の画像中に配置された原稿の一例に対する処理を説明するための図で、図中、60は画像データであり、61はプリミティブパターン、62は入力画像(黄)である。
画像データ60は、黒検出色フィルタ31によりプリミティブパターン61が色フィルタ通過画像データ63aとして出力され、黄色検出色フィルタ32により入力画像62が色フィルタ通過画像データ63bとして出力される。比較器33cにより、プリミティブパターンは比較後画像データ64a内に出力されるが、入力画像62は比較後画像データ64aにおいて消去される。
カウンタ33dによりコピー禁止付加パターンを構成するプリミティブパターン以外のプリミティブパターン程度の大きさのデータは消去されるが、コピー禁止付加パターンを構成するプリミティブパターン61はカウント後画像データ65aでも残っている。なお、カウント後画像データ65bはカウンタ34dでカウントした後の画像データである。
細線化部35により、プリミティブパターン61の細線化処理を行って細線化後画像データ66aを出力した後、OR回路37で、細線化処理を行った黒検出データ(細線化後画像データ66a)と黄色検出データ(細線化後画像データ66b)を合成し、細線化されたプリミティブパターン61aをもつOR処理後画像データ67が出力される。
図6及び図7は、黄色のコピー禁止付加パターンが黒及び黄色の画像中に配置された原稿の一例に対する処理を説明するための図で、図中、70a,70bは画像データであり、71はプリミティブパターン、72は入力画像(黄)、73は入力画像(黒)、75はプリミティブパターン程度の大きさの入力画像(黒)である。75は以降入力画像(黒小)と記す。
画像データ70a,70bは、黒検出色フィルタ31により入力画像(黒)73と入力画像(黒小)75が色フィルタ通過画像データ76a,76bとして出力され、黄色検出色フィルタ32によりプリミティブパターン71と入力画像(黄)72が色フィルタ通過画像データ76A,76Bとして出力される。
比較器33cにより入力画像(黒)73は比較後画像データ77a,77bにおいて消去されるが、入力画像(黒小)75は残っている。また、比較器34cにより、入力画像(黄)72と入力画像(黄)72に重なったプリミティブパターン71は比較後画像データ77Bにおいて消去されるが、入力画像(黄)72と重ならないプリミティブパターン71は比較後画像データ77A,77Bで出力される。
カウンタ33dによりコピー禁止付加パターンを構成するプリミティブパターン以外のプリミティブパターン程度の大きさのデータ(ここでは入力画像(黒小)75)が消去されてカウント後画像データ78a,78bとして出力される。一方、カウンタ34dにより、コピー禁止付加パターンを構成するプリミティブパターン71はカウント後画像データ78A,78Bでも残っている。
細線化部35,36により、プリミティブパターン71の細線化処理を行って細線化後画像データ79A,79Bを出力した後、OR回路37で、細線化処理を行った黒検出データ(細線化後画像データ79a,79b)と黄色検出データ(細線化後画像データ79A,79B)を合成し、細線化されたプリミティブパターン71aをもつOR処理後画像データ80A,80Bが出力される。
ここで、OR処理後画像データ80Bのプリミティブパターン71aの一部が欠如しているが、欠如していないプリミティブパターン、即ち完全なコピー禁止付加パターンが存在し(OR処理後画像データ80A)、また原稿中M+N個配置してあるうちN個識別すればよいので、判定は可能である。
また、図4、図5、及び図7で図示したOR処理後画像データ57,67,80A,80Bで示したように、黒のプリミティブパターンと黄色のプリミティブパターンの大きさの整合性をとっているため、後のコピー禁止付加パターン検出部を共通とすることが可能である。
図8は、本発明の画像処理装置の一例であるデジタル複合機の構成例を説明するためのブロック図で、図中、100はデジタル複合機である。デジタル複合機100は、図1の画像処理装置の一例として、複写機、プリンタ装置、ファクシミリ装置、及びスキャナ装置の機能を備えた複合機として構成されたものを例示している。
デジタル複合機100は、演算を行うCPU及び演算に伴う一時的な情報を記憶するRAM等からなる機器制御部114を備えている。機器制御部114には、デジタル複合機100を制御するための制御プログラムを記憶しているROMが含まれる。また、機器制御部114には、デジタル複合機100が行う処理を管理するための管理情報(各種の制御情報)を記憶するメモリである管理部117が接続されている。また、機器制御部114には、記録用紙に記録された画像を読み取って画像データを生成する画像読取部111が接続される。この画像読取部111には、原稿画像を画像データとして取り込むためのCCD111aと、原稿の有無を検知する原稿検知センサ111bとが設けられる。
また、機器制御部114には、記録用紙上に画像データを形成する画像形成部として機能する画像形成部113が接続される。この画像形成部113には、画像データを一時的に記憶するメモリ113aと、メモリ113aが記憶した画像データから画像を形成して記録用紙に記録する印字部(LSU)113bと、印字部113bで画像形成するための給紙用のトレイ113c,113dとが設けられる。そして、デジタル複合機100は、画像読取部111が生成した画像データをメモリ113aに一旦記憶させた後、印字部113bで画像を形成することができる。このようにして、デジタル複合機100は複写機として機能する。
また、図8で例示する機器制御部114には、ファクシミリ通信を行うFAXモデム118が接続されており、FAXモデム118は公衆回線網N3に接続されている。デジタル複合機100は、画像読取部111が生成した画像データを、FAXモデム118に接続された公衆回線網N3を介して他のファクシミリ装置104へファクシミリ通信にて送信することができる。また、デジタル複合機100は、公衆回線網N3を介して他のファクシミリ装置104から送信された画像データをFAXモデム118で受信し、受信した画像データから画像形成部113で画像を形成することができる。このようにして、デジタル複合機100はファクシミリ装置として機能する。
また、機器制御部114には、デジタル複合機100が外部と情報を送受信するための通信部(送受信手段)115が接続されている。通信部115は、社内LAN等の通信ネットワークN1に接続可能であり、通信ネットワークN1には1又は複数のパーソナルコンピュータ(PC)105が接続可能である。デジタル複合機100が単独で動作している通常の状態では、通信部115は通信ネットワークN1に接続されており、通信ネットワークN1を介してPC105との間で情報を交換する。
デジタル複合機100は、画像読取部111が生成した画像データを通信部115からPC105へ送信することができる。このようにして、デジタル複合機100はスキャナ装置として機能する。また、デジタル複合機100は、PC105から送信された画像データを通信部115で受信し、受信した画像データから画像形成部113で画像を形成することができる。このようにして、デジタル複合機100はプリンタ装置として機能する。
通信ネットワークN1は、更にインターネット等の広域通信ネットワークN2に接続されている。通信部115は、電子メールに画像データを添付して送信するなどの方法により、広域通信ネットワークN2に接続されたインターネットファクシミリ装置102や外部PC103との間で、通信ネットワークN1及び広域通信ネットワークN2を介して画像データを受信することができる。このようにして、デジタル複合機100はインターネットファクシミリ装置として機能する。
また、機器制御部114には、使用者からの操作を受け付ける操作部112が接続されている。操作部112は、使用者の操作により制御命令などの情報が入力されるタッチパネル又はテンキー等の入力部112aと、操作のために必要な情報を表示する液晶パネル等の表示部112bとからなっている。操作部112には、このデジタル複合機100の管理者や利用者(すなわち操作者)を認証するための認証コードが入力される。また、認証コードは、FAXモデム118や通信部115を介して外部機器から入力する場合もある。
機器制御部114には、ハードディスク(HD)116が接続されている。HD116は、画像読取部111が生成した画像データ等の画像処理に係る画像データを記憶する。また、機器制御部114には消去手段119が接続される。消去手段119は、機器制御部114による制御に従って、HD116に記録保持されているデータを消去する。
さらに、機器制御部114には、本発明に関わる特定画像情報を付加する処理及び特定画像情報を検出する処理を実現する画像処理部120が接続される。また、画像処理部120には、図2で説明した構成でなる特定画像情報の検出に関する特定画像情報検出手段120a(後述する)が具備されていればよい。画像処理部120には、特定画像情報の付加処理に関する後述の特定画像情報付加手段120b及び特定画像情報設定手段120cを具備することが好ましいが、具備しなくてもよい。
特定画像情報付加手段120bは、特定の画像であることを意味する特定画像情報を画像データに対して付加する。なお、特定画像情報は、画像記録処理でいうと、特定の画像が記録された記録物であることを意味する情報である。
特定画像情報付加手段120bは、画像データに付加すべき特定画像情報を予め保持しておき(若しくは他のアクセス可能なメモリに保持させておき)、機器制御部114による特定画像情報の付加に関する制御に従って特定画像情報を画像データに付加し、メモリ113aに保持させる。画像処理部120で処理された画像データは、印字部113bで最終的に出力される形態の印刷データとなる。特定画像情報は、上述のように複写を禁止する(或いは複写禁止であることをユーザに認知させて牽制を行う)ために使用されるものであり、例えばカラー複合機であれば黄色の特定画像情報を視認できないように付加する。また、モノクロ複合機であれば(或いはカラー複合機であってもモノクロ出力の場合には)濃度調整した黒(グレー)を視認できないように付加する。
特定画像情報設定手段120cは、特定画像情報の色及び/又は数を設定する。特定画像情報設定手段120cは、機器制御部114による設定制御に従って特定画像情報の色や数を設定しておき、特定画像情報付加手段120bは、画像データに付加すべき予め保持した特定画像情報に対し、特定画像情報設定手段120cで設定された色や数に基づいて特定画像情報を画像データに付加する。また、この例では、特定画像情報を、設定された色や数をもつ画像として画像処理(記録再現等)させる手段を有するものとする。特定画像情報設定手段120cによる特定画像情報の色や数(や位置)の設定により、特定画像情報の検出時に、ユーザの使用形態に依らず特定画像情報の検出精度を上げることができる。
また、特定画像情報設定手段120cは、特定画像情報の色及び/又は数を操作部112などからユーザに選択させる付加特性選択手段を有することが好ましい。さらに、特定画像情報設定手段120cは、特定画像情報を付加する位置をユーザに選択させる位置選択手段を有することが好ましい。この位置選択手段では、例えば、特定画像情報を用紙に万遍なく配置するのか隅だけに配置するのかなどといったことを操作部112などからユーザ選択できるものとする。なお、ユーザ設定可能なユーザは管理者ユーザであることが好ましい。また、特定画像情報設定手段120cは、特定画像情報の色及び/又は数の設定に応じて、自動的に特定画像情報の大きさを異ならしめて設定するよう構成してもよい。
上述のような構成を有する本実施形態の画像形成装置は、画像読取部111で読み取った画像データや、FAXモデム118や通信部115を介して外部から入力した画像データを印字部113bで画像形成する際に特定画像情報を付加する。
このように、画像処理を施す画像データを入力する複数の画像データ入力手段を備えておき、特定画像情報設定手段120cは、複数の画像データ入力手段(画像入力モードに対応)のそれぞれに対し、予め特定画像情報の色及び/又は数を設定しておくようにしてもよい。ここで、複数の画像データ入力手段としては、画像データの入力経路の違いだけでなく、例えば同じ原稿読み取りした画像データであっても、写真モードで印刷しようとしているのか、白黒モードで印刷しようとしているのか、濃く印刷するモードで印刷しようとしているのか、或いは薄く印刷するモードで印刷しようとしているのか、などといった画像入力モードのそれぞれを指す。
特定画像情報の設定及び付加処理においては、上述した好ましい形態などを適宜採用して処理を実行すればよい。例えば、特定画像情報(特定パターン)は、YMCKのトナーの色の単色から選択可能で、1枚の出力用紙に付加するパターン色は複数個であり同じ色であるようにしてもよい。また、モノクロコピー(FAX,プリンタ)モードで印字した場合は付加するパターンの色を黒にし、カラーモードで印字した場合は、YMCKの4色から選択可能であるようにしてもよい。さらに、再生紙でも検出できるよう黄色のパターンを選択した場合は黒のパターンを選択した場合より濃くするかドットを大きくするようにしてもよい。画像データをモノクロ2値で印字する場合は画像データを印字する濃度値より、付加パターンの濃度値を薄くするなどしてもよい。
また、特定パターン画像は、同じ画像を少なくともM+N個以上付加するようにしておくとよい。実際に検出するときに、そのパターンをNパターン検出することで付加情報を付加した原稿であることを識別することで、付加したパターンの1部分だけを検出するだけで良くなるので、付加パターンを目立たないパターンにすることが可能となる。また、黒で印字する時の付加印字パターンのプリミティブを大きさを黄色で印字する時より小さくすることで、再生紙に印字した時も検出することができるだけでなく、目立ち難い薄く小さなパターンにすることが可能となる。
また、付加するパターン画像は、1セット2コピーの時に有益となるよう、少なくとも給紙用紙の4隅に付加するようにしてもよいし、2in1の時に有益となるよう、原稿用紙の4隅に付加するようにしてもよい。しかしながら、付加するパターン画像は、給紙用紙全面に付加することで、切り貼りしても検知可能となる。また、付加するパターン画像の数は、セキュリティ強度によって可変するようにしてもよい。
一方で、画像処理部120は、画像読取部111で読み取られてメモリ113aに保存された画像データに特定画像情報が含まれるか否かを検出する本発明に係る特定画像情報検出手段120aを有している。特定画像情報検出手段120aとしては図2で例示した特定パターンを検出するための各手段が該当する。特定画像情報検出手段120aの検出結果、画像データに特定画像情報が含まれていれば、機器制御部114は、その画像データの複写を禁止する(画像形成部113における画像形成を無効にする)制御を行う。
このように、本発明では画像処理部120などに出力禁止手段(画像無効化手段)を備えることが好ましい。換言すると、この出力禁止手段は、特定パターン検出手段(特定画像情報検出手段120a)で特定パターンが所定数以上検出された場合に入力画像の出力を禁止する手段である。すなわち、この手段により、特定画像情報検出手段120aで特定画像情報が存在すると判定されたときには、画像読取部111で読み取った画像情報を無効にすることが可能となる。また、原稿によっては、文字が込み入ったものやゴミと呼ばれる出力(印刷やFAX出力等)部分があるので、付加する所定の画像は、上述したように同じパターンをM+N以上付加するよう特定画像情報設定手段120cで設定して画像形成しておき、特定画像情報検出手段120aは、識別する際、上述したように付加したパターンをN個識別した時点で検出するようにしておくことが好ましい。このN個という情報は、当然、付加する数のうちのパーセンテージで決定しておいてもよい。
本発明の画像処理装置におけるシステム構成例を示すブロック図である。 本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。 原稿に複数のコピー禁止付加パターンを配置した配置例を示す図である。 黄色のコピー禁止付加パターンが黒の画像中に配置された原稿の一例に対する処理を説明するための図である。 黒色のコピー禁止付加パターンが黄色の画像中に配置された原稿の一例に対する処理を説明するための図である。 黄色のコピー禁止付加パターンが黒及び黄色の画像中に配置された原稿の一例に対する処理を説明するための図である。 図6の処理の続きを説明するための図である。 本発明の画像処理装置の一例であるデジタル複合機の構成例を説明するためのブロック図である。
符号の説明
1…画像処理装置、10…PCIバス、11…CPU、12…システムコントローラ、13…RAM等のシステムメモリ、14…I/Oコントローラ、14a…HDDコントローラ、15a,15b…HDD、16…外部インタフェース、17…ページメモリ、18…イメージコントローラ、19…画像処理LSI、20…画像形成部、21…画像読取部、30…画像処理装置、31…黒色検出色フィルタ、32…黄色検出色フィルタ、33…黒色用プリミティブパターン検出部、34…黄色用プリミティブパターン検出部、35…黒色用細線化部、36…黄色用細線化部、37…OR回路、38…各種画像処理部、39…コピー禁止付加パターン検出部、40…原稿、41…コピー禁止付加パターン、50,60,70a,70b…画像データ、51,61,71…プリミティブパターン、51a,61a,71a…細線化プリミティブパターン、52,73…入力画像(黒)、62,72…入力画像(黄)、75…入力画像(黒小)。

Claims (7)

  1. 入力された画像データから複数の単一色を分離して2値化する2値化手段と、該2値化手段で2値化された各色の画像データから、各色毎に大きさが異なるプリミティブパターンを各色毎に検出するプリミティブパターン検出手段と、該プリミティブパターン検出手段で各色毎に検出した結果、プリミティブパターンが所定個数以上検出された色のデータを選択し、該選択したプリミティブパターンを、各色共通の所定の大きさにしてから1つにまとめる統合手段と、該統合手段でまとめたプリミティブパターンの配置に基づき、特定パターンを検出する特定パターン検出手段とを備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、前記所定個数は、前記特定パターン検出手段で検出する対象となる1つの特定パターンに含まれるプリミティブパターンの数と、前記特定パターン検出手段で抽出すべき特定パターンの数とから決める個数であることを特徴とする画像処理装置。
  3. 請求項1又は2に記載の画像処理装置において、プリミティブパターン検出手段は、連続画素数をカウントする連続画素カウンタを有し、該連続画素カウンタのカウント値に基づき、不要データを判定することを特徴とする画像処理装置。
  4. 請求項1乃至3のいずれか1項に記載の画像処理装置において、前記特定パターンはコピー禁止を示すパターンであり、当該画像処理装置は、前記特定パターン検出手段で前記特定パターンが所定数以上検出された場合、入力画像の出力を禁止する出力禁止手段を備えたことを特徴とする画像処理装置。
  5. 請求項1乃至4のいずれか1項に記載の画像処理装置に組み込み、該画像処理装置における演算処理装置を、各手段として機能させるためのプログラム
  6. 請求項5に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体
  7. 入力された画像データから複数の単一色を分離して2値化する2値化ステップと、該2値化ステップで2値化された各色の画像データから、各色毎に大きさが異なるプリミティブパターンを各色毎に検出するプリミティブパターン検出ステップと、該プリミティブパターン検出ステップで各色毎に検出した結果、プリミティブパターンが所定個数以上検出された色のデータを選択し、該選択したプリミティブパターンを、各色共通の所定の大きさにしてから1つにまとめる統合ステップと、該統合ステップでまとめたプリミティブパターンの配置に基づき、特定パターンを検出する特定パターン検出ステップとを有することを特徴とするパターン検出方法。
JP2005327843A 2005-11-11 2005-11-11 画像処理装置、パターン検出方法、プログラム、及び記録媒体 Active JP4137935B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005327843A JP4137935B2 (ja) 2005-11-11 2005-11-11 画像処理装置、パターン検出方法、プログラム、及び記録媒体
US11/589,019 US20070109312A1 (en) 2005-11-11 2006-10-27 Image processing apparatus, pattern detecting method, program, and recording medium
CNB2006101435595A CN100468445C (zh) 2005-11-11 2006-11-13 图像处理设备和图案检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005327843A JP4137935B2 (ja) 2005-11-11 2005-11-11 画像処理装置、パターン検出方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2007135091A JP2007135091A (ja) 2007-05-31
JP4137935B2 true JP4137935B2 (ja) 2008-08-20

Family

ID=38040313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005327843A Active JP4137935B2 (ja) 2005-11-11 2005-11-11 画像処理装置、パターン検出方法、プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US20070109312A1 (ja)
JP (1) JP4137935B2 (ja)
CN (1) CN100468445C (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274192B2 (ja) * 2006-02-28 2009-06-03 ブラザー工業株式会社 画像処理装置及び画像形成装置
US20080140234A1 (en) * 2006-12-06 2008-06-12 Shafter Richard M Method and system for remotely directing a fishing tournament
AU2007254661A1 (en) 2007-12-24 2009-07-09 Canon Kabushiki Kaisha Printing and authentication of a security document on a substrate
JP5058299B2 (ja) 2010-06-07 2012-10-24 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3060902B2 (ja) * 1995-06-30 2000-07-10 オムロン株式会社 画像処理装置及び画像処理方法
JP4387721B2 (ja) * 2003-07-31 2009-12-24 キヤノン株式会社 記録装置および記録方法
US20060098236A1 (en) * 2004-10-28 2006-05-11 Fuji Xerox Co., Ltd. Photo printing control apparatus, photo printing control method, and program

Also Published As

Publication number Publication date
CN100468445C (zh) 2009-03-11
JP2007135091A (ja) 2007-05-31
CN1963841A (zh) 2007-05-16
US20070109312A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
US8081348B2 (en) Image processing device, method and program product processing barcodes with link information corresponding to other barcodes
JP4974963B2 (ja) 画像形成装置及びドットパターン較正方法ならびにプログラム
US7742197B2 (en) Image processing apparatus that extracts character strings from a image that has had a light color removed, and control method thereof
US7379214B2 (en) Image processing apparatus capable of processing image embedded with digital watermark, method for controlling the image processing apparatus, and storage medium storing program to execute the method
US7633652B2 (en) Image processing apparatus capable of processing image embedded with digital watermark, method for controlling the image processing apparatus, and storage medium storing program to execute the method
US8427708B2 (en) Apparatus and method for controlling printing of information embedded in a document
JP4137935B2 (ja) 画像処理装置、パターン検出方法、プログラム、及び記録媒体
US8411313B2 (en) Image forming apparatus and image reading method for reading an untargeted page of an original
JP4418826B2 (ja) 画像出力装置およびその制御方法
JP4720533B2 (ja) 画像形成装置、画像形成装置の制御方法、および画像形成装置の制御プログラム
JP4137945B2 (ja) 画像検出方法
JP2009033655A (ja) 画像形成装置、情報処理装置、及び画像形成方法
JP4263156B2 (ja) 画像処理装置、方法およびプログラム
JP2002368992A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム並びにコンピュータ可読媒体
JP4114932B2 (ja) 情報管理装置
JP2006234961A (ja) 画像形成装置
JP2008048080A (ja) 画像形成装置
JP5021837B2 (ja) 画像形成装置、画像読取方法およびプログラム
JP5143638B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
JP2006108994A (ja) 画像処理方法および装置
JP2011061455A (ja) 画像処理装置、画像形成装置、コンピュータプログラム、記録媒体、及び画像処理方法
JP2006253893A (ja) 画像形成装置
JP2007081986A (ja) 画像処理装置
JP2008288995A (ja) 画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080604

R150 Certificate of patent or registration of utility model

Ref document number: 4137935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5