JPWO2010073409A1 - 画像処理システム、画像処理装置及び画像処理方法 - Google Patents

画像処理システム、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JPWO2010073409A1
JPWO2010073409A1 JP2010543748A JP2010543748A JPWO2010073409A1 JP WO2010073409 A1 JPWO2010073409 A1 JP WO2010073409A1 JP 2010543748 A JP2010543748 A JP 2010543748A JP 2010543748 A JP2010543748 A JP 2010543748A JP WO2010073409 A1 JPWO2010073409 A1 JP WO2010073409A1
Authority
JP
Japan
Prior art keywords
image
pattern
deterioration
encrypted
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010543748A
Other languages
English (en)
Other versions
JP5093364B2 (ja
Inventor
昌平 中潟
昌平 中潟
健介 倉木
健介 倉木
高橋　潤
潤 高橋
阿南　泰三
泰三 阿南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2010073409A1 publication Critical patent/JPWO2010073409A1/ja
Application granted granted Critical
Publication of JP5093364B2 publication Critical patent/JP5093364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

画像処理システムは、媒体に印刷された画像を読み取ってその画像を表す電子データを生成する画像入力部と、電子データに表された画像を補正する処理部とを有する。その処理部は、電子データに表された画像から、その画像に付された第１のサイズ及び形状を持つ第１のパターンを検出する機能と、検出された第１のパターンのサイズの、第１のサイズからのずれ量を劣化度として測定する機能と、劣化度が小さくなるように電子データに表された画像を補正する機能とを実現する。

Description

ここに開示される実施形態は、媒体に印刷された画像を電子データに変換した後に、その電子データに表された画像を補正する画像処理システム、画像処理装置及び画像処理方法に関する。
近年、印刷物に記載された秘密情報が漏洩することを防止するための技術が開発されている。特に、不特定多数の人に見られたくない画像を予め暗号化し、その暗号化された画像を紙などの媒体に印刷する技術が提案されている。そのような技術のうちの一つを用いた暗号化装置は、入力画像の一部分を暗号化するとともに、暗号化された領域の画素値を規則的に変換した後、画素値変換に対応した特有の模様を生成する。さらにその暗号化装置は、暗号化された領域の４隅のうちの少なくとも二つ以上に、暗号化された領域を特定するための位置決めマーカを付加する。またその暗号化装置は、暗号化された領域を復号することにより得られる復号画像の妥当性を検証するためのチェック用マーカを付す。一方、復号装置は、暗号化された領域を持つ画像が印刷された媒体をスキャナなどの読取装置を用いて読み込み、読み取った画像に対して位置決めマーカを参照して暗号化された領域を復号することにより、原画像を得る。
国際公開第２００８／０５３５７６号パンフレット
しかしながら、復号装置が暗号化された領域を復号するよりも前に、暗号化された領域を持つ画像が印刷された媒体が、複写機により複写され、その複写された媒体が読取装置で読み取られることがある。あるいは、暗号化された領域を持つ画像が印刷された媒体が、その媒体の保管状態によって劣化することがある。このような場合、読取装置にてその媒体を読み取ることにより得られた画像には、ノイズが重畳されてしまう。また、スキャナなどの読取装置の特性あるいは、読取装置の光学系の汚れにより、読み取られた画像には、ノイズが重畳されてしまうこともある。そのため、読み取られた画像において暗号化された領域に含まれる画素の値が、暗号化装置により生成された暗号化領域に含まれる対応画素の値と異なってしまう。その結果として、復号された原画像の画質が低下してしまうおそれがあった。
そこで、本明細書は、紙などの媒体に印刷された画像が劣化した場合でも、正確にその画像を復元可能な画像処理システム、画像処理装置及び画像処理方法を提供することを目的とする。
一つの実施形態によれば、画像処理システムが提供される。係る画像処理システムは、媒体に印刷された画像を読み取ってその画像を表す電子データを生成する画像入力部と、電子データに表された画像を補正する処理部とを有する。その処理部は、電子データに表された画像から、その画像に付された第１のサイズ及び形状を持つ第１のパターンを検出する機能と、検出された第１のパターンのサイズの、第１のサイズからのずれ量を劣化度として測定する機能と、劣化度が小さくなるように電子データに表された画像を補正する機能とを実現する。
また、他の実施形態によれば、画像処理方法が提供される。係る画像処理方法は、媒体に印刷された画像を読み取ってその画像を表す電子データを生成し、電子データに表された画像から、その画像に付された所定のサイズ及び形状を持つパターンを検出し、検出されたパターンのサイズの、所定のサイズからのずれ量を劣化度として測定し、劣化度が小さくなるように電子データに表された画像を補正することを含む。
さらに他の実施形態によれば、画像の補正をコンピュータに実行させるコンピュータプログラムが提供される。係るコンピュータプログラムは、媒体に印刷された画像を読み取って得られた電子データに表された画像から、その画像に付された所定のサイズ及び形状を持つパターンを検出し、検出されたパターンのサイズの、所定のサイズからのずれ量を劣化度として測定し、劣化度が小さくなるように電子データに表された画像を補正することをコンピュータに実行させる。
さらに他の実施形態によれば、画像処理装置が提供される。係る画像処理装置は、媒体に印刷された画像を読み取って得られた電子データに表された画像から、その画像に付された所定のサイズ及び形状を持つパターンを検出するパターン検出部と、検出されたパターンのサイズの、所定のサイズからのずれ量を劣化度として測定する劣化度測定部と、劣化度が小さくなるように電子データに表された画像を補正する画像補正部とを有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
ここに開示される画像処理システム、画像処理装置及び画像処理方法は、紙などの媒体に印刷された画像が劣化した場合でも、正確にその画像を復元することができるという効果を奏する。
図１は、一つの実施形態による画像処理装置の概略構成図である。 図２（ａ）は、暗号化処理が実行される前の原画像の一例を示す図である。図２（ｂ）は、暗号化処理が実行された後の暗号画像の一例を示す図である。図２（ｃ）は、図２（ｂ）に示される暗号画像に付された検査パターンを拡大表示した図である。。 図３（ａ）は、図２（ｂ）に示された暗号画像が印刷された媒体を、スキャナまたはカメラが読み取ることにより得られた劣化した暗号画像の一例を示す図である。図３（ｂ）は、従来の復号装置により、図３（ａ）に示された劣化した暗号画像から復号された復号画像の一例を示す図である。 図４は、暗号画像に対する画像補正処理及び補正された画像に対する復号処理を実行するために実現される機能を示す処理部の機能ブロック図である。 図５（ａ）は、図３（ａ）に示された、劣化した暗号画像から検出された、劣化した横長の検査パターンと、劣化のない理想的な横長の検査パターンの例を示す図である。図５（ｂ）は、図５（ａ）に示された各検査パターンにおける、右端の黒領域の拡大図である。 図６は、図５（ａ）に示された、検出検査パターン及び劣化のない検査パターンに対して求められる、各列毎の横方向差分値の総和を示す図である。 図７（ａ）は、暗号化領域内の黒領域の一例を示す図である。図７（ｂ）は、図７（ａ）に示された黒領域に対して、縮退処理が行われた後の黒領域を示す図である。図７（ｃ）は、図７（ａ）に示された黒領域に対して、拡大処理が行われた後の黒領域を示す図である。 図８（ａ）は、暗号化領域内の黒領域の一例を示す図である。図８（ｂ）は、図８（ａ）に示された黒領域の上端及び左端に対して半縮退処理が行われた後の黒領域を示す図である。図８（ｃ）は、図８（ａ）に示された黒領域の上端及び左端に対して半拡大処理が行われた後の黒領域を示す図である。 図９は、画像復号装置の処理部上で実行されるコンピュータプログラムにより制御される、劣化画像補正部による補正処理の動作フローチャートを示す図である。 図１０は、画像復号装置の処理部上で実行されるコンピュータプログラムにより制御される、画像補正処理を含む復号処理の動作フローチャートを示す図である。
符号の説明
１ 画像処理システム
２ 画像入力部
３ 出力部
４ 画像復号装置
４１ 通信部
４２ 記憶部
４３ 処理部
４３１ パターン検出部
４３２ 劣化度測定部
４３３ 劣化画像補正部
４３４ 復号部
以下、図を参照しつつ、一つの実施形態による、画像処理システムについて説明する。この画像処理システムは、暗号化された画像が印刷された媒体を読取装置で読み取って得られる電子データに表された画像を復号することにより、原画像を再構成する。そこでこの画像処理システムは、暗号化された画像に付された、形状及びサイズが既知のマークを画像から検出し、検出されたマークのサイズと、予め設定されたそのマークのサイズの差を求める。そしてこの画像処理システムは、その差が小さくなるように電子データに表された画像を補正し、その後、その補正された画像を復号することにより、媒体の劣化または読取時のノイズによる暗号化された画像の劣化を補償する。
なお、本明細書では、暗号化された画像を単に「暗号画像」と呼ぶ。
図１は、一つの実施形態による画像処理システムの概略構成図である。図１に示すように、画像処理システム１は、画像入力部２と、出力部３と、画像復号装置４とを有する。
画像入力部２は、例えば、スキャナまたはカメラを有する。そして画像入力部２は、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）またはSmall Computer System Interface（スカジー、SCSI）などの通信規格に従った通信回線を通じて、画像復号装置４と接続されている。
画像入力部２は、紙などの媒体に印刷された暗号画像を読み取り、その暗号画像を電子データに変換する。また画像入力部２は、読み取った画像に対して公知の様々なノイズ除去処理の何れかを行ってもよい。また画像入力部２は、暗号画像が２値画像であれば、読み取った画像に対して２値化処理を行ってもよい。そして画像入力部２は、暗号画像の電子データを画像復号装置４へ送信する。
出力部３は、例えば、液晶ディスプレイあるいはブラウン管ディスプレイなどの表示装置、あるいは、プリンタなどの印刷装置を有する。そして出力部３は、画像復号装置４と接続され、画像復号装置４が復号した原画像をディスプレイ上に表示したり、あるいは、紙などの媒体に印刷する。
画像復号装置４は、通信部４１と、記憶部４２と、処理部４３とを有する。そして画像復号装置４は、画像入力部２から受信した、暗号画像の電子データに対して復号処理を実行することにより、原画像を再構成する。
通信部４１は、例えば、画像復号装置４を、画像入力部２及び出力部３、あるい他の周辺機器と接続するための通信インターフェース及びその制御回路を有する。そのような、周辺機器と接続するための通信インターフェースは、例えば、USBまたはSCSIなどの通信規格に従ったインターフェースとすることができる。また通信部４１は、イーサネット（登録商標）などの通信規格に従った通信ネットワークまたはIntegrated Services Digital Network（総合ディジタル通信網サービス、ISDN）に接続するための通信インターフェース及びその制御回路を有してもよい。そして画像復号装置４は、通信部４１を介して、他の機器に対して、復号された原画像を送信してもよい。
記憶部４２は、例えば、半導体メモリ、磁気ディスク装置、または光ディスク装置のうちの少なくとも何れか一つを有する。そして記憶部４２は、画像復号装置４で実行されるコンピュータプログラム、暗号画像を復号するために使用されるパラメータ、画像入力部２から受信した暗号画像または復号された原画像を記憶する。さらに記憶部４２は、暗号画像を補正するために使用されるパラメータ及びデータも記憶する。
処理部４３は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部４３は、画像入力部２から受信した、暗号画像の電子データに対して復号処理を実行することにより、原画像を再構成する。さらに処理部４３は、画像処理システム１全体を制御する。
ここで、処理部４３により実行される復号処理の理解を容易にするために、原画像に対して行われる暗号化処理の一例を説明する。
暗号化処理を実行する暗号化装置は、まず、原画像のうち、暗号化する領域を複数のブロックに分割し、各ブロックに固有の番号を設定する。例えば、暗号化装置は、暗号化する領域を縦３個×横４個の合計１２個のブロックに分割し、それぞれのブロックに１〜１２の番号を付す。次に、暗号化装置は、暗号鍵を用いて各ブロックの位置を入れ替えるスクランブル処理を実行する。そのために、暗号化装置は、暗号鍵から変換前と変換後のブロックの位置関係を表す対応テーブルを作成する。例えば、変換前のブロックの番号がｘで表され、変換後のブロックの番号がｙで表されるとする。このとき、スクランブル処理に対応するブロックの変換式は次式で表される。
Figure 2010073409
 （１）式において、p及びqは、それぞれ、暗号鍵が表す素数である。例えば、p=7、q=13であれば、xが1のとき、対応するyの値は7となる。したがって、暗号化装置は、変換前のブロック番号xが1であるブロックを、スクランブル処理により、変換後のブロック番号yが7であるブロックの位置へ移動する。
次に、暗号化装置は、復号処理を実行する装置が各ブロックの位置を正確に検出できるように、変換後の各ブロック内の所定位置の画素の画素値を反転する。なお、各ブロック内の所定位置の画素は、例えば、各ブロックの左上端にある、横３×縦３の画素とすることができる。また、以下では、この画素値が反転される画素を含む領域を反転マーカと呼ぶ。例えば、暗号化装置は、反転マーカと同一のブロックに含まれ、かつその反転マーカの周囲の画素の平均値に基づいて、反転マーカの画素に対して実行する反転処理をシフト演算または反転演算の何れかから選択する。ここで反転演算は、次式で表される。
Figure 2010073409
 また、シフト演算は、次式で表される。
Figure 2010073409
 なお、（２）式及び（３）式において、Pmaxは、暗号化処理の対象となる画像の各画素が取り得る最大画素値を表し、Pminは、暗号化処理の対象となる画像の各画素が取り得る最小画素値を表す。またu及びvは、それぞれ、反転マーカの反転処理実行前の画素値及び反転処理実行後の画素値を表す。そして、例えば、Pmax=255、かつ、Pmin=0のとき、暗号化装置は、反転マーカの周囲の画素の平均値Pavが64以上かつ192未満のとき、シフト演算を選択し、その平均値Pavが64未満または192以上のとき、反転演算を選択する。
例えば、反転マーカに含まれる画素の画素値uが20であり、反転マーカ周囲の画素の平均値Pavが35であれば、暗号化装置は反転演算を選択するので、反転処理後の反転マーカの画素値vは、（２）式より、235となる。
最後に、暗号化装置は、暗号化された領域の４隅に検査パターンを付す。検査パターンは、復号処理を実行する装置が暗号化された領域を容易に特定できるようなパターンが好ましい。例えば、検査パターンは、最大画素値を持つ矩形領域と最小画素値を持つ矩形領域が交互に繰り返されるパターンとすることができる。あるいは、検査パターンは、矩形の輪郭が最小画素値を持ち、その内部が最大画素値を持つ、「口」の字状のパターンであってもよい。
なお、暗号化装置は、例えば、いわゆるコンピュータである。そして暗号化装置は、上記のスクランブル処理、画素値変換処理及び検査パターン付与処理を、その暗号化装置のプロセッサ上で動作するコンピュータプログラムに従って実行する。
図２（ａ）及び図２（ｂ）は、それぞれ、暗号化処理が実行される前の原画像及び暗号化処理が実行された後の暗号画像の一例を示す。図２（ａ）に示されるように、原画像２００は２値画像である。その原画像２００では、「Encrypt」の文字列に相当する部分と他の部分とが異なる画素値を有している。一方、図２（ｂ）に示されるように、暗号画像２１０では、ブロック単位で画素の位置が変更されている。そのため、第三者は、暗号画像２１０から、原画像２００に「Encrypt」の文字列が表されていることを認識することはできない。また、暗号画像２１０には、スクランブル処理の実行単位となるブロックの位置を示す複数の反転マーカ２１１が格子状に付されている。さらに、暗号画像２１０の４隅には、それぞれ、暗号化された領域を特定するための横長の検査パターン２１２及び縦長の検査パターン２１３が付されている。
図２（ｃ）は、図２（ｂ）に示される暗号画像２１０に付された検査パターン２１２及び２１３を拡大表示した図である。図２（ｂ）に示されるように、横長の検査パターン２１２は、横方向に最小画素値を持つ矩形領域２１２ａと最大画素値を持つ矩形領域２１２ｂとが等間隔で交互に繰り返されたパターンを有する。また、縦長の検査パターン２１３は、縦方向に最小画素値を持つ矩形領域２１３ａと最大画素値を持つ矩形領域２１３ｂとが等間隔で交互に繰り返されたパターンを有する。なお、以下では、簡単化のために、所定の閾値以下の画素値を持つ画素の集合領域を黒領域と呼び、その所定の閾値よりも大きい画素値を持つ画素の集合領域を白領域と呼ぶ。また、所定の閾値は、暗号画像の画素が取り得る最大画素値と最小画素値の間の何れかの値とすることができる。例えば、所定の閾値は、暗号画像の画素が取り得る最大画素値と最小画素値の平均値とすることができる。
このように、検査パターン２１２、２１３及び反転マーカ２１１は、特徴的なパターンを有している。そのため、暗号画像２１０から原画像２００を復号する復号装置は、検査パターン２１２、２１３及び反転マーカ２１１を参照して、各ブロックの位置を特定することができる。そしてその復号装置は、暗号画像２１０が劣化していなければ、反転マーカの画素値を逆反転し、その後、原画像２００の暗号化に用いられた暗号鍵を用いて逆スクランブル処理を実行することにより、正確に原画像２００を復号できる。
しかし、暗号画像２１０が印刷された媒体が汚れていたり、その媒体が複写され、復号装置がその複写された媒体から暗号画像を読み取ると、読み取られた暗号画像は劣化する。
図３（ａ）は、図２（ｂ）に示される暗号画像２１０が印刷された媒体を、スキャナまたはカメラが読み取ることにより得られた劣化した暗号画像の一例を示す。また図３（ｂ）は、従来の復号装置により、図３（ａ）に示された劣化した暗号画像から復号された復号画像の一例を示す。図３（ａ）に示されるように、劣化した暗号画像３００は、暗号画像２１０と比較して、黒領域が拡大している。そのため、従来の復号装置は、この劣化した暗号画像３００に対して復号処理を実行すると、図３（ｂ）に示される復号画像３１０のように、原画像２００に対して非常にノイズが多い、低画質の復号画像しか得ることができない。
そこで、この実施形態に係る画像処理システム１の処理部４３は、画像入力部２から受信した電子データに表される暗号画像に対して補正処理を実行し、補正された画像を復号することにより、原画像を再構成する。
図４は、暗号画像に対する画像補正処理及び補正された画像に対する復号処理を実行するために実現される機能を示す処理部４３の機能ブロック図である。図４に示されるように、処理部４３は、パターン検出部４３１と、劣化度測定部４３２と、劣化画像補正部４３３と、復号部４３４とを有する。処理部４３が有するこれらの各部は、処理部４３が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。また、処理部４３が実行する画像補正処理は、パターン検出部４３１、劣化度測定部４３２及び劣化画像補正部４３３により実行される処理である。
パターン検出部４３１は、画像入力部２により取得された電子データに表された暗号画像から、補正量を決定するための基準となる、サイズ及び形状が既知である特定パターンを検出する。本実施形態では、パターン検出部４３１は、特定パターンとして、暗号化された領域の境界を表す検査パターンを検出する。検査パターンは、暗号化された領域を特定するためにも検出されなければならない。そのため、パターン検出部４３１が特定パターンとして検査パターンを検出すれば、暗号化された領域を特定するために、再度検査パターンを検出する必要がない。そのため、処理部４３は、暗号化された領域を特定するためのパターン検出処理を省略することができる。
例えば、パターン検出部４３１は、テンプレートマッチング、あるいは、エッジ検出処理を用いて検査パターンを検出することができる。
テンプレートマッチング処理を用いて検査パターンが検出される場合、検査パターンと同一のパターンを表したテンプレートが予め記憶部４２に記憶される。パターン検出部４３１は、検査パターンを暗号画像から検出する際、記憶部４２からそのテンプレートを読み出す。そしてパターン検出部４３１は、読み出されたテンプレートと、暗号画像上で検査パターンが存在すると想定される暗号画像の部分領域との相関演算を行うことにより、相関値が最大となる暗号画像上の位置を見つける。パターン検出部４３１は、相関値が最大となった暗号画像上の位置に、検査パターンが有ると判定する。なお相関値は、例えば、暗号画像の画素値とテンプレートの画素値が一致する画素数を、テンプレートの画素数で割ることにより得られる。
また、エッジ検出処理を用いて検査パターンが検出される場合、パターン検出部４３１は、暗号画像に対してエッジ検出処理を実行することによりエッジ画素を抽出する。そしてパターン検出部４３１は、検査パターンに含まれる黒領域あるいは白領域の輪郭の縦方向の長さだけエッジ画素が縦方向に連続し、かつ、検査パターンに含まれる黒領域あるいは白領域の輪郭の横方向の長さだけエッジ画素が横方向に連続する位置を検出する。そしてパターン検出部４３１は、検出された位置に検査パターンがあると判定してもよい。
あるいはまた、パターン検出部４３１は、暗号画像に対してエッジ検出処理を実行することによりエッジ画素を抽出する。そしてパターン検出部４３１は、抽出されたエッジ画素を示したエッジ画像と、検査パターンに含まれる黒領域あるいは白領域の輪郭形状を表すテンプレートとのテンプレートマッチング処理を実行することにより、検査パターンを検出してもよい。
パターン検出部４３１は、複数の検査パターンが暗号画像に付されている場合、少なくとも何れか一つの検査パターンを検出する。例えば、図２（ｂ）及び図２（ｃ）に示されるように、暗号画像の４隅に、それぞれ、横方向に長い検査パターン２１２と縦方向に長い検査パターン２１３が付されている場合、パターン検出部４３１は、全ての検査パターンを検出してもよい。あるいは、パターン検出部４３１は、何れか一つの隅に付された横長の検査パターン２１２と縦長の検査パターン２１３のみを検出してもよい。さらに、パターン検出部４３１は、何れか一つの隅に付された横長の検査パターン２１２と縦長の検査パターン２１３の何れか一方のみを検出してもよい。
パターン検出部４３１は、検出された検査パターンの位置を表す情報を、劣化度測定部４３２へ渡す。なお、検査パターンの位置を表す情報は、例えば、検査パターンの何れかの隅の画素の座標を含む。
劣化度測定部４３２は、パターン検出部４３１により、暗号画像から検出された特定のパターンのサイズと、その特定パターンに対応する、劣化のないパターンのサイズとの差から、暗号画像の劣化度合いを表す劣化度を測定する。なお、以下では、パターン検出部４３１が検出する特定パターンが、検査パターンであるものとして説明する。
一般に、画像入力部２により得られた暗号画像の劣化度合いが大きいほど、その暗号画像は、劣化のない暗号画像の画素値と異なる画素値を持つ画素を多く含む。例えば、暗号画像が印刷された媒体が複写されると、その複写された媒体に表された暗号画像は、全体的に黒くなることがある。この場合、画像入力部２が、その複写された媒体を読み取って得られる暗号画像の各画素値も全体的に低くなる。そのため、特に、暗号画像が２値画像である場合のように、画像入力部２が、複写媒体を読み取って得た電子データに表される暗号画像に対して２値化処理を行うと、２値化処理後の暗号画像は、劣化のない暗号画像よりも低い画素値を持つ画素を多く有することがある。逆に、複写媒体に表された暗号画像が全体的に白くなる場合、画像入力部２が、その複写媒体を読み取って得た電子データに表される暗号画像の各画素値も全体的に高くなる。そのため、画像入力部２が読み取って得た電子データに表された暗号画像に対して２値化処理を行うと、２値化処理後の暗号画像は、劣化のない暗号画像よりも高い画素値を持つ画素を多く有することがある。
この様子を図５（ａ）及び図５（ｂ）を参照しつつ説明する。
図５（ａ）は、図３（ａ）に示された、劣化した暗号画像から検出された、劣化した横長の検査パターンと、劣化のない理想的な横長の検査パターンの例を示す図である。図５（ａ）において、上側に示されたパターン５０１は、画像入力部２により得られた劣化した暗号画像から検出された検査パターンを表し、下側に示されたパターン５０２は、劣化のない理想的な検査パターンを表す。また、図５（ｂ）は、図５（ａ）に示された各検査パターンにおける、右端の黒領域の拡大図である。図５（ｂ）において、黒領域５０３は、検査パターン５０１の右端の黒領域５０３の拡大図であり、黒領域５０４は、劣化のない検査パターン５０２の右端の黒領域５０４の拡大図である。図５（ａ）及び図５（ｂ）に示されるように、劣化のない検査パターン５０２の黒領域５０４は、横方向に１０画素の長さを持つ。一方、劣化した検査パターン５０１の黒領域５０３は、横方向の長さが１２画素以上に拡大されている。
そこで、劣化度測定部４３２は、例えば、画像入力部２が読み取って得た暗号画像から検出された検査パターンに含まれる、黒領域の横方向の長さと、劣化のない検査パターンに含まれる、黒領域の横方向の長さとの差を横方向の劣化度として求める。すなわち、劣化度測定部４３２は、画像入力部２が読み取って得た暗号画像から検出された検査パターンの長さの、劣化のない検査パターンの長さからのずれ量を劣化度とする。なお、以下では、明確化のために、画像入力部２が読み取って得た暗号画像から検出された検査パターンを、検出検査パターンと呼び、劣化のない理想的な検査パターンを理想検査パターンと呼ぶ。
劣化度測定部４３２は、検出検査パターンに含まれる黒領域の横方向の長さを求めるために、黒領域の左右端を検出する。そのために、劣化度測定部４３２は、次式により、横方向に近傍画素間の差分演算を行って得られる差分値を各列ごとに合計した値D(x-x1)を算出する。
Figure 2010073409
 ここで、x,yは、それぞれ、横方向の座標値及び縦方向の座標値を表す。また、座標(x1,y1)は、検出検査パターンを含む探索領域の左上端位置の座標であり、座標(x1+W,y1+H)は、検出検査パターンを含む探索領域の右下端位置の座標である。さらに、g(x,y)は、その探索領域に含まれる、座標(x,y)に位置する画素の画素値を表す。
図６は、図５（ａ）に示された、検出検査パターン５０１及び理想検査パターン５０２に対して求められる、各列毎の横方向差分値の総和を示す図である。図６において、グラフ６０１は、上側に示された検出検査パターン５０１に対応する、各列毎の横方向差分値の総和D(x-x1)を表す。またグラフ６０２は、下側に示された理想検査パターン５０２に対応する、各列毎の横方向差分値の総和Di(x-x1)を表す。なお、Di(x-x1)も、（４）式を用いて計算される。
グラフ６０１及び６０２に示されるように、黒領域の左端では、総和D(x-x1)及びDi(x-x1)は極小値を示す。一方、黒領域の右端では、総和D(x-x1)及びDi(x-x1)は極大値を示す。そして、その極小値及び極大値は、グラフ６０１及び６０２上で、周期的且つ交互に現れる。
そこで、劣化度測定部４３２は、探索領域の左端の座標x1から右側へ順に総和D(x-x1)の値を調べる。そして劣化度測定部４３２は、最初に総和D(x-x1)が極小値となる横方向の座標xLを、黒領域の左端とする。次に、劣化度測定部４３２は、総和D(x-x1)が極大値となる横方向の座標xRを、黒領域の右端とする。以後、同様に、劣化度測定部４３２は、総和D(x-x1)が極小値となる横方向の座標及び極大値となる横方向の座標を順次検出する。
また、劣化度測定部４３２は、検出検査パターン５０１から得られたD(x-x1)と、理想検査パターンから得られたDi(x-x1)とのパターンマッチングを行って、Di(x-x1)の極小値または極大値に対応するD(x-x1)の横方向の座標を求めてもよい。この場合、劣化度測定部４３２は、Di(x-x1)の極小値に対応するD(x-x1)の横方向の座標xLを、黒領域の左端とし、Di(x-x1)の極大値に対応するD(x-x1)の横方向の座標xRを、黒領域の右端とする。特に、劣化度測定部４３２は、動的計画法を用いたパターンマッチングを利用することが好ましい。これにより、劣化度測定部４３２は、検出検査パターン５０１に含まれる黒領域の幅と理想検査パターン５０２に含まれる黒領域の幅が異なっていても、効率的にD(x-x1)とDi(x-x1)の一致度合いを計算できる。
劣化度測定部４３２は、検出検査パターン５０１に含まれる、各黒領域の左右端間の距離の平均値を算出する。そして劣化度測定部４３２は、その平均値と、理想検査パターン５０２に含まれる黒領域の幅との差を、横方向の劣化度とする。例えば、検出検査パターン５０１に含まれる、各黒領域の左右端間の距離の平均値が１２であり、理想検査パターン５０２に含まれる黒領域の幅が１０であれば、横方向の劣化度は＋２である。また、検出検査パターン５０１に含まれる、各黒領域の左右端間の距離の平均値が９であり、理想検査パターン５０２に含まれる黒領域の幅が１０であれば、横方向の劣化度は−１である。
また、劣化度測定部４３２は、画像入力部２により読み取られた暗号画像から検出された、縦長の検査パターンに含まれる黒領域の縦方向の長さと、劣化のない縦長の検査パターンに含まれる、黒領域の縦方向の長さとの差を縦方向の劣化度として求める。
そこで、劣化度測定部４３２は、上記の（４）式のxとyを入れ替えた式を用いることにより、縦方向に近傍画素間の差分演算を行って得られる差分値を各行ごとに合計した値D(y-y1)を算出することができる。そして劣化度測定部４３２は、上記と同様に、D(y-y1)の極小値に対応する位置を検出検査パターンに含まれる黒領域の上端とする。また劣化度測定部４３２は、D(y-y1)の極大値に対応する位置を検出検査パターンに含まれる黒領域の下端として求める。これにより、劣化度測定部４３２は黒領域の上下端間の距離を算出できる。そして劣化度測定部４３２は、その平均値と、理想検査パターンに含まれる黒領域の縦方向の長さとの差を、縦方向の劣化度とする。
なお、劣化度測定部４３２は、検出検査パターンに含まれる、白領域の横方向及び縦方向の長さと、劣化のない検査パターンに含まれる、白領域の横方向及び縦方向の長さとの差を劣化度として求めてもよい。この場合にも、劣化度測定部４３２は、（４）式及び（４）式においてxとyを入れ替えた式を用いて、検出検査パターンから、D(x-x1)及びD(y-y1)を計算する。そして、劣化度測定部４３２は、D(x-x1)の極大値に対応する位置を、白領域の左端とし、その極大値の右側に隣接するD(x-x1)の極小値に対応する位置を、白領域の右端とする。そして劣化度測定部４３２は、白領域の左右端間の距離の平均値を算出し、その平均値と、理想検査パターンに含まれる白領域の横方向の長さとの差を、横方向の劣化度とする。同様に、劣化度測定部４３２は、D(y-y1)の極大値に対応する位置を、白領域の上端とし、その極大値の下側に隣接するD(y-x1)の極小値に対応する位置を、白領域の下端とする。そして劣化度測定部４３２は、白領域の上下端間の距離の平均値を算出し、その平均値と、理想検査パターンに含まれる白領域の縦方向の長さとの差を、縦方向の劣化度とする。
劣化度測定部４３２は、暗号化領域の各隅に付された４個の横長の検査パターン２１２に対し、上記の処理を実行することにより、それぞれ、横方向の劣化度を求める。また、劣化度測定部４３２は、暗号化領域の各隅に付された４個の縦長の検査パターン２１３に対し、上記の処理を実行することにより、それぞれ、縦方向の劣化度を求める。そして劣化度測定部４３２は、得られた全ての横方向の劣化度及び縦方向の劣化度の平均値を四捨五入した値を、画像入力部２により読み取られた暗号画像に対する劣化度Dgとする。なお、劣化度測定部４３２は、暗号化領域の何れかの隅に付された検査パターンのみに基づいて劣化度Dgを求めてもよい。あるいは、劣化度測定部４３２は、暗号化領域の４隅のうち、何れか二つまたは三つの隅に付された検査パターンから求められた横方向の劣化度及び縦方向の劣化度を平均することにより、劣化度Dgを求めてもよい。また、劣化度測定部４３２は、横長の検査パターンから求められた横方向の劣化度を平均することにより、若しくは、縦長の検査パターンから求められた縦方向の劣化度を平均することにより劣化度Dgを求めてもよい。
劣化度測定部４３２は、得られた劣化度Dgを劣化画像補正部４３３へ渡す。
劣化画像補正部４３３は、画像入力部２により読み取られた暗号画像の暗号化領域に対して、劣化度Dgに応じて黒領域または白領域を拡大または縮退させる処理を行うことにより、その暗号画像を補正する。ここで、黒領域に対して行われる拡大処理は、着目する画素が黒領域に含まれる画素である場合、着目画素周囲の画素（例えば、４近傍画素）のうち、白領域に含まれる画素の画素値を、着目画素の画素値に変換して、黒領域に含める処理である。また、黒領域に対して行われる縮退処理は、着目する画素が白領域に含まれる画素である場合、着目画素周囲の画素（例えば、４近傍画素）のうち、黒領域に含まれる画素の画素値を、着目画素の画素値に変換して、白領域に含める処理である。
逆に、白領域に対して行われる拡大処理は、黒領域に対して行われる縮退処理と同一の処理である。同様に、白領域に対して行われる縮退処理は、黒領域に対して行われる拡大処理と同一の処理である。
例えば、黒領域について求められた劣化度Dgが2N（ただしNは0以上の整数）であれば、劣化画像補正部４３３は、暗号画像中の暗号化領域に含まれる黒領域全体に対して縮退処理をN回実行する。これにより、暗号化領域に含まれる黒領域の上下方向及び左右方向の長さは、それぞれ2N画素縮小する。また、黒領域について求められた劣化度Dgが2N+1（ただしNは0以上の整数）であれば、劣化画像補正部４３３は、暗号画像中の暗号化領域に含まれる黒領域全体に対して縮退処理をN回実行する。その後、劣化画像補正部４３３は、さらに、黒領域の上下端の一方及び左右端の一方に対してのみ、縮退処理を１回実行する。なお、本明細書では、黒領域の上下端の一方及び左右端の一方に対してのみ行われる縮退処理を半縮退処理と呼ぶ。具体的には、劣化画像補正部４３３は、着目する画素が白領域に含まれる画素である場合、着目画素の上側または下側に隣接する画素の何れか一方と、着目画素の左側または右側に隣接する画素の何れか一方の画素値を、変換対象画素とする。そして、劣化画像補正部４３３は、変換対象画素が黒領域に含まれている場合、変換対象画素の画素値を着目画素の画素値に変換すればよい。これにより、暗号化領域に含まれる黒領域の上下方向及び左右方向の長さは、それぞれ(2N+1)画素縮小する。
そのため、劣化画像補正部４３３は、劣化により拡大した量だけ、黒領域を縮退させることができるので、暗号画像を劣化の無い状態に近づけることができる。なお、暗号化領域は、パターン検出部４３１が特定パターンとして検査パターンを検出する場合、その検出された検査パターンにより特定される。また、パターン検出部４３１が検査パターンを検出しない場合には、劣化画像補正部４３３は、パターン検出部４３１に関して説明した処理と同様の処理を行って、検査パターンを検出することにより、暗号化領域を特定できる。
また、例えば、黒領域について求められた劣化度Dgが-2N（ただしNは0以上の整数）であれば、劣化画像補正部４３３は、暗号画像中の暗号化領域に含まれる黒領域全体に対して拡大処理をN回実行する。これにより、暗号化領域に含まれる黒領域の上下方向及び左右方向の長さは、それぞれ2N画素拡大する。また、黒領域について求められた劣化度Dgが2N+1（ただしNは0以上の整数）であれば、劣化画像補正部４３３は、暗号画像中の暗号化領域に含まれる黒領域全体に対して拡大処理をN回実行する。その後、劣化画像補正部４３３は、さらに、黒領域の上下端の一方の側及び左右端の一方の側に対してのみ、拡大処理を１回実行する。なお、本明細書では、黒領域の上下端の一方及び左右端の一方に対してのみ行われる拡大処理を半拡大処理と呼ぶ。具体的には、劣化画像補正部４３３は、着目する画素が黒領域に含まれる画素である場合、着目画素の上側または下側に隣接する画素の何れか一方と、着目画素の左側または右側に隣接する画素の何れか一方を変換対象画素とする。そして、劣化画像補正部４３３は、変換対象画素が白領域に含まれている場合、変換対象画素の画素値を着目画素の画素値に変換すればよい。これにより、暗号化領域に含まれる黒領域の上下方向及び左右方向の長さは、それぞれ(2N+1)画素拡大する。
そのため、劣化画像補正部４３３は、劣化により縮小した量だけ、黒領域を拡大させることができるので、暗号画像を劣化の無い状態に近づけることができる。
同様に、白領域について劣化度が求められていれば、劣化画像補正部４３３は、上記の黒領域に対して劣化度が求められている場合の処理を、暗号画像中の暗号化領域に含まれる白領域に対して行えばよい。
また、劣化画像補正部４３３は、拡大処理の代わりに、モルフォロジーの膨張演算を行ってもよい。また、劣化画像補正部４３３は、縮退処理の代わりに、モルフォロジーの収縮演算あるいは細線化処理を行ってもよい。劣化画像補正部４３３は、縮退処理の代わりに細線化処理を実行することにより、１画素の幅しかない黒領域または白領域が消失することを防止できる。
図７（ａ）は、暗号化領域内の黒領域の一例を示す図である。また図７（ｂ）及び図７（ｃ）は、それぞれ、図７（ａ）に示された黒領域７００に対して、縮退処理及び拡大処理が行われた後の黒領域７１０及び７２０を示す図である。図７（ａ）〜図７（ｃ）において、黒領域７００〜７２０に含まれる画素は黒く、その他の画素は白く表されている。図７（ｂ）に示されるように、劣化画像補正部４３３が黒領域７００に対して縮退処理を実行すると、黒領域７００の外縁に位置する各画素７０１の画素値が黒領域周囲の隣接画素の画素値に変換される。そのため、各画素７０１が黒領域７１０から外れるようになる。従って、黒領域７１０の幅及び高さは、それぞれ、黒領域７００の幅及び高さよりも２画素小さくなっている。
一方、図７（ｃ）に示されるように、劣化画像補正部４３３が黒領域７００に対して拡大処理を実行すると、黒領域７００の外縁に隣接する各画素７０２の画素値が隣接する黒領域内の画素の画素値に変換される。そのため、各画素７０２が黒領域７２０に含まれるようになる。従って、黒領域７２０の幅及び高さは、それぞれ、黒領域７００の幅及び高さよりも２画素大きくなっている。
図８（ａ）は、暗号化領域内の黒領域の一例を示す図である。また図８（ｂ）及び図８（ｃ）は、それぞれ、図８（ａ）に示された黒領域８００の上端及び左端に対して、半縮退処理及び半拡大処理が行われた後の黒領域８１０及び８２０を示す図である。図８（ａ）〜図８（ｃ）において、黒領域８００〜８２０に含まれる画素は黒く、その他の画素は白く表されている。図８（ｂ）に示されるように、劣化画像補正部４３３が黒領域８００に対して半縮退処理を実行すると、黒領域８００の左端または上端に位置する各画素８０１の画素値が黒領域周囲の隣接画素の画素値に変換される。そのため、各画素８０１が黒領域８１０から外れるようになる。従って、黒領域８１０の幅及び高さは、それぞれ、黒領域８００の幅及び高さよりも１画素小さくなっている。
一方、図８（ｃ）に示されるように、劣化画像補正部４３３が黒領域８００に対して半拡大処理を実行すると、黒領域８００の左端または上端に隣接する各画素８０２の画素値が隣接する黒領域内の画素の画素値に変換される。そのため、各画素８０２が黒領域８２０に含まれるようになる。従って、黒領域８２０の幅及び高さは、それぞれ、黒領域８００の幅及び高さよりも１画素大きくなっている。
図９は、画像復号装置４の処理部４３上で実行されるコンピュータプログラムにより制御される、劣化画像補正部４３３による補正処理の動作フローチャートを示す。なお、以下では、補正処理の動作フローを、劣化画像補正部４３３は黒領域に対して拡大処理または縮退処理を実行するものとして説明する。しかし、劣化画像補正部４３３が白領域に対して拡大処理または縮退処理を実行する場合も、拡大処理または縮退処理の対象が白領域であることを除いて、補正処理の動作フローは黒領域に対して拡大処理または縮退処理が実行される場合の動作フローと同一である。
まず、劣化画像補正部４３３は、劣化度Dgの符号を判定する（ステップＳ１０１）。劣化度Dgが0の場合、劣化画像補正部４３３は処理を終了する。
ステップＳ１０１において、劣化度Dgが正である場合、劣化画像補正部４３３は、暗号化領域に対して縮退処理を実行する。そこで劣化画像補正部４３３は、縮退処理の繰り返し回数Nを1に設定する（ステップＳ１０２）。次に、劣化画像補正部４３３は、劣化度Dgの絶対値から2Nを引いた値（|Dg|-2N）が0以上となるか否か判定する（ステップＳ１０３）。（|Dg|-2N）が0以上である場合（ステップＳ１０３−Ｙｅｓ）、劣化画像補正部４３３は、暗号化領域内の全ての黒領域について縮退処理を実行する（ステップＳ１０４）。これにより、各黒領域の幅及び高さは、それぞれ２画素ずつ縮小する。そして劣化画像補正部４３３は、繰り返し回数Nを1インクリメントして（ステップＳ１０５）、その後制御をステップＳ１０３に戻す。
一方、ステップＳ１０３において、（|Dg|-2N）が0より小さい場合（ステップＳ１０３−Ｎｏ）、劣化画像補正部４３３は、（|Dg|-2N）が-１か否か判定する（ステップＳ１０６）。そして（|Dg|-2N）が-１である場合（ステップＳ１０６−Ｙｅｓ）、劣化画像補正部４３３は、暗号化領域内の全ての黒領域について半縮退処理を実行する（ステップＳ１０７）。これにより、各黒領域の幅及び高さは、それぞれ１画素ずつ縮小する。ステップＳ１０７の後、あるいは、ステップＳ１０６にて（|Dg|-2N）が-１でない場合（ステップＳ１０６−Ｎｏ）、劣化画像補正部４３３は処理を終了する。
一方、ステップＳ１０１において、劣化度Dgが負である場合、劣化画像補正部４３３は、暗号化領域に対して拡大処理を実行する。そこで劣化画像補正部４３３は、拡大処理の繰り返し回数Nを1に設定する（ステップＳ１０８）。次に、劣化画像補正部４３３は、劣化度Dgの絶対値から2Nを引いた値（|Dg|-2N）が0以上となるか否か判定する（ステップＳ１０９）。（|Dg|-2N）が0以上である場合（ステップＳ１０９−Ｙｅｓ）、劣化画像補正部４３３は、暗号化領域内の全ての黒領域について拡大処理を実行する（ステップＳ１１０）。これにより、各黒領域の幅及び高さは、それぞれ２画素ずつ拡大する。そして劣化画像補正部４３３は、繰り返し回数Nを1インクリメントして（ステップＳ１１１）、その後制御をステップＳ１０９に戻す。
一方、ステップＳ１０９において、（|Dg|-2N）が0より小さい場合（ステップＳ１０９−Ｎｏ）、劣化画像補正部４３３は、（|Dg|-2N）が-１か否か判定する（ステップＳ１１２）。そして（|Dg|-2N）が-１である場合（ステップＳ１１２−Ｙｅｓ）、劣化画像補正部４３３は、暗号化領域内の全ての黒領域について半拡大処理を実行する（ステップＳ１１３）。これにより、各黒領域の幅及び高さは、それぞれ１画素ずつ拡大する。ステップＳ１１３の後、あるいは、ステップＳ１１２にて（|Dg|-2N）が-１でない場合（ステップＳ１１２−Ｎｏ）、劣化画像補正部４３３は処理を終了する。
劣化画像補正部４３３は、画像入力部２により読み取られた暗号画像を上記のように補正して得られた補正画像を復号部４３４へ渡す。
復号部４３４は、劣化画像補正部４３３により得られた補正画像に対して復号処理を実行することにより、原画像を再構成する。
そこで、復号部４３４は、先ず、暗号画像が画像入力部２により読み取られたときなどに生じる、暗号化領域内の局所的な伸縮あるいは歪みを補正する。例えば、復号部４３４は、暗号化領域内の各反転マーカの位置を特定する。そして復号部４３４は、特定された位置と、暗号化領域の伸縮及び歪みがないときの位置とのずれを求めることにより、暗号化領域内の局所的な歪み量あるいは伸縮量を検出できる。
そこで、復号部４３４は、暗号画像に対して反転マーカを抽出するフィルタ処理を実行する。反転マーカは、その周囲に対して画素値が反転されている。そこで、復号部４３４は、例えば、反転マーカと、反転マーカと同一のブロックに含まれる、反転マーカ周囲の画素に対してメディアンフィルタ処理を行って平滑化する。そして復号部４３４は、その平滑化された画像と暗号画像との対応画素間の差分絶対値をとることで、反転マーカに対応する画素のみが大きな画素値を持つマーカ抽出画像を作成できる。
次に、復号部４３４は、反転マーカの分布が縦横一定の周期であることを利用して、反転マーカが抽出されたマーカ抽出画像に関して横方向と縦方向の周期性を求める。そのために、復号部４３４は、各列ごとにマーカ抽出画像の画素値の合計を求めた、横方向の信号プロファイルを作成する。また、復号部４３４は、各行ごとにマーカ抽出画像の画素値の合計を求めた、縦方向の信号プロファイルを作成する。すると、反転マーカが多数並ぶ行及び列については、その画素値の合計は相対的に大きな値となり、一方、反転マーカが存在しない行及び列については、その画素値の合計は相対的に小さな値となる。そして、画素値の合計値が大きい列及び行は、スクランブル処理の単位となるブロックの横方向の長さ及び縦方向の長さとほぼ等しい間隔で周期的に現れる。そこで復号部４３４は、暗号化領域の伸縮及び歪みがない場合に反転マーカが並ぶ列に大きな値を持ち、その他の列は小さな値を持つ１次元のテンプレートと、上記の横方向の信号プロファイル及び縦方向の信号プロファイルのパターンマッチングを行う。このパターンマッチングとしては、例えば、動的計画法を利用したパターンマッチング処理が、効率的に処理を行えるために好ましい。そして復号部４３４は、パターンマッチング処理により、テンプレートの信号値が大きいところに対応する位置を、反転マーカが並ぶ列または行と決定できる。そして復号部４３４は、反転マーカが並ぶ列または行の位置と、暗号化領域の伸縮及び歪みがない場合に反転マーカが並ぶ列または行とのずれ量を求める。復号部４３４は、そのずれ量をなくすように暗号化領域を局所的に伸長または縮小することにより、反転マーカが並ぶ列及び行がブロックの横方向の長さ及び縦方向の長さに相当する間隔で周期的に現れるようにする。
次に、復号部４３４は、反転マーカに含まれる全ての画素について、画素値逆変換処理を実行する。具体的には、復号部４３４は、暗号化処理について説明したように、反転マーカと同一のブロックに含まれ、かつ反転マーカ周囲の画素の平均値Pavを求め、その平均値Pavに従って上記の（２）式または（３）式の何れか一方を選択する。そして復号部４３４は、選択された式を用いて、反転マーカに含まれる画素の値を変換する。
最後に、復号部４３４は、画素値逆変換が施された画像に対して逆スクランブル処理を実行することにより、原画像を再構成する。復号部４３４は、スクランブル処理を実行したときの暗号鍵及びブロック位置を変換する（１）式を用いて、スクランブル処理実行後のブロックの位置がyとなる、暗号化領域内のブロックの元の位置xを決定できる。そして復号部４３４は、暗号化領域内の各ブロックを、得られた元のブロック位置に移動させることにより、原画像を再構成できる。
処理部４３は、再構成された原画像を通信部４１を介して出力部３へ出力する。また、処理部４３は、再構成された原画像を記憶部４２に記憶してもよい。
図１０は、画像復号装置４の処理部４３上で実行されるコンピュータプログラムにより制御される、画像補正処理を含む復号処理の動作フローチャートを示す。
図１０に示されるように、画像入力部２により媒体に印刷された暗号画像が読み取られて、その暗号画像の電子データを画像復号装置４が受信すると、処理部４３は復号処理を開始する。そして処理部４３のパターン検出部４３１は、暗号画像から、補正量を決定するための基準となる、サイズ及び形状が既知である特定パターンを検出する（ステップＳ２０１）。本実施形態では、特定パターンは、暗号画像に含まれる暗号化された領域の４隅に付された検査パターンである。そしてパターン検出部４３１は、検出された特定パターンの位置を表す位置情報を処理部４３の劣化度測定部４３２へ渡す。
劣化度測定部４３２は、暗号画像から検出された特定パターンの長さの、劣化のない理想的な特定パターンの長さからのずれ量を求め、そのずれ量を劣化度とする（ステップＳ２０２）。例えば、劣化度測定部４３２は、暗号画像から検出された検査パターンに含まれる各黒領域の横方向の長さ及び縦方向の長さと、劣化のない理想的な検査パターンに含まれる、対応する各黒領域の横方向の長さ及び縦方向の長さとの差をそれぞれ求める。そして劣化度測定部４３２は、その差の平均値を劣化度Dgとする。劣化度測定部４３２は、得られた劣化度Dgを、処理部４３の劣化画像補正部４３３へ渡す。
劣化画像補正部４３３は、暗号画像の暗号化領域に対して、劣化度Dgに応じて黒領域または白領域を拡大または縮退させる処理を行うことにより、その暗号画像を補正する（ステップＳ２０３）。なお、劣化画像補正部４３３は、図９に示したフローチャートに従って、ステップＳ２０３の処理を実行する。そして劣化画像補正部４３３は、得られた補正画像を処理部４３の復号部４３４へ渡す。
復号部４３４は、補正画像に対して復号処理を実行することにより、原画像を再構成する（ステップＳ２０４）。具体的には、上述したように、復号部４３４は、補正画像の暗号化領域内の局所的な伸縮及び歪みを修正して、反転マーカがブロックの縦方向の長さ及び横方向の長さの周期で並ぶようにする。次に復号部４３４は、暗号化領域内の各反転マーカに含まれる画素に対して画素値逆変換処理を実行する。その後、復号部４３４は、暗号化領域に対して逆スクランブル処理を実行して、ブロック単位で画素の位置を入れ替えることにより、原画像を再構成できる。
処理部４３は、再構成された原画像を通信部４１を介して出力部３へ出力する（ステップＳ２０５）。そして処理部４３は、復号処理を終了する。
以上に説明してきたように、一つの実施形態に係る画像処理システムは、暗号画像が印刷された媒体を画像入力部により読み取って得られた電子データから、暗号画像に付された、予め形状及びサイズが既知の特定パターンを検出する。そしてこの画像処理システムは、検出された特定パターンに含まれる黒領域または白領域の長さの、劣化のない場合の長さからのずれ量を、劣化度として測定する。そのため、この画像処理システムは、媒体から読み取られた電子データに含まれる暗号画像の劣化度を正確に推定できる。そして、この画像処理システムは、測定された劣化度が小さくなるように、暗号画像内の暗号化された領域に含まれる黒領域または白領域を縮退または拡大させることにより、暗号画像を補正する。そして、この画像処理システムは、補正された暗号画像を復号して原画像を再構成する。そのため、この画像処理システムは、画像入力部が読み取って得た電子データに表された暗号画像が劣化していても、正確に原画像を再構成できる。
なお、本発明は、上記の実施形態に限定されるものではない。例えば、上記の画像処理システムと別個に設けられた装置により、媒体に印刷された暗号画像が読み取られて、暗号画像が電子データ化されており、画像復号装置がその通信部を介して暗号画像の電子データを取得できる場合、画像入力部は省略されてもよい。またこのような場合、暗号画像を含む電子データのファイル形式は、JPEG(Joint Photographic Experts Group)形式、tiff(Tagged Image File Format)形式などの画像データ用の形式でなくてもよい。例えば、暗号画像を含む電子データのファイル形式は、pdf(Portable Document Format)形式またはHTML(HyperText Markup Language)形式などのテキストも含む形式のような他の形式であってもよい。画像復号装置の処理部は、暗号画像を含む電子データのファイル形式が画像データ用の形式でない場合も、その電子データに含まれる暗号画像に関する情報を抽出することにより、その抽出された暗号画像に対して上述した画像補正処理及び画像復号処理を適用できる。
また、処理部のパターン検出部は、劣化度を測定するための特定パターンとして、暗号化領域内の何れかの反転マーカを検出してもよい。また、原画像を暗号化する暗号装置が、原画像を暗号化して暗号画像を作成した後、暗号画像において暗号化された領域またはその周囲に、形状及びサイズが既知のパターンを付してもよい。例えば、暗号装置は、暗号化領域の周囲の左上に、所定幅を持つ黒領域と白領域が交互に配置されたパターンを伏してもよい。この場合、パターン検出部は、暗号化された領域またはその周囲に付された、形状及びサイズが既知のパターンを特定パターンとして検出してもよい。
なお、パターン検出部は、それら特定パターンの形状及びサイズが予め分かっているため、例えば、暗号画像と、劣化のない、理想的な特定パターンを表すテンプレートとのテンプレートマッチングを実行することにより、それら特定パターンを検出できる。
ただし、反転マーカは、反転マーカに含まれる画素及び反転マーカ周囲の画素の値によって、反転マーカ内に含まれる画素の値が変動する。そのため、暗号画像が劣化していなくても、暗号化領域中に付された反転マーカの形状が、劣化のない反転マーカの形状と異なる可能性がある。そこで、パターン検出部は、正確に反転マーカを検出できるように、反転マーカを特定パターンとして検出する場合、復号部に関して説明したような歪み／伸縮処理を行って、反転マーカの位置を修正する。パターン検出部は、その修正された位置について反転マーカを検出することが好ましい。そしてパターン検出部は、歪み／伸縮処理が行われた暗号画像と、劣化のない反転マーカを表したテンプレートとのテンプレートマッチングを行って、暗号画像とテンプレートとの一致度を求める。その一致度は、例えば、暗号画像とテンプレートの相対的な位置を変えつつ、暗号画像の画素値とテンプレートの画素値が一致する画素数を、テンプレートの画素数で割ることにより得られる各相関値のうちの最大値とすることができる。パターン検出部は、一致度が所定値以上となる反転マーカのみを、特定パターンとして検出する。なお、所定値は、例えば、一致度が0から1の範囲内に含まれる場合、0.7とすることができる。
また、処理部の劣化度測定部は、劣化度測定部に関して上述したのと同様の処理にしたがって、検出された特定パターンに含まれる黒領域あるいは白領域のサイズの変動を調べることにより、劣化度を測定できる。例えば、劣化度測定部は、特定パターンとして検出された反転マーカの幅及び高さと、劣化のない反転マーカの幅及び高さとのそれぞれの差の平均値を求め、その平均値を四捨五入した値を劣化度とする。
さらに、画像処理装置は、パターン検出部、劣化度測定部及び劣化画像補正部により実行される画像補正処理を２回以上繰り返して実行してもよい。なお、画像補正処理は、図１０に示されるフローチャートにおける、ステップＳ２０１〜Ｓ２０３の処理を意味する。例えば、１回目の画像補正処理では、パターン検出部は、暗号画像から検査パターンを特定パターンとして検出する。そして劣化度測定部は、検出された検査パターンに基づいて劣化度を測定する。そして劣化画像補正部は、得られた劣化度に基づいて、暗号画像を補正する。
次に、２回目の画像補正処理では、パターン検出部は、１回目の画像補正処理によって補正された暗号画像から、何れかの反転マーカを特定パターンとして検出する。そして劣化度測定部は、検出された検査パターンに基づいて劣化度を再度測定する。そして劣化画像補正部は、得られた劣化度に基づいて、一度補正された暗号画像を再度補正する。以下、同様に、画像処理装置は、予め定められた回数もしくは、測定された劣化度の絶対値が所定値以下となるまで、画像補正処理を繰り返す。なお、各回の画像補正処理において検出される特定パターンは、暗号画像全体をバランスよく補正するために、互いに位置が異なることが好ましい。そして処理部の復号部は、画像補正処理を繰り返して得られた補正画像に対して、復号処理を実行する。
このように、画像処理装置は、画像補正処理を複数回繰り返して実行して得られた補正画像に対して復号処理を実行することにより、より正確に原画像を再構成することができる。
また、この画像処理装置が画像補正処理の対象とする画像は、暗号画像に限られない。画像補正処理の対象とする画像は、例えば、紙などの媒体に印刷され、かつ、予め形状及びサイズが既知のパターンがその画像または画像周囲に付されたものであればよい。画像補正処理の対象となる画像が暗号画像でなければ、画像処理装置における、処理部の復号部は省略されてもよい。
さらに、この画像処理装置の処理部が有する、パターン検出部、劣化度測定部、劣化画像補正部、及び復号部の各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

Claims (9)

  1. 媒体に印刷された画像を読み取って該画像を表す電子データを生成する画像入力部と、
    前記電子データに表された画像を補正する処理部であって、
    前記電子データに表された画像から、該画像に付された第１のサイズ及び形状を持つ第１のパターンを検出する機能と、
    前記検出された第１のパターンのサイズの、前記第１のサイズからのずれ量を劣化度として測定する機能と、
    前記劣化度が小さくなるように前記電子データに表された画像を補正する機能と、
    を実現する処理部と、
    を有する画像処理システム。
  2. 前記第１のサイズは、前記第１のパターンに含まれる、所定値以下の画素値を持つ領域の長さであり、前記劣化度を測定する機能は、前記検出された第１のパターンに含まれる、所定値以下の画素値を持つ領域の長さから前記第１のサイズを引いた差を前記劣化度として測定し、
    前記補正機能は、前記劣化度が正の値を持つ場合、前記電子データに表された画像に含まれる、前記所定値以下の画素値を持つ領域を、前記劣化度の絶対値だけ該領域の長さが短くなるように縮退させ、前記劣化度が負の値を持つ場合、前記電子データに表された画像に含まれる、前記所定値以下の画素値を持つ領域を、前記劣化度の絶対値だけ該領域の長さが長くなるように拡大する、請求項１に記載の画像処理システム。
  3. 前記処理部は、前記パターン検出機能に、前記補正機能により補正された補正画像から、第２のサイズ及び形状を持つ第２のパターンを検出させ、
    前記劣化度測定機能に、前記検出された第２のパターンのサイズの、前記第２のサイズからのずれ量を第２の劣化度として測定させ、
    前記画像補正機能に、前記第２の劣化度が小さくなるように前記補正画像をさらに補正させる、請求項１または２に記載の画像処理システム。
  4. 前記電子データに表された画像は、該画像に含まれる少なくとも一部の領域が暗号化された暗号画像であり、
    前記パターンを検出する機能は、前記暗号化された領域の境界を表すパターンを前記第１のパターンとして検出する、請求項１〜３の何れか一項に記載の画像処理システム。
  5. 前記電子データに表された画像は、該画像に含まれる少なくとも一部の領域が暗号化された暗号画像であり、
    前記パターンを検出する機能は、前記暗号化された領域内の所定位置を表すパターンを前記第２のパターンとして検出する、請求項３または４に記載の画像処理システム。
  6. 前記処理部は、前記補正機能により補正された暗号画像を復号して、原画像を再構成する復号機能をさらに実現する、請求項４または５に記載の画像処理システム。
  7. 媒体に印刷された画像を読み取って該画像を表す電子データを生成し、
    前記電子データに表された画像から、該画像に付された所定のサイズ及び形状を持つパターンを検出し、
    前記検出されたパターンのサイズの、前記所定のサイズからのずれ量を劣化度として測定し、
    前記劣化度が小さくなるように前記電子データに表された画像を補正すること、
    を含む画像処理方法。
  8. 媒体に印刷された画像を読み取って得られた電子データに表された画像から、該画像に付された所定のサイズ及び形状を持つパターンを検出し、
    前記検出されたパターンのサイズの、前記所定のサイズからのずれ量を劣化度として測定し、
    前記劣化度が小さくなるように前記電子データに表された画像を補正すること、
    をコンピュータに実行させるコンピュータプログラム。
  9. 媒体に印刷された画像を読み取って得られた電子データに表された画像から、該画像に付された所定のサイズ及び形状を持つパターンを検出するパターン検出部と、
    前記検出されたパターンのサイズの、前記所定のサイズからのずれ量を劣化度として測定する劣化度測定部と、
    前記劣化度が小さくなるように前記電子データに表された画像を補正する画像補正部と、
    を有する画像処理装置。
JP2010543748A 2008-12-26 2008-12-26 画像処理システム、画像処理装置及び画像処理方法 Active JP5093364B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/073856 WO2010073409A1 (ja) 2008-12-26 2008-12-26 画像処理システム、画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2010073409A1 true JPWO2010073409A1 (ja) 2012-05-31
JP5093364B2 JP5093364B2 (ja) 2012-12-12

Family

ID=42287076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010543748A Active JP5093364B2 (ja) 2008-12-26 2008-12-26 画像処理システム、画像処理装置及び画像処理方法

Country Status (6)

Country Link
US (1) US8339677B2 (ja)
EP (1) EP2372996B1 (ja)
JP (1) JP5093364B2 (ja)
KR (1) KR101247826B1 (ja)
CN (1) CN102265591B (ja)
WO (1) WO2010073409A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102270460B1 (ko) * 2014-09-19 2021-06-29 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 열화 보상 방법
JP2018005389A (ja) * 2016-06-29 2018-01-11 株式会社リコー 画像変形回路、画像処理装置、及び画像変形方法
US10482569B2 (en) * 2016-07-11 2019-11-19 DISC Intellectual Properties, LLC Image data encryption and rendering system
JP6790601B2 (ja) * 2016-08-31 2020-11-25 ブラザー工業株式会社 画像解析装置
CN115601217B (zh) * 2022-12-09 2023-02-28 成都工业职业技术学院 一种监控视频加密方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797735A (en) * 1985-07-04 1989-01-10 Matsushita Electric Industrial Co., Ltd. Distortion surveillance apparatus for television signal transmission system
JPH03276380A (ja) * 1990-03-27 1991-12-06 Oki Electric Ind Co Ltd 文字認識装置
DE69105417T2 (de) 1990-09-04 1995-04-06 Glaxo Group Ltd Verfahren und Vorrichtung zum Füllen von Vertiefungen.
US5351107A (en) * 1992-09-24 1994-09-27 Kabushiki Kaisha Toshiba Image forming apparatus and method having image density correcting function
US5845008A (en) * 1994-01-20 1998-12-01 Omron Corporation Image processing device and method for identifying an input image, and copier scanner and printer including same
JP2000030052A (ja) * 1998-07-13 2000-01-28 Oki Electric Ind Co Ltd 画像処理装置
JP3527145B2 (ja) * 1999-09-10 2004-05-17 Ｋｄｄｉ株式会社 ディジタル伝送画像の客観品質評価装置
US6606421B1 (en) * 2000-05-25 2003-08-12 Hewlett-Packard Development Company, L.P. Geometric deformation correction method and system for dot pattern images
JP4366886B2 (ja) * 2001-05-24 2009-11-18 コニカミノルタビジネステクノロジーズ株式会社 画像認識のための装置と方法
FR2847411B1 (fr) * 2002-11-15 2005-01-14 Telediffusion De France Tdf Procede et systeme de mesure des degradations d'une image video introduites par un codage a reduction de debit
JP4194029B2 (ja) * 2003-02-26 2008-12-10 Ｋｄｄｉ株式会社 画像劣化自動検出装置
JPWO2005069216A1 (ja) * 2004-01-15 2010-02-25 松下電器産業株式会社 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置
US8421715B2 (en) * 2004-05-21 2013-04-16 Semiconductor Energy Laboratory Co., Ltd. Display device, driving method thereof and electronic appliance
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
JP4118872B2 (ja) * 2004-12-06 2008-07-16 シャープ株式会社 管理装置、印刷処理システム、管理装置の制御方法、管理装置の制御プログラム、管理装置の制御プログラムが記録された記録媒体
CN101063998A (zh) * 2006-04-30 2007-10-31 王文芳 新型二维条码(q码)的编码和解码方法
WO2008053545A1 (fr) 2006-10-31 2008-05-08 Fujitsu Limited Dispositif de chiffrage/déchiffrage d'images, procédé et programme
JP5054981B2 (ja) * 2007-01-12 2012-10-24 キヤノン株式会社 撮像装置及び撮像処理方法
JP4793340B2 (ja) * 2007-07-09 2011-10-12 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP2009276671A (ja) * 2008-05-16 2009-11-26 Canon Inc 発光装置

Also Published As

Publication number Publication date
CN102265591B (zh) 2013-12-18
EP2372996A1 (en) 2011-10-05
WO2010073409A1 (ja) 2010-07-01
JP5093364B2 (ja) 2012-12-12
US20110249300A1 (en) 2011-10-13
KR20110102343A (ko) 2011-09-16
CN102265591A (zh) 2011-11-30
US8339677B2 (en) 2012-12-25
EP2372996B1 (en) 2018-10-03
EP2372996A4 (en) 2013-04-17
KR101247826B1 (ko) 2013-03-26

Similar Documents

Publication Publication Date Title
JP5505007B2 (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
WO2018095149A1 (zh) 嵌入有视觉图像的二维码的生成系统和方法以及读取系统
US8810862B2 (en) Paper medium information encrypting system, decrypting system, program and method
JP2004140764A (ja) 画像処理装置及び画像処理方法
JP2015173430A (ja) 投影システム、半導体集積回路、および画像補正方法
JP5110202B2 (ja) マーカ生成プログラム、復元プログラム、マーカ生成装置、復元装置およびマーカ生成方法
JP5093364B2 (ja) 画像処理システム、画像処理装置及び画像処理方法
JP5614492B2 (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
JP2007335920A (ja) 画像処理装置および画像処理プログラム
US8139237B2 (en) Image generating apparatus, image processing apparatus, recording medium and computer readable recording medium
JP2005184685A (ja) 画像処理装置、プログラムおよび記録媒体
CN105025188B (zh) 图像形成装置、图像处理装置和图像处理方法
JP2009070061A (ja) ２次元コード読み取り装置、２次元コード読み取り方法、２次元コード読み取りプログラム及び記録媒体
TWI411927B (zh) 嵌入資訊於輸入影像的方法、自輸入影像中擷取出資訊的方法以及相關裝置
JP2004147253A (ja) 画像処理装置及び画像処理方法
JP5737387B2 (ja) 画像処理装置
US20120328095A1 (en) Image decryption apparatus and image decryption method
JP4927058B2 (ja) 情報埋込画像生成装置、情報読取装置、情報埋込画像生成方法、情報読取方法、情報埋込画像生成プログラムおよび情報読取プログラム
JP6006676B2 (ja) マーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラム
JP4881935B2 (ja) 情報埋込画像生成装置、情報読取装置、情報埋込画像生成方法、情報読取方法、情報埋込画像生成プログラムおよび情報読取プログラム
JP2015133630A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5664181B2 (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
JP2008301282A (ja) 画像処理装置およびその制御方法
JP2020090032A (ja) 埋め込み装置、抽出装置及びプログラム
JP2020024200A (ja) 計測システムおよび計測方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

R150 Certificate of patent or registration of utility model

Ref document number: 5093364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3