JP5030875B2 - Information processing apparatus, program, additional image generation method, and information extraction method - Google Patents

Information processing apparatus, program, additional image generation method, and information extraction method Download PDF

Info

Publication number
JP5030875B2
JP5030875B2 JP2008165945A JP2008165945A JP5030875B2 JP 5030875 B2 JP5030875 B2 JP 5030875B2 JP 2008165945 A JP2008165945 A JP 2008165945A JP 2008165945 A JP2008165945 A JP 2008165945A JP 5030875 B2 JP5030875 B2 JP 5030875B2
Authority
JP
Japan
Prior art keywords
information
header
encoded
additional
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008165945A
Other languages
Japanese (ja)
Other versions
JP2009081832A (en
Inventor
真樹 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008165945A priority Critical patent/JP5030875B2/en
Priority to US12/222,346 priority patent/US8276049B2/en
Priority to CN200810212486XA priority patent/CN101383887B/en
Priority to EP08252918A priority patent/EP2034714A1/en
Publication of JP2009081832A publication Critical patent/JP2009081832A/en
Application granted granted Critical
Publication of JP5030875B2 publication Critical patent/JP5030875B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置、プログラム、付加画像生成方法及び情報抽出方法に関する。   The present invention relates to an information processing apparatus, a program, an additional image generation method, and an information extraction method.

近年、記録媒体の一つである印刷物に対して記載内容とは別に何らかの情報を埋め込むことで、印刷物に対する付加価値を提供する技術が開発されている。付加価値としては、印刷物のセキュリティやコンテンツ保護、元のデジタルデータやWebページとの関連付けなどがある。これらを実現するために、印刷物に何らかのパターンを描画することで情報を埋め込む技術が開発されている。   2. Description of the Related Art In recent years, a technology has been developed that provides added value to a printed material by embedding some information separately from the description content in a printed material that is one of recording media. Examples of the added value include security of printed matter, content protection, and association with original digital data and Web pages. In order to realize these, a technique for embedding information by drawing a certain pattern on a printed matter has been developed.

従来から知られている技術としてはバーコードがあるが、バーコードを埋め込む領域を紙面上に確保する必要があったり、またセキュリティの場合にはバーコードと印刷物が切り離されたりと問題点がある。最近では、バーコード以外の情報埋め込み技術として、目立ちにくいパターンを印刷物の背景に並べて描画する技術がある。   As a conventionally known technique, there is a barcode, but there is a problem that it is necessary to secure an area for embedding the barcode on the paper surface, and in the case of security, the barcode and the printed matter are separated. . Recently, as an information embedding technique other than a barcode, there is a technique for drawing a pattern that is not conspicuous on the background of a printed matter.

例えば、特許文献1には、画像情報に付加情報を多重化して印刷する方法として、付加情報のサイズ情報及びその誤り訂正符号情報でヘッダ情報を生成し、付加情報とともに画像情報に多重化する情報処理装置及び方法が記載されている。   For example, in Patent Document 1, as a method of multiplexing and printing additional information on image information, header information is generated from the size information of the additional information and its error correction code information, and the information is multiplexed with the additional information together with the image information. A processing apparatus and method are described.

また、特許文献2には、コード情報とそれに対応する誤り訂正符号情報とを、2次元的に分散させて2次元コード情報を生成し、記録媒体に印刷するための印刷装置が記載されている。   Patent Document 2 describes a printing apparatus for generating two-dimensional code information by two-dimensionally dispersing code information and corresponding error correction code information and printing the information on a recording medium. .

さらに、近年においては、特許文献3に記載されているような特殊な地紋を使用した情報埋め込み技術も開発されている。この技術によれば、印刷物に記載されている文字や絵柄部分からは情報を抽出できないため、そのような特殊な地紋の情報を復号可能にするために、誤り訂正符号技術を導入している。   Furthermore, in recent years, an information embedding technique using a special background pattern as described in Patent Document 3 has been developed. According to this technique, information cannot be extracted from the characters and design parts described in the printed matter. Therefore, in order to enable decoding of such special background pattern information, an error correction code technique is introduced.

特開2002−218207号公報JP 2002-218207 A 特開2005−327266号公報JP 2005-327266 A 特開2007−005935号公報JP 2007-005935 A

しかしながら、一般に誤り訂正符号には訂正能力に限界があり、この限界を越えて情報の消失や誤りが発生した場合には間違った情報を復号してしまうことがある。このように抽出した情報に間違いがあった場合には、情報抽出後の処理に大きな影響を与えることになり、信頼性および安定性を確保することができないという問題がある。   However, in general, error correction codes have a limit in correction capability. If information loss or an error occurs beyond this limit, wrong information may be decoded. If there is an error in the information extracted in this way, the processing after the information extraction is greatly affected, and there is a problem that reliability and stability cannot be ensured.

本発明は、上記に鑑みてなされたものであって、付加画像に付加されている付加情報の抽出後の情報処理の安定性や信頼性を確保することができる情報処理装置、プログラム、付加画像生成方法及び情報抽出方法を提供することを目的とする。   The present invention has been made in view of the above, and an information processing apparatus, a program, and an additional image that can ensure the stability and reliability of information processing after extraction of additional information added to the additional image An object is to provide a generation method and an information extraction method.

上述した課題を解決し、目的を達成するために、請求項1にかかる発明の情報処理装置は、処理対象の画像を取得する画像取得手段と、前記画像に付加する対象となる付加情報を取得する付加情報取得手段と、前記付加情報から情報復号の成否の判定に用いる誤り検出情報を生成する誤り検出情報生成手段と、前記誤り検出情報を格納した符号語であるヘッダを生成するヘッダ生成手段と、前記ヘッダに対して当該ヘッダの誤りを訂正するために用いる誤り訂正符号を付加して符号化ヘッダを生成するヘッダ符号化手段と、前記付加情報に対して当該付加情報の誤りを訂正するために用いる誤り訂正符号を付加して符号化情報を生成する情報符号化手段と、前記符号化ヘッダと前記符号化情報とを一体化して前記画像に付加した付加画像を生成する付加画像生成手段と、を備え、前記付加情報は前記ヘッダに比べてビット長が大きく、前記付加情報の誤りを訂正するために用いる誤り訂正符号は、ビット長が大きい場合に有効な符号であるIn order to solve the above-described problems and achieve the object, an information processing apparatus according to a first aspect of the present invention acquires image acquisition means for acquiring an image to be processed and additional information to be added to the image. Additional information acquisition means, error detection information generation means for generating error detection information used for determining success or failure of information decoding from the additional information, and header generation means for generating a header that is a codeword storing the error detection information Header encoding means for generating an encoded header by adding an error correction code used to correct the header error to the header, and correcting the error of the additional information with respect to the additional information An information encoding means for generating encoded information by adding an error correction code used for the purpose, and generating an additional image added to the image by integrating the encoded header and the encoded information. Comprising the additional image generating means for, the, the additional information is the greater bit length than the header, error correction code used to correct errors in the additional information is a valid code if the bit length is greater There is .

また、請求項2にかかる発明は、請求項1記載の情報処理装置において、処理対象である前記付加画像を取得する抽出画像取得手段と、前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出手段と、予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号手段と、前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号手段と、復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定手段と、を備える。   According to a second aspect of the present invention, in the information processing apparatus according to the first aspect, the extracted image acquisition means for acquiring the additional image to be processed, the encoded header and the encoded information from the additional image. Information extracting means for extracting, header decoding means for correcting the error of the encoded header according to information of the error correction code of the encoded header specified in advance, and decoding the header, and error correction of the encoded information Calculated from information decoding means for correcting the error of the encoded information according to the information of the code and decoding the additional information, the error detection information stored in the decoded header and the decoded additional information Decoding determination means for comparing the error detection information with the error detection information and determining the success or failure of the information decoding.

また、請求項3にかかる発明は、請求項1記載の情報処理装置において、前記付加画像生成手段は、前記符号化情報および前記符号化ヘッダの情報を分散させて前記画像に付加する。   According to a third aspect of the present invention, in the information processing apparatus according to the first aspect, the additional image generation means distributes the encoded information and the information of the encoded header to add to the image.

また、請求項4にかかる発明は、請求項3記載の情報処理装置において、前記付加画像生成手段は、前記符号化ヘッダを構成するビット列と前記符号化情報を構成するビット列とを所定規則に従って1つのビット列にする。   According to a fourth aspect of the present invention, in the information processing apparatus according to the third aspect, the additional image generation means determines that the bit string configuring the encoded header and the bit string configuring the encoded information are 1 according to a predetermined rule. One bit string.

また、請求項5にかかる発明は、請求項2記載の情報処理装置において、前記復号判定手段で復号に失敗したと判定した場合には、処理を中断する処理中断手段を更に備える。   According to a fifth aspect of the present invention, in the information processing apparatus according to the second aspect, when the decoding determination unit determines that the decoding has failed, the information processing apparatus further includes a processing interruption unit that interrupts the processing.

また、請求項6にかかる発明は、請求項5記載の情報処置装置において、前記処理中断手段は、処理を中断する際に、復号に失敗した旨を報知する。   According to a sixth aspect of the present invention, in the information processing apparatus according to the fifth aspect, when the processing interruption means interrupts the processing, the information processing device notifies that the decoding has failed.

また、請求項7にかかる発明の情報処理装置は、情報復号の成否の判定に用いる誤り検出情報を格納した符号語であるヘッダを誤り訂正符号化した符号化ヘッダと画像に付加する対象となる付加情報を誤り訂正符号化した符号化情報とを一体化して生成した付加画像を取得する抽出画像取得手段と、前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出手段と、予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号手段と、前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号手段と、復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定手段と、を備え、前記付加情報は前記ヘッダに比べてビット長が大きく、前記付加情報の誤りを訂正するために用いる誤り訂正符号は、ビット長が大きい場合に有効な符号であるAn information processing apparatus according to a seventh aspect of the present invention is a target to be added to an encoded header and an image obtained by performing error correction encoding on a header that is a code word storing error detection information used for determining whether or not information decoding is successful. Extracted image acquisition means for acquiring an additional image generated by integrating encoded information obtained by error correction encoding the additional information, information extraction means for extracting the encoded header and the encoded information from the additional image, Header decoding means for correcting the error of the encoded header according to information of the error correction code of the encoded header specified in advance and decoding the header; and encoding according to the information of the error correction code of the encoded information An information decoding means for correcting the error in the information and decoding the additional information, and calculating from the error detection information stored in the decoded header and the decoded additional information Is the by comparing the error detection information includes a decoding decision means for determining success or failure information decoding, and the additional information has a larger bit length than the header, is used to correct an error of the additional information The error correction code is an effective code when the bit length is large .

また、請求項8にかかる発明は、請求項7記載の情報処理装置において、前記復号判定手段で復号に失敗したと判定した場合には、処理を中断する処理中断手段を更に備える。   The invention according to claim 8 further includes a processing interruption means for interrupting the processing in the information processing apparatus according to claim 7 when the decoding determination means determines that decoding has failed.

また、請求項9にかかる発明は、請求項8記載の情報処置装置において、前記処理中断手段は、処理を中断する際に、復号に失敗した旨を報知する。   According to a ninth aspect of the present invention, in the information processing apparatus according to the eighth aspect, when the processing is interrupted, the processing interrupting unit notifies that the decoding has failed.

また、請求項10にかかる発明のプログラムは、コンピュータに、処理対象の画像を取得する画像取得機能と、前記画像に付加する対象となる付加情報を取得する付加情報取得機能と、前記付加情報から情報復号の成否の判定に用いる誤り検出情報を生成する誤り検出情報生成機能と、前記誤り検出情報を格納した符号語であるヘッダを生成するヘッダ生成機能と、前記ヘッダに対して当該ヘッダの誤りを訂正するために用いる誤り訂正符号を付加して符号化ヘッダを生成するヘッダ符号化機能と、前記付加情報に対して当該付加情報の誤りを訂正するために用いる誤り訂正符号を付加して符号化情報を生成する情報符号化機能と、前記符号化ヘッダと前記符号化情報とを一体化して前記画像に付加した付加画像を生成する付加画像生成機能と、を実行させ、前記付加情報は前記ヘッダに比べてビット長が大きく、前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号であるThe program of the invention according to claim 10, the computer, the image obtaining function for obtaining an image to be processed, the additional information acquisition function of acquiring the additional information of interest to be added to the image, from the additional information An error detection information generation function for generating error detection information used to determine whether or not information decoding is successful; a header generation function for generating a header which is a codeword storing the error detection information; and an error of the header relative to the header A header encoding function for generating an encoded header by adding an error correction code used to correct the error, and an error correction code used for correcting the error of the additional information to the additional information Information encoding function for generating encoding information, and an additional image generation function for generating an additional image added to the image by integrating the encoding header and the encoding information , Allowed to run, the additional information is the greater bit length than the header, error correction code of the additional information is valid code if the bit length is large.

また、請求項11にかかる発明のプログラムは、コンピュータに、情報復号の成否の判定に用いる誤り検出情報を格納した符号語であるヘッダを誤り訂正符号化した符号化ヘッダと画像に付加する対象となる付加情報を誤り訂正符号化した符号化情報とを一体化して生成した付加画像を取得する抽出画像取得機能と、前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出機能と、予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号機能と、前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号機能と、復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定機能と、を実行させ、前記付加情報は前記ヘッダに比べてビット長が大きく、前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号であるThe program according to an eleventh aspect of the present invention is a program for adding to a computer an encoded header obtained by error-correcting a header, which is a codeword storing error detection information used for determining whether or not information decoding is successful, and an image. An extraction image acquisition function for acquiring an additional image generated by integrating encoded information obtained by integrating error correction encoding of the additional information, and an information extraction function for extracting the encoding header and the encoding information from the additional image; A header decoding function for decoding the header by correcting an error in the encoded header according to the information of the error correction code of the encoded header specified in advance, and the code according to the information of the error correction code of the encoded information An information decoding function for correcting the error of the encoded information and decoding the additional information, and the error detection information stored in the decoded header and before the decoding An error detection information calculated from the additional information and the decoding decision function to determine the success or failure of information decoded by comparing, by the execution, the additional information has a larger bit length than the header, error correction of the additional information The code is an effective code when the bit length is large .

また、請求項12にかかる発明の付加画像生成方法は、処理対象の画像を取得する画像取得工程と、前記画像に付加する対象となる付加情報を取得する付加情報取得工程と、前記付加情報から情報復号の成否の判定に用いる誤り検出情報を生成する誤り検出情報生成工程と、前記誤り検出情報を格納した符号語であるヘッダを生成するヘッダ生成工程と、前記ヘッダに対して当該ヘッダの誤りを訂正するために用いる誤り訂正符号を付加して符号化ヘッダを生成するヘッダ符号化工程と、前記付加情報に対して当該付加情報の誤りを訂正するために用いる誤り訂正符号を付加して符号化情報を生成する情報符号化工程と、前記符号化ヘッダと前記符号化情報とを一体化して前記画像に付加した付加画像を生成する付加画像生成工程と、を含み、前記付加情報は前記ヘッダに比べてビット長が大きく、前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号であるAn additional image generation method according to a twelfth aspect of the present invention includes an image acquisition step of acquiring a processing target image, an additional information acquisition step of acquiring additional information to be added to the image, and the additional information. An error detection information generation step for generating error detection information used to determine whether the information decoding is successful, a header generation step for generating a header which is a codeword storing the error detection information, and an error of the header with respect to the header A header encoding step for generating an encoded header by adding an error correction code used to correct the error, and an error correction code used for correcting an error of the additional information to the additional information seen containing an information encoding step of generating of information, and the additional image generating step of generating an additional image to which the image integrated with the encoded information and the encoded header and The additional information has a larger bit length than the header, error correction code of the additional information is valid code if the bit length is large.

また、請求項13にかかる発明の情報抽出方法は、情報復号の成否の判定に用いる誤り検出情報を格納した符号語であるヘッダを誤り訂正符号化した符号化ヘッダと画像に付加する対象となる付加情報を誤り訂正符号化した符号化情報とを一体化して生成した付加画像を取得する抽出画像取得工程と、前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出工程と、予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号工程と、前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号工程と、復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定工程と、を含み、前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号である
According to the thirteenth aspect of the present invention, there is provided an information extraction method to be added to an encoded header obtained by performing error correction encoding on a header that is a code word storing error detection information used to determine whether information decoding has succeeded or not, and an image. An extraction image acquisition step of acquiring an additional image generated by integrating the encoding information obtained by error correction encoding the additional information, an information extraction step of extracting the encoding header and the encoding information from the additional image, A header decoding step of correcting the error of the encoded header according to the information of the error correction code of the encoded header specified in advance and decoding the header; and the encoding according to the information of the error correction code of the encoded information An information decoding step of correcting the error of the information and decoding the additional information, the error detection information stored in the decoded header and the decoded additional information And error detection information and the decoding determination step of determining success or failure information decoded by comparing the issued, only contains the additional information increases the bit length than that of the header,
The error correction code of the additional information is a code that is effective when the bit length is large .

本発明によれば、画像に付加する対象となる付加情報から生成した情報復号の成否の判定に用いる誤り検出情報を格納するためのヘッダを用意し、ヘッダを誤り訂正符号化した符号化ヘッダと付加情報を誤り訂正符号化した符号化情報とを一体化して重畳画像を生成するようにしたことにより、情報抽出時において、ヘッダに格納されている誤り検出情報と復号された付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定することができるので、画像への付加情報の埋め込みに関して情報抽出の性能を向上させることができる、という効果を奏する。   According to the present invention, a header for storing error detection information used for determining success or failure of information decoding generated from additional information to be added to an image is prepared, and an encoded header obtained by error-correcting the header is provided. Since the superimposed information is generated by integrating the additional information encoded with the error correction code, it is calculated from the error detection information stored in the header and the decoded additional information at the time of information extraction. Therefore, it is possible to determine whether or not the information decoding is successful by comparing with the error detection information to be improved, and it is possible to improve the information extraction performance with respect to the embedding of the additional information in the image.

また、本発明によれば、予め指定されている符号化ヘッダの誤り訂正符号の情報に従って符号化ヘッダの誤りを訂正してヘッダを復号するとともに、符号化情報の誤り訂正符号の情報に従って符号化情報の誤りを訂正して付加情報を復号するとともに、ヘッダに格納されている誤り検出情報を使用して情報復号の成否を判定するようにしたことにより、画像に埋め込まれている付加情報を正確に抽出することができるので、重畳画像に埋め込まれている付加情報の抽出後の情報処理の安定性や信頼性を確保することができる。   According to the present invention, the header of the encoded header is corrected by correcting the error of the encoded header according to the information of the error correcting code of the encoded header specified in advance, and encoded according to the information of the error correcting code of the encoded information. By correcting the error in the information and decoding the additional information, the error detection information stored in the header is used to determine the success or failure of the information decoding. Therefore, the stability and reliability of information processing after extraction of additional information embedded in the superimposed image can be ensured.

以下に添付図面を参照して、この発明にかかる情報処理装置、プログラム、付加画像生成方法及び情報抽出方法の最良な実施の形態を詳細に説明する。   Exemplary embodiments of an information processing apparatus, a program, an additional image generation method, and an information extraction method according to the present invention are explained in detail below with reference to the accompanying drawings.

本発明の実施の一形態を図1ないし図14に基づいて説明する。本実施の形態は情報処理装置としてパーソナルコンピュータを適用した例である。   An embodiment of the present invention will be described with reference to FIGS. This embodiment is an example in which a personal computer is applied as an information processing apparatus.

図1は、本発明の実施の一形態にかかるプリンティングシステムの構築例を示す模式図である。本実施の形態のプリンティングシステムでは、コンピュータ1にLAN(Local Area Network)等のネットワーク2を介して、プリンタ3およびスキャナ4が接続されたシステムを想定しており、コンピュータ1上で作成されたデジタル文書データがネットワーク2を介してプリンタ3に送信され、送信されたデジタル文書データがプリンタ3よりハードコピー出力されるものである。また、スキャナ4を介して読み取られたデジタル文書データがネットワーク2を介してコンピュータ1に送信される。   FIG. 1 is a schematic diagram showing a construction example of a printing system according to an embodiment of the present invention. The printing system according to the present embodiment assumes a system in which a printer 3 and a scanner 4 are connected to a computer 1 via a network 2 such as a LAN (Local Area Network). The document data is transmitted to the printer 3 via the network 2, and the transmitted digital document data is output as a hard copy from the printer 3. The digital document data read through the scanner 4 is transmitted to the computer 1 through the network 2.

次に、コンピュータ1について説明する。コンピュータ1は、一般的又は標準的なパーソナルコンピュータである。図2は、コンピュータ1のハードウェアの構成図である。コンピュータ1は、情報処理を行うCPU(Central Processing Unit)12と、BIOS(Basic Input Output System)等を格納するROM(Read Only Memory)13と、情報を処理中に一時的に格納するRAM(Random Access Memory)14等の一次記憶装置と、アプリケーションプログラムや処理結果等を保存する記憶部であるHDD(Hard Disk Drive)15等の二次記憶装置と、情報を外部に保管又は配布し若しくは情報(アプリケーションプログラム等)を外部から入手するための記憶媒体であるリムーバブルメディア16のドライブ17と、外部の他の機器(コンピュータ1、プリンタ3、スキャナ4)と通信するためのネットワーク2に接続するためのネットワークインタフェース18と、処理経過や処理結果等をユーザに表示する表示部であるディスプレイ19と、操作者がコンピュータ1に命令や情報等を入力するためのキーボード20やマウス21等の入力部とから構成され、これらの間のデータ通信をバスコントローラ22が調停して動作している。   Next, the computer 1 will be described. The computer 1 is a general or standard personal computer. FIG. 2 is a hardware configuration diagram of the computer 1. The computer 1 includes a CPU (Central Processing Unit) 12 that performs information processing, a ROM (Read Only Memory) 13 that stores a BIOS (Basic Input Output System), and a RAM (Random) that temporarily stores information during processing. A primary storage device such as an Access Memory (14), a secondary storage device such as an HDD (Hard Disk Drive) 15 that is a storage unit for storing application programs and processing results, and information is stored or distributed externally or information ( For connecting to a drive 17 of a removable medium 16 which is a storage medium for obtaining an application program from the outside and a network 2 for communicating with other external devices (computer 1, printer 3, scanner 4). The network interface 18 and the display 1 which is a display unit for displaying the processing progress, processing results, etc. When the operator is composed of an input unit such as a keyboard 20 and a mouse 21 for inputting instructions and information to the computer 1, the data communication between the bus controller 22 is operating in the arbitration.

なお、リムーバブルメディア16としては、フレキシブルディスク、ハードディスク、磁気テープ等のような磁気的な記憶媒体、MOのような光磁気的な記憶媒体、CD、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RAM、DVD−RW、DVD+RW等のような光学的な記憶媒体、半導体メモリ等、各種の記憶媒体が適用できる。   The removable medium 16 includes a magnetic storage medium such as a flexible disk, hard disk, and magnetic tape, a magneto-optical storage medium such as MO, CD, CD-ROM, CD-R, CD-RW, Various storage media such as optical storage media such as DVD-ROM, DVD-R, DVD-RAM, DVD-RW, DVD + RW, and semiconductor memory can be applied.

データ送信は、コンピュータ1のネットワークインタフェース18へとデータを送ることにより、ネットワークインタフェース18がネットワーク2へと信号を出力する。また、ネットワークインタフェース18が受け取った信号については、ネットワークインタフェース18において必要かどうかの判断がなされ、必要なデータであれば取り込み、不必要であれば破棄する、というような処理が行われる。すなわち、あらゆるデータの送受信は、すべてネットワークインタフェース18を経由して行われることになる。   In the data transmission, the network interface 18 outputs a signal to the network 2 by sending data to the network interface 18 of the computer 1. The network interface 18 determines whether the signal received by the network interface 18 is necessary, and performs processing such as fetching if necessary data and discarding if unnecessary. In other words, all data transmission / reception is performed via the network interface 18.

一般的に、このようなコンピュータ1ではユーザが電源を投入すると、CPU12はROM13内のBIOSに含まれるローダーというプログラムを起動させ、HDD15からオペレーティングシステム(OS)という当該コンピュータ1のハードウェアとソフトウェアとを管理するプログラムをRAM14に読み込む。OSは起動すると、ユーザの操作に応じてアプリケーションプログラムの起動、情報の読み込み、保存等をサポートする。代表的なOSとしては、Windows(登録商標)等が知られている。これらのOS上で走るプログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のOS上で動作するものに限らず、後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。   In general, when the user turns on the power of the computer 1, the CPU 12 activates a program called a loader included in the BIOS in the ROM 13, and the hardware and software of the computer 1 called the operating system (OS) from the HDD 15. Is loaded into the RAM 14. When the OS is activated, it supports activation of application programs, reading of information, storage, and the like according to user operations. Windows (registered trademark) or the like is known as a typical OS. Programs that run on these OSs are called application programs. The application program is not limited to one that runs on a predetermined OS, and may be one that causes the OS to execute some of the various processes described below, or constitutes predetermined application software, an OS, or the like. It may be included as part of a group of program files.

また、一般的には、コンピュータ1のHDD15にインストールされるアプリケーションプログラムは、リムーバブルメディア16に記録され、このリムーバブルメディア16に記録されたアプリケーションプログラムがHDD15にインストールされる。このため、リムーバブルメディア16も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えばネットワークインタフェース18を介して外部から取り込まれ、HDD15にインストールされても良い。   In general, an application program installed in the HDD 15 of the computer 1 is recorded in the removable medium 16, and the application program recorded in the removable medium 16 is installed in the HDD 15. For this reason, the removable medium 16 can also be a storage medium for storing application programs. Furthermore, the application program may be taken in from the outside via, for example, the network interface 18 and installed in the HDD 15.

コンピュータ1は、OS上で動作するアプリケーションプログラムが起動すると、このアプリケーションプログラムに従い、CPU12が各種の演算処理を実行して各部を集中的に制御する。   When an application program that runs on the OS is activated, the computer 1 performs various arithmetic processes according to the application program, and controls each unit intensively.

次に、コンピュータ1のCPU12が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。概略的には、本実施の形態の特長的な処理は、コンピュータ1のHDD15に格納されている画像に情報を付加し、それをプリンタ3で紙に出力するようにしたものである。ここで付加対象の情報はどんなものでも構わないが、例えばオリジナルの画像データの保管場所に関する情報、また印刷日時や印刷者IDの情報を付加するようにしてもよい。また、本実施の形態では、図3に示すような2種類の画像パターン(「‥」でビット0、「:」でビット1を表す)で表される情報を画像に対して重ね合わせて重畳画像(付加画像)とする場合を例に説明するが、画像パターンで表される情報を画像に対して直接埋め込むようにしても良い。また、その他に、画像パターンの代わりに2次元バーコード等を画像に重ね合わせる、または、2次元バーコード等を直接画像に埋め込むようにしても良い。   Next, characteristic processing of the present embodiment among various types of arithmetic processing executed by the CPU 12 of the computer 1 will be described below. Schematically, the characteristic processing of this embodiment is that information is added to an image stored in the HDD 15 of the computer 1 and is output to paper by the printer 3. Here, the information to be added may be any information, but for example, information on the storage location of the original image data, information on the printing date and time, and the printer ID may be added. In the present embodiment, information represented by two types of image patterns as shown in FIG. 3 (representing bit 0 with “..., And bit 1 with“: ”) is superimposed and superimposed on the image. Although an example of an image (additional image) will be described as an example, information represented by an image pattern may be directly embedded in the image. In addition, a two-dimensional barcode or the like may be superimposed on the image instead of the image pattern, or the two-dimensional barcode or the like may be directly embedded in the image.

コンピュータ1は、アプリケーションプログラムとして、情報付加プログラムおよび情報抽出プログラムをHDD15に記憶している。すなわち、コンピュータ1は、OS上で動作する情報付加プログラムおよび情報抽出プログラムが起動すると、これらの情報付加プログラムおよび情報抽出プログラムに従い、CPU2が各部を制御して情報付加処理および情報抽出処理を実行する。   The computer 1 stores an information addition program and an information extraction program in the HDD 15 as application programs. That is, when an information addition program and an information extraction program operating on the OS are started, the computer 1 executes information addition processing and information extraction processing by controlling each unit according to the information addition program and information extraction program. .

まず、情報付加処理および情報抽出処理について説明する。図4は、コンピュータ1の情報付加処理および情報抽出処理にかかる機能構成を示すブロック図である。図4に示すように、コンピュータ1は、CPU12がOS上で動作する情報付加プログラムに従うことにより、画像取得手段として機能する画像取得部31と、付加情報取得手段として機能する付加情報取得部32と、誤り検出情報生成手段として機能する誤り検出情報生成部33と、ヘッダ生成手段として機能するヘッダ生成部34と、ヘッダ符号化手段として機能するヘッダ符号化部35と、情報符号化手段として機能する情報符号化部36と、付加画像生成手段として機能する重畳画像生成部37と、印刷処理部38と、を実現する。一方、コンピュータ1は、CPU12がOS上で動作する情報抽出プログラムに従うことにより、抽出画像取得手段として機能する抽出画像取得部41と、情報抽出手段として機能する情報抽出部42と、ヘッダ復号手段として機能するヘッダ復号部43と、情報復号手段として機能する情報復号部44と、復号判定手段として機能する復号判定部45と、処理中断手段として機能する処理中断部46と、を実現する。   First, information addition processing and information extraction processing will be described. FIG. 4 is a block diagram illustrating a functional configuration related to the information addition process and the information extraction process of the computer 1. As illustrated in FIG. 4, the computer 1 includes an image acquisition unit 31 that functions as an image acquisition unit and an additional information acquisition unit 32 that functions as an additional information acquisition unit by the CPU 12 following an information addition program that operates on the OS. An error detection information generation unit 33 that functions as an error detection information generation unit, a header generation unit 34 that functions as a header generation unit, a header encoding unit 35 that functions as a header encoding unit, and an information encoding unit An information encoding unit 36, a superimposed image generation unit 37 that functions as an additional image generation unit, and a print processing unit 38 are realized. On the other hand, when the CPU 12 follows an information extraction program that runs on the OS, the computer 12 extracts an extracted image acquisition unit 41 that functions as an extracted image acquisition unit, an information extraction unit 42 that functions as an information extraction unit, and a header decoding unit. A header decoding unit 43 that functions, an information decoding unit 44 that functions as an information decoding unit, a decoding determination unit 45 that functions as a decoding determination unit, and a processing interruption unit 46 that functions as a processing interruption unit are realized.

まず、画像に付加情報を付加する情報付加処理について図5のフローチャートを参照しつつ説明する。図5に示すように、ステップS1では、画像取得部31が、処理対象である画像を取得する。本実施の形態においては、画像がコンピュータ1のHDD15に格納されている場合について述べるが、これに限るものではなく、CDなどのリムーバブルメディア16に格納されている画像を取得したり、またネットワーク2上の別のコンピュータから画像を取得したりしてもよい。   First, an information addition process for adding additional information to an image will be described with reference to the flowchart of FIG. As shown in FIG. 5, in step S <b> 1, the image acquisition unit 31 acquires an image to be processed. In the present embodiment, the case where an image is stored in the HDD 15 of the computer 1 will be described. However, the present invention is not limited to this, and an image stored in a removable medium 16 such as a CD can be acquired or the network 2 can be acquired. An image may be acquired from another computer above.

次いで、ステップS2では、付加情報取得部32が、画像に付加する対象となる付加情報を取得する。具体的な取得方法としては、オリジナルの画像データの保管場所や印刷者ID等の情報を、コンピュータ1から取得することが考えられる。また、印刷日時の情報に関しても、同様にコンピュータ1から取得したり、またはネットワーク2を介してTSA(時刻認証局)等から取得したりすることが考えられる。   Next, in step S2, the additional information acquisition unit 32 acquires additional information to be added to the image. As a specific acquisition method, it is conceivable to acquire information such as the storage location of the original image data and the printer ID from the computer 1. In addition, it is conceivable that the information on the printing date and time is obtained from the computer 1 in the same manner, or obtained from a TSA (time certification authority) or the like via the network 2.

続くステップS3では、誤り検出情報生成部33が、付加情報から後述する情報復号の成否の判定に用いる誤り検出情報を生成する。誤り検出情報としては、パリティ符号や、チェックサム、ハッシュ関数に基づくMD5やSHA−1などが考えられる。   In subsequent step S3, the error detection information generation unit 33 generates error detection information used for determining success or failure of information decoding described later from the additional information. As error detection information, parity codes, checksums, MD5 based on a hash function, SHA-1, and the like can be considered.

続くステップS4では、ヘッダ生成部34が、ステップS3で生成した誤り検出情報を格納した符号語であるヘッダ(ビット列)を生成する。図6は、生成されたヘッダの一例を示すものである。なお、本実施の形態においては、ヘッダは、誤り検出情報だけでなく、付加情報のサイズや付加情報を誤り訂正符号化する際の符号化の種別に関する情報を格納している。   In subsequent step S4, the header generation unit 34 generates a header (bit string) that is a code word storing the error detection information generated in step S3. FIG. 6 shows an example of the generated header. In the present embodiment, the header stores not only the error detection information but also information related to the size of the additional information and the type of encoding when the additional information is error correction encoded.

続くステップS5では、ヘッダ符号化部35が、ステップS4で生成したヘッダに対してヘッダの誤りを訂正するために用いる検査情報(誤り訂正符号)を付加して誤り訂正符号化を行い、符号化ヘッダを生成する。図7は、生成された符号化ヘッダの一例を示すものである。なお、誤り訂正符号としては、BCH符号やReed−Solomon符号、ターボ符号などを使用することが考えられる。   In subsequent step S5, the header encoding unit 35 performs error correction encoding by adding inspection information (error correction code) used for correcting the header error to the header generated in step S4, and performs encoding. Generate a header. FIG. 7 shows an example of the generated encoded header. Note that it is conceivable to use a BCH code, a Reed-Solomon code, a turbo code, or the like as the error correction code.

続くステップS6では、情報符号化部36が、付加情報に対して、誤り訂正用の検査情報(誤り訂正符号)を付加して誤り訂正符号化を行い、符号化情報を生成する。図8は、生成された符号化情報の一例を示すものである。一般に、付加情報はヘッダに比べてビット長が大きいため、使用する誤り訂正符号はBCH符号やターボ符号だけでなく、ビット長が大きい場合に有利なLDPC符号を使用するようにしても良い。また、図9に示すように、付加情報を一定サイズに分割し、分割した付加情報ごとに誤り訂正符号化するようにしても良い。   In subsequent step S6, the information encoding unit 36 adds error correction check information (error correction code) to the additional information, performs error correction encoding, and generates encoded information. FIG. 8 shows an example of the generated encoded information. In general, since the additional information has a bit length larger than that of the header, an error correction code to be used may be not only a BCH code or a turbo code but also an LDPC code that is advantageous when the bit length is large. Further, as shown in FIG. 9, the additional information may be divided into a certain size, and error correction coding may be performed for each divided additional information.

続くステップS7では、重畳画像生成部37が、ステップS5で生成された符号化ヘッダと、ステップS6で生成された符号化情報とを一体化して重畳画像を生成し、ステップS1で取得した画像に付加する。   In subsequent step S7, the superimposed image generation unit 37 generates a superimposed image by integrating the encoded header generated in step S5 and the encoded information generated in step S6, and generates the superimposed image in the image acquired in step S1. Append.

ところで、符号化ヘッダと符号化情報とを一体化する際には、バーストエラーが発生した場合でもヘッダの情報が正確に抽出できるようにすることが重要であり、そのためには符号化情報および符号化ヘッダの情報を分散させて画像に付加する必要がある。その一つの方法を図10に示す。図10に示す交錯法によれば、符号化ヘッダをMビット(例えば、M=1)ごとに分割し、L個の符号化情報をそれぞれNビット(N=L×M)に分割する。そして、符号化ヘッダMビットに対してL個の符号化情報からそれぞれMビットずつ順に挿入して並び替えることで、一体化した1つのビット列を生成する。   By the way, when the encoded header and the encoded information are integrated, it is important that the header information can be accurately extracted even when a burst error occurs. It is necessary to disperse the header information and add it to the image. One method is shown in FIG. According to the crossing method shown in FIG. 10, the encoded header is divided into M bits (for example, M = 1), and L encoded information is divided into N bits (N = L × M). Then, M bits are sequentially inserted and rearranged from the L pieces of encoded information with respect to the encoded header M bits, thereby generating one integrated bit string.

続くステップS8では、印刷処理部38が、ステップS7で生成した重畳画像を紙に出力することで情報を埋め込んだ印刷物を得る。図11に示す例においては、ビット0を示すパターン0とビット1を示すパターン1の2種類のパターンを格子状に描画することで、符号化ヘッダと符号化情報を画像に埋め込んだ重畳画像が印刷されている。   In subsequent step S8, the print processing unit 38 outputs the superimposed image generated in step S7 to paper, thereby obtaining a printed matter in which information is embedded. In the example shown in FIG. 11, a superimposed image in which an encoding header and encoding information are embedded in an image is drawn by drawing two types of patterns, a pattern 0 indicating bit 0 and a pattern 1 indicating bit 1 in a grid pattern. It is printed.

次に、重畳画像から付加情報を抽出する情報抽出処理について図12のフローチャートを参照しつつ説明する。図12に示すように、ステップS11では、抽出画像取得部41が、処理対象である重畳画像を取得する。本実施の形態においては、重畳画像が印刷された印刷物をスキャナ4で読み取り、読み取られた重畳画像の画像データをネットワーク2を介して取得する。なお、重畳画像の取得はこれに限るものではなく、既に画像として読み取られてコンピュータ1のHDD15に格納されている画像を取得したり、CDなどのリムーバブルメディア16に格納されている画像を取得したり、またネットワーク2上の別のコンピュータから画像を取得したりしてもよい。   Next, information extraction processing for extracting additional information from a superimposed image will be described with reference to the flowchart of FIG. As illustrated in FIG. 12, in step S11, the extracted image acquisition unit 41 acquires a superimposed image that is a processing target. In the present embodiment, the printed material on which the superimposed image is printed is read by the scanner 4, and the image data of the read superimposed image is acquired via the network 2. The acquisition of the superimposed image is not limited to this, and an image that has already been read as an image and stored in the HDD 15 of the computer 1 or an image stored in the removable medium 16 such as a CD is acquired. Alternatively, an image may be acquired from another computer on the network 2.

続くステップS12では、情報抽出部42が、重畳画像上のパターンを識別して、符号化ヘッダおよび符号化情報を一体化したビット列を抽出する。そして、ビット列から符号化ヘッダと符号化情報を分離する。ビット列から符号化ヘッダと符号化情報とを分離する方法は、図10に示す交錯法を逆に実行するようにすれば良い。   In subsequent step S12, the information extraction unit 42 identifies a pattern on the superimposed image and extracts a bit string in which the encoded header and the encoded information are integrated. Then, the encoded header and the encoded information are separated from the bit string. As a method for separating the encoded header and the encoded information from the bit string, the crossing method shown in FIG. 10 may be executed in reverse.

続くステップS13では、ヘッダ復号部43が、符号化ヘッダの検査情報(誤り訂正符号)の情報に従ってステップS12で抽出した符号化ヘッダの誤りを訂正してヘッダを復号する。なお、符号化ヘッダの検査情報(誤り訂正符号)の種別に関する情報は、コンピュータ1において予め指定されているものとする。   In subsequent step S13, the header decoding unit 43 corrects the error of the encoded header extracted in step S12 in accordance with the information of the encoded header check information (error correction code), and decodes the header. It is assumed that information related to the type of inspection information (error correction code) of the encoded header is designated in advance in the computer 1.

続くステップS14では、情報復号部44が、符号化情報の検査情報(誤り訂正符号)の情報に従ってステップS12で抽出した符号化情報の誤りを訂正して付加情報を復号する。符号化情報の検査情報(誤り訂正符号)の種別に関する情報は、コンピュータ1において予め指定されているものであってもよいし、またはヘッダに格納された誤り訂正符号の種別に関する情報を利用するようにしてもよい。   In subsequent step S14, the information decoding unit 44 corrects the error of the encoded information extracted in step S12 according to the information of the check information (error correction code) of the encoded information, and decodes the additional information. The information related to the type of the check information (error correction code) of the encoded information may be specified in advance in the computer 1, or the information related to the type of the error correction code stored in the header is used. It may be.

続くステップS15では、復号判定部45が、復号されたヘッダに格納されている誤り検出情報と復号された付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する。具体的には、ステップS14で復号した付加情報から誤り検出情報(チェックサムなど)を算出し、これとヘッダに格納されていた誤り検出情報とが一致するかどうかを判定する。一致すれば復号は成功、一致しなければ復号は失敗と判定する。   In subsequent step S15, the decoding determination unit 45 compares the error detection information stored in the decoded header with the error detection information calculated from the decoded additional information, and determines the success or failure of the information decoding. Specifically, error detection information (such as a checksum) is calculated from the additional information decoded in step S14, and it is determined whether or not this matches the error detection information stored in the header. If they match, it is determined that the decoding is successful, and if they do not match, it is determined that the decoding fails.

復号成功と判定した場合には(ステップS16のYes)、付加情報を利用した各種情報処理を続行することになる。情報処理の例としては、付加情報として、オリジナルの画像データの保管場所が格納されていた場合には、その保管場所にアクセスして画像ファイルをアプリケーションソフトウェアで開くなどの処理を実行する(ステップS17)。   If it is determined that decoding is successful (Yes in step S16), various information processing using additional information is continued. As an example of information processing, when the storage location of the original image data is stored as additional information, processing such as accessing the storage location and opening the image file with application software is executed (step S17). ).

一方、復号に失敗したと判定した場合には(ステップS16のNo)、ステップS18に進む。   On the other hand, if it is determined that decoding has failed (No in step S16), the process proceeds to step S18.

ステップS18では、処理中断部46が、以降の処理を中断し、復号に失敗した旨を報知する。例えば、復号に失敗した旨のメッセージをディスプレイ19に表示する。   In step S18, the processing interruption unit 46 interrupts the subsequent processing and notifies that the decoding has failed. For example, a message indicating that decryption has failed is displayed on the display 19.

なお、本実施の形態においては、復号に失敗したと判定した場合には(ステップS16のNo)、以降の処理を中断し、復号に失敗した旨のメッセージをディスプレイ19に表示するようにしたが(ステップS18)、これに限るものではなく、部分的に復号が失敗している付加情報をそのまま利用した各種情報処理を続行するようにしても良い。   In this embodiment, when it is determined that decoding has failed (No in step S16), the subsequent processing is interrupted and a message indicating that decoding has failed is displayed on the display 19. (Step S18), the present invention is not limited to this, and various types of information processing using the additional information that has partially failed in decoding may be continued.

ここで、情報抽出例について説明する。図13は、重畳画像からのビット列の抽出例を示す説明図である。図13は、重畳画像が印刷された印刷物が追記や汚れでビット情報が抽出できない部分がある重畳画像からのビット列の抽出例を示すものである。図13に示すように、追記や汚れでビット情報が抽出できない部分がある重畳画像から抽出されたビット列においては、パターンの認識に失敗したビットや、情報が抽出できないビットが出現する。図14は、図13に示す重畳画像のビット列からの符号化ヘッダと符号化情報の復号例である。図14に示すように、本実施の形態によれば、予め指定されている符号化ヘッダの検査情報(誤り訂正符号)の情報に従って符号化ヘッダの誤りを訂正してヘッダを復号するとともに、符号化情報の検査情報(誤り訂正符号)の情報に従って符号化情報の誤りを訂正して付加情報を復号するとともに、ヘッダに格納されている誤り検出情報(チェックサムなど)を使用して情報復号の成否を判定するようにしたことにより、画像に埋め込まれている付加情報を正確に抽出することができるので、抽出後の情報処理の安定性や信頼性を確保することができる。   Here, an example of information extraction will be described. FIG. 13 is an explanatory diagram illustrating an example of extracting a bit string from a superimposed image. FIG. 13 shows an example of bit string extraction from a superimposed image in which bit information cannot be extracted due to additional writing or dirt on a printed matter on which the superimposed image is printed. As shown in FIG. 13, in a bit string extracted from a superimposed image in which there is a portion where bit information cannot be extracted due to additional writing or dirt, a bit whose pattern recognition has failed or a bit whose information cannot be extracted appears. FIG. 14 is a decoding example of the encoded header and the encoded information from the bit string of the superimposed image shown in FIG. As shown in FIG. 14, according to the present embodiment, the encoded header error is corrected according to the information of the encoded header inspection information (error correction code) specified in advance, and the header is decoded. In addition to decoding the additional information by correcting the error of the encoded information according to the information of the check information (error correction code) of the encoded information, the error detection information (checksum etc.) stored in the header is used to decode the information. By determining success or failure, the additional information embedded in the image can be extracted accurately, so that the stability and reliability of information processing after extraction can be ensured.

このように本実施の形態によれば、画像に付加する対象となる付加情報から生成した情報復号の成否の判定に用いる誤り検出情報を格納するためのヘッダを用意し、ヘッダを誤り訂正符号化した符号化ヘッダと付加情報を誤り訂正符号化した符号化情報とを一体化して重畳画像を生成するようにしたことにより、情報抽出時において、ヘッダに格納されている誤り検出情報と復号された付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定することができるので、画像への付加情報の埋め込みに関して情報抽出の性能を向上させることができる。   As described above, according to the present embodiment, a header for storing error detection information used for determining success or failure of information decoding generated from additional information to be added to an image is prepared, and the header is subjected to error correction coding. The encoded header and the encoded information obtained by error-correcting the additional information are integrated to generate a superimposed image, so that the error detection information stored in the header is decoded at the time of information extraction. Since it is possible to determine the success or failure of information decoding by comparing with error detection information calculated from the additional information, it is possible to improve the information extraction performance with respect to embedding the additional information in the image.

また、本実施の形態によれば、符号化情報および符号化ヘッダを構成するビット列を分散させて画像に付加するようにしたので、バーストエラーが発生してもヘッダを復号することができる。   Further, according to the present embodiment, since the encoded information and the bit string constituting the encoded header are dispersed and added to the image, the header can be decoded even if a burst error occurs.

さらに、本実施の形態によれば、予め指定されている符号化ヘッダの検査情報(誤り訂正符号)の情報に従って符号化ヘッダの誤りを訂正してヘッダを復号するとともに、符号化情報の検査情報(誤り訂正符号)の情報に従って符号化情報の誤りを訂正して付加情報を復号するとともに、ヘッダに格納されている誤り検出情報(チェックサムなど)を使用して情報復号の成否を判定するようにしたことにより、画像に埋め込まれている付加情報を正確に抽出することができるので、重畳画像に埋め込まれている付加情報の抽出後の情報処理の安定性や信頼性を確保することができる。   Furthermore, according to the present embodiment, the encoded header error is corrected in accordance with the information of the encoded header inspection information (error correction code) designated in advance, and the header is decoded. The error of the encoded information is corrected in accordance with the information of (error correction code) and the additional information is decoded, and the success or failure of the information decoding is determined using the error detection information (checksum or the like) stored in the header. As a result, the additional information embedded in the image can be accurately extracted, so that the stability and reliability of the information processing after the extraction of the additional information embedded in the superimposed image can be ensured. .

なお、本実施の形態においては、情報付加処理および情報抽出処理を1つのコンピュータ1で処理するようにしているが、これに限るものではなく、情報付加処理と情報抽出処理とをそれぞれ異なるコンピュータで処理するようにしても良い。   In this embodiment, the information addition process and the information extraction process are performed by one computer 1, but the present invention is not limited to this, and the information addition process and the information extraction process are performed by different computers. You may make it process.

また、本実施の形態においては、情報処理装置としてパーソナルコンピュータを適用した例について説明したが、これに限るものではなく、プリンタやスキャナが備える制御部にも適用可能であることはいうまでもない。さらに、プリンタおよびスキャナを備えるコピー機の制御部やMFP(Multi Function Peripheral)の制御部にも適用可能であることはいうまでもない。   In this embodiment, an example in which a personal computer is applied as the information processing apparatus has been described. . Furthermore, it goes without saying that the present invention can also be applied to a control unit of a copier equipped with a printer and a scanner and a control unit of an MFP (Multi Function Peripheral).

本発明の実施の一形態にかかるプリンティングシステムの構築例を示す模式図である。It is a schematic diagram which shows the construction example of the printing system concerning one Embodiment of this invention. コンピュータのハードウェアの構成図である。It is a block diagram of the hardware of a computer. コンピュータの処理の概略を示す説明図である。It is explanatory drawing which shows the outline of a process of a computer. 情報付加処理および情報抽出処理にかかる機能構成を示すブロック図である。It is a block diagram which shows the function structure concerning an information addition process and an information extraction process. 情報付加処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an information addition process. ヘッダの一例を示す模式図である。It is a schematic diagram which shows an example of a header. 符号化ヘッダの一例を示す模式図である。It is a schematic diagram which shows an example of an encoding header. 符号化情報の一例を示す模式図である。It is a schematic diagram which shows an example of encoding information. 符号化情報の別の一例を示す模式図である。It is a schematic diagram which shows another example of encoding information. 交錯法によるビット列の生成手順を示す説明図である。It is explanatory drawing which shows the production | generation procedure of the bit sequence by a crossing method. 重畳画像の印刷例を示す説明図である。It is explanatory drawing which shows the example of printing of a superimposed image. 情報抽出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an information extraction process. 重畳画像からのビット列の抽出例を示す説明図である。It is explanatory drawing which shows the example of extraction of the bit sequence from a superimposition image. 図13に示す重畳画像のビット列からの符号化ヘッダと符号化情報の復号例を示す説明図である。It is explanatory drawing which shows the decoding example of the encoding header and encoding information from the bit sequence of the superimposed image shown in FIG.

符号の説明Explanation of symbols

1 情報処理装置
31 画像取得手段
32 付加情報取得手段
33 誤り検出情報生成手段
34 ヘッダ生成手段
35 ヘッダ符号化手段
36 情報符号化手段
37 付加画像生成手段
41 抽出画像取得手段
42 情報抽出手段
43 ヘッダ復号手段
44 情報復号手段
45 復号判定手段
46 処理中断手段
DESCRIPTION OF SYMBOLS 1 Information processing apparatus 31 Image acquisition means 32 Additional information acquisition means 33 Error detection information generation means 34 Header generation means 35 Header encoding means 36 Information encoding means 37 Additional image generation means 41 Extracted image acquisition means 42 Information extraction means 43 Header decoding Means 44 Information decoding means 45 Decoding determination means 46 Processing interruption means

Claims (13)

処理対象の画像を取得する画像取得手段と、
前記画像に付加する対象となる付加情報を取得する付加情報取得手段と、
前記付加情報から情報復号の成否の判定に用いる誤り検出情報を生成する誤り検出情報生成手段と、
前記誤り検出情報を格納した符号語であるヘッダを生成するヘッダ生成手段と、
前記ヘッダに対して当該ヘッダの誤りを訂正するために用いる誤り訂正符号を付加して符号化ヘッダを生成するヘッダ符号化手段と、
前記付加情報に対して当該付加情報の誤りを訂正するために用いる誤り訂正符号を付加して符号化情報を生成する情報符号化手段と、
前記符号化ヘッダと前記符号化情報とを一体化して前記画像に付加した付加画像を生成する付加画像生成手段と、
を備え
前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤りを訂正するために用いる誤り訂正符号は、ビット長が大きい場合に有効な符号である、
ことを特徴とする情報処理装置。
Image acquisition means for acquiring an image to be processed;
Additional information acquisition means for acquiring additional information to be added to the image;
Error detection information generating means for generating error detection information used for determining success or failure of information decoding from the additional information;
Header generating means for generating a header which is a codeword storing the error detection information;
Header encoding means for generating an encoded header by adding an error correction code used for correcting an error of the header to the header;
Information encoding means for generating encoded information by adding an error correction code used for correcting an error of the additional information to the additional information;
An additional image generating means for generating an additional image added to the image by integrating the encoded header and the encoded information;
Equipped with a,
The additional information has a bit length larger than that of the header,
The error correction code used for correcting the error of the additional information is a code effective when the bit length is large.
An information processing apparatus characterized by that.
処理対象である前記付加画像を取得する抽出画像取得手段と、
前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出手段と、
予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号手段と、
前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号手段と、
復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定手段と、
を備えることを特徴とする請求項1記載の情報処理装置。
Extracted image acquisition means for acquiring the additional image to be processed;
Information extraction means for extracting the encoded header and the encoded information from the additional image;
Header decoding means for correcting the error of the encoded header according to information of an error correction code of the encoded header specified in advance and decoding the header;
Information decoding means for correcting the error of the encoded information according to the information of the error correction code of the encoded information and decoding the additional information;
Decoding determination means for comparing the error detection information stored in the decoded header and the error detection information calculated from the decoded additional information to determine success or failure of information decoding;
The information processing apparatus according to claim 1, further comprising:
前記付加画像生成手段は、前記符号化情報および前記符号化ヘッダの情報を分散させて前記画像に付加する、
ことを特徴とする請求項1記載の情報処理装置。
The additional image generation means distributes the encoded information and the encoded header information and adds the information to the image.
The information processing apparatus according to claim 1.
前記付加画像生成手段は、前記符号化ヘッダを構成するビット列と前記符号化情報を構成するビット列とを所定規則に従って1つのビット列にする、
ことを特徴とする請求項3記載の情報処理装置。
The additional image generating means makes a bit string constituting the encoded header and a bit string constituting the encoded information into one bit string according to a predetermined rule.
The information processing apparatus according to claim 3.
前記復号判定手段で復号に失敗したと判定した場合には、処理を中断する処理中断手段を更に備える、
ことを特徴とする請求項2記載の情報処理装置。
If it is determined by the decoding determination means that the decoding has failed, it further comprises a process interruption means for interrupting the process,
The information processing apparatus according to claim 2.
前記処理中断手段は、処理を中断する際に、復号に失敗した旨を報知する、
ことを特徴とする請求項5記載の情報処置装置。
The process interruption means informs that decoding has failed when the process is interrupted.
The information processing apparatus according to claim 5.
情報復号の成否の判定に用いる誤り検出情報を格納した符号語であるヘッダを誤り訂正符号化した符号化ヘッダと画像に付加する対象となる付加情報を誤り訂正符号化した符号化情報とを一体化して生成した付加画像を取得する抽出画像取得手段と、
前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出手段と、
予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号手段と、
前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号手段と、
復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定手段と、
を備え
前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号である、
ことを特徴とする情報処理装置。
An encoded header obtained by error correcting encoding a header that is a code word storing error detection information used for determining whether or not information decoding is successful and an encoded information obtained by error correcting encoding additional information to be added to an image are integrated. Extraction image acquisition means for acquiring an additional image generated by converting,
Information extraction means for extracting the encoded header and the encoded information from the additional image;
Header decoding means for correcting the error of the encoded header according to information of an error correction code of the encoded header specified in advance and decoding the header;
Information decoding means for correcting the error of the encoded information according to the information of the error correction code of the encoded information and decoding the additional information;
Decoding determination means for comparing the error detection information stored in the decoded header and the error detection information calculated from the decoded additional information to determine success or failure of information decoding;
Equipped with a,
The additional information has a bit length larger than that of the header,
The error correction code of the additional information is a code that is effective when the bit length is large.
An information processing apparatus characterized by that.
前記復号判定手段で復号に失敗したと判定した場合には、処理を中断する処理中断手段を更に備える、
ことを特徴とする請求項7記載の情報処理装置。
If it is determined by the decoding determination means that the decoding has failed, it further comprises a process interruption means for interrupting the process,
The information processing apparatus according to claim 7.
前記処理中断手段は、処理を中断する際に、復号に失敗した旨を報知する、
ことを特徴とする請求項8記載の情報処置装置。
The process interruption means informs that decoding has failed when the process is interrupted.
The information processing apparatus according to claim 8.
コンピュータに、
処理対象の画像を取得する画像取得機能と、
前記画像に付加する対象となる付加情報を取得する付加情報取得機能と、
前記付加情報から情報復号の成否の判定に用いる誤り検出情報を生成する誤り検出情報生成機能と、
前記誤り検出情報を格納した符号語であるヘッダを生成するヘッダ生成機能と、
前記ヘッダに対して当該ヘッダの誤りを訂正するために用いる誤り訂正符号を付加して符号化ヘッダを生成するヘッダ符号化機能と、
前記付加情報に対して当該付加情報の誤りを訂正するために用いる誤り訂正符号を付加して符号化情報を生成する情報符号化機能と、
前記符号化ヘッダと前記符号化情報とを一体化して前記画像に付加した付加画像を生成する付加画像生成機能と、
実行させ、
前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号である、
ことを特徴とするプログラム。
On the computer,
An image acquisition function for acquiring an image to be processed;
An additional information acquisition function for acquiring additional information to be added to the image;
An error detection information generation function for generating error detection information used to determine whether information decoding is successful or not from the additional information;
A header generation function for generating a header which is a codeword storing the error detection information;
A header encoding function for generating an encoded header by adding an error correction code used for correcting an error of the header to the header;
An information encoding function for generating encoded information by adding an error correction code used for correcting an error of the additional information to the additional information;
An additional image generation function for generating an additional image added to the image by integrating the encoded header and the encoded information;
And execute
The additional information has a bit length larger than that of the header,
The error correction code of the additional information is a code that is effective when the bit length is large.
A program characterized by that.
コンピュータに、
情報復号の成否の判定に用いる誤り検出情報を格納した符号語であるヘッダを誤り訂正符号化した符号化ヘッダと画像に付加する対象となる付加情報を誤り訂正符号化した符号化情報とを一体化して生成した付加画像を取得する抽出画像取得機能と、
前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出機能と、
予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号機能と、
前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号機能と、
復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定機能と、
実行させ、
前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号である、
ことを特徴とするプログラム。
On the computer,
An encoded header obtained by error correcting encoding a header that is a code word storing error detection information used for determining whether or not information decoding is successful and an encoded information obtained by error correcting encoding additional information to be added to an image are integrated. Extracted image acquisition function to acquire additional images generated by
An information extraction function for extracting the encoded header and the encoded information from the additional image;
A header decoding function for correcting an error of the encoded header according to information of an error correction code of the encoded header specified in advance, and decoding the header;
An information decoding function for correcting the error of the encoded information according to the information of the error correction code of the encoded information and decoding the additional information;
A decoding determination function for determining success or failure of information decoding by comparing the error detection information stored in the decoded header and error detection information calculated from the decoded additional information;
And execute
The additional information has a bit length larger than that of the header,
The error correction code of the additional information is a code that is effective when the bit length is large.
A program characterized by that.
処理対象の画像を取得する画像取得工程と、
前記画像に付加する対象となる付加情報を取得する付加情報取得工程と、
前記付加情報から情報復号の成否の判定に用いる誤り検出情報を生成する誤り検出情報生成工程と、
前記誤り検出情報を格納した符号語であるヘッダを生成するヘッダ生成工程と、
前記ヘッダに対して当該ヘッダの誤りを訂正するために用いる誤り訂正符号を付加して符号化ヘッダを生成するヘッダ符号化工程と、
前記付加情報に対して当該付加情報の誤りを訂正するために用いる誤り訂正符号を付加して符号化情報を生成する情報符号化工程と、
前記符号化ヘッダと前記符号化情報とを一体化して前記画像に付加した付加画像を生成する付加画像生成工程と、
を含み、
前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号である、
ことを特徴とする付加画像生成方法。
An image acquisition step of acquiring an image to be processed;
An additional information acquisition step of acquiring additional information to be added to the image;
An error detection information generating step for generating error detection information used for determining success or failure of information decoding from the additional information;
A header generation step of generating a header which is a codeword storing the error detection information;
A header encoding step of generating an encoded header by adding an error correction code used for correcting an error of the header to the header; and
An information encoding step of generating encoded information by adding an error correction code used for correcting an error of the additional information to the additional information;
An additional image generating step of generating an additional image added to the image by integrating the encoded header and the encoded information;
Only including,
The additional information has a bit length larger than that of the header,
The error correction code of the additional information is a code that is effective when the bit length is large.
An additional image generation method characterized by the above.
情報復号の成否の判定に用いる誤り検出情報を格納した符号語であるヘッダを誤り訂正符号化した符号化ヘッダと画像に付加する対象となる付加情報を誤り訂正符号化した符号化情報とを一体化して生成した付加画像を取得する抽出画像取得工程と、
前記付加画像から前記符号化ヘッダと前記符号化情報を抽出する情報抽出工程と、
予め指定されている前記符号化ヘッダの誤り訂正符号の情報に従って前記符号化ヘッダの誤りを訂正して前記ヘッダを復号するヘッダ復号工程と、
前記符号化情報の誤り訂正符号の情報に従って前記符号化情報の誤りを訂正して前記付加情報を復号する情報復号工程と、
復号された前記ヘッダに格納されている前記誤り検出情報と復号された前記付加情報から算出される誤り検出情報とを比較して情報復号の成否を判定する復号判定工程と、
を含み、
前記付加情報は前記ヘッダに比べてビット長が大きく、
前記付加情報の誤り訂正符号は、ビット長が大きい場合に有効な符号である、
ことを特徴とする情報抽出方法。
An encoded header obtained by error correcting encoding a header that is a code word storing error detection information used for determining whether or not information decoding is successful and an encoded information obtained by error correcting encoding additional information to be added to an image are integrated. An extraction image acquisition step of acquiring an additional image generated by converting to
An information extraction step of extracting the encoded header and the encoded information from the additional image;
A header decoding step of correcting an error of the encoded header according to information of an error correction code of the encoded header specified in advance and decoding the header;
An information decoding step of correcting the error of the encoded information according to the information of the error correction code of the encoded information and decoding the additional information;
A decoding determination step of determining success or failure of information decoding by comparing the error detection information stored in the decoded header and error detection information calculated from the decoded additional information;
Only including,
The additional information has a bit length larger than that of the header,
The error correction code of the additional information is a code that is effective when the bit length is large.
An information extraction method characterized by that.
JP2008165945A 2007-09-04 2008-06-25 Information processing apparatus, program, additional image generation method, and information extraction method Expired - Fee Related JP5030875B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008165945A JP5030875B2 (en) 2007-09-04 2008-06-25 Information processing apparatus, program, additional image generation method, and information extraction method
US12/222,346 US8276049B2 (en) 2007-09-04 2008-08-07 Information processing device and method
CN200810212486XA CN101383887B (en) 2007-09-04 2008-09-02 Information processing device and method
EP08252918A EP2034714A1 (en) 2007-09-04 2008-09-02 Information processing device and method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007229329 2007-09-04
JP2007229329 2007-09-04
JP2008165945A JP5030875B2 (en) 2007-09-04 2008-06-25 Information processing apparatus, program, additional image generation method, and information extraction method

Publications (2)

Publication Number Publication Date
JP2009081832A JP2009081832A (en) 2009-04-16
JP5030875B2 true JP5030875B2 (en) 2012-09-19

Family

ID=40463497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008165945A Expired - Fee Related JP5030875B2 (en) 2007-09-04 2008-06-25 Information processing apparatus, program, additional image generation method, and information extraction method

Country Status (2)

Country Link
JP (1) JP5030875B2 (en)
CN (1) CN101383887B (en)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3841821B2 (en) * 1992-09-28 2006-11-08 オリンパス株式会社 Two-dimensional code reading apparatus and two-dimensional code reading method
JP4401578B2 (en) * 2001-01-16 2010-01-20 キヤノン株式会社 Information processing apparatus and method, and storage medium
JP3809356B2 (en) * 2001-09-20 2006-08-16 キヤノン株式会社 Image processing apparatus and method, computer program, and recording medium
JP4475622B2 (en) * 2001-06-15 2010-06-09 キヤノン株式会社 Image processing apparatus, control method therefor, and computer program
JP3774651B2 (en) * 2001-09-25 2006-05-17 キヤノン株式会社 Image processing apparatus and method, computer program, and recording medium
JP2006211611A (en) * 2005-01-31 2006-08-10 Kyocera Mita Corp Image processing system, encryption processing apparatus, decryption processing apparatus and program
JP2006279850A (en) * 2005-03-30 2006-10-12 Sanyo Electric Co Ltd Image processing apparatus
JP4634261B2 (en) * 2005-09-09 2011-02-16 株式会社リコー Image forming apparatus, image processing apparatus, image output apparatus, portable terminal, image processing system, image forming method, image processing method, image output method, image forming program, image processing program, and image output program
JP2007088693A (en) * 2005-09-21 2007-04-05 Oki Electric Ind Co Ltd Image processing system, tampering verification apparatus, tampering verification method, and computer program
JP4047359B2 (en) * 2006-04-03 2008-02-13 キヤノン株式会社 Image processing apparatus, image processing apparatus control method, program, and storage medium

Also Published As

Publication number Publication date
JP2009081832A (en) 2009-04-16
CN101383887A (en) 2009-03-11
CN101383887B (en) 2011-07-27

Similar Documents

Publication Publication Date Title
US7660020B2 (en) Method and apparatus for controlling image processing for extraction assured embedding, and recording medium storing program product
US8817334B2 (en) Information processing apparatus, method, and computer-readable medium
JP4343968B2 (en) Image forming apparatus and method
JP5287485B2 (en) Information expression image, printed matter, image processing apparatus, and image processing program
US8276049B2 (en) Information processing device and method
US8587838B2 (en) Image processing apparatus, control method therefor, control program and storage medium
US8384966B2 (en) Image forming device and image forming method
JP5030875B2 (en) Information processing apparatus, program, additional image generation method, and information extraction method
US20090103137A1 (en) Information processing apparatus, method, program, and storage medium
US7952750B2 (en) Image processing apparatus and image processing method
JP2006025409A (en) Apparatus and method for image processing
JP2000187441A (en) Method and device for encoding embedded information, storage medium storing embedded information encoding program, method and device for decoding extracted information, and storage medium storing extracted information decoding program, and method and device for encoding digital watermark information, and storage medium storing digital watermark information encoding program, and method and device for decoding digital watermark information, and storage medium storing digital watermark information decoding program
JP4475622B2 (en) Image processing apparatus, control method therefor, and computer program
JP4836052B2 (en) Image processing apparatus, image processing system, and image processing program
JP4635814B2 (en) Image processing apparatus, image processing method, and image processing program
JP2004336219A (en) Apparatus, method, and program for image processing
JP2004336220A (en) Apparatus and method for image generating image recording medium, and image generating program
JP5546323B2 (en) Apparatus, method and program for code image
JP4587492B2 (en) Image forming apparatus and method
JP2007174181A (en) Document processing apparatus, document processing method, and document processing program
JP4216888B2 (en) Signal processing circuit
JP2008072480A (en) System for embedding data in paper or reading data from paper, its control method, and computer readable memory medium
JP2007318257A (en) Information embedding device, information restoring device, information embedding method, information restoring method, control program, computer-readable recording medium recording the same, and printed matter
JP2008219515A (en) Device and method for image processing
US20100158399A1 (en) Image processing apparatus, image processing method, computer-readable medium and computer data signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120626

R150 Certificate of patent or registration of utility model

Ref document number: 5030875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees