JP4706612B2 - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP4706612B2 JP4706612B2 JP2006277091A JP2006277091A JP4706612B2 JP 4706612 B2 JP4706612 B2 JP 4706612B2 JP 2006277091 A JP2006277091 A JP 2006277091A JP 2006277091 A JP2006277091 A JP 2006277091A JP 4706612 B2 JP4706612 B2 JP 4706612B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- information
- image information
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、画像処理装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
従来、帳票等の予め定められた原稿に対する追記箇所を特定するための技術として、特許文献1には、追記前画像と追記後画像の位置合わせを行った後、追記前画像データと追記後画像データの単色化・二値化を行い、これによって得られた追記後画像データから追記前画像データを減算することにより追記箇所を抽出する技術が開示されている。 Conventionally, as a technique for specifying a location to be added to a predetermined document such as a form, Japanese Patent Application Laid-Open Publication No. 2003-28259 discloses that after pre-addition image and post-addition image alignment, before-addition image data and post-addition image There has been disclosed a technique for extracting a postscript portion by performing monochromatic / binarization of data and subtracting the pre-write image data from the post-write image data obtained thereby.
また、特許文献2には、追記前後の画像を所定個数に分割し、各分割領域毎に画像の位置合わせを行った後、追記前画像を膨張させて、追記前画像データと追記後画像データの各画素単位で排他的論理和を算出することにより追記箇所を抽出する技術が開示されている。 In Patent Document 2, the images before and after the additional recording are divided into a predetermined number, the images are aligned for each divided region, and then the image before the additional recording is expanded, and the image data before the additional recording and the image data after the additional recording are added. A technique for extracting a postscript location by calculating an exclusive OR for each pixel of the above is disclosed.
また、特許文献3には、画像データを記憶する第1の記憶手段と、文書ファイルを画像データに変換する変換手段と、前記両画像データを比較して両画像の差分である差分情報を抽出する差分情報抽出手段と、この抽出した差分情報を保存する第2の記憶手段と、を有する文書ファイリング装置が開示されている。 Japanese Patent Application Laid-Open No. 2004-228688 extracts a first storage unit that stores image data, a conversion unit that converts a document file into image data, and extracts difference information that is a difference between the two images by comparing the two image data. There is disclosed a document filing apparatus having difference information extracting means for performing the above and second storage means for storing the extracted difference information.
更に、特許文献4には、分割位置情報をバーコードに格納して印刷文書に付加し、それに基づいて領域分割及び位置合わせを行った後、差分を抽出する技術が開示されている。
本発明は、以上のような技術背景においてなされたものであり、中間調画像に対して行われた追記の箇所を高精度に特定することができる画像処理装置及び画像処理プログラムを提供することを目的とする。 The present invention has been made in the technical background as described above, and provides an image processing apparatus and an image processing program capable of specifying with high accuracy the location of additional writing performed on a halftone image. Objective.
上記目的を達成するために、請求項1に記載の画像処理装置は、追記が行われる前の原稿の画像を示す第1画像情報、及び追記が行われた後の前記原稿の画像を示す第2画像情報を、各々の各画素情報が予め定められたビット数の複数ビットで構成されるものとして取得する取得手段と、前記取得手段によって取得された前記第1画像情報と前記第2画像情報との対応する画素毎の画素情報の減算を行うことにより第3画像情報を導出する導出手段と、前記導出手段によって導出された前記第3画像情報における前記予め定められたビット数により零以上の整数として表現できる数値範囲外となった画素情報を、当該画素情報に対応する画素からの距離が所定距離以内である画素の画素情報と相殺する相殺手段と、前記相殺手段によって相殺された前記第3画像情報に基づいて前記追記が行われた箇所を特定する特定手段と、を備えている。 In order to achieve the above object, an image processing apparatus according to a first aspect of the present invention provides first image information indicating an image of a document before additional writing and a first image indicating the image of the original after additional recording is performed. Acquisition means for acquiring two-image information as each pixel information composed of a plurality of bits having a predetermined number of bits, and the first image information and the second image information acquired by the acquisition means Deriving means for deriving third image information by subtracting pixel information for each corresponding pixel, and zero or more by the predetermined number of bits in the third image information derived by the deriving means The pixel information that is out of the numerical range that can be expressed as an integer is canceled with the pixel information of the pixel whose distance from the pixel corresponding to the pixel information is within a predetermined distance, and the offset by the canceling unit And a, specifying means for specifying a location where the additional recording is performed based on the third image information.
また、請求項2に記載の発明は、請求項1に記載の発明において、前記所定距離は、前記導出手段によって前記第3画像情報を導出する際の前記第1画像情報と前記第2画像情報との対応する画素間の想定される最大ずれ量に相当する距離であるものである。
The invention according to claim 2 is the invention according to
また、請求項3に記載の発明は、請求項1又は請求項2に記載の発明において、前記相殺手段は、前記導出手段によって導出された前記第3画像情報における前記数値範囲外となった画素情報の当該数値範囲から外れた量を算出する算出手段と、前記算出手段によって算出された量を、前記第3画像情報における当該量の算出対象とされた画素情報に対応する画素からの距離が前記所定距離以内である画素の画素情報に、前記数値範囲に収まる範囲内で分散させることにより前記相殺を行う分散手段と、を有するものである。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the canceling unit is a pixel outside the numerical range in the third image information derived by the deriving unit. A calculating unit that calculates an amount of information that is out of the numerical range; and an amount calculated by the calculating unit is calculated by calculating a distance from a pixel corresponding to the pixel information that is the target of calculating the amount in the third image information. Dispersing means for canceling the pixel information of the pixels within the predetermined distance by dispersing the pixel information within a range that falls within the numerical range.
更に、請求項4に記載の発明は、請求項3記載の発明において、前記分散手段は、前記算出手段によって算出された量を、前記第3画像情報における当該量の算出対象とされた画素情報に対応する画素からの距離が前記所定距離以内である画素の画素情報に、当該距離が短い順に、前記数値範囲に収まる範囲内で分散させるものである。 Furthermore, the invention according to claim 4 is the pixel information according to claim 3, wherein the distribution unit uses the amount calculated by the calculation unit as a calculation target of the amount in the third image information. The pixel information of the pixels whose distance from the pixel corresponding to is within the predetermined distance is dispersed within the range that falls within the numerical range in order of increasing distance.
一方、上記目的を達成するために、請求項5に記載の画像処理プログラムは、追記が行われる前の原稿の画像を示す第1画像情報、及び追記が行われた後の前記原稿の画像を示す第2画像情報を、各々の各画素情報が予め定められたビット数の複数ビットで構成されるものとして取得する取得ステップと、前記取得ステップによって取得された前記第1画像情報と前記第2画像情報との対応する画素毎の画素情報の減算を行うことにより第3画像情報を導出する導出ステップと、前記導出ステップによって導出された前記第3画像情報における前記予め定められたビット数により零以上の整数として表現できる数値範囲外となった画素情報を、当該画素情報に対応する画素からの距離が所定距離以内である画素の画素情報と相殺する相殺ステップと、をコンピュータに実行させるものである。 On the other hand, in order to achieve the above object, an image processing program according to claim 5 includes: first image information indicating an image of a document before additional recording is performed; and an image of the document after additional recording is performed. An acquisition step of acquiring the second image information to be shown as each pixel information comprising a plurality of bits of a predetermined number of bits, the first image information acquired by the acquisition step, and the second A derivation step for deriving third image information by subtracting pixel information for each corresponding pixel from the image information, and zero based on the predetermined number of bits in the third image information derived by the derivation step The pixel information that falls outside the numerical range that can be expressed as an integer is offset with the pixel information of a pixel whose distance from the pixel corresponding to the pixel information is within a predetermined distance. It is intended to execute the up and the computer.
請求項1及び請求項5記載の発明によれば、追記前画像と追記後画像の位置ずれに起因するノイズの発生を抑制することができる結果、中間調画像に対して行われた追記の箇所を高精度に特定することができる、という効果が得られる。 According to the first and fifth aspects of the invention, as a result of suppressing the occurrence of noise caused by the positional deviation between the pre-recording image and the post-recording image, the location of the additional recording performed on the halftone image Can be specified with high accuracy.
また、請求項2記載の発明によれば、処理時間を短縮することができる、という効果が得られる。 Further, according to the second aspect of the invention, an effect that the processing time can be shortened can be obtained.
また、請求項3記載の発明によれば、適切に画素情報を分散させることができる、という効果が得られる。 In addition, according to the third aspect of the present invention, there is an effect that the pixel information can be appropriately dispersed.
更に、請求項4記載の発明によれば、より適切に画素情報を分散させることができる、という効果が得られる。 Furthermore, according to the fourth aspect of the present invention, there is an effect that pixel information can be more appropriately dispersed.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1には、本発明が適用された画像処理システム10の構成例が示されている。同図に示されるように、本実施の形態に係る画像処理システム10は、パーソナル・コンピュータ等の画像処理装置20と、スキャナ等の画像読取装置30とを備えている。画像処理装置20と画像読取装置30は電気的に接続されており、画像処理装置20は画像読取装置30による読み取りによって得られた画像データを画像読取装置30から取得することができる。
FIG. 1 shows a configuration example of an image processing system 10 to which the present invention is applied. As shown in the figure, the image processing system 10 according to the present embodiment includes an
本実施の形態に係る画像処理システム10は、手書きによる追記や押印等による追記が行われる前の原稿(以下、「追記前原稿」という。)と、当該追記が行われた後の原稿(以下、「追記後原稿」という。)を画像読取装置30によって読み取り、これによって得られた2つの画像データに基づき、画像処理装置20により、追記が行われた箇所を特定し、特定した箇所から追記された画像部分を抽出する処理を行うものである。なお、以下では、追記前原稿の読み取りによって得られた画像データを「追記前画像データ」といい、追記後原稿の読み取りによって得られた画像データを「追記後画像データ」という。
The image processing system 10 according to the present embodiment includes a document before additional writing by handwriting or stamping (hereinafter referred to as “original document before adding”) and a document after the additional writing (hereinafter referred to as “original document”). , “Added document”) is read by the
本実施の形態に係る画像読取装置30は、読み取りによって得る画像データを、各画素値(画素情報)が複数ビット(本実施の形態では、8ビット)で構成されるものとして取得するものとされている。また、本実施の形態に係る画像処理システム10では、画像読取装置30として、読み取り対象とする原稿の画像をR(赤)、G(緑)、B(青)の3原色に分解して読み取るカラー・スキャナを適用している。
The
次に、図2を参照して、画像処理システム10において特に重要な役割を有する画像処理装置20の電気系の要部構成を説明する。
Next, with reference to FIG. 2, the main configuration of the electrical system of the
同図に示すように、本実施の形態に係る画像処理装置20は、画像処理装置20全体の動作を司るCPU(中央処理装置)20Aと、CPU20Aによる各種処理プログラムの実行時のワークエリア等として用いられるRAM(Random Access Memory)20Bと、各種制御プログラムや各種パラメータ等が予め記憶されたROM(Read Only Memory)20Cと、各種情報を記憶するために用いられる記憶手段であるハードディスク20Dと、各種情報を入力するために用いられるキーボード20Eと、各種情報を表示するために用いられるディスプレイ20Fと、外部装置との各種情報の授受を司る入出力インタフェース(I/F)20Gと、が備えられており、これら各部はシステムバスBUSにより電気的に相互に接続されている。ここで、入出力インタフェース20Gには、前述した画像読取装置30が接続されている。
As shown in the figure, the
従って、CPU20Aは、RAM20B、ROM20C、及びハードディスク20Dに対するアクセス、キーボード20Eを介した各種入力情報の取得、ディスプレイ20Fに対する各種情報の表示、及び入出力インタフェース20Gを介した画像読取装置30との各種情報の授受を、各々行うことができる。
Accordingly, the
図3は、本実施の形態に係る画像処理装置20の機能的な構成を示す機能ブロック図である。同図に示されるように、本実施の形態に係る画像処理装置20は、演算部22と、画素値相殺部24と、変換部26A及び特定部26Bを有する追記特定部26と、記憶部28とを備えている。
FIG. 3 is a functional block diagram showing a functional configuration of the
なお、上記演算部22は、画像読取装置30によって取得された追記前画像データと追記後画像データの対応する画素毎に画素値の減算演算を行って、これにより得られた画像データ(以下、「演算結果画像データ」という。)を出力する。本実施の形態に係る画像処理システム10では、処理対象とする画像データとしてR,G,Bにより構成されたカラー画像データを適用しているため、演算部22では、上記減算演算をR,G,Bの各々別に行う。
The calculation unit 22 performs a subtraction operation of the pixel value for each pixel corresponding to the pre-addition image data and the post-addition image data acquired by the
ここで、演算部22は、追記前画像データの画素値をAVとし、これに対応する位置の追記後画像データの画素値をBVとすると、次の(1)式により演算結果画像データを構成する画素値RVを得ることができる。 Here, if the pixel value of the pre-recording image data is AV and the pixel value of the post-recording image data at the corresponding position is BV, the calculation unit 22 configures the calculation result image data by the following equation (1). The pixel value RV to be obtained can be obtained.
RV=(255−BV)−(255−AV)
=AV−BV (1)
ところで、(1)式による減算結果は、追記がない部分が概ね0(零)で、追記部分が1〜255の範囲内の値となり、これによって得られた演算結果画像データを用いて画像を表示又は印刷する場合には、反転画像(ネガティブ画像)を示すものとなる。そこで、この場合には(1)式による減算結果を白色の背景に相当する画素値255から減算するようにすればよい。すなわち、次の(2)式を適用することで、表示又は印刷する場合の画像が反転画像とならないようにすることができる。
RV = (255−BV) − (255−AV)
= AV-BV (1)
By the way, the subtraction result by the equation (1) is that the portion without additional writing is generally 0 (zero), and the additional writing portion has a value within the range of 1 to 255. An image is obtained using the calculation result image data obtained thereby. In the case of display or printing, an inverted image (negative image) is shown. Therefore, in this case, the subtraction result obtained by the expression (1) may be subtracted from the
RV=255−{(255−BV)−(255−AV)}
=BV−AV+255 (2)
図4(A)には、追記前原稿における中間調画像が形成されている部分を画像読取装置30により読み取ることによって得られた追記前画像データにより示される追記前画像の一例が示されており、図4(B)には、当該中間調画像に重なるように追記がなされた後に当該中間調画像の部分を画像読取装置30により読み取ることによって得られた追記後画像データにより示される追記後画像の一例が示されている。
RV = 255-{(255-BV)-(255-AV)}
= BV-AV + 255 (2)
FIG. 4A shows an example of the image before the additional recording indicated by the image data before the additional recording obtained by reading the portion where the halftone image is formed in the document before the additional recording by the
一方、図5(A)は、図4(A)に示される追記前画像のA1−A2断面における画素値を、Rを例に示したものであり、縦軸は255−Red(Rの画素値)としている。また、図5(B)は、図4(B)に示される追記後画像のA1−A2断面における画素値を、Rを例に示したものであり、図5(A)と同様に縦軸は255−Red(Rの画素値)としている。更に、図5(C)は、図4(A)に示される追記前画像を示す追記前画像データと、図4(B)に示される追記後画像を示す追記後画像データとを入力として演算部22から出力された演算結果画像データにより示される画像におけるA1−A2断面の画素値を示したものである。 On the other hand, FIG. 5A shows pixel values in the A1-A2 cross section of the pre-append image shown in FIG. 4A, with R as an example, and the vertical axis is 255-Red (R pixels). Value). FIG. 5B shows the pixel value in the A1-A2 cross section of the post-recording image shown in FIG. 4B by taking R as an example, and the vertical axis is the same as in FIG. Is 255-Red (R pixel value). Further, FIG. 5C is calculated by inputting the pre-recording image data indicating the pre-recording image data shown in FIG. 4A and the post-recording image data indicating the post-recording image data shown in FIG. 7 shows pixel values of an A1-A2 cross section in an image indicated by calculation result image data output from the unit 22.
図5(C)に示されるように、追記が行われた箇所以外では、追記前画像と追記後画像とで画素値が殆ど変化しないため、演算結果が概ね0(零)となる一方、追記が行われた箇所では、演算結果として追記による画素値の変化分が現れることになる。従って、当該変化分の現れた部分が、追記が行われた箇所であるものとして特定することができる。 As shown in FIG. 5C, since the pixel value hardly changes between the pre-addition image and the post-addition image except at the location where the additional recording is performed, the calculation result is almost 0 (zero). In the place where the process is performed, a change in the pixel value due to the additional writing appears as a calculation result. Therefore, the portion where the change appears can be specified as the portion where the additional writing has been performed.
なお、以上の説明は、追記前画像データ及び追記後画像データがRGB画像データである場合についての説明であるが、これらの画像データがC(シアン),M(マゼンタ),Y(イエロー)により構成されるカラー画像データか、又はこれらC,M,Yと、K(ブラック)の4色により構成されるカラー画像データである場合には、次の(3)式により演算結果画像データを構成する画素値RVを得ることができる。 The above description is for the case where the pre-recording image data and post-recording image data are RGB image data. These image data are represented by C (cyan), M (magenta), and Y (yellow). If the color image data is composed or color image data composed of the four colors C, M, Y and K (black), the calculation result image data is composed of the following equation (3). The pixel value RV to be obtained can be obtained.
RV=BV−AV (3)
ところで、実際の追記前画像データ及び追記後画像データには、画像読取装置30に設けられているCCDセンサ、CMOSイメージ・センサ等の撮像素子や、当該撮像素子に画像を結像するための結像光学系等における傷や塵埃等に起因して、一例として図6(A)及び図6(B)に示されるように、ノイズa〜h等のノイズが含まれていることが多い。また、演算部22による減算演算の際には、追記前画像データと追記後画像データにおける対応する画素同士の位置が一致していることが理想的であるが、実際には、僅かにずれている場合が多い。これを回避するために、追記前画像データと追記後画像データの各画像データ間で位置合わせを行うことが一般的であるが、当該位置合わせを行ったとしても、局所的な画像歪については補正することが困難であるため、完全に一致させることは極めて難しい。
RV = BV-AV (3)
By the way, the actual pre-recording image data and post-recording image data include image sensors such as a CCD sensor and a CMOS image sensor provided in the
従って、このような状況下で、演算部22による減算演算を行った場合、一例として図6(C)に示されるように、ノイズが残留してしまうことになる。ここで、上記減算演算により負の値となったノイズ(図6(C)に示される例では、ノイズa,f,c,h)については値を0とすることにより当該ノイズを除去することができるが、正の値となったノイズ(図6(C)に示される例では、ノイズe,b,g,d)については残留したままとなる。 Therefore, when the subtraction operation is performed by the arithmetic unit 22 under such a situation, noise remains as shown in FIG. 6C as an example. Here, the noise that has become a negative value by the subtraction operation (in the example shown in FIG. 6C, noises a, f, c, h) is set to 0 to remove the noise. However, the noise having a positive value (in the example shown in FIG. 6C, noise e, b, g, d) remains.
そこで、上記画素値相殺部24は、演算結果画像データにおける、画素値を構成するビット数により零以上の整数として表現できる数値範囲(ここでは、0以上255以下の範囲)外となった画素値を、当該画素値に対応する画素からの距離が所定距離以内である画素の画素値と相殺する。 Therefore, the pixel value canceling unit 24 is out of a numerical value range (here, a range of 0 or more and 255 or less) that can be expressed as an integer of zero or more by the number of bits constituting the pixel value in the calculation result image data. Is offset with the pixel value of a pixel whose distance from the pixel corresponding to the pixel value is within a predetermined distance.
すなわち、上述したように、上記ノイズが残留してしまう原因は、追記前画像データと追記後画像データの対応する画素同士の位置が僅かにずれてしまうことにある。このため、画素値が上記数値範囲外となった画素の近傍には、当該画素値と絶対値が略同一で逆符号とされた画素値である画素が存在する可能性が極めて高いことになる。 That is, as described above, the reason why the noise remains is that the positions of the corresponding pixels in the pre-recording image data and the post-recording image data are slightly shifted. For this reason, there is an extremely high possibility that there is a pixel having a pixel value whose absolute value is substantially the same as that of the pixel value and has the opposite sign in the vicinity of the pixel whose pixel value is outside the above numerical range. .
この点を利用して、画素値相殺部24では、演算結果画像データにおける上記数値範囲外となった画素値を、当該画素値に対応する画素からの距離が所定距離以内である画素の画素値と相殺するものとされている。なお、上記所定距離を徒に大きくすることは、ノイズでない画素値を変化させてしまうおそれが高くなるばかりか、処理速度の低下にもつながることから、上記所定距離を適切な範囲内に制限することが好ましく、本実施の形態に係る画素値相殺部24では、当該所定距離として、演算部22によって演算結果画像データを導出する際の追記前画像データと追記後画像データとの対応する画素間の想定される最大ずれ量に相当する距離を適用している。なお、この形態に限らず、当該最大ずれ量に所定の量をマージンとして加算することにより得られた量に相当する距離等を適用する形態とすることができることは言うまでもない。 By using this point, the pixel value canceling unit 24 uses a pixel value that is out of the numerical value range in the calculation result image data as a pixel value of a pixel whose distance from the pixel corresponding to the pixel value is within a predetermined distance. It is supposed to be offset. Increasing the predetermined distance naturally increases the possibility of changing a pixel value that is not noise, and also reduces the processing speed. Therefore, the predetermined distance is limited to an appropriate range. Preferably, in the pixel value cancellation unit 24 according to the present embodiment, as the predetermined distance, between the corresponding pixels of the pre-addition image data and the post-addition image data when the calculation result image data is derived by the calculation unit 22 The distance corresponding to the assumed maximum deviation amount is applied. Needless to say, the present invention is not limited to this configuration, and a distance or the like corresponding to an amount obtained by adding a predetermined amount as a margin to the maximum deviation amount can be applied.
ところで、本発明の発明者らにより、R,G,Bにより構成されるカラー画像データ、又はC,M,Yにより構成されるカラー画像データ、又はC,M,Y,Kにより構成されるカラー画像データを入力データとして演算部22から出力された演算結果画像データをHLS色空間の画像データに変換した後、同一色による追記箇所の中間調画像に重なっている部分と中間調画像に重なっていない部分とを比較したところ、輝度L及び彩度Sについては大きな差があるものの、色相Hについては差が著しく小さいことが判明した。 By the way, the inventors of the present invention, color image data composed of R, G, B, color image data composed of C, M, Y, or color composed of C, M, Y, K. After the calculation result image data output from the calculation unit 22 using the image data as input data is converted into image data in the HLS color space, the portion overlapping the halftone image of the additional recording portion of the same color and the halftone image are overlapped. As a result of comparison with the non-existing portion, it was found that although there was a large difference in luminance L and saturation S, the difference in hue H was extremely small.
そこで、上記変換部26Aは、画素値相殺部24から出力された演算結果画像データを、色相Hを有する予め定められた色空間(本実施の形態では、HLS色空間)の画像データである変換画像データに変換する。 Therefore, the conversion unit 26A converts the calculation result image data output from the pixel value canceling unit 24 into image data of a predetermined color space (HLS color space in the present embodiment) having a hue H. Convert to image data.
そして、上記特定部26Bは、変換部26Aによって得られた変換画像データに基づいて追記が行われた箇所を特定し、当該追記が行われた箇所を示す情報を記憶部28に記憶する。なお、本実施の形態に係る画像処理システム10では、追記の色が含まれる、色相H、輝度L、及び彩度Sの少なくとも1つの情報の範囲を示す範囲情報を受け付け、特定部26により、上記変換画像データにおける、当該範囲情報により示される範囲に含まれる画素の位置を追記が行われた箇所として特定する。 Then, the specifying unit 26B specifies the location where the additional recording has been performed based on the converted image data obtained by the conversion unit 26A, and stores the information indicating the location where the additional recording has been performed in the storage unit 28. In the image processing system 10 according to the present embodiment, range information indicating a range of at least one of the hue H, the luminance L, and the saturation S including the color of additional writing is received, and the specifying unit 26 In the converted image data, the position of the pixel included in the range indicated by the range information is specified as the location where the additional writing has been performed.
なお、以上のように構成された画像処理装置20の各構成要素(演算部22、画素値相殺部24、変換部26A、特定部26B)による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。この場合、当該プログラムに本発明の画像処理プログラムが含まれることになる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。
Note that the processing by each component (the calculation unit 22, the pixel value canceling unit 24, the conversion unit 26A, and the specifying unit 26B) of the
以下では、本実施の形態に係る画像処理システム10が、上記プログラム(以下、「画像処理プログラム」という。)を実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該画像処理プログラムを画像処理装置20に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。
Hereinafter, a description will be given of a case where the image processing system 10 according to the present embodiment is configured to realize processing by each of the above-described components by executing the above-described program (hereinafter referred to as “image processing program”). To do. In this case, the image processing program is installed in the
次に、図7を参照して、本実施の形態に係る画像処理システム10の作用を説明する。なお、図7は、画像処理装置20のCPU20Aにより実行される画像処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、本発明に特に関係する演算部22と画素値相殺部24による処理のみについて説明する。更に、ここでは、錯綜を回避するために、処理対象とする追記前画像データ及び追記後画像データが同一サイズの原稿画像を示すものとして画像読取装置30から入力され、ハードディスク20Dの所定領域に予め記憶されている場合について説明する。
Next, the operation of the image processing system 10 according to the present embodiment will be described with reference to FIG. FIG. 7 is a flowchart showing a flow of processing of an image processing program executed by the
同図のステップ100では、処理対象とする追記前画像データ及び追記後画像データをハードディスク20Dから読み出すことにより取得し、次のステップ102では、読み出した各画像データにより示される画像の幅(ここでは、当該画像の水平方向の画素数)を変数Wに代入すると共に、当該画像の高さ(ここでは、当該画像の垂直方向の画素数)を変数Tに代入する。
In
次のステップ104では、変数iに0を代入し、次のステップ106では、変数kに0を代入し、次のステップ108にて、追記前画像データ及び追記後画像データにおける、高さ方向位置が変数iの値で示される位置で、かつ幅方向位置が変数kの値で示される位置の画素値を用いてR,G,Bの各画素値毎に(2)式による減算演算を行う。このように、本実施の形態に係る画像処理プログラムでは、本ステップ108において(2)式による減算演算を行うものとしているが、これに限らず、例えば(1)式による減算演算を行う形態等としてもよいことは言うまでもない。なお、追記前画像データにより示される追記前画像と、追記後画像データにより示される追記後画像とでは、画像読取装置30において読み取る際の追記前原稿と追記後原稿の傾斜角の違い等に起因して、対応する画素の位置がずれている場合も考えられるので、上記減算演算の実行に先立ち、従来既知の技術を用いて、各画像データの位置合わせを行うことが好ましく、本実施の形態に係る画像処理プログラムでは、この形態を適用している。
In the
次のステップ110では、変数kの値を1だけインクリメントし、次のステップ112にて、変数kの値が変数Wの値(画像の幅を示す値)未満であるか否かを判定して、肯定判定となった場合は上記ステップ108に戻り、当該ステップ108以降の処理を再び実行する一方、否定判定となった場合にはステップ114に移行する。
In the
ステップ114では、変数iの値を1だけインクリメントし、次のステップ116にて、変数iの値が変数Tの値(画像の高さを示す値)未満であるか否かを判定して、肯定判定となった場合は上記ステップ106に戻り、当該ステップ106以降の処理を再び実行する一方、否定判定となった場合にはステップ118に移行する。以上の処理により、演算結果画像データが得られることになる。上記ステップ102〜ステップ116の処理が演算部22の処理に相当する。
In
ステップ118では、変数iに0を代入し、次のステップ120では、変数kに0を代入し、次のステップ122にて、演算結果画像データにより示される画像における高さ方向位置が変数iの値で示される位置で、かつ幅方向位置が変数kの値で示される位置の画素値(R,G,B毎の画素値。)が、画素値を構成するビット数により零以上の整数として表現できる数値範囲とされた所定の範囲内(本実施の形態では、0以上255以下の範囲内)にあるか否かを判定して、否定判定となった場合はステップ124に移行し、後述する画素値相殺処理ルーチン・プログラムを実行した後、ステップ126に移行する。なお、上記ステップ122において肯定判定となった場合には、上記ステップ124による画素値相殺処理ルーチン・プログラムを実行することなく、ステップ126に移行する。
In
ステップ126では、変数kの値を1だけインクリメントし、次のステップ128にて、変数kの値が変数Wの値未満であるか否かを判定して、肯定判定となった場合は上記ステップ122に戻り、当該ステップ122以降の処理を再び実行する一方、否定判定となった場合にはステップ130に移行する。
In
ステップ130では、変数iの値を1だけインクリメントし、次のステップ132にて、変数iの値が変数Tの値未満であるか否かを判定して、肯定判定となった場合は上記ステップ120に戻り、当該ステップ120以降の処理を再び実行する一方、否定判定となった場合には本画像処理プログラムを終了する。
In
次に、図8を参照して、本実施の形態に係る画素値相殺処理ルーチン・プログラムについて説明する。なお、ここでは、演算結果画像データにより示される画像における高さ方向位置が変数iの値で示される位置で、かつ幅方向位置が変数kの値で示される位置の画素を「着目画素」と称する。 Next, the pixel value cancellation processing routine program according to the present embodiment will be described with reference to FIG. Here, the pixel at the position in which the height direction position in the image indicated by the calculation result image data is indicated by the value of the variable i and the position in the width direction is indicated by the value of the variable k is referred to as a “target pixel”. Called.
同図のステップ200では、着目画素の画素値の上記所定の範囲(本実施の形態では、0以上255以下の範囲)からの外れ量Xを算出する。なお、本実施の形態に係る画像処理プログラムでは、(2)式によって上記減算演算を行っているので、追記がない部分が概ね255で、追記部分が1〜255の範囲内の値となる。従って、本ステップ200では、次の(4)式によって外れ量Xを算出する。なお、ここで、TVは着目画素の画素値である。
In
X=TV−255 (4)
次のステップ202では、着目画素の画素値TVを上記所定の範囲にクランプ(本実施の形態では、画素値TVを255とする。)し、次のステップ204にて、外れ量Xを着目画素の最近傍の画素(以下、「加算対象画素」という。)の画素値に加算する。なお、ここで、着目画素の最近傍の画素が複数存在する場合には、それらの何れの画素を加算対象画素としてもよい。
X = TV-255 (4)
In the
次のステップ206では、加算対象画素の画素値が上記所定の範囲内にあるか否かを判定し、肯定判定となった場合は本画素値相殺処理ルーチン・プログラムを終了する一方、否定判定となった場合にはステップ208に移行して、加算対象画素の画素値KVの上記所定の範囲からの外れ量Xを、次の(5)式により算出する。
In the
X=KV−255 (5)
次のステップ210では、加算対象画素の画素値KVを上記所定の範囲にクランプ(本実施の形態では、画素値KVを255とする。)し、次のステップ212にて、着目画素と、着目画素からの距離が加算対象画素の次に近い画素との間の距離が上記所定距離(ここでは、演算結果画像データを導出する際の追記前画像データと追記後画像データとの対応する画素間の想定される最大ずれ量に相当する距離)未満であるか否かを判定し、肯定判定となった場合は上記ステップ204に戻り、再び当該ステップ204以降の処理を実行する一方、否定判定となった時点で本画素値相殺処理ルーチン・プログラムを終了する。なお、上記ステップ204〜ステップ212の処理を繰り返し実行する際には、それまでに加算対象画素としなかった画素を加算対象画素として適用するようにする。また、上記ステップ212の実行時において、着目画素からの距離が加算対象画素と同一の距離にある画素で、かつ加算対象画素とされていない画素が存在する場合には、当該画素を上記次に近い画素として適用する。ここで、着目画素からの距離が加算対象画素と同一の距離にある画素で、かつ加算対象画素とされていない画素が複数存在する場合には、それらの何れの画素を上記次に近い画素として適用してもよい。
X = KV-255 (5)
In the
上記画素値相殺処理ルーチン・プログラムのステップ200の処理が本発明の算出手段に、ステップ204〜ステップ212の処理が本発明の分散手段に、各々相当する。
The processing of
次に、以上の画素値相殺処理ルーチン・プログラムによる処理内容を、図9に示される具体的な数値例を参照しつつ説明する。 Next, the processing contents by the above pixel value cancellation processing routine program will be described with reference to specific numerical examples shown in FIG.
演算結果画像データにおける着目画素と、その周辺に接する画素の画素値が図9(A)に示されるものである場合、まず、図9(A)に示すように、着目画素の画素値「270」から外れ量Xとして15(=270−255)が算出される。 When the pixel value of the pixel of interest in the calculation result image data and the pixel value adjacent to the periphery thereof are as shown in FIG. 9A, first, as shown in FIG. 9A, the pixel value “270” of the pixel of interest. ”Is calculated as 15 (= 270-255).
次に、この外れ量X「15」が着目画素の最近傍の画素(ここでは、着目画素の上に接する画素)の画素値「254」に加算されることにより、図9(B)に示すように、当該画素値が暫定的に「269」とされるが、この値は上記所定の範囲から外れているため、当該画素値から外れ量Xとして14(=269−255)が算出されると共に、当該画素値が255にクランプされる。 Next, the deviation amount X “15” is added to the pixel value “254” of the pixel nearest to the pixel of interest (here, the pixel in contact with the pixel of interest), and the result is shown in FIG. 9B. Thus, the pixel value is temporarily set to “269”, but since this value is out of the predetermined range, 14 (= 269-255) is calculated as the outlier X from the pixel value. At the same time, the pixel value is clamped to 255.
次に、算出された外れ量X「14」が着目画素の次に最近傍となる画素(ここでは、着目画素の下に接する画素)の画素値「255」に加算されることにより、図9(C)に示すように、当該画素値が暫定的に「269」とされるが、この値は上記所定の範囲から外れているため、当該画素値から外れ量Xとして14(=269−255)が算出されると共に、当該画素値が255にクランプされる。 Next, the calculated deviation amount X “14” is added to the pixel value “255” of the pixel closest to the pixel of interest (here, the pixel in contact with the pixel of interest below), thereby FIG. As shown in (C), the pixel value is temporarily set to “269”. However, since this value is out of the predetermined range, 14 (= 269-255) ) Is calculated, and the pixel value is clamped to 255.
以上の処理が着目画素からの距離が上記所定距離(ここでは、演算部22によって演算結果画像データを導出する際の追記前画像データと追記後画像データとの対応する画素間の想定される最大ずれ量に相当する距離)より近い画素までを上限として、外れ量Xが加算された後の画素値が上記所定の範囲内に収まるまで(外れ量Xが0(零)になるまで)繰り返し実行される。 In the above processing, the distance from the pixel of interest is the predetermined distance (here, the maximum assumed between the corresponding pixels of the pre-addition image data and the post-addition image data when the calculation unit 22 derives the calculation result image data). Execute repeatedly until the pixel value after adding the deviation amount X is within the predetermined range (until the deviation amount X becomes 0 (zero)), with the upper limit being a pixel closer to the distance (distance corresponding to the deviation amount). Is done.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above-described embodiment without departing from the gist of the invention, and embodiments to which such modifications or improvements are added are also included in the technical scope of the present invention.
また、上記の実施の形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合せにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。 The above embodiments do not limit the invention according to the claims (claims), and all the combinations of features described in the embodiments are essential for the solution of the invention. Is not limited. The above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, as long as an effect is obtained, a configuration from which these some constituent requirements are deleted can be extracted as an invention.
例えば、上記実施の形態では、画像処理をソフトウェア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該画像処理をハードウェア構成により実現する形態とすることもできる。この場合の形態例としては、例えば、図3に示した画像処理装置20の各構成要素(演算部22、画素値相殺部24、変換部26A、特定部26B)と同一の処理を実行する機能デバイスを作成して用いる形態が例示できる。この場合は、上記実施の形態に比較して、画像処理の高速化が期待できる。
For example, in the above embodiment, the case where the image processing is realized by the software configuration has been described. However, the present invention is not limited to this, and for example, the image processing is realized by the hardware configuration. You can also. As an example of the form in this case, for example, a function of executing the same processing as each component (the arithmetic unit 22, the pixel value canceling unit 24, the converting unit 26A, the specifying unit 26B) of the
また、上記実施の形態では、色相を有する色空間としてHLS色空間を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、HSV色空間等、色相を有する他の色空間を適用する形態とすることもできる。この場合も、上記実施の形態と同様の効果を奏することができる。 In the above embodiment, the case where the HLS color space is applied as the color space having the hue has been described. However, the present invention is not limited to this, and for example, other colors having the hue such as the HSV color space. A color space may be applied. In this case as well, the same effects as in the above embodiment can be obtained.
その他、上記実施の形態で説明した画像処理システム10や画像処理装置20の構成(図1〜図3参照。)は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。
In addition, the configurations (see FIGS. 1 to 3) of the image processing system 10 and the
また、上記実施の形態で説明した各種演算式((1)式〜(5)式参照。)も一例であり、本発明の主旨を逸脱しない範囲内において変更を加えることができることは言うまでもない。 Further, various arithmetic expressions described in the above embodiment (see Expressions (1) to (5)) are also examples, and it goes without saying that changes can be made without departing from the gist of the present invention.
更に、上記実施の形態で説明した画像処理プログラム及び画素値相殺処理ルーチン・プログラムの処理の流れ(図7,図8参照。)も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。 Furthermore, the processing flow (see FIGS. 7 and 8) of the image processing program and the pixel value cancellation processing routine program described in the above embodiment is also an example, and is unnecessary within the scope of the present invention. It goes without saying that steps can be deleted, new steps can be added, and the processing order can be changed.
10 画像処理システム
20 画像処理装置
20A CPU
20D ハードディスク
20E キーボード
22 演算部(導出手段)
24 画素値相殺部(相殺手段)
26 追記特定部(特定手段)
28 記憶部
30 画像読取装置(取得手段)
DESCRIPTION OF SYMBOLS 10
20D
24 pixel value canceling unit (offset means)
26 Addendum identification part (identification means)
28
Claims (5)
前記取得手段によって取得された前記第1画像情報と前記第2画像情報との対応する画素毎の画素情報の減算を行うことにより第3画像情報を導出する導出手段と、
前記導出手段によって導出された前記第3画像情報における前記予め定められたビット数により零以上の整数として表現できる数値範囲外となった画素情報を、当該画素情報に対応する画素からの距離が所定距離以内である画素の画素情報と相殺する相殺手段と、
前記相殺手段によって相殺された前記第3画像情報に基づいて前記追記が行われた箇所を特定する特定手段と、
を備えた画像処理装置。 A plurality of first image information indicating an image of a document before additional recording and second image information indicating an image of the original after additional recording are set to a plurality of bits each having a predetermined number of pixel information. An acquisition means for acquiring the data as comprising bits;
Deriving means for deriving third image information by subtracting pixel information for each corresponding pixel of the first image information and the second image information acquired by the acquiring means;
Pixel information that is out of a numerical range that can be expressed as an integer greater than or equal to zero by the predetermined number of bits in the third image information derived by the deriving means has a predetermined distance from the pixel corresponding to the pixel information. Canceling means for offsetting the pixel information of the pixels within the distance;
Specifying means for specifying a location where the additional recording is performed based on the third image information canceled by the canceling means;
An image processing apparatus.
請求項1記載の画像処理装置。 The predetermined distance is a distance corresponding to an assumed maximum shift amount between corresponding pixels of the first image information and the second image information when the third image information is derived by the deriving unit. Item 6. The image processing apparatus according to Item 1.
前記導出手段によって導出された前記第3画像情報における前記数値範囲外となった画素情報の当該数値範囲から外れた量を算出する算出手段と、
前記算出手段によって算出された量を、前記第3画像情報における当該量の算出対象とされた画素情報に対応する画素からの距離が前記所定距離以内である画素の画素情報に、前記数値範囲に収まる範囲内で分散させることにより前記相殺を行う分散手段と、
を有する請求項1又は請求項2記載の画像処理装置。 The offset means is
Calculating means for calculating an amount of pixel information out of the numerical range of the third image information derived by the deriving means out of the numerical range;
The amount calculated by the calculating means is converted into the numerical value range of the pixel information of a pixel whose distance from the pixel corresponding to the pixel information for which the amount is calculated in the third image information is within the predetermined distance. Dispersion means for performing the cancellation by dispersing within a range to be accommodated;
The image processing apparatus according to claim 1, further comprising:
請求項3記載の画像処理装置。 The distribution unit converts the amount calculated by the calculation unit into pixel information of a pixel whose distance from a pixel corresponding to the pixel information for which the amount is calculated in the third image information is within the predetermined distance. The image processing apparatus according to claim 3, wherein the distances are dispersed within a range that falls within the numerical range in ascending order of the distance.
前記取得ステップによって取得された前記第1画像情報と前記第2画像情報との対応する画素毎の画素情報の減算を行うことにより第3画像情報を導出する導出ステップと、
前記導出ステップによって導出された前記第3画像情報における前記予め定められたビット数により零以上の整数として表現できる数値範囲外となった画素情報を、当該画素情報に対応する画素からの距離が所定距離以内である画素の画素情報と相殺する相殺ステップと、
をコンピュータに実行させる画像処理プログラム。 A plurality of first image information indicating an image of a document before additional recording and second image information indicating an image of the original after additional recording are set to a plurality of bits with each pixel information determined in advance. An acquisition step for acquiring as consisting of bits;
A derivation step of deriving third image information by subtracting pixel information for each corresponding pixel of the first image information and the second image information acquired by the acquisition step;
Pixel information that is out of a numerical range that can be expressed as an integer greater than or equal to zero by the predetermined number of bits in the third image information derived by the deriving step has a predetermined distance from the pixel corresponding to the pixel information. An offset step that offsets pixel information for pixels that are within a distance;
An image processing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006277091A JP4706612B2 (en) | 2006-10-11 | 2006-10-11 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006277091A JP4706612B2 (en) | 2006-10-11 | 2006-10-11 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008098876A JP2008098876A (en) | 2008-04-24 |
JP4706612B2 true JP4706612B2 (en) | 2011-06-22 |
Family
ID=39381278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006277091A Expired - Fee Related JP4706612B2 (en) | 2006-10-11 | 2006-10-11 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4706612B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5060398B2 (en) * | 2008-06-03 | 2012-10-31 | キヤノン株式会社 | Information processing apparatus, control method therefor, and workflow processing system |
KR101405092B1 (en) * | 2012-09-21 | 2014-06-10 | (주)에이씨티 | Method for preparing zirconium phosphate particles coated by antibiotic, and zirconium phosphate particles prepared thereby |
JP7181445B2 (en) * | 2017-11-30 | 2022-12-01 | キヤノンマーケティングジャパン株式会社 | Information processing device, its control method and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283231A (en) * | 2000-03-29 | 2001-10-12 | Toshiba Corp | Document image filing device and document image updating method |
JP2002352217A (en) * | 2001-03-19 | 2002-12-06 | Ricoh Co Ltd | Document managing device, document managing method and storage medium in which program to make computer perform processing on the document managing device is stored |
-
2006
- 2006-10-11 JP JP2006277091A patent/JP4706612B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283231A (en) * | 2000-03-29 | 2001-10-12 | Toshiba Corp | Document image filing device and document image updating method |
JP2002352217A (en) * | 2001-03-19 | 2002-12-06 | Ricoh Co Ltd | Document managing device, document managing method and storage medium in which program to make computer perform processing on the document managing device is stored |
Also Published As
Publication number | Publication date |
---|---|
JP2008098876A (en) | 2008-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4389976B2 (en) | Image processing apparatus and image processing program | |
JP4771538B2 (en) | Color conversion table generation method, color conversion table, and color conversion table generation apparatus | |
US8526719B2 (en) | Method of converting color image into grayscale image and recording medium storing program for performing the same | |
EP2819392A1 (en) | Image processing apparatus, image forming system, and computer program product | |
KR101182293B1 (en) | Image converting method and apparatus thereof, and image forming apparatus | |
US9888154B2 (en) | Information processing apparatus, method for processing information, and computer program | |
US7362470B2 (en) | Color image processing apparatus | |
JP6210319B2 (en) | Printing method and printing system | |
KR20170074909A (en) | METHOD AND DEVICE FOR DISPLAYING IMAGE BASED ON METADATA, AND RECORDING MEDIUM THEREFOR | |
KR101116682B1 (en) | Image forming apparatus and control method thereof | |
JP2007241356A (en) | Image processor and image processing program | |
JP4706612B2 (en) | Image processing apparatus and image processing program | |
US8040563B2 (en) | Printing method, printing apparatus, corresponding table creating method and programs | |
US9998631B2 (en) | Information processing apparatus, method for processing information, and computer program | |
JP4944677B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US20140168259A1 (en) | Image processing device, image processing method | |
JP4088300B2 (en) | Image area detection apparatus, image area detection method, and image area detection program | |
JP4910635B2 (en) | Image processing apparatus and image processing program | |
JP4923914B2 (en) | Image processing apparatus and image processing program | |
JP2010093364A (en) | Image processor and image processing method | |
US10924634B2 (en) | Image processing apparatus and image processing method | |
JP6535222B2 (en) | Image processing apparatus and image forming system | |
JP2012181618A (en) | Image processing program and image processing device | |
US20160019447A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2018085578A (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110228 |
|
LAPS | Cancellation because of no payment of annual fees |