JP4487003B2 - Image data output processing apparatus, image data output processing method, program, and recording medium - Google Patents
Image data output processing apparatus, image data output processing method, program, and recording medium Download PDFInfo
- Publication number
- JP4487003B2 JP4487003B2 JP2008218841A JP2008218841A JP4487003B2 JP 4487003 B2 JP4487003 B2 JP 4487003B2 JP 2008218841 A JP2008218841 A JP 2008218841A JP 2008218841 A JP2008218841 A JP 2008218841A JP 4487003 B2 JP4487003 B2 JP 4487003B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- document
- output processing
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 412
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 155
- 230000008569 process Effects 0.000 claims description 125
- 230000005540 biological transmission Effects 0.000 claims description 24
- 230000005484 gravity Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 238000004886 process control Methods 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 description 40
- 238000004364 calculation method Methods 0.000 description 39
- 238000012937 correction Methods 0.000 description 24
- 238000009826 distribution Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 238000000926 separation method Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 10
- 238000003705 background correction Methods 0.000 description 9
- 230000001105 regulatory effect Effects 0.000 description 8
- 238000004042 decolorization Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241001125929 Trisopterus luscus Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Cleaning In Electrography (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
Description
本発明は、入力画像データに対する複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置に関し、より詳細には、入力画像データの画像と事前に登録されている登録原稿の画像とを比較して類似性を判定し、その判定結果に基づいて、入力画像データの出力処理を制御する機能を有する画像データ処理装置に関するものである。 The present invention relates to an image data output processing device that performs output processing such as copy processing, transmission processing, editing processing, or filing processing on input image data. More specifically, the present invention relates to an image of input image data registered in advance. The present invention relates to an image data processing apparatus having a function of determining similarity by comparing an image of a registered document and controlling output processing of input image data based on the determination result.
従来から、スキャナ等で原稿を読み取って得られた画像データと、事前に登録されている登録原稿の画像データとを比較し、その類似性を判定するといった画像照合技術がある。 2. Description of the Related Art Conventionally, there has been an image matching technique in which image data obtained by reading a document with a scanner or the like is compared with image data of a registered document registered in advance and the similarity is determined.
類似性の判定には、例えば、OCR(Optical Character Reader)などで画像からキーワードを抽出してキーワードによるマッチングを行う方法や、対象画像を罫線のある帳票画像に限定し、罫線の特徴によるマッチングを行う方法(特許文献1参照)、或いは、入力画像と登録原稿の色味分布を基に判定する方法(特許文献2参照)などが知られている。 For similarity determination, for example, a keyword is extracted from an image using an OCR (Optical Character Reader) or the like and matching is performed using the keyword, or the target image is limited to a form image with ruled lines, and matching based on the characteristics of the ruled lines is performed. There are known a method of performing (see Patent Document 1), a method of determining based on a color distribution of an input image and a registered document (see Patent Document 2), and the like.
また、特許文献3には、入力文書の特徴からデスクリプタを生成し、このデスクリプタと、デスクリプタを記録しデスクリプタが生成された特徴を含む文書のリストを指し示すデスクリプタデータベースとを用いて、入力文書と文書データベース中の文書とのマッチングを行う技術が開示されている。デスクリプタは、文書のデジタル化により生じる歪みや、入力文書と文書データベース中の整合する文書との間の差異に対して不変となるように選ばれる。
Further, in
この技術では、デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票を累積し、最高得票数の1文書または得票数がある閾値を超えた文書を整合文書とするようになっている。 In this technique, when the descriptor database is scanned, votes for each document in the document database are accumulated, and a document having the highest number of votes or a document whose number of votes exceeds a certain threshold value is regarded as a consistent document. Yes.
さらに、特許文献4には、デジタル画像から複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせて特徴量を計算し、計算した特徴量を有するデータベース中の文書・画像に投票することにより、上記デジタル画像に対応する文書・画像を検索する技術が開示されている。
Further, in
そして、従来、複写機や、ファクシミリ装置、スキャナ装置、或いは複合機などの、入力画像データに対して複写処理や、送信処理、編集処理、或いはファイリング処理等の出力処理を行う画像データ出力処理装置においては、このような原稿照合技術を利用して、入力画像データが登録原稿の画像データに類似する場合、その出力処理を規制するといったことが行われている。 Conventionally, an image data output processing device that performs output processing such as copying processing, transmission processing, editing processing, or filing processing on input image data, such as a copying machine, a facsimile machine, a scanner device, or a multifunction peripheral. In such a technique, when the input image data is similar to the image data of the registered original, the output process is regulated using such an original collation technique.
例えば、カラー画像形成装置においては、紙幣や有価証券の偽造に対処するため、入力画像データから検出したパターンに基づいて入力画像データが紙幣や有価証券等(登録原稿)の画像データであるかどうかを判断し、登録原稿の画像データである場合には、出力された画像から複写を行った画像形成装置を特定できるように出力される画像に特定のパターンを付加したり、複写画像を塗りつぶしたり、複写動作を禁止したりする技術が知られている。 For example, in a color image forming apparatus, in order to cope with counterfeiting of banknotes and securities, whether or not the input image data is image data of banknotes or securities (registered manuscript) based on a pattern detected from the input image data If it is image data of a registered document, a specific pattern is added to the output image so that the image forming apparatus that performed the copy can be specified from the output image, or the copy image is filled A technique for prohibiting a copying operation is known.
また、特許文献5には、比較元画像に含まれるページ画像の数より、比較元画像に含まれるページ画像を含む処理対象領域の色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量などの画像特徴量や文字コードよりなる文字特徴量を抽出し、抽出された特徴量を用いて、比較先画像を検索することにより、Nup印刷された紙文書から、オリジナルの電子データを抽出することが開示されている。
しかしながら、従来の画像データ出力処理装置においては、入力画像データが割付原稿であった場合に、割付原稿の中に出力処理の規制された原稿の画像が含まれていたとしても、それを判別することができず、規制すべき出力処理を許可してしまうといった問題がある。 However, in the conventional image data output processing device, when the input image data is an allocated document, even if the allocated document includes an image of a document whose output processing is restricted, it is determined. There is a problem that the output processing to be regulated is permitted.
割付原稿とは、1枚の原稿に、複数の原稿画像が割り付けられた原稿のことであり、例えば、1枚の原稿にN枚分の原稿画像が集約されてなる、Nin1(N=2,4,6,8,9等)原稿などである。 An allocated document is a document in which a plurality of document images are allocated to one document. For example, Nin1 (N = 2, N = 2, which is a collection of N document images on one document. 4, 6, 8, 9 etc.).
従来の画像データ出力処理装置においては、割付原稿の画像も1枚の原稿画像として扱って、登録原稿との類似性を判定するようになっている。例えば、入力画像データが、図26(a)に示すような原稿Aと原稿Bとが割り付けられている2in1原稿のものであっても、1つの原稿画像として画像の特徴量が算出され、登録原稿との類似性が判定される。 In a conventional image data output processing apparatus, an image of an assigned document is also handled as one document image, and similarity with a registered document is determined. For example, even if the input image data is for a 2-in-1 document in which document A and document B are allocated as shown in FIG. 26A, the image feature amount is calculated and registered as one document image. Similarity with the original is determined.
そのため、原稿Aおよび原稿Bの両方ともが登録原稿であったとしても、図26(b)の例に示すように、登録されている原稿Aのもつ特徴量と多く一致し、得票数が閾値を超えた場合は、当該2in1原稿は原稿Aであると判定されてしまい、原稿Bが有する特徴量については類似性は判定されない。 For this reason, even if both the original A and the original B are registered originals, as shown in the example of FIG. 26B, the feature quantities of the registered original A greatly match and the number of votes obtained is a threshold value. In the case where the value exceeds, the 2in1 document is determined to be the document A, and the similarity of the feature amount of the document B is not determined.
その結果、原稿Aの規制が、解像度を落として出力する等の甘いものであった場合には、たとえ原稿Bが出力処理禁止の原稿であったとしても一緒に処理されてしまい、原稿Bの情報流出は避けられない。 As a result, if the restriction on the document A is unsatisfactory such as output at a reduced resolution, the document B is processed together even if the document B is a document for which output processing is prohibited. Information leakage is inevitable.
さらに、上記の例では、2in1原稿のうち、一方の原稿Aの得票数が閾値より大きい場合を示した。しかしながら、投票の結果、2in1原稿の原稿A、原稿Bの何れもが閾値以下であり、登録原稿ではないと判定されることも起こりえる。その場合には、何の規制を受けることもなく、原稿A,Bはそのまま出力処理されてしまう。 Further, in the above example, the case where the number of votes of one original A out of 2 in 1 originals is larger than the threshold value is shown. However, as a result of voting, it is possible that both the 2-in-1 original document A and the original document B are equal to or less than the threshold value and are determined not to be registered originals. In that case, the documents A and B are output as they are without any restriction.
また、逆に図27に示すように、原稿A、原稿Bの得票数が、何れも閾値より大きいといった場合もあるが、このような場合、原稿A、原稿Bに類似すると判定されれば良いが、原稿A、原稿Bよりなる2in1原稿に類似していると判定されることはないため、最も得票数の高い、原稿Aに類似していると判定されると、原稿Bに対しては何らその出力を規制することができない。つまり、上記と同様に、入力画像データが、原稿Aと原稿Bとが割り付けられている2in1原稿のものである場合、出力が許可されている原稿Aに類似していると判定されると、たとえ原稿Bが出力処理禁止の原稿であったとしても一緒に処理されてしまい、原稿Bの情報流出は避けられない。 On the other hand, as shown in FIG. 27, the number of votes of document A and document B may both be larger than the threshold value. In such a case, it may be determined that the document A and document B are similar to each other. Is not determined to be similar to a 2-in-1 document consisting of document A and document B. Therefore, if it is determined that the document is similar to document A with the highest number of votes, The output cannot be regulated at all. That is, as described above, when the input image data is a 2-in-1 original document to which the original A and the original B are assigned, it is determined that the input image data is similar to the original A that is permitted to be output. Even if the document B is a document whose output processing is prohibited, the document B is processed together, and information leakage of the document B is inevitable.
割付原稿の場合、含まれている原稿画像が、本来の大きさよりも縮小されている。縮小されている画像では、算出される特徴量が縮小されていない登録原稿と異なる場合が出てくることがあり、判定精度が低くなる。 In the case of a layout document, the included document image is reduced from its original size. In a reduced image, the calculated feature amount may be different from that of a registered document that has not been reduced, and the determination accuracy is lowered.
もう少し詳しく説明すると、特徴量を特徴点に基づいて算出する手法では、特徴点を算出する連結領域が、縮小されている割付原稿と縮小されていない登録原稿とで、異なってくる場合がある。例えば、登録原稿においては互いに離れていて、別々の連結領域と認定されている部分画像が、縮小されているNin1原稿ではくっ付いてしまって1つの連結領域と認定されるといったことが起こる。 More specifically, in the method of calculating the feature amount based on the feature point, the connection area for calculating the feature point may be different between the reduced layout original and the unreduced registered original. For example, in a registered original, partial images that are separated from each other and are recognized as separate connected areas are attached to a reduced Nin1 original and are recognized as one connected area.
このように、特徴点を算出する連結領域が違ってくると、登録原稿とは異なる特徴量が算出されてしまい、これにより、上記のように、登録原稿でさえないといった判定が起こり得る。 As described above, when the connection area for calculating the feature points is different, a feature amount different from that of the registered document is calculated. As a result, it may be determined that the document is not a registered document as described above.
一方、特許文献5には、割り付けられている画像領域を処理対象領域として画像特徴量や文字特徴量を抽出して比較先画像を検索することが記載されているが、割付原稿の割付数をユーザに入力を促す、あるいは、割付原稿であるか否かの判定を行う構成が必要である。前者の場合、割付数は一般的ではないため、割付数に対する説明を行い、割付数を入力する構成が必要となり、処理を行う上で効率的でなく、後者の場合も、割付原稿であるか否かを判定する構成を別途設ける必要があるという問題がある。
On the other hand,
また、文字特徴量としてOCR処理による文字コードを用いているので、予め辞書に用語を登録しておく必要があり、判定処理に時間がかかるという問題もある。 Further, since a character code by OCR processing is used as the character feature amount, it is necessary to register terms in the dictionary in advance, and there is a problem that it takes time for the determination processing.
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力画像データの画像が登録原稿の画像に類似しているか否かを判定し、判定結果に応じて、入力画像データの出力処理を制御する画像データ出力処理装置において、類似性の判定を行うよりも前に、入力画像データが割付原稿のものであるか否かの情報をユーザに入力させたり、入力画像データより判定する構成を別途設けたりすることなく、入力画像データが割付原稿のものであり、出力処理の規制された原稿画像を含んでいる場合には、これを高い精度にて検出して、出力処理を規制することができる画像データ出力処理を実現することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to determine whether an image of input image data is similar to an image of a registered document, and an input image according to the determination result. In an image data output processing device that controls data output processing, prior to determining similarity, the user can input information about whether the input image data belongs to an assigned document, or input image data If the input image data is for an assigned document and includes a document image for which output processing is restricted, it is detected with high accuracy and output without providing a separate determination configuration. The object is to realize an image data output process capable of regulating the process.
本発明の画像データ出力処理装置は、上記課題を解決するために、入力画像データに対して出力処理を施すものであり、入力画像データより画像の特徴量を抽出する一方、抽出した該特徴量と予め登録されている登録原稿の画像の特徴量とを比較して、上記入力画像データの画像と登録原稿の画像との類似性を判定する画像照合部と、上記画像照合部の判定結果に基づいて、上記入力画像データに対する出力処理を制御する出力処理制御部とを備えた画像データ出力処理装置において、上記画像照合部は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性を判定し、上記出力処理制御部は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であることを特徴としている。 In order to solve the above problems, the image data output processing device of the present invention performs output processing on input image data, and extracts the feature amount of the image from the input image data. And an image collation unit that compares the feature amount of the registered document image registered in advance and determines the similarity between the image of the input image data and the image of the registered document, and the determination result of the image collation unit An image data output processing device comprising: an output processing control unit that controls output processing for the input image data, wherein the image collating unit assigns the input image data to each image of a plurality of documents. In the case of a document, the similarity with the registered document is determined in units of images included in the allocated document, and the output processing control unit determines in units of images based on the determination result of each image included in the allocated document. It is characterized in that the force canceling is controllable.
例えば、入力画像データが2in1原稿のものであり、2つの領域それぞれに登録原稿を含んでいるような場合、類似性の判定を行うよりも前に、入力画像データが割付原稿のものであるか否かの情報をユーザに入力させたり、入力画像データより判定する構成を別途設けたりしない限り、従来の判定では、何れか一方の登録原稿に類似するといった判定までしか行えなかった。そのため、本来、規制すべき入力画像データの出力処理を許可してしまうといった問題があった。 For example, if the input image data is for a 2-in-1 document and each of the two areas includes a registered document, whether the input image data is for an allocated document before determining similarity Unless the user is prompted to input information about whether or not or a configuration for determining from the input image data is not provided separately, the conventional determination can only be performed to determine that it is similar to one of the registered originals. Therefore, there is a problem that the output processing of the input image data that should be regulated is permitted.
上記構成によれば、入力画像データが割付原稿のものであり、出力処理の規制された登録原稿の画像を含んでいる場合、割り付けられている画像単位で登録原稿との類似が判定され、出力処理制御部が、判定結果に基づいて画像単位で出力処理を制御する。 According to the above configuration, when the input image data is for an allocated document and includes an image of a registered document for which output processing is restricted, similarity with the registered document is determined for each allocated image, and output The process control unit controls the output process for each image based on the determination result.
したがって、類似性の判定を行うよりも前に、入力画像データが割付原稿のものであるか否かの情報をユーザに入力させたり、入力画像データより判定する構成を別途設けたりすることなく、規制すべき入力画像データの出力処理を、精度よく規制することが可能となる。 Therefore, before determining the similarity, without allowing the user to input information about whether or not the input image data is of an assigned document, or without separately providing a configuration for determining from the input image data, It is possible to accurately regulate the output processing of input image data to be regulated.
本発明の画像データ出力処理装置においては、さらに、上記特徴量は、画像から特徴点を抽出し、抽出した各特徴点に基づいて特徴点毎に算出されており、上記画像照合部は、特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の分布状態とを用いて類似性を判定し、上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の分布状態より特定される位置にある画像の出力処理を少なくとも制御する構成とすることもできる。 In the image data output processing device of the present invention, the feature amount is further extracted for each feature point based on each feature point extracted from the image, and the image matching unit The output processing control unit determines the similarity using the degree of matching of the quantities and the distribution state of the feature points having the matched feature quantities on the input image data, and the output processing control unit converts the image of the input image data into an image of the registered document. In the case of being similar, it is also possible to adopt a configuration that at least controls output processing of an image at a position specified by the distribution state of feature points having the same feature amount.
このことは、以下のように表現することもできる。つまり、本発明の画像データ出力処理装置においては、さらに、上記特徴量は、画像から特徴点を抽出し、抽出した各特徴点に基づいて特徴点毎に算出されており、上記画像照合部は、特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御する構成とすることもできる。 This can also be expressed as follows. That is, in the image data output processing device of the present invention, the feature amount is further extracted for each feature point based on each extracted feature point, and the image collating unit The similarity is determined using the degree of matching of the feature amounts and the position information of the feature points where the feature amounts on the input image data match, and the output processing control unit determines that the image of the input image data is a registered document If the image is similar to the image, the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount may be controlled at least.
これによれば、画像照合部は、特徴量の一致の度合いだけでなく、入力画像データ上の特徴量が一致した特徴点の位置の情報、つまり分布状態を加味して類似性を判定するようになっている。 According to this, the image collation unit determines similarity by considering not only the degree of feature amount matching but also the information on the position of the feature point where the feature amount on the input image data matches, that is, the distribution state. It has become.
入力画像データが割付原稿のものであり、複数ある原稿画像に、登録原稿の画像が含まれている場合、その登録原稿の特徴量と一致した特徴点は、登録画像が配置されている部分に集中して分布する。したがって、その特徴点の分布状態、つまり位置の情報より、割付原稿のどの部分に登録画像が配置されているかを判断できる。 If the input image data is for an assigned document, and a plurality of document images include a registered document image, the feature points that match the feature values of the registered document are displayed in the part where the registered image is placed. Concentrated and distributed. Therefore, it is possible to determine in which part of the allocated document the registered image is arranged based on the distribution state of the feature points, that is, the position information.
例えば、上記したように2in1原稿であり、2つの領域それぞれに登録原稿を含んでいるような場合は、特徴量の一致度合いの高い2つの登録原稿の特徴量と一致した特徴点は、2つの領域に分かれて集中するので、2つの登録原稿を含んでいることを判定できる。 For example, if the document is a 2-in-1 document as described above and each of the two areas includes a registered document, the feature points that match the feature values of two registered documents having a high degree of matching of the feature values are two. Since it is divided into areas and concentrated, it can be determined that two registered originals are included.
つまり、特徴量の一致の度合いだけでなく、入力画像データ上の特徴量が一致した特徴点の分布状態を加味して類似性を判定することで、結果的に、割り付けられている各原稿画像単位で、登録原稿であるかどうかを判定することが可能となる。 In other words, not only the degree of matching of feature amounts but also the similarity is determined by taking into account the distribution state of feature points with matching feature amounts on the input image data. It becomes possible to determine whether or not the document is a registered original.
そして、出力処理制御部においては、このような特徴量が一致した特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することにより、割り付けられている原稿画像が登録原稿の画像である場合、精度よく、その出力処理を規制することができる。 Then, the output processing control unit at least controls the output processing of the image at the position specified by the information on the position of the feature point with the matching feature quantity, so that the assigned document image is a registered document. The output process can be regulated with high accuracy.
本発明の画像データ出力処理装置においては、さらに、上記特徴量は、画像から特徴点を抽出し、抽出した各特徴点に基づいて特徴点毎に算出されており、上記画像照合部は、入力画像データの画像が複数の登録原稿の画像と類似する場合に、類似する画像の数に応じて入力画像データの画像を複数に分割し、分割された各領域に含まれる特徴点より算出された特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御する構成とすることもできる。 In the image data output processing device of the present invention, the feature amount is further extracted for each feature point based on each feature point extracted from the image. When the image data image is similar to a plurality of registered original images, the image of the input image data is divided into a plurality of images according to the number of similar images, and calculated from the feature points included in the divided areas. The output processing control unit determines similarity using the degree of feature amount matching and the information on the position of the feature point where the feature amount on the input image data matches. In the case of being similar to an image, it may be configured to at least control output processing of an image at a position specified by information on the position of a feature point having the same feature amount.
これによれば、画像照合部は、入力画像データの画像が複数の登録原稿の画像と類似する場合に、類似する登録画像数に応じて入力画像データの画像を複数に分割する。上述したように、入力画像データが割付原稿のものであり、複数の登録原稿の画像が含まれている場合、複数の登録原稿が、類似すると判定されることが多い。 According to this, when the image of the input image data is similar to the images of a plurality of registered originals, the image matching unit divides the image of the input image data into a plurality of images according to the number of similar registered images. As described above, when the input image data is for an assigned document and includes a plurality of registered document images, it is often determined that the plurality of registered documents are similar.
このような場合に、画像照合部は、類似する登録画像の数で入力画像データの画像を分割し、分割された各領域に含まれる特徴点より算出された特徴量の一致の度合いと、分割された各領域における入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて、類似性を判定する。これにより、より精度よく、割り付けられている各原稿画像単位で、登録原稿であるかどうかを判定することができる。 In such a case, the image matching unit divides the image of the input image data by the number of similar registered images, the degree of feature amount matching calculated from the feature points included in each divided region, and the division The similarity is determined using the information on the position of the feature point with the matching feature amount on the input image data in each region. As a result, it is possible to more accurately determine whether the document is a registered document in units of allocated document images.
そして、出力処理制御部においては、このような特徴量が一致した特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することにより、割り付けられている原稿画像が登録原稿の画像である場合、精度よく、その出力処理を規制することができる。 Then, the output processing control unit at least controls the output processing of the image at the position specified by the information on the position of the feature point with the matching feature quantity, so that the assigned document image is a registered document. The output process can be regulated with high accuracy.
本発明の画像データ出力処理装置においては、さらに、上記出力処理制御部が、上記入力画像データの画像が登録原稿の画像に類似する場合、上記特定される位置にある画像の出力処理のみならず、当該入力画像データの画像全体の出力処理を規制する強制モードを有する構成とすることが好ましく、しかも、出力処理の規制は登録原稿毎に設定されている場合には、最も優先度の高い規制を選択することが好ましい。 In the image data output processing device of the present invention, the output processing control unit may not only output the image at the specified position when the image of the input image data is similar to the image of the registered document. In addition, it is preferable to have a configuration having a compulsory mode that restricts the output processing of the entire image of the input image data, and when the restriction of the output processing is set for each registered document, the restriction with the highest priority is provided. Is preferably selected.
また、本発明の画像データ出力処理装置としては、出力処理が、入力画像データに基づいて記録材上に画像を形成する画像形成処理であり、記録材上に画像データに基づいて画像を形成する画像形成手段を備えるものや、出力処理が、入力画像データを記憶装置に格納するファイリング処理であり、画像データを記憶装置に格納していくファイリング手段を備えるもの、或いは、出力処理が、入力画像データをネットワークを介して受信装置に送信する送信処理であり、画像データをネットワークを介して受信装置に送信する送信手段を備えるものなどがある。 In the image data output processing apparatus of the present invention, the output process is an image forming process for forming an image on a recording material based on input image data, and an image is formed on the recording material based on the image data. An image forming unit, an output process is a filing process that stores input image data in a storage device, and an output process is an input image that includes a filing unit that stores image data in a storage device. There is a transmission process for transmitting data to a receiving device via a network, which includes a transmission means for transmitting image data to a receiving device via a network.
さらに、本発明においては、従来ある画像データ出力処理装置に搭載されることで、本発明の画像データ出力処理装置と同等の機能を付加できる画像データ出力処理装置の制御装置、及び従来ある画像データ出力処理装置に適用することで本発明の画像データ出力装置と同等の機能を付加できる画像データ出力処理方法を含んでいる。 Furthermore, in the present invention, a control device for an image data output processing apparatus that can be added to the same function as the image data output processing apparatus of the present invention by being mounted on the conventional image data output processing apparatus, and the conventional image data The present invention includes an image data output processing method that can be applied to an output processing device to add functions equivalent to those of the image data output device of the present invention.
また、上記画像データ出力処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像データ出力処理装置をコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。 Further, the image data output processing device may be realized by a computer. In this case, a program for causing the image data output processing device to be realized by a computer by causing the computer to operate as each unit, and the program. A recorded computer-readable recording medium is also included in the scope of the present invention.
本発明の画像データ出力処理装置は、以上のように、画像照合部は、入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性を判定し、出力処理制御部は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を規制可能であることを特徴としている。 In the image data output processing apparatus of the present invention, as described above, the image collating unit is configured to perform image units included in the allocated document when the input image data is that of the allocated document in which the images of the plurality of documents are allocated. It is characterized in that similarity with a registered document is determined, and the output processing control unit can regulate output processing in units of images based on a determination result of each image included in the allocated document.
これにより、入力画像データが割付原稿のものであり、出力処理の規制された原稿画像を含んでいる場合には、これを高い精度にて検出して、出力処理を規制することができる画像データ出力処理を提供することができる。 As a result, when the input image data is for an assigned document and includes a document image for which output processing is restricted, the image data can be detected with high accuracy and output processing can be restricted. Output processing can be provided.
本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複写機に適用する場合の一例について説明する。 An embodiment of the present invention will be described. In the present embodiment, an example in which the present invention is applied to a digital color copying machine will be described.
図2は、本実施形態にかかるデジタルカラー複写機(画像データ出力処理装置)1の概略構成を示すブロック図である。 FIG. 2 is a block diagram showing a schematic configuration of a digital color copying machine (image data output processing device) 1 according to the present embodiment.
図2に示すように、デジタルカラー複写機1は、カラー画像入力装置2、カラー画像処理装置3、カラー画像出力装置4、及び操作パネル6を備えている。
As shown in FIG. 2, the digital
カラー画像入力装置2は、原稿の画像を読み取って画像データを生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。ここでは、カラー画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてカラー画像処理装置3に出力する。
The color
カラー画像処理装置3は、カラー画像入力装置2から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置4が扱える形に変換して、カラー画像出力装置へと出力するものである。
The color
カラー画像処理装置3は、入力段にRGBのアナログ信号をデジタル信号に変換するA/D(アナログ/デジタル)変換部11を備えている。カラー画像処理装置3に入力されたアナログ信号の画像データは、このA/D変換部11にてデジタル信号に変換される。
The color
デジタル信号に変換されRGB信号は、その後、シェーディング補正部12、原稿種別判別部13、文書照合処理部14、入力階調補正部15、編集処理部16、領域分離処理部17、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、出力階調補正部21、階調再現処理部22の順で送られ、最終的にはデジタル信号のCMYK信号となる。そして、階調再現処理部22より出力されたデジタル信号のCMYK信号は、メモリ23に一旦格納された後、カラー画像出力装置4へと出力される。
The RGB signal converted into the digital signal is then converted into a
カラー画像処理装置3を構成する上記各部の処理について説明する。シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部12は、カラーバランスの調整、及び濃度信号などカラー画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施すものでもある。
The processing of each of the above parts constituting the color
シェーディング補正部12にて、各種の歪みが取り除かれ、カラーバランスの調整がなされたRGB信号(RGBの濃度信号)は、原稿種別判別部13へと出力される。
The RGB signal (RGB density signal) from which various distortions have been removed by the
原稿種別判別部13は、シェーディング補正部12より送られてきたRGB信号より、入力された画像データの原稿種別を判別するものである。原稿が文字原稿であるか、印刷写真原稿であるか、あるいは、文字と印刷写真が混在した文字印刷写真原稿であるかなどの原稿種別の判別を行う。このような原稿種別の判別結果は、後段の処理に用いられる。
The document
また、原稿種別判別部13は、シェーディング補正部12より出力された入力信号をそのまま、後段の文書照合処理部14にも出力する。
The document
文書照合処理部(類似性判定部・出力処理制御部)14は、原稿種別判別部13より送られてきたRGB信号(入力画像データ)より、特徴点を抽出し、抽出した各特徴点に基づいて入力画像データの画像の特徴量を抽出する機能を有している。
A document collation processing unit (similarity determination unit / output processing control unit) 14 extracts feature points from the RGB signals (input image data) sent from the document
文書照合処理部14は、登録モードでは、入力されてくる登録対象の画像データより画像の特徴量を抽出すると共に、抽出した特徴量を、後述するように、登録原稿を表すインデックス(原稿ID)と共に、記憶手段に登録する。
In the registration mode, the document
また、照合モードでは、入力されてくる照合対象原稿の画像データより特徴量を抽出すると共に、既に登録されている登録原稿の特徴量と比較して、照合対象原稿の画像(以下、照合対象画像とも称する)が登録原稿の画像に類似しているか否かを判定する類似性判定処理を行う。なお、以下、照合対象原稿の画像と登録原稿の画像との比較を、照合対象原稿と登録原稿の比較と表現する。 In the collation mode, the feature amount is extracted from the input image data of the document to be collated, and is compared with the feature amount of the registered document that has already been registered. Similarity determination processing is performed to determine whether the image of the registered document is similar to the image of the registered document. Hereinafter, the comparison between the image of the document to be verified and the image of the registered document is expressed as a comparison between the document to be verified and the registered document.
さらに、文書照合処理部14は、出力処理制御部14としての機能も有しており、類似性判定処理において、登録原稿に類似していると判定すると、入力画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したりする、制御信号を出力するようになっている。
Further, the document
そして、詳細については後述するが、本実施形態では、文書照合処理部14は、入力画像データが、割付原稿ものである場合、含まれる複数の原稿画像単位で登録原稿の画像に類似するか否かの判定が可能であり、各々の判定結果に基づいて、割付原稿に含まれる複数の原稿画像単位での出力処理を規制できるものである。
Although details will be described later, in the present embodiment, the document
また、文書照合処理部14は、原稿種別判別部13をスルーしてきた入力信号をそのまま、さらに後段の入力階調補正部15へと出力する。
Further, the document
入力階調補正部15は、文書照合処理部14より送られてきたRGB信号に対して、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理を施すものである。
The input
編集処理部16は、入力画像データ(照合対象原稿)が割付原稿のものであり、編集処理が必要な場合に、入力階調補正部15より送られてきた、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理が施されたRGB信号に対して、編集処理を行うものである。
The
前述したように、本実施形態では、照合モードにおいては、照合対象原稿が割付原稿である場合、それ含まれる複数の原稿画像単位で登録原稿の画像に類似するか否かの判定が可能であり、割付原稿に含まれる複数の原稿画像のうちの特定の原稿画像の出力処理のみを規制することもできる。 As described above, in the present embodiment, in the collation mode, when the collation target document is an allocated document, it is possible to determine whether or not the image of the registered document is similar in units of a plurality of document images included therein. It is also possible to restrict only output processing of a specific document image among a plurality of document images included in the allocated document.
編集処理部16は、このような処理を担うものであり、文書照合処理部14より送られてくる制御信号に基づいて、登録原稿に類似すると判定された原稿画像に対してのみ、その出力処理を規制する。
The
例えば、出力処理が禁止されている場合は、編集処理部16は、割付原稿における該当する原稿画像のみ不可視となるように、その原稿画像に相当する画像データのみ、データ値を「0」或いは「255(8ビットの場合)」に置き換える。これにより、割付原稿は、禁止されている原稿画像の部分のみが塗り潰された状態、或いは白紙状態となる。
For example, when the output process is prohibited, the
このようにして、編集処理部16にて編集されたRGB信号は、領域分離処理部17に送られる。なお、入力階調補正部15より送られてきたRGB信号が、割付原稿のものでない場合や、割付原稿のものであっても編集処理が不要の場合は、入力階調補正部15より送られたRGB信号は、編集処理部16をスルーして領域分離処理部17へと送られる。
In this way, the RGB signal edited by the
領域分離処理部17は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部17は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、及び階調再現処理部22へと出力する。また、領域分離処理部17は、入力階調補正部15より出力された入力信号をそのまま後段の色補正部18にも出力する。
The region
色補正部18は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
The
黒生成下色除去部19は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
The black generation and under
空間フィルタ処理部20は、黒生成下色除去部19より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部22も、空間フィルタ処理部20と同様、CMYK信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
The spatial
例えば、領域分離処理部17にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部20による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部22においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
For example, the region separated into characters by the region
また、領域分離処理部17にて網点領域に分離された領域に関しては、空間フィルタ処理部20において、入力網点成分を除去するためのローパス・フィルタ処理が施される。
Further, for the region separated into halftone dot regions by the region
そして、出力階調補正部21では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部22で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部17にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
The output
さらに、本実施形態では、原稿種別判別の結果が、これら領域分離処理後の各処理に加味され、各処理においては、各領域が混在しないと判別された場合は上述した領域分離処理と同様である一方、複数の領域が混在すると判別された場合はそれぞれの領域処理の中間パラメータを使用し、原稿種別判別処理で判別されなかった領域処理のパラメータは使用しない。 Furthermore, in the present embodiment, the result of document type determination is added to each processing after these region separation processing, and in each processing, when it is determined that the respective regions are not mixed, the processing is the same as the region separation processing described above. On the other hand, when it is determined that a plurality of areas are mixed, the intermediate parameters of the respective area processes are used, and the area process parameters not determined in the document type determination process are not used.
例えば、入力画像が文字原稿であると判別された場合は、領域分離処理では、文字及び線画として領域分離されたところを有効とし、網点及び印画紙といった連続階調と判別されたところは、例えば、文字原稿であったとしても原稿の種類によっては誤判別される場合があるので、誤分離とみなして、反映させない。 For example, when it is determined that the input image is a character document, the region separation process is effective when the region is separated as a character and a line drawing, and the portion determined as continuous tone such as halftone dots and photographic paper is For example, even if it is a text document, it may be misidentified depending on the type of document, so it is regarded as misseparation and is not reflected.
そして、その領域分離処理結果に基づいて、出力階調補正処理及び階調再現処理では、ハイライトを多めに除去したり、コントラストを大きくするような補正曲線を用いる。 Then, based on the result of the region separation process, in the output gradation correction process and the gradation reproduction process, a correction curve that removes excessive highlights or increases the contrast is used.
また、色文字に対しては、彩度を重視した色補正処理を行う一方、黒文字に対しては、黒生成/下色除去処理では黒生成量が多めに設定される。また、文字に対しては、空間フィルタ処理でエッジを強調し、平滑化処理を弱くするようにフィルタ係数を設定する等のパラメータの切り替え等が行われる。 For color characters, color correction processing is performed with emphasis on saturation. On the other hand, for black characters, a large black generation amount is set in the black generation / under color removal processing. In addition, for a character, switching of parameters such as setting a filter coefficient so as to enhance an edge by spatial filter processing and weaken smoothing processing is performed.
また、入力画像が文字/印画紙写真原稿であると判別された場合は、各処理において、文字原稿処理と印画紙写真原稿処理の中間パラメータを用いた処理が行われる。領域分離処理では、文字、線画又は印画紙として領域分離されたところを有効とし、網点といった領域分離されたところは、例えば、文字・印画紙原稿であったとしても原稿の種類によっては誤判別される場合があるため、誤分離とみなして、反映させない。 If it is determined that the input image is a character / photographic paper photographic document, processing using intermediate parameters between the character document processing and the photographic paper photographic document processing is performed in each processing. In the area separation processing, the area separated as a character, line drawing, or photographic paper is valid, and the area separation such as a halftone dot is erroneously discriminated depending on the type of original even if it is a character / photographic paper original. In some cases, it is regarded as misseparation and is not reflected.
文字原稿又は印画紙写真原稿のいずれを重視するかにより、出力階調補正処理及び階調再現処理では、印画紙写真原稿処理と文字原稿処理との中間のパラメータを用いてハイライトの除去やコントラストの調整を行い、また、彩度の強弱や階調性のバランスが極端にならないような色補正処理を行う。一方、黒生成/下色除去処理では、印画紙写真画像に影響が出ない程度に黒生成量の調整を行う。 Depending on whether the text manuscript or the photographic paper photo manuscript is important, the output tone correction processing and tone reproduction processing use highlight parameters and contrast using intermediate parameters between the photographic paper photo manuscript processing and the character manuscript processing. In addition, color correction processing is performed so that the intensity of saturation and the balance of gradation are not excessive. On the other hand, in the black generation / under color removal processing, the black generation amount is adjusted to such an extent that the photographic paper photographic image is not affected.
このようにして各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置4に入力される。
The image data thus subjected to each processing is once stored in a memory (not shown), read out at a predetermined timing, and input to the color
そして、上記した文書照合処理部15による照合モード時の類似性判定処理にて、登録原稿に類似していると判定され、例えば、照合対象の原稿の出力処理を禁止する制御信号が出力された場合は、このメモリより画像データを読み出す際に、不可視となるように、当該頁の画像データのデータ値が「0」或いは「255(8ビットの場合)」に置き換えられる。これにより、カラー画像出力装置4より出力される出力物は、頁全体が塗り潰された状態、或いは白紙状態となる。
Then, in the similarity determination process in the collation mode by the document
カラー画像出力装置4は、カラー画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。カラー画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
The color
操作パネル6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され(いずれも図示せず)、デジタルカラー複写機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
The
上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複写機1の各部の動作を制御する。
The main control unit is composed of, for example, a CPU (Central Processing Unit) and the like. Each unit of the digital
次に、文書照合処理部(画像照合部、出力処理制御部)14の詳細について説明する。 Next, the details of the document collation processing unit (image collation unit, output processing control unit) 14 will be described.
本実施形態にかかる文書照合処理部14は、まず、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定する。次に、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求める。そして、求めた各不変量を組み合わせて特徴点毎に特徴量であるハッシュ値を計算する。
The document
入力画像データが登録対象原稿のものである登録モードでは、算出したハッシュ値を、登録原稿を表すインデックス(原稿ID)に対応付けてテーブルに格納する。 In the registration mode in which the input image data is that of the document to be registered, the calculated hash value is stored in the table in association with an index (document ID) representing the registered document.
一方、入力画像データが照合対象原稿のものである照合モードでは、計算したハッシュ値に対応する登録原稿に投票すると共に、照合対象原稿の画像(以下、照合対象画像)の特徴点がどの登録原稿のどの特徴点に投票したかを記憶させておく。そして、投票が終了すると、投票結果と、照合対象画像上におけるハッシュ値が一致した登録原稿の特徴点の分布とを考慮して、照合対象画像と登録原稿との類似性を判定する。 On the other hand, in the collation mode in which the input image data is that of the collation target original, the registered original corresponding to the calculated hash value is voted, and which registered original has the feature point of the image of the collation target original (hereinafter, the collation target image) Remember which of the feature points you voted for. When the voting ends, the similarity between the collation target image and the registered original is determined in consideration of the voting result and the distribution of the feature points of the registered original whose hash values on the collation target image match.
図3は、文書照合処理部14の概略構成を示すブロック図である。この図に示すように、文書照合処理部14は、特徴点算出部31、特徴量算出部32、投票処理部33、類似度判定処理部34、登録処理部35、制御部7、メモリ8を備えている。
FIG. 3 is a block diagram illustrating a schematic configuration of the document
制御部7は、文書照合処理部14の各部の動作を制御する。なお、制御部7は、デジタルカラー複写機1の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部14の動作を制御するものであってもよい。
The
制御部7は、文書照合処理部14による類似性判定処理の結果、類似性なしと判定された場合には当該画像データに対する出力処理を許可する制御信号を出力する。一方、制御部7は、類似性ありと判定された場合には、入力画像データに対する出力処理を規制する制御信号を出力する。
When it is determined that there is no similarity as a result of the similarity determination processing by the document
出力処理を規制するにあたり、制限の内容は、登録原稿毎に定められており、最も優先度の高い厳しい制限は、出力処理の禁止である。また、制御部7は、照合対象原稿が割付原稿である場合、出力処理の規制のし方として、2つのモードを有している。
In restricting the output process, the content of the restriction is determined for each registered document, and the strict restriction with the highest priority is the prohibition of the output process. In addition, when the document to be collated is an allocated document, the
1つは、登録原稿に類似すると判定され原稿画像の部分に対してのみ、出力処理を規制する通常モードである。通常モードでは、上記した編集処理部16が、登録原稿に類似すると判定された原稿画像に対してのみ、その出力処理を規制する。
One is a normal mode in which output processing is restricted only for a portion of a document image that is determined to be similar to a registered document. In the normal mode, the
もう1つは、通常モードよりも厳しい、強制モードである。強制モードでは、割付原稿が登録原稿に類似する原稿画像を含んでいた場合、割付原稿に含まれるすべての原稿画像に対して、類似すると判定された登録原稿に設定されている制限が適用される。そして、その際、登録原稿に類似する原稿画像が複数あり、それぞれ規制内容が異なる場合は、最も優先度の高い規制(最も厳しい制限)が選択される。つまり、例えば、出力処理が禁止されている登録原稿に類似する原稿画像が含まれていると判定されると、割付原稿に含まれる全ての原稿画像を不可視とする制御信号が出力される。 The other is a forced mode that is stricter than the normal mode. In the forced mode, if the assigned document includes a document image similar to the registered document, the restriction set for the registered document determined to be similar is applied to all document images included in the allocated document. . At that time, if there are a plurality of document images similar to the registered document and the contents of the regulations are different, the regulation with the highest priority (the strictest restriction) is selected. That is, for example, if it is determined that a document image similar to a registered document for which output processing is prohibited is included, a control signal that makes all document images included in the allocated document invisible is output.
メモリ8は、文書照合処理部14の各部の処理に用いられる各種データ、処理結果等を記憶するものである。後述するハッシュテーブル、座標管理テーブル、特徴点対応テーブル等は、このメモリ8に設けられる。
The
特徴点算出部31は、入力画像データより、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。ここで、入力画像データは、登録モードでは、登録対象の原稿の画像データであり、類似判定処理においては、照合対象の原稿の画像データ(以下、照合対象画像データと称することもある)である。
The feature
図4は、特徴点算出部31の概略構成を示すブロック図である。なお、図4に示す特徴点算出部31の構成は一例であって、これに限るものではなく、例えば従来から公知の種々の法によって特徴点を算出してもよい。
FIG. 4 is a block diagram illustrating a schematic configuration of the feature
図4に示すように、特徴点算出部31は、無彩化処理部41、解像度変換部42、MTF処理部43、2値化処理部44、重心算出部45を備えている。
As shown in FIG. 4, the feature
無彩化処理部41は、シェーディング補正部12から入力された画像データ(RGB信号)がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
When the image data (RGB signal) input from the
例えば、無彩化処理部41は、下記式(1)によりRGB信号を輝度信号Yに変換する。
For example, the
Yj=0.30Rj+0.59Gj+0.11Bj ・・・(1)
ここで、Yjは各画素の輝度信号であり、Rj,Gj,Bjは各画素のRGB信号における各色成分であり、添え字のjは画素毎に付与された値(jは1以上の整数)である。
Yj = 0.30Rj + 0.59Gj + 0.11Bj (1)
Here, Yj is the luminance signal of each pixel, Rj, Gj, and Bj are each color component in the RGB signal of each pixel, and the subscript j is a value assigned to each pixel (j is an integer of 1 or more) It is.
あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。 Alternatively, the RGB signal may be converted into a CIE 1976 L * a * b * signal (CIE: Commission International de l'Eclairage, L * : brightness, a * , b * : chromaticity).
解像度変換部42は、入力画像データに対して変倍処理を行うものである。例えば、入力画像データは、カラー画像入力装置2で光学的に変倍されている場合がある。このような場合に、解像度変換部42は、所定の解像度(以下、デフォルト解像度)になるように、入力画像データを再度変倍する。
The
MTF(modulation transfer function)処理部43は、カラー画像入力装置2の空間周波数特性が機種ごとに異なることを吸収(調整)するために用いられる。CCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。
An MTF (modulation transfer function)
MTF処理部43は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の重心算出部45における特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ(図示せず)を用いて強調及び平滑化処理を行う。なお、図6は、この混合フィルタにおけるフィルタ係数の一例を示している。
The
2値化処理部44は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを二値化する。
The
重心算出部45は、2値化処理部44で2値化された画像データ(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。ここで、重心である特徴点は、二値画像における座標値(X,Y)にて表されており、算出された特徴点の座標値が、特徴量算出部32へ出力される。
The center-of-
図7は、入力画像データから抽出された連結領域及びこの連結領域の重心の一例を示す説明図であり、「A」という文字列に対応する連結領域及び重心を示している。また、図8は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。 FIG. 7 is an explanatory diagram showing an example of the connected area extracted from the input image data and the center of gravity of the connected area, and shows the connected area and the center of gravity corresponding to the character string “A”. FIG. 8 is an explanatory diagram showing an example of each centroid (feature point) of a plurality of connected regions extracted from a character string included in input image data.
再び、文書照合処理部14の概略構成を示すブロックである図3に戻り、特徴量算出部32は、特徴点算出部31で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小等の幾何学的変形に対して不変な量である特徴量(ハッシュ値及び/または不変量)を算出するものである。
Returning to FIG. 3 which is a block showing a schematic configuration of the document
図5は、特徴量算出部32の概略構成を示すブロック図である。この図に示すように、特徴量算出部32は、特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32cを備えている。
FIG. 5 is a block diagram illustrating a schematic configuration of the feature
特徴点抽出部32aは、図9に示すように、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数(ここでは4点)だけ周辺特徴点として抽出する。図9の例では、特徴点aを注目特徴点とした場合には特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
As shown in FIG. 9, the feature
また、特徴点抽出部32aは、上記のように抽出した周辺特徴点4点の中から選択し得る3点の組み合わせを抽出する。例えば、図10(a)〜図10(d)に示すように、図9に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせが抽出される。
Further, the feature
次に、不変量算出部32bは、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。
Next, the
ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。 Here, i is a number indicating the feature point of interest (i is an integer equal to or greater than 1), and j is a number indicating a combination of three peripheral feature points (j is an integer equal to or greater than 1). In the present embodiment, the ratio of two of the lengths of the line segments connecting the peripheral feature points is set as the invariant Hij.
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図10(a)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA11、特徴点bと特徴点dとを結ぶ線分の長さをB11とすると、不変量H11はH11=A11/B11である。 The length of the line segment can be calculated based on the coordinate value of each peripheral feature point. For example, in the example of FIG. 10A, if the length of the line segment connecting the feature point b and the feature point c is A11 and the length of the line segment connecting the feature point b and the feature point d is B11, The variable H11 is H11 = A11 / B11.
また、図10(b)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12はH12=A12/B12である。また、図10(c)の例では、特徴点bと特徴点dとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13はH13=A13/B13である。また、図10(d)に示した例では、特徴点cと特徴点dとを結ぶ線分の長さをA14、特徴点cと特徴点eとを結ぶ線分の長さをB14とすると、不変量H14はH14=A14/B14である。このようにして、図10(a)〜図10(d)の例では、不変量H11,H12,H13が算出される。 In the example of FIG. 10B, if the length of the line segment connecting the feature point b and the feature point c is A12 and the length of the line segment connecting the feature point b and the feature point e is B12, The variable H12 is H12 = A12 / B12. In the example of FIG. 10C, if the length of the line segment connecting the feature point b and the feature point d is A13 and the length of the line segment connecting the feature point b and the feature point e is B13, The variable H13 is H13 = A13 / B13. In the example shown in FIG. 10D, the length of the line segment connecting the feature point c and the feature point d is A14, and the length of the line segment connecting the feature point c and the feature point e is B14. The invariant H14 is H14 = A14 / B14. In this way, invariants H11, H12, and H13 are calculated in the examples of FIGS. 10 (a) to 10 (d).
なお、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。 In the above example, the line segment connecting the peripheral feature point closest to the target feature point and the second closest peripheral feature point is Aij, and the peripheral feature point closest to the target feature point and the third closest peripheral feature point are The line segment connecting the two is defined as Bij. However, the present invention is not limited to this, and the line segment used for calculating the invariant Hij may be selected by an arbitrary method.
次に、ハッシュ値算出部32cは、次式(2)
Hi=(Hi1×103+Hi2×102+Hi3×101+Hi4×100)/D ‥‥(2)
における余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、メモリ8に記憶させる。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
Next, the hash
Hi = (Hi1 × 10 3 + Hi2 × 10 2 + Hi3 × 10 1 + Hi4 × 10 0 ) / D (2)
Is calculated as a hash value (one of feature quantities) Hi and stored in the
なお、不変量Hijの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mはm<nかるm≧5の整数)の配置及びm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。 Note that the method for calculating the invariant Hij is not particularly limited. For example, the cross ratio of five points in the vicinity of the feature point of interest, or the double ratio of five points extracted from the neighboring n points (n is an integer of n ≧ 5). The value calculated based on the arrangement of m points extracted from the neighboring n points (m is an integer of m <n and m ≧ 5) and the cross ratio of the 5 points extracted from the m points, etc. The invariant Hij may be used. The cross ratio is a value obtained from four points on a straight line or five points on a plane, and is known as an invariant with respect to projective deformation which is a kind of geometric transformation.
また、ハッシュ値Hiの算出するための式についても上記式(2)に限るものではなく、他のハッシュ関数(例えば特許文献4に記載されているハッシュ関数のうちのいずれか)を用いてもよい。 Also, the formula for calculating the hash value Hi is not limited to the above formula (2), and other hash functions (for example, any one of the hash functions described in Patent Document 4) may be used. Good.
また、特徴量算出部32の各部は、1つの注目特徴点に対する周辺特徴点の抽出及びハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出及びハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
Further, after the extraction of the peripheral feature point for one target feature point and the calculation of the hash value Hi are completed, each unit of the feature
図9の例では、特徴点aを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出を行う。図9の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。 In the example of FIG. 9, when the extraction of the peripheral feature point and the hash value when the feature point a is the target feature point is finished, the extraction of the peripheral feature point and the hash value when the feature point b is the target feature point is completed. I do. In the example of FIG. 9, when the feature point b is the target feature point, four feature points a, c, e, and f are extracted as peripheral feature points.
そして、図11(a)〜図11(d)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,e,c、周辺特徴点a,f,c、周辺特徴点e,f,c)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ8に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ8に記憶させる。
Then, as shown in FIGS. 11A to 11D, a combination of three points selected from these peripheral feature points a, c, e, and f (peripheral feature points a, e, f, and peripheral points) Feature points a, e, c, peripheral feature points a, f, c, and peripheral feature points e, f, c) are extracted, and a hash value Hi is calculated for each combination and stored in the
なお、特徴量算出部32は、入力画像データを登録原稿として登録する処理を行う登録モードでは、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を、図3に示す登録処理部35に送る。
In the registration mode in which the input image data is registered as a registered original, the feature
登録処理部35は、特徴量算出部32が算出した各特徴点についてのハッシュ値と、当該入力画像データである登録原稿を表すインデックスID(ID1,ID2…)と、当該特徴点を表すインデックスf(f1,f2…)とを、メモリ8に設けられた図示しないハッシュテーブルに順次登録していく(図12(a)参照)。
The
ここで、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿インデックスを登録する。原稿インデックスは重複することなく順次番号が割り当てられる。 If a hash value has already been registered, the document index is registered in association with the hash value. Document numbers are sequentially assigned numbers without duplication.
そして、特徴点を表すインデックスfは、メモリ8に設けられた図示しない座標管理テーブルにおいて、図14に示すように、原稿を表すインデックスID毎に座標値に対応付けられており、同じ原稿でインデックスfは重複することなく順次番号が割り当てられる。
An index f representing a feature point is associated with a coordinate value for each index ID representing a document in a coordinate management table (not shown) provided in the
例えば、図12(a)に示すハッシュテーブルの内容であれば、ハッシュ値H1は、インデックスID1の登録原稿におけるインデックスf1(座標(X11,Y11))の特徴点のもつ値であり、また、ハッシュ値H3は、インデックスID1の登録原稿におけるインデックスf4(座標(X14,Y14))の特徴点と、インデックスID2の登録原稿におけるインデックスf1(座標(X21,Y21))の特徴点とがもつ値である、ことを示している。 For example, in the case of the contents of the hash table shown in FIG. 12A, the hash value H1 is a value of the feature point of the index f1 (coordinates (X 11 , Y 11 )) in the registered document with the index ID1, and The hash value H3 is a feature point of the index f4 (coordinates (X 14 , Y 14 )) in the registered document with the index ID1, and a feature point of the index f1 (coordinates (X 21 , Y 21 )) in the registered document with the index ID2. It is a value that and have.
なお、ハッシュテーブルに登録されている原稿の数が所定値(例えば、登録可能な原稿の数の80%)より多くなった場合、古いインデックスIDを検索して順次消去するようにしてもよい。また、消去されたインデックスIDは、新たな入力画像データのインデックスIDとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合、図12(b)の例に示すように、これらを1つにまとめてハッシュテーブルに登録してもよい。ここでは、H1=H5として、H1にまとめられている。 If the number of documents registered in the hash table exceeds a predetermined value (for example, 80% of the number of documents that can be registered), the old index ID may be searched and sequentially deleted. The deleted index ID may be used again as the index ID of new input image data. Further, when the calculated hash values are the same value, as shown in the example of FIG. 12B, these may be combined and registered in the hash table. Here, H1 = H5, and H1 is summarized.
そして、特徴量算出部32は、入力画像データの画像が既に登録されている登録原稿の画像であるかどうかの判定処理を行う場合(照合モード)には、上記のように算出した入力画像データの各特徴点についてのハッシュ値を、各特徴点の座標値に対応付けられた特徴点を表す特徴点インデックスp(p1,p2…)と共に、投票処理部33に送る。
Then, the feature
なお、特徴点インデックスとしては、説明を分かり易くするために、登録原稿の特徴点については「f」を、照合対象画像の特徴点については「p」を用いて、区別する。 For easy understanding of the feature point index, “f” is used for the feature point of the registered document, and “p” is used for the feature point of the collation target image.
投票処理部33は、照合対象原稿の入力画像データからら算出した各特徴点のハッシュ値をハッシュテーブルに登録されているハッシュ値と比較し、同じハッシュ値を有する登録原稿に投票する(図13参照)。図13は、登録原稿ID1,ID2,ID3、ID4に対する得票数の一例を示すグラフである。
The
例えば、前出の図12(a)に示すハッシュテーブルの内容において、照合対象画像よりハッシュ値H1が算出されると、ID1の登録原稿に1票を投じ、照合対象画像よりハッシュ値H3が算出されると、ID1とID2の各登録原稿に、1票づつ投じる。 For example, in the contents of the hash table shown in FIG. 12A, when the hash value H1 is calculated from the collation target image, one vote is cast on the registered document of ID1, and the hash value H3 is calculated from the collation target image. Then, one vote is cast on each registered document of ID1 and ID2.
また、図12(b)に示す例では、H1=H5であり、これらをH1の1つにまとめてハッシュテーブルに登録されているので、照合対象画像よりハッシュ値H1が算出されると、ID1の登録原稿に2票を投じる。
In the example shown in FIG. 12B, H1 = H5, and these are grouped into one of H1 and registered in the hash table. Therefore, when the hash value H1 is calculated from the collation target image,
そして、本実施形態では、投票処理部33は、投票の際に、ハッシュ値が一致した照合対象画像の特徴点と登録原稿の特徴点との対応付けを行い、図示しない特徴点対応テーブルに記憶していくようになっている。
In the present embodiment, the
図15は、特徴点対応テーブルの内容を示している。図15の例では、照合対象画像のインデックスp1の特徴点に対して求めたハッシュ値が、インデックスID1の登録原稿におけるインデックスf1の特徴点のハッシュ値と一致し、また、照合対象画像のインデックスp2の特徴点に対して求めたハッシュ値が、インデックスID3の登録原稿のインデックスf2の特徴点のハッシュ値と一致する、と判定されたことを示している。 FIG. 15 shows the contents of the feature point correspondence table. In the example of FIG. 15, the hash value obtained for the feature point of the index p1 of the collation target image matches the hash value of the feature point of the index f1 in the registered document with the index ID1, and the index p2 of the collation target image. This indicates that it has been determined that the hash value obtained for the feature point is identical to the hash value of the feature point of the index f2 of the registered document with the index ID3.
図1(a)に、投票処理部33による投票処理の手順を示す。図1(a)に示すように、投票処理部33は、まず、照合対象画像のインデックスpの特徴点(以下、特徴点p)について、登録原稿のハッシュ値と比較し(S1)、ハッシュ値が一致する登録原稿に投票する(S2)。具体的には、照合対象画像の特徴点pのハッシュ値と同じハッシュ値がハッシュテーブルに格納されているか否かをまず判定し、格納されている場合は、そのハッシュ値をもつ登録原稿に投票する。
FIG. 1A shows a voting procedure performed by the voting
また、投票処理部33は、投票と共に、照合対象画像の特徴点pのハッシュ値と同じハッシュ値をもつ登録原稿のインデックスID及び特徴点のインデックスfを、ハッシュテーブルより読み出して、上記した特徴点対応テーブルに記憶させる(S3)。
Also, the
このようなS1〜S3の処理を、照合対象画像において抽出された全ての特徴点pについて繰り返し行い、S4にて、照合対象画像において抽出された全ての特徴点pについて終了したと判定すると、投票処理を終了する。 If the processes of S1 to S3 are repeated for all the feature points p extracted in the collation target image and it is determined in S4 that all the feature points p extracted in the collation target image are finished, voting is performed. End the process.
投票処理により、前述した図13に示すような投票結果を示すグラフと、図15に示すような特徴点対応テーブルが得られる。 By the voting process, a graph showing the voting result as shown in FIG. 13 and a feature point correspondence table as shown in FIG. 15 are obtained.
類似度判定処理部34は、メモリ8から投票処理部33の投票処理結果である、各登録原稿に対する得票数、及びハッシュ値が一致した照合対象画像の特徴点と登録原稿の特徴点との対応付けに基づいて、照合対象画像に登録原稿が含まれているか否かを判定すると共に、含まれている場合は、照合対象画像のどの部分が登録原稿に類似するかを、判定するものである。
The similarity
図1(b)に、類似度判定処理部34による類似度判定処理の手順を示す。図1(b)に示すように、類似度判定処理部34は、まず、各登録原稿に対する投票結果に基づいて、最大得票数を得た登録原稿を選出する(S11)。図13に示すような投票結果の場合、インデックスID1の登録原稿が選択される。
FIG. 1B shows a procedure of similarity determination processing by the similarity
次に、類似度判定処理部34は、選出した登録原稿における、ハッシュ値が一致した特徴点fの座標を用いて、当該登録原稿を照合対象画像上の座標値にて表すための座標変換係数Aを算出する(S12)。
Next, the similarity
ここで、座標変換係数Aの取得について図16、図17を用いて説明する。類似度判定処理部34は、特徴点対応テーブル(図15参照)を参照して、選出された登録原稿について、ハッシュ値が一致している4つの特徴点に対し、その座標と、照合対象画像の特徴点の座標とを取得する。
Here, the acquisition of the coordinate conversion coefficient A will be described with reference to FIGS. The similarity
図16に、類似度判定処理部34にて取得された、登録原稿の4つの特徴点の座標値と、これらに対応する照合対象画像の4つの特徴点の座標値を示し、図17には、登録原稿と照合対象画像との間での、各特徴点同士の対応イメージを示す。なお、図17より分かるように、照合対象画像が割付原稿である場合、元の原稿が縮小されると共に、回転されている。
FIG. 16 shows the coordinate values of the four feature points of the registered document and the coordinate values of the four feature points of the matching target image that are acquired by the similarity
類似度判定処理部34は、登録原稿の特徴点の座標についての行列をPin、照合対象画像の特徴点の座標についての行列をPout、座標変換係数をAとして、下記式(1)より、座標変換係数Aを算出する。
The similarity
ここで、Pinは正方行列ではないため、両辺にPinの転置行列PinTを乗算し、さらにPinTPinの逆行列を乗算する。 Here, since Pin is not a square matrix, both sides are multiplied by the transposed matrix Pin T of Pin and further multiplied by the inverse matrix of Pin T Pin.
このようにして求めた座標変換係数Aを用いて、照合対象画像の座標位置を算出することで、登録原稿上の任意の座標(x,y)を照合対象画像上の座標(x’,y’)に変換できる。 By calculating the coordinate position of the collation target image using the coordinate conversion coefficient A thus obtained, arbitrary coordinates (x, y) on the registered document can be converted into the coordinates (x ′, y on the collation target image. ').
再び、図1(b)に戻り、類似度判定処理部34は、算出された座標変換係数Aを用いて、S11で選出された登録原稿におけるハッシュ値が一致した全ての特徴点fを照合対象画像上の座標に変換する(S13)。
Referring back to FIG. 1B again, the similarity
これにより、例えば、図18に示すように、照合対象原稿が2つの原稿画像が割り付けられた2in1原稿であって、そのうちの座標原点Oに近い上半分の原稿画像が、最大得票数を得たインデックスID1の登録原稿に類似している場合、最大得票数を得たインデックスID1の登録原稿におけるハッシュ値が一致した特徴点は、照合対象画像上の上半分に集中して分布することとなる。 As a result, for example, as shown in FIG. 18, the document to be collated is a 2-in-1 document to which two document images are assigned, and the upper half of the document image close to the coordinate origin O has obtained the maximum number of votes. When similar to the registered document of index ID1, the feature points having the same hash value in the registered document of index ID1 that has obtained the maximum number of votes will be concentrated on the upper half of the collation target image.
類似度判定処理部34は、このような選出された登録原稿におけるハッシュ値が一致した特徴点の照合対象画像上の分布状態(特徴点の座標位置)より、登録原稿の照合対象画像上の位置を特定する(S14)。図18に示すような分布状態であれば、類似度判定処理部34は、照合対象原稿は2in1原稿であると特定すると共に、2in1原稿の上半分の領域に相当する照合対象画像における所定領域の画像が、インデックスID1の登録原稿に類似すると判定する。
The similarity
続いて、類似度判定処理部34は、投票結果に基づいて、選択すべき全ての登録原稿について終了したかどうかを判定する(S15)。例えば、投票結果が、図13に示すような、インデックスID1の登録原稿とインデックスID3の登録原稿の2つの得票数が、他の登録原稿に比して大きく突出していた場合、この2つの登録原稿に類似する可能性が高い。
Subsequently, the similarity
そのため、このような場合は、S15にて、選択すべき全ての登録原稿について終了を終了していないと判定し、次に大きな得票数を得た登録原稿、ここではインデックスID3の登録原稿を選出して(S16)、S12に戻り、S12〜S15(4in1等の原稿であればS16も含む)までの処理を、ID3の登録原稿に対しても行う。
Therefore, in such a case, in S15, it is determined that the completion of all registered originals to be selected is not completed, and the registered original having the next largest number of votes, that is, the registered original with
これにより、図18に示すように、照合対象原稿が2つの原稿画像が割り付けられた2in1原稿であって、残り下半分の原稿画像が、2番目に大きな得票数を得たインデックスID3の登録原稿に類似している場合は、S14において、類似度判定処理部34は、2in1原稿の下半分の領域に相当する照合対象画像における所定領域の画像が、インデックスID3の登録原稿に類似すると判定する。
As a result, as shown in FIG. 18, the document to be collated is a 2-in-1 document to which two document images are assigned, and the remaining lower half of the document image is a registered document with
また、S11、S15、S16、において登録原稿を選出するにあたり、例えば、抽出された上位の得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性(入力画像データが登録原稿の画像データであるかどうか)を判定する構成が好ましい。 Further, when selecting a registered manuscript in S11, S15, and S16, for example, the extracted higher number of votes is treated as a similarity indicating the degree of similarity, and compared with a predetermined threshold TH (similarity ( It is preferable to determine whether the input image data is image data of a registered document.
つまり、最大得票数が予め定められた閾値TH以上である場合には、「類似性あり」と判定して、S11で登録原稿を選択してS12以降の処理を実行し、S15,S16では、2番目の得票数が予め定められた閾値TH以上である場合には、「選択すべき登録原稿がある」或いは「類似性あり」と判定して、S12に戻る。 That is, if the maximum number of votes is equal to or greater than a predetermined threshold TH, it is determined that there is “similarity”, the registered document is selected in S11, and the processing from S12 is executed. In S15 and S16, If the second number of votes is equal to or greater than a predetermined threshold TH, it is determined that “there are registered documents to be selected” or “similar”, and the process returns to S12.
このとき、閾値THは、最大得票数から2番目、3番目と得票数が低下するに従い、順次低く設定しておくことで、判定精度を上げることができる。 At this time, the threshold TH can be set lower as the number of votes decreases to the second and third from the maximum number of votes, thereby increasing the determination accuracy.
そして、類似度判定処理部34による判定結果を示す判定信号は、上述したように制御部7に送られ、制御部7は、通常モードであれば、登録原稿に類似すると判定された原稿画像に対してのみ出力処理を規制する。一方、強制モードであれば、割付原稿に含まれるすべての原稿画像に対して、最も優先度の高い厳しい制限に出力処理を規制する。
Then, the determination signal indicating the determination result by the similarity
図19(a)に、2in1原稿である場合に、上半分、下半分の各領域にある画像に対してその出力処理を規制する手法を示す。上述したように、類似度判定処理部34の類似度判定処理により、割付原稿である場合は、2in1原稿、或いは4in1原稿といった、割付状態を検出することができる。つまり、図18で示したように、照合対象画像の上半分或いは下半分の領域に、登録原稿の特徴点が集中した場合、2in1原稿であると推測できる。
FIG. 19A shows a technique for restricting the output process for images in the upper half and lower half areas in the case of a 2-in-1 original. As described above, according to the similarity determination process of the similarity
制御部7は、図19(a)に示すように、予め、2in1原稿である場合、原稿サイズおよび原稿の方向(A4縦、横等の原稿が置かれている方向)の検知結果および有効画像領域より2つの領域Q1,Q2の座標値を、例えば、対角の2点(白丸)の座標値の情報等にて予め取得している。原稿サイズ、原稿の方向検知は、例えば、カラー画像入力装置2内に配置されたフォトトランジスタなどの光電変換素子により、原稿台に載置された、主走査方向、副走査方向の原稿サイズを検知する方法や、操作パネル6より、ユーザにて選択された原稿サイズを制御部にて検知する方法などを用いることができ、また、有効画像領域は、2in1原稿において、画像データが存在する領域を予め定めておくものである。したがって、2in1原稿であり、2つある領域Q1,Q2のうちのいずれが登録原稿に類似するかを特定できれば、その領域の画像データに対して、出力処理を規制することは容易に実施できる。2in1原稿の2つの領域Q1,Q2(有効画像領域)の代わりに原稿サイズの2分の1の領域を用いるようにしても良い。
As shown in FIG. 19A, the
同様に、図19(b)は、4in1原稿である場合に、上半分左側と右側、下半分左側と右側の4つの領域Q1〜Q4の何れかに登録原稿の特徴点が集中した場合、4in1原稿であると推測できる。 Similarly, in FIG. 19B, when the document is a 4in1 document, when the feature points of the registered document are concentrated in any one of the four regions Q1 to Q4 on the left and right sides of the upper half and the left and right sides of the lower half, 4in1. You can guess that it is a manuscript.
制御部7は、図19(b)に示すように、予め、4in1原稿である場合の4つの領域Q1〜Q4の座標値を、上記と同様に対角の2点(白丸)の座標値の情報等にて予め取得しておくことで、4in1原稿であり、4つある領域Q1〜Q4のうちのいずれが登録原稿に類似するかを特定できれば、その領域の画像データに対して、出力処理を規制することは容易に実施できる。
As shown in FIG. 19B, the
また、類似度判定処理部34は、さらに、各登録原稿に対する得票数を投票総数(入力画像データから抽出された特徴点の総数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
Further, the similarity
また、類似度判定処理部34は、各登録原稿に対する得票数を、ハッシュ値の登録数が最も多い登録原稿についてのハッシュ値の登録数(最大登録数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
Further, the similarity
つまり、算出した類似度が閾値TH以上である場合には「類似性あり」と判定し、閾値TH未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため(特に原稿及び/または登録原稿の少なくとも一部に手書き部分がある場合など)、類似度の算出値は100%を超える場合も有り得る。 That is, if the calculated similarity is equal to or greater than the threshold value TH, it is determined that “there is similarity”, and if it is less than the threshold value TH, it is determined that “there is no similarity”. In this case, the total number of hash values extracted from the input image data may be larger than the maximum registered number (particularly when at least a part of the original and / or the registered original has a handwritten part). The calculated value of similarity may exceed 100%.
また、類似性を判定する際の閾値THは、各登録原稿について一定に設定されていても、或いは、各登録原稿の重要度等に応じて登録原稿毎に設定されていてもよい。登録原稿の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録原稿に応じて段階的に設定してもよい。 Further, the threshold TH for determining similarity may be set to be constant for each registered document, or may be set for each registered document according to the importance of each registered document. The importance of the registered manuscript depends on the registered manuscript, for example, maximizing the importance for banknotes, securities, confidential documents, confidential documents, etc., and lowering the importance for secret documents than banknotes, etc. May be set step by step.
この場合、メモリ8に、登録原稿の重要度に応じた重み付け係数を当該登録原稿のインデックスと関連付けて記憶させておき、類似度判定処理部34が、最大得票数を得た登録原稿に対応する閾値THを用いて類似性を判定するようにすればよい。
In this case, a weighting coefficient corresponding to the importance of the registered document is stored in the
また、類似性を判定する際、閾値THは一定にする一方、各登録原稿に対する得票数(各登録原稿の得票数)に各登録原稿の重み係数を掛けて類似性を判定するようにしてもよい。 In determining similarity, the threshold TH is kept constant, and the similarity is determined by multiplying the number of votes for each registered document (number of votes for each registered document) by the weight coefficient of each registered document. Good.
この場合、メモリ8に、各登録原稿の重要度に応じた重み付け係数を各登録原稿のインデックスと関連付けて記憶させておき、類似度判定処理部34が、各登録原稿の得票数に当該登録原稿の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。
In this case, a weighting coefficient corresponding to the importance of each registered document is stored in the
例えば、最大補正得票数と閾値THとを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値THと比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値THと比較してもよい。また、この場合、重み係数は、例えば、1より大きい値であって、かつ登録原稿の重要度が高くなるにつれて大きい値になるように設定すればよい。 For example, the maximum corrected number of votes may be compared with the threshold TH, or the maximum corrected number of votes normalized with the total number of votes may be compared with the threshold TH, and the maximum corrected number of votes is normalized with the maximum number of registrations. This may be compared with the threshold value TH. In this case, the weighting factor may be set to a value larger than 1, for example, and to become a larger value as the importance of the registered document increases.
また、本実施形態では、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。 In this embodiment, one hash value is calculated for one feature point (attention feature point). However, the present invention is not limited to this, and a plurality of one feature point (attention feature point) may be calculated. A hash value may be calculated. For example, 6 points are extracted as the peripheral feature points of the feature point of interest, and for each of the 6 combinations obtained by extracting 5 points from these 6 points, 3 points are extracted from 5 points to obtain an invariant and a hash value is calculated. You may use the method to do. In this case, six hash values are calculated for one feature point.
次に、デジタルカラー複写機1における類似性判定処理について、図20に示すフロー図を参照しながら説明する。
Next, similarity determination processing in the digital
制御部7は、操作パネル6を介してユーザからの指示入力を受け付けると、登録モードが選択されているか否かを判定する(S21)。ここで、登録モードが選択されている場合は、入力画像データを登録処理する。
When receiving an instruction input from the user via the
まず、制御部7は、文書照合処理部14の各部を制御して、特徴点の算出、及び算出された各特徴点の座標算出を行わせる(S22,S23)。算出された各特徴点の座標は、特徴点を表すインデックスfに対応付けて、座標管理テーブルに格納される。続いて、特徴量算出処理を行わせ(S24)を行わせ、算出された特徴量を、原稿を表すインデックスIDと特徴点を表すインデックスfと共にハッシュテーブルに格納する登録処理(S5)を行わせる。
First, the
一方、S1において、登録モードではない、つまり照合モードであると判定すると、S27に以降し、特徴点を算出させる(S27)。そして、S27にて算出された特徴点に基づいて、同様に、算出された各特徴点の座標算出を行わせる(S28)。算出された各特徴点の座標は、特徴点を表すインデックスpに対応付けて、メモリ8の作業領域に格納される。続いて、特徴量算出処理を行わせ(S29)を行わせ、投票処理(S30)、類似性判定処理(S31)を行わせる。
On the other hand, if it is determined in S1 that the mode is not the registration mode, that is, the collation mode, the feature points are calculated after S27 (S27). Based on the feature points calculated in S27, the calculated coordinates of each feature point are similarly calculated (S28). The calculated coordinates of each feature point are stored in the work area of the
このS30、S31においては、既に説明したように、照合対象原稿が割付原稿である場合には、割付原稿に含まれる画像単位で登録原稿との類似性が判定され、登録原稿に類似する場合は、照合対象原稿上の画像位置が特定される。 In S30 and S31, as already described, when the document to be collated is an allocated document, the similarity with the registered document is determined in units of images included in the allocated document, and if similar to the registered document, Then, the image position on the document to be collated is specified.
そして、S31にて、類似すると判定されると、強制モードが設定されているか否かを判定する(S32)。ここで、強制モードが設定されている場合は、割付原稿に含まれるすべての原稿画像に対して、類似すると判定された登録原稿に設定されている制限を適用し、かつ、類似する登録原稿が複数あり、制限が異なる場合は、最も優先度の高い規制にて出力処理を規制する制御信号を出力させる(S33)。 And when it determines with it being similar in S31, it will be determined whether forced mode is set (S32). Here, when the forced mode is set, the restriction set for the registered original determined to be similar is applied to all the original images included in the assigned original, and a similar registered original is If there are a plurality of restrictions and the restrictions are different, a control signal for restricting the output processing is outputted with the restriction having the highest priority (S33).
一方、強制モードが設定されていない場合は、S34に進み、割付原稿に含まれる各原稿画像のうち、登録原稿に類似すると判定され原稿画像の部分に対してのみ、出力処理を規制する制御信号を出力させる。 On the other hand, if the forced mode is not set, the process proceeds to S34, and among the document images included in the allocated document, a control signal for restricting output processing only for the document image portion determined to be similar to the registered document. Is output.
割付原稿ではない場合は、強制モードの設定に関係なく、出力処理を規制する制御信号が出力される。 If the document is not an allocated document, a control signal for restricting the output process is output regardless of the setting of the forced mode.
なお、S31にて、類似するものがないと判定されると、S35に進み、判定信号「0」として、出力処理をそのまま許可する制御信号を出力する。 If it is determined in S31 that there is no similarity, the process proceeds to S35, and a control signal for allowing the output process as it is is output as a determination signal “0”.
ところで、上記実施の形態では、類似度判定処理部34は、登録原稿におけるハッシュ値が一致した特徴点の照合対象画像上の分布状態(特徴点の座標位置)より、登録原稿の照合対象画像上の位置を特定することで、割付原稿であるか否かの判定を行っていたが、別の実施の形態として、以下のようにすることもできる。
By the way, in the above-described embodiment, the similarity
本実施の形態では、類似度判定処理部は、1度目の類似判定処理の結果、複数の登録画像に類似していると判定された場合、図28に示すように、類似していると判定された登録原稿の数に応じて、照合対象原稿を2分の1或いは4分の1というように分割して、それぞれの領域に存在する特徴点より算出された特徴量を用いて、2度目の投票処理を行う。 In the present embodiment, when it is determined that the similarity determination processing unit is similar to a plurality of registered images as a result of the first similarity determination processing, it is determined that they are similar as shown in FIG. Depending on the number of registered originals, the original to be collated is divided into one-half or one-fourth, and the second time using the feature amount calculated from the feature points existing in each area. Perform the voting process.
照合対象原稿の画像全体を対象として照合判定を行った1度目の類似度判定処理の結果、閾値を超えた登録原稿の数が複数ある場合は、類似する登録原稿の数に応じて、照合対象原稿を分割する。割付原稿の割付数は、2、4、6、8、9等というように予め定められているので、類似する登録原稿の数が上記割付数と一致する場合には、その値にて分割し、一致しない場合には、上記割付数のうち、類似する登録原稿の数よりも大きい値を用いて分割する。つまり、閾値を超えた登録原稿の数が3であれば4を、5であれば6を、7であれば8を選択して分割する。そして、各分割領域の投票処理を行い、分割領域毎の類似する登録原稿を特定していく。なお、分割領域の投票処理の結果、閾値を超えた登録原稿の数が複数ある場合は、さらに大きい値を用いて分割する。なお、あまり細かく分割しても意味がないので、分割数の最大は、8または9程度に定めておく。また、分割数に応じた各画像位置は、上述したように、予め決まっている。 If there are a plurality of registered manuscripts exceeding the threshold as a result of the first similarity determination process in which the collation determination is performed on the entire image of the document to be collated, the object to be collated is determined according to the number of similar registered manuscripts. Divide the document. Since the number of assigned manuscripts is predetermined as 2, 4, 6, 8, 9, etc., if the number of similar registered manuscripts matches the above number of assignments, it is divided by that value. If they do not match, the number of assignments is divided using a value larger than the number of similar registered originals. That is, if the number of registered documents exceeding the threshold is 3, 4 is selected, 6 is selected, and if it is 7, 8 is selected. Then, voting processing is performed for each divided area, and similar registered originals for each divided area are specified. If there are a plurality of registered originals exceeding the threshold as a result of the voting process in the divided area, the document is divided using a larger value. It should be noted that the maximum number of divisions is set to about 8 or 9 because it is meaningless to divide them too finely. Each image position corresponding to the number of divisions is determined in advance as described above.
以下では、閾値を超えた登録原稿の数が2であり、照合対象原稿を2分割して類似判定を行う例について説明する。 In the following, an example will be described in which the number of registered originals exceeding the threshold is 2, and the similarity determination is performed by dividing the original to be collated into two.
類似判定処理の結果、図27のような得票数を獲得し、インデックスID1の登録原稿AとインデックスID2の登録原稿Bに類似していると判定された場合、図28に示す一点鎖線L1のように、照合対象原稿を2分の1に分割し、a領域とb領域とする。そして、それぞれの領域における特徴点の特徴量を用いて2度目の投票処理を行う。
As a result of the similarity determination process, the number of votes obtained as shown in FIG. 27 is obtained, and when it is determined that the registered document A with the
そして、2領域の投票結果に応じて、以下のように判断する。 Then, the following determination is made according to the voting results of the two areas.
1)2度目の投票処理のa領域の投票結果が、登録原稿Aのみ得票数が閾値を超えている図29に示すようなものであり、b領域の投票結果が、登録原稿Bのみ得票数が閾値を超えている図30のようなものであった場合、類似度判定処理部は、照合対象原稿を、登録原稿Aと登録原稿Bの両方の画像を含む2in1原稿であると判断する。 1) The voting result of area a in the second voting process is as shown in FIG. 29 in which the number of votes for only registered original A exceeds the threshold, and the number of votes for only registered original B is the result of voting in area b. When the value exceeds the threshold value as shown in FIG. 30, the similarity determination processing unit determines that the document to be collated is a 2-in-1 document including both images of the registered document A and the registered document B.
2)2度目の投票処理のa領域(或いはb領域)の投票結果が、図29に示すようなものであり、他方のb領域(或いはa領域)の投票結果が、登録原稿Aも登録原稿Bも得票数が閾値以下の図31に示すようなものであった場合は、類似度判定処理部は、照合対象原稿を、a領域(或いはb領域)に登録原稿Aを含む2in1原稿であると判断する。 2) The voting result in area a (or area b) of the second voting process is as shown in FIG. 29, and the voting result in the other area b (or area a) is the registered original A and the registered original. When B is also as shown in FIG. 31 where the number of votes obtained is equal to or less than the threshold, the similarity determination processing unit is a 2-in-1 original that includes the original to be collated and the registered original A in the area a (or area b). Judge.
3)2度目の投票処理のa領域(或いはb領域)の投票結果が、図30に示すようなものであり、他方のb領域(或いはa領域)の投票結果が、登録原稿Aも登録原稿Bも得票数が閾値以下の図31に示すようなものであった場合は、類似度判定処理部は、照合対象原稿を、a領域(或いはb領域)に登録原稿Bを含む2in1原稿であると判断する。 3) The voting result of area a (or area b) of the second voting process is as shown in FIG. 30, and the voting result of the other area b (or area a) is the registered original A and the registered original. If B is also as shown in FIG. 31 where the number of votes obtained is equal to or less than the threshold value, the similarity determination processing unit is a 2-in-1 original including the original to be collated and the registered original B in the area a (or area b). Judge.
4)2度目の投票処理のa領域、b領域の投票結果がいずれも、登録原稿Aも登録原稿Bも得票数が閾値以下の図31に示すようなものであった場合は、類似度判定処理部は、照合対象原稿は、1度目の投票処理で得票数の多いほうの登録原稿、つまり、図27の結果であれば、登録原稿A(割付原稿ではない)と判断する。 4) When both the voting results in the areas a and b in the second voting process are as shown in FIG. 31 in which the number of votes obtained for both the registered document A and the registered document B is equal to or less than the threshold value, similarity determination is performed. The processing unit determines that the document to be collated is a registered document having a larger number of votes in the first voting process, that is, a registered document A (not an allocated document) if the result shown in FIG.
5)2度目の投票処理のa領域、b領域の少なくとも一方の投票結果が、登録原稿Aも登録原稿Bも得票数が閾値を超えた図27に示すようなものであった場合は、類似度判定処理部は、照合対象原稿をさらに、図28に示す破線L21にて分割し、照合対象原稿を4分割する。そして、各領域において、3度目の投票処理を行い、4つの領域の投票処理の結果をもとに、上記と同様の基準にて判断する。 5) If the voting result of at least one of the areas a and b in the second voting process is as shown in FIG. 27 where the number of votes obtained for both the registered document A and the registered document B exceeds the threshold, similar The degree determination processing unit further divides the document to be collated by a broken line L21 shown in FIG. 28, and divides the document to be collated into four. Then, a third voting process is performed in each area, and a determination is made based on the same criteria as above based on the results of the voting processes in the four areas.
なお、このような判定結果に応じた、入力画像データの出力処理の扱については、前記した実施の形態と同じである。 Note that the handling of the output processing of input image data according to such a determination result is the same as in the above-described embodiment.
また、上記した説明では、類似度判定処理部は、類似判定処理の結果、複数の登録画像に類似していると判定する基準として、閾値を複数の登録原稿が超えた場合を例示したが、例えば、最も得票数の多い登録原稿と、2番目、3番目、…に得票数の多い登録原稿との間で得票数の差をもとめ、差が所定値以下であるものを全て、類似する登録原稿としてもよい。 In the above description, the similarity determination processing unit has exemplified the case where a plurality of registered originals exceed a threshold as a reference for determining that the similarity is similar to a plurality of registered images as a result of the similarity determination process. For example, the difference in the number of votes is obtained between the registered manuscript with the largest number of votes and the second, third,... It may be a manuscript.
次に、この他の実施形態のデジタルカラー複写機における類似性判定処理について、図32に示すフロー図を参照しながら説明する。 Next, similarity determination processing in a digital color copying machine of another embodiment will be described with reference to the flowchart shown in FIG.
なお、S21〜S31、S32〜S35の処理は、先の実施形態の説明に用いた、図20のフローチャートと同じである。したがって、共通のステップ番号を付して、説明は省略する。 Note that the processing of S21 to S31 and S32 to S35 is the same as the flowchart of FIG. 20 used in the description of the previous embodiment. Therefore, a common step number is attached and explanation is omitted.
S31における類似性判定処理が、上記した1度目の類似性判定処理である。S31にて、類似する登録原稿がある場合は、S41に進み、類似する登録原稿が複数であるいか否かが判定され、複数でないつまり1つの場合は、S31で類似すると判定された登録原稿に予め定められている処理を表す制御信号を出力する(S48)。 The similarity determination process in S31 is the first similarity determination process described above. If there are similar registered originals in S31, the process proceeds to S41, where it is determined whether or not there are a plurality of similar registered originals. A control signal representing a predetermined process is output (S48).
S41にて複数であると判定されると、照合対象原稿を、類似する登録原稿の数に応じて分割し、分割した領域ごとに、投票処理を行わせ(S42)、各領域の投票処理結果をもとに、当該照合対象原稿の類似性判定処理を行わせる(S43)。 If it is determined that there are a plurality of documents in S41, the collation target document is divided according to the number of similar registered documents, and voting processing is performed for each divided region (S42). Based on the above, a similarity determination process for the document to be collated is performed (S43).
なお、図32では省略しているが、S42の分割した領域ごとの投票処理の結果、S41と同様のステップを実施し、1つの領域内に、類似する登録原稿が複数含まれていると判断されると、さらに分割数を上げて、領域ごとの投票処理、続く類似性判定処理を、繰り返し行わせる。 Although omitted in FIG. 32, as a result of the voting process for each divided area in S42, the same step as S41 is performed, and it is determined that a plurality of similar registered originals are included in one area. Then, the number of divisions is further increased, and the voting process for each area and the subsequent similarity determination process are repeatedly performed.
S43の類似性判定処理にて、割付原稿でないと判定されると、S44に進み、類似すると判定された登録原稿に予め定められている処理を表す制御信号を出力する。一方、割付原稿であると判定されると、S32に移行する。 If it is determined in the similarity determination process in S43 that the document is not an allocated document, the process proceeds to S44, and a control signal representing a process predetermined for a registered document determined to be similar is output. On the other hand, if it is determined that the document is an allocated document, the process proceeds to S32.
ここで、上記したるデジタルカラー複写機(画像データ出力処理装置)1の変形例について説明する。 Here, a modified example of the digital color copying machine (image data output processing device) 1 will be described.
ここでは、原稿種別判別部13が、さらに、入力画像データを読み取った元である当該原稿が割付原稿であるか否かの判別も行うと共に、割付原稿である場合はその割り付けの状態も求めるようになっている。
Here, the document
その方法について説明する。原稿種別判別部13は、RGB信号(画像データ)より、当該画像の主走査方向及び副走査方向のライン毎に、画素値が0から1、1から0に変化する反転回数(または、エッジの数)の分布を求め、これに基づいて割付原稿であるか否かと、割付原稿である場合はその割付数を検出する。
The method will be described. From the RGB signal (image data), the document
図21は、用紙短手方向(原稿短手方向)でもある副走査方向に延びる文字列を有し、行間が用紙長手方向(原稿長手方向)でもある主走査方向に並ぶ画像を有する非割付原稿の、主走査方向及び副走査方向における各反転回数のヒストグラムである。 FIG. 21 shows a non-allocated document having a character string extending in the sub-scanning direction which is also the paper short direction (original document short direction) and having images arranged in the main scanning direction whose line spacing is also the paper longitudinal direction (original document longitudinal direction). 6 is a histogram of the number of inversions in the main scanning direction and the sub-scanning direction.
このような非割付原稿の場合、図21に示すように、主走査方向における反転回数の分布には、文章中の行間に対応して、所定の間隔毎に反転回数が現れる。一方、副走査方向における反転回数の分布は、原稿周辺部の余白部分を除いて連続した分布となる。 In the case of such an unallocated document, as shown in FIG. 21, the number of inversions appears at a predetermined interval in the distribution of the number of inversions in the main scanning direction corresponding to the line spacing in the text. On the other hand, the distribution of the number of inversions in the sub-scanning direction is a continuous distribution except for the margin portion around the document.
このような図21に示す原稿を2in1にて処理した割付原稿は、図22に示すように、割付原稿の用紙長手方向でもある主走査方向に並んで2つの画像が割り付けられ、それら各画像が、その元原稿における用紙短手方向でもある主走査方向に延びる文字列を有し、行間が用紙長手方向でもある副走査方向に並ぶこととなる。 In such a layout document obtained by processing the document shown in FIG. 21 with 2 in 1, as shown in FIG. 22, two images are allocated side by side in the main scanning direction which is also the sheet longitudinal direction of the layout document. The original document has a character string extending in the main scanning direction which is also the short side direction of the paper, and the line spacing is arranged in the sub scanning direction which is also the long side direction of the paper.
このような割付原稿の場合、主走査方向及び副走査方向における各反転回数のヒストグラムは、図22に示すように、主走査方向における反転回数には、連続した分布が2つ形成されると共に、反転回数の分布と分布との間に、空白部分に応じた空白領域が存在する。一方、副走査方向における反転回数は、行間に対応して、所定の間隔毎に反転回数が現れる。 In the case of such an allocated document, the histogram of the number of inversions in the main scanning direction and the sub-scanning direction has two continuous distributions in the number of inversions in the main scanning direction, as shown in FIG. A blank area corresponding to a blank portion exists between the distribution of the number of inversions. On the other hand, the number of inversions in the sub-scanning direction appears at every predetermined interval corresponding to the line spacing.
このようなヒストグラムを基に、主走査方向における反転回数に連続した分布が2つあり、2つの分布間に形成される、反転回数が所定値(例えば、20)以下の空白領域が、例えば、(割付原稿のレイアウトにもよるが)20mm程度(解像度が300dpiの場合、170ライン程度)存在するとき、当該照合対象画像は、2in1原稿のものであると判定する。このとき、割付数は2となる。 Based on such a histogram, there are two distributions that are continuous with the number of inversions in the main scanning direction, and a blank area that is formed between the two distributions and that has an inversion number of a predetermined value (for example, 20) or less is, for example, If there is about 20 mm (depending on the layout of the allocated document) (about 170 lines when the resolution is 300 dpi), it is determined that the collation target image is that of a 2-in-1 document. At this time, the allocation number is two.
但し、空白領域の存在を判定する場合には、反転回数が所定値以下のラインに、最初のラインまたは最終のラインが含まれる場合は、原稿周辺部の余白領域であると判断して、これを除外する必要がある。 However, when determining the presence of a blank area, if the first line or the last line is included in a line whose number of inversions is less than or equal to a predetermined value, it is determined that the area is a blank area around the document. Need to be excluded.
このように、主走査方向及び副走査方向における反転回数の分布を求め、空白領域の有無を判定することで、2in1原稿であるか否かを判別することができる。 In this way, it is possible to determine whether or not the document is a 2-in-1 document by obtaining the distribution of the number of inversions in the main scanning direction and the sub-scanning direction and determining the presence or absence of a blank area.
なお、ここでは、割付数が2の2in1原稿の場合の判別基準を例示したが、割付数が4の4in1原稿の場合は、主走査方向、副走査方向ともに、原稿画像間を分ける空白部分に応じた空白領域が現れ、同様にして判別できる。 In this example, the discrimination criterion for a 2-in-1 document with an allocation number of 2 is illustrated. However, in the case of a 4-in-1 document with an allocation number of 4, a blank portion that separates document images in both the main scanning direction and the sub-scanning direction is used. A corresponding blank area appears and can be identified in the same manner.
また、ここでは、主走査方向、副走査方向のライン毎に、反転回数(または、エッジの数)の分布を求めたが、ライン毎の画素値の平均値や分散値を用いても良い。 Here, the distribution of the number of inversions (or the number of edges) is obtained for each line in the main scanning direction and the sub-scanning direction, but an average value or a variance value of pixel values for each line may be used.
その他、このような画像データを用いて割付原稿であるか否かを判別する方法以外に、設定条件より、割付原稿であるかどうかを判別することも可能である。 In addition to the method for determining whether or not the document is an allocated document using such image data, it is also possible to determine whether or not the document is an allocated document based on setting conditions.
例えば、操作パネル6を用いた入力操作にて、画像モードにおける分割画像出力モードが選択された場合には、これをデジタルカラー複写機1の各部の動作を制御するための主制御部(CPU)が認識することで、入力された画像データが割付原稿のものであることを判別できる。
For example, when the divided image output mode in the image mode is selected by an input operation using the
または、カラー画像入力装置2が、コンピュータに接続されたスキャナの場合であれば、読み取り条件の設定画面(スキャナドライバの設定画面)において、原稿種別を選択するので、この選択結果を上記主制御部(CPU)が認識することで判別できる。
Alternatively, if the color
そして、編集処理部16が、上記した原稿種別判別部13にて求められた割付状態に応じて、割付原稿を分割する位置を決定してこれに基づいて画像を分割し、分割した各部分の画像に対して回転処理、拡大処理を行って、1頁ずつの画像データに変換する編集処理を行う。これにより、割付原稿の複数の原稿画像を1頁ずつ出力処理する頁単位処理が可能になる。
Then, the
文書照合処理部14は、頁単位処理において、割付原稿に登録原稿に類似する原稿画像が含まれていると判定すると、強制モードでは、全頁の出力処理を規制し、通常モードでは、該当する頁の出力処理のみを規制する。
If the document
また、例えば、精度よく判定を行って処理を行う場合、登録原稿におけるハッシュ値が一致した特徴点の照合対象画像上の分布状態、あるいは、照合対象原稿を分割して、それぞれの領域に存在する特徴点を用いて投票処理を行う際に、上記判定結果を参照するようにしても良い。例えば、割付数の検出結果を参照して、特徴点の照合対象画像上の分布状態や特徴点を用いた投票処理を行う構成とすることもできる。 In addition, for example, when processing is performed with accurate determination, the distribution state of the feature points having the same hash value in the registered document on the image to be collated, or the document to be collated is divided and exists in each region. When the voting process is performed using the feature points, the determination result may be referred to. For example, a configuration may be adopted in which a voting process using a distribution state of feature points on a collation target image or feature points is performed with reference to a result of detecting the number of assignments.
このように、割付数を参照するようにすることで、割付数を検出する構成が別に必要になるが、割付原稿を判定する判定精度を向上させることができる。なお、割付数を参照して処理を行うか否かは、例えば、通常モードと高精度モードを設けておき、操作パネルより選択できるようにしておけば良い。 In this way, by referring to the allocation number, a separate configuration for detecting the allocation number is required, but the determination accuracy for determining the allocated document can be improved. Whether or not to perform processing with reference to the number of assignments may be selected from the operation panel by providing a normal mode and a high-accuracy mode, for example.
但し、本願発明は、たとえこのような割付状態を検出したり、ユーザに入力させたりすることなく、画像照合技術を用いて、照合対象原稿が割付原稿のものであるか否かを判断し、割付原稿であれば、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であるという点に利点を有するものである。 However, the present invention determines whether or not the document to be collated is that of the allocated document using the image matching technology without detecting such an allocation state or causing the user to input, An allocated document has an advantage in that output processing can be controlled in image units based on the determination result of each image included in the allocated document.
また、本実施形態では、本発明をデジタルカラー複写機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではなく、例えば、図23に示すように、デジタルカラー複合機(MFP:Multi-Function Printer)100に適用してもよい。このデジタルカラー複合機100は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能、ファイリング機能等を有している。
In the present embodiment, the case where the present invention is applied to the digital
なお、図23においては、デジタルカラー複写機1において説明したものと同等の機能を有する部材には、同じ記号を付しており、それらの説明については省略する。
In FIG. 23, members having the same functions as those described in the digital
ここで、送信装置5は、例えばモデムやネットワークカードより構成される。送信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
Here, the
送信装置5は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
When transmitting the image data, the
また、送信装置5は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置3に入力する。受信した画像データは、カラー画像処理装置3で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置4によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、カラー画像処理装置3が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
In addition, when receiving image data, the
また、複合機100では、操作パネル6を用いて、ユーザの入力画像データに対する処理要求(例えば処理モード(複写、印刷、送信、編集など)、処理枚数(複写枚数、印刷枚数)、入力画像データの送信先など)を入力することができ、文書照合処理部14に制御部7は、類似ありと判定された場合に、複写処理だけでなく、印刷、送信、編集などの出力処理について規制する。
In the
例えば、ファクシミリを送信するモードが選択され、文書照合処理部14において、出力禁止であると判定された場合、メモリに格納されている画像データの消去を行い、ファックスの送信を行わないようにする。あるいは、登録原稿ではあっても、ファックス送信が許可されている場合(登録原稿を表すインデックスIDと送信先を対応付けて、予め格納しておく)は、送信先のデータを参照して送信するようにしても良い。
For example, when the mode for transmitting a facsimile is selected and the document
図24を用いて、上記したデジタルカラー複合機100におけるファックス処理について説明する。なお、図24では、処理がスルーとなる処理部を点線で表している。ここでは使用するが、ファックス処理においては、領域分離処理部17は必須ではない。また、ファックス送信の場合、階調再現処理部22の後、解像度変換部、圧縮/伸張処理部で処理が行われる。
With reference to FIG. 24, the fax processing in the digital color multifunction peripheral 100 will be described. Note that in FIG. 24, the processing unit in which the processing is through is indicated by a dotted line. Although used here, the area
送信においては、カラー画像入力装置2より読み込まれた、例えば8ビットの入力画像データはカラー画像処理装置3において上記の各処理が施され、入力階調補正部15で、例えば、マトリクス演算等によりRGB信号を輝度信号(図24ではK信号)に変換する。輝度信号に変換された画像データは、領域分離処理部17、空間フィルタ処理部20で所定の処理がなされ、階調再現処理部22において、例えば、誤差拡散処理により2値化される。2値化された画像データは、必要に応じて回転処理がなされ、圧縮/伸張処理部にて、所定の形式で圧縮されて、不図示のメモリに格納される。
In transmission, for example, 8-bit input image data read from the color
送信装置(例えば、モデム)5にて相手先との送信手続きを行い送信可能な状態が確保されると、画像データは所定の形式で圧縮された状態で上記メモリから読み出され、圧縮形式の変更など必要な処理が施され、相手先に通信回線を介して順次送信される。 When the transmission device (for example, a modem) 5 performs a transmission procedure with the other party and a state where transmission is possible is ensured, the image data is read from the memory in a compressed state in a predetermined format, Necessary processing such as change is performed, and the data is sequentially transmitted to the other party via a communication line.
一方、受信においては、相手先から通信回線を介して画像が送信されてくると、制御部は、通信手続きを行いながら相手先から送信されてくる画像を受信すると共に、所定の形式に圧縮された状態の受信画像データは、カラー画像処理装置3に入力される。
On the other hand, in receiving, when an image is transmitted from the other party via the communication line, the control unit receives the image transmitted from the other party while performing the communication procedure and is compressed into a predetermined format. The received image data in this state is input to the color
カラー画像処理装置3に入力された受信画像データは、圧縮/伸張処理部での処理により伸張されページ画像として送信されてきた原稿画像が再現される。再現された原稿画像は、カラー画像出力装置の能力に応じて、回転処理がなされ解像度変換部にて解像度変換処理が行なわれる。ページ単位の画像として再現された画像データは、カラー画像出力装置より出力される、
なお、以上では、モノクロの画像データを処理する場合を例として示したが、例えば、領域分離処理部17と空間フィルタ処理部20との間に、カラー画像入力装置2より読み込まれたRGB信号に対し、色再現の忠実化実現のために不要吸収成分を含む、トナーやインクのCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行う色補正部18、および、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する黒生成下色除去部を備えたカラー画像処理装置を用いても構わない。
The received image data input to the color
In the above, the case where monochrome image data is processed has been described as an example. However, for example, the RGB signal read from the color
さらに、デジタルカラー複合機100においては、上記入力画像データとして、スキャナにて原稿を読み取り入力される画像データと、コンピュータ(ソフトウェア)を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データ、すなわち、紙ベースのデータを電子化したもの、電子データで直接作成したもの(電子申請など)、2通りが考えられる。 Further, in the digital color multifunction peripheral 100, as the input image data, image data read and input by a scanner and electronic data created using a computer (software), for example, a format of electronic data, There are two types of electronic data created by inputting necessary items using a computer (software), that is, paper-based data that has been digitized, and data that has been created directly with electronic data (such as electronic application).
また、図23の構成では、類似性判定処理をデジタルカラー複合機100に備えられた文書照合処理部14において行っているが、これに限るものではない。例えば、制御部7及び文書照合処理部14が有する機能の一部または全部を、デジタルカラー複合機100に通信可能に接続された外部装置において実行するようにしてもよい。
In the configuration of FIG. 23, the similarity determination process is performed in the document
その他、本発明を、例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。 In addition, the present invention may be applied to, for example, a monochrome multifunction peripheral. Further, the present invention is not limited to a multifunction machine, and may be applied to, for example, a single facsimile communication apparatus, a copying machine, an image reading apparatus, or the like.
例えば、図25は、本発明をフラットベッドスキャナ101に適用した場合の構成例を示すブロック図である。 For example, FIG. 25 is a block diagram showing a configuration example when the present invention is applied to the flatbed scanner 101.
この図に示すように、フラットベッドスキャナ101は、カラー画像入力装置2とカラー画像処理装置3’とを備えている。カラー画像処理装置3’は、A/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7(図25では図示せず)、メモリ8(図25では図示せず)から構成されており、これに、カラー画像入力装置2が接続され、全体として画像データ出力処理装置を構成している。なお、カラー画像入力装置(画像読取手段)2におけるA/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7、メモリ8の機能は、上述したデジタルカラー複写機1と略同様であるのでここでは説明を省略する。
As shown in this figure, the flatbed scanner 101 includes a color
また、上記各実施形態において、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に備えられる文書照合処理部及び制御部を構成する各部(各ブロック)は、CPU等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複写機1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
In each of the above embodiments, each unit (each block) constituting the document collation processing unit and the control unit provided in the
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。 Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
Further, the digital
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
The blocks of the digital
本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。 The computer system of the present invention includes an image input device such as a flatbed scanner, a film scanner, and a digital camera, a computer in which various processes such as the similarity calculation process and the similarity determination process are performed by loading a predetermined program, You may comprise by image formation prosecution, such as an image display apparatus, such as a CRT display and a liquid crystal display which displays the processing result of a computer, and a printer etc. which output the processing result of a computer on paper. Furthermore, a network card, a modem, or the like as communication means for connecting to a server or the like via a network may be provided.
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.
1 デジタルカラー複写機(画像データ出力処理装置)
100 デジタルカラー複合機(画像データ出力処理装置)
101 フラットベッドスキャナ(画像データ出力処理装置)
2 カラー画像入力装置(入力データ取得部、画像入力装置)
3,3’ カラー画像処理装置
4 カラー画像出力装置
5 送信装置
6 操作パネル
7 制御部
8 メモリ(記憶部)
13 原稿種別判別部(割付原稿判別部)
14 文書照合処理部(画像照合装置)
31 特徴点算出部(特徴量抽出部)
32 特徴量算出部(特徴量抽出部)
32a 特徴点抽出部
32b 不変量算出部
32c ハッシュ値算出部
33 投票処理部(類似度算出部)
34 類似度判定処理部
35 登録処理部
1 Digital color copier (image data output processing device)
100 Digital color MFP (image data output processing device)
101 Flatbed scanner (image data output processing device)
2 Color image input device (input data acquisition unit, image input device)
3, 3 ′ color
13 Document Type Discrimination Unit (Allocated Document Discrimination Unit)
14 Document verification processing unit (image verification device)
31 feature point calculation unit (feature amount extraction unit)
32 feature amount calculation unit (feature amount extraction unit)
32a Feature
34 similarity
Claims (13)
上記画像照合部は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性を判定し、
上記出力処理制御部は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であり、
上記特徴量は、画像における画素が連結した各連結領域の重心の前記画像上の位置を表す情報である特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に算出されており、
上記画像照合部は、特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、
上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することを特徴とする画像データ出力処理装置。 Output processing is performed on the input image data. While extracting the feature amount of the image from the input image data, the extracted feature amount is compared with the feature amount of the registered document image registered in advance. An image matching unit that determines similarity between the image of the input image data and the image of the registered document, and an output processing control unit that controls output processing for the input image data based on a determination result of the image matching unit; In an image data output processing device comprising:
The image collating unit determines similarity to the registered document in units of images included in the allocated document when the input image data is for an allocated document in which images of a plurality of documents are allocated.
The output process control unit can control the output process in units of images based on the determination result of each image included in the allocated document.
The feature amount is located around the target feature point when one of the feature points, which is information indicating the position on the image of the center of gravity of each connected region connected by pixels in the image, is used as the target feature point. Is calculated for each feature point by calculating the feature amount of the target feature point based on the positional relationship between the surrounding feature points,
The image matching unit determines similarity using the degree of matching of feature quantities and the information on the positions of feature points where the feature quantities on the input image data match,
The output processing control unit controls at least the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount when the image of the input image data is similar to the image of the registered document. An image data output processing device.
上記画像照合部は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性を判定し、
上記出力処理制御部は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であり、
上記特徴量は、画像における画素が連結した各連結領域の重心の前記画像上の位置を表す情報である特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に算出されており、
上記画像照合部は、入力画像データの画像が複数の登録原稿の画像と類似する場合に、類似する画像の数に応じて入力画像データの画像を複数に分割し、分割された各領域に含まれる特徴点より算出された特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、
上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することを特徴とする画像データ出力処理装置。 Output processing is performed on the input image data. While extracting the feature amount of the image from the input image data, the extracted feature amount is compared with the feature amount of the registered document image registered in advance. An image matching unit that determines similarity between the image of the input image data and the image of the registered document, and an output processing control unit that controls output processing for the input image data based on a determination result of the image matching unit; In an image data output processing device comprising:
The image collating unit determines similarity to the registered document in units of images included in the allocated document when the input image data is for an allocated document in which images of a plurality of documents are allocated.
The output process control unit can control the output process in units of images based on the determination result of each image included in the allocated document.
The feature amount is located around the target feature point when one of the feature points, which is information indicating the position on the image of the center of gravity of each connected region connected by pixels in the image, is used as the target feature point. Is calculated for each feature point by calculating the feature amount of the target feature point based on the positional relationship between the surrounding feature points,
When the image of the input image data is similar to the images of a plurality of registered originals, the image collating unit divides the image of the input image data into a plurality according to the number of similar images and includes the divided image in each divided area. The similarity is determined using the degree of matching of the feature amount calculated from the feature point and the information on the position of the feature point where the feature amount on the input image data matches,
The output processing control unit controls at least the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount when the image of the input image data is similar to the image of the registered document. An image data output processing device.
上記強制モードにおいては、最も優先度の高い制御を選択することを特徴とする請求項3に記載の画像データ出力処理装置。 Output processing control is set for each registered manuscript,
4. The image data output processing apparatus according to claim 3 , wherein the control having the highest priority is selected in the forced mode.
記録材上に画像データに基づいて画像を形成する画像形成手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置。 The output process is an image forming process for forming an image on a recording material based on the input image data,
The image data output processing apparatus according to claim 1, further comprising an image forming unit that forms an image on the recording material based on the image data.
画像データを記憶装置に格納していくファイリング手段を備えることを特徴とする請求項1〜4の何れか1項に記載の画像データ出力処理装置。 The output process is a filing process for storing the input image data in a storage device;
5. The image data output processing device according to claim 1, further comprising filing means for storing the image data in a storage device.
上記画像照合部は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性の判定が可能であり、
上記出力処理制御部は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であり、
上記特徴量は、画像における画素が連結した各連結領域の重心の前記画像上の位置を表す情報である特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に算出されており、
上記画像照合部は、特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、
上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することを特徴とする画像データ出力処理装置の制御装置。 Provided in an image data output processing device that performs output processing on input image data, and performs output processing on input image data, and extracts image feature amounts from input image data, while extracting the features An image collating unit that compares the amount of the image with the registered document image feature amount registered in advance and determines the similarity between the image of the input image data and the image of the registered document, and the determination result of the image collating unit And a control device including an output processing control unit that controls output processing for the input image data,
The image collating unit can determine similarity with a registered document in units of images included in an allocated document when the input image data is an allocated document in which images of a plurality of documents are allocated.
The output process control unit can control the output process in units of images based on the determination result of each image included in the allocated document.
The feature amount is located around the target feature point when one of the feature points, which is information indicating the position on the image of the center of gravity of each connected region connected by pixels in the image, is used as the target feature point. Is calculated for each feature point by calculating the feature amount of the target feature point based on the positional relationship between the surrounding feature points,
The image matching unit determines similarity using the degree of matching of feature quantities and the information on the positions of feature points where the feature quantities on the input image data match,
The output processing control unit controls at least the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount when the image of the input image data is similar to the image of the registered document. A control device for an image data output processing device.
上記画像照合部は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性の判定が可能であり、
上記出力処理制御部は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であり、
上記特徴量は、画像における画素が連結した各連結領域の重心の前記画像上の位置を表す情報である特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に算出されており、
上記画像照合部は、入力画像データの画像が複数の登録原稿の画像と類似する場合に、類似する画像の数に応じて入力画像データの画像を複数に分割し、分割された各領域に含まれる特徴点より算出された特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、
上記出力処理制御部は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することを特徴とする画像データ出力処理装置の制御装置。 Provided in an image data output processing device that performs output processing on input image data, and performs output processing on input image data, and extracts image feature amounts from input image data, while extracting the features An image collating unit that compares the amount of the image with the registered document image feature amount registered in advance and determines the similarity between the image of the input image data and the image of the registered document, and the determination result of the image collating unit And a control device including an output processing control unit that controls output processing for the input image data,
The image collating unit can determine similarity with a registered document in units of images included in an allocated document when the input image data is for an allocated document in which images of a plurality of documents are allocated.
The output process control unit can control the output process in units of images based on the determination result of each image included in the allocated document.
The feature amount is located around the target feature point when one of the feature points, which is information indicating the position on the image of the center of gravity of each connected region connected by pixels in the image, is used as the target feature point. Is calculated for each feature point by calculating the feature amount of the target feature point based on the positional relationship between the surrounding feature points,
When the image of the input image data is similar to the images of a plurality of registered originals, the image collating unit divides the image of the input image data into a plurality according to the number of similar images and includes the divided image in each divided area. The similarity is determined using the degree of matching of the feature amounts calculated from the feature points and the information on the position of the feature points where the feature amounts on the input image data match,
The output processing control unit controls at least the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount when the image of the input image data is similar to the image of the registered document. A control device for an image data output processing device.
上記画像照合工程は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性の判定が可能であり、
上記出力処理制御工程は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であり、
上記特徴量は、画像における画素が連結した各連結領域の重心の前記画像上の位置を表す情報である特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に算出されており、
上記画像照合工程は、特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、
上記出力処理制御工程は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することを特徴とする画像データ出力処理方法。 Output processing is performed on the input image data. While extracting the feature amount of the image from the input image data, the extracted feature amount is compared with the feature amount of the registered document image registered in advance. An image matching step for determining the similarity between the image of the input image data and the image of the registered document, and an output processing control step for controlling an output process for the input image data based on a determination result of the image matching step. In an image data output processing method comprising:
In the image collation step, when the input image data is for a layout document in which images of a plurality of documents are allocated, similarity with a registered document can be determined for each image included in the layout document.
The output process control step can control the output process in units of images based on the determination result of each image included in the assigned document.
The feature amount is located around the target feature point when one of the feature points, which is information indicating the position on the image of the center of gravity of each connected region connected by pixels in the image, is used as the target feature point. Is calculated for each feature point by calculating the feature amount of the target feature point based on the positional relationship between the surrounding feature points,
The image matching step determines similarity using the degree of matching of feature quantities and the information on the positions of feature points where the feature quantities on the input image data match,
The output processing control step controls at least the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount when the image of the input image data is similar to the image of the registered document. An image data output processing method characterized by the above.
上記画像照合工程は、上記入力画像データが複数の原稿の各画像が割り付けられた割付原稿のものである場合、割付原稿に含まれる画像単位で登録原稿との類似性の判定が可能であり、
上記出力処理制御工程は、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であり、
上記特徴量は、画像における画素が連結した各連結領域の重心の前記画像上の位置を表す情報である特徴点のうちの一つを注目特徴点とした場合に、注目特徴点の周辺に位置する周辺の特徴点の位置関係に基づいて当該注目特徴点の特徴量を算出することで、特徴点毎に算出されており、
上記画像照合工程は、入力画像データの画像が複数の登録原稿の画像と類似する場合に、類似する画像の数に応じて入力画像データの画像を複数に分割し、分割された各領域に含まれる特徴点より算出された特徴量の一致の度合いと、入力画像データ上の特徴量が一致した特徴点の位置の情報とを用いて類似性を判定し、
上記出力処理制御工程は、入力画像データの画像が登録原稿の画像に類似する場合、上記特徴量が一致する特徴点の位置の情報より特定される位置にある画像の出力処理を少なくとも制御することを特徴とする画像データ出力処理装置の制御装置。 Output processing is performed on the input image data. While extracting the feature amount of the image from the input image data, the extracted feature amount is compared with the feature amount of the registered document image registered in advance. An image matching step for determining the similarity between the image of the input image data and the image of the registered document, and an output processing control step for controlling an output process for the input image data based on a determination result of the image matching step. In an image data output processing method comprising:
In the image collation step, when the input image data is for a layout document in which images of a plurality of documents are allocated, similarity with a registered document can be determined for each image included in the layout document.
The output process control step can control the output process in units of images based on the determination result of each image included in the assigned document.
The feature amount is located around the target feature point when one of the feature points, which is information indicating the position on the image of the center of gravity of each connected region connected by pixels in the image, is used as the target feature point. Is calculated for each feature point by calculating the feature amount of the target feature point based on the positional relationship between the surrounding feature points,
The image collating step divides the image of the input image data into a plurality of images according to the number of similar images when the image of the input image data is similar to the images of a plurality of registered documents, and is included in each divided area. The similarity is determined using the degree of matching of the feature amount calculated from the feature point and the information on the position of the feature point where the feature amount on the input image data matches,
The output processing control step controls at least the output processing of the image at the position specified by the information on the position of the feature point having the same feature amount when the image of the input image data is similar to the image of the registered document. A control device for an image data output processing device.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008218841A JP4487003B2 (en) | 2007-09-21 | 2008-08-27 | Image data output processing apparatus, image data output processing method, program, and recording medium |
US12/233,366 US8260061B2 (en) | 2007-09-21 | 2008-09-18 | Image data output processing apparatus and image data output processing method |
CN2008101493405A CN101393414B (en) | 2007-09-21 | 2008-09-19 | Image data output processing apparatus and image data output processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007246015 | 2007-09-21 | ||
JP2008218841A JP4487003B2 (en) | 2007-09-21 | 2008-08-27 | Image data output processing apparatus, image data output processing method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009095007A JP2009095007A (en) | 2009-04-30 |
JP4487003B2 true JP4487003B2 (en) | 2010-06-23 |
Family
ID=40493740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008218841A Active JP4487003B2 (en) | 2007-09-21 | 2008-08-27 | Image data output processing apparatus, image data output processing method, program, and recording medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4487003B2 (en) |
CN (1) | CN101393414B (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4794662B2 (en) | 2009-07-31 | 2011-10-19 | シャープ株式会社 | Image reading apparatus and image determination method |
JP5857704B2 (en) * | 2011-12-13 | 2016-02-10 | 富士ゼロックス株式会社 | Image processing apparatus and program |
JP5962497B2 (en) * | 2012-12-25 | 2016-08-03 | 富士通株式会社 | Image processing method, image processing apparatus, and image processing program |
JP5920293B2 (en) * | 2013-08-23 | 2016-05-18 | 富士ゼロックス株式会社 | Image processing apparatus and program |
-
2008
- 2008-08-27 JP JP2008218841A patent/JP4487003B2/en active Active
- 2008-09-19 CN CN2008101493405A patent/CN101393414B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101393414A (en) | 2009-03-25 |
CN101393414B (en) | 2011-01-05 |
JP2009095007A (en) | 2009-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4362528B2 (en) | Image collation apparatus, image collation method, image data output processing apparatus, program, and recording medium | |
JP4469885B2 (en) | Image collation apparatus, image collation method, image data output processing apparatus, program, and recording medium | |
US8260061B2 (en) | Image data output processing apparatus and image data output processing method | |
JP4538507B2 (en) | Image collation method, image collation apparatus, image data output processing apparatus, program, and storage medium | |
US8131083B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method having storage section, divided into a plurality of regions, for storing identification information for identifying reference image | |
US8208163B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
US8238614B2 (en) | Image data output processing apparatus and image data output processing method excelling in similarity determination of duplex document | |
US8103108B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
US8050505B2 (en) | Image processing apparatus, image processing system, image processing method, and image forming apparatus | |
JP4362538B2 (en) | Image processing apparatus, image forming apparatus, image transmitting apparatus, image reading apparatus, image processing system, image processing method, image processing program, and recording medium thereof | |
JP4378413B2 (en) | Image processing apparatus, image forming apparatus, image reading apparatus, image processing system, image processing method, image processing program, and recording medium thereof | |
JP4486995B2 (en) | Image processing system | |
US8180159B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
JP4336729B2 (en) | Image processing apparatus, image forming apparatus, image transmitting apparatus, image reading apparatus, image processing system, image processing program, and recording medium thereof | |
JP4362537B2 (en) | Image processing apparatus, image forming apparatus, image transmitting apparatus, image reading apparatus, image processing system, image processing method, image processing program, and recording medium thereof | |
US7991189B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
US8184912B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
JP4588771B2 (en) | Image processing method, image processing apparatus, image forming apparatus, program, and storage medium | |
JP4487003B2 (en) | Image data output processing apparatus, image data output processing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100329 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4487003 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |