JP4375523B2

JP4375523B2 - Image processing apparatus, image processing method, image processing program, printed material inspection apparatus, printed material inspection method, printed material inspection program

Info

Publication number: JP4375523B2
Application number: JP2002369326A
Authority: JP
Inventors: 賢治表木
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2009-12-02
Anticipated expiration: 2022-12-20
Also published as: JP2004199548A; US20040146202A1; US7684625B2

Description

【０００１】
【発明の属する技術分野】
本発明は、照合の見本となる基準画像と、照合の対象となる検査画像との間で照合検査を行う技術に関するものである。
【０００２】
【従来の技術】
従来より、各種の物体の外観検査や印刷物の画質ディフェクト（白抜け、汚れなど）の検査など、各種の検査工程において画像の照合を用いた検査方法が利用されてきている。画像の照合を行う場合、通常は正常な状態の照合の見本となる基準画像を用意しておき、照合の対象となる検査画像を取得して、両者を重畳して比較照合することによって不一致部分などを検出し、判定を行っている。
【０００３】
しかし、検査画像を取得する際に検査画像に位置ずれや伸縮（倍率変動）などの幾何学的歪みが含まれてしまい、基準画像を検査画像へ単純に重畳しただけでは、高精度な照合が実現できないという問題がある。
【０００４】
また、これら位置ずれや伸縮などは検査画像中に数多く散在しており、このような幾何学的歪みへの対策として、例えば特許文献１に記載されているように、基準画像と検査画像のうち、少なくとも一方の画像から複数の分割画像を作成し、分割単位毎に位置ずれ補正量を求める画像の位置ずれ補正方法が知られている。また、特許文献２に記載されているように、検査画像の幾何学的歪みが無視できる程度のサイズに分割し、そのサイズに合わせて基準画像も分割し、分割単位毎に画素以下の精度で位置ずれを検出し、また欠陥判定を行う技術が知られている。しかし、特許文献１及び特許文献２に記載されている方法では、検査画像中に幾何学的歪みが不均一に散在している場合、分割画像を作成しても、分割画像内に幾何学的歪みが残存してしまう。そのため、結局、ブロック画像内にも幾何学的歪みが残存してしまい、照合精度が低下するという課題があった。
【０００５】
このような従来の技術からも分かるように、基準画像と検査画像を画素単位で精確に照合するためには、検査画像中に散在する不均一な幾何学的歪みを残さず取り除く事が必要である。そのための従来の技術として、例えば特許文献３に記載されているように、位置関係が既知の複数の識別マークを持つ校正用の対象物を撮影し、画像に現れる幾何学的歪み成分を予め調べて幾何学的歪み校正データとして保持し、これを用いて検査画像の幾何学的歪み補正を実施してから画像照合を行う検査方法が知られている。この検査方法では、予め校正データを取得して保持しておくので、検査画像の幾何学的歪みの発生傾向が毎回の照合検査で等しければ問題ない。しかし、幾何学的歪みの発生傾向が毎回異なる場合には、幾何学的歪み校正データと実際の幾何学的歪みの傾向が異なることが考えられ、幾何学的歪みの影響を取り除けず、照合精度が低下する課題があった。
【０００６】
また、例えば特許文献４に記載されているように、基準画像と検査画像から分割画像を作成し、比較することで位置変化を表す歪みベクトルを複数生成し、位置変化の補正を行う方法も知られている。しかしこの方法では、上述のブロック毎の補正を行う場合と同様に、分割画像内に散在する幾何学的歪みの平均的な傾向を取り除くことは出来ても、分割画像中に歪みが不均一に散在している場合、代表的な傾向と合致しない歪みを取り除くことができない。そのため、分割画像内に幾何学的歪みが残存することによって、照合精度が低下するという課題があった。
【０００７】
さらに、例えば特許文献５に記載されているように、登録指紋からＸＹ方向の最長隆線幅分布波形を求め、このＸＹ方向の最長隆線幅分布波形より所定の法則にしたがってその特徴的な山（リム）だけを抽出し、このリムによって構成されるＸＹ方向の最長隆線幅分布波形（最長隆線幅極大値抽出波形）を登録データとして記憶しておき、位置補正の際に用いる指紋照合装置が知られている。しかしこの装置では、検査画像の伸縮に対する対策が成されていないため、伸縮の影響を取り除くことができず、照合精度が低下するという課題があった。
【０００８】
このように、従来の技術では、検査画像中に散在する不均一な位置ずれや伸縮などの幾何学的歪みを効率良く取り除くことができず、高精度の検査を行うことができないという問題があった。
【０００９】
【特許文献１】
特許第３１４０８３８号公報
【特許文献２】
特開平１１−１９４１５４号公報
【特許文献３】
特開２００２−１８１７３２号公報
【特許文献４】
特開平８−３５９３６号公報
【特許文献５】
特開平７−５７０８５号公報
【００１０】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、検査画像中に散在する不均一な位置ずれや伸縮などの幾何学的歪みを取り除き、また、幾何学的歪みに対する補正量が画質ディフェクトの影響を受けない、高精度、かつ、高速な画像処理装置及び画像処理方法、画像処理プログラムを提供することを目的とするものである。またそのような画像処理装置、画像処理方法、画像処理プログラムを利用し、高精度かつ高速に印刷物の検査を行うことができる印刷物検査装置、印刷物検査方法、印刷物検査プログラムを提供することを目的とするものである。
【００１１】
【課題を解決するための手段】
本発明は、基準画像と検査画像を照合する画像処理装置及び画像処理方法と、そのような画像処理をコンピュータに行わせるための画像処理プログラムであって、基準画像と検査画像の投影波形を各々作成し、その投影波形から特徴量を抽出して特徴量データを各々作成し、基準画像の前記特徴量データと検査画像の前記特徴量データ間の特徴量データ同士の対応付けを行い、特徴量データ間の対応付けの結果に基づいて基準画像の座標と対応する検査画像の座標により構成される順方向のｎ次元ルックアップテーブル及び検査画像の座標と対応する基準画像の座標により構成される逆方向のｎ次元ルックアップテーブルを求め、順方向のｎ次元ルックアップテーブルを用いて基準画像の黒画素に対応する検査画像の注目画素を特定し、当該注目画素の周囲における黒画素の有無を判断するとともに、逆方向のｎ次元ルックアップテーブルを用いて検査画像の黒画素に対応する基準画像の注目画素を特定し、当該注目画素の周囲における黒画素の有無を判断することにより、基準画像と検査画像との照合を行うことを特徴とするものである。
【００１２】
このように基準画像と検査画像のそれぞれから抽出した特徴量データを対応付けて幾何学的歪みを考慮した照合処理を行うことができ、例えば検査画像中に不均一に位置ずれや伸縮などが存在していても、効率よくそれらを除去することができ、高精度な照合処理が可能となる。また、それぞれの基準画像及び検査画像についてこのような処理を行うことによって、幾何学的歪みの発生傾向が毎回異なるような場合でも、精確な照合処理を行うことができる。
【００１３】
上述のように、照合の際に順方向及び逆方向のｎ次元ルックアップテーブルを用いることによって、幾何学的歪みを高速に補正して白抜けと汚れの検査を実行することが可能となり、従って照合処理全体を高速化することができる。
【００１４】
なお、特徴量データ間の対応付けは、例えば各特徴量データの要素を順次対応づけるほか、ＤＰマッチングなどの手法を適用することができる。
【００１５】
また、基準画像と検査画像の投影波形を作成する処理としては、例えば、画像をｍ×ｎに分割した分割画像を作成し、分割画像毎に投影波形を作成し、これら投影波形を組み合わせて画像全体もしくは前記分割画像よりも広い面積の部分画像の投影波形を作成するという手法を用いることができる。通常は直交する方向に２回の走査を行って投影波形を作成する手法が一般的であるが、このような手法では少なくとも一方向の走査においてメモリのアクセスなどに時間を要してしまう。しかし、本発明の手法を用いて各分割画像毎に走査すれば、１回の走査だけでも２方向の投影波形を作成することが可能であり、処理時間を大幅に短縮し、高速な処理を実現することができる。
【００１６】
また本発明は、印刷物の検査を行う印刷物検査装置及び印刷物検査方法と、そのような印刷物の検査をコンピュータに行わせるための印刷物検査プログラムであって、印刷物の画像を読み取って検査画像とし、また印刷物の形成に用いた基準画像を用い、検査画像と基準画像との照合を本発明の画像処理装置及び画像処理方法、画像処理プログラムの実行によって行うことを特徴とするものである。これによって、印刷物あるいは印刷物から読み取った検査画像中に不均一な位置ずれや伸縮などの幾何学的歪みが散在していても、これらを効率よく取り除き、また、画質ディフェクトの影響を受けずに、高精度かつ高速に印刷物の検査を行うことができる。
【００１７】
【発明の実施の形態】
図１は、本発明の画像処理装置及び画像処理方法の実施の一形態を示すブロック図である。図中、１１は投影波形作成部、１２は特徴量抽出部、１３は特徴量対応付け部、１４は補正量算出部、１５はルックアップテーブル、１６は画像照合部、２１は分割画像作成部、２２は分割投影波形作成部、２３は投影波形合成部である。
【００１８】
投影波形作成部１１は、照合の見本となる基準画像と、照合の対象となる検査画像のそれぞれについて、投影波形を作成する。投影波形の作成方法は任意であるが、ここでは高速に投影波形の作成を行う構成として、分割画像作成部２１、分割投影波形作成部２２、投影波形合成部２３を設け、分割画像毎に投影波形を作成して合成する手法を用いる。
【００１９】
分割画像作成部２１は、画像（基準画像及び検査画像）をｍ×ｎに分割した分割画像を作成する。分割投影波形作成部２２は、それぞれの分割画像から投影波形を作成する。投影波形合成部２３は、分割画像毎に作成した投影波形を組み合わせ、画像全体もしくは前記分割画像よりも広い面積の部分画像の投影波形を作成する。
【００２０】
特徴量抽出部１２は、投影波形作成部１１で作成した基準画像及び検査画像の投影波形から特徴量を抽出し、それぞれの特徴量データを作成する。
【００２１】
特徴量対応付け部１３は、特徴量抽出部１２で作成した基準画像の特徴量データと検査画像の特徴量データ間の特徴量データ同士の対応付けを行う。この対応付けを行う手法としては、それぞれの特徴量データの要素を順次対応付けるほか、例えばＤＰマッチングなどの手法を用いてそれぞれの特徴量同士の対応付けを行うことができる。
【００２２】
補正量算出部１４は、特徴量対応付け部１３による特徴量データ間の対応付けの結果に基づいて、基準画像と検査画像の幾何学的歪みに対する補正量を求める。ここではさらに、求めた補正量あるいはその補正量と補正量を補間したデータを保持した幾何学的歪み補正用のｎ次元のルックアップテーブル１５を作成する。
【００２３】
画像照合部１６は、補正量算出部１４で求めた補正量あるいは補正量算出部１４で作成したルックアップテーブル１５を用い、幾何学的歪みを考慮した基準画像と検査画像との照合を行う。あるいは照合の前に幾何学的歪みを補正した画像を作成してから照合を行ってもよい。
【００２４】
図２は、本発明の画像処理装置及び画像処理方法の実施の一形態における動作の一例を示すフローチャートである。Ｓ１ａでは、投影波形作成部１１の分割画像作成部２１において、基準画像をＸ方向にｍ分割、Ｙ方向にｎ分割し、ｍ×ｎ個の分割画像を作成する。分割形式は、ｍ×ｎ個に均等分割しても良いし、照合検査を実施したい領域を切り出しても良いし、分割せずに元の画像のままでも良いし、分割画像を作成せずに元画像の該当するメモリ領域を指定しても良い。図３は、分割画像作成の概念図である。図３に示した例は均等分割の例を示しており、ｍ＝４、ｎ＝８の場合を図示した。また、説明を簡単にするために、基準画像と検査画像は二値画像とし、画像サイズを４００画素×８００画素とする。従って分割画像の画像サイズは１００画素×１００画素となる。なお、この後の説明においても同じ条件であるものとするが、本発明はこれに限られるものではない。Ｓ１ｂでは、検査画像に対して、Ｓ１ａと同じ操作を行う。
【００２５】
Ｓ２ａでは、投影波形作成部１１の分割投影波形作成部２２において、Ｓ１ａで作成した各分割画像について、Ｘ方向の分割投影波形とＹ方向の分割投影波形を順次作成する。図４は、分割投影波形の作成の一例の説明図である。Ｘ方向の分割投影波形は、分割画像のＸ座標に対する黒画素の分布状況を画素数で表したものである。すなわち、同じＸ座標値の画素をＹ方向に走査した時の黒画素の計数値を、それぞれのＸ座標毎に求めて並べたものである。同様に、Ｙ方向の分割投影波形は、画像のＹ座標に対する黒画素の分布状況を画素数で表したものである。すなわち、同じＹ座標値の画素をＸ方向に走査した時の黒画素の計数値を、それぞれのＹ座標毎に求めて並べたものである。多値画像の場合、画素数の代わりに、各画素の階調値を累算して投影波形を作成しても良い。なお、Ｘ方向の走査とＹ方向の走査は、いずれか一方のみとしてＸ方向及びＹ方向の両分割投影波形を作成することも可能であり、分割画像からの分割投影波形の作成は高速に行うことができる。
【００２６】
Ｓ２ｂでは、Ｓ１ｂで検査画像から作成した各分割画像に対して、Ｓ２ａと同じ操作を行う。よって、Ｓ２ａとＳ２ｂの処理では、基準画像を分割した３２個の分割画像と検査画像を分割した３２個の分割画像のそれぞれについてＸ方向の分割投影波形とＹ方向の分割投影波形を求めたことになる。すなわち、
・基準画像のＸ方向の分割投影波形（３２個）
・基準画像のＹ方向の分割投影波形（３２個）
・検査画像のＸ方向の分割投影波形（３２個）
・検査画像のＹ方向の分割投影波形（３２個）
が作成される。
【００２７】
Ｓ３ａでは、投影波形作成部１１の分割投影波形合成部２３において、Ｓ２ａで作成した各分割投影波形を組み合わせ、分割投影波形を連結または加算することによって、Ｓ１ａで作成した分割画像よりも広い面積の分割画像の投影波形を作成する。図５は、Ｘ方向における分割投影波形の連結処理の一例を示している。ここでは図５（Ａ）に示す基準画像を図５（Ｂ）に示すような帯状の領域に分割したとき、それぞれの帯状領域におけるＸ方向の投影波形を求める。それぞれの帯状領域は、図５（Ｃ）に示すようにそれぞれ４個の分割画像を含んでおり、図５（Ｄ）に示すようにそれぞれの分割画像毎にＸ方向の分割投影波形が求められている。これら４個ずつの分割投影波形を単純に連結することによって、帯状領域のＸ方向の投影波形を得ることができる。
【００２８】
図６は、図５での説明を簡易に数式化した説明図である。図５（Ｄ）において最下段に示した４個の分割投影波形から１本のＸ方向の投影波形を作成する場合について図６に示している。図６（Ａ）〜（Ｄ）は、連結する４つの分割投影波形を示している。Ｘ方向に隣接して並ぶ４つの分割画像領域から作成された４個のＸ方向の分割投影波形を
Ｐ_x1（ｘ）０≦ｘ＜１００
Ｐ_x2（ｘ）１００≦ｘ＜２００
Ｐ_x3（ｘ）２００≦ｘ＜３００
Ｐ_x4（ｘ）３００≦ｘ＜４００
とする。Ｘ方向に隣接して並ぶこれら４つの分割画像全体を所望画像領域（帯状領域）とすれば、この所望画像領域の投影波形Ｐ_xall（ｘ）は、
Ｐ_xall（ｘ）＝Ｐ_x1（ｘ）＋Ｐ_x2（ｘ）＋Ｐ_x3（ｘ）＋Ｐ_x4（ｘ）
０≦ｘ＜４００
で表せる。連結された投影波形を図６（Ｅ）に示している。
【００２９】
図７は、Ｙ方向における分割投影波形の連結処理の一例を簡易に数式化した説明図である。同様にＹ方向については縦長の４つの帯状領域を考え、それぞれの帯状領域に含まれる８個ずつの分割画像について、それぞれ求めたＹ方向の分割投影波形を連結することによって、縦長の帯状領域のそれぞれについてＹ方向の投影波形を作成することができる。
【００３０】
図７（Ａ）〜（Ｈ）は、連結する８つの分割投影波形を示している。図６の説明と同様に、Ｙ方向に隣接して並ぶ８つの画像領域から作成された８つのＹ方向の分割投影波形を
Ｐ_y1（ｙ）０≦ｙ＜１００
Ｐ_y2（ｙ）１００≦ｙ＜２００
Ｐ_y3（ｙ）２００≦ｙ＜３００
Ｐ_y4（ｙ）３００≦ｙ＜４００
Ｐ_y5（ｙ）４００≦ｙ＜５００
Ｐ_y6（ｙ）５００≦ｙ＜６００
Ｐ_y7（ｙ）６００≦ｙ＜７００
Ｐ_y8（ｙ）７００≦ｙ＜８００
とする。Ｙ方向に隣接して並ぶこれら８つの分割画像全体を所望画像領域（帯状領域）とすれば、この所望画像領域の投影波形Ｐ_yall（ｙ）は、
Ｐ_yall（ｙ）＝Ｐ_y1（ｙ）＋Ｐ_y2（ｙ）＋Ｐ_y3（ｙ）＋Ｐ_y4（ｙ）＋Ｐ_y5（ｙ）＋Ｐ_y6（ｙ）＋Ｐ_y7（ｙ）＋Ｐ_y8（ｙ）
０≦ｙ＜８００
で表せる。連結された投影波形を図７（Ｉ）に示している。
【００３１】
以上から、画像全体に対して、任意の画像領域毎に投影波形を作成して連結することで、所望画像領域における所望方向の投影波形が作成できる。
【００３２】
なお、上述のような横長の帯状領域におけるＸ方向の投影波形及び縦長の帯状領域におけるＹ方向の投影波形以外にも、分割画像よりも大きな領域のＸ方向及びＹ方向の投影波形を作成することができる。この場合、連結以外に加算が必要になる場合がある。この分割投影波形の加算についても簡単に説明しておく。
【００３３】
図８は、Ｘ方向の分割投影波形の加算による投影波形の作成の一例の説明図である。ここでは図８（Ａ）に矢線を付して示すＹ方向に連続する２つの分割領域を、図８（Ｂ）に矢線を付して示す１つの所望画像領域として１つのＸ方向の投影波形を作成する場合を示している。
【００３４】
Ｙ方向に隣接して並ぶ２つの分割画像から作成された２つのＸ方向の分割投影波形を
Ｐ'_x1（ｘ）０≦ｘ＜１００
Ｐ'_x2（ｘ）０≦ｘ＜１００
とする。これらの分割投影波形を図８（Ｃ），（Ｄ）に示している。Ｙ方向に隣接して並ぶこれら２つの分割画像全体を所望画像領城とすれば、この所望画像領城の投影波形Ｐ'_xall（ｘ）は、
Ｐ'_xall（ｘ）＝Ｐ'_x1（ｘ）＋Ｐ'_x2（ｘ）０≦ｘ＜１００
で表せる。加算された投影波形を図８（Ｅ）に示している。
【００３５】
図９は、Ｙ方向の分割投影波形の加算による投影波形の作成の一例の説明図である。ここでは図９（Ａ）に矢線を付して示すＸ方向に連続する２つの分割領域を、図９（Ｂ）に矢線を付して示す１つの所望画像領域として１つのＹ方向の投影波形を作成する場合を示している。
【００３６】
図８の説明と同様に、Ｘ方向に隣接して並ぶ２つの分割画像から作成された２つのＹ方向の投影波形を
Ｐ'_y1（ｙ）０≦ｙ＜１００
Ｐ'_y2（ｙ）０≦ｙ＜１００
とする。これらの分割投影波形を図９（Ｃ），（Ｄ）に示している。Ｘ方向に隣接して並ぶこれら２つの分割画像全体を所望画像領域とすれば、この所望画像領域の投影波形Ｐ'_yall（ｙ）は、
Ｐ'_yall（ｙ）＝Ｐ'_y1（ｙ）＋Ｐ'_y2（ｙ）０≦ｙ＜１００
で表せる。加算された投影波形を図９（Ｅ）に示している。
【００３７】
以上のように分割投影波形の連結や加算を行うことによって、所望の画像領域におけるＸ方向、Ｙ方向の投影波形を作成することができる。なお、以下の説明では、図６、図７で説明したように、分割投影波形を連結して、横長の帯状領域におけるＸ方向の投影波形及び縦長の帯状領域におけるＹ方向の投影波形を求めることとする。この場合、Ｘ方向の投影波形は８つ、Ｙ方向の投影波形は４つ作成することができる。
【００３８】
このように分割投影波形の組み合わせによって投影波形を作成する第一の理由は、画像に存在する幾何学的歪みを、Ｘ方向とＹ方向で複数に分けて求められるからである。この例では４×８分割しているので、３２個の分割画像が作成され、これらの投影波形の組み合わせにより、上述のようにＸ方向の投影波形は８個、Ｙ方向の投影波形は４個作成できる。
【００３９】
第二の理由は、計算量の削減である。投影波形を作成するには、作成したい画像全体を走査して画素を計数する必要がある。画像の面積に比例して計算量も増加するので、高速処理を目的とした場合、最小限の計算量で済ませたい。図１０は、分割投影波形の合成処理によって得られるＸ方向とＹ方向の投影波形の一例の説明図である。図１０（Ａ）において破線で示す方向の帯状領域毎に、横長の帯状領域についてはＸ方向の投影波形を、縦長の帯状領域についてはＹ方向の投影波形をそれぞれ求めることになる。このとき、図１０（Ｂ）に示すように、横長の帯状領域と縦長の帯状領域とは、ハッチングを施した部分で重なっている。上述のように分割画像ごとに分割投影波形を求める場合、ハッチングを施した重複部分については一度の画像走査で分割投影波形を求めることができ、重複した走査を防ぐことができる。すべての分割領域において同様に重複した走査を防ぐことができるので、これによって投影波形を作成するための計算量を半減させることができる。
【００４０】
Ｓ３ｂでは、Ｓ２ｂで作成した分割投影波形について、Ｓ３ａと同じ操作を行う。よって、分割投影波形はＳ３ａとＳ３ｂにおける合成処理によって、
・基準画像のＸ方向の投影波形（８個）
・基準画像のＹ方向の投影波形（４個）
・検査画像のＸ方向の投影波形（８個）
・検査画像のＹ方向の投影波形（４個）
に集約される。
【００４１】
Ｓ４ａでは、特徴量抽出部１２において、Ｓ３ａで作成したＸ，Ｙ方向の各投影波形から特徴量を抽出し、特徴量データを順次作成する。図１１は、特徴量抽出処理の一例の説明図である。抽出する特徴量は任意であり、投影波形のピーク（山、谷、山と谷）でも良いし、微分フィルタ等を用いて投影波形から取り出したエッジでも良いし、任意の周波数成分でも良いし、任意の勾配でも良い。図１１に示した例では、特徴量の一例として投影波形のピークを示しており、山（白丸で図示）と谷（黒丸で図示）を図示している。以下の説明では投影波形のピーク（山：白丸で図示）を特徴量とし、ピークがある投影波形上の位置を特徴量データとする。特徴量は、山と谷を用いた方が照合精度は向上するが、以降の説明を簡単にするために山のみとする。
【００４２】
Ｓ４ｂでは、Ｓ３ｂで作成した投影波形について、Ｓ４ａと同じ操作を行う。よって、Ｓ４ａとＳ４ｂにおける特徴量の抽出処理によって、
・基準画像のＸ方向の特徴量データ（８系統）
・基準画像のＹ方向の特徴量データ（４系統）
・検査画像のＸ方向の特徴量データ（８系統）
・検査画像のＹ方向の特徴量データ（４系統）
が作成される。なお、１つの投影波形から得られる複数の特徴量データの列を１系統として示している。
【００４３】
Ｓ５では、特徴量対応付け部１３において、Ｓ４ａで求めた基準画像の特徴量データとＳ４ｂで求めた検査画像の特徴量データの対応付けを行う。具体的には、Ｓ４ａで求めた基準画像のＸ方向の特徴量データとＳ４ｂで求めた検査画像のＸ方向特徴量データ間における各特徴量要素データの対応付け、及び、Ｓ４ａで求めた基準画像のＹ方向の特徴量データとＳ４ｂで求めた検査画像のＹ方向の特徴量データ間における各特徴量要素データ対応付けを、それぞれの系統毎に行うことになる。対応付けの手法としては、例えばＤＰマッチングを用いることができる。
【００４４】
図１２は、ＤＰマッチングによる特徴量データの対応付けの一例の説明図である。図１２では、具体例として、Ｓ４ａで求めた基準画像のＸ方向の特徴量データが｛１０，２０，３０，４０，５０，６０，７０，８０，９０｝、Ｓ４ｂで求めた検査画像のＸ方向の特徴量データが｛３，１３，２１，３４，４４，４６，４９，５８，７４，８１，９５，１００｝であった場合を示している。ここで、検査画像の特徴量データ｛３，４６，１００｝は、印刷物の汚れにより発生した偽ピーク、すなわち画像ノイズであり、基準画像のピーク・データと対応付けすべき要素は｛１３，２１，３４，４４，４９，５８，７４，８１，９５｝である。ＤＰマッチングを用いれば、図１２のように偽ピークの影響を受けずに正しく対応付けできる。
【００４５】
ＤＰマッチングは一般的なものであり、以下に簡単に説明する。図１３は、一般的なＤＰマッチングを説明するための格子グラフである。いま、基準画像の特徴量データを
Ｐ＝ｐ₁，ｐ₂，…，ｐ_j，…，ｐ_J
検査画像の特徴量データを
Ｑ＝ｑ₁，ｑ₂，…，ｑ_k，…，ｑ_K
とすると、類似度（または、距離）Ｄ（Ｐ、Ｑ）は
Ｄ（Ｐ、Ｑ）＝ｍｉｎ_k(j)［Σ_j=1 ^Jｈ（ｊ，ｋ）］
と表す。また、ｋ（ｊ）の条件を以下の通りとする。
１．ｋ（ｊ）は、ｊの連続関数
２．ｋ（ｊ）は、ｊの単調増加関数
３．ｋ（１）＝１、ｋ（Ｊ）＝Ｋ
【００４６】
ＰＱ平面上の位置（ｊ、ｋ）での部分的な類似度（または、距離）ｈ（ｊ，ｋ）は、次の通りとなる。
ｈ（ｊ，ｋ）＝ｍｉｎ［ｈ（ｊ−１，ｋ−１）＋２ｄ（ｊ，ｋ），ｈ（ｊ−１，ｋ）＋ｄ（ｊ，ｋ），ｈ（ｊ，ｋ−１）＋ｄ（ｊ，ｋ）］
ただし、ｄ（ｊ，ｋ）＝||ｐ_j−ｑ_k||
【００４７】
このＤ（Ｐ，Ｑ）を与える経路を求めることで、基準画像の特徴量データＰ＝ｐ₁，ｐ₂，…，ｐ_j，…，ｐ_Jと、検査画像の特徴量データＱ＝ｑ₁，ｑ₂，…，ｑ_k，…，ｑ_Kを対応付けることができる。このようにして求めた経路の一例を図１３に示している。なお、図１３に示す例は一般的な例であり、上述の基準画像の特徴量データ及び検査画像の特徴量データの具体例から求めた経路を図１２に示している。
【００４８】
図１４は、特徴量データの対応付け結果の具体例の説明図である。上述のようにしてＤＰマッチングによって基準画像の特徴量データと検査画像の特徴量データを対応付けることによって、図１４に示すような対応付けの結果を得ることができる。上述のように、基準画像のＸ方向の特徴量データ｛１０，２０，３０，４０，５０，６０，７０，８０，９０｝に対し、検査画像の特徴量データ｛１３，２１，３４，４４，４９，５８，７４，８１，９５｝が対応付けられる。
【００４９】
このような特徴量データの対応付けをＸ方向のそれぞれの系統の特徴量データについて行う。さらに、Ｙ方向の特徴量データについても同じ操作を行う。よって、Ｓ５では、
・Ｘ方向の特徴量対応付けデータ（８系統）
・Ｙ方向の特徴量対応付けデータ（４系統）
が作成される。
【００５０】
上述の例ではピークのうち山のみを特徴量としたが、例えば山と谷を特徴量とする場合には、対応する山の特徴量データと谷の特徴量データを内挿する。例えば、基準画像のＸ方向の特徴量対応付けデータ（山）と基準画像のＸ方向の特徴量対応付けデータ（谷）を内挿することで、基準画像のＸ方向の特徴量対応付けデータ（山谷）を作成することができる。よって、
・Ｘ方向の特徴量対応付けデータ（山谷）（８系統）
・Ｙ方向の特徴量対応付けデータ（山谷）（４系統）
が集約されて作成されることになる。
【００５１】
また、上述の例のような偽ピークが発生し難い低ノイズなシステムなら、ＤＰマッチングを用いずに、基準画像の特徴量データ各要素と検査画像の特徴量データ各要素を順次対応付けしても良い。
【００５２】
Ｓ６では、補正量算出部１４において、Ｓ５で求めた基準画像の特徴量対応付けデータと、検査画像の特徴量対応付けデータから、幾何学的歪みの補正用ルックアップテーブルを作成する。ルックアップテーブルは１個以上あれば良く、ここでは
・基準画像の座標と対応する検査画像の座標により構成される「順方向ルックアップテーブル」
・検査画像の座標と対応する基準画像の座標により構成される「逆方向ルックアップテーブル」
の２つとした。
【００５３】
図１５は、Ｘ方向の特徴量対応付けデータから順方向ルックアップテーブルを作成する処理の一例の説明図、図１６は、作成されたルックアップテーブルの一例の説明図である。まず、各ルックアップテーブルを作成するために必要な各補正量を決定する。順方向ルックアップテーブルを作成するための歪み補正量は、特徴量対応付けデータの対応するデータ要素間において
（検査画像のＸ方向特徴量データ要素−基準画像のＸ方向特徴量データ要素）を計算すればよい。すなわち図１４に示した特徴量対応付けデータから各補正量を算出すると、図１５（Ａ）に示すように求められる。なお、逆方向ルックアップテーブルの補正量は、順方向ルックアップテーブルを作成するための歪み補正量の符号を入れ替えることによって、簡単に作成することができる。
【００５４】
これで特徴量データが存在するＸ座標での補正量が求められたが、他のＸ座標における補正量はまだ決定されていない。そのため、補正量がまだ決定されていないＸ座標について、その補正量を求める。図１７は、特徴量データの座標位置と補正領域の関係の一例の説明図である。図中、黒丸は特徴量データが存在するＸ座標における補正量を示している。図１５に示した例では、図１５（Ｂ）に示すように特徴量データの隣り合う要素との中点を始点及び終点として、一つの補正量を適用する。これをグラフ化すると図１７に示すようになり、各黒丸で示す特徴量データの左右に伸びる線分が、その特徴量データに対応する補正量を適用する座標範囲を示している。例えば、基準画像のＸ座標が４６〜５５の間においては補正量「−１」を適用することになる。従って基準画像のＸ座標が４６〜５５に対応する検査画像のＸ座標は４５〜５４となる。このようにして得られる順方向のルックアップテーブルを図１６に示している。なお、逆方向のルックアップテーブルも同様にして作成することができる。
【００５５】
図１８は、特徴量データの座標位置と補正領域の関係の別の例の説明図、図１９は、作成されたルックアップテーブルの別の例の説明図である。図１８、図１９に示した例では、図１５、図１６に示した例と同様に図１８（Ａ）に示すようにそれぞれの特徴量データにおける補正量を求めた後、その平均値を図１８（Ｂ）に示すように求め、この平均値を全体の補正量として用いたものである。補正量の平均値を用いて得られた順方向のルックアップテーブルを図１９に示している。逆方向のルックアップテーブルについても同様にして作成することができる。
【００５６】
上述の例ではＸ方向について１系統の特徴量データから順方向及び逆方向のルックアップテーブルを作成したが、他の系統についても同様にルックアップテーブルを作成する。またＹ方向についても同様にして、順方向と逆方向のルックアップテーブルを作成する。よって、Ｓ６では、
・Ｘ方向の順方向ルックアップテーブル（８系統）
・Ｙ方向の順方向ルックアップテーブル（４系統）
・Ｘ方向の逆方向ルックアップテーブル（８系統）
・Ｙ方向の逆方向ルックアップテーブル（４系統）
が作成される。
【００５７】
Ｓ７では、Ｓ６で作成したルックアップテーブル群に対して補間処理を行い、拡張ルックアップテーブル群を作成する。図２０は、補間ルックアップテーブルの作成過程の一例の説明図である。Ｓ６で作成したルックアップテーブル群は、幾何学的歪みの特性を大まかに反映しているが、より高精度な画像照合を目標とした場合、不十分である。よって、Ｓ７において、補間ルックアップテーブルを作成し、画像照合精度を向上させる。
【００５８】
図２０（Ａ）には、図１５（Ａ）や図１８（Ａ）と同様の幾何学的歪み補正量を示している。これをグラフ化すると図２０（Ｂ）に示すようなグラフとなる。各特徴量データが存在するＸ座標における補正量をもとに、Ｘ座標間において補間し、各Ｘ座標における補正量を求める。これによって、図２０（Ｃ）において黒丸で示すように、各Ｘ座標における補正量を求め、補間ルックアップテーブルを作成する。なお、歪み補正量は計算機上の画素単位であるので、補正量は離散値となる。また、逆方向の補間ルックアップテーブルについても同様に作成することができる。
【００５９】
なお、Ｓ６で作成したルックアップテーブル群でも実用に耐える場合は、Ｓ７における補間ルックアップテーブルの作成処理を省略しても構わないし、Ｓ６で作成したルックアップテーブル群全てに対し、補間ルックアップテーブルを作成する必要も無い。
【００６０】
図２１は、Ｘ方向の順方向の補間ルックアップテーブルの作成過程の一例の説明図、図２２は、作成されたＸ方向の順方向の補間ルックアップテーブルの一例の説明図である。上述のように、図２１（Ａ）に示す特徴量データの対応付け結果及び補正量から図２１（Ｂ）に示すように補間処理を行い、図２２に示すような補間ルックアップテーブルを作成することができる。
【００６１】
Ｓ６で作成したルックアップテーブル群について、必要な系統のルックアップテーブルに関して上述のようにして補間ルックアップテーブルを作成する。Ｓ６で作成したルックアップテーブル群全てについて補間ルックアップテーブルを作成した場合、
・Ｘ方向の順方向補間ルックアップテーブル（８系統）
・Ｙ方向の順方向補間ルックアップテーブル（４系統）
・Ｘ方向の逆方向補間ルックアップテーブル（８系統）
・Ｙ方向の逆方向補間ルックアップテーブル（４系統）
が作成される。なお、ここまでの処理において作成されたルックアップテーブルあるいは補間ルックアップテーブルの集合が図１におけるルックアップテーブル１５となる。
【００６２】
上述の図１５、図１６や図１８、図１９で示した方法によって作成したルックアップテーブルあるいはさらに図２１，図２２で示した方法によって作成した補間ルックアップテーブルのほかにも、種々の方法によって特徴量データの対応付け結果及び補正量からｎ次元のルックアップテーブルを作成することができる。図２３は、１次元ルックアップテーブルの一般形の説明図である。図２３（Ａ），（Ｂ）には順方向の１次元ルックアップテーブルルックアップテーブルを、また図２３（Ｃ），（Ｄ）には逆方向１次元ルックアップテーブルのを一般化した構成を示している。ただし、基準画像の大きさをＸ方向にＭ画素、Ｙ方向にＮ画素であるものとし、検査画像をＸ方向にＩ画素、Ｙ方向にＪ回素であるものとしている。
【００６３】
まず、図２３（Ａ），（Ｂ）に示す順方向の１次元ルックアップテーブルに着目する。基準画像の任意の注目画素が持つ座標を（Ｘ_m，Ｙ_n）とすれば、基準画像の大ききはＸ方向にＭ画素、Ｙ方向にＮ画素であるので、
０≦ｍ≦Ｍ−１
０≦ｎ≦Ｎ−１
となる。また、Ｘ方向とＹ方向における順方向の幾何学的歪み補正量を（Ｓ_X，Ｓ_Y）とすれば、基準画像の注目画素に対する検査画像の参照画素の座標は次式で表せる。
（Ｘ_m＋Ｓ_X，Ｙ_n＋Ｓ_Y）
ここで、補正量（Ｓ_X、Ｓ_Y）は、定数であっても良いし、Ｘ_mまたはＹ_nの関数であっても良いので、次式の通りとなる。
Ｓ_X＝ｃｏｎｓｔａｎｔ、または、Ｓ_X＝ｆ（Ｘ_m）
Ｓ_Y＝ｃｏｎｓｔａｎｔ、または、Ｓ_Y＝ｆ（Ｙ_n）
【００６４】
また、検査画像の大ききがＸ方向にＩ画素、Ｙ方向にＪ画素であることから、以下の制約条件を持つ。
０≦Ｘ_m＋Ｓ_X≦Ｉ−１
０≦Ｙ_n＋Ｓ_Y≦Ｊ−１
【００６５】
以上の条件で、Ｘ方向の順方向１次元ルックアップテーブル（大きさＭ個）とＹ方向の順方向１次元ルックアップテーブル（大きさＮ個）が作成できる。これらの順方向１次元ルックアップテーブルを用いれば、基準画像の任意の注目画素に対する検査画像の参照画素のＸ座標とＹ座標を独立に参照できる。また、検査画像の参照画素の座標は、幾何学的歪みを補正したものである。
【００６６】
逆方向１次元ルックアップテーブルも同様に、検査画像の任意の注目画素が持つ座標を（Ｘ'_i，Ｙ'_j）とすれば、検査画像の大きさはＸ方向にＩ画素、Ｙ方向にＪ画素であるので、
０≦ｉ≦Ｉ−１
０≦ｊ≦Ｊ−１
となる。また、Ｘ方向とＹ方向における逆方向の幾何学的歪み補正量を（Ｓ'_X，Ｓ'_Y）とすれば、検査画像の注目画素に対する基準画像の参照画素の座標は次式で表せる。
（Ｘ'_i＋Ｓ'_X，Ｙ'_j＋Ｓ'_Y）
ここで、補正量（Ｓ'_X，Ｓ'_Y）は、定数であっても良いし、Ｘ'_mまたはＹ'_nの関数であっても良いので、次式の通りとなる。
Ｓ'_X＝ｃｏｎｓｔａｎｔ、または、Ｓ'_X＝ｆ（Ｘ'_i）
Ｓ'_Y＝ｃｏｎｓｔａｎｔ、または、Ｓ'_Y＝ｆ（Ｙ'_j）
【００６７】
また、基準画像の大きさがＸ方向にＭ画素、Ｙ方向にＮ画素であることから、以下の制約条件を持つ。
０≦Ｘ'_i＋Ｓ'_X≦Ｍ−１
０≦Ｙ'_j＋Ｓ'_Y≦Ｎ−１
【００６８】
以上の条件で、Ｘ方向の逆方向１次元ルックアップテーブル（大ききＩ個）とＹ方向の逆方向１次元ルックアップテーブル（大ききＪ個）が作成できる。これらの逆方向１次元ルックアップテーブルを用いれば、検査画像の任意の注目画素に対応する検査画像の参照画素のＸ座標とＹ座標を独立に参照できる。また、検査画像の参照画素の座標は、幾何学的歪みを補正したものである。
【００６９】
図２４、図２５は、２次元ルックアップテーブルの一般形の説明図である。図２４には順方向の２次元ルックアップテーブルの一般形を、また図２５には逆方向の２次元ルックアップテーブルの一般形を、それぞれ示している。２次元ルックアップテーブルの各要素の作成方法は、図２３での説明と同じである。１次元ルックアップテーブルでは、Ｘ座標とＹ座標を独立に参照するのに対し、２次元ルックアップテーブルでは、ＸＹの両座標で参照を行う。つまり、基準画像の全画素について、検査画像の参照先を対応付けたものが順方向の２次元ルックアップテーブルであり、要素数はＭ×Ｎ個となる。逆に、検査画像の全画素について、基準画像の参照先を対応付けたものが逆方向の２次元ルックアップテーブルであり、要素数はＩ×Ｊ個となる。
【００７０】
このように、ルックアップテーブルは１次元に限らず、２次元のテーブルであってもよく、これらを含めてルックアップテーブル１５はｎ次元のルックアップテーブルで実現することができる。
【００７１】
Ｓ８では、画像照合部１６において、Ｓ７で作成した全ての補間ルックアップテーブル群、もしくは、Ｓ６で作成した全てのルックアップテーブル群、もしくは、これらの組み合わせなど、ｎ次元ルックアップテーブルを用いてパターンマッチングを行う。パターンマッチングの方法としては、任意の方法を適用することができる。なお、具体的なパターンマッチングの方法については応用例において後述する。
【００７２】
以上述べたように、本発明の画像処理装置及び画像処理方法の実施の一形態では、基準画像と検査画像から投影波形を作成し、前記投影波形から特徴量を抽出し、特徴量の対応付けから、幾何学的歪み補正用のルックアップテーブルを作成する事で、基準画像に対する検査画像の不均一な幾何学的歪み（位置ずれや伸縮など）と、画質ディフェクト（白抜けや汚れなど）の影響を受けることなく、高精度で、かつ、高速な画像照合が可能となる。
【００７３】
本発明の画像処理装置及び画像処理方法は、種々の検査装置、検査方法に応用することができる。以下、応用例として、本発明の画像処理装置を印刷物検査に適用した例を示す。図２６は、本発明の印刷物検査装置及び印刷物検査方法の実施の一形態を示す構成図である。図中、３１はクライアントＰＣ、３２はプリントサーバ、３３は画像出力装置、３４は画像読取ユニット、３５は照合ユニット、４１は印刷物、４２は紙送りローラ、４３はランプ、４４はレンズ、４５はＣＣＤ、４６は制御部、５１は画像入力部、５２はメモリ、５３は画像処理部である。
【００７４】
図２６に示した構成では、クライアントＰＣ３１で作成されたドキュメントがプリントサーバ３２を経由して、プリンタなどの画像出力装置３３から印刷されて印刷物が作成される。その印刷物が画像読取ユニット３４において紙送りローラ４２で搬送され、その途中でランプ４３によって照明され、印刷物４１上の画像がレンズ４４を介して２ラインＣＣＤ４５に結像する。制御部４６の制御に従い、ＣＣＤ４５に結像した画像が読み取られ、照合ユニット３５へ検査画像として送信される。
【００７５】
一方、クライアントＰＣ３１で作成されたドキュメントを基準画像として、プリントサーバ３２を経由して照合ユニット３５へ送信される。照合ユニット３５では、プリントサーバ３２から送られてきた基準画像をメモリ５２に格納しておく。また、上述のように画像読取ユニット３４から検査画像が送られてくるので、これを画像入力部５１により受信する。画像処理部５３は、本発明の画像処理装置あるいは画像処理方法を実現する構成であり、これら基準画像と検査画像のパターンマッチングを行って印刷物に画質ディフェクトの有無を調べ、印刷物の品質を検査する。
【００７６】
照合ユニット３５による検査の結果、印刷物４１に画質ディフェクトが有ると判断した場合、プリントサーバ３２へエラーコードが送信される。エラーコードを受けたプリントサーバ３２は、画像出力装置３３を停止させたり、画像出力装置３３に画質ディフェクトが有ったドキュメントの再印刷させるなど、ユーザが予め定義しておいたエラーへの対応の処理を実施した後、クライアントＰＣ３１へ不良印刷が有ったことを送信する。
【００７７】
次に各部について詳細に説明する。クライアントＰＣ３１は汎用のコンピュータであり、ドキュメントの作成、編集など、各種の処理が行われる。クライアントＰＣ３１においてドキュメントの印刷命令がなされると、ドキュメントは基準画像データとしてプリントサーバ３２に送信される。
【００７８】
プリントサーバ３２は、クライアントＰＣ３１から基準画像データを受信し、基準画像データに関する種々の加工を行って画像出力装置３３へ送信する。また、プリントサーバ３２は、基準画像データを照合ユニット３５へも送信する。その他にプリントサーバ３２は、画像出力装置３３に対するジョブ管理なども行う。
【００７９】
画像出力装置３３は、プリントサーバ３２で加工した基準画像データを受信して、用紙上に画像を形成し、印刷物４１として出力する。画像出力装置３３としては、例えばゼログラフィー方式で、６００ｄｐｉ、白黒２５６階調のプリンタ等として構成することができる。もちろん、記録方式、解像度、白黒／カラーなどの機能については任意である。用紙サイズもＡ４サイズやＢ４サイズなど、任意である。
【００８０】
画像読取ユニット３４は、画像出力装置３３から出力された印刷物４１を２ラインＣＣＤ４５で高速に読み取り、検査画像データを作成し、照合ユニット３５へ送信する。画像読み取りユニットとしては公知の種々の構成を適用することができ、例えば特開２００２−８４３９７号公報に記載の構成などを用いることができる。
【００８１】
照合ユニット３５は、汎用のコンピュータで構成することができ、プリントサーバ３２から受信した基準画像をメモリ５２に記憶しておくとともに、画像読み取りユニット３４から受信した検査画像を画像入力部５１で受け取って内部のメモリに記憶する。そして画像処理部５３によって基準画像と検査画像の照合検査が実施され、その結果をプリントサーバ３２やクライアントＰＣ３１に送信する。
【００８２】
このような構成では、検査画像は、紙送りローラ４２による用紙搬送速度の変動特性や、レンズ４４などによる光学的な歪み特性などの影響を受け、不均一な位置ずれや伸縮などの幾何学的歪みが生じる。画像処理部５３に本発明の画像処理装置及び画像処理方法を適用し、幾何学的歪み補正用のルックアップテーブルを作成することによって、上述のような用紙搬送系や光学系の特性に応じて適切に幾何学的歪みの補正を行うことができ、画像照合精度の向上を図ることができる。
【００８３】
また、このような印刷物の検査において画像処理部５３で行う照合（パターンマッチング）の手法としては、例えば特願２００１−３８５８７６号公報に記載されている方法などを適用することができる。図２７は、印刷物の白抜けを検出する場合のパターンマッチング方法の一例の説明図である。図２７（Ａ）は基準画像、図２７（Ｂ）は検査画像を示している。なお、図２７中の基準画像と検査画像は、説明の都合上、各画像の一部だけを図示した。
【００８４】
印刷物の白抜けとは、電子原稿画像の画像形成画素が、印刷物上では画像形成（印刷）されていない欠陥である。換言すれば、基準画像の黒画素が、検査画像上では白画素となっている状態である。
【００８５】
基準画像で任意の黒画素（ｘ_org，ｙ_org）は、該当する順方向ルックアップテーブルを用いて、検査画像の画素（ｘ'_cap，ｙ'_cap）を注目画素と見做す。ここで、該当する順方向ルックアップテーブルとは、全順方向ルックアップテーブルのうち、（ｘ_org，ｙ_org）を含む分割画像から前述の手順により作成されたものである。
【００８６】
検査画像上にある注目画素の周囲（５画素×５画素、２４近傍）で黒画素が存在する場合、基準画像の黒画素（ｘ_org，ｙ_org）は白抜け画素でないと判断する。逆に、２４近傍中に黒画素が存在しない場合、基準画像の黒画素（ｘ_org，ｙ_org）は白抜け画素であると判断する。図２７に示す例では、図２７（Ｃ）に拡大して示すように、検査画像上にある注目画素（ｘ'_cap，ｙ'_cap）の２４近傍に黒画素が存在するので、白抜け画素ではないと判断することができる。
【００８７】
このような処理を基準画像中の全黒画素について順次行い、白抜け画素の総数を求める。白抜け画素の総数や、黒画素の総数に占める白抜け画素の総数の割合などの統計値と閾値の比較から最終的な白抜けを判断すれば良い。あるいは、差分画像を作成して白抜け面積を閾値と比較して最終的な白抜けの判断を行っても良い。
【００８８】
図２８は、印刷物の汚れを検出する場合のパターンマッチング方法の一例の説明図である。図２８（Ａ）は基準画像、図２８（Ｂ）は検査画像を示している。なお、図２８中の基準画像と検査画像は、説明の都合上、各画像の一部だけを図示した。また、各画像は二値画像とした。
【００８９】
印刷物の汚れとは、印刷物の形成画素が、電子原稿上では非画像形成画素である欠陥である。換言すれば、汚れは、検査画像の黒画素が、基準画像上では白画素となっている状態である。
【００９０】
検査画像で任意の黒画素（ｘ_2cap，ｙ_2cap）は、該当する逆方向ルックアップテーブルを用いて、基準画像の画素（ｘ"_2org，ｙ"_2org）を注目画素と見做す。ここで、該当する逆方向ルックアップテーブルとは、全逆方向ルックアップテーブルのうち、（ｘ_2cap，ｙ_2cap）を含む分割画像から前述の手順により作成されたものである。
【００９１】
基準画像上にある注目画素（ｘ"_2org，ｙ"_2org）の周囲（３画素×３画素、８近傍）で黒画素が存在する場合、検査画像の黒画素（ｘ_2cap，ｙ_2cap）は汚れ画素でないと判断する。逆に、８近傍中に黒画素が存在しない場合、検査画像の黒画素（ｘ_2cap，ｙ_2cap）は汚れ画素であると判断する。図２８に示した例では、図２８（Ｃ）に拡大して示したように、注目画素（ｘ"_2org，ｙ"_2org）の周囲には黒画素が存在せず、汚れ画素であると判断することができる。
【００９２】
このような処理を検査画像中の全黒画素について順次行い、汚れ画素の総数を求める。汚れ画素の総数や、白画素の総数に占める汚れ画素の総数の割合などの統計値と閾値の比較から最終的な汚れを判断することができる。あるいは、差分画像を作成して汚れ面積を閾値と比較して最終的な汚れの判断を行っても良い。
【００９３】
以上述べたように、本発明の印刷物検査装置及び印刷物検査方法の実施の一形態によれば、基準画像に対する検査画像の不均一な幾何学的歪み（位置ずれや伸縮など）と、画質ディフェクト（白抜けや汚れなど）の影響を受けることなく、高精度で、かつ、高速な画像照合が可能となる。
【００９４】
なお、本発明の画像処理装置及び画像処理方法は、上述のような印刷物検査装置及び印刷物検査方法以外にも、種々の用途に応用することが可能である。例えばビデオカメラに適用し、各フレーム間の画像照合により手ぶれ量を算出することによって、手ぶれ補正機能として応用することができる。また、ビデオカメラのズーム機能に適用すれば、例えば撮影者が意識する事無く、特定の被写体をフレーム内に維持したままのズーミングが可能となる。
【００９５】
また、カメラを用いた自動追尾装置に適用すれば、カメラにより撮像された追尾対象の位置ずれ量や伸縮率から追尾方向を修正することができる。同様に、自動照準装置に適用すれば、照準対象への照準補正に用いることができる。さらに、個人認証システムに適用すれば、網膜や指紋などの生体情報の画像照合に用い、確実な認証システムを構築することが可能となる。さらにまた、動作認識システムに適用すれば、動作を録画した動画の各フレームにおいて、特定の動作を記録した動画の各フレームと画像照合することで、動作認識に応用することができる。本発明の画像処理装置及び画像処理方法は、これら以外にも、種々の用途への応用が可能である。
【００９６】
図２９は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、１０１はプログラム、１０２はコンピュータ、１１１は光磁気ディスク、１１２は光ディスク、１１３は磁気ディスク、１１４はメモリ、１２１は光磁気ディスク装置、１２２は光ディスク装置、１２３は磁気ディスク装置である。
【００９７】
上述の本発明の画像処理装置及び画像処理方法の実施の一形態で説明した機能及び本発明の印刷物検査装置及び印刷物検査方法の実施の一形態における画像処理部５３の機能などは、コンピュータにより実行可能なプログラム１０１によっても実現することが可能である。その場合、そのプログラム１０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク１１１，光ディスク１１２（ＣＤやＤＶＤなどを含む）、磁気ディスク１１３，メモリ１１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００９８】
これらの記憶媒体にプログラム１０１を格納しておき、例えばコンピュータ１０２の光磁気ディスク装置１２１，光ディスク装置１２２，磁気ディスク装置１２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム１０１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ１０２に装着しておき、例えばネットワークなどを介してプログラム１０１をコンピュータ１０２に転送し、記憶媒体にプログラム１０１を格納して実行させてもよい。なお、画像データ格納部２は、コンピュータ１０２内のメモリあるいは付属の磁気ディスク装置やその他の記憶媒体を適用することができる。もちろん、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。
【００９９】
さらに、本発明の印刷物検査装置の機能あるいは本発明の印刷物検査方法の実施の一形態において、上述の画像処理装置あるいは画像処理方法として説明した機能以外の印刷物検査に特有の処理や制御のためのプログラムを含めて、印刷物検査プログラムとして構成することもできる。このような印刷物検査プログラムは、装置のメモリ（例えば図２６のメモリ５２）に格納しておくほか、記憶媒体に格納したり、あるいはネットワークを介して転送して印刷物検査装置となるコンピュータに記憶させ、動作させることもできる。もちろん、他の用途へ応用した場合においても同様である。
【０１００】
【発明の効果】
以上の説明から明らかなように、本発明によれば、照合対象の画像に現れる幾何学的な歪みを補正することができ、白抜けや汚れ等の画質ディフェクトにも影響される事無く、高精度、かつ、高速に画像照合を行うことができるという効果がある。
【図面の簡単な説明】
【図１】本発明の画像処理装置及び画像処理方法の実施の一形態を示すブロック図である。
【図２】本発明の画像処理装置及び画像処理方法の実施の一形態における動作の一例を示すフローチャートである。
【図３】分割画像作成の概念図である。
【図４】分割投影波形の作成の一例の説明図である。
【図５】Ｘ方向における分割投影波形の連結処理の一例の説明図である。
【図６】Ｘ方向における分割投影波形の連結処理の一例を簡易に数式化した説明図である。
【図７】Ｙ方向における分割投影波形の連結処理の一例を簡易に数式化した説明図である。
【図８】Ｘ方向の分割投影波形の加算による投影波形の作成の一例の説明図である。
【図９】Ｙ方向の分割投影波形の加算による投影波形の作成の一例の説明図である。
【図１０】分割投影波形の合成処理によって得られるＸ方向とＹ方向の投影波形の一例の説明図である。
【図１１】特徴量抽出処理の一例の説明図である。
【図１２】ＤＰマッチングによる特徴量データの対応付けの一例の説明図である。
【図１３】一般的なＤＰマッチングを説明するための格子グラフである。
【図１４】特徴量データの対応付け結果の具体例の説明図である。
【図１５】Ｘ方向の特徴量対応付けデータから順方向ルックアップテーブルを作成する処理の一例の説明図である。
【図１６】作成されたルックアップテーブルの一例の説明図である。
【図１７】特徴量データの座標位置と補正領域の関係の一例の説明図である。
【図１８】特徴量データの座標位置と補正領域の関係の別の例の説明図である。
【図１９】作成されたルックアップテーブルの別の例の説明図である。
【図２０】補間ルックアップテーブルの作成過程の一例の説明図である。
【図２１】Ｘ方向の順方向の補間ルックアップテーブルの作成過程の一例の説明図である。
【図２２】作成されたＸ方向の順方向の補間ルックアップテーブルの一例の説明図である。
【図２３】１次元ルックアップテーブルの一般形の説明図である。
【図２４】順方向の２次元ルックアップテーブルの一般形の説明図である。
【図２５】逆方向の２次元ルックアップテーブルの一般形の説明図である。
【図２６】本発明の印刷物検査装置及び印刷物検査方法の実施の一形態を示す構成図である。
【図２７】印刷物の白抜けを検出する場合のパターンマッチング方法の一例の説明図である。
【図２８】印刷物の汚れを検出する場合のパターンマッチング方法の一例の説明図である。
【図２９】本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１１…投影波形作成部、１２…特徴量抽出部、１３…特徴量対応付け部、１４…補正量算出部、１５…ルックアップテーブル、１６…画像照合部、２１…分割画像作成部、２２…分割投影波形作成部、２３…投影波形合成部、３１…クライアントＰＣ、３２…プリントサーバ、３３…画像出力装置、３４…画像読取ユニット、３５…照合ユニット、４１…印刷物、４２…紙送りローラ、４３…ランプ、４４…レンズ、４５…ＣＣＤ、４６…制御部、５１…画像入力部、５２…メモリ、５３…画像処理部、１０１…プログラム、１０２…コンピュータ、１１１…光磁気ディスク、１１２…光ディスク、１１３…磁気ディスク、１１４…メモリ、１２１…光磁気ディスク装置、１２２…光ディスク装置、１２３…磁気ディスク装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for performing a collation inspection between a reference image serving as a collation sample and an inspection image to be collated.
[0002]
[Prior art]
Conventionally, inspection methods using image collation have been used in various inspection processes, such as appearance inspection of various objects and inspection of image quality defects (white spots, dirt, etc.) of printed matter. When collating images, a reference image is usually prepared as a sample for normal collation, the inspection image to be collated is acquired, and both are overlapped for comparison and collation. Etc. are detected and judged.
[0003]
However, when acquiring the inspection image, the inspection image includes geometric distortion such as displacement and expansion / contraction (magnification fluctuation), and high accuracy collation can be achieved by simply superimposing the reference image on the inspection image. There is a problem that it cannot be realized.
[0004]
Further, many misalignments and expansion / contractions are scattered in the inspection image. As a countermeasure against such geometric distortion, for example, as described in Patent Document 1, among the reference image and the inspection image, There is known an image displacement correction method for creating a plurality of divided images from at least one image and obtaining a displacement correction amount for each division unit. In addition, as described in Patent Document 2, the inspection image is divided into sizes that can ignore the geometric distortion, the reference image is also divided according to the size, and the accuracy of sub-pixel or less for each division unit. A technique for detecting misalignment and determining a defect is known. However, in the methods described in Patent Document 1 and Patent Document 2, if geometric distortion is unevenly scattered in the inspection image, even if the divided image is created, the geometric image is not included in the divided image. Distortion remains. As a result, geometric distortion remains in the block image as a result, and there is a problem that collation accuracy is lowered.
[0005]
As can be seen from these conventional techniques, in order to accurately match the reference image and the inspection image on a pixel-by-pixel basis, it is necessary to remove all non-uniform geometric distortions scattered in the inspection image. is there. As a conventional technique for that purpose, for example, as described in Patent Document 3, a calibration object having a plurality of identification marks whose positional relationships are known is photographed, and a geometric distortion component appearing in the image is examined in advance. There is known an inspection method in which image distortion is stored as geometric distortion calibration data, and this is used to correct the geometric distortion of the inspection image and then perform image matching. In this inspection method, calibration data is acquired and held in advance, so there is no problem as long as the tendency of occurrence of geometric distortion in the inspection image is equal in each verification inspection. However, if the occurrence tendency of geometric distortion is different every time, the geometric distortion calibration data and the actual geometric distortion tendency may be different. There was a problem that would decrease.
[0006]
In addition, as described in Patent Document 4, for example, a method is also known in which a divided image is created from a reference image and an inspection image, and a plurality of distortion vectors representing a position change are generated by comparison, thereby correcting the position change. It has been. However, in this method, as in the case of performing the correction for each block described above, the average tendency of the geometric distortion scattered in the divided image can be removed, but the distortion is not uniform in the divided image. When scattered, distortion that does not match the typical trend cannot be removed. For this reason, there is a problem that collation accuracy is lowered due to the geometric distortion remaining in the divided image.
[0007]
Further, as described in Patent Document 5, for example, a longest ridge width distribution waveform in the XY direction is obtained from the registered fingerprint, and a characteristic peak is obtained from the longest ridge width distribution waveform in the XY direction according to a predetermined law. (Rim) alone is extracted, the longest ridge width distribution waveform in the XY direction (longest ridge width maximum value extraction waveform) constituted by this rim is stored as registered data, and fingerprint verification is used for position correction. The device is known. However, in this apparatus, since measures against expansion and contraction of the inspection image are not taken, there is a problem that the influence of expansion and contraction cannot be removed and collation accuracy is lowered.
[0008]
As described above, the conventional technique cannot efficiently remove geometric distortion such as non-uniform displacement and expansion / contraction scattered in the inspection image, and cannot perform high-precision inspection. It was.
[0009]
[Patent Document 1]
Japanese Patent No. 3140838
[Patent Document 2]
Japanese Patent Laid-Open No. 11-194154
[Patent Document 3]
JP 2002-181732 A
[Patent Document 4]
JP-A-8-35936
[Patent Document 5]
JP 7-57085 A
[0010]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described circumstances, and removes geometric distortion such as non-uniform displacement and expansion / contraction scattered in the inspection image, and the correction amount for the geometric distortion is an image quality defect. An object of the present invention is to provide a high-accuracy and high-speed image processing apparatus, an image processing method, and an image processing program that are not affected. It is another object of the present invention to provide a printed matter inspection apparatus, a printed matter inspection method, and a printed matter inspection program capable of inspecting a printed matter with high accuracy and high speed using such an image processing device, an image processing method, and an image processing program. To do.
[0011]
[Means for Solving the Problems]
The present invention relates to an image processing apparatus and an image processing method for collating a reference image and an inspection image, and an image processing program for causing a computer to perform such image processing. Creating and extracting feature amounts from the projected waveform to create feature amount data, and performing feature value data association between the feature amount data of the reference image and the feature amount data of the inspection image; A forward n-dimensional lookup table composed of the coordinates of the reference image and the coordinates of the inspection image corresponding to the reference image based on the result of the association between the data and the inverse composed of the coordinates of the inspection image and the coordinates of the reference image corresponding to the inspection image An n-dimensional lookup table for the direction is determined, and the target pixel of the inspection image corresponding to the black pixel of the reference image is identified using the forward n-dimensional lookup table, The presence or absence of a black pixel around the eye pixel is determined, and the target pixel of the reference image corresponding to the black pixel of the inspection image is identified using an n-dimensional lookup table in the reverse direction, and the black pixel around the target pixel It is characterized by collating the reference image with the inspection image by determining the presence or absence of the image.
[0012]
In this way, it is possible to perform matching processing in consideration of geometric distortion by associating feature amount data extracted from each of the reference image and the inspection image. For example, the inspection image has non-uniform displacement or expansion / contraction. Even if it does, they can be removed efficiently and a highly accurate collation process is attained. Further, by performing such processing for each reference image and inspection image, accurate collation processing can be performed even when the occurrence tendency of geometric distortion is different each time.
[0013]
As described above, by using the forward and backward n-dimensional lookup tables for matching, it is possible to correct the geometric distortion at high speed and execute the inspection of white spots and stains. The entire verification process can be speeded up.
[0014]
In addition, for example, a method such as DP matching can be applied to the association between the feature amount data in addition to sequentially associating the elements of each feature amount data.
[0015]
In addition, as a process for creating the projected waveform of the reference image and the inspection image, for example, a divided image obtained by dividing the image into m × n is created, a projected waveform is created for each divided image, and an image obtained by combining these projected waveforms. A method of creating a projection waveform of the entire partial image or a partial image larger than the divided image can be used. Usually, a method of creating a projection waveform by performing scanning twice in a direction orthogonal to each other is generally used. However, in such a method, it takes time to access a memory at least in one direction of scanning. However, if scanning is performed for each divided image using the method of the present invention, it is possible to create a projection waveform in two directions with only one scan, greatly reducing the processing time and performing high-speed processing. Can be realized.
[0016]
The present invention also relates to a printed matter inspection apparatus and a printed matter inspection method for inspecting a printed matter, and a printed matter inspection program for causing a computer to inspect such a printed matter, and reading an image of the printed matter as an inspection image. The reference image used for the formation of the printed material is used, and the inspection image and the reference image are collated by executing the image processing apparatus, the image processing method, and the image processing program of the present invention. As a result, even if geometric distortion such as non-uniform displacement and expansion / contraction is scattered in the printed image or the inspection image read from the printed material, these are efficiently removed, and without being affected by the image quality defect, Printed materials can be inspected with high accuracy and high speed.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing an embodiment of an image processing apparatus and an image processing method according to the present invention. In the figure, 11 is a projection waveform creation unit, 12 is a feature amount extraction unit, 13 is a feature amount association unit, 14 is a correction amount calculation unit, 15 is a lookup table, 16 is an image collation unit, and 21 is a divided image creation unit. , 22 is a divided projection waveform creation unit, and 23 is a projection waveform synthesis unit.
[0018]
The projection waveform creation unit 11 creates a projection waveform for each of the reference image that serves as a sample for verification and the inspection image that is the target of verification. The method of creating the projection waveform is arbitrary, but here, as a configuration for creating the projection waveform at high speed, a divided image creation unit 21, a divided projection waveform creation unit 22, and a projection waveform synthesis unit 23 are provided, and projection is performed for each divided image. A method of creating and synthesizing waveforms is used.
[0019]
The divided image creation unit 21 creates a divided image obtained by dividing an image (reference image and inspection image) into m × n. The divided projection waveform creation unit 22 creates a projection waveform from each divided image. The projection waveform synthesis unit 23 combines the projection waveforms created for each divided image, and creates a projection waveform of the entire image or a partial image having a larger area than the divided image.
[0020]
The feature amount extraction unit 12 extracts feature amounts from the projection waveform of the reference image and inspection image created by the projection waveform creation unit 11, and creates feature amount data of each.
[0021]
The feature amount association unit 13 associates feature amount data between the feature amount data of the reference image created by the feature amount extraction unit 12 and the feature amount data of the inspection image. As a method of performing this association, in addition to sequentially associating the elements of each feature amount data, for example, each feature amount can be associated using a method such as DP matching.
[0022]
The correction amount calculation unit 14 obtains a correction amount for the geometric distortion of the reference image and the inspection image based on the result of association between the feature amount data by the feature amount association unit 13. Here, an n-dimensional lookup table 15 for geometric distortion correction that holds the obtained correction amount or data obtained by interpolating the correction amount and the correction amount is created.
[0023]
The image matching unit 16 uses the correction amount obtained by the correction amount calculation unit 14 or the lookup table 15 created by the correction amount calculation unit 14 to collate the reference image and the inspection image in consideration of geometric distortion. Alternatively, collation may be performed after an image in which geometric distortion is corrected before collation.
[0024]
FIG. 2 is a flowchart showing an example of the operation in the embodiment of the image processing apparatus and the image processing method of the present invention. In S1a, the divided image creating unit 21 of the projection waveform creating unit 11 divides the reference image by m in the X direction and by n in the Y direction to create m × n divided images. The division format may be equally divided into m × n, the area to be checked for collation may be cut out, the original image may be left without being divided, or the divided image may not be created. A corresponding memory area of the original image may be designated. FIG. 3 is a conceptual diagram of creating a divided image. The example shown in FIG. 3 shows an example of equal division, and the case where m = 4 and n = 8 is illustrated. In order to simplify the description, the reference image and the inspection image are binary images, and the image size is 400 pixels × 800 pixels. Therefore, the image size of the divided image is 100 pixels × 100 pixels. In the following description, the same condition is assumed, but the present invention is not limited to this. In S1b, the same operation as S1a is performed on the inspection image.
[0025]
In S2a, the divided projection waveform creation unit 22 of the projection waveform creation unit 11 sequentially creates a divided projection waveform in the X direction and a divided projection waveform in the Y direction for each divided image created in S1a. FIG. 4 is an explanatory diagram of an example of creating a divided projection waveform. The divided projection waveform in the X direction represents the distribution state of black pixels with respect to the X coordinate of the divided image by the number of pixels. That is, the count values of black pixels when pixels having the same X coordinate value are scanned in the Y direction are obtained and arranged for each X coordinate. Similarly, the divided projection waveform in the Y direction represents the distribution state of black pixels with respect to the Y coordinate of the image by the number of pixels. That is, the count values of black pixels when pixels having the same Y coordinate value are scanned in the X direction are obtained and arranged for each Y coordinate. In the case of a multi-value image, the projection waveform may be created by accumulating the gradation value of each pixel instead of the number of pixels. Note that it is possible to create both the X-direction scanning and the Y-direction scanning in either the X-direction or the Y-direction, and to create both the X-direction and Y-direction divided projection waveforms. be able to.
[0026]
In S2b, the same operation as S2a is performed on each divided image created from the inspection image in S1b. Therefore, in the processes of S2a and S2b, the divided projection waveform in the X direction and the divided projection waveform in the Y direction are obtained for each of the 32 divided images obtained by dividing the reference image and the 32 divided images obtained by dividing the inspection image. become. That is,
-Divided projection waveform in the X direction of the reference image (32)
-Divided projection waveform in the Y direction of the reference image (32)
-Divided projection waveform in the X direction of the inspection image (32)
-Divided projection waveform in the Y direction of the inspection image (32)
Is created.
[0027]
In S3a, the divided projection waveform synthesizing unit 23 of the projection waveform creating unit 11 combines the divided projection waveforms created in S2a, and connects or adds the divided projection waveforms, thereby obtaining a larger area than the divided image created in S1a. Create a projection waveform of the divided image. FIG. 5 shows an example of the connection processing of the divided projection waveforms in the X direction. Here, when the reference image shown in FIG. 5A is divided into band-like areas as shown in FIG. 5B, the projection waveform in the X direction in each band-like area is obtained. Each band-like region includes four divided images as shown in FIG. 5C, and a divided projection waveform in the X direction is obtained for each divided image as shown in FIG. 5D. ing. A projection waveform in the X direction of the belt-like region can be obtained by simply connecting these four divided projection waveforms.
[0028]
FIG. 6 is an explanatory diagram in which the description in FIG. FIG. 6 shows a case where one X-direction projection waveform is created from the four divided projection waveforms shown at the bottom in FIG. 5D. 6A to 6D show four divided projection waveforms to be connected. Four divided projection waveforms in the X direction created from four divided image regions arranged adjacent to each other in the X direction.
P_x1(X) 0 ≦ x <100
P_x2(X) 100 ≦ x <200
P_x3(X) 200 ≦ x <300
P_x4(X) 300 ≦ x <400
And If the whole of these four divided images arranged adjacent to each other in the X direction is a desired image region (band-like region), the projection waveform P of the desired image region_xall(X) is
P_xall(X) = P_x1(X) + P_x2(X) + P_x3(X) + P_x4(X)
0 ≦ x <400
It can be expressed as The connected projection waveform is shown in FIG.
[0029]
FIG. 7 is an explanatory diagram in which an example of the process of connecting the divided projection waveforms in the Y direction is simply expressed as a formula. Similarly, in the Y direction, four vertically long belt-like regions are considered, and the divided projection waveforms obtained in the Y direction are connected to the eight divided images included in each belt-like region. A projection waveform in the Y direction can be created for each.
[0030]
7A to 7H show eight divided projection waveforms to be connected. Similar to the description of FIG. 6, eight divided projection waveforms in the Y direction created from eight image regions arranged adjacent to each other in the Y direction.
P_y1(Y) 0 ≦ y <100
P_y2(Y) 100 ≦ y <200
P_y3(Y) 200 ≦ y <300
P_y4(Y) 300 ≦ y <400
P_y5(Y) 400 ≦ y <500
P_y6(Y) 500 ≦ y <600
P_y7(Y) 600 ≦ y <700
P_y8(Y) 700 ≦ y <800
And If the entire eight divided images arranged adjacent to each other in the Y direction are defined as a desired image region (band-like region), the projection waveform P of the desired image region_yall(Y)
P_yall(Y) = P_y1(Y) + P_y2(Y) + P_y3(Y) + P_y4(Y) + P_y5(Y) + P_y6(Y) + P_y7(Y) + P_y8(Y)
0 ≦ y <800
It can be expressed as The connected projection waveform is shown in FIG.
[0031]
From the above, a projection waveform in a desired direction in a desired image region can be created by creating and connecting a projection waveform for each arbitrary image region with respect to the entire image.
[0032]
In addition to the projection waveform in the X direction in the horizontally long belt-like region and the projection waveform in the Y direction in the vertically long belt-like region as described above, a projection waveform in the X and Y directions in a region larger than the divided image is created. Can do. In this case, addition may be necessary other than concatenation. The addition of the divided projection waveforms will also be briefly described.
[0033]
FIG. 8 is an explanatory diagram of an example of creating a projection waveform by adding the divided projection waveforms in the X direction. Here, two divided regions continuous in the Y direction indicated by arrows in FIG. 8A are used as one desired image region indicated by arrows in FIG. 8B. The case where a projection waveform is created is shown.
[0034]
Two divided projection waveforms in the X direction created from two divided images arranged adjacent to each other in the Y direction
P '_x1(X) 0 ≦ x <100
P '_x2(X) 0 ≦ x <100
And These divided projection waveforms are shown in FIGS. 8 (C) and 8 (D). If the whole of these two divided images arranged adjacent to each other in the Y direction is the desired image region, the projection waveform P ′ of the desired image region is shown._xall(X) is
P '_xall(X) = P ′_x1(X) + P ′_x2(X) 0 ≦ x <100
It can be expressed as The added projection waveform is shown in FIG.
[0035]
FIG. 9 is an explanatory diagram of an example of creating a projection waveform by adding the divided projection waveforms in the Y direction. Here, two divided regions continuous in the X direction indicated by an arrow in FIG. 9A are used as one desired image region indicated by an arrow in FIG. 9B. The case where a projection waveform is created is shown.
[0036]
As in the description of FIG. 8, two Y-direction projection waveforms created from two divided images arranged adjacent to each other in the X direction are shown.
P '_y1(Y) 0 ≦ y <100
P '_y2(Y) 0 ≦ y <100
And These divided projection waveforms are shown in FIGS. 9 (C) and 9 (D). If the whole of these two divided images arranged adjacent to each other in the X direction is set as a desired image area, a projection waveform P ′ of the desired image area_yall(Y)
P '_yall(Y) = P ′_y1(Y) + P ′_y2(Y) 0 ≦ y <100
It can be expressed as The added projection waveform is shown in FIG.
[0037]
As described above, the projection waveforms in the X direction and the Y direction in the desired image region can be created by connecting and adding the divided projection waveforms. In the following description, as described in FIGS. 6 and 7, the divided projection waveforms are connected to obtain the X-direction projection waveform in the horizontally long strip region and the Y-direction projection waveform in the vertically long strip region. And In this case, eight projection waveforms in the X direction and four projection waveforms in the Y direction can be created.
[0038]
The first reason for creating the projection waveform by combining the divided projection waveforms in this way is that the geometric distortion existing in the image can be obtained by dividing it into a plurality of X and Y directions. In this example, since 4 × 8 division is performed, 32 divided images are created, and by combining these projection waveforms, as described above, there are 8 projection waveforms in the X direction and 4 projection waveforms in the Y direction. Can be created.
[0039]
The second reason is a reduction in calculation amount. In order to create a projection waveform, it is necessary to scan the entire image to be created and count the pixels. Since the amount of calculation increases in proportion to the area of the image, if you intend to perform high-speed processing, you want to use a minimum amount of calculation. FIG. 10 is an explanatory diagram of an example of projection waveforms in the X direction and the Y direction obtained by the synthesis process of the divided projection waveforms. For each band-like region in the direction indicated by the broken line in FIG. 10A, a projection waveform in the X direction is obtained for the horizontally long belt-like region, and a projection waveform in the Y direction is obtained for the vertically long belt-like region. At this time, as shown in FIG. 10B, the horizontally long belt-like region and the vertically long belt-like region overlap each other at the hatched portion. As described above, when the divided projection waveform is obtained for each divided image, the divided projection waveform can be obtained by one image scanning for the hatched overlapping portion, and the overlapping scanning can be prevented. Similarly, since it is possible to prevent overlapping scans in all the divided areas, the calculation amount for creating the projection waveform can be reduced by half.
[0040]
In S3b, the same operation as S3a is performed on the divided projection waveform created in S2b. Therefore, the divided projection waveform is obtained by the synthesis process in S3a and S3b.
・ X-direction projection waveform of reference image (8)
・ Y-direction projection waveform of the reference image (4)
・ Projected waveform in X direction of inspection image (8)
・ Projected waveform in the Y direction of the inspection image (4)
To be aggregated.
[0041]
In S4a, the feature amount extraction unit 12 extracts feature amounts from the projected waveforms in the X and Y directions created in S3a, and sequentially creates feature amount data. FIG. 11 is an explanatory diagram of an example of the feature amount extraction processing. The feature amount to be extracted is arbitrary, and may be a peak (mountain, valley, peak and valley) of the projection waveform, an edge extracted from the projection waveform using a differential filter or the like, or an arbitrary frequency component, Any gradient may be used. In the example shown in FIG. 11, the peak of the projection waveform is shown as an example of the feature quantity, and peaks (illustrated by white circles) and valleys (illustrated by black circles) are illustrated. In the following description, the peak of the projected waveform (mountain: illustrated by a white circle) is used as a feature amount, and the position on the projection waveform where the peak is located is used as feature amount data. For the feature amount, the accuracy of matching is improved by using peaks and valleys, but only the peaks are used in order to simplify the following description.
[0042]
In S4b, the same operation as S4a is performed on the projection waveform created in S3b. Therefore, by the feature amount extraction process in S4a and S4b,
-Feature data in the X direction of the reference image (8 lines)
-Y-direction feature value data of the reference image (4 systems)
・ Characteristic data in X direction of inspection image (8 systems)
・ Y-direction feature value data of inspection images (4 systems)
Is created. Note that a plurality of feature value data strings obtained from one projection waveform is shown as one system.
[0043]
In S5, the feature amount association unit 13 associates the feature amount data of the reference image obtained in S4a with the feature amount data of the inspection image obtained in S4b. Specifically, the correspondence between each feature quantity element data between the X-direction feature quantity data of the reference image obtained in S4a and the X-direction feature quantity data of the inspection image obtained in S4b, and the reference image obtained in S4a Each piece of feature quantity element data is associated between the Y-direction feature quantity data and the Y-direction feature quantity data of the inspection image obtained in S4b. As a matching method, for example, DP matching can be used.
[0044]
FIG. 12 is an explanatory diagram of an example of association of feature amount data by DP matching. In FIG. 12, as a specific example, the feature amount data in the X direction of the reference image obtained in S4a is {10, 20, 30, 40, 50, 60, 70, 80, 90}, and the X of the inspection image obtained in S4b. In this example, the direction feature data is {3, 13, 21, 34, 44, 46, 49, 58, 74, 81, 95, 100}. Here, the feature amount data {3, 46, 100} of the inspection image is a false peak generated due to smearing of the printed material, that is, image noise, and the element to be associated with the peak data of the reference image is {13, 21 , 34, 44, 49, 58, 74, 81, 95}. If DP matching is used, it can be correctly matched without being influenced by the false peak as shown in FIG.
[0045]
DP matching is common and will be briefly described below. FIG. 13 is a lattice graph for explaining general DP matching. Now, the feature value data of the reference image
P = p₁, P₂, ..., p_j, ..., p_J
Inspection feature data
Q = q₁, Q₂, ..., q_k, ..., q_K
Then, the similarity (or distance) D (P, Q) is
D (P, Q) = min_{k (j)}[Σ_{j = 1} ^Jh (j, k)]
It expresses. Further, the condition of k (j) is as follows.
1. k (j) is a continuous function of j
2. k (j) is a monotonically increasing function of j
3. k (1) = 1, k (J) = K
[0046]
The partial similarity (or distance) h (j, k) at the position (j, k) on the PQ plane is as follows.
h (j, k) = min [h (j-1, k-1) + 2d (j, k), h (j-1, k) + d (j, k), h (j, k-1) + d (J, k)]
However, d (j, k) = || p_j-Q_k||
[0047]
By obtaining a route that gives this D (P, Q), feature amount data P = p of the reference image₁, P₂, ..., p_j, ..., p_JAnd feature data Q = q of the inspection image₁, Q₂, ..., q_k, ..., q_KCan be associated. An example of the route thus obtained is shown in FIG. The example shown in FIG. 13 is a general example, and the paths obtained from the specific examples of the feature amount data of the reference image and the feature amount data of the inspection image are shown in FIG.
[0048]
FIG. 14 is an explanatory diagram of a specific example of a result of associating feature amount data. By associating the feature amount data of the reference image and the feature amount data of the inspection image by DP matching as described above, it is possible to obtain a result of association as shown in FIG. As described above, the feature amount data {13, 21, 34, 44 of the inspection image is compared with the feature amount data {10, 20, 30, 40, 50, 60, 70, 80, 90} in the X direction of the reference image. , 49, 58, 74, 81, 95} are associated with each other.
[0049]
Such association of feature amount data is performed for feature amount data of each system in the X direction. Further, the same operation is performed on the feature data in the Y direction. Therefore, in S5,
・ X-direction feature value association data (8 systems)
・ Y-direction feature value association data (4 systems)
Is created.
[0050]
In the above-described example, only the peaks of the peaks are feature amounts. For example, when the peaks and valleys are feature amounts, the corresponding peak feature amount data and valley feature amount data are interpolated. For example, by interpolating the feature amount association data (mountain) in the X direction of the reference image and the feature amount association data (valley) in the X direction of the reference image, the feature amount association data in the X direction of the reference image ( Yamatani) can be created. Therefore,
-X-direction feature value association data (Yamatani) (8 systems)
・ Y-direction feature data (Yamatani) (4 systems)
Are aggregated and created.
[0051]
In addition, in the case of a low noise system that does not easily generate a false peak as in the above example, the feature amount data elements of the reference image and the feature amount data elements of the inspection image are sequentially associated without using DP matching. Also good.
[0052]
In S6, the correction amount calculation unit 14 creates a geometric distortion correction lookup table from the feature amount association data of the reference image obtained in S5 and the feature amount association data of the inspection image. You only need one or more lookup tables, here
・ "Forward lookup table" composed of the coordinates of the reference image and the coordinates of the corresponding inspection image
・ "Reverse Look-up Table" composed of the coordinates of the inspection image and the corresponding coordinates of the reference image
The two were.
[0053]
FIG. 15 is an explanatory diagram illustrating an example of a process for creating a forward lookup table from feature quantity association data in the X direction, and FIG. 16 is an explanatory diagram illustrating an example of the created lookup table. First, each correction amount required to create each lookup table is determined. The distortion correction amount for creating the forward look-up table is between the corresponding data elements of the feature amount association data.
(X-direction feature amount data element of inspection image−X-direction feature amount data element of reference image) may be calculated. That is, when each correction amount is calculated from the feature amount association data shown in FIG. 14, it is obtained as shown in FIG. The correction amount of the reverse lookup table can be easily created by changing the sign of the distortion correction amount for creating the forward lookup table.
[0054]
Thus, the correction amount at the X coordinate where the feature amount data exists is obtained, but the correction amount at the other X coordinate has not been determined yet. Therefore, the correction amount is obtained for the X coordinate for which the correction amount has not yet been determined. FIG. 17 is an explanatory diagram of an example of the relationship between the coordinate position of the feature amount data and the correction area. In the figure, black circles indicate the correction amount in the X coordinate where the feature amount data exists. In the example shown in FIG. 15, as shown in FIG. 15B, one correction amount is applied with the midpoint of adjacent elements of the feature amount data as the start point and end point. When this is graphed, it is as shown in FIG. 17, and the line segment extending to the left and right of the feature amount data indicated by each black circle indicates the coordinate range to which the correction amount corresponding to the feature amount data is applied. For example, when the X coordinate of the reference image is between 46 and 55, the correction amount “−1” is applied. Therefore, the X coordinate of the inspection image corresponding to the X coordinate of the reference image of 46 to 55 is 45 to 54. A forward lookup table obtained in this way is shown in FIG. A reverse lookup table can be created in the same manner.
[0055]
FIG. 18 is an explanatory diagram of another example of the relationship between the coordinate position of the feature amount data and the correction area, and FIG. 19 is an explanatory diagram of another example of the created lookup table. In the example shown in FIGS. 18 and 19, as in the example shown in FIGS. 15 and 16, the correction amount in each feature amount data is obtained as shown in FIG. 18 (B), and this average value is used as the total correction amount. FIG. 19 shows a forward look-up table obtained using the average value of the correction amount. A reverse lookup table can be created in the same manner.
[0056]
In the above example, the forward and reverse look-up tables are created from the feature data of one system in the X direction, but the look-up tables are similarly created for the other systems. Similarly, a lookup table for the forward direction and the backward direction is created for the Y direction. Therefore, in S6,
-X-direction forward lookup table (8 lines)
・ Y direction forward lookup table (4 systems)
・ X direction reverse lookup table (8 lines)
・ Y direction reverse lookup table (4 systems)
Is created.
[0057]
In S7, an interpolation process is performed on the lookup table group created in S6 to create an extended lookup table group. FIG. 20 is an explanatory diagram of an example of a process for creating an interpolation lookup table. The look-up table group created in S6 roughly reflects the characteristics of geometric distortion, but is insufficient when more accurate image matching is targeted. Therefore, in S7, an interpolation lookup table is created to improve image collation accuracy.
[0058]
FIG. 20A shows geometric distortion correction amounts similar to those in FIGS. 15A and 18A. When this is graphed, a graph as shown in FIG. Based on the correction amount at the X coordinate where each feature amount data exists, interpolation is performed between the X coordinates to obtain the correction amount at each X coordinate. As a result, as indicated by a black circle in FIG. 20C, a correction amount at each X coordinate is obtained, and an interpolation lookup table is created. Since the distortion correction amount is a pixel unit on the computer, the correction amount is a discrete value. Similarly, an interpolation lookup table in the reverse direction can be created.
[0059]
If the lookup table group created in S6 can withstand practical use, the creation process of the interpolation lookup table in S7 may be omitted, and the interpolation lookup table for all the lookup table groups created in S6 may be omitted. There is no need to create.
[0060]
FIG. 21 is an explanatory diagram of an example of a process of creating a forward interpolation lookup table in the X direction, and FIG. 22 is an explanatory diagram of an example of the created forward interpolation lookup table in the X direction. As described above, the interpolation processing is performed as shown in FIG. 21B from the association result and the correction amount of the feature amount data shown in FIG. 21A, and an interpolation lookup table as shown in FIG. 22 is created. be able to.
[0061]
For the look-up table group created in S6, an interpolation look-up table is created as described above with respect to the necessary system look-up tables. When the interpolation lookup table is created for all the lookup table groups created in S6,
-X direction forward interpolation lookup table (8 systems)
・ Y direction forward interpolation lookup table (4 systems)
・ X direction reverse interpolation lookup table (8 systems)
・ Y direction reverse interpolation lookup table (4 systems)
Is created. Note that the lookup table or the set of interpolation lookup tables created in the processing so far is the lookup table 15 in FIG.
[0062]
In addition to the lookup table created by the method shown in FIG. 15, FIG. 16, FIG. 18, and FIG. 19 or the interpolation lookup table created by the method shown in FIG. 21 and FIG. An n-dimensional look-up table can be created from the correspondence result of the feature amount data and the correction amount. FIG. 23 is an explanatory diagram of a general form of a one-dimensional lookup table. 23A and 23B are generalized configurations of a forward one-dimensional lookup table, and FIGS. 23C and 23D are generalized reverse one-dimensional lookup tables. Show. However, the size of the reference image is assumed to be M pixels in the X direction and N pixels in the Y direction, and the inspection image is assumed to be I pixels in the X direction and J prime in the Y direction.
[0063]
First, attention is focused on the forward one-dimensional lookup table shown in FIGS. The coordinates of any pixel of interest in the reference image are (X_m, Y_n), The size of the reference image is M pixels in the X direction and N pixels in the Y direction.
0 ≦ m ≦ M-1
0 ≦ n ≦ N−1
It becomes. Further, the geometric distortion correction amount in the forward direction in the X direction and the Y direction is expressed as (S_X, S_Y), The coordinates of the reference pixel of the inspection image with respect to the target pixel of the standard image can be expressed by the following equation.
(X_m+ S_X, Y_n+ S_Y)
Here, the correction amount (S_X, S_Y) May be a constant or X_mOr Y_nSince this function may be used, the following equation is obtained.
S_X= Constant or S_X= F (X_m)
S_Y= Constant or S_Y= F (Y_n)
[0064]
Further, since the size of the inspection image is I pixels in the X direction and J pixels in the Y direction, the following constraint conditions are satisfied.
0 ≦ X_m+ S_X≦ I-1
0 ≦ Y_n+ S_Y≦ J-1
[0065]
Under the above conditions, a forward one-dimensional lookup table (size M) in the X direction and a forward one-dimensional lookup table (size N) in the Y direction can be created. By using these forward direction one-dimensional lookup tables, the X coordinate and Y coordinate of the reference pixel of the inspection image with respect to any target pixel of the base image can be referred independently. The coordinates of the reference pixel of the inspection image are corrected for geometric distortion.
[0066]
Similarly, in the reverse one-dimensional lookup table, the coordinates of an arbitrary pixel of interest in the inspection image (X ′_i, Y '_j), The size of the inspection image is I pixels in the X direction and J pixels in the Y direction.
0 ≦ i ≦ I-1
0 ≦ j ≦ J-1
It becomes. Further, the geometric distortion correction amount in the opposite direction in the X direction and the Y direction is expressed as (S ′_X, S '_Y), The coordinates of the reference pixel of the base image with respect to the target pixel of the inspection image can be expressed by the following equation.
(X '_i+ S '_X, Y '_j+ S '_Y)
Here, the correction amount (S ′_X, S '_Y) May be a constant or X ′_mOr Y '_nSince this function may be used, the following equation is obtained.
S '_X= Constant or S '_X= F (X '_i)
S '_Y= Constant or S '_Y= F (Y '_j)
[0067]
Further, since the size of the reference image is M pixels in the X direction and N pixels in the Y direction, the following constraint conditions are satisfied.
0 ≦ X '_i+ S '_X≦ M-1
0 ≦ Y '_j+ S '_Y≦ N-1
[0068]
Under the above conditions, a reverse one-dimensional lookup table in the X direction (large I) and a reverse one-dimensional lookup table in the Y direction (large J) can be created. If these reverse one-dimensional lookup tables are used, the X coordinate and Y coordinate of the reference pixel of the inspection image corresponding to any target pixel of the inspection image can be referred independently. The coordinates of the reference pixel of the inspection image are corrected for geometric distortion.
[0069]
24 and 25 are explanatory diagrams of a general form of a two-dimensional lookup table. FIG. 24 shows a general form of a forward two-dimensional lookup table, and FIG. 25 shows a general form of a backward two-dimensional lookup table. The method for creating each element of the two-dimensional lookup table is the same as described with reference to FIG. In the one-dimensional lookup table, the X coordinate and the Y coordinate are referred to independently, whereas in the two-dimensional lookup table, the reference is made with both the XY coordinates. That is, for all the pixels of the standard image, the reference destination of the inspection image is associated with the forward two-dimensional lookup table, and the number of elements is M × N. On the contrary, for all the pixels of the inspection image, the reference destination of the standard image is associated with the two-dimensional lookup table in the reverse direction, and the number of elements is I × J.
[0070]
Thus, the lookup table is not limited to a one-dimensional table, and may be a two-dimensional table. Including these, the lookup table 15 can be realized as an n-dimensional lookup table.
[0071]
In S8, the image matching unit 16 uses the n-dimensional lookup table such as all interpolation lookup table groups created in S7, all lookup table groups created in S6, or a combination thereof. Perform matching. Any method can be applied as the pattern matching method. A specific pattern matching method will be described later in the application example.
[0072]
As described above, in one embodiment of the image processing apparatus and the image processing method of the present invention, a projection waveform is created from a reference image and an inspection image, a feature amount is extracted from the projection waveform, and feature amounts are associated Therefore, by creating a look-up table for correcting geometric distortion, non-uniform geometric distortion (misalignment, expansion / contraction, etc.) of the inspection image with respect to the reference image and image quality defects (ex. High-accuracy and high-speed image collation is possible without being affected.
[0073]
The image processing apparatus and the image processing method of the present invention can be applied to various inspection apparatuses and inspection methods. Hereinafter, as an application example, an example in which the image processing apparatus of the present invention is applied to printed matter inspection will be shown. FIG. 26 is a configuration diagram showing an embodiment of the printed matter inspection apparatus and the printed matter inspection method of the present invention. In the figure, 31 is a client PC, 32 is a print server, 33 is an image output device, 34 is an image reading unit, 35 is a collation unit, 41 is printed matter, 42 is a paper feed roller, 43 is a lamp, 44 is a lens, 45 is CCD, 46 is a control unit, 51 is an image input unit, 52 is a memory, and 53 is an image processing unit.
[0074]
In the configuration shown in FIG. 26, a document created by the client PC 31 is printed from the image output device 33 such as a printer via the print server 32 to create a printed matter. The printed material is conveyed by the paper feed roller 42 in the image reading unit 34, and is illuminated by a lamp 43 on the way, and the image on the printed material 41 is formed on the two-line CCD 45 through the lens 44. Under the control of the control unit 46, the image formed on the CCD 45 is read and transmitted to the verification unit 35 as an inspection image.
[0075]
On the other hand, a document created by the client PC 31 is transmitted as a reference image to the collation unit 35 via the print server 32. The collation unit 35 stores the reference image sent from the print server 32 in the memory 52. Further, since the inspection image is sent from the image reading unit 34 as described above, it is received by the image input unit 51. The image processing unit 53 is configured to realize the image processing apparatus or the image processing method of the present invention, and performs pattern matching between the reference image and the inspection image to check whether there is an image quality defect in the printed material and inspects the quality of the printed material. .
[0076]
As a result of the inspection by the verification unit 35, if it is determined that the printed matter 41 has an image quality defect, an error code is transmitted to the print server 32. Upon receiving the error code, the print server 32 stops the image output device 33 or causes the image output device 33 to reprint a document having an image quality defect. After performing the processing, the fact that there was a defective print is transmitted to the client PC 31.
[0077]
Next, each part will be described in detail. The client PC 31 is a general-purpose computer and performs various processes such as document creation and editing. When a document print command is issued in the client PC 31, the document is transmitted to the print server 32 as reference image data.
[0078]
The print server 32 receives the reference image data from the client PC 31, performs various processes related to the reference image data, and transmits the processed data to the image output device 33. The print server 32 also transmits the reference image data to the verification unit 35. In addition, the print server 32 also performs job management for the image output device 33.
[0079]
The image output device 33 receives the reference image data processed by the print server 32, forms an image on paper, and outputs it as a printed material 41. The image output device 33 can be configured, for example, as a printer of 600 dpi, monochrome 256 gradations, etc., by a xerographic method. Of course, functions such as a recording method, resolution, and black / white / color are arbitrary. The paper size is arbitrary such as A4 size or B4 size.
[0080]
The image reading unit 34 reads the printed matter 41 output from the image output device 33 at a high speed by the two-line CCD 45, creates inspection image data, and transmits the inspection image data to the verification unit 35. As the image reading unit, various known configurations can be applied. For example, the configuration described in JP-A-2002-84397 can be used.
[0081]
The verification unit 35 can be constituted by a general-purpose computer, stores the reference image received from the print server 32 in the memory 52, and receives the inspection image received from the image reading unit 34 by the image input unit 51. Store in internal memory. The image processing unit 53 performs a collation inspection between the reference image and the inspection image, and transmits the result to the print server 32 and the client PC 31.
[0082]
In such a configuration, the inspection image is affected by the fluctuation characteristic of the paper conveyance speed by the paper feed roller 42, the optical distortion characteristic by the lens 44, and the like, and the geometric image such as non-uniform displacement and expansion / contraction. Distortion occurs. By applying the image processing apparatus and the image processing method of the present invention to the image processing unit 53 and creating a look-up table for correcting geometric distortion, according to the characteristics of the paper conveyance system and the optical system as described above. Geometric distortion can be appropriately corrected, and image collation accuracy can be improved.
[0083]
Further, as a method of collation (pattern matching) performed by the image processing unit 53 in such a printed matter inspection, for example, a method described in Japanese Patent Application No. 2001-385876 can be applied. FIG. 27 is an explanatory diagram of an example of a pattern matching method for detecting white spots in a printed material. FIG. 27A shows a reference image, and FIG. 27B shows an inspection image. Note that the reference image and the inspection image in FIG. 27 are only a part of each image for convenience of explanation.
[0084]
The white spots in the printed material are defects in which the image forming pixels of the electronic original image are not image-formed (printed) on the printed material. In other words, the black pixel of the reference image is a white pixel on the inspection image.
[0085]
Arbitrary black pixels (x_org, Y_org) Using the relevant forward lookup table, the pixel (x ′) of the inspection image_cap, Y '_cap) As a pixel of interest. Here, the corresponding forward lookup table is (x of all forward lookup tables)._org, Y_org) Are created by the above-described procedure.
[0086]
When black pixels exist around the target pixel on the inspection image (5 pixels × 5 pixels, near 24), the black pixels (x_org, Y_org) Is determined not to be a blank pixel. Conversely, if there are no black pixels in the vicinity of 24, the black pixels (x_org, Y_org) Is determined to be a blank pixel. In the example shown in FIG. 27, as shown in an enlarged view in FIG. 27C, the target pixel (x ′_cap, Y '_cap) In the vicinity of 24, a black pixel is present, so that it can be determined that the pixel is not a blank pixel.
[0087]
Such a process is sequentially performed for all black pixels in the reference image to obtain the total number of blank pixels. The final blank area may be determined from a comparison between a statistical value such as the total number of blank pixels or the ratio of the total number of blank pixels to the total number of black pixels and a threshold value. Alternatively, a final image may be determined by creating a difference image and comparing the blank area with a threshold value.
[0088]
FIG. 28 is an explanatory diagram of an example of a pattern matching method in the case of detecting dirt on a printed material. FIG. 28A shows a reference image, and FIG. 28B shows an inspection image. Note that the reference image and the inspection image in FIG. 28 are only a part of each image for convenience of explanation. Each image was a binary image.
[0089]
The stain on the printed material is a defect in which the formed pixel of the printed material is a non-image forming pixel on the electronic document. In other words, the dirt is a state in which the black pixels of the inspection image are white pixels on the reference image.
[0090]
Any black pixel (x_2cap, Y_2cap) Is the pixel (x ") of the reference image using the corresponding reverse lookup table._2org, Y "_2org) As a pixel of interest. Here, the corresponding reverse lookup table is (x_2cap, Y_2cap) Are created by the above-described procedure.
[0091]
Pixel of interest (x "on the reference image)_2org, Y "_2org) Around (3 pixels × 3 pixels, near 8), black pixels (x_2cap, Y_2cap) Is not a dirty pixel. Conversely, if there are no black pixels in the vicinity of 8, the black pixels (x_2cap, Y_2cap) Is determined to be a dirty pixel. In the example shown in FIG. 28, as shown in an enlarged view in FIG._2org, Y "_2org) Does not exist around the pixel, and it can be determined that the pixel is a dirty pixel.
[0092]
Such processing is sequentially performed for all black pixels in the inspection image to obtain the total number of dirty pixels. The final stain can be determined from a comparison between a statistical value such as the total number of dirty pixels and the ratio of the total number of dirty pixels to the total number of white pixels and a threshold value. Alternatively, a final image may be determined by creating a difference image and comparing the contamination area with a threshold value.
[0093]
As described above, according to the embodiment of the printed matter inspection apparatus and the printed matter inspection method of the present invention, the non-uniform geometric distortion (such as misalignment and expansion / contraction) of the inspection image with respect to the reference image and the image quality defect ( High-accuracy and high-speed image collation is possible without being affected by white spots and dirt.
[0094]
The image processing apparatus and the image processing method of the present invention can be applied to various uses other than the printed matter inspection apparatus and the printed matter inspection method as described above. For example, the present invention can be applied to a video camera, and can be applied as a camera shake correction function by calculating the amount of camera shake by image collation between frames. Further, when applied to the zoom function of a video camera, for example, zooming can be performed while keeping a specific subject in the frame without being conscious of the photographer.
[0095]
In addition, when applied to an automatic tracking device using a camera, the tracking direction can be corrected from the positional deviation amount and expansion / contraction rate of the tracking target imaged by the camera. Similarly, when applied to an automatic aiming device, it can be used for aiming correction to an aiming target. Furthermore, when applied to a personal authentication system, it is possible to construct a reliable authentication system used for image verification of biometric information such as retina and fingerprints. Furthermore, when applied to a motion recognition system, each frame of a moving image in which motion is recorded can be applied to motion recognition by performing image matching with each frame of the moving image in which a specific motion is recorded. In addition to these, the image processing apparatus and the image processing method of the present invention can be applied to various uses.
[0096]
FIG. 29 is an explanatory diagram of an example of a computer program and a storage medium storing the computer program when the function of the image processing apparatus or the image processing method of the present invention is realized by the computer program. In the figure, 101 is a program, 102 is a computer, 111 is a magneto-optical disk, 112 is an optical disk, 113 is a magnetic disk, 114 is a memory, 121 is a magneto-optical disk apparatus, 122 is an optical disk apparatus, and 123 is a magnetic disk apparatus.
[0097]
The functions described in the embodiment of the image processing apparatus and the image processing method of the present invention described above and the function of the image processing unit 53 in the embodiment of the printed material inspection apparatus and the printed material inspection method of the present invention are executed by a computer. It can also be realized by a possible program 101. In that case, the program 101 and data used by the program can be stored in a computer-readable storage medium. A storage medium is a signal format that causes a state of change in energy such as magnetism, light, electricity, etc. according to the description of a program to a reader provided in the hardware resources of a computer. Thus, the description content of the program can be transmitted to the reading device. For example, a magneto-optical disk 111, an optical disk 112 (including a CD and a DVD), a magnetic disk 113, a memory 114 (including an IC card and a memory card), and the like. Of course, these storage media are not limited to portable types.
[0098]
By storing the program 101 in these storage media and mounting these storage media in, for example, the magneto-optical disk device 121, optical disk device 122, magnetic disk device 123, or memory slot (not shown) of the computer 102, the computer 101 The program 101 can be read to execute the function of the image processing apparatus or the image processing method of the present invention. Alternatively, a storage medium may be attached to the computer 102 in advance, and the program 101 may be transferred to the computer 102 via a network, for example, and the program 101 may be stored and executed on the storage medium. The image data storage unit 2 may be a memory in the computer 102 or an attached magnetic disk device or other storage medium. Of course, some of the functions of the present invention may be configured by hardware, or all may be configured by hardware.
[0099]
Further, in one embodiment of the function of the printed matter inspection apparatus of the present invention or the printed matter inspection method of the present invention, for processing and control peculiar to printed matter inspection other than the function described as the above-described image processing apparatus or image processing method. The program can be configured as a printed matter inspection program. Such a printed matter inspection program is stored in the memory of the apparatus (for example, the memory 52 in FIG. 26), stored in a storage medium, or transferred via a network and stored in a computer that becomes the printed matter inspection apparatus. Can also be operated. Of course, the same applies to other applications.
[0100]
【The invention's effect】
As is apparent from the above description, according to the present invention, geometric distortion appearing in the image to be collated can be corrected, and it is not affected by image quality defects such as white spots and stains. There is an effect that image collation can be performed at high speed with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of an image processing apparatus and an image processing method according to the present invention.
FIG. 2 is a flowchart showing an example of an operation in the embodiment of the image processing apparatus and the image processing method of the present invention.
FIG. 3 is a conceptual diagram of creating a divided image.
FIG. 4 is an explanatory diagram of an example of creating a divided projection waveform.
FIG. 5 is an explanatory diagram of an example of a connection process of divided projection waveforms in the X direction.
FIG. 6 is an explanatory diagram simply illustrating an example of a connection process of divided projection waveforms in the X direction.
FIG. 7 is an explanatory diagram simply illustrating an example of a connection process of divided projection waveforms in the Y direction.
FIG. 8 is an explanatory diagram of an example of creating a projection waveform by adding divided projection waveforms in the X direction.
FIG. 9 is an explanatory diagram of an example of creating a projection waveform by adding the divided projection waveforms in the Y direction.
FIG. 10 is an explanatory diagram illustrating an example of projection waveforms in the X direction and the Y direction obtained by the process of combining the divided projection waveforms.
FIG. 11 is an explanatory diagram of an example of feature amount extraction processing;
FIG. 12 is an explanatory diagram of an example of association of feature amount data by DP matching.
FIG. 13 is a lattice graph for explaining general DP matching.
FIG. 14 is an explanatory diagram of a specific example of a feature amount data association result;
FIG. 15 is an explanatory diagram illustrating an example of a process for creating a forward lookup table from feature quantity association data in the X direction.
FIG. 16 is an explanatory diagram of an example of a created lookup table.
FIG. 17 is an explanatory diagram illustrating an example of a relationship between a coordinate position of feature amount data and a correction area;
FIG. 18 is an explanatory diagram of another example of the relationship between the coordinate position of the feature amount data and the correction area.
FIG. 19 is an explanatory diagram of another example of the created lookup table.
FIG. 20 is an explanatory diagram of an example of a process for creating an interpolation lookup table.
FIG. 21 is an explanatory diagram of an example of a process of creating a forward interpolation look-up table in the X direction.
FIG. 22 is an explanatory diagram of an example of a generated forward interpolation look-up table in the X direction.
FIG. 23 is an explanatory diagram of a general form of a one-dimensional lookup table.
FIG. 24 is an explanatory diagram of a general form of a forward two-dimensional lookup table.
FIG. 25 is an explanatory diagram of a general form of a two-dimensional lookup table in the reverse direction.
FIG. 26 is a configuration diagram showing an embodiment of a printed matter inspection apparatus and a printed matter inspection method according to the present invention.
FIG. 27 is an explanatory diagram illustrating an example of a pattern matching method for detecting white spots in a printed material.
FIG. 28 is an explanatory diagram illustrating an example of a pattern matching method in the case of detecting dirt on a printed material.
FIG. 29 is an explanatory diagram of an example of a computer program and a storage medium storing the computer program when the function of the image processing apparatus or the image processing method of the present invention is realized by the computer program.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Projection waveform creation part, 12 ... Feature-value extraction part, 13 ... Feature-value matching part, 14 ... Correction-amount calculation part, 15 ... Look-up table, 16 ... Image collation part, 21 ... Divided image creation part, 22 ... Divided projection waveform creation unit, 23 ... Projection waveform synthesis unit, 31 ... Client PC, 32 ... Print server, 33 ... Image output device, 34 ... Image reading unit, 35 ... Collation unit, 41 ... Printed matter, 42 ... Paper feed roller, DESCRIPTION OF SYMBOLS 43 ... Lamp, 44 ... Lens, 45 ... CCD, 46 ... Control part, 51 ... Image input part, 52 ... Memory, 53 ... Image processing part, 101 ... Program, 102 ... Computer, 111 ... Magneto-optical disk, 112 ... Optical disk , 113: magnetic disk, 114: memory, 121: magneto-optical disk device, 122: optical disk device, 123: magnetic disk device.

Claims

In an image processing apparatus for collating a reference image with an inspection image, a projection waveform generating means for generating a projection waveform of the reference image and a projection waveform of the inspection image, respectively, and extracting feature amounts from the projection waveform and extracting feature amount data Feature quantity extraction means to be created; feature quantity association means for associating feature quantity data between the feature quantity data of the reference image and the feature quantity data of the inspection image; and correspondence between the feature quantity data A forward n-dimensional lookup table composed of the coordinates of the reference image and the coordinates of the inspection image corresponding to the coordinates of the reference image based on the result of attachment, and an inverse composed of the coordinates of the reference image corresponding to the coordinates of the inspection image A correction amount calculating means for obtaining a direction n-dimensional lookup table and a forward n-dimensional lookup table are used to correspond to the black pixels of the reference image. The target pixel of the reference image corresponding to the black pixel of the inspection image is determined by specifying the target pixel of the inspection image, determining the presence or absence of a black pixel around the target pixel, and using the n-dimensional lookup table in the reverse direction An image processing apparatus comprising: a collating unit configured to collate the reference image with the inspection image by determining the presence of black pixels around the target pixel.

The image processing apparatus according to claim 1, wherein the feature amount association unit associates each piece of feature amount data using DP matching.

The image processing apparatus according to claim 1, wherein the feature amount association unit sequentially associates elements of each feature amount data.

The projection waveform creation means includes a divided image creation means for creating a divided image obtained by dividing an image into m × n, a divided projection waveform creation means for creating a projection waveform from the divided image, and the created for each of the divided images. The image according to any one of claims 1 to 3, further comprising a projection waveform synthesizing unit that generates a projection waveform of a partial image having a larger area than the entire image or a divided image by combining the projection waveforms. Processing equipment.

In an image processing apparatus for collating a reference image with an inspection image, a forward n-dimensional lookup table composed of the coordinates of the inspection image corresponding to the coordinates of the reference image, and the reference corresponding to the coordinates of the inspection image A target pixel of the inspection image corresponding to a black pixel of the reference image is identified by using a reverse n-dimensional lookup table configured by image coordinates and the forward n-dimensional lookup table. And determining whether or not there is a black pixel around the target image and identifying the target pixel of the reference image corresponding to the black pixel of the inspection image using the reverse n-dimensional lookup table. An image processing apparatus comprising collating means for collating the reference image with the inspection image by determining presence or absence.

In the image processing method for collating a reference image with an inspection image, a projection waveform generating unit generates a projection waveform of the reference image and a projection waveform of the inspection image, extracts feature amounts from the projection waveform, and extracts feature amount data. Each feature amount is created by a feature amount extraction unit, and the feature amount association unit associates feature amount data between the feature amount data of the reference image and the feature amount data of the inspection image. Based on the result of the association, the forward n-dimensional lookup table composed of the coordinates of the inspection image corresponding to the coordinates of the reference image, and the coordinates of the reference image corresponding to the coordinates of the inspection image An n-dimensional lookup table in the reverse direction is obtained by a correction amount calculation means, and the forward n-dimensional lookup table is used to correspond to the black pixel of the reference image. The pixel of interest of the reference image corresponding to the black pixel of the inspection image is determined by identifying the pixel of interest of the inspection image and determining the presence or absence of a black pixel around the pixel of interest and using the n-dimensional lookup table in the reverse direction The image processing method is characterized in that the reference image and the inspection image are collated by the collating means by specifying the image and determining the presence or absence of black pixels around the pixel of interest.

The image processing method according to claim 6, wherein the association between the feature amount data is performed using DP matching.

The image processing method according to claim 6, wherein the association between the feature amount data is performed by sequentially associating elements of each feature amount data.

The projection waveform is created by creating a divided image obtained by dividing the image into m × n, creating a projection waveform from the divided image, and combining the projection waveforms created for each of the divided images to make the whole image or the divided image more The image processing method according to claim 6, wherein a projection waveform of a partial image having a large area is created.

In the image processing method for collating a reference image and an inspection image, a forward n-dimensional lookup table configured by the coordinates of the inspection image corresponding to the coordinates of the reference image is used to correspond to the black pixels of the reference image. A target pixel of the inspection image is specified, the presence / absence of a black pixel around the target pixel is determined, and an n-dimensional lookup table in a reverse direction configured by the coordinates of the reference image corresponding to the coordinates of the inspection image Using the collation unit, the reference image and the inspection image are collated by specifying the pixel of interest of the reference image corresponding to the black pixel of the inspection image and determining the presence or absence of the black pixel around the pixel of interest. An image processing method.

In an image processing program for causing a computer to collate a reference image with an inspection image, a projection waveform generation function for respectively generating a projection waveform of the reference image and a projection waveform of the inspection image, and extracting a feature amount from the projection waveform A feature amount extraction function for creating feature amount data, a feature amount association function for associating feature amount data between the feature amount data of the reference image and the feature amount data of the inspection image, and the feature A forward n-dimensional lookup table composed of coordinates of the inspection image corresponding to the coordinates of the reference image based on the result of association between the quantity data, and coordinates of the reference image corresponding to the coordinates of the inspection image A correction amount calculation function for obtaining a reverse n-dimensional lookup table composed of The target pixel of the inspection image corresponding to the black pixel of the reference image is specified, the presence / absence of the black pixel around the target pixel is determined, and the black pixel of the inspection image is determined using the reverse n-dimensional lookup table. The computer is caused to perform a collation function for collating the reference image and the inspection image by identifying the corresponding pixel of interest in the reference image and determining the presence or absence of a black pixel around the pixel of interest. Image processing program.

The image processing program according to claim 11, wherein the feature amount association function associates each feature amount data using DP matching.

The image processing program according to claim 11, wherein the feature amount association function sequentially associates elements of each feature amount data.

The projection waveform creation function is an image obtained by combining a divided image creation function for creating a divided image obtained by dividing an image into m × n, a divided projection waveform creation function for creating a projection waveform from the divided image, and the divided projection waveform. 12. The projection waveform of the reference image and the projection waveform of the inspection image are respectively created by a projection waveform synthesis function for creating a projection waveform of a partial image having a larger area than the whole or a divided image. 14. The image processing program according to any one of items 13.

In an image processing program for causing a computer to collate a reference image with an inspection image, a reference n-dimensional lookup table composed of the coordinates of the inspection image corresponding to the coordinates of the reference image is used. The target pixel of the inspection image corresponding to the black pixel is specified, the presence / absence of a black pixel around the target pixel is determined, and n in the reverse direction configured by the coordinates of the reference image corresponding to the coordinates of the inspection image By identifying a target pixel of the reference image corresponding to a black pixel of the inspection image using a dimension lookup table and determining the presence or absence of a black pixel around the target pixel, the reference image and the inspection image An image processing program causing a computer to execute a collation function for performing collation.

In a printed matter inspection apparatus that inspects a printed matter, a reference image storage unit that stores a reference image used to form the printed matter, an image reading unit that reads an image of the printed matter to obtain an inspection image, and the reference image storage unit 6. A printed matter inspection apparatus comprising the image processing apparatus according to claim 1, wherein the stored reference image is collated with the inspection image read by the image reading unit. .

11. A printed matter inspection method for inspecting a printed matter, wherein an image of the printed matter is read as an inspection image, and the inspection image and a reference image used for forming the printed matter are collated. A printed matter inspection method, which is performed by the image processing method described in 1.

The printed material inspection program for causing a computer to inspect the printed material is an inspection image obtained by reading the image of the printed material, and the image used for forming the printed material is a reference image. A printed matter inspection program that causes a computer to execute a function of collating the inspection image with the reference image according to the image processing program described above.