JP5536233B2 - 印刷画像の自動検査 - Google Patents

Description

発明の背景
印刷された画像（印刷画像）の不良（欠陥）は、印刷媒体の異常、印刷媒体とマーキング材料との間の相互作用、印刷機構によってもたらされるシステム的不良、又は人為的ミスを含む多数の要因により生じる可能性がある。画像不良には、以下に限定されないが、引っかき傷、染み（汚点）、ドット群の抜け、筋、及びバンディングが含まれ得る。

印刷不良は望ましくなく、それらの検出に適した方法を開発することに努力がなされてきた。係る技術は一般に、手動（人の）検査、又は自動検査として分類され得る。人の技術は一般に、自動化方法よりも多くの時間を消費し、検査プロセスが構成されて反復可能である場合でさえも手動検査が約８０％の精度でしかないという考察が示された（非特許文献１）。更に、手動検査の時間のかかる特質は、一般に印刷機が２ｍ／秒を超える速度で動作することができて、印刷画像の高速検査を必要とする商業印刷の用途では許容できない。明らかに、係る検査速度は人間の能力を超えている。

一般に、自動検査システムは、不良検出の手法、即ち（ｉ）画像基準（又はテンプレートマッチング）の手法、（ii）設計ルールの手法、又は（iii）双方の何らかの組み合わせ（複合の手法）（非特許文献２〜５）に応じて３つのカテゴリの１つに分類される。最も簡単な画像基準の手法において、潜在的に不良な画像と対応する基準画像との間の直接的な比較を可能にする基準が存在する。この場合、潜在的に不良な画像の１００％を検査することが一般的である。より複雑な基準手法は、画像において潜在的に不良な要素の特徴を認識し、それらの特徴を一組の理想化された又は完全な特徴と比較することを含む。この場合、潜在的に不良な要素に関する検査カバレージは変動する可能性があり、必ずしも１００％でないかもしれない。設計ルールの手法において、画像の特性を記述する一組のルールが定義され、潜在的に不良な画像に関して統計的に検査され得る。この場合、ほんの１０％の製品が、適切な統計値を生成して不良が存在するか否かを判定する前に検査される必要がある。

自動検査の方法は、かなりの計算資源を必要とし、この要件は、変化するデータのプリントが画像の不良に関して検査される必要がある場合に悪化する。変化するデータの印刷において、各画像が異なる可能性があり、基準の手法が採用される場合、各画像が、異なる基準画像に関連して検査される必要がある。例えば、顧客ジョブが、異なる名前、住所、又は他の情報でもって各プリントの個人化（パーソナライズ）を必要とするかもしれない。幾つかの用途において、全ての印刷画像の検査を行う必要があるかもしれない（例えば、製薬業界において、薬のラベルに対して、１００％の検査が必要とされる）。係る自動検査の方法は、大幅な遅延、又はコストの増加をもたらす。

Bill Smith著、「Making war on defects」、IEEE Spectrum, vol. 30, no. 9, pp. 43-47, 1993 Shang-Hong Lai、及びMing Fang著、「An accurate and fast pattern localization algorithm for automated visual inspection」、Real-Time Imaging, vol. 5, pp. 3-14, 1999 Madhav Moganti、及びFikret Ercal著、「Automatic PCB inspection algorithms: A survey」、Computer Vision and Image Understanding, vol. 63, no. 2, pp. 287-313, 1996 Roland T. Chin著、「Automated visual inspection algorithms」、in Computer Vision: Theory and Industrial Applications，Ed. Carme Torras, 1992, pp. 377-404 Byron E. Dom、及びVirginia Brecher著、「Recent advances in the automatic inspection of integrated circuits for pattern defects」、Machine Vision and Applications, vol. 8, pp. 5-19, 1995 Zhou Wang、Alan C. Bovik、Hamid~R. Sheikh、及びEero P. Simoncelli著、「Image quality assessment: from error measurement to structural similarity」、IEEE Transactions on Image Processing, vol. 13, 2004 Alan C. Bovik、Zhou Wang、及びLigang Lu著、「Why is image quality assessment so difficult?」、 Proceedings of the IEEE International Conference on Acoust., Speech, and Signal Processing, 2004, vol. 4, pp. 3313-3316 Ahmet M. Eskicioglu、及びPaul S. Fisher著、「Image quality measures and their performance」、IEEE Transactions on Communications, vol. 43, no. 12, pp. 2959-2965, 1995

変化するデータの製品に関する自動不良検出の要求を満たすために、時間および／またはコストの効率的な画像検出の方法および装置が望ましい。

さて、例示のために、本発明の特定の実施形態が添付図面に関連して説明される。

印刷画像においてエラーを検出するのに適した光電子写真印刷システムを表す図である。 印刷画像において不良を検出するための自動検査方法を表す流れ図である。 印刷システム及び自動検査方法の図形的概観を示す図である。 別の印刷システム及び自動検査方法の図形的概観を示す図である。 処理ユニットにより実行される不良検出の比較動作に関する流れ図である。 検査方法における比較動作を更に示す図である。

詳細な説明
以下の詳細な説明において、添付図面を参照する。当該説明および図面の実施形態は、例示であるとみなされるべきであり、説明された要素の特定の実施形態に制限されるものとみなされるべきではない。多数の実施形態が、特定の要素の変更、組み合わせ、又は変形を通じて、以下の説明および／または図面から導出され得る。更に、理解され得るように、文字通りに開示されていない実施形態または要素も、当業者により当該説明および図面から導出され得る。

図１は、画像データ１０１から画像を印刷し、結果として生じる印刷画像において画像の不良を検出するための印刷システム１００を示す。システム１００は、印刷アセンブリ１０３を含むことができ、印刷アセンブリ１０３は、書き込みヘッド１０４、フォトイメージングプレート（ＰＩＰ）１０５、ブランケットドラム（ＢＬＫ）１０６、及び加圧ドラム（ＩＭＰ）１０７を含むことができる。例示された印刷アセンブリ１０３は、HP Indigo Digital Press（登録商標）のようなオフセット石版プリンタ及び／又は液体電子写真（ＬＥＰ）プリンタのそれに対応することができる。しかしながら、理解されるように、印刷アセンブリ１０３は例示のためだけに提供されており、レーザプリンタ、インクジェットプリンタ、昇華型プリンタなどのような、画像データから画像を印刷するための任意の適切な機構が、本発明の範囲から逸脱せずに使用され得る。書き込みヘッドは、電子写真表面に画像を書き込むのに適したレーザデバイス又は他の光源を含むことができる。また、システム１００には、画像キャプチャ装置１０９、プロセッサユニット１１０及び／又は画像プロセッサ１０２も含まれ得る。

本実施形態において、画像キャプチャ装置１０９は、印刷媒体または製品上の画像をデジタル画像に変換することができるデバイスとすることができる。画像キャプチャアセンブリ１０９は、インライン画像キャプチャアセンブリ１０９及び／又はインライン走査システムとすることができる。それは、インライン画像キャプチャアセンブリ１０９に対して移動する媒体１１１の画像をキャプチャするように、プリンタ内に構成され得る。画像キャプチャアセンブリ１０９は、印刷された媒体の画像を印刷解像度よりも低い解像度でキャプチャするように構成され得る。画像キャプチャアセンブリ１０９は、印刷画像の一部および／または印刷画像の全体をキャプチャするように構成され得る。画像キャプチャアセンブリ１０９は、光センサ、ＬＥＤ、レーザダイオード、スキャナ等のような１つ又は複数の画像キャプチャセンサを含むことができる。例えば、複数のスキャナが互いに隣接して配列されることができ、各スキャナは、媒体の全幅よりも短くすることがきる幅を有し、この場合、スキャナの走査領域は部分的に重なることができる。画像キャプチャアセンブリ１０９は、例えば両面印刷のために、媒体１１１の片面または両面の画像をキャプチャするように構成され得る。例えば、スキャナは、媒体１１１が２つの向かい合ったスキャナの間を通過して、印刷された両面で走査されるように、両側に配置され得る。各スキャナは、媒体１１１上に印刷された画像の一部および／または媒体１１１の全幅をキャプチャするように構成され得る。センサは、例えば、グレーレベル及び／又はＲＧＢターゲット画像をそれぞれキャプチャするために、１つのカラーチャネル（即ち、単色）、又は複数のカラーチャネルのセンサからなることができる。

画像データ１０１は、画像プロセッサ１０２により受け取られることができ、画像プロセッサ１０２は、確立された技術を用いて、印刷アセンブリ１０３に適するラスタ画像へ入力画像データ１０１を変換する。また、入力画像データ１０１は、予め生成されたラスタ画像を含むこともできる。画像プロセッサ１０２は、ラスタ画像を生成するためのＲＩＰ（Raster Image Processing）システムを含むことができる。印刷アセンブリ１０３は、受け取ったラスタ画像をハーフトーン処理して印刷するためのハーフトーン処理機能を備えてもよい。画像プロセッサ１０２は、ラスタ画像を基準画像に変換することができる。基準画像は、１つ又は複数のターゲット画像と比較されるのに適するように、例えば、ほぼ一致する解像度を有するように作成され得る。

ラスタ画像は印刷アセンブリ１０３に送られ得る。印刷アセンブリ１０３は、ラスタ画像を、書き込みヘッド１０４用のハーフトーンデータへ変換するように構成され得る。書き込みヘッド１０４は、ＰＩＰ１０５上に画像を生成することができる。次いで、ＰＩＰは画像をＢＬＫ１０６に転写し、次いでＢＬＫ１０６は、ＩＭＰ１０７上の用紙のような印刷媒体１１１上に画像を転写することができる。印刷画像が方向Ｍにおいて印刷アセンブリ１０３を出る前に又は出ると、画像キャプチャアセンブリ１０９は媒体１１１上の印刷画像を増分的に又は全体としてキャプチャすることができ、対応する画像データを「ターゲット画像」として処理ユニット１１０に送ることができる。

画像プロセッサ１０２は、ラスタ画像に関連した基準画像を生成し、基準画像を処理ユニット１１０に送ることができる。基準画像は、ラスタ画像よりもかなり低い解像度を有することができる。処理ユニット１１０は、基準画像をターゲット画像と比較して、それらの間の類似性を評価し、以下で説明される方法に従って、１つ又は複数の不良がターゲット画像に存在するか否かを判定することができる。ターゲット画像の検出された不良は、不良が印刷画像に存在することを示すことができる。

処理ユニット１１０は、１つ又は複数のＧＰＵ（グラフィカルプロセッシングユニット）を含むことができる。処理ユニット１１０は、ＣＰＵ（中央処理装置）及びＧＰＵの組み合わせ、又は任意に１つ又は複数のＣＰＵを含むことができる。一実施形態において、処理ユニット１１０は、ターゲット画像のカラースペクトルに一致させるように基準画像のカラースペクトルを変更するように構成され得る。一実施形態において、処理ユニット１１０は、ターゲット画像および基準画像の一方または双方の解像度を変更するように構成され得る。処理ユニット１１０は、ターゲット画像を基準画像と比較するように構成され得る。処理ユニット１１０は、ターゲット画像の少なくとも一部を基準画像の対応する部分と比較するように構成され得る。複数の比較動作が、複数のＧＰＵにより同時に実行され得る。

図２は、印刷画像２０６において不良を検出するための自動検査方法２００を示す。画像データ１０１は、印刷システム１００により、入力として受け取られ得る。画像データ１０１は、走査されたアナログ画像、及び／又はコンピュータ、ネットワーク及び／又はデジタルデータ記憶媒体を介して受け取られたデジタル画像データからなることができる。

画像データ１０１は画像プロセッサ１０２により処理され得る。画像プロセッサ１０２は、ラスタ画像２０３を生成することができ、又は画像データ１０１は予め生成されたラスタ画像２０３を含むことができる。ステップ２０４において、画像プロセッサ１０２は、後続のハーフトーン処理および電子写真印刷のために、ラスタ画像２０３を印刷アセンブリ１０３に送ることができる。ラスタ画像２０３は、関係している印刷アセンブリ１０３に適切である解像度およびフォーマットになっていることができる。ラスタ画像２０３は印刷解像度になっていることができる。例えば、HP Indigo Digital Press（登録商標）のようなＬＥＰシステムの場合、ラスタ画像２０３は、例えば、ＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）の色空間において、８１２ＤＰＩ（ドット／インチ）の対応する印刷解像度に対して、ほぼ８１２ＤＰＩの解像度で生成され得る。ここで、印刷解像度は、ドット／インチ（ＤＰＩ）でピクセル解像度により示され得る。画像プロセッサ１０２は、ラスタ画像２０３における色平面のそれぞれにおける各ピクセルの必要な強度および／または密度のレベルを記述する情報を含むことができる。

印刷プロセス中、ラスタ画像２０３は、ステップ２０５において印刷アセンブリ１０３内で異なる色パターンにハーフトーン処理され得る。印刷画像２０６が、媒体１１１上に印刷され得る。印刷プロセスは、上述したような電子写真印刷プロセスを含むことができる。例えば、媒体１１１は、紙または任意の他の基体（基板）からなることができる。印刷解像度は、ラスタ画像の解像度に対応することができる印刷ドット（ピクセル）解像度として理解され得る。例えば、印刷解像度は、例えば、ラスタ画像の解像度に対応する６００ＤＰＩ以上、例えば８１２ＤＰＩとすることができる。印刷画像２０６は、ステップ２０７において画像キャプチャアセンブリ１０９によりキャプチャされ得る。画像キャプチャアセンブリ１０９は、印刷画像２０６をターゲット画像２０８としてキャプチャすることができ、この場合、ターゲット画像２０８は印刷画像２０６よりも低い解像度を有することができる。ターゲット画像２０８の解像度は、画像キャプチャアセンブリ１０９の構成要素に依存することができる。例えば、ターゲット画像２０８の解像度は、媒体１１１の移動方向Ｍにおいて、約３００ＤＰＩ以下、又は約１３５ＤＰＩ以下、又は約６７ＤＰＩ以下とすることができる。幅の方向（即ち、移動方向Ｍに垂直な方向）において、例えばターゲット画像２０８の解像度は、約６００ＤＰＩ以下、又は例えば約３００〜６００ＤＰＩの間とすることができる。例えば、ターゲット画像２０８の解像度は、幅の方向において約２００ＤＰＩ、及び移動方向において８０ＤＰＩとすることができる。一実施形態において、ターゲット画像２０８は、第１段階において上述された解像度で生成され得る。また、基準画像２１０の解像度は、例えばターゲット画像２０８の解像度に正確に又はほぼ一致するように、第１段階において下げられ得る。これら第１段階の操作は、画像プロセッサ１０２により実行され得る。第２段階において、ターゲット画像２０８又は基準画像２１０の解像度はそれぞれ、基準画像２１０又はターゲット画像２０８の解像度に、より精密に一致するように更に調整され得る。これら第２段階の操作は、処理ユニット１１０により実行され得る。

ステップ２０９において、画像プロセッサ１０２は基準画像２１０を生成することができる。画像プロセッサ１０２は、ラスタ画像２０３を基準画像２１０に変換することができる。基準画像２１０は、ラスタ画像２０３から生成され得る。別の任意の実施形態において、基準画像２１０は、入力画像データから直接的に生成され得る。

基準画像２１０は、ターゲット画像と比較されるために、ステップ２１１の比較動作に更に良く適したフォーマットになっていることができる。ターゲット画像２０８は、使用される画像キャプチャアセンブリ１０９及び／又は処理ユニット１１０に利用可能な処理能力によって制約され得る。ステップ２０９の変換において、基準画像２１０の解像度は、画像キャプチャアセンブリ１０９によってもたらされたターゲット画像２０８の解像度に一致する、又は当該解像度に近づくように選択され得る。基準画像２１０の解像度は、画像キャプチャアセンブリ１０９の出力画像の解像度に依存する及び／又は当該解像度に近づくことができる。例えば、画像キャプチャアセンブリ１０９は、所定の解像度および少なくとも１つの所定の色チャネルの画像を出力するように構成され得る。一実施形態において、画像キャプチャアセンブリ１０９の解像度は、少なくとも媒体１１１の移動方向Ｍにおいて、約３００ＤＰＩ以下、例えば約１３５ＤＰＩ以下、例えば約６７ＤＰＩ以下とすることができる。それに応じて、ターゲット画像２０８の解像度は、当該方向Ｍにおいて、約３００ＤＰＩ以下、例えば約１３５ＤＰＩ以下、例えば約６７ＤＰＩ以下とすることができる。例えば、画像キャプチャアセンブリ１０９は、ＲＧＢ（赤、緑、青）において約６７ＤＰＩで、又はグレースケール色空間で約１３５ＤＰＩで動作するように構成され得る。この場合、基準画像２１０の解像度は、それに応じて生成され得る。

代替の実施形態において、ターゲット画像２０８は、基準画像２１０の解像度に一致するように処理され得る。他の実施形態において、基準画像２１０及びターゲット画像２０８の双方が、共通の解像度に一致するように処理され得る。更なる実施形態において、ラスタ画像２０３を基準画像２１０に変換することを含む変換ステップ２０９は、ラスタ画像２０３及び／又は印刷画像２０６の解像度より低い解像度にラスタ画像２０３を縮小することを含むことができる。印刷画像２０６よりも低くなるように、即ちターゲット画像２０８の解像度へより近づくように基準画像２１０の解像度を縮小することは、基準画像２１０とターゲット画像２０８との間の、より効率的な比較動作２１１を容易にすることができる。より小さいサイズの画像は、より速く処理されることができ、システム１００の性能を一般に改善することができる。大きいサイズの画像がシステム１００を介して及びシステム１００内に送られることを防止することが有利であるかもしれない。

この段階において、処理ユニット１１０は、実質的に同じ解像度の２つの処理された画像、即ちラスタ画像２０３に対応する基準画像２１０及びターゲット画像２０８を受け取っている。当業者には理解されるように、一実施形態において、基準画像２１０を生成するために元の画像を縮小することは、画像プロセッサ１０２の代わりに処理ユニット１１０により実行されることができ、この場合、ラスタ画像２０３は、基準画像２１０に変換するために処理ユニット１１０に送られ得る。しかしながら、ほぼ一致するターゲット画像および基準画像の解像度を有することにより、ＧＰＵのような専用処理ユニット１１０が、ステップ２１１により示されたような特殊化された比較動作を実行することを可能にすることができる。ＧＰＵが中央処理装置（ＣＰＵ）よりも比較的安価であるため、より速くてより高価なＣＰＵを用いる代わりに、この動作２１１のために複数のＧＰＵが使用され得る。

第２段階において、上記縮小の後、処理ユニット１１０は、ターゲット画像２０８のカラースペクトルのフォーマットに対応するように、基準画像２１０のカラーフォーマットを変換することができる。例えば、基準画像２１０のカラースペクトルは、ＣＭＹＫからＲＧＢ又はグレースケールへ変換され得る。

第２段階において、処理ユニット１１０は、基準画像２１０の解像度に一致するようにターゲット画像２０８の解像度を調整することができる。例えば、ターゲット画像２０８の最初の解像度（即ち、キャプチャされた画像）は、約２００×８０ＤＰＩとすることができ、一方基準画像２１０の解像度は約２０３．２×８１．２８ＤＰＩとすることができる。ターゲット画像２０８の解像度は、基準画像２１０の解像度に一致するように調整され得る。別の実施形態において、基準画像２１０の解像度は、ターゲット画像２０８の解像度に一致するように調整され得る。

図３は、印刷システム１００及び自動検査方法の図形的概観を示し、この場合、ターゲット画像２０８及び基準画像２１０は、低解像度の画像からなることができる。画像プロセッサ１０２は、ラスタ画像２０３を生成することができる。ラスタ画像２０３は、比較的高い解像度（例えば、８１２×８１２ＤＰＩ）のＣＭＹＫ画像からなることができる。ラスタ画像２０３は、ハーフトーン処理機能２０５を備える印刷アセンブリ１０３に送られ得る。各Ｃ、Ｍ、Ｙ、及び／又はＫのインクに対応するハーフトーンのパターンが生成されて媒体１１１に印刷され得る。結果としての印刷画像２０６が、画像キャプチャアセンブリ１０９の１つ又は複数のＲＧＢセンサによって比較的低い解像度（例えば、媒体１１１の移動方向Ｍにおいて１３５又は６７ＤＰＩのような、３００ＤＰＩ以下、又は１５０ＤＰＩ以下）で、キャプチャされ得る。代案として、画像キャプチャアセンブリ１０９は、ＣＭＹＫ色空間において、例えば、ほぼ印刷解像度のような比較的高い解像度で印刷画像２０６をキャプチャすることができ、次いでより低い解像度のＲＧＢカラースペクトルのターゲット画像２０８に変換される。

画像プロセッサ１０２は、ターゲット画像２０８とほぼ同じ解像度を有する基準画像２１０に、ラスタ画像２０３を変換することができるが、その解像度はそれでもなお僅かに異なっていてもよい。処理ユニット１１０は、ターゲット画像２０８に一致するように基準画像２１０のカラースペクトルを変換（この場合、ＲＧＢ）することができる。処理ユニット１１０は、基準画像２１０の解像度に一致するようにターゲット画像２０８の解像度を調整することができる。基準画像２１０及びターゲット画像２０８は処理ユニット１１０により比較され得る。複数のターゲット画像２０８が、複数のＧＰＵにより基準画像２１０の個々の領域と比較されてもよい。複数のＧＰＵの使用およびターゲット画像２０８及び基準画像２１０の一致する解像度を通じて、印刷画像２０６を出力するためのプリンタ１００の中を通って媒体１１１を移動させながら、検査方法がリアルタイムで実行され得る。

印刷システム１００及び検査方法の別の実施形態が、図４の線図に示され得る。ここで、ターゲット画像２０８は、単色スペクトルを有することができる。画像キャプチャアセンブリ１０９は、１つのカラーチャネルのみで印刷画像２０６をキャプチャすることができる。これは、比較的安価で効率的な画像キャプチャ及び比較動作を可能にすることができる。画像キャプチャアセンブリ１０９は、単色光センサを含むことができる。代替の実施形態において、キャプチャされた画像は、複数のカラーチャネルを有することができ、ターゲット画像２０８は、画像キャプチャの後で、例えば処理ユニット１１０により、グレースケールの画像に変換され得る。第１段階において、基準画像２１０は、複数のカラーチャネル（例えば、ＣＭＹＫ）からなることができ、第２段階において、複数のカラーチャネルの基準画像２１０の少なくとも一部が、単一のカラーチャネル（即ち、グレースケール）の基準画像２１０に変換され得る。これは、対応するグレースケールチャネルのターゲット画像２０８との比較的効率的な比較を可能にすることができる。印刷システム１００の他の構成要素は、図３に示されたシステム１００と同様とすることができる。このシステム１００は、高速でコスト効率の高い検査のシステム１００及び方法を可能にすることができる。

図５は、本発明の一実施形態に従って印刷画像における不良を検出するためにプロセッサユニット１１０により実行され得る比較動作の実施形態を示す。第２段階の変換ステップ３０２において、基準画像２１０及びターゲット画像２０８は、上述されたように、実質的に同じ解像度で実質的に同じカラーフォーマットを有するように変換され得る。次いで、ステップ３０３において、基準画像２１０及びターゲット画像２０８は、正確なエラー検出を可能にするように画像を位置合わせするためにトンボ（見当）合わせされ得る。例えば、システム的ハードウェアの欠陥または印刷アセンブリ１０３から出る際の用紙位置のばらつきに起因して、位置合わせ不良が生じる可能性がある。次に、ターゲット画像２０８及び基準画像２１０が比較され得るように、トンボ合わせされた画像の一方または双方が、ステップ３０４においてフィルタリング（例えば、平滑化および／または鮮明化）されることができる。ステップ３０４のフィルタリングプロセスは、正確な不良検出を達成する可能性を高めるために、ターゲット画像の鮮明化および基準画像のエッジの軟化を含むことができる。このステップの後、不良検出が、ステップ３０５において実行されて、判定機能に送られる不良マップが生成され得る。ステップ３０６において、判定機能は、不良マップを分析することができ、１つ又は複数の不良が画像に存在するか否かを判定することができ、そうである場合には、処置の適切なコースを決定することができ、係る処置は、印刷プロセスの中止または調整すること、及び／又は操作者に警告することを含むことができる。必要に応じて、原因を求め、場合によってはエラーの原因を修理するために、ステップ３０７において診断機能が、不良マップを分析することができる。代案として又は追加的に、ステップ３０７の診断機能は、メンテナンスの予定作り、及び装置の問題が切迫しているか否かを判定するために、欠陥のログを保持するために使用され得る。

ステップ３０３における基準画像２１０及びターゲット画像２０８のトンボ合わせは、当該技術において知られているような任意の適切なトンボ合わせの方法を用いて達成されることができ、当業者には理解されるように、本発明の範囲は特定のトンボ合わせの方法に制限されない。

トンボ合わせ３０３及び／又はフィルタリング３０４の後、不良検出が、例えばステップ３０５及び／又は３０６に対応して、トンボ合わせされた基準およびターゲット画像に適用され得る。一実施形態において、不良検出の機能は、ピクセル毎に構造的相違情報測定（ＤＳＩＭ：dissimilarity information measure）を実施することができる。ＤＳＩＭは、ターゲット画像のあらゆる領域が、不良を含まない限り、基準画像においてすぐ近くに類似した領域を有するべきであるという規則に基づくことができる。ＤＳＩＭは、構造的相似情報測定（ＳＳＩＭ：similarity information measure）（非特許文献６）に基づくことができ、当該ＳＳＩＭは、人間の視覚が画像から構造的情報を抽出するのに極めて適合するという前提に基づいている。差異または二乗和誤差のような最も一般的な相似測定は、理解して使用するのが容易であるが、それらは認識される視覚的品質に適切に対応していない（非特許文献７、８）。不良検出の機能は、ＳＳＩＭからの観念を使用し、以下の式に従って、相似値Ｓを２つの画像に割り当てる。

ここで、

はそれぞれ、ターゲット画像のターゲット領域および基準画像の基準領域に対応する画像信号である。ＳＳＩＭは、３つの成分、即ち、２つの領域の平均値を比較する輝度尺度ｌ、２つの領域の標準偏差を比較するコントラスト尺度ｃ、及び２つの領域の相関を比較する構造的尺度ｓを有することができる。これら３つの尺度は、以下の信号平均μ_ｘを含む画像対の特性に基づいている。

信号の標準偏差σ_ｘは、

信号の相互相関σ_ｘｙは、

ここで、総和が、関連した領域の全ピクセルにわたって行われ、Ｎは領域のピクセルの総数である。これらの特性に基づいて、輝度尺度ｌは以下のように定義される。

ここで、Ｃ_１は定数である。コントラスト尺度ｃは以下のように定義される。

ここで、Ｃ_２は定数である。最後に、構造的尺度ｓは以下のように定義される。

ここで、Ｃ_３は定数である。定数Ｃ_１は以下の式に従って標準値（非特許文献６）を取ることができる。即ち、
Ｃ_１＝（Ｋ_１Ｌ）^２ （８）
ここで、Ｌは、ピクセル値のダイナミックレンジ（８ビットのグレースケール画像に関して２５５）であり、ｋ_１≪１は小さい定数である。定数Ｃ_２は以下の式に従って値を取ることができる。即ち、
Ｃ_２＝（Ｋ_２Ｌ）^２ （９）
ここで、ｋ_２≪１も小さい定数である。最後に、Ｃ_３は以下の値を取ることができる。即ち、
Ｃ_３＝Ｃ_２／２ （１０）
当業者には理解されるように、様々な定数は、特定の応用形態または画像のタイプに適するように変更され得る。

印刷画像の不良を検出するために、コントラスト尺度および構造的尺度に基づくと共に実質的に輝度尺度とは無関係であるＤＳＩＭが開発された。一実施形態において、ＤＩＳＭは以下の形態を取る。

ここで、コントラスト尺度ｃ、及び構造的尺度ｓは、上述されたように計算される。

ＤＩＳＭに使用される定数Ｃ_２及びＣ_３は、不良検出方法の特定の応用形態に適合するように調整され得る。しかしながら、ほとんどの状況下で、ＳＳＩＭに関してこれら定義されたものと同じ定数の値が許容可能な結果を提供できることが分かっている。

ここで、図６を参照すると、一致するフォーマットを有することができるターゲット画像２０８及び基準画像２１０に対する不良検出プロセスの実施形態が示される。説明されるように、ターゲット画像２０８の一部が、基準画像２１０の対応する部分と比較され得る。図６は、ｋ×ｋのターゲット領域４０３の中心に配置された、ターゲット画像２０８のピクセルｐを示す。同様に、基準画像２１０は、ｋ×ｋの基準領域４０４内に含まれるピクセルｑを含むことができる。幾つかの実施形態において、基準ピクセルｑは、ピクセルｐに等しい位置にあるピクセルに単に対応するかもしれない。しかしながら、走査プロセスによってもたらされる固有のばらつきに起因して、各ピクセルに対して追加の局所的トンボ合わせ（位置合わせ）をすることが一般に、より正確である。図示された実施形態において、サイズｗ×ｗのウィンドウ４０５が画定される。次に、ウィンドウ４０５は、「最も一致する」基準領域を見つけるために探索され得る。ひとたび基準領域が決定されれば、中心のピクセルがピクセルｑであると解釈されて、ＤＳＩＭが計算され得る。

複数のターゲット領域が、複数の対応する基準領域と同時に比較され得る。有利な点は、複数のＧＰＵを用いて、複数の比較動作を同時に行うことができる。

「最も一致する」基準領域は、例えばＳＳＩＭ測定を用いて求められ得る。ウィンドウ４０４内の各ｋ×ｋ領域に対するＳＳＩＭが計算されて、最も高いＳＳＩＭを有する領域がターゲット領域として選択される。しかしながら、比較的高いＳＳＩＭのグレードが特定の領域に関して見つけられる場合、この領域は、ターゲット領域として選択され得る。一実施形態において、最適化が適用されて、各領域に関してＳＳＩＭを計算しなければならないこと及び／又はｗ×ｗのウィンドウの全体を探索することを防ぐことができる。画像が正確にトンボ合わせされ、不良が存在しない理想的なシステムでは、ピクセルｑはターゲット画像のピクセルｐの位置に対応する位置にある。逆に、不良がピクセルｐに存在する場合、最も一致する基準領域は、不十分な一致になり、関連するＤＳＩＭは、この位置での不良の存在を恐らく示すであろう。

「最も一致する」基準領域、結果としての基準ピクセルｑの位置の決定後、不良検出プロセスが、上記式（８）に従って、ターゲットピクセルｐ及び基準ピクセルｑに関連したＤＳＩＭのＤを計算する。この場合、上述した最適化を用いずに、「最も一致する」領域を求めてＤＳＩＭを計算するプロセスは、以下のように要約され得る。即ち、
For each pixel 'p' in target image:
k by k frame: x=x(p), centred at p
1. Find best matching k×k pixel frame y=y(p) in reference image within window of size w by w using S.
2. Compute D on basis of best matching frame。

システムの更なる部分は、不良が生じたこと及び必要に応じてその深刻さ（例えば、印刷機を停止するか否か）を操作者に通知することを含むことができる。この機能は、検出機能によって生成された結果（例えば、不良マップ及び／又は不良画像）を解釈する判定機能３０６により実行され得る。バイナリの不良マップの場合、形態学的フィルタリング又はメジアンフィルタリングのような分析技術が適用されて、効率的にノイズを低減する及び視覚的にわずかな不良を除去することができる。本発明の一実施形態において、フィルタリングされる前またはされた後の不良マップにおける水平方向および垂直方向の双方における投影（射影）は、人間の可視的不良がページ上に発生したか否かを判定するために実行される。例えば、不良マップの行または列における所定数の連続したピクセル（例えば、２つ以上）が不良である場合、これは可視的不良として警告を与えられ得る。不良のサイズ及び形状は、不良が機械の自動停止、又は現在のプリントジョブに影響を及ぼさずに操作者への警告をトリガすることを保証するか否かを判定するために使用され得る。万一不良の場合、不良マップも診断および修理に役立つことができる。幾つかの実施形態において、不良マップ（ターゲット画像データ及び／又は不良画像を備える又は備えない）は、更なる分析および回復手順のために診断システムに渡され得る。

特定のターゲットピクセルについて、局所的なトンボ合わせ、ＤＳＩＭ及びＳＳＩＭ演算は、少数の隣接するピクセルのみに依存することができ、計算は独立した順序である。更に、アルゴリズムは、数値計算とすることができ、メモリに制限されない。これらの特徴は、ＤＳＩＭをＧＰＵでの加速のための候補にすることができる。

前述の不良検出方法は、Nvidia（登録商標）からのCUDA（登録商標）コンピューティングインターフェースを用いて実施され得る。CUDA（登録商標）インターフェースは、プログラマがＧＰＵの計算能力に低レベルでアクセスできるようにする。具現化形態は、ＧＰＵの多数の処理ユニットにより命令される並列処理を達成する。メモリアクセスを低減するために、各画像は、キャッシュされて二次元メモリアクセスパターンに最適化されるテクスチャデータ記憶装置に格納される。更に、各ピクセルに対するＤＳＩＭは、色チャネル毎に独立して計算される。これは、各ピクセルが一度だけアクセスされるという理由で、メモリアクセス時間を大幅に改善する。各色チャネルに対するＤＳＩＭが計算された後、これらの値が、論理的OR演算子で結合されて最終のＤＳＩＭ決定を生じる。

上述した実施形態は印刷媒体に印刷された画像における不良の検出に関係するが、理解されるように、本発明の更なる実施形態は、以下に限定されないが、巻き取り紙、布地、ポリマー基板またはシリコン基板を含む製品上に印刷された画像に同様に適用され得る。実際には、本発明の幾つかの実施形態において、画像は、例えば電気回路または部品を製造するための機能的なマーキング材料を用いて印刷され得る。係る用途において、不良の検出は、回路の動作不良が避けられるべきである場合には望ましいかもしれない。従って、当業者には理解されるように、本明細書で使用される用語「画像」は、従来の印刷媒体上に、又は従来のマーキング材料を用いて印刷された画像に限定されず、任意の光学的、電気的、又は物理的に形成された複製品に拡張され得る。

説明の簡略化のために、例示された方法は、一連の機能ブロックとして示されて説明された。当業者には理解されるように、当該方法は、ブロックの順序により制限されず、図示および説明されたブロックからの幾つかのブロックは異なる順序で及び／又は他のブロックと同時に行われ得る。更に、方法の例を実施するために必要とされるものが、例示されたブロックの全てよりも少なくてもよい。更に理解されるように、電子的応用形態およびソフトウェアの応用形態は、例示されたブロックが図示されたものと異なる他の順序で実行され得るように、及び／又はブロックが結合される又は複数の要素に分離され得るように、ダイナミックでフレキシブルなプロセスを含むことができる。前述された方法およびプロセスは、機械語、手続き型言語、オブジェクト指向言語、及び／又は人工知能技術のような様々なプログラミング手法を用いて実施され得る。

上記の実施形態は、本発明の例示的な例として理解されるべきである。本発明の更なる実施形態が考えられる。例えば、「最も一致する」基準領域の選択は、平均領域輝度（ＳＳＩＭではなく）又は当該技術で知られているような他の適切な尺度を用いて実行され得る。代案として又は追加的に、幾つかの実施形態において、不良検出の方法は、各色分解に別個に適用され得る。

一態様において、印刷画像２０６における不良を検出するための自動検査方法が提供されることができ、その方法は、（i）ラスタ画像２０３を処理し、（ii）ラスタ画像２０３を印刷プロセス２０５に送り、（iii）ラスタ画像２０３に対応する印刷画像２０６を媒体１１１上に印刷し、（iv）印刷画像２０６よりも低い解像度で少なくとも媒体移動方向Ｍにおいて、印刷画像２０６の少なくとも一部からターゲット画像２０８をキャプチャし、（v）ラスタ画像２０３の少なくとも一部を基準画像２１０に変換し、（vi）基準画像２１０をターゲット画像２０８と比較することを含む。印刷プロセスは、印刷前にラスタ画像２０３をハーフトーン処理し、ハーフトーン処理された画像２０６を印刷することを含むことができる。ターゲット画像２０８の解像度は、媒体の移動方向Ｍにおいて、約３００ＤＰＩ未満からなることができる。ターゲット画像２０８は、赤、緑、青（ＲＧＢ）の色スペクトルを有することができる。第１段階において、基準画像２１０は、シアン、マゼンタ、イエロー、ブラック（ＣＭＹＫ）の色スペクトルを有することができる。

基準画像２１０の解像度および／または色スペクトルは、ターゲット画像２０８の解像度および／またはターゲット画像２０８のそれぞれの色スペクトルにほぼ等しくなるように変換され得る。ターゲット画像２０８は、グレースケール画像からなることができる。ラスタ画像２０３は、複数の色チャネルからなることができ、方法は、例えば１つ又は複数のステップにおいて、複数の色チャネルのラスタ画像２０３の少なくとも一部を、１つの色チャネルの基準画像２１０へ変換することを更に含むことができる。

方法は、輝度への影響に応じた重みを用いて、赤、緑、及び青のチャネルのそれぞれに対して構造的相似測定（ＳＳＩＭ）の方法（非特許文献６）を適用して組み合わせることを更に含むことができる。ＳＳＩＭは、本明細書で言及された幾つかの非特許文献で説明されている。

方法は、変化するデータの印刷に有用とすることができ、例えば、印刷が少なくとも１ページ／秒であり、各ページが異なるラスタ画像を用いて印刷される。印刷システム１００及び検査方法は、ターゲット画像２０８、及び基準画像２１０の高速比較を可能にすることができる。印刷システム１００及び検査方法は、多数の印刷（例えば、１００００ページより多い、又は３００００ページより多い）に対して、変化するデータの印刷、即ち異なるラスタ画像を用いて少なくとも１ページ／秒の速度でリアルタイムの不良検出を可能にすることができる。ＲＧＢ及び／又は１つの色チャネル（単色）のセンサ及びターゲット画像２０８を用いることは、変化するデータの高速印刷を、印刷システム１００の大きなスペースを取ることなく比較的低コストで可能にすることができる。

検査方法は、１つの印刷画像に対して、複数の処理ユニットによって複数の基準画像の領域４０４を複数の対応するターゲット画像の領域４０３と同時に比較することを更に含むことができる。

第２の態様において、印刷システム１００が提供されることができ、その印刷システム１００は、（i）印刷アセンブリ１０３、（ii）印刷アセンブリ１０３用のラスタ画像２０３を処理し、ラスタ画像２０３を基準画像２１０に変換するように構成された画像プロセッサ１０２、（iii）印刷画像２０６より低い解像度でターゲット画像２０８を提供するように、印刷媒体１１１の画像をキャプチャするように構成されたインライン画像キャプチャアセンブリ１０９、及び（iv）ターゲット画像２０８を基準画像２１０と比較するように構成された処理ユニット１１０を含むことができる。インライン画像キャプチャアセンブリ１０９は、印刷解像度よりも低い解像度で印刷媒体１１１の画像をキャプチャするように構成された少なくとも１つの画像キャプチャセンサを含むことができる。少なくとも１つの画像キャプチャセンサは、ＲＧＢ及び単色のターゲット画像２０８の少なくとも一方をキャプチャするように構成され得る。処理ユニット１１０は、ターゲット画像２０８の一部を基準画像２１０の対応する部分（この説明において、ターゲット領域４０３及び基準領域２１０も参照）と比較するようにそれぞれに構成された複数のグラフィカルプロセッシングユニットを含むことができ、複数のグラフィカルプロセッシングユニットは当該比較動作を同時に実行するように構成される。

第３の態様において、コンピューティング可読媒体が提供されることができ、それは、印刷画像２０６の不良を検出するための自動検査方法を実行するように印刷システム１００に命令するための命令を含むことができ、その方法は、（i）ラスタ画像２０３を処理し、（ii）ラスタ画像２０３を印刷プロセスに送り、（iii）ラスタ画像２０３に対応する印刷画像２０６を媒体１１１上に印刷し、（iv）印刷画像２０６よりも低い解像度で、印刷画像２０６の少なくとも一部からターゲット画像２０８をキャプチャし、（v）ラスタ画像２０３の少なくとも一部を基準画像２１０に変換して、基準画像２１０をターゲット画像２０８と比較することを含む。

上記において、ラスタ画像２０３を処理することは、入力画像からラスタ画像２０３を生成することを含むことができる。ラスタ画像２０３を処理することは、ラスタ画像２０３を直接的に受け取ることを含むこともできる。従って、ラスタ画像２０３を処理するように構成された画像プロセッサ１０２が、印刷アセンブリ１０３に設けられてもよい。画像プロセッサ１０２は、印刷アセンブリ１０３に適した当該ラスタ画像２０３へ入力画像２０１を変換するように構成され得る、及び／又は画像プロセッサ１０２はラスタ画像を受け取り、それを印刷アセンブリに送るように構成され得る。

ターゲット画像２０８の低い解像度、及びターゲット画像２０８のＲＧＢ又はグレースケールの色空間は、比較的高速の画像キャプチャを可能にすることができる。比較的低い解像度のＲＧＢ又はグレースケールの画像センサは、比較的コスト効率を高くすることができる。上記の画像比較動作を同時に実行するように構成された複数のグラフィカルプロセッシングユニットを用いることは、少なくとも従来の中央処理装置と比べて、比較的コスト効率および時間効率が良い。

幾つかの実施形態において、印刷システム１００及び不良検出方法は、変化するデータを印刷するシステムと共に動作することが必要とされるかもしれない。係るシステムにおいて、あらゆるページは、潜在的に異なる可能性があり、この結果、不良検出がリアルタイムで動作する必要があるかもしれない。この要件は、現在の産業用印刷システムに関して少なくとも１ページ／秒の処理速度につながる。グラフィカルプロセッシングユニット（ＧＰＵ）を用いて並列計算を実行することができる。基準画像を、例えばＣＭＹＫで生成するためにデジタルのラスタ画像を用いること、及び複数の低解像度のＲＧＢ及び／又は単色の画像センサ及びＧＰＵを用いることにより、多数の変化する印刷動作に対する正確な不良検査方法が比較的低コスト、低い複雑性、及び高い空間効率で提供され得ることが、試験により示された。これは、ＬＥＰ印刷システム等で有利であるかもしれない。

本説明において、幾つかの用語が、特定の特徴要素および機能に使用された。しかしながら、当業者には理解されるように、これらの特徴要素および機能の学術用語は、本発明の思想から逸脱せずに異なるようにも選択され得る。

上記の説明は、網羅的にする、又は本発明を開示された実施形態に制限することを意図されていない。本発明を実施する際に図面、本開示、及び添付の特許請求の範囲の考察から、開示された実施形態に対する他の変形態様が、当業者により理解されてもたらされ得る。特許請求の範囲において、単語「含む」は、他の要素またはステップを排除せず、不定冠詞の「a」又は「an」は複数を排除しないが、特定の数の要素に対する言及は、より多くの要素を有する可能性を排除しない。単一のユニットが、本開示に列挙された幾つかの要素の機能を実現することができ、反対に幾つかの要素が１つの要素の機能を実現することができる。

特定の手段が相互に異なる従属項に列挙されているという単なる事実は、これらの手段の組み合わせが利益をもたらすように使用されることができないということを意味しない。複数の代替案、等価物、変形態様および組み合わせが、本発明の範囲から逸脱せずに行われ得る。

Claims (15)

1. 印刷画像における不良を検出するための自動検査方法であって、
   ラスタ画像を処理し、
   前記ラスタ画像を印刷プロセスに送り、
   前記ラスタ画像に対応する印刷画像を媒体上に印刷し、
   前記印刷画像よりも低い解像度で少なくとも媒体移動方向において、前記印刷画像の少なくとも一部からターゲット画像をキャプチャし、
   前記ラスタ画像の少なくとも一部を基準画像に変換し、
   前記基準画像を前記ターゲット画像と比較することを含み、
   前記比較することが、輝度への影響に応じた重みを用いて、前記ターゲット画像の各色チャネルに対して構造的相似測定（ＳＳＩＭ）の方法を適用して組み合わせることを含む、自動検査方法。
2. 前記比較することが、構造的相違情報測定（ＤＳＩＭ）を計算することを更に含む、請求項１に記載の自動検査方法。
3. 前記印刷プロセスが、印刷前に前記ラスタ画像をハーフトーン処理し、前記ハーフトーン処理された画像を印刷することを含む、請求項１又は２に記載の自動検査方法。
4. 前記低い解像度が、前記媒体の移動方向において、約３００ＤＰＩ未満からなる、請求項１〜３の何れかに記載の自動検査方法。
5. 前記基準画像の解像度および／または色スペクトルが、前記ターゲット画像の解像度および／または色スペクトルのそれぞれにほぼ等しくなるように変換される、請求項１〜４の何れかに記載の自動検査方法。
6. 前記ターゲット画像がグレースケール画像からなる、請求項５に記載の自動検査方法。
7. 前記ラスタ画像が、複数の色チャネルからなり、前記方法は、
   前記複数の色チャネルのラスタ画像の少なくとも一部を、１つの色チャネルの基準画像へ変換することを更に含む、請求項６に記載の自動検査方法。
8. 前記ターゲット画像が、赤、緑、青（ＲＧＢ）の色スペクトルを有し、前記基準画像が、前記ラスタ画像から変換された時にシアン、マゼンタ、イエロー、ブラック（ＣＭＹＫ）の色スペクトルを有し、次いで前記シアン、マゼンタ、イエロー、ブラック（ＣＭＹＫ）の色スペクトルが赤、緑、青（ＲＧＢ）の色スペクトルに変換される、請求項５に記載の自動検査方法。
9. １つの印刷画像に対して、複数の処理ユニットによって複数の基準画像の部分を複数の対応するターゲット画像の部分と同時に比較することを含む、請求項１〜８の何れかに記載の自動検査方法。
10. 印刷アセンブリと、
    入力画像を前記印刷アセンブリ用のラスタ画像に変換し、前記ラスタ画像を基準画像に変換するように構成された画像プロセッサと、
    印刷画像より低い解像度でターゲット画像を提供するように、印刷媒体の画像をキャプチャするように構成されたインライン画像キャプチャアセンブリと、
    前記ターゲット画像を前記基準画像と比較するように構成された処理ユニットとを含み、
    前記比較することが、輝度への影響に応じた重みを用いて、前記ターゲット画像の各色チャネルに対して構造的相似測定（ＳＳＩＭ）の方法を適用して組み合わせることを含む、印刷システム。
11. 前記比較することが、構造的相違情報測定（ＤＳＩＭ）を計算することを更に含む、請求項１０に記載の印刷システム。
12. 前記基準画像の解像度および／または色スペクトルが、前記ターゲット画像の解像度および／または色スペクトルのそれぞれにほぼ等しくなるように変換される、請求項１０又は１１に記載の印刷システム。
13. 前記インライン画像キャプチャアセンブリが、印刷解像度よりも低い解像度で前記印刷媒体の画像をキャプチャするように構成された少なくとも１つの画像キャプチャセンサを含み、前記少なくとも１つの画像キャプチャセンサが、ＲＧＢ及び単色のターゲット画像の少なくとも一方をキャプチャするように構成されている、請求項１０〜１２の何れかに記載の印刷システム。
14. 前記処理ユニットが、前記ターゲット画像の一部を前記基準画像の対応する部分と比較するようにそれぞれ構成された複数のグラフィカルプロセッシングユニットを含み、
    前記複数のグラフィカルプロセッシングユニットが、前記比較動作を同時に実行するように構成されている、請求項１３に記載の印刷システム。
15. 印刷画像の不良を検出するための自動検査方法を実行するように印刷システムに命令するための命令を含むコンピュータ可読媒体であって、その方法が、
    ラスタ画像を処理し、
    前記ラスタ画像を印刷プロセスに送り、
    前記ラスタ画像に対応する印刷画像を媒体上に印刷し、
    前記印刷画像よりも低い解像度で、前記印刷画像の少なくとも一部からＲＧＢ及び単色のターゲット画像の少なくとも一方をキャプチャし、
    前記ラスタ画像の少なくとも一部を基準画像に変換し、
    前記基準画像の解像度および／または色スペクトルを、前記ターゲット画像の解像度および／または色スペクトルのそれぞれにほぼ等しくなるように変換し、
    前記基準画像を前記ターゲット画像と比較することを含み、
    前記比較することが、輝度への影響に応じた重みを用いて、前記ターゲット画像の各色チャネルに対して構造的相似測定（ＳＳＩＭ）の方法を適用して組み合わせること、及び構造的相違情報測定（ＤＳＩＭ）を計算することをを含む、コンピュータ可読媒体。

Images