JP7204265B1 - 印刷物の検査システムのための学習済みモデルを生成する方法および装置 - Google Patents

Abstract

【課題】印刷物の検査の精度を向上させる。【解決手段】検査システムは、印刷データに基づいて印刷を実行する印刷機と、前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、を備える。前記検査システムのための学習済みモデルを生成する方法は、複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを取得することと、前記学習用データセットに基づく機械学習によって前記学習済みモデルを生成することとを含む。【選択図】図１６

Description

特許法第３０条第２項適用 販売日： 令和３年１１月３０日 販売した場所：富士フイルムビジネスイノベーション株式会社 海老名事業所（〒２４３－０４１７ 神奈川県海老名市本郷２２７４） 販売日： 令和３年１２月２４日 販売した場所：共同印刷株式会社 情報出力センター（埼玉県児玉郡上里町大字大御堂１４２７－２） 販売日 ： 令和４年２月１４日 販売した場所：株式会社ＴＬＰ 羽生工場（〒３４８－００１６ 埼玉県羽生市大沼２丁目６９番地）

本発明は、印刷物の検査システムのための学習済みモデルを生成する方法および装置に関する。

印刷物をカメラで撮影して取得した画像データと、印刷元のデータとを比較することによって印刷の良否または品質を検査する種々の検査装置が開発および使用されている。

例えば特許文献１は、印刷データから生成されたマスター画像と、印刷物を読取装置で読み取ることによって生成した読取画像との差分に基づいて検査を行う検査装置を開示している。印刷データからマスター画像を生成することにより、例えばバリアブル印刷（Variable Data Printing: VDP）による印刷物の検査を効率的に行うことができる旨が記載されている。

特許文献２は、印刷物を撮影して取得した被検査画像と、予め生成した基準画像とを、印刷物の単位毎に読み出して比較し、不一致が認められた場合に印刷にエラーが生じたと判定する検査方法を開示している。

特許文献３は、ページ単位に異なるデータが印刷されるカラー印刷物の印刷内容および印刷状態を検査する検査装置を開示している。この検査装置は、印刷物に共通の背景絵柄と、印刷物ごとに異なる可変データのそれぞれについて、基準画像と比較照合することによって印刷内容および印刷状態を検査する。

特許文献４は、印刷物の条件に応じて基準データを変換して生成した比較用基準データと、印刷物を撮像して取得した撮像データに基づく比較用撮像データとを比較することによって印刷物の良否を判定する検査方法を開示している。比較用基準データは、深層学習を適用して生成された学習モデルを用いて、基準データから変換される。これにより、印刷物の条件に応じた基準データを用いた印刷物の良否判定を実施することができることが記載されている。

特開２０１５－１７４３０７号公報 特開２０１９－１３２６６１号公報 特開２００３－５４０９６号公報 特開２０２０－１８６９３８号公報

従来の印刷物検査方法では、印刷物を撮影して取得した画像データと印刷の元となったデータとの形式の違いや、印刷時のインクのにじみ、用紙の変形等に起因して、検査の精度が低下する場合があった。

本開示は、印刷物の画像検査の精度を向上させることが可能な新規な検査技術を提供する。

本発明の一態様に係る検査システムは、入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドとを備えた印刷機と組み合せて使用される。前記検査システムは、前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、処理装置とを備える。前記処理装置は、前記印刷元データまたは前記ヘッドデータに第１空間フィルタリング処理を行って第１フィルタ画像を生成する。前記処理装置は、前記第１フィルタ画像と前記カメラ画像との照合、または、前記第１フィルタ画像と、前記カメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像との照合を行うことにより、前記印刷物の良否を判定し、判定結果を出力する。

本発明の他の態様に係る方法は、印刷データに基づいて印刷を実行する印刷機と、前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、を備えた検査システムのための前記学習済みモデルを生成する方法である。前記方法は、複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを取得することと、前記学習用データセットに基づく機械学習によって前記学習済みモデルを生成することと、を含む。

本発明の包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせによって実現され得る。

本発明によれば、印刷物の画像検査の精度を向上させることができる。

従来の検査システムの一例を模式的に示す図である。 印刷によって用紙および印刷された部分が変形することを模式的に示す図である。 本発明の例示的な実施形態による検査システムの構成を模式的に示す図である。 処理装置による判定処理の概要を説明するための模式図である。 検査システムの機能を説明するための図である。 印刷および検査の流れを模式的に示す図である。 色変換処理の概要を模式的に示す図である。 処理装置が実行する処理の例を示すフローチャートである。 処理装置が実行する処理の他の例を示すフローチャートである。 処理装置が実行する処理のさらに他の例を示すフローチャートである。 ヘッドデータを第１フィルタ画像に変換する処理の流れを示す図である。 ヘッドデータにおける１つの画素の画素値の一例を示す図である。 ガウシアンフィルタおよび平均化フィルタの例を示す図である。 色変換テーブルの一例を示す図である。 空間フィルタの一例と、空間フィルタのパラメータの調整方法を模式的に示す図である。 色変換テーブルの一例と、そのパラメータの調整方法の例を示す図である。 第１フィルタ画像とカメラ画像との照合処理の一例を示す図である。 学習済みモデルの生成方法の流れを示すフローチャートである。 テストチャートの一例を示す図である。 テストチャートの他の例を示す図である。 テストチャートのさらに他の例を示す図である。

本発明の実施形態を説明する前に、本発明の基礎となった知見を説明する。

バリアブル印刷を行うデジタル印刷機は、ページごとに異なる内容を印刷する。そのような印刷機は、例えば、あて名印刷、請求書印刷、および明細書印刷などの種々の用途に広く利用されている。

可変印刷では、ページごとに異なる内容が印刷されるため、事前に用意された１つの画像と比較するといった単純な方法では検査ができない。このため、印刷元の画像データと、印刷物を撮像して得られる画像データとを比較照合することで検査を行う方法が考えられる。

しかし、２つの画像を照合する方法には、例えば以下の課題がある。
・一般的に、印刷は減色系（ＹＭＣＫ）、カメラは加色系（ＲＧＢ）のデータを処理するため、両者のデータを直接比較することができない。
・印刷機内で展開されるイメージと、検査装置内で展開されるイメージとは必ずしも一致せず、相違点が生じる。
・用紙またはインクなどの特性に起因して、インクのにじみや用紙の変形等が生じ、印刷しようとする画像と実際に印刷された画像との間に相違点が生じる。

このような課題のため、従来の検査装置では、カラーの印刷物を高い精度で検査することが難しかった。そのため、従来は、例えば文字などの重要な部分の色に重点を置いて照合を行う検査システムが用いられることが多かった。

図１は、従来の検査システムの一例を模式的に示す図である。図１に示す検査システムは、印刷コントローラ１１０および印刷ヘッド１２０を有する印刷機と、処理装置２１０と、カメラ２２０（撮像装置）とを備える。印刷ヘッド１２０は、シアン（Ｃ）、マゼンタ（Ｍ）、黄（Ｙ）、および黒（Ｋ）の４色に対応する４種類のヘッドを含む。印刷コントローラ１１０は、外部の装置から入力された印刷元データ（例えばＰＤＦファイル等）を、ヘッドデータに変換して各印刷ヘッド１２０に出力する。ヘッドデータは、例えば、ＣＭＹＫの各色の網点（ハーフトーン）画像のデータである。各印刷ヘッド１２０は、ヘッドデータに従い、搬送される用紙１０に印刷を実行する。印刷された用紙１０は、カメラ２２０によって撮影される。カメラ２２０は、印刷された用紙１０を撮影してカメラ画像データ（以下、「カメラ画像」とも称する。）を生成する。処理装置２１０は、ヘッドデータおよびカメラ画像のそれぞれから特定の色（例えば文字等の重要な部分の色）のデータを抽出し、それらを照合して印刷の良否を判定する。

このようなシステムにおいては、検査の対象が印刷物の特定の色の成分に限定され、他の色の成分については検査することができない。また、印刷時のインクのにじみや用紙の変形に起因する印刷物の欠陥を高い精度で検出することが難しい。

一般に、印刷に使用される用紙は、水分や油分を吸収することによって伸縮する。水分や油分を含むインクを用紙上に噴射または塗布する場合、用紙の伸縮が発生し、印刷物は元のデジタルデータに対して変形する場合がある。例えば、Ａ４サイズで１ｍｍ程度変形する場合がある。

図２は、印刷によって用紙および印刷された部分が変形することを模式的に示す図である。図２に示すように、インク量の多い部分は収縮が大きく、インク量の少ない部分は収縮が小さい。変形の程度と変形の形態は印刷内容によって変化するため、事前に変形を予測することは困難である。特に、ページ毎に異なる内容が印刷される可変印刷においては、ページ毎にインク量が異なることから、収縮の仕方がページ毎に不規則に変化し得る。その結果、カメラ画像と元データとの照合が困難になる場合がある。他にも、カメラ内のレンズの光学的特性（主に歪曲収差）の影響で、撮影した画像が変形する場合もある。この場合の変形は規則的であるが、同様に元データとの照合が困難になり得る。

本発明者らは、上記の課題を解決するため、以下に説明する本発明の実施形態の構成に想到した。以下、本発明の例示的な実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。本明細書においては、同一のまたは類似する構成要素には、同一の参照符号を付している。

（実施形態１）
図３は、本発明の例示的な実施形態による検査システムの構成を模式的に示す図である。この検査システムは、印刷機１００と、検査装置２００とを備える。図３には、印刷機１００および検査装置２００に接続されるコンピュータ３００も示されている。コンピュータ３００は、例えばサーバコンピュータ、パーソナルコンピュータ（ＰＣ）、または携帯端末などの任意の情報処理装置である。コンピュータ３００は、検査システムに含まれていてもよいし、検査システムの外部の要素であってもよい。また、印刷機１００は、検査システムの外部の要素であってもよい。

図１に示す印刷機１００は、印刷コントローラ１１０と、印刷ヘッド１２０と、搬送機１３０とを備える。搬送機１３０は、ロール状の用紙１０を搬送する。印刷コントローラ１１０は、印刷機１００の全体の動作を制御する装置または回路である。印刷コントローラ１１０は、コンピュータ３００から入力された、印刷元データを含む印刷指示を受けて、搬送機１３０および印刷ヘッド１２０を駆動する。これにより、印刷機１００は、用紙１０を搬送しながら印刷を実行する。印刷コントローラ１１０、印刷ヘッド１２０、および搬送機１３０は、１つの装置として一体化されていなくてもよく、それぞれ独立した装置として構成されていてもよい。

印刷機１００は、例えばインクジェット方式または電子写真方式等の公知の方式で印刷を行うデジタル印刷機である。印刷機１００は、コンピュータ３００から入力された印刷元データに基づいて用紙１０に印刷を行う。印刷は、カラー印刷であってもよいしモノクロ印刷であってもよい。以下の説明では、一例として、シアン（Ｃ）、マゼンタ（Ｍ）、黄（Ｙ）、黒（Ｋ）の４色のインクを用いたカラー印刷を行うものとする。印刷機１００は、ＣＭＹＫに限らず、他の色のインクを用いて印刷を行ってもよい。

本実施形態における印刷機１００は、バリアブル印刷（可変印刷）を実行することができる。バリアブル印刷では、用紙１０のページごとに異なる文字、図形、または画像などが連続的に印刷される。本実施形態における用紙１０はロール紙であるが、フィルムなどの他の印刷媒体に印刷が行われてもよい。

印刷コントローラ１１０は、入力された印刷元データをヘッドデータに変換して印刷ヘッド１２０に出力する。印刷元データは、例えばＰＤＦ（Portable Document Format）等の画像や文字の情報を含むベクタ形式のデータであり得る。ヘッドデータは、例えば各画素１色あたり２～４階調程度の少数の階調で表現された網点（ハーフトーン）画像を示すビットマップ（ラスタ）のデータであり得る。印刷コントローラ１１０は、例えばベクタ形式の印刷元データを、より少数の階調の点の集合として表現されたラスタ画像を表すヘッドデータに変換するＲＩＰ（Raster Image Processor）の機能を有する。ＲＩＰ処理は、ＰＤＦ等の印刷元データをラスタデータに変換する処理、ＲＧＢ（赤、緑、青）からＣＭＹＫ（シアン、マゼンタ、黄、黒）への変換処理、および各色の濃淡を網点（ハーフトーン）で表現するハーフトーン処理等の種々の処理を含み得る。なお、ＲＩＰの機能の少なくとも一部は、印刷コントローラ１１０とは異なる装置（例えばコンピュータ３００）が実行してもよい。印刷元データは、ＰＤＦに限らず、例えばＪＰＥＧ（Joint Photographic Experts Group）またはＰＮＧ（Portable Network Graphics）等の画像データであってもよい。

印刷ヘッド１２０は、入力されたヘッドデータに基づいて印刷を実行するための部品およびそれらの部品を制御する回路を含む装置である。図３には１つの印刷ヘッド１２０が例示されているが、カラー印刷が行われる場合、複数の色のインクに対応する複数種類の印刷ヘッドが設けられ得る。例えば、シアン（Ｃ）、マゼンタ（Ｍ）、黄（Ｙ）、黒（Ｋ）の４色のインクにそれぞれ対応する４つの印刷ヘッドが設けられ得る。印刷機１００がインクジェットプリンタである場合、各色の印刷ヘッドは、用紙１０の表面に沿って搬送方向（図１に示す矢印の方向）に垂直な方向に並ぶ複数のインクジェットヘッドを含み得る。各インクジェットヘッドは、例えばインクを加圧または加熱して噴射するノズルを含む。なお、印刷機１００が電子写真方式のプリンタである場合、印刷ヘッド１２０は、レーザまたはＬＥＤ等の光源、ポリゴンミラー等の光学系、感光ドラム等の部品、光源および光学系を制御する回路を含み得る。

検査装置２００は、印刷機１００と連動して動作し、印刷された用紙１０を検査し、検査結果を出力する。検査装置２００は、印刷機１００およびコンピュータ３００に接続されている。検査装置２００は、カメラ２２０と、処理装置２１０とを備える。

カメラ２２０は、印刷された用紙１０の搬送経路上に配置される。カメラ２２０は、印刷後の用紙１０を撮影して画像データ（「カメラ画像」と呼ぶ。）を生成する。カメラ２２０は、例えばページごとにカメラ画像を出力するように構成され得る。

カメラ２２０は、例えばＣＣＤまたはＣＭＯＳなどのイメージセンサと、レンズ等の光学系とを備える。カメラ２２０は、２次元のイメージセンサを備えていてもよいし、コンタクトイメージセンサ（ＣＩＳ）などのリニアイメージセンサ（ラインセンサ）を備えていてもよい。カメラ２２０がリニアイメージセンサを備える場合、カメラ２２０は、搬送された用紙１０をラインごとに撮影し、複数ラインのデータをページごとにまとめてカメラ画像として出力してもよい。あるいは、カメラ２２０は、ラインごとにデータを出力し、処理装置２１０が複数ラインのデータをページごとにまとめて２次元のカメラ画像のデータを生成してもよい。カメラ２２０は、用紙１０の表面側だけでなく裏面側にも設けられていてもよい。用紙１０の両面側に２つのカメラ２２０を設けることにより、用紙１０の両面の印刷状態を検査することができる。

処理装置２１０は、プロセッサ２１２と、ＲＡＭ２１４およびＲＯＭ２１６等の記憶媒体（メモリ）と、入出力インターフェース（Ｉ／Ｆ）２１８とを備える。プロセッサ２１２は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）などの演算処理回路を含む。ＲＯＭ２１６は、プロセッサ２１２によって実行されるコンピュータプログラムを格納する。当該プログラムは、後述する処理をプロセッサ２１２に実行させるための命令群を含む。ＲＡＭ２１４は、プロセッサ２１２がプログラムを実行するにあたって、当該プログラムを展開するためのワークメモリである。プロセッサ２１２は、インターフェース２１８を介して、コンピュータ３００、印刷コントローラ１１０、およびカメラ２２０に接続される。

処理装置２１０のプロセッサ２１２は、印刷元データまたはヘッドデータと、カメラ画像データとに基づく照合処理を行い、印刷物の良否を判定する。以下、図４を参照しながら、この判定処理の詳細を説明する。

図４は、処理装置２１０による判定処理の概要を説明するための模式図である。処理装置２１０は、印刷元データおよびヘッドデータの少なくとも一方を取得し、取得した印刷元データまたはヘッドデータに、空間フィルタリング処理および色調整処理等の必要な変換処理を行い、照合用の画像データ（第１フィルタ画像）を生成する。処理装置２１０はまた、カメラ２２０からカメラ画像を取得し、当該カメラ画像に空間フィルタリング処理および色調整処理等の必要な変換処理を行い、照合用のカメラ画像（第２フィルタ画像）を生成する。処理装置２１０は、第１フィルタ画像と第２フィルタ画像とを照合し、照合結果を出力する。例えば、処理装置２１０は、第１フィルタ画像と第２フィルタ画像とを、比較的小さい領域ごとに比較する処理を画像全体にわたって実行し、両者の一致度に基づいて、印刷の良否を判定する。処理装置２１０は、判定結果を、例えば処理装置２１０に接続されたディスプレイもしくはスピーカなどの出力装置または記憶装置に出力する。

図４に示す例では、処理装置２１０は、印刷元データおよびヘッドデータのいずれに基づいて照合するかを切り替えることができる。処理装置２１０は、例えばユーザによって指定されたモードの設定に基づいて、印刷元データおよびヘッドデータのいずれを照合に使用するかを選択するように構成され得る。その場合、ユーザは、処理装置２１０に接続された入力装置を用いて、印刷元データを用いるモードとヘッドデータを用いるモードとを切り替えることができる。なお、この選択の機能は必須ではなく、処理装置２１０は、印刷元データおよびヘッドデータの一方のみから照合用の第１フィルタ画像を生成してもよい。

図４に示す例では、印刷ヘッド１２０は、シアン（Ｃ）、マゼンタ（Ｍ）、黄（Ｙ）、黒（Ｋ）の４色に対応する４種類の印刷ヘッドを含む。これにより、カラー印刷が可能である。印刷ヘッド１２０は、モノクロ印刷を行うように構成されていてもよい。モノクロ印刷が行われる場合、印刷元データまたはヘッドデータ、およびカメラ画像データに対する色調整処理は省略されてもよい。

本実施形態によれば、処理装置２１０は、印刷元データまたはヘッドデータに第１空間フィルタリング処理を行って生成した第１フィルタ画像と、印刷物を撮影して取得したカメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像とに基づいて印刷物の良否を判定する。第１空間フィルタリング処理として、印刷時のインクのにじみおよび用紙の変形等の影響を反映した処理が行われる。これにより、印刷時のインクのにじみおよび用紙の変形等が生じたとしても高い精度で印刷物の欠陥を検出することができる。また、本実施形態では、印刷元データまたはヘッドデータ、およびカメラ画像の特性に応じた色調整処理も行われる。これにより、両者の色表現の違いに関わらず、高い精度で検査を行うことができる。

なお、処理装置２１０は、カメラ画像に対する空間フィルタリング処理および色調整処理を省略し、第１フィルタ画像とカメラ画像とを直接照合してもよい。図５は、その場合のシステム構成例を示している。印刷元データまたはヘッドデータ（以下、まとめて「印刷データ」と称することがある。）に適切な空間フィルタリング等の処理を行うことにより、人が目視で検査する場合と同程度の高精度の検査が可能である。

図６は、本実施形態における印刷および検査の流れを模式的に示す図である。ここでは、ヘッドデータが示す画像に空間フィルタを用いたフィルタリングを行って生成したフィルタ画像と、カメラ画像との間で照合を行う場合の例を説明する。印刷コントローラ１１０は、図６に示すように、印刷元データにディザリング等の網点（ハーフトーン）処理を行い、ヘッドデータを生成する。ヘッドデータは、印刷元データにおける濃淡が点の密度として表現された網点のデータである。このようなヘッドデータが、例えばシアン、マゼンタ、黄、黒のそれぞれの色ごとに生成され得る。印刷ヘッド１２０は、このようなヘッドデータに基づいて各色に対応するヘッドを駆動して用紙に印刷を行う。用紙上では、インクのにじみや混合等の影響により、画像に変化が生じる。また、印刷物をカメラで撮影すると、カメラや撮影環境などの特性に応じて、撮影された画像に変化が生じる。その結果、カメラ画像はヘッドデータが示す画像とは一致せず、両者を直接照合することができない。そこで、図６の例では、処理装置２１０は、印刷時の用紙上のインクのにじみや用紙の変形等の影響を擬似的に再現した空間フィルタを用いてヘッドデータをフィルタ画像に変換し、フィルタ画像とカメラ画像とを照合する。これにより、ヘッドデータとカメラ画像との比較が可能になり、検査の精度を大きく向上させることができる。

なお、図６の例では、ヘッドデータに空間フィルタリングを行って照合用のフィルタ画像を生成するが、印刷元データに空間フィルタリングを行って照合用のフィルタ画像を生成してもよい。印刷元データがＰＤＦ等のベクタ形式のデータである場合、処理装置２１０は、印刷元データにラスタライズ処理および色変換処理等の必要な処理を行った上で空間フィルタリングを行ってもよい。印刷元データもカメラ画像とは異なるため、そのままでは両者を照合することができない。印刷元データに適切な空間フィルタリング処理を行うことにより、検査の精度を向上させることができる。

図６に示す例では、カメラ画像をそのまま照合用のデータとして用いているが、図４の例のように、カメラ画像についても同様に空間フィルタリングおよび色変換等の変換処理を行い、両者の照合をしやすくしてもよい。

このように、本実施形態では、印刷に伴う画像の変化の要因を想定して、照合前に印刷データ（および必要に応じてカメラ画像）の加工が行われる。加工は、例えばガウシアンフィルタなどの平滑化を行う空間フィルタ（すなわちローパスフィルタ）を用いて行われ得る。使用される空間フィルタはガウシアンフィルタなどの線形フィルタに限らず、非線形フィルタであってもよい。また、複数の空間フィルタを組み合わせて照合用の適切なフィルタ画像を生成してもよい。空間フィルタは、印刷機１００および用紙１０の特性に応じて予め作成される。空間フィルタは、例えば機械学習を利用して訓練された学習済みモデルとして生成されてもよい。処理装置２１０自身が検査前に空間フィルタを生成してもよい。処理装置２１０は、既知の印刷データの印刷時の変形を、例えばニューラルネットワークを利用した機械学習アルゴリズムを用いて学習することによって最適な空間フィルタ（学習済みモデル）を生成してもよい。使用されるニューラルネットワークの例として、誤差逆伝播法を利用した畳み込みニューラルネットワーク（ＣＮＮ）が挙げられる。処理装置２１０は、例えばＧＡＮ（Generative Adversarial Network）に基づく学習アルゴリズム（ｐｉｘ２ｐｉｘ等）を利用して最適な空間フィルタを生成してもよい。

図４および図５に示す実施形態では、処理装置２１０は、印刷データに対して空間フィルタリング処理に加えて、色変換処理も行う。これにより、印刷データとカメラ画像との間で色の比較がしやすくなる。以下、図７を参照しながら、本実施形態における色変換処理の概要を説明する。

図７は、色変換処理の概要を模式的に示す図である。ここでも図６に示す例と同様に、ヘッドデータから第１フィルタ画像が生成される例を説明する。この例において、印刷元データは加色系のＲＧＢ色空間で表現され、ヘッドデータは減色系のＣＭＹＫ色空間で表現されている。カメラで撮影された画像はＲＧＢ色空間で表現されるため、ヘッドデータとカメラ画像とを直接照合することができない。そこで、処理装置２１０は、ヘッドデータに対して、前述の空間フィルタリング処理に加えて、ＣＭＹＫ色空間からＲＧＢ色空間への変換処理を行うことによって第１フィルタ画像を生成する。このような変換を行うことにより、ヘッドデータからカメラで撮影された画像を擬似的に再現することができ、検査の精度を向上させることができる。

色変換は、ＣＭＹＫからＲＧＢへの変換に限らず、他の変換であってもよい。例えば、色の変化に対する感度を肉眼に近づけるために、印刷データ（印刷元データまたはヘッドデータ）およびカメラ画像を、各色の重みづけが等しくなるＣＩＥ－Ｌ^＊ａ^＊ｂ^＊などの表色系に変換してもよい。そのような変換を行うことにより、より肉眼に近い検査が可能となる。また、既知の印刷データとカメラ画像を用いて、例えば誤差逆伝播法を利用したＣＮＮ等の機械学習アルゴリズムによって訓練された学習済みモデルを用いて印刷データの色変換を行ってもよい。処理装置２１０は、例えばｐｉｘ２ｐｉｘ等のアルゴリズムを利用して、前述の空間フィルタリングと色変換とを同時に行うモデルを生成してもよい。

次に、図８を参照しながら、処理装置２１０によって実行される処理をより詳細に説明する。

図８は、処理装置２１０のプロセッサ２１２が実行する処理の例を示すフローチャートである。この例では、処理装置２１０は、印刷開始後、印刷コントローラ１１０から印刷終了の指示（ステップＳ１０７）を受けるまで、ステップＳ１０１からＳ１０６の処理を、印刷物のページごとに繰り返す。なお、印刷終了の指示は、印刷コントローラ１１０とは異なる装置から入力されてもよい。

ステップＳ１０１において、処理装置２１０は、印刷元データまたはヘッドデータを取得する。処理装置２１０は、印刷元データを、図３に示すようにコンピュータ３００から取得してもよいし、印刷コントローラ１１０から取得してもよい。処理装置２１０は、ヘッドデータを、印刷コントローラ１１０から取得する。処理装置２１０は、印刷元データおよびヘッドデータの両方を取得してもよいし、一方のみを取得してもよい。処理装置２１０は、設定されたモードに従って、印刷元データおよびヘッドデータの一方を取得するように構成されていてもよい。

ステップＳ１０２において、処理装置２１０は、ステップＳ１０１で取得した印刷元データまたはヘッドデータに第１空間フィルタリング処理を行い、第１フィルタ画像を生成する。第１空間フィルタリング処理は、例えば、加重平均化フィルタ（例えばガウシアンフィルタ）などの平滑化フィルタを用いた処理を含み得る。第１空間フィルタリング処理は、平均化フィルタによるサイズ圧縮処理を含んでいてもよい。第１空間フィルタリング処理により、インクのにじみや用紙の変形の影響を擬似的に再現し、カメラ画像との照合を行いやすくすることができる。ベクタ形式の印刷元データを処理する場合、処理装置２１０は、第１空間フィルタリング処理の前に、ラスタライズ処理を行い、ラスタ（ビットマップ）形式の画像に変換してもよい。処理装置２１０は、第１空間フィルタリング処理に加えて、第１フィルタ画像の各画素の色を調整する第１色変換処理を行ってもよい。第１フィルタ画像がＣＭＹＫの４色の色空間で表されている場合、処理装置２１０は、第１フィルタ画像に対してＣＭＹＫからカメラ画像の色空間であるＲＧＢへの色変換を行うように構成され得る。色変換は、予め作成された色変換テーブルに基づいて行われ得る。あるいは、処理装置２１０は、誤差逆伝播法等を利用した学習アルゴリズムを用いて予め訓練された学習済みモデルを用いて、印刷元データまたはヘッドデータを、照合用の第１フィルタ画像に変換してもよい。

ステップＳ１０３において、処理装置２１０は、カメラ２２０からカメラ画像を取得する。カメラ画像は、例えばＲＧＢの画像データである。

ステップＳ１０４において、処理装置２１０は、ステップＳ１０３で取得したカメラ画像に第２空間フィルタリング処理を行い、第２フィルタ画像を生成する。第２空間フィルタリング処理は、例えば加重平均化フィルタ（例えばガウシアンフィルタ）などの平滑化フィルタを用いた処理を含み得る。第２空間フィルタリング処理は、平均化フィルタによるサイズ圧縮処理を含んでいてもよい。第２空間フィルタリング処理を行うことにより、例えば画素数とぼやけの程度が第１フィルタ画像と同等の第２フィルタ画像を生成することができる。これにより、第１フィルタ画像との照合が容易になる。処理装置２１０は、第２空間フィルタリング処理に加えて、カメラ画像の各画素の色を調整する第２色変換処理を行ってもよい。第２空間フィルタリング処理および第２色変換処理に加えて、例えば回転補正などの処理を行って第１フィルタ画像との照合をしやすくしてもよい。あるいは、処理装置２１０は、誤差逆伝播法等を利用した学習アルゴリズムを用いて予め訓練された学習済みモデルを用いて、カメラ画像を、照合用の第２フィルタ画像に変換してもよい。

なお、ステップＳ１０３およびＳ１０４の処理は、ステップＳ１０１およびＳ１０２の前に行われてもよいし、ステップＳ１０１およびＳ１０２の処理と並行して行われてもよい。

ステップＳ１０５において、処理装置２１０は、第１フィルタ画像と第２フィルタ画像とを照合し、印刷の良否を判定する。処理装置２１０は、第１フィルタ画像と第２フィルタ画像との差分に基づいて、印刷の良否を判定する。例えば、第１フィルタ画像および第２フィルタ画像を対応する小領域ごとに比較し、画素値が大きく異なる箇所を検出した場合に印刷エラーが生じたと判定することができる。

ステップＳ１０６において、処理装置２１０は、判定結果を出力する。処理装置２１０は、例えば、印刷に欠陥があるか否か、および欠陥がある場合、画像中のどの箇所に欠陥があるかを示す情報を判定結果として出力する。判定結果は、例えば、処理装置２１０に接続されたディスプレイ等の出力装置または記憶装置に出力され得る。この出力を見て、ユーザは、印刷に不備が生じたことを知ることができる。処理装置２１０は、判定結果をページごとに記録した検査結果のリストを作成し、当該リストを記憶装置に記録してもよい。これにより、印刷および検査の履歴を残すことができる。

ステップＳ１０７において、処理装置２１０は、印刷終了の指示の有無を判断する。印刷終了の指示がなければ、ステップＳ１０１に戻り、次のページの検査を行う。印刷終了の指示は、例えば印刷コントローラ１１０から入力され得る。

以上の動作により、処理装置２１０は、印刷物のページごとに印刷元の画像とカメラ画像とを比較し、印刷に異常がないかを判定することができる。本実施形態においては、ステップＳ１０２およびＳ１０４において、印刷元データまたはヘッドデータと、カメラ画像に対して、空間フィルタリング処理および色変換処理が行われる。これらの処理により、印刷元データまたはヘッドデータと、カメラ画像との照合を容易にし、検査の精度を向上させることができる。

図８の例では、ステップＳ１０４においてカメラ画像から第２フィルタ画像への変換が行われるが、この処理を省略してもよい。

図９は、処理装置２１０のプロセッサ２１２が実行する処理の他の例を示すフローチャートである。図９に示すフローチャートは、図８に示すフローチャートにおけるステップＳ１０４およびＳ１０５がステップＳ１１４に置き換わったものである。ステップＳ１１４以外の処理は、図８の例と同様である。図９の例では、処理装置２１０は、カメラ画像に対する空間フィルタリング処理および色変換処理を行わず、カメラ画像をそのまま照合用のデータとして用いる。ステップＳ１１４において、処理装置２１０は、第１フィルタ画像とカメラ画像とを照合し、印刷の良否を判定する。この場合であっても、印刷データから第１フィルタ画像を生成するために用いられるモデル（空間フィルタおよび色変換テーブル）を適切に作成することにより、高い精度で印刷の良否を判定することができる。

図１０は、処理装置２１０のプロセッサ２１２が実行する処理のさらに他の例を示すフローチャートである。この例では、処理装置２１０が印刷元データおよびヘッドデータの一方を選択して処理する。図１０に示すフローチャートは、図８におけるステップＳ１０１の動作が、ステップＳ１２０、Ｓ１２１、Ｓ１２２に置き換わっている点を除き、図８に示すフローチャートと同じである。

ステップＳ１２０において、処理装置２１０は、印刷元データを使用するか、ヘッドデータを使用するかを判断する。処理装置２１０は、例えばユーザによって設定されたモードに従って、印刷元データを使用するか、ヘッドデータを使用するかを決定する。印刷元データを使用すると判断した場合、ステップＳ１２１に進み、処理装置２１０は、印刷元データを取得する。ヘッドデータを取得すると判断した場合、ステップＳ１２２に進み、処理装置２１０は、ヘッドデータを取得する。ステップＳ１２１またはＳ１２２の後、ステップＳ１０２に進む。ステップＳ１０２において、処理装置２１０は、ステップＳ１２１またはＳ１２２で取得した印刷元データおよびヘッドデータの一方に対して空間フィルタリングおよび色変換処理を行う。ステップＳ１０２からＳ１０７の動作は図８における対応するステップの動作と同じである。

なお、図１０の例におけるステップＳ１０４およびＳ１０５の動作の代わりに、図９におけるステップＳ１１４の動作が行われてもよい。

ここで、図１１を参照しながら、ステップＳ１０２におけるデータ変換処理の具体例を説明する。図１１は、ヘッドデータを第１フィルタ画像に変換する処理の流れを示している。ここでは一例として、１２００ｄｐｉ（dots per inch）の解像度を有するシアン（Ｃ）、マゼンタ（Ｍ）、黄（Ｙ）、黒（Ｋ）の４色の画像情報を含むヘッドデータ（ａ）から第１フィルタ画像を生成する場合の処理の例を説明する。図１１の例では、ヘッドデータが示す画像における画素値は、色ごとに２ビット（合計８ビット）で表現される。

図１２Ａは、ヘッドデータにおける１つの画素の画素値の一例を示している。図１２Ａに示すように、画素値が例えば２１０（２進数で１１０１００１０）の場合、シアンのインク量は「大」、マゼンタのインク量は「小」、黄は「インクなし」、黒のインク量は「中」である。このように、ＣＭＹＫの各色のインク量が２ビットで表現され、当該２ビットの数値が大きいほどインク量が多いことを表す。本実施形態では、ヘッドデータにおける画素値と印刷濃度とは非線形の関係にあり、印刷濃度は画素値に比例しない。

図１１の例において、処理装置２１０は、ＣＭＹＫの各色について、予めメモリに記録された濃淡変換テーブルを参照して、各色２ビットの画素値を有するヘッドデータを、各色８ビット（合計３２ビット）の画素値を有する画像データ（ｂ）に変換する。この画像データにおける画素値と濃度とは線形の関係にあり、濃度は画素値に比例する。処理装置２１０は、この画像データに、ガウシアンフィルタおよび平均化フィルタ（例えば１６画素を平均化するフィルタ）等の空間フィルタを用いたフィルタリング処理（畳み込み演算）を行う。これにより、処理装置２１０は、ＣＭＹＫ各色の画像を平滑化し、画素数を１／４（３００ｄｐｉ）に削減した画像データ（ｃ）を生成する。

図１２Ｂは、ガウシアンフィルタおよび平均化フィルタの例を示している。これらのフィルタ（カーネル）の各要素の数値は、印刷によるインクのにじみや用紙の変形等の影響を適切に反映するように決定される。

処理装置２１０は、画像データ（ｃ）に対して、予めメモリ等の記憶媒体に記録された色変換テーブルに基づいて、ＣＭＹＫからＲＧＢへの色変換を行い、第１フィルタ画像（ｄ）を生成する。

図１２Ｃは、色変換テーブルの一例を示している。この色変換テーブルは、ＣＭＹＫの４つの値の組み合わせと、ＲＧＢの３つの値の組み合わせとの対応関係を規定する。色変換テーブルにおける各数値は、インク、用紙、およびカメラ等の特性に応じて適切な値に設定される。

図１１の例における第１フィルタ画像は、ＲＧＢの各色の画素値が８ビット（合計２４ビット）で表現された３００ｄｐｉの画像である。処理装置２１０は、この第１フィルタ画像を、カメラ画像またはカメラ画像から変換した第２フィルタ画像と照合することによって印刷の品質を検査する。

なお、図１１の例における各画像の解像度および各画素のビット数、ならびに各フィルタおよび各テーブルにおける数値は一例に過ぎず、これらの数値は、システムに依存して適切な値に設定される。

図１１の例ではヘッドデータから第１フィルタ画像が生成されるが、ＰＤＦなどの印刷元データに基づいて第１フィルタ画像を生成してもよい。その場合、処理装置２１０は、印刷元データを、例えばＲＧＢ等の所定の色空間で表現されたビットマップ画像のデータに変換した上で、ガウシアンフィルタまたは平均化フィルタなどの空間フィルタを用いた空間フィルタリング（および必要に応じて色変換）を実行して第１フィルタ画像を生成してもよい。

次に、本実施形態において用いられる空間フィルタの例をより詳細に説明する。

図１３は、印刷データに適用される空間フィルタの一例と、空間フィルタのパラメータの調整方法を模式的に示す図である。この例における空間フィルタは、以下の２次元ガウス分布関数に基づくガウシアンフィルタである。

ここで、（ｘ，ｙ）は、画像の中心を原点とする座標であり、ｘ軸は画像の横方向に対応し、ｙ軸は画像の縦方向に対応する。σは標準偏差である。

図１３に例示するガウシアンフィルタのカーネルサイズは５×５である。カーネルサイズは、他のサイズ（例えば、３×３、７×７等）であってもよい。カーネルサイズおよび標準偏差σなどのパラメータは、検査で使用される印刷機およびカメラ等の特性に応じて適切な値に設定される。この例ではガウシアンフィルタが用いられるが、他の空間フィルタが用いられる場合も、印刷機およびカメラ等の特性に応じてフィルタのパラメータ（各要素の値）が調整され得る。

ここで、印刷データ、フィルタ画像、カメラ画像における座標（ｉ，ｊ）の画素値を、それぞれＡ［ｉ，ｊ］、Ｂ［ｉ，ｊ］、Ｃ［ｉ，ｊ］と表記する。フィルタ画像の画素値Ｂ［ｉ，ｊ］は、上記の２次元ガウス分布関数を用いて以下の式で近似される。

カメラ画像とフィルタ画像との偏差ｄは、以下の式で表される。

空間フィルタの各パラメータは、この偏差ｄを最小化するように予め適切な値に決定される。空間フィルタの各パラメータは、機械学習を利用して決定してもよい。例えば、印刷データＡ［ｉ，ｊ］とカメラ画像Ｃ［ｉ，ｊ］とのペアに相当する多数の学習用データセットと、所定の機械学習アルゴリズムとを用いた教師あり学習を実行することにより、空間フィルタの各パラメータを決定してもよい。この学習の結果、検査で実際に使用される空間フィルタが、ガウシアンフィルタとは異なるフィルタになってもよい。

次に、本実施形態における色変換処理と、色変換テーブルの調整方法の例をより詳細に説明する。

図１４は、色変換テーブルの例と、そのパラメータの調整方法の例を示す図である。この例では、処理装置２１０は、メモリ等の記憶媒体に記録された色変換テーブルに基づいて、ＣＭＹＫの印刷データを、ＲＧＢのフィルタ画像に変換する。この色変換テーブルは、ＣＭＹＫの４色の値の組み合わせと、ＲＧＢの３色の値の組み合わせとの関係を規定するデータである。色変換テーブルに代えて、同様の変換を実現する関数またはモデルが用いられてもよい。色変換テーブルにおける各パラメータは、カメラ画像とフィルタ画像との偏差を最小にするように決定される。処理装置２１０は、印刷データＡ［ｉ，ｊ］とカメラ画像Ｃ［ｉ，ｊ］とのペアに相当する多数の学習用データセットと、所定の機械学習アルゴリズムとを用いた教師あり学習を実行することにより、色変換テーブルのパラメータを調整してもよい。

本実施形態では、空間フィルタリング処理と色変換処理とが別々に実行されるが、これらの処理を包含した変換処理が行われてもよい。そのような変換処理は、例えばニューラルネットワーク等の機械学習アルゴリズムを利用して訓練された学習済みモデルを用いた変換であってもよい。処理装置２１０は、例えばＧＡＮ等のアルゴリズムを利用して、印刷データから擬似的なカメラ画像を生成するための学習済みモデルを生成してもよい。

次に、印刷データから変換された第１フィルタ画像とカメラ画像との照合処理の例を説明する。

図１５は、第１フィルタ画像とカメラ画像との照合処理の一例を示す図である。この例では、処理装置２１０は、第１フィルタ画像とカメラ画像とを複数の領域に分割し、領域ごとに両者を照合する。図１５の例では、各画像が１２の領域に分割されている。領域間にはオーバーラップ領域が設けられる。処理装置２１０は、第１フィルタ画像から切り出す領域を例えば縦横の各方向に１画素ずつ移動させながら複数回照合し、カメラ画像との一致度が最も高い切り出し領域を決定し、その領域とカメラ画像における対応する領域とを比較してもよい。カメラにおけるレンズの収差に起因するカメラ画像の変形等の予測可能な変形の影響を補償するために、予め座標にオフセットが設けられていてもよい。処理装置２１０は、第１フィルタ画像の画素値とカメラ画像の対応する画素値との差を画素ごとに計算し、当該画素値の差に基づいて、印刷の欠陥を検出することができる。処理装置２１０は、例えば、上記の領域ごとに、ＳＳＤ（Sum of Squared Difference）またはＳＡＤ（Sum of Absolute Difference）等の画像の差分を示す指標値を計算し、その値が閾値を超えた場合に、その領域の印刷に欠陥があることを検出することができる。なお、カメラ画像に空間フィルタリングや色変換処理が行われた第２フィルタ画像と第１フィルタ画像とを照合する場合も、同様の方法で印刷の良否を判定することができる。

以上のように、本実施形態における検査システムは、入力された印刷元データをヘッドデータに変換する印刷コントローラ１１０と、ヘッドデータに基づいて印刷を行う印刷ヘッド１２０とを備えた印刷機１００と組み合わせて使用される。検査システムは、印刷機１００によって印刷された印刷物を撮影してカメラ画像を生成するカメラ２２０と、処理装置２１０とを備える。処理装置２１０は、印刷元データまたはヘッドデータに第１空間フィルタリング処理を行って第１フィルタ画像を生成し、第１フィルタ画像とカメラ画像との照合、または、第１フィルタ画像と、カメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像との照合を行うことにより、印刷物の良否を判定し、判定結果を出力する。

このような構成により、印刷時のインクのにじみや用紙の変形、またはカメラのレンズの収差等の影響を補償することができるため、印刷物の画像検査の精度を向上させることができる。

なお、本実施形態では、印刷元データまたはヘッドデータに、空間フィルタリング処理および色変換処理が行われるが、印刷物によっては色変換処理が省略されてもよい。例えば、モノクロ印刷の検査が行われる場合、色変換処理は省略され得る。この点は、カメラ画像に対する色変換処理についても同様である。また、本実施形態における印刷装置１００はインクジェットプリンタであるが、レーザプリンタ等の電子写真方式のプリンタ、または有版印刷を行う印刷機に本実施形態の技術を適用してもよい。

(実施形態２)
次に、前述の空間フィルタリングおよび色変換等の変換処理を行うために用いられる学習済みモデルを機械学習によって生成する方法の例を説明する。

図１６は、本実施形態における学習済みモデルの生成方法の流れを示すフローチャートである。この方法は、学習用データセットを生成する工程（ステップＳ２００）と、学習用データセットに基づいて学習済みモデルを生成する工程（ステップＳ２１０）とを含む。ステップＳ２００は、ステップＳ２０１からＳ２０５を含む。ステップＳ２１０は、ステップＳ２１１からＳ２１３を含む。ステップＳ２００とステップＳ２１０とは、同一の装置が実行してもよいし、異なる装置が実行してもよい。以下の説明では、一例として、図３に示すコンピュータ３００がステップＳ２００を実行し、処理装置２１０がステップＳ２１０を実行するものとする。なお、ステップＳ２００およびＳ２１０のそれぞれの処理は、コンピュータ３００、処理装置２１０に限らず、他の装置によって実行されてもよい。

ステップＳ２０１において、コンピュータ３００は、学習用印刷データを記憶装置から取得する。学習用印刷データは、例えば、実際に検査される印刷物と同様の画像を示すデータ、または学習用に特別に作成された複数の色のパターンを含むテストチャートの画像を示すデータであり得る。学習用印刷データは、予め作成され、コンピュータ３００内の記憶装置または外部の記憶装置に記録される。学習用印刷データは、図３に示す印刷元データに相当する。なお、学習用印刷データは、ヘッドデータと同等の形式のデータであってもよい。

ステップＳ２０２において、コンピュータ３００は、印刷機１００に、学習用印刷データに基づく印刷の実行を指示する。これを受けて、印刷機１００は、用紙１０に印刷を実行する。

ステップＳ２０３において、コンピュータ３００は、カメラ２２０に、学習用印刷データに基づいて印刷された印刷物の撮影を指示する。これを受けて、カメラ２２０は、印刷物の画像データ（以下、「学習用カメラ画像」と呼ぶ。）を生成する。

ステップＳ２０４において、コンピュータ３００は、学習用カメラ画像と学習用印刷データとを関連付けて記憶装置に記録する。

ステップＳ２０５において、コンピュータ３００は、学習用データの生成の終了指示が出されたか否かを判定する。終了指示は、例えばユーザの操作に基づいてコンピュータ３００に入力され得る。あるいは、予め設定された件数の印刷および撮影の動作が終了した時点で終了指示が出されてもよい。終了指示が出されるまで、コンピュータ３００は、異なる学習用印刷データに対してステップＳ２０１からＳ２０５の動作を繰り返す。

以上の動作により、学習用印刷データと学習用カメラ画像との組を１組以上含む学習用データセットが生成され、記憶装置に記録される。この学習用データセットは、印刷データを擬似的なカメラ画像（以下、「照合用印刷画像」と呼ぶことがある。）に変換するための機械学習モデルを訓練するために用いられる。学習の効果を高めるために、学習用印刷データと学習用カメラ画像との組をできる限り多く用意することが好ましい。

次に、学習用データセットを用いて学習済みモデルを生成するステップＳ２１０の詳細を説明する。

ステップＳ２１１において、処理装置２１０は、学習用データセットを記憶装置から取得する。学習用データセットが学習用印刷データと学習用カメラ画像との組を複数組含む場合、全ての組のデータを取得する。

ステップＳ２１２において、処理装置２１０は、所定の機械学習アルゴリズムを利用して、学習用データセットに基づいて機械学習を行うことにより、印刷データを照合用印刷画像に変換するためのモデル（学習済みモデル）を生成する。機械学習アルゴリズムとして、例えば深層学習を利用して入力画像を他の画像に変換する用途に用いられる種々のアルゴリズムを利用することができる。例えば、ＧＡＮ、ＮＳＴ（Neural Style Transfe）等の、畳み込みニューラルネットワーク（ＣＮＮ）を利用したアルゴリズムを利用することができる。生成される学習済みモデルは、例えば実施形態１において説明した空間フィルタリング処理と、カラー変換処理とを実行するモデルであり得る。学習済みモデルの生成は、学習用印刷データと、対応する学習用カメラ画像との偏差を小さくするように、当該モデルにおける複数のパラメータを調整することを含む。

ステップＳ２１３において、処理装置２１０は、生成した学習済みモデルを記憶装置（例えばＲＯＭ２１６）に記録する。

以上の動作により、印刷データを照合用印刷画像に変換するための学習済みモデルを生成することができる。この学習済みモデルに基づいて検査を行う場合、処理装置２１０は、当該学習済みモデルを実装した画像変換プログラムを実行して、検査対象の印刷データを照合用印刷画像に変換する。処理装置２１０は、照合用印刷画像を、カメラ画像、またはカメラ画像に回転補正や色補正等の処理を行った画像（まとめて「照合用カメラ画像」と呼ぶ。）と比較・照合し、印刷物の良否を判定する。

次に、モデル生成に用いられる学習用印刷データとして用いられるテストチャートの例を説明する。テストチャートは、例えば色の異なる複数の領域が１次元的または２次元的に配列されたパターンを含み得る。本明細書において「色」は、色相、明度、彩度の組み合わせを意味する。

図１７Ａから図１７Ｃは、テストチャートの画像の例を示している。図１７Ａは、色の異なる複数のカラーブロックが２次元的に配列されたテストチャートの例を示している。このテストチャートは、印刷物の搬送方向に相当する方向（図の縦方向）と、搬送方向に垂直な方向に相当する方向（図の横方向）とに配列された多数の正方形のカラーブロックの領域を含む。各カラーブロックは小さく、例えば１０ｍｍ×１０ｍｍよりも小さい。カラーブロックの個数は、例えば１０００以上である。これらのカラーブロックの色は、例えば印刷機１００によって印刷可能な色の大部分が網羅されるように選択され得る。カラーブロックの全ての色が異なっている必要はなく、同一の色のブロックが含まれていてもよい。

図１７Ｂは、色の異なる複数のカラーバーが１次元的に配列されたテストチャートの例を示している。このテストチャートは、印刷物の搬送方向に垂直な方向に相当する方向（図の横方向）に延びる複数の色の異なるカラーバーを含んでいる。複数のカラーバーは、搬送方向に相当する方向（図の縦方向）に沿って配列されている。各カラーバーの幅（縦方向における寸法）は小さく、例えば１０ｍｍよりも小さい。カラーバーの本数は、例えば３０本以上である。これらのカラーバーの色は、例えば印刷機１００によって印刷可能な色の大部分が網羅されるように選択され得る。カラーバーの全ての色が異なっている必要はなく、同一の色のカラーバーが含まれていてもよい。

印刷機１００がインクジェットプリンタである場合、印刷ヘッド１２０は、例えばＣＭＹＫの各色について複数のヘッドを含み得る。各色についての複数のヘッドは、搬送方向に垂直な方向に沿って配列され得る。ヘッドによってインクの吐出具合が異なり得ることから、同じ色でもヘッドの位置によってインクの濃度および広がり具合が異なり得る。そこで、図１７Ｂの例では、ヘッドの配列方向に対応する方向に沿って延びる複数のカラーバーを含むテストチャートが用いられる。このようなテストチャートを用いることにより、ヘッドの配列方向における位置によってそれぞれの色がどのように変化するのかを効果的に学習することができる。

図１７Ａおよび図１７Ｂに例示するテストチャートには、そのテストチャートの種類を示す情報を含む複数の２次元コード７０が含まれている。２次元コード７０は、例えばＱＲ（Quick Response）コード等の、所定の規則で情報が２次元的な濃淡の情報で表現されたコードである。２次元コード７０は、モデルの学習を行う装置においてテストチャートの種類の特定および各色の領域の位置の特定に利用され得る。図１７Ａおよび図１７Ｂの例においては、複数の２次元コード７０が、カラーブロックまたはカラーバーの周囲の所定の位置に配置されている。このように２次元コード７０を配置することにより、照合時の位置決めを容易にすることができる。２次元コード７０の少なくとも一部は、印刷物の搬送方向に垂直な方向に相当する方向（横方向）に沿って配置され得る。このような２次元コード７０は、照合時に目印として機能し、各色の領域の特定を容易にする。２次元コード７０は、カラーチャートに含まれる各色の領域の位置を特定するための情報を含み得る。例えば、カラーチャートに設定された座標系における位置座標と、その位置座標における色との対応関係を示す情報が２次元コード７０に含まれ得る。図１７Ａおよび図１７Ｂの例のように、複数の２次元コード７０がカラーチャートに含まれる場合、各２次元コード７０は、自身の位置座標の情報に加え、その２次元コード７０に対応付けられた複数の色の領域の位置座標の情報を含んでいてもよい。そのような情報を参照することにより、処理装置２１０は、２次元コード７０を目印として、各色の領域の位置を特定することができる。これにより、位置決めを容易にし、学習の精度を向上させることができる。

なお、２次元コードに代えて、１次元コード（バーコード）がカラーチャートに設けられていてもよい。バーコードを用いた場合であっても同様の機能を実現できる。また、２次元コードおよび１次元コードに代えて、例えば特徴的なマーク、文字、または記号を用いて同様の機能を実現してもよい。

図１７Ｃは、テストチャートのさらに他の例を示す図である。このテストチャートは、色の異なる複数のカラーバーを含む。各カラーバーは、搬送方向に垂直な方向に相当する方向（横方向）に沿って明度が連続的に変化する。このようなテストチャートを用いることにより、明度の異なる複数の色の学習を効率的に行うことができる。

図１７Ａから１７Ｃに例示するようなテストチャートは、１種類に限らず、複数種類のテストチャートが用いられてもよい。その場合、例えばテストチャートごとに図１６に示すステップＳ２０１からＳ２０５の動作が繰り返される。テストチャートを用いた学習と、通常の検査対象に近いテスト用データを用いた学習とを組み合わせて、より高精度の画像変換が可能なモデルを生成してもよい。

以上のように、本開示は、以下の項目に記載のシステム、装置、方法、およびプログラムを含む。

［項目ａ１］
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される検査システムであって、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
前記印刷元データまたは前記ヘッドデータに第１空間フィルタリング処理を行って第１フィルタ画像を生成し、前記第１フィルタ画像と前記カメラ画像との照合、または、前記第１フィルタ画像と、前記カメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像との照合を行うことにより、前記印刷物の良否を判定し、判定結果を出力する処理装置と、
を備える検査システム。

［項目ａ２］
前記処理装置は、前記印刷元データに前記第１空間フィルタリング処理を行って前記第１フィルタ画像を生成する、項目ａ１に記載の検査システム。

［項目ａ３］
前記処理装置は、前記ヘッドデータに前記第１空間フィルタリング処理を行って前記第１フィルタ画像を生成する、項目ａ１に記載の検査システム。

［項目ａ４］
前記処理装置は、前記第１フィルタ画像と、前記カメラ画像との照合を行うことにより、前記印刷物の良否を判定する、項目ａ１からａ３のいずれかに記載の検査システム。

［項目ａ５］
前記処理装置は、前記第１フィルタ画像と、前記第２フィルタ画像との照合を行うことにより、前記印刷物の良否を判定する、項目ａ１からａ３のいずれかに記載の検査システム。

［項目ａ６］
前記処理装置は、前記印刷元データまたは前記ヘッドデータに、前記第１空間フィルタリング処理および第１色変換処理を行うことにより、前記第１フィルタ画像を生成する、項目ａ１からａ５のいずれかに記載の検査システム。

［項目ａ７］
前記処理装置は、前記カメラ画像に、前記第２空間フィルタリング処理および第２色変換処理を行うことにより、前記第２フィルタ画像を生成し、
前記第１フィルタ画像と前記第２フィルタ画像とを照合することにより、前記印刷物の良否を判定する、
項目ａ１からａ３、ａ５、およびａ６のいずれかに記載の検査システム。

［項目ａ８］
前記処理装置は、前記印刷元データに前記第１空間フィルタリング処理を行って前記第１フィルタ画像を生成するモードと、前記ヘッドデータに前記第１空間フィルタリング処理を行って前記第１フィルタ画像を生成するモードとを切り替えることが可能である、項目ａ１からａ７のいずれかに記載の検査システム。

［項目ａ９］
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられる処理装置であって、
前記印刷元データまたは前記ヘッドデータに第１空間フィルタリング処理を行って第１フィルタ画像を生成し、
前記第１フィルタ画像と前記カメラ画像との照合、または、前記第１フィルタ画像と、前記カメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像との照合を行うことにより、前記印刷物の良否を判定し、判定結果を出力する、
処理装置。

［項目ａ１０］
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて前記処理装置によって実行される検査方法であって、
前記印刷元データまたは前記ヘッドデータに第１空間フィルタリング処理を行って第１フィルタ画像を生成することと、
前記第１フィルタ画像と前記カメラ画像との照合、または、前記第１フィルタ画像と、前記カメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像との照合を行うことにより、前記印刷物の良否を判定し、判定結果を出力することと、
を含む検査方法。

［項目ａ１１］
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられるプログラムであって、前記処理装置に、
前記印刷元データまたは前記ヘッドデータに第１空間フィルタリング処理を行って第１フィルタ画像を生成し、
前記第１フィルタ画像と前記カメラ画像との照合、または、前記第１フィルタ画像と、前記カメラ画像に第２空間フィルタリング処理を行って生成した第２フィルタ画像との照合を行うことにより、前記印刷物の良否を判定し、判定結果を出力する、
ことを実行させるプログラム。

［項目ｂ１］
印刷データに基づいて印刷を実行する印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、
を備えた検査システムのための前記学習済みモデルを生成する方法であって、
複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを取得することと、
前記学習用データセットに基づく機械学習によって前記学習済みモデルを生成することと、
を含む方法。

［項目ｂ２］
前記テストチャートは、色の異なる複数の領域が１次元的または２次元的に配列されたパターンを含む、項目ｂ１に記載の方法。

［項目ｂ３］
前記テストチャートは、前記印刷物の搬送方向に垂直な方向に相当する方向に延びる複数の色の異なるカラーバーを含み、前記複数のカラーバーは、前記搬送方向に相当する方向に配列されている、項目ｂ１またはｂ２に記載の方法。

［項目ｂ４］
前記テストチャートは、前記テストチャートの種類を示す情報を含む１つ以上のバーコードまたは２次元コードを含む、項目ｂ１からｂ３のいずれかに記載の方法。

［項目ｂ５］
前記テストチャートは、前記テストチャートの種類を示す情報を含む複数の２次元コードを含み、前記複数の２次元コードの少なくとも一部は、前記印刷物の搬送方向に垂直な方向に相当する方向に配列されている、項目ｂ１からｂ４のいずれかに記載の方法。

［項目ｂ６］
前記学習済みモデルは、前記印刷データに対して空間フィルタリング処理と、カラー変換処理とを実行するモデルであり、
前記学習済みモデルの生成は、前記学習用印刷データと、対応する前記学習用カメラ画像との偏差を小さくするように、前記モデルにおける複数のパラメータを調整することを含む、
項目ｂ１からｂ５のいずれかに記載の方法。

［項目ｂ７］
前記印刷機は、
入力された印刷元データをヘッドデータに変換する印刷コントローラと、
前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、
を備え、
前記印刷データは、前記印刷元データまたは前記ヘッドデータである、
項目ｂ１からｂ６のいずれかに記載の方法。

［項目ｂ８］
印刷データに基づいて印刷を実行する印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、
を備えた検査システムにおける前記学習済みモデルを生成するためのプログラムであって、コンピュータに、
複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを取得することと、
前記学習用データセットに基づく機械学習によって前記学習済みモデルを学習することと、
を実行させるプログラム。

［項目ｂ９］
印刷データに基づいて印刷を実行する印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、
を備えた検査システムと組み合わせて使用される、前記学習済みモデルを生成する装置であって、
複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを記憶するメモリと、
前記学習用データセットに基づく機械学習によって前記学習済みモデルを生成するプロセッサと、
を備える装置。

本開示の技術は、印刷物の印刷結果が適正か否かを検査する用途に利用できる。例えば、カラーのバリアブル印刷を行うデジタル印刷機によって印刷された印刷物を検査する用途に好適に利用できる。

１０ 用紙
７０ テストチャート
１００ 印刷機
１１０ 印刷コントローラ
１２０ 印刷ヘッド
１３０ 搬送機
２００ 検査装置
２１０ 処理装置
２１２ プロセッサ
２１４ ＲＡＭ
２１６ ＲＯＭ
２２０ カメラ
３００ コンピュータ

Claims (9)

1. 印刷データに基づいて印刷を実行する印刷機と、
   前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
   前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、
   を備えた検査システムのための前記学習済みモデルを生成する方法であって、
   複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを取得することと、
   前記学習用データセットに基づく機械学習によって前記学習済みモデルを生成することと、
   を含み、
   前記テストチャートは、前記テストチャートに含まれる各色の領域の位置を特定するための情報を含む複数のバーコードまたは２次元コードを含み、
   前記複数の色のパターンは、色の異なる複数の領域が１次元的または２次元的に配列されたパターンを含み、
   前記複数のバーコードまたは２次元コードは、前記複数の色のパターンの領域の周囲に位置し、
   前記複数のバーコードまたは２次元コードの各々は、前記テストチャートに設定された座標系における位置座標と、前記位置座標における色との対応関係を示す情報を含み、
   前記学習済みモデルを生成することは、前記学習用カメラ画像における前記複数のバーコードまたは２次元コードに含まれる前記情報に基づいて、各バーコードまたは各２次元コードに対応付けられた複数の色の各々の位置を特定することを含む、
   方法。
2. 前記テストチャートは、１０００以上のカラーブロックが２次元的に配列されたパターン、または各々が前記印刷物の搬送方向に垂直な方向に相当する方向に延びる３０以上のカラーバーが前記印刷機の搬送方向に相当する方向に配列されたパターンを含む、請求項１に記載の方法。
3. 前記テストチャートは、前記印刷物の搬送方向に垂直な方向に相当する方向に延びる複数の色の異なるカラーバーを含み、前記複数のカラーバーは、前記搬送方向に相当する方向に配列され、各カラーバーは、前記搬送方向に垂直な方向に相当する方向に沿って明度が連続的に変化している、請求項１に記載の方法。
4. 前記複数のバーコードまたは２次元コードは、前記テストチャートの種類を示す情報をさらに含む、請求項１から３のいずれかに記載の方法。
5. 前記テストチャートは、複数の２次元コードを含み、前記複数の２次元コードの各々は、対応する複数の色の領域の位置を特定するための情報を含み、前記複数の２次元コードの少なくとも一部は、前記印刷物の搬送方向に垂直な方向に相当する方向に配列されている、請求項１から４のいずれかに記載の方法。
6. 前記学習済みモデルは、前記印刷データに対して空間フィルタリング処理と、カラー変換処理とを実行するモデルであり、
   前記学習済みモデルの生成は、前記学習用印刷データと、対応する前記学習用カメラ画像との偏差を小さくするように、前記モデルにおける複数のパラメータを調整することを含む、
   請求項１から５のいずれかに記載の方法。
7. 前記印刷機は、
   入力された印刷元データをヘッドデータに変換する印刷コントローラと、
   前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、
   を備え、
   前記印刷データは、前記印刷元データまたは前記ヘッドデータである、
   請求項１から６のいずれかに記載の方法。
8. 印刷データに基づいて印刷を実行する印刷機と、
   前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
   前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、
   を備えた検査システムにおける前記学習済みモデルを生成するためのプログラムであって、コンピュータに、
   複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを取得することと、
   前記学習用データセットに基づく機械学習によって前記学習済みモデルを学習することと、
   を実行させ、
   前記テストチャートは、前記テストチャートに含まれる各色の領域の位置を特定するための情報を含む複数のバーコードまたは２次元コードを含み、
   前記複数の色のパターンは、色の異なる複数の領域が１次元的または２次元的に配列されたパターンを含み、
   前記複数のバーコードまたは２次元コードは、前記複数の色のパターンの領域の周囲に位置し、
   前記複数のバーコードまたは２次元コードの各々は、前記テストチャートに設定された座標系における位置座標と、前記位置座標における色との対応関係を示す情報を含み、
   前記学習済みモデルを生成することは、前記学習用カメラ画像における前記複数のバーコードまたは２次元コードに含まれる前記情報に基づいて、各バーコードまたは各２次元コードに対応付けられた複数の色の各々の位置を特定することを含む、
   プログラム。
9. 印刷データに基づいて印刷を実行する印刷機と、
   前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
   前記印刷データを、機械学習によって予め訓練された学習済みモデルを用いて照合用印刷画像に変換し、前記照合用印刷画像と前記カメラ画像に基づく照合用カメラ画像との照合を行うことにより、前記印刷物の良否を判定する処理装置と、
   を備えた検査システムと組み合わせて使用される、前記学習済みモデルを生成する装置であって、
   複数の色のパターンを含むテストチャートの画像を示す学習用印刷データと、前記学習用印刷データに基づいて前記印刷機が印刷した印刷物を前記カメラが撮影することによって生成した学習用カメラ画像とを含む学習用データセットを記憶するメモリと、
   前記学習用データセットに基づく機械学習によって前記学習済みモデルを生成するプロセッサと、
   を備え、
   前記テストチャートは、前記テストチャートに含まれる各色の領域の位置を特定するための情報を含む１つ以上のバーコードまたは２次元コードを含み、
   前記複数の色のパターンは、色の異なる複数の領域が１次元的または２次元的に配列されたパターンを含み、
   前記複数のバーコードまたは２次元コードは、前記複数の色のパターンの領域の周囲に位置し、
   前記複数のバーコードまたは２次元コードの各々は、前記テストチャートに設定された座標系における位置座標と、前記位置座標における色との対応関係を示す情報を含み、
   前記プロセッサは、前記学習済みモデルを生成することは、前記学習用カメラ画像における前記複数のバーコードまたは２次元コードに含まれる前記情報に基づいて、各バーコードまたは各２次元コードに対応付けられた複数の色の各々の位置を特定する、
   装置。

Images