JP7256139B2 - 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム - Google Patents

印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム Download PDF

Info

Publication number
JP7256139B2
JP7256139B2 JP2020022823A JP2020022823A JP7256139B2 JP 7256139 B2 JP7256139 B2 JP 7256139B2 JP 2020022823 A JP2020022823 A JP 2020022823A JP 2020022823 A JP2020022823 A JP 2020022823A JP 7256139 B2 JP7256139 B2 JP 7256139B2
Authority
JP
Japan
Prior art keywords
data
size
defect
printed matter
reference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022823A
Other languages
English (en)
Other versions
JP2021128064A5 (ja
JP2021128064A (ja
Inventor
将輝 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020022823A priority Critical patent/JP7256139B2/ja
Publication of JP2021128064A publication Critical patent/JP2021128064A/ja
Publication of JP2021128064A5 publication Critical patent/JP2021128064A5/ja
Application granted granted Critical
Publication of JP7256139B2 publication Critical patent/JP7256139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システムに係り、特に機械学習モデルを用いて画像から欠陥情報を取得する技術に関する。
スキャナを用いて対象を撮像した撮像データと、基準となる基準データとを比較することで、対象の欠陥を検査する欠陥検査装置が広く用いられている。この手法による検査方法の応用として、印刷装置によって印刷された印刷物のスジ、及びインクの欠け等の印刷欠陥を検査するための印刷物の欠陥検査装置が知られている。
従来の印刷物の欠陥検査では、同じ印刷条件による基準データをあらかじめ取得し、基準データと印刷中の撮像データとを比較することで検査を行う手法が広く行われている。しかしながら、このような印刷物の欠陥検査は、バリアブル印刷等の毎回絵柄が変わる印刷、及び印刷条件を変更した後の最初の印刷物等には適用できないという問題がある。
また、この印刷物の欠陥検査は、同じ印刷条件の撮像データ同士を比較する場合においては、基本的なデータ特性が一致しているために比較が可能であるが、使用する用紙、網種、及びカラープロファイル等の印刷条件が異なる場合の撮像データを基準データとする場合、又は印刷元画像を基とする印刷データを基準データとする場合においては、データの特性が異なるため比較することが難しい。
印刷条件が異なる場合は、例えば用紙が異なるとデータ全体の輝度値が異なる。一例として、グロス紙を用いて基準データを取得し、上質紙にて再度同じ絵柄を印刷し検査する場合は、取得していたグロス紙の基準データと上質紙の撮像データとの間では差異が大きく、そのまま比較をする場合は検査性能を落とす必要がある。また、検査性能を落とさずに検査を実施するためには、再度上質紙を用いて基準データを取得し直す必要がある。
また、印刷元画像を基とする印刷データを基準データとする場合では、CMYK(シアン、マゼンタ、イエロー、ブラック)の4チャンネルの色空間とRGB(赤、緑、青)の3チャンネルの色空間とでは、データフォーマットが異なる等の差異が発生する。このため、特性を一致させるための前処理が必要となる。CMYKとRGBとの間の差異に関して、従来の技術では印刷データと撮像データ間でのカラープロファイルを一致させるためのテーブルを作成することで、色特性を一致させる手法が用いられているが、カラープロファイルは印刷条件の違いにより異なり、印刷装置及び用紙の違い等、条件が多岐にわたり存在しているため、それぞれに対応するテーブルをそれぞれ作成することは時間がかかり、煩雑であるという問題が存在する。
このような問題に対し、機械学習手法を用いて印刷物の欠陥検査を行うことが考えられる。例えば、パラメータ及び特徴量の抽出の自動化のために近年広く利用されている深層学習を用いることが考えられる。深層学習は機械学習手法の1つであり、画像認識分野で従来の機械学習手法より非常に高性能であることが知られている。
特許文献1には、製品の欠陥部を抽出対象部とする製品検査用の画像処理アルゴリズムにおいて、機械学習を用いた画像処理パラメータの最適化を実施することにより、フィルタ設計及びパラメータチューニングを自動的に行う技術が記載されている。
特開2007-200246号公報
深層学習を含めた機械学習手法では、一般的に正解値と学習モデルが推定した推定値との誤差を算出し、算出された誤差を最小とするように内部のパラメータを最適化する。よって、入力されるデータの総量に対し、検出したい対象物のデータ割合が極端に少ない場合、検出対象を検出できなかった場合の誤差が小さくなるため、適切に学習が進まないという問題がある。
特に、印刷物の検査装置では、対象の欠陥は大サイズの印刷物に発生する傷、インクの抜け、及びインク垂れ等、いずれも印刷物に対し非常に小さいサイズであるため、印刷物全体の撮像画像をそのまま入力とした場合には適切に検知できないという問題が発生する。
そこで、欠陥の全体が含まれるように学習対象のデータを適切なサイズに切り取り、欠陥サイズの割合が大きい状態での学習を行うことが望ましい。しかしながら、印刷物の欠陥サイズは不定であり、同じ原因により発生する欠陥であっても非常に小さいサイズの場合もあれば、非常に大きいサイズの欠陥であることがある。したがって、学習時に切り取った画像サイズよりも大きな欠陥が発生した場合において、正しく欠陥と識別できない問題が発生する。
本発明はこのような事情に鑑みてなされたもので、機械学習モデルを用いてサイズが不定な欠陥を精度よく判断する印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システムを提供することを目的とする。
上記目的を達成するために印刷物の欠陥検査装置の一の態様は、プロセッサに実行させるための命令を記憶するメモリと、メモリに記憶された命令を実行するプロセッサと、を備え、プロセッサは、印刷物が撮像された撮像画像を基とする撮像データを取得し、印刷物の検査の基準となる基準データを取得し、撮像データと基準データとを入力として、欠陥情報を検出可能な機械学習モデルを少なくとも1つ用いて印刷物の第1の欠陥情報を出力し、撮像データと基準データとのサイズを第1の割合で変換し、M及びNを1以上の整数とすると、M回サイズが変換された撮像データと基準データとを入力として、機械学習モデルを少なくとも1つ用いて印刷物の第(M+1)の欠陥情報を出力する処理を、Mが1からNになるまで実施し、第1の欠陥情報から第(N+1)の欠陥情報のうちの少なくとも1つに基づいて印刷物の欠陥を判断する印刷物の欠陥検査装置である。
本態様によれば、機械学習モデルを用いてサイズが不定な欠陥を精度よく判断することができる。
機械学習モデルは、第1のサイズの撮像データの欠陥情報を検出可能であり、プロセッサは、撮像データを機械学習モデルに応じた第1のサイズの複数の領域に分割し、基準データを第1のサイズに対応する第2のサイズの複数の領域に分割することが好ましい。これにより、機械学習モデルが欠陥情報を検出可能なデータサイズに応じて欠陥情報を出力することができる。プロセッサは、第1のサイズの情報と第2のサイズの情報とをメモリから取得してもよい。第1のサイズと第2のサイズとの比率は、撮像データのサイズと基準データとサイズとの比率に等しい。
プロセッサは、機械学習モデルにおいて検出可能な最小欠陥サイズ以上である第1の重複量だけ一部の領域を重複させて撮像データを複数の領域に分割し、第1の重複量に対応する第2の重複量だけ一部の領域を重複させて基準データを複数の領域に分割することが好ましい。これにより、機械学習モデルにおいて検出可能な最小欠陥サイズの欠陥であっても、複数の領域のうちいずれかの領域において欠陥情報を出力することができる。プロセッサは、最小欠陥サイズ又は第1の重複量と第2の重複量との情報をメモリから取得してもよい。第1の重複量と第2の重複量との比率は、撮像データのサイズと基準データとサイズとの比率に等しい。
検出可能な最小欠陥サイズは、分割された領域において、第1の割合よりも小さな割合のサイズであることが好ましい。これにより、撮像データと基準データとのサイズを第1の割合で変換した場合であっても、機械学習モデルにおいて欠陥情報を検出することができる。
プロセッサは、撮像データと基準データとのサイズを1/4以下に縮小することが好ましい。これにより、印刷物の欠陥を適切に判断することができる。
機械学習モデルは、教師有り機械学習モデルであることが好ましい。これにより、印刷物の欠陥を適切に判断することができる。
機械学習モデルは深層学習モデルであることが好ましい。これにより、印刷物の欠陥を適切に判断することができる。
機械学習モデルは、第1のサイズの基準データと第1のサイズの撮像データとを学習データとして用いて学習されていることが好ましい。プロセッサは、第1のサイズの基準データと第1のサイズの撮像データとを学習データとして用いて機械学習モデルを学習させることが好ましい。第1のサイズを小さいサイズとすることで、効率よく学習させることができる。
基準データは印刷物の印刷元画像を基とする印刷データであることが好ましい。これにより、印刷物の欠陥を適切に判断することができる。
上記目的を達成するために印刷システムの一の態様は、印刷データに基づいて印字素子により印刷物を印刷する印刷装置と、印刷された印刷物を撮像して撮像画像を取得する撮像装置と、上記の印刷物の欠陥検査装置と、を備えた印刷システムである。
本態様によれば、印刷装置によって印刷された印刷物の欠陥を適切に判断することができる。
上記目的を達成するために印刷物の欠陥検査方法の一の態様は、印刷物が撮像された撮像画像を基とする撮像データを取得する撮像データ取得工程と、印刷物の検査の基準となる基準データを取得する基準データ取得工程と、撮像データと基準データとを入力として、欠陥情報を検出可能な機械学習モデルを少なくとも1つ用いて印刷物の第1の欠陥情報を出力する変換前検査工程と、撮像データと基準データとのサイズを第1の割合で変換する変換工程と、M及びNを1以上の整数とすると、M回サイズが変換された撮像データと基準データとを入力として、機械学習モデルを少なくとも1つ用いて印刷物の第(M+1)の欠陥情報を出力する処理を、Mが1からNになるまで実施する変換後検査工程と、第1の欠陥情報から第(N+1)の欠陥情報のうちの少なくとも1つに基づいて印刷物の欠陥を判断する判断工程と、を備える印刷物の欠陥検査方法である。
本態様によれば、機械学習モデルを用いてサイズが不定な欠陥を精度よく判断することができる。
上記の印刷物の欠陥検査方法をコンピュータに実行させるためのプログラムも本態様に含まれる。プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本態様に含まれる。
本発明によれば、機械学習モデルを用いてサイズが不定な欠陥を精度よく判断することができる。
図1は、欠陥検査装置の構成を示すブロック図である。 図2は、深層学習モデルの主要な機能を示す機能ブロック図である。 図3は、欠陥検査装置による印刷物の欠陥検査方法の処理を示すフローチャートである。 図4は、撮像データの分割処理を説明するための図である。 図5は、検出可能な最小欠陥サイズを説明するための図である。 図6は、欠陥検査装置を適用したインクジェット印刷装置の全体構成図である。 図7は、インクジェット印刷装置の内部構成を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
<欠陥検査装置>
本実施形態に係る欠陥検査装置10は、検査対象の印刷物の欠陥を判断する装置である。欠陥検査装置10は、例えばパーソナルコンピュータ又はマイクロコンピュータ等の汎用のコンピュータである。図1は、欠陥検査装置10の構成を示すブロック図である。欠陥検査装置10は、プロセッサ12と、メモリ14と、を備える。メモリ14は、プロセッサ12に実行させるための命令を記憶する。欠陥検査装置10は、プロセッサ12が、メモリ14から読み出した命令を含むプログラムを実行することにより、各機能が実現される。
プロセッサ12は、撮像データ取得部16と、基準データ取得部18と、撮像データ変換処理部20と、基準データ変換処理部22と、撮像データ分割処理部24と、基準データ分割処理部26と、検査処理部28と、判断部32と、出力部34と、を含む。
撮像データ取得部16は、印刷装置(例えば図6に示すインクジェット印刷装置100)において印刷された印刷物が撮像された撮像画像を基とする撮像データを取得する。撮像データは、例えば撮像画像のビットマップデータである。基準データ取得部18は、印刷物の検査の基準となる基準データを取得する。ここでは、基準データ取得部18は、印刷物の印刷元画像を基とする印刷データを取得する。印刷データは、例えば印刷元画像のRIP(Raster Image Processor)データである。撮像データと印刷データとのサイズは、同じサイズである。サイズとは、画素数と同義である。
撮像データ変換処理部20は、撮像データ取得部16が取得した撮像データのサイズを一定の割合である第1の割合で変換し、サイズ変換後の撮像データを生成する。また、撮像データ変換処理部20は、サイズ変換後の撮像データのサイズをさらに第1の割合で変換する。撮像データ変換処理部20は、M及びNを1以上の整数とすると、このサイズ変換をMが1からNになるまで実施することで、それぞれサイズの異なるN個の撮像データを生成する。定数Nは不図示の記憶部に予め記憶された定数である。定数Nは、不図示のユーザインターフェースによってユーザが入力してもよい。定数Nは、撮像データと基準データとの変換後サイズが、後述する第1のサイズより小さくなる変換回数よりも小さい値である。
ここでは、第1の割合は4分の1(1/4)である。即ち、撮像データ変換処理部20は、縦及び横の画素数をそれぞれ1/2に減少させ、撮像データのサイズを1/4に縮小する。したがって、サイズ変換をM回実施した際の撮像データのサイズは、撮像データ取得部16が取得した撮像データのサイズの(1/4)となる。
基準データ変換処理部22は、基準データ取得部18が取得した基準データのサイズを第1の割合で変換し、サイズ変換後の基準データを生成する。また、基準データ変換処理部22は、サイズ変換後の基準データのサイズをさらに第1の割合で変換する。基準データ変換処理部22は、このサイズ変換をMが1からNになるまで実施することで、それぞれサイズの異なるN個の基準データを生成する。
ここでは、第1の割合は4分の1(1/4)であり、基準データ変換処理部22は、基準データのサイズを1/4に縮小する。したがって、サイズ変換をM回実施した際の基準データのサイズは、基準データ取得部18が取得した基準データのサイズの(1/4)となる。
このように、撮像データ変換処理部20と基準データ変換処理部22とは、撮像データと基準データとをそれぞれ同倍率で縮小する。
撮像データ分割処理部24には、撮像データ取得部16が取得した撮像データと、撮像データ変換処理部20によるサイズ変換後のN個の撮像データとが入力される。撮像データ分割処理部24は、入力された各撮像データを一定のサイズである第1のサイズの複数の領域の分割データに分割する分割処理を行う。ここでは、撮像データ分割処理部24は、入力された撮像データを一定の重複量である第1の重複量だけ一部の領域を重複させて第1のサイズの複数の領域の分割データに分割する。
基準データ分割処理部26には、基準データ取得部18が取得した基準データと、基準データ変換処理部22によるサイズ変換後のN個の基準データとが入力される。基準データ分割処理部26は、入力された各基準データを第1のサイズに対応する第2のサイズの複数の領域の分割データに分割する分割処理を行う。ここでは、基準データ分割処理部26は、入力された撮像データを第1の重複量に対応する第2の重複量だけ一部の領域を重複させて第2のサイズの複数の領域の分割データに分割する。なお、第1のサイズと第2のサイズとの比率、及び第1の重複量と第2の重複量との比率は、撮像データのサイズと基準データとサイズとの比率に等しい。
なお、撮像データ分割処理部24と基準データ分割処理部26とは、第1のサイズの情報と第2のサイズの情報とをメモリ14から取得する。また、撮像データ分割処理部24と基準データ分割処理部26とは、第1の重複量と第2の重複量との情報をメモリ14から取得する。
検査処理部28は、深層学習モデル30を備える。検査処理部28は、撮像データと印刷データとを入力として、深層学習モデル30を用いて印刷物の欠陥情報を出力とする検査処理を行う。
検査処理部28は、撮像データ取得部16が取得し、かつ撮像データ分割処理部24によって分割された撮像データの分割データと、基準データ取得部18が取得し、かつ基準データ分割処理部26によって分割された印刷データの分割データと、のそれぞれ対応する領域の分割データを入力として、入力された分割データ毎の第1の欠陥情報を出力する。
また、検査処理部28は、撮像データ変換処理部20によってM回サイズが変換され、かつ撮像データ分割処理部24によって分割された撮像データの分割データと、基準データ変換処理部22によってM回サイズが変換され、かつ基準データ分割処理部26によって分割された印刷データの分割データと、のそれぞれ対応する領域の分割データを入力として、入力された分割データ毎の第(M+1)の欠陥情報を出力する。検査処理部28は、この処理をMが1からNになるまで実施する。その結果、検査処理部28は、第1の欠陥情報から第(N+1)の欠陥情報をそれぞれ分割された領域の数だけ出力する。
深層学習モデル30は、撮像データと基準データとを入力として印刷物の欠陥情報を検出する教師有り機械学習モデルである。深層学習モデル30は、第1のサイズの撮像データの欠陥情報を検出可能である。深層学習モデル30は、例えば畳み込みニューラルネットワーク(CNN:Convolution Neural Network)である。深層学習モデル30は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。深層学習モデル30は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。
深層学習モデル30は、ユーザが付した欠陥情報を教師データとして用い、学習データである第1のサイズの基準データと第1のサイズの撮像データとが教師有り学習によって学習される。欠陥情報は、欠陥の有無、欠陥の位置、及び欠陥の認識強度値の少なくとも1つを含む。ニューラルネットワークの学習方法は、公知の技術を用いればよい。なお、深層学習モデル30は、教師無し学習によって学習されてもよい。
図2は、深層学習モデル30の主要な機能を示す機能ブロック図である。図2に示すように、深層学習モデル30は、入力層30Aと、中間層30Bと、出力層30Cと、を備える。入力層30Aと、中間層30Bと、出力層30Cとは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。
入力層30Aには、第1のサイズに分割された撮像データと第1のサイズに分割された基準データとが入力される。
中間層30Bは、入力層から入力された画像から特徴を抽出する層である。中間層30Bは、畳み込み層とプーリング層とを1セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層(ここではプーリング層)のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層30Bには、畳み込み層とプーリング層とを1セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。
出力層30Cは、中間層30Bにより抽出された特徴に基づいて印刷物の欠陥情報の認識結果を出力する層である。
深層学習モデル30は、例えば印刷物の欠陥の有無を分類する場合、欠陥情報は「欠陥有」と「欠陥無」とに対応する2つのスコアとして出力する。2つのスコアの合計は100%である。
ここでは、検査処理部28は、機械学習モデルとして単一の深層学習モデル30を備えているが、複数の機械学習モデルを備えてもよい。検査処理部28は、機械学習モデルを少なくとも1つ用いて印刷物の欠陥情報を出力すればよい。深層学習モデル30は、CNNに代えて他のニューラルネットワークが用いられてもよいし、その他の機械学習モデルが用いられてもよい。
図1の説明に戻り、判断部32は、検査処理部28から出力された第1の欠陥情報から第(N+1)の欠陥情報のうちの少なくとも1つに基づいて印刷物の欠陥を判断する。判断部32は、第1の欠陥情報から第(N+1)の欠陥情報の第Mの欠陥情報について、Mの値が大きい欠陥情報ほど重要度の重みを付けて印刷物の欠陥を判断してもよい。
出力部34は、判断部32の判断結果に基づく印刷物の良否を出力する。出力部34は、印刷物の良否を、不図示の表示装置に出力してもよいし、不図示の通信インターフェースを介して他の装置に出力してもよい。
<欠陥検査方法>
図3は、欠陥検査装置10による印刷物の欠陥検査方法の処理を示すフローチャートである。ここでは、印刷元画像に基づいて印刷装置によって印刷された印刷物に発生するインクの抜け及びインク垂れ等の欠陥を検査する例を説明する。印刷物の欠陥検査方法は、基準データ取得工程(ステップS1)と、撮像データ取得工程(ステップS2)と、変換前検査工程(ステップS4)と、変換工程(ステップS7)と、変換後検査工程と(ステップS9)と、判断工程(ステップS11)と、を含む。
ステップS1では、撮像データ取得部16は、印刷装置が印刷した印刷物を撮像装置が撮像した撮像画像を撮像データとして取得する。撮像データ取得部16は、取得した撮像画像に所定の処理を施して撮像データを生成してもよい。
ステップS2では、基準データ取得部18は、印刷物の印刷元画像を基とする印刷データを基準データとして取得する。基準データ取得部18は、印刷元画像を取得し、取得した印刷元画像に所定の処理を施して印刷データを生成し、生成した印刷データを基準データとしてもよい。ステップS1で取得した撮像データとステップS2で取得した基準データとは、同じサイズである。
ステップS3では、撮像データ分割処理部24と基準データ分割処理部26とは、ステップS1で取得した撮像データとステップS2で取得した基準データとの対応位置関係を求める。そして、撮像データ分割処理部24は、撮像データを第1の重複量だけ一部の領域を重複させて第1のサイズの複数の領域の分割データに分割する。同様に、基準データ分割処理部26は、基準データを第2の重複量だけ一部の領域を重複させて第2のサイズの複数の領域の分割データに分割する。ここでは、撮像データと基準データとは同じサイズであるため、第1のサイズと第2のサイズとは同じサイズであり、第1の重複量と第2の重複量とは同じ重複量である。
ステップS4では、検査処理部28は、ステップS3において複数の領域の分割データに分割された撮像データと基準データとのそれぞれ対応する領域の分割データを入力として、分割データ毎の第1の欠陥情報を出力する。検査処理部28は、撮像データと基準データとの全ての領域の分割データを入力として、複数の分割データ毎の第1の欠陥情報を出力する。
ステップS5では、検査処理部28は、変数Mを0に初期化する。また、ステップS6では、検査処理部28は変数Mに1を加算する。検査処理部28がステップS6の処理を初めて行った場合は、M=1となる。
ステップS7では、撮像データ変換処理部20は、撮像データのサイズを第1の割合で変換し、サイズ変換後の撮像データを生成する。M=1の場合は、撮像データ変換処理部20は、ステップS2で取得した撮像データのサイズを変換する。ここでは、撮像データ変換処理部20は、撮像データのサイズを1/4に縮小する。
同様に、ステップS7では、基準データ変換処理部22は、基準データのサイズを第1の割合で変換し、サイズ変換後の基準データを生成する。M=1の場合は、基準データ変換処理部22は、ステップS1で取得した基準データのサイズを変換する。ここでは、基準データ変換処理部22は、撮像データ変換処理部20と同様に基準データのサイズを1/4に縮小する。
ステップS8では、撮像データ分割処理部24は、ステップS7でサイズ変換したサイズ変換後の撮像データを第1の重複量だけ一部の領域を重複させて第1のサイズの複数の領域の分割データに分割する。同様に、基準データ分割処理部26は、ステップS7でサイズ変換したサイズ変換後の基準データを第2の重複量だけ一部の領域を重複させて第2のサイズの複数の領域の分割データに分割する。
ステップS9では、検査処理部28は、ステップS8において複数の領域の分割データに分割された撮像データと基準データとのそれぞれ対応する領域の分割データを入力として、分割データ毎の第(M+1)の欠陥情報を出力する。検査処理部28は、サイズ変換後の撮像データとサイズ変換後と基準データとの全ての領域の分割データを入力として、複数の分割データ毎の第(M+1)の欠陥情報を出力する。M=1の場合は、第2の欠陥情報である。
ステップS10では、検査処理部28は、変数Mが定数Nと等しいか否かを判定する。変数Mが定数Nと等しくない場合は、検査処理部28は、ステップS6の処理を行う。ステップS6では、検査処理部28は、変数Mに1を加算する。例えば、検査処理部28が行うステップS6の処理が2回目の場合は、M=2となる。
続くステップS7では、撮像データ変換処理部20は、撮像データのサイズを第1の割合で変換する。即ち、撮像データ変換処理部20は、撮像データのサイズを再度1/4に縮小する。撮像データ変換処理部20は、M=1の際にも撮像データのサイズを1/4に縮小している。このため、サイズ変換後の撮像データは、ステップS2で取得した撮像データのサイズを基準とすると、(1/4)=1/16のサイズに縮小される。
同様に、ステップS7では、基準データ変換処理部22は、基準データのサイズを第1の割合で変換する。即ち、基準データ変換処理部22は、基準データのサイズを再度1/4に縮小する。撮像データと同様に、サイズ変換後の基準データは、ステップS1で取得した基準データのサイズを基準とすると、(1/4)=1/16のサイズに縮小される。
続いて、ステップS8では、撮像データ分割処理部24は、ステップS7でサイズ変換したサイズ変換後の撮像データを第1の重複量だけ一部の領域を重複させて第1のサイズの複数の領域の分割データに分割する。
同様に、ステップS8では、基準データ分割処理部26は、ステップS7でサイズ変換したサイズ変換後の基準データをそれぞれ第2の重複量だけ一部の領域を重複させて第2のサイズの複数の領域の分割データに分割する。
そして、ステップS9では、検査処理部28は、ステップS8において複数の領域の分割データに分割された撮像データと基準データとのそれぞれ対応する領域の分割データを入力として、分割データ毎の第(M+1)の欠陥情報を出力する。検査処理部28は、全ての領域の分割データを入力として、複数の分割データ毎の第(M+1)の欠陥情報を出力する。M=2の場合は、第3の欠陥情報である。
ステップS10において、変数Mが定数Nと等しい場合、即ちステップS6~S9の処理をMが1からNになるまでのN回実施した場合は、判断部32はステップS11の処理を行う。
このように、欠陥検査装置10は、ステップS6~S9の処理をN回実施する。これにより、検査処理部28は、第2の欠陥情報から第(N+1)の欠陥情報を出力する。即ち、欠陥検査装置10は、撮像データのサイズが最初に取得したデータのサイズの(1/4)となるまで検査を行う。最も縮小された撮像データのサイズは、第1のサイズよりも大きい。
ステップS11では、判断部32は、第1の欠陥情報から第(N+1)の欠陥情報のうちの少なくとも1つに基づいて印刷物の欠陥を判断する。
ステップS12では、出力部34は、ステップS11で判断された結果を出力する。出力部34は、判断結果を不図示の表示装置に表示してもよい。また、出力部34は、判断結果に基づく印刷物の良否を出力してもよい。
以上で、印刷物の欠陥検査方法の処理が終了する。なお、印刷物の検査を続ける場合はステップS1に戻って同様の処理を行えばよい。その際に、印刷物の印刷元画像が前回の検査と同じ場合は、ステップS2の基準データの取得と、ステップS3の基準データの分割と、ステップS7の基準データのサイズ変換と、ステップS8の基準データの分割とを省略し、前回のデータを使用してもよい。
印刷物の欠陥検査方法によれば、深層学習モデル30等の機械学習モデルが学習を行う際のデータのサイズである第1のサイズの領域に収まらない非常に大きな欠陥が発生した場合であっても、撮像データをN回縮小することで第1のサイズの領域に収めることができ、縮小後の撮像データからその欠陥を検出することができる。このように、小さいサイズで学習した学習モデルを非常に大きな画像に適用させることができる。
したがって、機械学習モデルが学習を行う際のデータの第1のサイズを小さくした場合であっても、機械学習モデルを用いてサイズが不定な欠陥を精度よく判断することができ、検査性能を落とすことなく検査が可能となる。このため、機械学習モデルの学習に使用するデータの第1のサイズを小さくすることができ、学習効率の向上と検査性能を両立することができる。
本実施形態では、撮像データ分割処理部24と基準データ分割処理部26とは、それぞれ撮像データと基準データとを、深層学習モデル30の学習データのサイズである第1のサイズの複数の領域の分割データに分割したが、深層学習モデル30が欠陥情報を検出可能なサイズの領域の分割データに分割すればよく、第1のサイズとは多少異なっていてもよい。例えば、深層学習モデル30が第1のサイズとは異なる第3のサイズの撮像データから欠陥情報を検出可能であれば、撮像データ分割処理部24と基準データ分割処理部26とは、それぞれ撮像データと基準データとを第3のサイズの複数の領域の分割データに分割してもよい。
本実施形態は、インクの抜け、インク垂れ、及びブロッキング等の、ほぼ円形に近しい形状の欠陥であり、かつ程度が定まらない欠陥の欠陥情報を検出する場合に特に有効である。
<分割処理に関して>
図4は、撮像データの分割処理を説明するための図である。図4に示すF4A及びF4Bは、印刷物が撮像された撮像画像を基とする撮像データIの一部の一例を示している。F4A及びF4Bに示すように、撮像データIには、印刷物の欠陥に相当する欠陥Dが存在する。ここでは、欠陥Dは、検査処理部28において検出可能な最小欠陥サイズの欠陥であるとする。
F4Aでは、領域を重複させずに撮像データIを領域Rの分割データと領域Rの分割データとに分割する場合を示している。欠陥Dは領域Rと領域Rとに分割される位置に存在している。欠陥Dは検出可能な最小欠陥サイズの欠陥であるため、領域Rと領域Rとに分割される結果、領域Rに含まれる欠陥Dも領域Rに含まれる欠陥Dも、検出可能な最小欠陥サイズ未満の欠陥となる。したがって、欠陥Dは、領域Rの分割データの検査処理においても、領域Rの分割データの検査処理においても、検査処理部28によって検出することはできない。
一方、F4Bには、第1の重複量だけ領域を重複させて撮像データIを領域Rの分割データと領域Rの分割データとに分割する場合を示している。第1の重複量は、検出可能な最小欠陥サイズ以上であり、検出可能な最小欠陥サイズであってもよい。この場合、欠陥Dはいずれかの領域(F4Bでは領域R)に必ず含まれる。したがって、欠陥Dは、欠陥Dが含まれた領域の分割データにおける検査処理において検出される。
このように、撮像データ分割処理部24において分割処理を行うにあたり、撮像データの分割データに分割される領域の境界部は、検査処理部28において検出可能な最小欠陥サイズ以上である第1の重複量だけ一部の領域が重複されることが望ましい。このように撮像データが分割データに分割されることにより、検出可能な最小サイズの欠陥が撮像データの分割領域の境界に発生した場合でも、検査処理部28において問題なく検出することが可能となる。
なお、検査処理部28は、撮像データ分割処理部24によって分割された撮像データの分割データと、基準データ分割処理部26によって分割された印刷データの分割データと、のそれぞれ対応する領域の分割データを入力とする。このため、基準データ分割処理部26における分割処理においても同様に、第1の重複量だけ一部の領域を重複させて分割データに分割させる。
<検出可能な最小欠陥サイズに関して>
図5は、検査処理部28において検出可能な最小欠陥サイズを説明するための図である。図5に示すF5Aは、印刷物が撮像された撮像画像を基とする撮像データIの一部の一例を示している。F5Aに示すように、撮像データIには、印刷物の欠陥に相当する欠陥Dが存在する。また、撮像データIは、撮像データ分割処理部24において、それぞれ領域を第1の重複量だけ重複させて第1のサイズである領域R11と領域R12と領域R13と領域R14とに分割されている。欠陥Dは、領域R11と領域R12と領域R13と領域R14とに分割される位置に存在している。領域R11と領域R12と領域R13と領域R14とは、それぞれ第1のサイズである。
ここでは、検査処理部28において検出可能な最小欠陥サイズは、第1のサイズの1/4であるとする。欠陥Dは、検出可能な最小欠陥サイズより大きい欠陥であるが、欠陥Dが領域R11と領域R12と領域R13と領域R14とに分割される結果、領域R11に含まれる欠陥Dも、領域R12に含まれる欠陥Dも、領域R13に含まれる欠陥Dも領域R14に含まれる欠陥Dも、検出可能な最小欠陥サイズ未満の欠陥となる。したがって、欠陥Dは、領域R11の分割データの検査処理においても、領域R12の分割データの検査処理においても、領域R13の分割データの検査処理においても、領域R14の分割データの検査処理においても、深層学習モデル30によって検出することはできない。
図5に示すF5Bは、撮像データIのサイズが撮像データ変換処理部20において1/4に縮小された撮像データIの一部を示している。F5Bに示すように、撮像データIには、サイズが1/4に縮小された欠陥Dが存在する。また、撮像データIは、撮像データ分割処理部24において、それぞれ領域を第1の重複量だけ重複させて第1のサイズである領域R21と領域R22とに分割されている。ここでは、欠陥Dは領域R21に含まれている。
しかしながら、撮像データIの欠陥Dは、第1のサイズの1/4よりも小さいサイズに縮小されているため、検査処理部28による領域R21の分割データの検査処理において検出することができない。
これを防止するために、第1のサイズの1/4よりも小さいサイズを検出可能とする必要がある。即ち、深層学習モデル30における検出可能な最小欠陥サイズを、第1のサイズの第1の割合よりも小さいサイズとすることで、未検出となることを防止することが可能となる。
このように、検査処理部28において検出可能な欠陥の最小サイズは、撮像データ分割処理部24において分割される領域のサイズである第1のサイズの、撮像データ変換処理部20におけるサイズ変換の第1の割合よりも小さいことが望ましい。例えば、撮像データ変換処理部20において撮像データのサイズを1/4に縮小する場合、第1のサイズの分割された領域の1/4より小さいサイズの欠陥を検出可能とすることで、撮像データ変換処理部20と基準データ変換処理部22とにより欠陥が縮小され、未検出となることを防止することが可能となる。
<印刷装置>
欠陥検査装置10を適用した印刷装置について説明する。
〔インクジェット印刷装置の構成〕
図6は、欠陥検査装置10を適用したインクジェット印刷装置100(印刷システムの一例)の全体構成図である。図6において、X方向、Y方向、及びZ方向は互いに直交する方向であり、X方向及びY方向は水平方向であり、Z方向は鉛直方向である。インクジェット印刷装置100は、基材である枚葉の用紙Pにシアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の4色のインクを吐出してカラー画像を印刷する印刷機である。
用紙Pには汎用の印刷用紙が使用される。汎用の印刷用紙とは、いわゆるインクジェット専用紙ではなく、一般のオフセット印刷等に用いられる塗工紙等のセルロースを主体とした用紙をいう。また、インクには水性インクが使用される。水性インクとは、水と水に可溶な溶媒に染料、顔料等の色材とを溶解又は分散させたインクをいう。
図6に示すように、インクジェット印刷装置100は、搬送部110と、印刷部120と、撮像部130と、乾燥部140と、選別部150と、排紙部160と、を備えて構成される。
〔搬送部〕
搬送部110は、不図示の給紙部から給紙された用紙Pを搬送方向(Y方向)に搬送する。搬送部110は、上流側プーリ112と、下流側プーリ114と、搬送ベルト116と、を備えている。
上流側プーリ112は、水平方向に延びる不図示の回転軸を有し、回転軸が回転自在に軸支されている。下流側プーリ114は、上流側プーリ112の回転軸と平行な不図示の回転軸を有し、回転軸が回転自在に軸支されている。
搬送ベルト116は、ステンレス製の無端状のベルトである。搬送ベルト116は、上流側プーリ112と下流側プーリ114とに架け渡されている。ステンレス製の搬送ベルト116を使用することで、用紙Pの平坦性を良好に保つことができる。
下流側プーリ114は、駆動手段として不図示のモータを有している。モータが駆動すると、下流側プーリ114が図6において左回りに回転する。上流側プーリ112は、下流側プーリ114の回転に従動して図6において左回りに回転する。上流側プーリ112と下流側プーリ114との回転により、搬送ベルト116は上流側プーリ112と下流側プーリ114との間を走行経路に沿って走行する。
搬送ベルト116の搬送面には、不図示の給紙部から供給された用紙Pが載置される。搬送部110は、搬送ベルト116に載置された用紙Pを上流側プーリ112から下流側プーリ114に向かう搬送経路に沿って搬送し、排紙部160に受け渡す。この搬送経路の、印刷部120と、撮像部130と、乾燥部140と、選別部150と、に対向する位置において、用紙Pは印刷面を水平に保持されて搬送される。
搬送ベルト116に不図示の複数の吸着孔を設け、不図示のポンプにより搬送ベルト116の吸着孔を吸引することで、搬送ベルト116の搬送面に載置された用紙Pを搬送面に吸着保持してもよい。
〔印刷部〕
印刷部120は、印刷元画像に基づいて用紙Pに画像を形成(印刷)する。印刷部120は、インクジェットヘッド122C、122M、122Y、122Kを備えている。インクジェットヘッド122Cは、シアンのインク滴をインクジェット方式で吐出する。同様に、インクジェットヘッド122M、122Y、122Kは、それぞれマゼンタ、イエロー、ブラックのインク滴をインクジェット方式で吐出する。
インクジェットヘッド122C、122M、122Y、122Kは、搬送ベルト116による用紙Pの搬送経路に沿って一定の間隔をもって配置される。インクジェットヘッド122C、122M、122Y、122Kは、それぞれラインヘッドで構成され、最大の用紙幅に対応する長さで形成される。インクジェットヘッド122C、122M、122Y、122Kは、ノズル面(ノズルが配列される面)が搬送ベルト116に対向するように配置される。
インクジェットヘッド122C、122M、122Y、122Kは、ノズル面に形成されたノズル(印字素子の一例)から、搬送ベルト116によって搬送される用紙Pに向けてインク滴を吐出することにより、用紙Pの印刷面に所定の網種で画像を形成する。
このように、印刷部120は、搬送ベルト116によってY方向に搬送される用紙Pに対して1回の走査によって、いわゆるシングルパス方式によって印刷物を生成する。
〔撮像部〕
撮像部130は、用紙Pの印刷面の画像を取得する。撮像部130は、用紙Pの搬送方向に対して印刷部120の下流側に配置される。撮像部130は、スキャナ132(撮像装置の一例)を備えている。
スキャナ132は、インクジェットヘッド122C、122M、122Y、122Kを用いて用紙Pに形成された画像を光学的に読み取り、その読取画像(撮像画像の一例)を示す画像データを生成する装置である。スキャナ132は、用紙P上に印刷された画像を撮像して電気信号に変換する撮像デバイスを含む。撮像デバイスとしてカラーCCD(charge coupled device)リニアイメージセンサを用いることができる。なお、カラーCCDリニアイメージセンサに代えて、カラーCMOS(complementary metal oxide semiconductor)リニアイメージセンサを用いることもできる。
スキャナ132は、撮像デバイスの他、読み取り対象を照明する照明光学系と撮像デバイスから得られる信号を処理してデジタル画像データを生成する信号処理回路とを含んでもよい。
〔乾燥部〕
乾燥部140は、用紙Pのインクを乾燥させる。乾燥部140は、用紙Pの搬送方向に対して撮像部130の下流側に配置される。
乾燥部140は、ヒータ142を備えている。ヒータ142としては、例えば、ハロゲンヒータと赤外線ヒータとのうち少なくとも一方が使用される。ヒータ142は、用紙Pの印刷面を加熱して、用紙Pのインクを乾燥させる。乾燥部140は、ファン又はブロア等の送風手段を含んでいてもよい。
〔選別部〕
選別部150は、搬送ベルト116によって搬送される用紙Pに関する良否判定に応じて、印刷物を選別する。選別部150は、用紙Pの搬送方向に対して乾燥部140の下流側に配置される。選別部150は、スタンパ152を備えている。
スタンパ152は、搬送ベルト116によって搬送される用紙Pに関する良否判定に応じて、不良品印刷物と判定された用紙Pの先端エッジにインクを付着させるスタンプ処理を行う。
〔排紙部〕
排紙部160は、画像が形成され、乾燥された用紙P(印刷物)を回収する。排紙部160は、用紙Pの搬送方向に対して選別部150の下流側であって、搬送部110の搬送経路の終点に配置される。排紙部160は、排紙台162を備えている。
排紙台162は、搬送ベルト116によって搬送された用紙Pを積み重ねて回収する。排紙台162には、不図示の前用紙当てと、後用紙当てと、横用紙当てと、が備えられており、用紙Pを整然と積み重ねる。
また、排紙台162は、不図示の昇降装置によって昇降可能に設けられる。昇降装置は、排紙台162に積み重ねられる用紙Pの増減に連動して駆動が制御される。これにより、排紙台162に積み重ねられた用紙Pのうち最上位に位置する用紙Pが常に一定の高さとなる。
〔インクジェット印刷装置の制御系〕
図7は、インクジェット印刷装置100の内部構成を示すブロック図である。インクジェット印刷装置100は、ユーザインターフェース170と、記憶部172と、統括制御部174と、搬送制御部176と、印刷制御部178と、撮像制御部180と、乾燥制御部182と、選別制御部184と、排紙制御部186と、を備えている。
ユーザインターフェース170は、使用者がインクジェット印刷装置100を操作するための不図示の入力部と不図示の表示部とを備えている。入力部は、例えば使用者からの入力を受け付ける操作パネルである。表示部は、例えば画像データと各種の情報とを表示するディスプレイである。使用者は、ユーザインターフェース170を操作することで、インクジェット印刷装置100に所望の画像を印刷させることができる。
記憶部172は、インクジェット印刷装置100を制御するためのプログラムと、プログラムの実行に必要な情報と、を記憶する。記憶部172は、不図示のハードディスク、又は各種半導体メモリ等の非一時的記録媒体により構成される。記憶部172は、撮像データ、印刷データを記憶してもよい。この場合、欠陥検査装置10の基準データ取得部18は、記憶部172に記憶された印刷データを基準データとして取得する。
統括制御部174は、記憶部172に記憶されたプログラムに従って各種の処理を行い、インクジェット印刷装置100の全体の動作を統括制御する。欠陥検査装置10についても、統括制御部174により統括制御される。
搬送制御部176は、搬送部110の不図示のモータを制御することで、搬送部110によって用紙Pを搬送方向に搬送させる。これにより、不図示の給紙部から供給された用紙Pは、印刷部120と、撮像部130と、乾燥部140と、選別部150と、に対向する位置を通過し、最後に排紙部160に排紙される。
印刷制御部178は、印刷元画像に基づいて、インクジェットヘッド122C、122M、122Y、122Kによるインクの吐出を制御する。印刷制御部178は、インクジェットヘッド122C、122M、122Y、122Kによって、それぞれのノズル面と対向する位置を用紙Pが通過するタイミングにおいて、シアン、マゼンタ、イエロー、ブラックのインク滴を用紙Pに向けて吐出させる。これにより、用紙Pの印刷面にカラー画像が形成され、用紙Pは「印刷物」となる。
なお、印刷制御部178は、吐出不良のノズル(異常が発生した印字素子の一例)の箇所の情報を統括制御部174に出力してもよい。欠陥検査装置10は、印刷制御部178から吐出不良のノズルの箇所の情報を取得する。
また、印刷制御部178は、印刷元画像を補正して吐出不良のノズルによる印刷を補償する補償機能を有してもよい。一例として、吐出不良のノズルに対し、隣り合う複数のノズルのインク滴の体積を増大させることによって補償する補償機能がある。印刷制御部178は、印刷物の補償機能により補償された箇所の情報を統括制御部174に出力する。欠陥検査装置10は、印刷制御部178から印刷物の補償機能により補償された箇所の情報を取得する。
撮像制御部180は、スキャナ132による撮像を制御することで、撮像部130によって用紙P(印刷物)の画像を読み取らせる。撮像制御部180は、スキャナ132によって、スキャナ132と対向する位置を用紙Pが通過するタイミングにおいて、用紙Pに形成された画像を読み取らせる。
欠陥検査装置10の撮像データ取得部16は、スキャナ132が読み取った画像を撮像データとして取得する。
乾燥制御部182は、ヒータ142による加熱を制御することで、乾燥部140によって用紙Pを乾燥させる。ヒータ142は、ヒータ142と対向する位置を用紙Pが通過する際に用紙Pを加熱させる。
選別制御部184は、スタンパ152によるスタンプ処理を制御することで、選別部150によって用紙Pを選別させる。選別制御部184は、欠陥検査装置10の出力部34から出力された選別結果に応じて印刷物を良品印刷物と不良品印刷物とに分類する。選別制御部184は、スタンパ152と対向する位置を通過する用紙Pが不良品印刷物と判定された用紙Pである場合は、スタンパ152によってスタンプ処理を行う。
排紙制御部186は、排紙台162による用紙Pの積載を制御する。用紙Pは、排紙台162に排紙され、積み重ねられる。不良品印刷物の用紙Pには先端エッジにインクが付着している。このため、使用者は、排紙台162に積載された用紙Pの中から不良品印刷物を特定することができる。
<その他>
本実施形態では、印刷装置に欠陥検査装置を適用し、印刷物を検査する例について説明したが、欠陥検査装置は、フイルムの表面検査等、計測対象に関する条件が類似した装置全般に導入することが可能である。
上記の欠陥検査方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したCD-ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
プロセッサ12には、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10…欠陥検査装置
12…プロセッサ
14…メモリ
16…撮像データ取得部
18…基準データ取得部
20…撮像データ変換処理部
22…基準データ変換処理部
24…撮像データ分割処理部
26…基準データ分割処理部
28…検査処理部
30…深層学習モデル
30A…入力層
30B…中間層
30C…出力層
32…判断部
34…出力部
100…インクジェット印刷装置
110…搬送部
112…上流側プーリ
114…下流側プーリ
116…搬送ベルト
120…印刷部
122C…インクジェットヘッド
122K…インクジェットヘッド
122M…インクジェットヘッド
122Y…インクジェットヘッド
130…撮像部
132…スキャナ
140…乾燥部
142…ヒータ
150…選別部
152…スタンパ
160…排紙部
162…排紙台
170…ユーザインターフェース
172…記憶部
174…統括制御部
176…搬送制御部
178…印刷制御部
180…撮像制御部
182…乾燥制御部
184…選別制御部
186…排紙制御部
S1~S12…欠陥検査方法の処理のステップ

Claims (10)

  1. プロセッサに実行させるための命令を記憶するメモリと、
    メモリに記憶された命令を実行するプロセッサと、
    を備え、
    前記プロセッサは、
    印刷物が撮像された撮像画像を基とする撮像データを取得し、
    前記印刷物の検査の基準となる基準データを取得し、
    前記撮像データと前記基準データとを入力として、欠陥情報を検出可能な機械学習モデルを少なくとも1つ用いて前記印刷物の第1の欠陥情報を出力し、
    前記撮像データと前記基準データとのサイズを第1の割合で変換し、
    M及びNを1以上の整数とすると、M回サイズが変換された前記撮像データと前記基準データとを入力として、前記機械学習モデルを少なくとも1つ用いて前記印刷物の第(M+1)の欠陥情報を出力する処理を、Mが1からNになるまで実施し、
    前記第1の欠陥情報から第(N+1)の欠陥情報のうちの少なくとも1つに基づいて前記印刷物の欠陥を判断し、
    前記機械学習モデルは、第1のサイズの撮像データの欠陥情報を検出可能であり、
    前記プロセッサは、
    前記撮像データを前記第1のサイズの複数の領域に分割し、
    前記基準データを前記第1のサイズに対応する第2のサイズの複数の領域に分割する印刷物の欠陥検査装置。
  2. 前記プロセッサは、
    前記機械学習モデルにおいて検出可能な最小欠陥サイズ以上である第1の重複量だけ一部の領域を重複させて前記撮像データを複数の領域に分割し、
    前記第1の重複量に対応する第2の重複量だけ一部の領域を重複させて前記基準データを複数の領域に分割する請求項に記載の印刷物の欠陥検査装置。
  3. 前記検出可能な最小欠陥サイズは、前記分割された領域において、前記第1の割合よりも小さな割合のサイズである請求項に記載の印刷物の欠陥検査装置。
  4. 前記プロセッサは、前記撮像データと前記基準データとのサイズを1/4以下に縮小する請求項1からのいずれか1項に記載の印刷物の欠陥検査装置。
  5. 前記機械学習モデルは、教師有り機械学習モデルである請求項1からのいずれか1項に記載の印刷物の欠陥検査装置。
  6. 前記機械学習モデルは、深層学習モデルである請求項に記載の印刷物の欠陥検査装置。
  7. 前記基準データは前記印刷物の印刷元画像を基とする印刷データである請求項1からのいずれか1項に記載の印刷物の欠陥検査装置。
  8. 前記印刷データに基づいて印字素子により印刷物を印刷する印刷装置と、
    前記印刷された印刷物を撮像して前記撮像画像を取得する撮像装置と、
    請求項に記載の印刷物の欠陥検査装置と、
    を備えた印刷システム。
  9. 印刷物が撮像された撮像画像を基とする撮像データを取得する撮像データ取得工程と、
    前記印刷物の検査の基準となる基準データを取得する基準データ取得工程と、
    前記撮像データと前記基準データとを入力として、欠陥情報を検出可能な機械学習モデルを少なくとも1つ用いて前記印刷物の第1の欠陥情報を出力する変換前検査工程と、
    前記撮像データと前記基準データとのサイズを第1の割合で変換する変換工程と、
    M及びNを1以上の整数とすると、M回サイズが変換された前記撮像データと前記基準データとを入力として、前記機械学習モデルを少なくとも1つ用いて前記印刷物の第(M+1)の欠陥情報を出力する処理を、Mが1からNになるまで実施する変換後検査工程と、
    前記第1の欠陥情報から第(N+1)の欠陥情報のうちの少なくとも1つに基づいて前記印刷物の欠陥を判断する判断工程と、
    を備え
    前記機械学習モデルは、第1のサイズの撮像データの欠陥情報を検出可能であり、
    さらに、前記撮像データを前記第1のサイズの複数の領域に分割する工程と、
    前記基準データを前記第1のサイズに対応する第2のサイズの複数の領域に分割する工程と、
    を備える印刷物の欠陥検査方法。
  10. 請求項に記載の印刷物の欠陥検査方法をコンピュータに実行させるプログラム。
JP2020022823A 2020-02-13 2020-02-13 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム Active JP7256139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020022823A JP7256139B2 (ja) 2020-02-13 2020-02-13 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020022823A JP7256139B2 (ja) 2020-02-13 2020-02-13 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム

Publications (3)

Publication Number Publication Date
JP2021128064A JP2021128064A (ja) 2021-09-02
JP2021128064A5 JP2021128064A5 (ja) 2022-04-13
JP7256139B2 true JP7256139B2 (ja) 2023-04-11

Family

ID=77488405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022823A Active JP7256139B2 (ja) 2020-02-13 2020-02-13 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム

Country Status (1)

Country Link
JP (1) JP7256139B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7554487B2 (ja) * 2022-02-08 2024-09-20 慶應義塾 欠陥推定装置、欠陥推定方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249415A (ja) 2004-03-01 2005-09-15 Seiko Epson Corp シミ欠陥の検出方法及び装置
JP2007132757A (ja) 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
JP2017161352A (ja) 2016-03-09 2017-09-14 富士フイルム株式会社 印刷結果検査装置、方法およびプログラム
US20180131815A1 (en) 2015-07-15 2018-05-10 Hp Indigo B.V. Image defect detection
JP2021056004A (ja) 2019-09-26 2021-04-08 キヤノン株式会社 画像判定装置及び画像判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249415A (ja) 2004-03-01 2005-09-15 Seiko Epson Corp シミ欠陥の検出方法及び装置
JP2007132757A (ja) 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置
US20180131815A1 (en) 2015-07-15 2018-05-10 Hp Indigo B.V. Image defect detection
JP2017161352A (ja) 2016-03-09 2017-09-14 富士フイルム株式会社 印刷結果検査装置、方法およびプログラム
JP2021056004A (ja) 2019-09-26 2021-04-08 キヤノン株式会社 画像判定装置及び画像判定方法

Also Published As

Publication number Publication date
JP2021128064A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP7110349B2 (ja) 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置
US9946944B2 (en) Image recording device, image defect detection device, and image defect detection method
JP6694362B2 (ja) 画像検査方法及び装置、プログラム並びに画像記録システム
US10105948B2 (en) Image inspection device, image inspection method, program, and ink jet printing system
JP6571575B2 (ja) スジ検出方法及び装置、印刷装置並びにプログラム
JP5283685B2 (ja) 不良記録素子の検出装置及び方法、並びに画像形成装置及び方法
JP6247246B2 (ja) 画像検査方法及び装置、プログラム、並びにインクジェット印刷装置
JP7361219B2 (ja) 欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷装置、印刷物の製造方法
JP7273169B2 (ja) 印刷物検査装置、印刷物検査方法、プログラム及び印刷装置
JP5681476B2 (ja) 不良記録素子の検出装置及び方法、並びに画像形成装置及び方法
WO2019142517A1 (ja) 印刷装置、画像欠陥検出装置、方法及びプログラム
JP7256139B2 (ja) 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム
WO2019188911A1 (ja) 画像形成装置及び方法、異常ノズル検出方法並びに印刷物の製造方法
JP6184386B2 (ja) 画像欠陥検出装置及び方法、画像記録装置並びにプログラム
JP6066395B2 (ja) 画像検査装置及び画像検査方法
JP7225068B2 (ja) 印刷物の欠陥検査装置、欠陥検査方法及びプログラム、並びに印刷システム
WO2020012826A1 (ja) 印刷装置、検査装置、検査方法及びプログラム
JP6814883B2 (ja) 画像形成装置及び画像形成方法
JP6293027B2 (ja) 画像欠陥検出装置及び方法、並びにプログラム
US20210334953A1 (en) Inspection method, program, inspection device, and printing device
JP7126477B2 (ja) 画像検査方法及び装置、プログラム並びに画像記録システム
JP6463257B2 (ja) 画像形成システム、及び媒体仕分け方法
JP7451364B2 (ja) 錠剤印刷装置および錠剤印刷方法
US20240278552A1 (en) Print head angle and stitch alignment during full speed printer operation
JP7021144B2 (ja) 印刷物の検査方法及びプログラム、印刷物の検査装置、印刷システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230330

R150 Certificate of patent or registration of utility model

Ref document number: 7256139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150