JP7335542B2 - サーバ装置、システム、および、学習済モデル - Google Patents

サーバ装置、システム、および、学習済モデル Download PDF

Info

Publication number
JP7335542B2
JP7335542B2 JP2018246316A JP2018246316A JP7335542B2 JP 7335542 B2 JP7335542 B2 JP 7335542B2 JP 2018246316 A JP2018246316 A JP 2018246316A JP 2018246316 A JP2018246316 A JP 2018246316A JP 7335542 B2 JP7335542 B2 JP 7335542B2
Authority
JP
Japan
Prior art keywords
data
quality
image data
output
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018246316A
Other languages
English (en)
Other versions
JP2020107144A (ja
Inventor
真樹 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2018246316A priority Critical patent/JP7335542B2/ja
Publication of JP2020107144A publication Critical patent/JP2020107144A/ja
Application granted granted Critical
Publication of JP7335542B2 publication Critical patent/JP7335542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Color, Gradation (AREA)
  • Facsimiles In General (AREA)

Description

本明細書は、印刷用の印刷剤の品質を特定する技術に関する。
従来から、インクやトナーなどの印刷剤を用いて画像を印刷する印刷装置が使用されている。また、印字位置と倍率の不良や用紙の斜行といった問題があるか否かを判断するために、用紙上に格子パターンを印刷する技術が提案されている。この技術では、格子パターンが印刷された用紙がスキャナで読み取られ、読み取られた画像を用いて、問題があるか否かが判断される。また、問題がある場合には、読み取られた画像を用いて、原因が推定される。
特開2004-160706号公報
ところで、印刷装置に生じ得る問題としては、印刷剤の品質に起因する問題がある。通常、印刷装置は、予め決められた品質基準内の品質を有する印刷剤を使用することが、想定されている。一方、ユーザが印刷装置に画像を印刷させる段階では、種々の品質の印刷剤が印刷に使用され得る。例えば、印刷剤は、複数の工場で製造され得る。各工場では、印刷剤が品質基準内の品質を有するように、印刷剤の品質が管理される。ところが、複数の工場で製造される全ての印刷剤の品質を、出荷後にも品質基準内に維持することは、容易ではない。印刷剤は、出荷後、日光に曝される環境下や、高湿度の環境下など、意図されていない環境下で、保管され得る。意図されていない環境下で長期間に亘って印刷剤が保管される場合、印刷剤に含まれる着色剤(顔料や染料など)が変質し得る。また、インクの粘度が変化し得る。また、他の種々の原因によって、種々の品質の印刷剤が印刷に使用され得る。これらの結果、品質基準外の品質を有する印刷剤が、印刷に使用される場合があった。ところが、印刷剤の品質を特定することは、容易ではなかった。
本明細書は、印刷剤の品質を特定する技術を開示する。
本明細書に開示された技術は、以下の適用例として実現することが可能である。
[適用例1]ネットワークを介して外部装置と通信するように構成されたサーバ装置であって、1種以上の印刷剤を含む印刷剤セットであって品質評価の対象である対象印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された対象画像データを、前記ネットワークを介して前記外部装置から取得する画像データ取得部と、前記品質基準内の品質を有する印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第1種学習用画像データと、前記品質基準外の品質を有する印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第2種学習用画像データと、を用いてトレーニングされた学習済モデルと、前記学習済モデルに前記対象画像データを用いて得られる前記テストパターンを表す入力画像データを入力することによって、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得する品質関連データ取得部と、前記品質関連データを用いて、前記対象印刷剤セットの前記品質に関連する出力用のデータである出力データを生成する出力データ生成部と、前記ネットワークを介して前記出力データを出力する出力部と、を備える、サーバ装置。
この構成によれば、学習済モデルにテストパターンを表す入力画像データを入力することによって、対象印刷剤セットの品質に関連する品質関連データが取得され、品質関連データを用いて生成される出力データが、出力されるので、対象印刷剤セットの品質を適切に特定できる。
[適用例2]適用例1に記載のサーバ装置であって、前記学習済モデルは、テストパターンの画像データを入力するための入力層と、前記テストパターンの印刷に使用された印刷剤セットの品質が前記品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、前記入力層と前記出力層との間に設けられた1以上の中間層と、を有する学習済のニューラルネットワークのうちの前記入力層から前記1以上の中間層のうちの特定の中間層までの部分を含み、前記品質関連データ取得部は、前記入力画像データを前記学習済モデルに入力することによって、前記特定の中間層から出力される中間データである前記品質関連データを取得し、前記出力データ生成部は、前記品質関連データと、N個(Nは2以上の整数)の第1種中間データと、M個(Mは2以上の整数)の第2種中間データと、を用いて、前記対象印刷剤セットの品質に関連するK次元(Kは1以上3以下の整数)の値を示すデータである対象出力データと、それぞれが前記品質基準内の品質を有するN個の第1種印刷剤セットの品質に関連するN個のK次元のデータの第1分布範囲を示す第1範囲データと、それぞれが前記品質基準外の品質を有するM個の第2種印刷剤セットの品質に関連するM個のK次元のデータの第2分布範囲を示す第2範囲データと、を取得し、前記N個の第1種中間データは、N個の第1種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記N個の第1種画像データは、前記N個の第1種印刷剤セットを用いて印刷されたN個のテストパターンを光学的に読み取ることによって生成されるデータであり、前記M個の第2種中間データは、M個の第2種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記M個の第2種画像データは、前記M個の第2種印刷剤セットを用いて印刷されたM個のテストパターンを光学的に読み取ることによって生成されるデータであり、前記対象出力データと、前記第1範囲データと、前記第2範囲データと、を含む前記出力データを生成する、サーバ装置。
ニューラルネットワークの中間層から出力される中間データは、ニューラルネットワークに入力されるデータの特徴を示している。上記構成によれば、中間データである品質関連データを用いて対象出力データが取得される。そして、出力データを用いることによって、対象出力データと、品質基準内の品質を有する第1種印刷剤セットのK次元のデータの第1分布範囲と、品質基準外の品質を有する第2種印刷剤セットのK次元のデータの第2分布範囲と、の関連を、特定できる。従って、対象印刷剤セットの品質を適切に特定できる。
[適用例3]適用例1または2に記載のサーバ装置であって、前記テストパターンは、1つの印刷剤を用いて印刷されるパッチである1次色パッチを含む、サーバ装置。
この構成によれば、1次色パッチの印刷に使用された印刷剤の特徴を適切に反映する出力データを出力できる。
[適用例4]適用例1から3のいずれかに記載のサーバ装置であって、前記印刷剤セットは、互いに異なる2種以上の印刷剤を含み、前記テストパターンは、互いに異なる2種の印刷剤の混色を用いて印刷されるパッチである2次色パッチを含む、サーバ装置。
この構成によれば、2次色パッチの印刷に使用された2種の印刷剤の混色の特徴を適切に反映する出力データを出力できる。
[適用例5]適用例1から4のいずれかに記載のサーバ装置であって、前記印刷剤セットは、互いに異なる2種以上の印刷剤を含み、前記テストパターンは、互いに異なる種類の印刷剤を用いて印刷されるとともに互いに隣接する複数のパッチを含む、サーバ装置。
この構成によれば、互いに異なる種類の印刷剤の複数のパッチが隣接する部分の特徴を適切に反映する出力データを出力できる。
[適用例6]適用例1から5のいずれかに記載のサーバ装置であって、前記テストパターンは、同じ印刷剤を用いて印刷される複数のパッチであって、互いに濃度が異なる前記複数のパッチを含む、サーバ装置。
この構成によれば、同じ印刷剤の複数の濃度によって示される特徴を適切に反映する出力データを出力できる。
[適用例7]適用例1から6のいずれかに記載のサーバ装置と、前記対象印刷剤セットを用いて前記テストパターンを印刷する印刷装置と、印刷済のテストパターンを光学的に読み取ることによって前記テストパターンを表す読取データを生成する読取装置と、前記読取装置から前記読取データを取得し、前記サーバ装置に送信するための前記対象画像データを、前記読取データを用いて生成する対象画像データ生成装置と、前記対象画像データを、前記ネットワークを介して前記サーバ装置に送信する対象画像データ送信装置と、前記サーバ装置から前記ネットワークを介して前記出力データを取得し、取得した前記出力データを用いることによって、前記対象印刷剤セットの前記品質に関連する情報を表す画像を表示する表示装置と、を備える、システム。
この構成によれば、ユーザは、表示装置に表示された画像を観察することによって、対象印刷剤セットの品質を適切に特定できる。
[適用例8]1種以上の印刷剤を含む印刷剤セットであって品質評価の対象である対象印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された対象画像データを用いて得られる前記テストパターンを表す入力画像データに基づいて、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得するようにコンピュータを機能させるための学習済モデルであって、前記品質基準内の品質を有する印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第1種学習用画像データと、前記品質基準外の品質を有する印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第2種学習用画像データと、を用いてトレーニングされたものであり、前記学習済モデルに、前記入力画像データを入力することによって、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得するように、コンピュータを機能させるための学習済モデル。
[適用例9]適用例8に記載の学習済モデルであって、前記学習済モデルは、テストパターンの画像データを入力するための入力層と、前記テストパターンの印刷に使用された印刷剤セットの品質が前記品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、前記入力層と前記出力層との間に設けられた1以上の中間層と、を有する学習済のニューラルネットワークのうちの前記入力層から前記1以上の中間層のうちの特定の中間層までの部分を含み、前記入力画像データを前記学習済モデルに入力することによって、前記特定の中間層から出力される中間データである前記品質関連データを取得するように、コンピュータを機能させるための学習済モデル。
なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、学習済モデル、学習済モデルを用いて印刷剤セットの品質に関連するデータを出力する出力方法、及び、出力するためのサーバ装置、学習済モデルを用いて印刷剤セットの品質を判別する判別方法、及び、判別装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体(例えば、一時的ではない記録媒体)、等の形態で実現することができる。
実施例のシステム1000を示す説明図である。 人工ニューラルネットワークNNの例の説明図である。 テストパターンTPの例を示す概略図である。 トレーニングの処理の例を示すフローチャートである。 範囲データを生成する処理の例を示すフローチャートである。 特定処理の例を示すフローチャートである。 特定処理の例を示すフローチャートである。 (A)、(B)、(C)は、表示画像の例の説明図である。
A.第1実施例:
A-1:システムの構成:
図1は、実施例のシステム1000を示す説明図である。このシステム1000は、サーバ装置100と、複数の複合機200A、200B、200Cと、を含んでいる。サーバ装置100と複合機200A、200B、200Cとは、有線または無線のネットワーク900を介して、通信可能に接続されている。ネットワーク900は、いわゆるインターネットを含んでよい。また、ネットワーク900は、いわゆるローカルネットワークであってもよい。
本実施例では、複合機200A、200B、200Cは、同じ構成を有している。以下、複合機200A、200B、200Cを区別しない場合には、符号の末尾の英字を省略して、単に複合機200とも呼ぶ。
複合機200は、制御部299と、スキャナ部280と、プリンタ部400と、を有している。制御部299は、プロセッサ210と、記憶装置215と、画像を表示する表示部240と、ユーザによる操作を受け入れる操作部250と、通信インタフェース270と、を有している。これらの要素は、バスを介して互いに接続されている。記憶装置215は、揮発性記憶装置220と、不揮発性記憶装置230と、を含んでいる。
プロセッサ210は、データ処理を行う装置であり、例えば、CPUである。揮発性記憶装置220は、例えば、DRAMであり、不揮発性記憶装置230は、例えば、フラッシュメモリである。
不揮発性記憶装置230は、プログラム232を格納している。プロセッサ210は、プログラム232を実行することによって、種々の機能を実現する(詳細は、後述)。プロセッサ210は、プログラム232の実行に利用される種々の中間データを、記憶装置(例えば、揮発性記憶装置220、不揮発性記憶装置230のいずれか)に、一時的に格納する。本実施例では、プログラム232は、複合機200の製造者によって、ファームウェアとして、不揮発性記憶装置230に予め格納されている。
表示部240は、画像を表示する装置であり、例えば、液晶ディスプレイである。これに代えて、LEDディスプレイ、有機ELディスプレイなどの、画像を表示する他の種類の装置が採用されてよい。操作部250は、ユーザによる操作を受け取る装置であり、例えば、表示部240上に重ねて配置されたタッチパネルである。これに代えて、ボタン、レバーなどの、ユーザによって操作される他の種類の装置が採用されてよい。ユーザは、操作部250を操作することによって、種々の指示を複合機200に入力可能である。
通信インタフェース270は、他の装置と通信するためのインタフェースである(例えば、有線LANインタフェース、IEEE802.11の無線インタフェース)。本実施例では、通信インタフェース270は、ネットワーク900に接続されている。
スキャナ部280は、CCDやCMOSなどの光電変換素子を用いて光学的に原稿等の対象物を読み取ることによって、読み取った画像(「スキャン画像」と呼ぶ)を表す読取データを生成する。読取データは、例えば、カラーのスキャン画像を表すRGBのビットマップデータである。
プリンタ部400は、所定の方式(例えば、レーザ方式や、インクジェット方式)で、用紙(印刷媒体の一例)上に画像を印刷する装置である。本実施例では、プリンタ部400は、シアンC、マゼンタM、イエロY、ブラックKの4種類のインクを用いてカラー画像を印刷可能なインクジェット方式の印刷装置である。プリンタ部400は、装着部410を備えている。装着部410は、CMYKのインクカートリッジ420C、420M、420Y、420Kを、装着するように構成されている。インクカートリッジ420C、420M、420Y、420Kは、それぞれ、シアンC、マゼンタM、イエロY、ブラックKのインクを収容したカートリッジである。複合機200のユーザは、市場で購入した種々のインクカートリッジを、装着部410に装着可能である。複合機200は、CMYKのインクのセットを用いて、画像を印刷する。
サーバ装置100は、コンピュータである。サーバ装置100は、プロセッサ110と、記憶装置115と、画像を表示する表示部140と、ユーザによる操作を受け入れる操作部150と、通信インタフェース170と、を有している。これらの要素は、バスを介して互いに接続されている。記憶装置115は、揮発性記憶装置120と、不揮発性記憶装置130と、を含んでいる。
プロセッサ110は、データ処理を行う装置であり、例えば、CPUである。揮発性記憶装置120は、例えば、DRAMであり、不揮発性記憶装置130は、例えば、フラッシュメモリである。
不揮発性記憶装置130は、プログラム131、132、133と、学習済モデル134と、第1データセット136と、第2データセット137と、を格納している。本実施例では、学習済モデル134は、プログラムモジュールである。プロセッサ110は、プログラム131、132、133と学習済モデル134との実行に利用される種々の中間データを、記憶装置115(例えば、揮発性記憶装置120、不揮発性記憶装置130のいずれか)に、一時的に格納する。プログラム131、132、133と学習済モデル134とによって実現される機能については、後述する。
表示部140は、画像を表示する装置であり、例えば、液晶ディスプレイである。これに代えて、LEDディスプレイ、有機ELディスプレイなどの、画像を表示する他の種類の装置が採用されてよい。操作部150は、ユーザによる操作を受ける装置であり、例えば、マウス、キーボードである。ユーザは、操作部150を操作することによって、種々の指示をサーバ装置100に入力可能である。
通信インタフェース170は、他の装置と通信するためのインタフェースである(例えば、有線LANインタフェース、IEEE802.11の無線インタフェース)。通信インタフェース170は、ネットワーク900に接続されている。
図2は、人工ニューラルネットワークNNの例の説明図である(以下、単に、ニューラルネットワークNNとも呼ぶ)。ニューラルネットワークNNは、学習済モデル134の生成に利用されるニューラルネットワークである。本実施例では、ニューラルネットワークNNは、いわゆる畳み込みニューラルネットワーク(Convolutional Neural Network)である。畳み込みニューラルネットワークは、畳込層とプーリング層とを含む複数の層を有している。ニューラルネットワークNNは、後述するテストパターンTPの印刷に用いられたインクセットを、「品質基準内の品質を有するインクセット」と「品質基準外の品質を有するインクセット」との2つのクラスに分類するように、構成されている。品質基準は、着色剤(染料や顔料等)の組成、粘度、濃度、単位体積当たりの質量など、種々の観点から、予め決められている。ニューラルネットワークNNを用いる処理には、テストパターンTPの読取データ600が用いられる。テストパターンTPの印刷と、読取データ600の生成とは、例えば、複合機200によって行われる。
本実施例では、ニューラルネットワークNNに入力する画像データは、200画素×200画素×3色成分値(具体的には、赤Rと緑Gと青Bの3つの値)のビットマップ画像データである(以下、このデータ形式を、入力データ形式と呼ぶ)。本実施例では、読取データ600のサイズ(具体的には、画素数)が入力データ形式のサイズよりも大きいので、読取データ600のサイズ調整が行われ、サイズ調整済の画像データが、ニューラルネットワークNNに入力される。サイズ調整は、画像のサイズを調整する種々の処理であってよい。サイズ調整は、例えば、解像度を変換する処理(例えば、バイキュービック法やバイリニア法など)を含んでよく、また、読取データ600のうちのテストパターンTPを示す部分を切り出すクロッピング処理を含んでよい。図2には、ニューラルネットワークNNのトレーニングと利用とに関連する処理部300、380、390が示されている。ニューラルネットワークNNと処理部300、380、390との詳細については、後述する。
図3は、テストパターンTPの例を示す概略図である。本実施例では、テストパターンTPは、49個の矩形のパッチPで構成されている。49個のパッチPは、7行7列のマトリクス状に配置されている。49個のパッチPは、それぞれ、隣のパッチPに接するように、配置されている。7個の列C1~C7のそれぞれと、パッチPの印刷に利用されるインクと、の対応関係は、以下の通りである。
第1列C1:シアンCのインク
第2列C2:マゼンタMのインク
第3列C3:イエロYのインク
第4列C4:マゼンタMのインクとイエロYのインクとの混色(赤R)
第5列C5:シアンCのインクとイエロYのインクとの混色(緑G)
第6列C6:シアンCのインクとマゼンタMのインクとの混色(青B)
第7列C7:ブラックKのインク
第4~第6列C4~C6のパッチPは、2種類のインクの混色を用いて印刷される2次色パッチである。本実施例では、2次色パッチは、2種類のインクの等量の混色によって、印刷される。他の列C1~C3、C7のパッチPは、1種類のインクを用いて印刷される1次色パッチである。また、各列C1~C7において、濃度は、第1行R1から第7行R7に向かって、徐々に薄くなっている。
A-2:ニューラルネットワークNNのトレーニング:
図4は、ニューラルネットワークNNのトレーニングの処理の例を示すフローチャートである。S210では、複合機200(図1)は、品質基準内の品質を有するインクセットである第1種インクセットを用いて、テストパターンTPを印刷する。例えば、トレーニング実行者は、複合機200の装着部410に、第1種インクを収容するインクカートリッジ420C、420M、420Y、420Kを、それぞれ装着する。そして、操作部250に、予め準備されたテストパターンTPの画像データを用いてテストパターンTPを印刷する指示を、入力する。テストパターンTPの画像データは、トレーニング実行者によって複合機200に供給されてよく、これに代えて、予め、記憶装置215(例えば、不揮発性記憶装置230)に格納されてよい。トレーニング実行者からの指示に応じて、複合機200のプロセッサ210は、テストパターンTPの画像データを用いて、プリンタ部400にテストパターンTPを印刷させる。テストパターンTPは、品質基準内の品質を有するインクを用いて、印刷される。なお、品質基準内の品質を有するインクとしては、例えば、適切に管理された製造工場で製造されたインクが用いられる。
S220では、印刷済のテストパターンTPを光学的に読み取ることによって、学習用画像データが生成される。例えば、トレーニング実行者は、テストパターンTPが印刷された用紙を、複合機200のスキャナ部280のうちの原稿を配置すべき部分に、配置する(例えば、用紙が、スキャナ部280の原稿台に載せられる)。そして、複合機200のプロセッサ210は、操作部250に入力されたトレーニング実行者の指示に応じて、印刷済のテストパターンTPをスキャナ部280に読み取らせる。これにより、スキャナ部280は、テストパターンTPの読取データ600を生成する。
図2で説明したように、ニューラルネットワークNNに入力するための画像データを生成するためには、読取データ600のサイズ調整が行われる。サイズ調整を含むニューラルネットワークNNのトレーニングの処理には、コンピュータが用いられる。以下、ニューラルネットワークNNのトレーニングに、サーバ装置100(図1)が用いられることとする。第1プログラム131は、トレーニングのためのプログラムである。プロセッサ110は、第1プログラム131を実行することによって、ニューラルネットワークNNをトレーニングするための以下の処理を実行する。なお、トレーニングには、サーバ装置100とは異なる他のコンピュータが用いられてもよい。
S220(図4)では、複合機200からサーバ装置100へ、読取データ600が転送される。トレーニング処理においては、読取データ600の転送方法は、任意の方法であってよい。読取データ600は、ネットワーク900や、図示しない携帯記憶装置などを介して、サーバ装置100に転送される。サーバ装置100のプロセッサ110は、読取データ600のサイズ調整を行って、テストパターンTPを表す入力データ形式の画像データであるパターン画像データを生成する。そして、プロセッサ110は、パターン画像データと、教師データ(具体的には、品質が品質基準内と品質基準外とのいずれであるかを示すデータ)と、を含む学習用画像データを生成する。図2のサイズ調整部300は、サイズ調整の機能ブロックを示している。
以上のように、S210、S220によって、品質基準内の品質を有する第1種インクセットに対応する学習用画像データである第1種学習用画像データが生成される。本実施例では、複数の第1種インクセットを用いて、複数の第1種学習用画像データが生成される。これに代えて、1個の第1種インクセットを用いて1個の第1種学習用画像データが生成されてよい。
S230、S240では、品質基準外の品質を有する第2種インクセットに対応する第2種学習用画像データが生成される。テストパターンTPの印刷に用いられるインクセットが、品質基準外の品質を有している点を除いて、S230、S240の処理は、S210、S220の処理と、それぞれ同じである。S230では、複合機200の装着部410には、品質基準外の品質を有するインクを収容するインクカートリッジ420C、420M、420Y、420Kが、それぞれ装着される。そして、テストパターンTPが、品質基準外の品質を有するインクを用いて、印刷される。なお、品質基準外の品質を有するインクとしては、種々のインクを利用可能である。例えば、適切な着色剤(顔料や染料など)とは異なる別の種類の着色剤を含むインクが、用いられてよい。また、不適切な環境下(例えば、直射日光下)で長期に亘って保管されたインクが、用いられてよい。S240では、テストパターンTPの読取データ600が生成され、読取データ600のサイズ調整によって、第2種学習用画像データが生成される。本実施例では、品質基準外の品質を有する複数の第2種インクセットを用いて、複数の第2種学習用画像データが生成される。これに代えて、1個の第2種インクセットを用いて1個の第2種学習用画像データが生成されてよい。
なお、S210、S220、S230、S240の順番は、任意の順番であってよい(ただし、S220は、S210よりも後に行われ、S240は、S230よりも後に行われる)。また、テストパターンTPの印刷には、予め決められたモデルの印刷装置が用いられてよい(例えば、複合機200のプリンタ部400と同じモデルの印刷装置)。そして、テストパターンTPの読取りには、予め決められたモデルの読取装置が用いられてよい(例えば、複合機200のスキャナ部280と同じモデルの読取装置)。
S250では、学習用画像データを用いて、ニューラルネットワークNN(図2)のトレーニングが行われる。ニューラルネットワークNNは、入力層305と、第1畳込層310と、第1プーリング層320と、第2畳込層330と、第2プーリング層340と、第1全結合層350と、第2全結合層360と、第3全結合層370と、を有している。これらの層305~370は、この順番に、接続されている。本実施例では、ニューラルネットワークNNは、プログラムモジュールである。プロセッサ110は、ニューラルネットワークNNであるプログラムモジュールに従って処理を進行することによって、各層305~370の機能を実現する。以下、これらの層305~370について、順に説明する。
入力層305は、ニューラルネットワークNNの外部から画像データを取得する層である。学習用画像データのパターン画像データは、入力層305に入力される。入力層305に入力された画像データは、第1畳込層310によって、入力情報として利用される。
第1畳込層310は、画像の畳み込みの処理を行う層である。畳み込みの処理は、入力された画像である入力画像とフィルタとの相関を示す値を、フィルタをスライドさせながら、算出する処理である。画像の畳み込みの処理で用いられるフィルタは、重みフィルタとも呼ばれる。本実施例では、第1畳込層310における1個の重みフィルタのサイズは、5×5(画素)であり、各画素は、RGBの3色成分に対応する3個の重みを有している。すなわち、1個の重みフィルタは、5×5×3=75個の重みを示している。ストライド(すなわち、フィルタの1回の移動量)は1である。フィルタは、入力画像からはみ出ないように、入力画像の全体に亘ってスライドされる。従って、1つのフィルタは、200画素×200画素×3色成分の入力画像から、196画素×196画素のビットマップデータを生成する(特徴マップとも呼ばれる)。具体的には、入力された画像データのうちフィルタの位置に対応する部分の75個の値のリスト(すなわち、75次元ベクトル)が取得される。取得された75次元ベクトルと、フィルタの75個の重みのリスト(すなわち、75次元ベクトル)と、の内積が算出される。「内積+バイアス」が、活性化関数に入力される。そして、活性化関数の計算結果が、特徴マップの1つの要素の値として用いられる。本実施例では、活性化関数としては、いわゆるReLU(Rectified Linear Unit)が用いられる。また、本実施例では、互いに異なる8個の重みフィルタが用いられる。従って、第1畳込層310として機能するプロセッサ110は、196画素×196画素×8層の特徴マップを生成する。なお、バイアスは、特徴マップの196画素×196画素×8層の要素のそれぞれに対して、別個に準備される。そして、複数のバイアスと8個のフィルタのそれぞれの複数の要素とは、トレーニングによって、更新される。
第1畳込層310からの特徴マップは、第1プーリング層320によって、入力情報として利用される。プーリングは、画像(ここでは、特徴マップ)を縮小する処理である。第1プーリング層320は、いわゆるマックスプーリング(MaxPooling)を行う。マックスプーリングは、いわゆるダウンサンプリングによってマップを縮小する処理であり、ウィンドウをスライドさせつつ、ウィンドウ内の最大値を選択することによってマップを縮小する。本実施例では、第1プーリング層320におけるウィンドウのサイズは、2×2(画素)であり、ストライドは、2である。これにより、元のマップの半分の高さと半分の幅を有するマップが生成される。具体的には、第1プーリング層320として機能するプロセッサ110は、196画素×196画素×8層の特徴マップから、98画素×98画素×8層の縮小された特徴マップを生成する。
第1プーリング層320からの特徴マップは、第2畳込層330によって、入力情報として利用される。第2畳込層330は、第1畳込層310による処理と同様の手順に従って、画像の畳み込みの処理を行う。本実施例では、第2畳込層330における1つのフィルタは、5画素×5画素×8層の要素を有している。ストライドは1である。フィルタは、入力された特徴マップからはみ出ないように、特徴マップの全体に亘ってスライドされる。従って、1つのフィルタは、98画素×98画素×8層の特徴マップから、94画素×94画素の特徴マップを生成する。ここで、活性化関数としては、いわゆるReLUが用いられる。また、本実施例では、互いに異なる16個のフィルタが用いられる。第2畳込層330として機能するプロセッサ110は、94画素×94画素×16層の特徴マップを生成する。なお、複数のバイアスと16個のフィルタのそれぞれの複数の要素とは、トレーニングによって、更新される。
第2畳込層330からの特徴マップは、第2プーリング層340によって、入力情報として利用される。第2プーリング層340は、第1プーリング層320による処理と同様の手順に従って、マックスプーリングを行う。本実施例では、第2プーリング層340におけるウィンドウのサイズは、2×2(画素)であり、ストライドは、2である。これにより、元のマップの半分の高さと半分の幅を有するマップが生成される。具体的には、第2プーリング層340として機能するプロセッサ110は、94画素×94画素×16層の特徴マップから、47画素×47画素×16層の縮小された特徴マップを生成する。
第2プーリング層340からの特徴マップは、第1全結合層350によって、入力情報として利用される。第1全結合層350は、一般的なニューラルネットワークで用いられる全結合層と同様の層である。第1全結合層350では、入力された特徴マップを用いて、設計された数の要素で構成されるリスト(第1中間ベクトルとも呼ぶ)が、生成される。本実施例では、第1中間ベクトルの要素の数は、512個である。第1全結合層350では、第1全結合層350に入力される特徴マップの全ての要素と、第1中間ベクトルの全ての要素とが、結合される。具体的には、第1全結合層350では、47画素×47画素×16層の全ての要素のリスト(すなわち、ベクトル)と、同じ数の重みのリスト(すなわち、ベクトル)と、の内積が算出される。「内積+バイアス」が、活性化関数に入力される。そして、活性化関数の計算結果が、第1中間ベクトルの1つの要素として用いられる。本実施例では、活性化関数としては、いわゆるReLUが用いられる。また、重みのベクトルとバイアスとは、第1中間ベクトルの512個の要素のそれぞれに対して、別個に準備される。第1全結合層350として機能するプロセッサ110は、上記の計算を実行することによって、第1中間ベクトルを生成する。なお、重みのベクトルとバイアスとは、トレーニングによって、更新される。
第1全結合層350からの第1中間ベクトルは、第2全結合層360によって、入力情報として利用される。第2全結合層360は、第1全結合層350による処理と同様の手順に従って、入力された第1中間ベクトルを用いて、設計された数の要素で構成される第2中間ベクトルを生成する。本実施例では、第2中間ベクトルは、64次元ベクトルである。第2全結合層360では、第1中間ベクトルの全ての要素と、第2中間ベクトルの全ての要素とが、結合される。具体的には、第1中間ベクトルと、512次元の重みのベクトルと、の内積が算出される。「内積+バイアス」が、活性化関数に入力される。そして、活性化関数の計算結果が、第2中間ベクトルの1つの要素として用いられる。本実施例では、活性化関数としては、いわゆるReLUが用いられる。重みのベクトルとバイアスとは、第2中間ベクトルの64個の要素のそれぞれに対して、別個に準備される。第2全結合層360として機能するプロセッサ110は、上記の計算を実行することによって、第2中間ベクトルを生成する。なお、重みのベクトルとバイアスとは、トレーニングによって、更新される。
第2全結合層360からの第2中間ベクトルは、第3全結合層370によって、入力情報として利用される。第3全結合層370は、全結合層350、360による処理と同様の手順に従って、入力された第2中間ベクトルを用いて、設計された数の要素で構成される出力ベクトルを生成する。本実施例では、出力ベクトルは、2次元ベクトルである。出力ベクトルの要素の数は、ニューラルネットワークNNによって分類されるクラスの総数と同じ「2」である。第3全結合層370では、第2中間ベクトルの全ての要素と、出力ベクトルの全ての要素とが、結合される。具体的には、第2中間ベクトルと、64次元の重みのベクトルと、の内積が算出される。「内積+バイアス」が、活性化関数に入力される。そして、活性化関数の計算結果が、出力ベクトルの1つの要素として用いられる。本実施例では、活性化関数としては、いわゆるソフトマックス関数(SoftMax)が用いられる。公知の通り、ソフトマックス関数は、確率を意味する値を算出する。出力ベクトルの第1成分値は、インクセットの品質が品質基準内である確率を示している。出力ベクトルの第2成分値は、インクセットの品質が品質基準外である確率を示している。このような確率を示す出力ベクトルは、確信度データとも呼ばれる(以下、確信度データ630とも呼ぶ)。なお、重みのベクトルとバイアスとは、出力ベクトルの2個の要素のそれぞれに対して、別個に準備される。第3全結合層370として機能するプロセッサ110は、上記の計算を実行することによって、出力ベクトルを生成する。第3全結合層370は、出力ベクトルを、ニューラルネットワークNNの外部に出力する。このような第3全結合層370は、出力層の例である。入力層305と出力層(ここでは、第3全結合層370)との間の層310~360は、中間層とも呼ばれる。なお、重みのベクトルとバイアスとは、トレーニングによって、更新される。
第3全結合層370からの出力ベクトルは、判定部380によって、入力情報として利用される。判定部380は、出力ベクトルを用いて、インクセットの品質を分類する処理部である。例えば、判定部380として機能するプロセッサ110は、出力ベクトルの2つの成分値を比較し、大きい方の成分値を特定する。第1成分値が第2成分値より大きい場合、プロセッサ110は、インクセットの品質は品質基準内であると判定する。第2成分値が第1成分値より大きい場合、プロセッサ110は、インクセットの品質は品質基準外であると判定する。
図4のS250では、上述したニューラルネットワークNNが、上述した第1種学習用画像データと第2種学習用画像データとを用いて、トレーニングされる。第1種学習用画像データは、品質基準内の品質に対応するデータである。第2種学習用画像データは、品質基準外の品質に対応するデータである。これらの学習用画像データを用いて、教師あり学習が、行われる。具体的には、プロセッサ110は、学習用画像データのパターン画像データを入力層305に入力する。プロセッサ110は、ニューラルネットワークNNの複数の層305~370の計算を実行し、判定部380として判定を行う。プロセッサ110は、この判定結果と、学習用画像データの教師データ640とを、比較することによって、評価値650を算出する。評価値650は、判定結果と教師データとの間の差違、すなわち、誤差を示している。プロセッサ110は、評価値650を用いて、誤差が小さくなるように、ニューラルネットワークNNの上述した種々のパラメータ(フィルタ、重みのベクトル等)を更新する。トレーニングの方法としては、種々の方法を採用可能である。例えば、いわゆる誤差逆伝播法が採用されてよい。誤差逆伝播法で用いられる損失関数としては、種々の関数を採用可能である。例えば、いわゆる交差エントロピーや、contrastive損失関数が用いられてよい。
このように、インクセットを品質基準内のインクセットと品質基準外のインクセットとの2つのクラスに分類するように、ニューラルネットワークNNは、トレーニングされる。従って、トレーニング済のニューラルネットワークNNの各層310~370から出力されるデータは、インクセットの品質に関する特徴を示している。
S260(図4)では、トレーニング済のニューラルネットワークNNのうちの入力層305から第2全結合層360までの部分が、学習済モデル134として、記憶装置に格納される。学習済モデル134は、上記のトレーニングによって決定されたパラメータを用いて処理を進行するように、構成されている。本実施例では、学習済モデル134は、サーバ装置100の不揮発性記憶装置130に格納される。学習済モデル134をサーバ装置100の記憶装置に格納する処理は、ユーザによって手動で行われてよい。格納の完了によって、図4の処理が終了する。
A-3:データセット136、137の生成:
図5は、データセット136、137(図1)を生成する処理の例を示すフローチャートである。第1データセット136は、品質基準内の品質を有する第1種インクセットに対応する中間ベクトルのセットである。第2データセット137は、品質基準外の品質を有する第2種インクセットに対応する中間ベクトルのセットである。ここで、中間ベクトルとしては、第2全結合層360(図2)から出力される64次元ベクトルが用いられる(詳細は、後述)。データセット136、137の生成には、学習済モデル134とコンピュータとが用いられる。以下、データセット136、137の生成に、サーバ装置100(図1)が用いられることとする。第2プログラム132は、データセット136、137の生成のためのプログラムである。プロセッサ110は、第2プログラム132と学習済モデル134とを実行することによって、データセット136、137を生成するための以下の処理を実行する。なお、データセット136、137の生成には、サーバ装置100とは異なる他のコンピュータが用いられてもよい。
図5のS310では、サーバ装置100のプロセッサ110は、テストパターンTPを表す第1種画像データを、学習済モデル134(図2)に適用する。第1種画像データは、品質基準内の品質を有する第1種インクセットを用いて準備される画像データであり、ニューラルネットワークNNの入力データ形式の画像データである。第1種画像データは、例えば、トレーニング(図4)で利用された第1種学習用画像データであってよい。これに代えて、第1種画像データは、第1種学習用画像データとは別の画像データであってよい。例えば、第1種画像データは、第1種学習用画像データの生成方法と同じ方法によって、第1種インクセットを用いて生成された画像データであってよい。本実施例では、N個(Nは2以上の整数)の第1種インクセットに対応するN個の第1種画像データが、準備されることとする。
プロセッサ110は、第1種画像データを学習済モデル134に入力し、学習済モデル134の複数の層305~360の計算を実行する。そして、プロセッサ110は、第2全結合層360からの64次元の第2中間ベクトルのデータ610aを取得する(中間データ610aとも呼ぶ)。プロセッサ110は、N個の第1種画像データに対応するN個の中間データ610aを取得する(以下、第1種中間データ610aとも呼ぶ)。そして、プロセッサ110は、N個の第1種中間データ610aを含むデータである第1データセット136を生成する。
図5のS330では、プロセッサ110は、テストパターンTPを表す第2種画像データを、学習済モデル134(図2)に適用する。第2種画像データは、品質基準外の品質を有する第2種インクセットを用いて準備される画像データであり、ニューラルネットワークNNの入力データ形式の画像データである。第2種画像データは、例えば、トレーニング(図4)で利用された第2種学習用画像データであってよい。これに代えて、第2種画像データは、第2種学習用画像データとは別の画像データであってよい。例えば、第2種画像データは、第2種学習用画像データの生成方法と同じ方法によって、第2種インクセットを用いて生成された画像データであってよい。本実施例では、M個(Mは2以上の整数)の第2種インクセットに対応するM個の第2種画像データが、準備されることとする。
プロセッサ110は、第2種画像データを学習済モデル134に適用し、学習済モデル134の複数の層305~360の計算を実行する。そして、プロセッサ110は、第2全結合層360からの64次元の中間データ610bを取得する。プロセッサ110は、M個の第2種画像データに対応するM個の中間データ610bを取得する(以下、第2種中間データ610bとも呼ぶ)。そして、プロセッサ110は、M個の第2種中間データ610bを含むデータである第2データセット137を生成する。
図5のS350では、第1データセット136と第2データセット137とが、記憶装置に格納される。本実施例では、データセット136、137は、サーバ装置100の不揮発性記憶装置130に格納される。データセット136、137をサーバ装置100の記憶装置に格納する処理は、ユーザによって手動で行われてよい。格納の完了によって、図5の処理が終了する。
A-4:インクセットの品質の特定:
図6、図7は、未知の品質を有するインクセットの品質を特定する特定処理の例を示すフローチャートである。図7は、図6の処理の続きの処理を示している。本実施例では、特定処理には、サーバ装置100(図1)と、端末装置の例である複合機200とが、用いられる。サーバ装置100の第3プログラム133は、特定処理のためのプログラムである。サーバ装置100のプロセッサ110は、第3プログラム133と学習済モデル134を実行することによって、特定処理のための以下の処理を実行する。また、複合機200のプログラム232は、特定処理のためのプログラムである。複合機200のプロセッサ210は、プログラム232を実行することによって、特定処理のための以下の処理を実行する。
S510では、操作部250にてインクセットの品質を特定する特定処理の実行が指示されると、品質評価の対象である対象インクセットを用いて、テストパターンTPが印刷される。例えば、ユーザは、対象インクセットを格納するインクカートリッジ420C、420M、420Y、420Kを、複合機200(図1)の装着部410にそれぞれ装着した状態で、操作部250に、インクセットの品質を特定する特定処理の実行指示を、入力する。本実施例では、テストパターンTPの画像データは、プログラム232に予め組み込まれている。ユーザからの指示に応じて、複合機200のプロセッサ210は、テストパターンTPの画像データを用いて、プリンタ部400にテストパターンTPを印刷させる。
S520では、印刷済のテストパターンTPが、光学的に読み取られる。例えば、ユーザは、表示部240の表示による案内に応じて、テストパターンTPが印刷された用紙を、複合機200のスキャナ部280のうちの原稿を配置すべき部分に、配置する(例えば、用紙が、スキャナ部280の原稿台に載せられる)。印刷済のテストパターンTPの配置が完了すると、複合機200のプロセッサ210は、印刷済のテストパターンTPをスキャナ部280に光学的に読み取らせる。これにより、スキャナ部280は、テストパターンTPの読取データを生成する。
S530では、プロセッサ210は、スキャナ部280から、テストパターンTPの読取データを取得する。S540では、プロセッサ210は、読取データを用いて、サーバ装置100に送信するための画像データである対象画像データを生成する。本実施例では、対象画像データは、読取データと同一のデータを含んでいる。これに代えて、対象画像データは、読取データを加工して得られる画像データであってよい。例えば、対象画像データは、読取データを圧縮して得られる圧縮済画像データであってよい。また、対象画像データは、読取データのサイズを調整することによって得られる画像データであって、学習済モデル134(図2)の入力データ形式の画像データであってよい。
S550では、プロセッサ210は、対象画像データを、ネットワーク900を介して、サーバ装置100に送信する。
S610(図7)では、サーバ装置100のプロセッサ110は、対象画像データを、ネットワーク900を介して、複合機200から取得する。S620では、プロセッサ110は、対象画像データを用いて、学習済モデル134の入力データ形式の画像データである入力画像データを取得する。本実施例では、対象画像データのサイズ調整を行って、入力データ形式の入力画像データを生成する。図2のサイズ調整部300は、サイズ調整の機能ブロックを示している。なお、対象画像データが、入力データ形式の入力画像データを含む場合、プロセッサ110は、対象画像データのうちの入力画像データに対応する部分を、入力画像データとして取得する。
S630では、プロセッサ110は、入力画像データを、学習済モデル134(図2)に入力する。S640では、プロセッサ110は、学習済モデル134の複数の層305~360の計算を実行する。S650では、プロセッサ110は、第2全結合層360からの64次元の中間データ610tを取得する。上述したように、中間データ610tは、インクセットの品質に関連する特徴を示している。中間データ610tは、対象インクセットの品質に関連するデータである品質関連データの例である。以下、対象インクセットに対応する中間データ610tを、対象中間データ610tとも呼ぶ。
S655では、プロセッサ110は、不揮発性記憶装置130から、第1データセット136と第2データセット137とを、取得する。
S660では、プロセッサ110は、第1データセット136と第2データセット137と対象中間データ610とを用いて次元削減処理を行うことによって、削減済データ620a、620b、620tを取得する。図2の次元削減部390は、次元削減の機能ブロックを示している。
次元削減処理は、次元数を削減して、主要な特徴を示す変数を取得する処理である。本実施例では、削減済データは、2次元のデータである。次元削減処理としては、公知の種々の処理を採用可能である。例えば、主成分解析、t-SNE(t-distributed Stochastic Neighbor Embedding)、多次元尺度構成法などの処理が採用されてよい。本実施例では、t-SNEが採用される。プロセッサ110は、第1データセット136に含まれるN個の第1種中間データ610aと、第2データセット137に含まれるM個の第2種中間データ610bと、対象中間データ610tと、で構成されるN+M+1個の中間データを用いて、N+M+1個の削減済データを取得する。以下、N個の第1種中間データ610aに対応するN個の削減済データのそれぞれを、第1種削減済データ620aと呼ぶ。M個の第2種中間データ610bに対応するM個の削減済データのそれぞれを、第2種削減済データ620bと呼ぶ。対象中間データ610tに対応する削減済データを、対象削減済データ620tと呼ぶ。
図8(A)は、削減済データ620a、620b、620tの分布例を示すグラフである。横軸は、削減済データ620a、620b、620tの第1成分値Paを示し、縦軸は、削減済データ620a、620b、620tの第2成分値Pbを示している。図中の1個の円マーク510は、1個の第1種削減済データ620aを示している。図中には、N個の第1種削減済データ620aに対応するN個の円マーク510の分布が、示されている。このように、N個の第1種削減済データ620aは、第1種インクセットの品質に関連する2次元のデータの分布を示している。N個の2次元データの分布範囲は、品質基準内のインクセットの分布範囲を示している。
図8(A)のグラフ中の四角マーク520と三角マーク530とは、それぞれ、第2種削減済データ620bを示している。1個のマーク520、530は、1個の第2種削減済データ620bを示している。図中には、M個の第2種削減済データ620bに対応するM個のマーク520、530の分布が、示されている。このように、M個の第2種削減済データ620bは、第2種インクセットの品質に関連する2次元のデータの分布を示している。
第2種削減済データ620bを示すマーク520、530の分布範囲は、第1種削減済データ620aを示すマーク510の分布範囲とは、異なっている。この理由は、第1種インクセットと第2種インクセットとの間で、品質が異なっているからである。このように、図8(A)のグラフ上における削減済データの位置を、第1種削減済データ620aを示すマーク510の分布範囲と比べることによって、インクセットの品質が品質基準の内であるか外であるのかを、容易に確認できる。
また、第2種削減済データ620bを示すマークは、四角マーク520と三角マーク530とを含んでいる。本実施例では、第2種インクセットとして、2種類のインクセットが用いられることとしている。四角マーク520は、一方の第2種インクセットを示し、三角マーク530は、他方の第2種インクセットを示している。このような2種類の第2種インクセットとしては、例えば、互いに異なる着色剤を含む2種類のインクセットが、用いられてよい。
四角マーク520の分布範囲は、三角マーク530の分布範囲と異なり得る。このように、第2種インクセットが複数種類のインクセットを含む場合、第2種削減済データ620bの分布範囲は、第2種インクセットの種類に応じて、異なり得る。上述したように、本実施例では、ニューラルネットワークNNは、インクセットを第1種インクセットと第2種インクセットとの2つのクラスに分類するようにトレーニングされている。このような場合に、学習済モデル134は、第2種インクセットを更に複数の種類に分類し得る中間データ610b(ひいては、削減済データ620b)を、出力し得る。
S670(図7)では、プロセッサ110は、対象削減済データ620tを用いて、対象インクセットの品質に関連する出力用のデータである出力データを生成する。本実施例では、プロセッサ110は、N個の第1種削減済データ620aを含むデータを、第1範囲データ136xとして生成する。プロセッサ110は、M個の第2種削減済データ620bを含むデータを、第2範囲データ137xとして生成する。そして、プロセッサ110は、対象削減済データ620tと第1範囲データ136xと第2範囲データ137xとを含むデータを、出力データとして生成する。対象削減済データ620tは、出力データのうちの対象インクセットの品質に関連するデータである対象出力データの例である。
なお、第2範囲データ137xは、複数種類の第2種削減済データ620bを区別するデータを含んでよい。例えば、第2範囲データ137xは、四角マーク520(図8(A))に対応する第2種削減済データ620bと、三角マーク530に対応する第2種削減済データ620bとを、区別するデータを含んでよい。
S680では、プロセッサ110は、ネットワーク900を介して、出力データを出力する。本実施例では、出力データの宛先は、対象画像データの送信元と同じ装置である(ここでは、複合機200)。
S710では、複合機200のプロセッサ210は、サーバ装置100から、ネットワーク900を介して、出力データを取得する。S720では、プロセッサ210は、出力データを用いることによって、対象インクセットの品質に関連する情報を表す表示画像の表示データを生成する。表示データのデータ形式は、任意の形式であってよい。例えば、表示データは、RGBのビットマップデータである。また、本実施例では、表示画像は、図8(A)のグラフと同様なグラフを含んでいる。表示画像中のグラフは、第1範囲データ136xに対応する複数のマーク510と、第2範囲データ137xに対応する複数のマーク520、530と、に加えて、対象削減済データ620tを示すマークを表している。図8(A)の第1マーク500Aは、品質基準内の対象インクセットを示すマークの例である。図示するように、第1マーク500Aは、第1範囲データ136xのマーク510の分布範囲の近くに、配置されている。第2マーク500Bは、品質基準外の対象インクセットを示すマークの例である。図示するように、第2マーク500Bは、第2範囲データ137xのマーク520、530の分布範囲の近くに、配置されている。なお、対象削減済データ620tのマークは、範囲データ136x、137xのマーク510、520、530とは異なっている。
S730(図7)では、プロセッサ210は、表示データを用いて、表示画像を表示部240に表示させる。複合機200のユーザは、表示部240に表示された画像を観察することによって、対象インクセットの品質と、品質基準内のインクセットの品質と、品質基準外のインクセットの品質と、の関係を、容易に特定できる。そして、図6、図7の処理は、終了する。
以上のように、本実施例では、サーバ装置100(図1)は、通信インタフェース170を有しており、ネットワーク900を介して端末装置(例えば、複合機200)と通信するように構成されている。そして、図7のS610で説明したように、サーバ装置100のプロセッサ110は、対象画像データを、ネットワーク900を介して複合機200から取得する。対象画像データは、品質評価の対象である対象インクセットを用いて印刷されたテストパターンTPを光学的に読み取ることによって生成された画像データである。
図1、図2に示すように、サーバ装置100は、学習済モデル134を備えている。図4で説明したように、学習済モデル134は、第1種学習用画像データと第2種学習用画像データとを用いてトレーニングされたニューラルネットワークNNを用いて、構成されている。
図7のS620~S650で説明したように、サーバ装置100のプロセッサ110は、学習済モデル134に入力画像データを入力することによって、対象中間データ610tを取得する。入力画像データは、対象画像データを用いて得られる画像データであり、テストパターンTPを表す画像データである。対象中間データ610tは、対象インクセットの品質に関連するデータである品質関連データの例である。S655~S670では、プロセッサ110は、品質関連データ(すなわち、対象中間データ610t)を用いて、対象インクセットの品質に関連する出力用のデータである出力データを生成する。そして、S680では、プロセッサ110は、ネットワーク900を介して出力データを出力する。
このように、学習済モデル134にテストパターンTPを表す入力画像データを入力することによって、対象インクセットの品質に関連する対象中間データ610tが取得され、対象中間データ610tを用いて生成される出力データが、出力される。従って、出力データを用いることによって、対象インクセットの品質を適切に特定できる。
また、図2、図4で説明したように、ニューラルネットワークNNは、入力層305と、第3全結合層370と、入力層305と第3全結合層370との間に設けられた中間層310~360と、を備えている。入力層305は、テストパターンTPの画像データを入力するための層である。第3全結合層370は、確信度データ630を出力するための出力層の例である。確信度データ630は、テストパターンTPの印刷に使用されたインクセットの品質が品質基準内であるか否かの推定結果に関連する情報の例である。図2、図4のS250で説明したように、学習済モデル134は、学習済のニューラルネットワークNNのうちの入力層305から特定の中間層である第2全結合層360までの部分を含んでいる。
図7のS630~S650で説明したように、サーバ装置100のプロセッサ110は、入力画像データを学習済モデル134に入力することによって、第2全結合層360からから出力される対象中間データ610tを取得する。S655では、プロセッサ110は、第1データセット136と第2データセット137とを取得する。S660では、プロセッサ110は、対象中間データ610tと、第1データセット136に含まれるN個(Nは2以上の整数)の第1種中間データ610aと、第2データセット137に含まれるM個(Mは2以上の整数)の第2種中間データ610bと、を用いて、対象インクセットの品質に関連する2次元の値を示すデータである対象削減済データ620tと、を取得する。本実施例では、さらに、プロセッサ110は、N個の第1種中間データ610aに対応するN個の2次元の第1種削減済データ620aと、M個の第2種中間データ610bに対応するM個の2次元の第2種削減済データ620bとを、取得する。
図5、図7のS655、S660で説明したように、N個の2次元の第1種削減済データ620aは、N個の第1種中間データ610aを用いて取得されるデータである。N個の第1種中間データ610aは、N個の第1種画像データを学習済モデル134に入力することによって第2全結合層360から出力される中間データである。N個の第1種画像データは、N個の第1種インクセットを用いて印刷されたN個のテストパターンTPを光学的に読み取ることによって生成されるデータである。
M個の2次元の第2種削減済データ620bは、M個の第2種中間データ610bを用いて取得されるデータである。M個の第2種中間データ610bは、M個の第2種画像データを学習済モデル134に入力することによって第2全結合層360から出力される中間データである。M個の第2種画像データは、M個の第2種インクセットを用いて印刷されたM個のテストパターンTPを光学的に読み取ることによって生成されるデータである。
図7のS670では、サーバ装置100のプロセッサ110は、N個の第1種削減済データ620aを含むデータを、第1範囲データ136xとして生成し、M個の第2種削減済データ620bを含むデータを、第2範囲データ137xとして生成する。そして、プロセッサ110は、対象削減済データ620tと第1範囲データ136xと第2範囲データ137xとを含む出力データを生成する。
図8(A)で説明したように、第1範囲データ136xは、それぞれが品質基準内の品質を有するN個(Nは2以上の整数)の第1種インクセットの品質に関連するN個の2次元の第1種削減済データ620aの第1分布範囲を示している。
図8(A)で説明したように、第2範囲データ137xは、それぞれが品質基準外の品質を有するM個(Mは2以上の整数)の第2種インクセットの品質に関連するM個の2次元の第2種削減済データ620bの第2分布範囲を示している。
一般的に、ニューラルネットワークの中間層から出力される中間データは、ニューラルネットワークに入力されるデータの特徴を示している。図7のS650~S660で説明したように、出力データに含まれる対象削減済データ620tは、中間データ610a、610b、610tを用いて取得される。そして、S670で生成される出力データを用いることによって、対象削減済データと、品質基準内の品質に対応する第1分布範囲と、品質基準外の品質に対応する第2分布範囲と、の関連を、特定できる。従って、出力データを用いることによって、対象インクセットの品質を適切に特定できる。
また、図3で説明したように、テストパターンTPの列C1、C2、C3、C7のパッチPは、1つのインクを用いて印刷される1次色パッチである。従って、サーバ装置100は、1次色パッチの印刷に使用されたインクの特徴を適切に反映する出力データを出力できる。また、インクセットの品質の分類の精度を、向上できる。
また、印刷に用いられるインクセットは、互いに異なる複数のインクを含んでいる(具体的には、CMYKの4個のインク)。そして、テストパターンTP(図3)の列C4、C5、C6のパッチPは、互いに異なる2種のインクの混色を用いて印刷される2次色パッチである。従って、サーバ装置100は、2次色パッチの印刷に使用された2種のインクの混色の特徴(例えば、混色の滲み)を適切に反映する出力データを出力できる。また、インクセットの品質の分類の精度を、向上できる。
また、テストパターンTP(図3)は、互いに異なる種類のインクを用いて印刷されるとともに互いに隣接する複数のパッチPを含んでいる。具体的には、7個の列C1~C7は、互いに異なる種類のインクを用いて印刷される。すなわち、任意に選択された2個の列の組み合わせにおいて、少なくとも一方の列は、他方の列では用いられていないインクを用いて、印刷される。例えば、第2列C2と第4列C4との組み合わせにおいては、第4列C4のパッチPは、第2列C2では用いられていないイエロYのインクを用いて、印刷される。そして、7個の列C1~C7は、この順番に隣接するように、配置されている。従って、サーバ装置100は、互いに異なる種類のインクの複数のパッチPが隣接する部分の特徴を適切に反映する出力データを出力できる。例えば、出力データは、互いに異なる種類のインクが接触する部分の滲みを反映できる。また、インクセットの品質の分類の精度を、向上できる。
また、テストパターンTP(図3)は、同じインクを用いて印刷される複数のパッチPであって、互いに濃度が異なる複数のパッチPを含んでいる。具体的には、7個の列C1~C7のそれぞれの複数のパッチPの濃度は、第1行R1から第7行R7に向かって、徐々に薄くなっている。従って、サーバ装置100は、同じインクの複数の濃度によって示される特徴を適切に反映する出力データを出力できる。また、インクセットの品質の分類の精度を、向上できる。
また、図1のシステム1000は、サーバ装置100と、ネットワーク900を介してサーバ装置100と通信するように構成されている複合機200と、を備えている。図6のS510では、複合機200のプロセッサ210は、プリンタ部400に対象インクセットを用いてテストパターンTPを印刷させる。S520では、プロセッサ210は、スキャナ部280に印刷済のテストパターンTPを光学的に読み取らせることによってテストパターンTPを表す読取データをスキャナ部280に生成させる。S530、S540では、プロセッサ210は、スキャナ部280から読取データを取得し、サーバ装置100に送信するための対象画像データを、読取データを用いて生成する。S550では、プロセッサ210は、対象画像データを、ネットワーク900を介してサーバ装置100に送信する。図7のS710では、プロセッサ210は、サーバ装置100からネットワーク900を介して出力データを取得する。S720、S730では、プロセッサ210は、出力データを用いることによって、対象インクセットの品質に関連する情報を表す画像を表示部240に表示させる。従って、複合機200のユーザは、表示部240に表示された画像を観察することによって、対象インクセットの品質を適切に特定できる。
B.変形例:
(1)削減済データ620t、620a、620b(図2)の次元数は、2に限らず、1以上、3以下の任意の整数であってよい。図8(B)は、次元数が1である場合の表示画像の例を示している。この表示画面は、1次元の削減済データの値Pcのグラフを示している。横軸が、値Pcを示している。第1範囲データ136aは、品質基準内の品質に対応する第1種削減済データの第1分布範囲Raの上限RaHと下限RaLを示している。第2範囲データ137aは、品質基準外の品質に対応する第2種削減済データの第2分布範囲Rbの上限RbHと下限RbLを示している。矢印540A、540Bは、対象インクセットの値Pcを示している。第1矢印540Aは、品質基準内の対象インクセットの値Pcの例であり、第1分布範囲Ra内である。第2矢印540Bは、品質基準外の対象インクセットの値Pcの例であり、第2分布範囲Rb内である。
図8(C)は、次元数が3である場合の表示画像の例を示している。この表示画像は、3次元の削減済データの3個の値P1、P2、P3によって規定される3次元空間のグラフ(具体的には、斜視図)を示している。第1範囲データ136bは、品質基準内の品質に対応する複数の第1種削減済データを含んでいる。表示画像中の複数の円マーク550は、複数の第1種削減済データを示している。第2範囲データ137bは、品質基準外の品質に対応する複数の第2種削減済データを含んでいる。表示画像中の複数のマーク560、570は、複数の第2種削減済データを示している。図8(A)の例と同様に、第2種インクセットとして、2種類のインクセットが用いられることとしている。四角マーク560は、一方の第2種インクセットを示し、三角マーク570は、他方の第2種インクセットを示している。第1マーク580Aは、品質基準内の対象インクセットを示すマークの例である。第1マーク580Aは、第1範囲データ136bのマーク550の分布範囲の近くに、配置されている。第2マーク580Bは、品質基準外の対象インクセットを示すマークの例である。第2マーク580Bは、第2範囲データ137bのマーク560、570の分布範囲の近くに、配置されている。
このように、削減済データ620の次元数が1、2、3のいずれであっても、第1範囲データ136x、136a、136bによって示される第1分布範囲と、第2範囲データ137x、137a、137bによって示される第2分布範囲と、対象インクセットを示す削減済データ620と、を比べることによって、対象インクセットの品質を容易に特定できる。表示画像は、第1分布範囲と第2分布範囲と対象インクセットの削減済データとの配置を示す画像(例えば、グラフ)を含むことが好ましい。また、範囲データは、複数のインクセットに対応する複数の削減済データに代えて、複数の削減済データの分布範囲を示す種々のデータであってよい。例えば、範囲データは、分布範囲の輪郭を示すデータであってよい。
(2)人工ニューラルネットワークNNの構成は、図2の構成に代えて、他の種々の構成であってよい。例えば、第1畳込層310と第2畳込層330とのそれぞれのフィルタのサイズとフィルタの数とは、図2の実施例のサイズと数と異なっていてもよい。ニューラルネットワークNNは、畳込層と畳込層の後ろに接続されたプーリング層との1以上のセットを備えてよい。ニューラルネットワークNNは、プーリング層に続く1以上の全結合層を備えてよい。プーリング層は、省略されてよい。ニューラルネットワークNNは、畳込層とプーリング層とを用いずに、1以上の全結合層を用いて構成されてよい。順伝播型ニューラルネットワークに代えて、他の種々のニューラルネットワークが採用されてよい。層の総数は、1以上の任意の数であってよい。いずれの場合も、学習済モデルは、ニューラルネットワークNNの1以上の層のうちの少なくとも一部である1以上の層を含んでよい。また、ニューラルネットワークNNは、テストパターンの画像データを入力するための入力層と、テストパターンの印刷に使用されたインクセットの品質が品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、入力層と出力層との間に設けられた1以上の中間層と、を有してよい。そして、学習済モデル134は、学習済のニューラルネットワークNNのうちの入力層から1以上の中間層のうちの特定の中間層までの部分を含んでよい。
また、ニューラルネットワークNNは、インクセットの品質を、Q個(Qは2以上の整数)のクラスに分類するように、構成されてよい。クラスの総数Qが3以上である場合、品質基準内の品質を有するインクセットが、2以上のクラスに分類されてよく、また、品質基準外の品質を有するインクセットが、2以上のクラスに分類されてよい。いずれの場合も、ニューラルネットワークNNは、教師あり学習によって、トレーニングされてよい。トレーニングによって、ニューラルネットワークNNの各層で用いられるパラメータ(例えば、フィルタ、重み、バイアスなど)が、更新される。
(3)サーバ装置100によって出力される出力データは、図7のS670で説明した出力データに代えて、対象インクセットの品質に関連する種々のデータであってよい。例えば、第1範囲データが省略されてよい。また、第2範囲データが省略されてよい。また、出力データは、確信度データ630(図2)を含んでよい。この場合、学習済モデル134としては、ニューラルネットワークNNの出力層を含むモデルが用いられる。そして、対象インクセットの削減済データは、省略されてよい。出力データは、判定部380による判定結果を示すデータを含んでよい。出力データは、第2全結合層360に限らず、任意に選択された特定の中間層から得られる中間データを含んでよい。また、出力データは、そのような中間データに次元削減を行って得られる削減済データを含んでよい。いずれの場合も、出力データを用いることによって端末装置によって表示装置に表示される画像(例えば、複合機200によって表示部240に表示される画像)は、対象印刷剤セットの品質に関連する情報を表す任意の画像であってよい。
(4)テストパターンTPの構成は、図3の構成に代えて、他の種々の構成であってよい。例えば、1次色パッチが省略されて、テストパターンTPは2次色パッチのみで構成されてよい。2次色パッチが省略されて、テストパターンTPは1次色パッチのみで構成されてよい。テストパターンTPは、3種類のインクの混色で印刷される3次色パッチを含んでよい。例えば、CMYの3つのインクの混色で印刷されるグレーパッチが、設けられてよい。複数のパッチPは、互いに離れて配置されてよい。同じインクを用いて印刷されるパッチPは、1つの濃度の1つのパッチのみであってよい。
(5)インクセットに含まれるインクの種類の総数、すなわち、プリンタ部400によって印刷に用いられるインクの種類は、1以上の任意の整数であってよい。例えば、色相が同じで濃度が異なる2種類のインクが、印刷に用いられてよい(例えば、ブラックインクと、淡ブラックインク)。2次色パッチは、色相が異なる2種類のインクの混色に代えて、色相が同じで濃度が異なる2種類のインクの混色によって印刷されてもよい。いずれの場合も、テストパターンTPの印刷には、印刷に利用可能な全てのインクを含むインクセットが用いられることが、好ましい。
(6)プリンタ部400は、インクジェットプリンタに代えて、レーザプリンタなどの任意の方式のプリンタであってよい。印刷に用いられる印刷剤は、インクに代えて、トナーなどの着色剤を含む任意の印刷剤であってよい。いずれの場合も、ニューラルネットワークNNは、1種以上の印刷剤を含む印刷剤セットの品質を2以上のクラスに分類するように構成されてよい。
(7)図7のS680における出力データの宛先は、対象画像データの送信元とは異なる別の装置であってよい。例えば、印刷剤セットの品質を管理する管理者の装置に、出力データが送信されてよい。
(8)ニューラルネットワークNNのトレーニングは、継続して行われてよい。例えば、工場から出荷される品質基準内の品質を有する第1種印刷剤セットが、定期的に、採取されてよい。そして、ニューラルネットワークNNは、採取された第1種印刷剤セットを用いて、定期的にトレーニングされてよい。また、品質基準外の品質を有する第2種印刷剤セットが、定期的に、採取されてよい。そして、ニューラルネットワークNNは、採取された第2種印刷剤セットを用いて、定期的にトレーニングされてよい。いずれの場合も、トレーニングによって更新された学習済のニューラルネットワークNNから、更新済の学習済モデル134が取得されて、更新済の学習済モデル134がサーバ装置100の不揮発性記憶装置130に格納されてよい。複数の端末装置(例えば、複合機200)は、ネットワーク900を介してサーバ装置100から、新しい学習済モデル134を用いて生成された出力データを、取得できる。
(9)端末装置の構成は、複合機200の構成に代えて、他の種々の構成であってよい。例えば、プリンタ部400とスキャナ部280と表示部240と操作部250との少なくとも1つは、端末装置に接続可能な外部装置であってよい。このように、端末装置は、いわゆる複合機とは異なる種類の装置であってよい(例えば、パーソナルコンピュータ、タブレットコンピュータ、スマートフォンなど)。そして、システムは、印刷装置と、読取装置と、対象画像データ生成装置と、対象画像データ送信装置と、表示装置と、を備えてよい。図1のシステム1000は、そのようなシステムの例である。ここで、印刷装置は、対象印刷剤セットを用いてテストパターンを印刷するように構成されてよい。読取装置は、印刷済のテストパターンを光学的に読み取ることによってテストパターンを表す読取データを生成するように、構成されてよい。対象画像データ生成装置は、読取装置から読取データを取得し、サーバ装置に送信するための対象画像データを、読取データを用いて生成するように、構成されてよい。対象画像データ送信装置は、対象画像データを、ネットワークを介してサーバ装置に送信するように、構成されてよい。表示装置は、サーバ装置からネットワークを介して出力データを取得し、取得した出力データを用いることによって、対象印刷剤セットの品質に関連する情報を表す画像を表示するように、構成されてよい。図1の複合機200のうちプリンタ部400は、印刷装置の例である。複合機200のうちスキャナ部280は、読取装置の例である。複合機200のうち読取データの取得と対象画像データの生成とに関連する部分(すなわち、制御部299のうち読取データの取得と対象画像データの生成とを制御するように構成されている部分)は、対象画像データ生成装置の例である。複合機200の通信インタフェース270は、対象画像データ送信装置の例である。複合機200のうち出力データの取得と画像の表示とに関連する部分(すなわち、制御部299のうち出力データの取得と画像の表示とを制御するように構成されている部分と、通信インタフェース270と、表示部240)は、表示装置の例である。なお、対象画像データ生成装置は、不揮発性記憶装置230の一部分であって、プログラム232のうちの対象画像データ生成装置の機能を実現する部分を格納している部分を、含んでよい。このように、制御部299を含む複数の装置は、不揮発性記憶装置230のうちの互いに異なる部分を含んでよい。
(10)学習済モデル134を用いて出力データを生成する装置は、ネットワークを用いずに動作する処理装置であってよい。このような処理装置は、例えば、学習済モデルと、学習済モデルに対象画像データを用いて得られるテストパターンを表す入力画像データを入力することによって、対象印刷剤セットの品質に関連するデータである品質関連データを取得する品質関連データ取得部と、品質関連データを用いて、対象印刷剤セットの品質に関連する出力用のデータである出力データを生成する出力データ生成部と、出力データを出力する出力部と、を備えてよい。出力部は、ネットワークを介さずに、処理装置に接続された記憶装置(例えば、USBメモリ)に、出力データを出力してよい。
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、学習済モデル134は、プログラムモジュールに代えて、ASIC(Application Specific Integrated Circuit)等のハードウェア回路によって実現されてよい。
また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体(例えば、一時的ではない記録媒体)に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体(コンピュータ読み取り可能な記録媒体)に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやCD-ROMのような携帯型の記録媒体に限らず、各種ROM等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
100…サーバ装置、110…プロセッサ、115…記憶装置、120…揮発性記憶装置、130…不揮発性記憶装置、131…第1プログラム、132…第2プログラム、133…第3プログラム、134…学習済モデル、136…第1データセット、137…第2データセット、136x、136a、136b…第1範囲データ、137x、137a、137b…第2範囲データ、140…表示部、150…操作部、170…通信インタフェース、200、200A~200C…複合機、210…プロセッサ、215…記憶装置、220…揮発性記憶装置、230…不揮発性記憶装置、232…プログラム、240…表示部、250…操作部、270…通信インタフェース、280…スキャナ部、299…制御部、300…サイズ調整部、310…第1畳込層、320…第1プーリング層、330…第2畳込層、340…第2プーリング層、350…第1全結合層、360…第2全結合層、370…第3全結合層、380…判定部、390…次元削減部、400…プリンタ部、410…装着部、420C、420M、420Y、420K…インクカートリッジ、500A…第1マーク、500B…第2マーク、510、550…円マーク、520、560…四角マーク、530、570…三角マーク、540A…第1矢印、540B…第2矢印、580A…第1マーク、580B…第2マーク、600…読取データ、610…中間データ、620…削減済データ、630…確信度データ、900…ネットワーク、1000…システム、C…シアン、M…マゼンタ、Y…イエロ、K…ブラック、P…パッチ、R1…第1分布範囲、R2…第2分布範囲、RaH、RbH…上限、RaL、RbL…下限、NN…人工ニューラルネットワーク、TP…テストパターン

Claims (8)

  1. ネットワークを介して外部装置と通信するように構成されたサーバ装置であって、
    互いに異なる2種以上の印刷剤を含む印刷剤セットであって品質評価の対象である対象印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された対象画像データを、前記ネットワークを介して前記外部装置から取得する画像データ取得部と、
    前記品質基準内の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第1種学習用画像データと、前記品質基準外の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第2種学習用画像データと、を用いてトレーニングされた学習済モデルと、
    前記学習済モデルに前記対象画像データを用いて得られる前記テストパターンを表す入力画像データを入力することによって、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得する品質関連データ取得部と、
    前記品質関連データを用いて、前記対象印刷剤セットの前記品質に関連する出力用のデータである出力データを生成する出力データ生成部と、
    前記ネットワークを介して前記出力データを出力する出力部と、
    を備える、サーバ装置であって、
    前記テストパターンは、互いに異なる2種の印刷剤の混色を用いて印刷されるパッチである2次色パッチを含
    前記学習済モデルは、テストパターンの画像データを入力するための入力層と、前記テストパターンの印刷に使用された印刷剤セットの品質が前記品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、前記入力層と前記出力層との間に設けられた1以上の中間層と、を有する学習済のニューラルネットワークのうちの前記入力層から前記1以上の中間層のうちの特定の中間層までの部分を含み、
    前記品質関連データ取得部は、前記入力画像データを前記学習済モデルに入力することによって、前記特定の中間層から出力される中間データである前記品質関連データを取得し、
    前記出力データ生成部は、
    前記品質関連データと、N個(Nは2以上の整数)の第1種中間データと、M個(Mは2以上の整数)の第2種中間データと、を用いて、前記対象印刷剤セットの品質に関連するK次元(Kは1以上3以下の整数)の値を示すデータである対象出力データと、それぞれが前記品質基準内の品質を有するN個の第1種印刷剤セットの品質に関連するN個のK次元のデータの第1分布範囲を示す第1範囲データと、それぞれが前記品質基準外の品質を有するM個の第2種印刷剤セットの品質に関連するM個のK次元のデータの第2分布範囲を示す第2範囲データと、を取得し、前記N個の第1種中間データは、N個の第1種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記N個の第1種画像データは、前記N個の第1種印刷剤セットを用いて印刷されたN個のテストパターンを光学的に読み取ることによって生成されるデータであり、前記M個の第2種中間データは、M個の第2種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記M個の第2種画像データは、前記M個の第2種印刷剤セットを用いて印刷されたM個のテストパターンを光学的に読み取ることによって生成されるデータであり、
    前記対象出力データと、前記第1範囲データと、前記第2範囲データと、を含む前記出力データを生成する、
    サーバ装置。
  2. 請求項1に記載のサーバ装置であって、
    前記テストパターンは、互いに異なる種類の印刷剤を用いて印刷されるとともに互いに隣接する複数のパッチを含む、
    サーバ装置。
  3. ネットワークを介して外部装置と通信するように構成されたサーバ装置であって、
    互いに異なる2種以上の印刷剤を含む印刷剤セットであって品質評価の対象である対象印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された対象画像データを、前記ネットワークを介して前記外部装置から取得する画像データ取得部と、
    前記品質基準内の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第1種学習用画像データと、前記品質基準外の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第2種学習用画像データと、を用いてトレーニングされた学習済モデルと、
    前記学習済モデルに前記対象画像データを用いて得られる前記テストパターンを表す入力画像データを入力することによって、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得する品質関連データ取得部と、
    前記品質関連データを用いて、前記対象印刷剤セットの前記品質に関連する出力用のデータである出力データを生成する出力データ生成部と、
    前記ネットワークを介して前記出力データを出力する出力部と、
    を備える、サーバ装置であって、
    前記テストパターンは、互いに異なる種類の印刷剤を用いて印刷されるとともに互いに隣接する複数のパッチを含
    前記学習済モデルは、テストパターンの画像データを入力するための入力層と、前記テストパターンの印刷に使用された印刷剤セットの品質が前記品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、前記入力層と前記出力層との間に設けられた1以上の中間層と、を有する学習済のニューラルネットワークのうちの前記入力層から前記1以上の中間層のうちの特定の中間層までの部分を含み、
    前記品質関連データ取得部は、前記入力画像データを前記学習済モデルに入力することによって、前記特定の中間層から出力される中間データである前記品質関連データを取得し、
    前記出力データ生成部は、
    前記品質関連データと、N個(Nは2以上の整数)の第1種中間データと、M個(Mは2以上の整数)の第2種中間データと、を用いて、前記対象印刷剤セットの品質に関連するK次元(Kは1以上3以下の整数)の値を示すデータである対象出力データと、それぞれが前記品質基準内の品質を有するN個の第1種印刷剤セットの品質に関連するN個のK次元のデータの第1分布範囲を示す第1範囲データと、それぞれが前記品質基準外の品質を有するM個の第2種印刷剤セットの品質に関連するM個のK次元のデータの第2分布範囲を示す第2範囲データと、を取得し、前記N個の第1種中間データは、N個の第1種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記N個の第1種画像データは、前記N個の第1種印刷剤セットを用いて印刷されたN個のテストパターンを光学的に読み取ることによって生成されるデータであり、前記M個の第2種中間データは、M個の第2種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記M個の第2種画像データは、前記M個の第2種印刷剤セットを用いて印刷されたM個のテストパターンを光学的に読み取ることによって生成されるデータであり、
    前記対象出力データと、前記第1範囲データと、前記第2範囲データと、を含む前記出力データを生成する、
    サーバ装置。
  4. 請求項1からのいずれかに記載のサーバ装置であって、
    前記テストパターンは、1つの印刷剤を用いて印刷されるパッチである1次色パッチを含む、
    サーバ装置。
  5. 請求項1からのいずれかに記載のサーバ装置であって、
    前記テストパターンは、同じ印刷剤を用いて印刷される複数のパッチであって、互いに濃度が異なる前記複数のパッチを含む、
    サーバ装置。
  6. 請求項1からのいずれかに記載のサーバ装置と、
    前記対象印刷剤セットを用いて前記テストパターンを印刷する印刷装置と、
    印刷済のテストパターンを光学的に読み取ることによって前記テストパターンを表す読取データを生成する読取装置と、
    前記読取装置から前記読取データを取得し、前記サーバ装置に送信するための前記対象画像データを、前記読取データを用いて生成する対象画像データ生成装置と、
    前記対象画像データを、前記ネットワークを介して前記サーバ装置に送信する対象画像データ送信装置と、
    前記サーバ装置から前記ネットワークを介して前記出力データを取得し、取得した前記出力データを用いることによって、前記対象印刷剤セットの前記品質に関連する情報を表す画像を表示する表示装置と、
    を備える、システム。
  7. コンピュータプログラムであって、
    互いに異なる2種以上の印刷剤を含む印刷剤セットであって品質評価の対象である対象印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された対象画像データを取得する画像データ取得機能と
    前記品質基準内の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第1種学習用画像データと、前記品質基準外の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第2種学習用画像データと、を用いてトレーニングされた学習済モデルに前記対象画像データを用いて得られる前記テストパターンを表す入力画像データを入力することによって、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得する品質関連データ取得機能と
    前記品質関連データを用いて、前記対象印刷剤セットの前記品質に関連する出力用のデータである出力データを生成する出力データ生成機能と、
    前記出力データを出力する出力機能と、
    をコンピュータに実現させ、
    前記テストパターンは、互いに異なる2種の印刷剤の混色を用いて印刷されるパッチである2次色パッチを含
    前記学習済モデルは、テストパターンの画像データを入力するための入力層と、前記テストパターンの印刷に使用された印刷剤セットの品質が前記品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、前記入力層と前記出力層との間に設けられた1以上の中間層と、を有する学習済のニューラルネットワークのうちの前記入力層から前記1以上の中間層のうちの特定の中間層までの部分を含み、
    前記品質関連データ取得機能は、前記入力画像データを前記学習済モデルに入力することによって、前記特定の中間層から出力される中間データである前記品質関連データを取得し、
    前記出力データ生成機能は、
    前記品質関連データと、N個(Nは2以上の整数)の第1種中間データと、M個(Mは2以上の整数)の第2種中間データと、を用いて、前記対象印刷剤セットの品質に関連するK次元(Kは1以上3以下の整数)の値を示すデータである対象出力データと、それぞれが前記品質基準内の品質を有するN個の第1種印刷剤セットの品質に関連するN個のK次元のデータの第1分布範囲を示す第1範囲データと、それぞれが前記品質基準外の品質を有するM個の第2種印刷剤セットの品質に関連するM個のK次元のデータの第2分布範囲を示す第2範囲データと、を取得し、前記N個の第1種中間データは、N個の第1種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記N個の第1種画像データは、前記N個の第1種印刷剤セットを用いて印刷されたN個のテストパターンを光学的に読み取ることによって生成されるデータであり、前記M個の第2種中間データは、M個の第2種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記M個の第2種画像データは、前記M個の第2種印刷剤セットを用いて印刷されたM個のテストパターンを光学的に読み取ることによって生成されるデータであり、
    前記対象出力データと、前記第1範囲データと、前記第2範囲データと、を含む前記出力データを生成する、
    コンピュータプログラム
  8. コンピュータプログラムであって、
    互いに異なる2種以上の印刷剤を含む印刷剤セットであって品質評価の対象である対象印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された対象画像データを取得する画像データ取得機能と
    前記品質基準内の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第1種学習用画像データと、前記品質基準外の品質を有する互いに異なる2種以上の印刷剤を含む印刷剤セットを用いて印刷されたテストパターンを光学的に読み取ることによって生成された第2種学習用画像データと、を用いてトレーニングされた学習済モデルに前記対象画像データを用いて得られる前記テストパターンを表す入力画像データを入力することによって、前記対象印刷剤セットの品質に関連するデータである品質関連データを取得する品質関連データ取得機能と
    前記品質関連データを用いて、前記対象印刷剤セットの前記品質に関連する出力用のデータである出力データを生成する出力データ生成機能と、
    前記出力データを出力する出力機能と、
    をコンピュータに実現させ、
    前記テストパターンは、互いに異なる種類の印刷剤を用いて印刷されるとともに互いに隣接する複数のパッチを含
    前記学習済モデルは、テストパターンの画像データを入力するための入力層と、前記テストパターンの印刷に使用された印刷剤セットの品質が前記品質基準内であるか否かの推定結果に関連する情報を出力するための出力層と、前記入力層と前記出力層との間に設けられた1以上の中間層と、を有する学習済のニューラルネットワークのうちの前記入力層から前記1以上の中間層のうちの特定の中間層までの部分を含み、
    前記品質関連データ取得機能は、前記入力画像データを前記学習済モデルに入力することによって、前記特定の中間層から出力される中間データである前記品質関連データを取得し、
    前記出力データ生成機能は、
    前記品質関連データと、N個(Nは2以上の整数)の第1種中間データと、M個(Mは2以上の整数)の第2種中間データと、を用いて、前記対象印刷剤セットの品質に関連するK次元(Kは1以上3以下の整数)の値を示すデータである対象出力データと、それぞれが前記品質基準内の品質を有するN個の第1種印刷剤セットの品質に関連するN個のK次元のデータの第1分布範囲を示す第1範囲データと、それぞれが前記品質基準外の品質を有するM個の第2種印刷剤セットの品質に関連するM個のK次元のデータの第2分布範囲を示す第2範囲データと、を取得し、前記N個の第1種中間データは、N個の第1種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記N個の第1種画像データは、前記N個の第1種印刷剤セットを用いて印刷されたN個のテストパターンを光学的に読み取ることによって生成されるデータであり、前記M個の第2種中間データは、M個の第2種画像データを前記学習済モデルに入力することによって前記特定の中間層から出力される中間データであり、前記M個の第2種画像データは、前記M個の第2種印刷剤セットを用いて印刷されたM個のテストパターンを光学的に読み取ることによって生成されるデータであり、
    前記対象出力データと、前記第1範囲データと、前記第2範囲データと、を含む前記出力データを生成する、
    コンピュータプログラム
JP2018246316A 2018-12-27 2018-12-27 サーバ装置、システム、および、学習済モデル Active JP7335542B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018246316A JP7335542B2 (ja) 2018-12-27 2018-12-27 サーバ装置、システム、および、学習済モデル

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018246316A JP7335542B2 (ja) 2018-12-27 2018-12-27 サーバ装置、システム、および、学習済モデル

Publications (2)

Publication Number Publication Date
JP2020107144A JP2020107144A (ja) 2020-07-09
JP7335542B2 true JP7335542B2 (ja) 2023-08-30

Family

ID=71449189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018246316A Active JP7335542B2 (ja) 2018-12-27 2018-12-27 サーバ装置、システム、および、学習済モデル

Country Status (1)

Country Link
JP (1) JP7335542B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278543A (ja) 1999-03-24 2000-10-06 Brother Ind Ltd 階調特性データ作成システム、および階調特性データ作成処理プログラムが記録された記録媒体
JP2005125633A (ja) 2003-10-24 2005-05-19 Seiko Epson Corp 印刷装置の異常判定方法およびこれに関する技術
US20080050133A1 (en) 2006-08-22 2008-02-28 Xerox Corporation System for initiating image-quality tests in a digital printer
JP2014036282A (ja) 2012-08-08 2014-02-24 Fujifilm Corp 印刷色評価システム、方法及びプログラム
JP2017092567A (ja) 2015-11-04 2017-05-25 株式会社リコー 画像読取装置および画像形成装置
US20180268287A1 (en) 2017-03-15 2018-09-20 Salesforce.Com, Inc. Probability-Based Guider

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114276B2 (ja) * 1991-10-04 2000-12-04 株式会社アドバンテスト 階層型ニューラルネットワークの学習方法
JPH08286441A (ja) * 1995-04-18 1996-11-01 Ricoh Co Ltd 電子写真プロセス制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278543A (ja) 1999-03-24 2000-10-06 Brother Ind Ltd 階調特性データ作成システム、および階調特性データ作成処理プログラムが記録された記録媒体
JP2005125633A (ja) 2003-10-24 2005-05-19 Seiko Epson Corp 印刷装置の異常判定方法およびこれに関する技術
US20080050133A1 (en) 2006-08-22 2008-02-28 Xerox Corporation System for initiating image-quality tests in a digital printer
JP2014036282A (ja) 2012-08-08 2014-02-24 Fujifilm Corp 印刷色評価システム、方法及びプログラム
JP2017092567A (ja) 2015-11-04 2017-05-25 株式会社リコー 画像読取装置および画像形成装置
US20180268287A1 (en) 2017-03-15 2018-09-20 Salesforce.Com, Inc. Probability-Based Guider

Also Published As

Publication number Publication date
JP2020107144A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP4986599B2 (ja) インクジェット記録装置およびインクジェット記録方法
US8638467B2 (en) Print data generating apparatus a print data generating method
JP4408915B2 (ja) プロファイル作成方法、プロファイル作成プログラムおよび印刷装置
CN109076140A (zh) 转换校准数据
JP5455434B2 (ja) 画像処理装置及び方法、及び記録媒体
JP5357422B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019062287A (ja) 生成装置、および、コンピュータプログラム
US8773741B2 (en) Color reproduction predicting apparatus, color reproduction predicting method, and recording medium
US8335013B2 (en) System and method for color printer calibration employing measurement success feedback
CN104113673B (zh) 印刷设定装置以及印刷设定装置的控制方法
JP2011114717A (ja) 色選択方法、画像処理方法、画像処理装置及びプログラム
CN107465847B (zh) 打印机及颜色转换控制程序以及颜色转换控制方法
US20050105110A1 (en) Image processing method, image processing device, image processing program product, and printing control device
JP7335542B2 (ja) サーバ装置、システム、および、学習済モデル
JP2007181090A (ja) 画像形成装置、画像形成方法、該方法を実行させるためのプログラム、及びカラーチャート
US20070070407A1 (en) Order processing apparatus and method, and image forming apparatus and method
JP2007043423A (ja) 画像処理方法及びその装置
JP2007068083A (ja) 画像処理システム、印刷装置、画像処理装置、画像処理方法、制御プログラムおよびそのプログラムを記録した記録媒体
US8390880B2 (en) Printing apparatus, method and program for automatic image quality adjustment based on combination of correction amounts and display of image and correction information
CN103179306A (zh) 图像形成装置及图像形成装置的控制方法
US20090296171A1 (en) Control based iterative profiling methods
JP5107208B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2007205832A (ja) 測色用画像データ管理方法、測色用画像データ管理システム及び測色用画像データ管理プログラム
CN103037139A (zh) 成像装置及修正颜色的方法
US10122893B2 (en) Automatic post processing of spot color combinations for a constrained colorant set

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R150 Certificate of patent or registration of utility model

Ref document number: 7335542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150