JP7464904B2 - 印刷材の種類を特定する方法、機械学習モデルをトレーニングする方法、および、学習済みモデル - Google Patents

Description

本明細書は、印刷装置による印刷に用いられる印刷材の種類を特定するための技術に関する。

インクやトナーなどの印刷材を用いて画像を印刷する印刷装置において、使用される印刷材の種類を特定したい場合がある。例えば、特許文献１に記載された画像形成装置は、トナーのカートリッジに搭載されたメモリに格納されているデータを読み出し、読み出したデータを用いてトナーが純正品であるか非純正品であるかを特定している。

特開２００９－３００６９４号公報

しかしながら、上記技術では、印刷材の種類を適切に特定することができない可能性があった。

本明細書は、印刷材の種類を適切に特定することができる新たな技術を開示する。

本明細書に開示された技術は、以下の適用例として実現することが可能である。

［適用例１］印刷装置による印刷に用いられる印刷材の種類を特定する方法であって、特定すべき前記印刷材を対象物に付着させる付着工程と、イメージセンサを用いて前記印刷材が付着した前記対象物を示す対象画像データを生成する生成工程と、前記対象画像データに基づく入力画像データを取得する取得工程であって、前記入力画像データによって示される入力画像は、前記対象物に付着した前記印刷材と、前記対象物のうちの前記印刷材が付着していない露出部分と、の間の境界部分を示す境界画像を含む、前記取得工程と、前記入力画像データを機械学習モデルに入力して、前記機械学習モデルに前記印刷材の種類を示す出力データを出力させる出力工程と、を備える、方法。

印刷材の種類ごとに異なる特性、例えば、対象物への付着特性によって、対象物に付着した印刷材と対象物のうちの印刷材が付着していない露出部分との間の境界部分には、印刷材の種類に応じた特徴が現れやすい。上記構成によれば、このような境界部分を示す入力画像データが機械学習モデルに入力される。この結果、機械学習モデルに、印刷材の種類を適切に示す出力データを出力させることができるので、印刷材の種類を適切に特定することができる。

［適用例２］機械学習モデルをトレーニングする方法であって、第１種の印刷材を対象物に付着させる第１付着工程と、イメージセンサを用いて前記第１種の印刷材が付着した前記対象物を示す第１対象画像データを生成する第１生成工程と、前記第１対象画像データに基づく複数個の第１入力画像データを取得する第１取得工程であって、前記第１入力画像データによって示される第１入力画像は、前記対象物に付着した前記第１種の印刷材と、前記対象物のうちの前記第１種の印刷材が付着していない露出部分と、の間の境界部分を示す第１境界画像を含む、前記第１取得工程と、第２種の印刷材を対象物に付着させる第２付着工程と、イメージセンサを用いて前記第２種の印刷材が付着した前記対象物を示す第２対象画像データを生成する第２生成工程と、前記第２対象画像データに基づく複数個の第２入力画像データを取得する第２取得工程であって、前記第２入力画像データによって示される第２入力画像は、前記対象物に付着した前記第２種の印刷材と、前記対象物のうちの前記第２種の印刷材が付着していない露出部分と、の間の境界部分を示す第２境界画像を含む、前記第２取得工程と、前記複数個の第１入力画像データと前記複数個の第２入力画像データとを機械学習モデルに入力して、前記機械学習モデルに、前記複数個の第１入力画像データに対応する複数個の第１出力データと、前記複数個の第２入力画像データに対応する複数個の第２出力データと、を出力させる出力工程と、前記複数個の第１出力データと前記複数個の第２出力データとを用いて、前記機械学習モデルにて用いられる複数個のパラメータを調整する調整工程であって、前記複数個のパラメータは、前記複数個の第１出力データが前記第１種の印刷材を示し、前記複数個の第２出力データが前記第２種の印刷材を示すように、調整される、前記調整工程と、を備える、方法。

印刷材の種類ごとに異なる特性、例えば、対象物への付着特性によって、対象物に付着した印刷材と対象物のうちの印刷材が付着していない露出部分との間の境界部分には、印刷材の種類に応じた特徴が現れやすい。上記構成によれば、このような境界部分を示す入力画像データを用いて機械学習モデルの複数個のパラメータを調整する。この結果、印刷材の種類を適切に示す出力データを出力できるように機械学習モデルをトレーニングできる。この結果、この方法でトレーニングされた機械学習モデルを用いることで、印刷材の種類を適切に特定することができる。

［適用例３］印刷装置による印刷に用いられる印刷材の種類の特定するための学習済みモデルであって、入力画像を示す入力画像データを取得する取得機能と、前記入力画像データに対して、複数個のパラメータを用いて行われる演算であって特定の機械学習アルゴリズムに従う前記演算を行うことによって、前記印刷材の種類を示す出力データを出力する機能と、をコンピュータに実現させ、前記入力画像データは、イメージセンサを用いて生成される対象画像データであって前記印刷材が付着した対象物を示す前記対象画像データに基づくデータであり、前記入力画像は、前記対象物に付着した前記印刷材と、前記対象物のうちの前記印刷材が付着していない露出部分と、の間の境界部分を示す境界画像を含み、前記複数個のパラメータは、第１種の印刷材に対応する前記入力画像データである複数個の第１入力画像データと、第２種の印刷材に対応する前記入力画像データでる複数個の第２入力画像データと、を用いたトレーニング処理によって調整済みである、学習済みモデル。

上記構成によれば、学習済みモデルは、対象物に付着した印刷材と対象物のうちの印刷材が付着していない露出部分との間の境界部分境界部分を示す入力画像データを用いて複数個のパラメータが調整済みである。この結果、学習済みモデルは、印刷材の種類を適切に特定することができる。

なお、本明細書に開示された技術は、種々の形態で実現可能であり、例えば、印刷材の種類の特定する特定装置、これらの方法、および、装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

本実施例のインク特定システム１０００の構成を示すブロック図。 機械学習モデルＤＮの構成を示すブロック図。 インクの種類の特定の工程を示すフローチャート。 綿棒を用いたドットＤＴの形成の説明図。 入力画像の一例を示す図。 機械学習モデルＤＮのトレーニングの工程を示すフローチャート。 変形例のドットＤＴの形成の説明図。

Ａ．実施例
Ａ－１．インク特定システム１０００の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例のインク特定システム１０００の構成を示すブロック図である。インク特定システム１０００は、データ処理装置１００と、スキャナ２００と、を備えている。

データ処理装置１００は、パーソナルコンピュータやスマートフォンなどの計算機である。データ処理装置１００は、データ処理装置１００のコントローラとしてのＣＰＵ１１０と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置１３０と、操作部１４０と、表示部１５０と、通信インタフェース（ＩＦ）１７０と、を備えている。操作部１４０は、ユーザの操作を受け取る装置であり、例えば、キーボードやマウスである。表示部１５０は、画像を表示する装置であり、例えば、液晶ディスプレイである。通信インタフェース１７０は、外部機器、例えば、スキャナ２００と接続するためのインタフェースである。

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、コンピュータプログラムＰＧが格納されている。

コンピュータプログラムＰＧは、例えば、プリンタ４００の製造者によって提供され、データ処理装置１００にインストールされる。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、スキャナ２００と協働して、後述するインクの種類の特定や、機械学習モデルＤＮのトレーニングを実行する。

コンピュータプログラムＰＧは、後述する機械学習モデルＤＮの機能をＣＰＵ１１０に実現させるコンピュータプログラムをモジュールとして含んでいる。

スキャナ２００は、イメージセンサを用いて、原稿を光学的に読み取ることによって、該原稿を含むスキャン画像を示すスキャンデータを生成する。イメージセンサは、例えば、ＣＣＤやＣＭＯＳなどの複数個の光電変換素子が一列に並んで配置された構造を備える一次元イメージセンサである。スキャンデータは、例えば、ＲＧＢ値で画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。スキャナ２００は、データ処理装置１００と通信可能に接続されている。

インク特定システム１０００は、プリンタ４００による印刷に用いられる印刷材であるインクの種類を特定するシステムである。プリンタ４００は、シアンＣ、マゼンタＭ、イエロＹ、ブラックＫの４色のインクを用いてカラー画像を印刷可能なインクジェットプリンタである。プリンタ４００は、ＣＭＹＫのインクカートリッジ４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋが装着されるように構成されている。インクカートリッジ４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋは、それぞれ、シアンＣ、マゼンタＭ、イエロＹ、ブラックＫのインクを収容したカートリッジである。プリンタ４００には、これらのインクカートリッジ４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋからインクが供給される。

用いられるインクの種類として、本実施例では、純正インクと、非純正インクと、の２種類が想定されている。純正インクは、例えば、プリンタ４００の製造者によって製造されるインクであり、プリンタ４００で用いられるために最適化されたインクである。非純正インクは、例えば、プリンタ４００の製造者とは異なる事業者によって製造されるインクである。純正インクと非純正インクとでは、粘性などの特性や成分が互いに異なっている。非純正インクは、純正インクと比較して、プリンタ４００の故障（例えば、印刷ヘッドのノズルの詰まり）を引き起こしやすい傾向がある。このために、例えば、プリンタ４００の故障の原因を調べる際には、プリンタ４００で用いられたインクが純正インクであるか非純正インクであるかを特定することが好ましい。本実施例のインク特定システム１０００は、例えば、このような用途で用いられる。なお、例えば、純正インクのインクカートリッジが空になった後に、該インクカートリッジに非純正インクを収容すること（いわゆるインクの詰め替え）が行われる場合がある。このために、インクカートリッジの外観やインクカートリッジの品番を参照する方法では、インクの種類を適切に特定できない場合がある。このような場合にも、インク特定システム１０００を用いる方法は有効である。

Ａ－２．機械学習モデルの構成
図２は、機械学習モデルＤＮの構成を示すブロック図である。機械学習モデルＤＮは、ＣＰＵ１１０がコンピュータプログラムＰＧを実行することによって実現される。機械学習モデルＤＮは、後述するトレーニング処理によってトレーニングされた学習済みのモデルである。

機械学習モデルＤＮには、入力データとして、入力画像データＤｉｎが入力される。入力画像データＤｉｎは、入力画像ＤＩを示す画像データである。入力画像ＤＩは、後述するように、インクを用いて用紙Ｓの表面に形成されたドットを示す画像である。本実施例の入力画像データＤｉｎは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ画像データである。

入力画像データＤｉｎは、（２５６×２５６）個の画素のそれぞれの３個の成分値（Ｒ値、Ｇ値、Ｂ値）を含むので、（２５６×２５６×３）個の値を含むデータ、すなわち、（２５６×２５６×３）次元のデータである。

機械学習モデルＤＮは、入力画像データＤｉｎによって示されるインクの種類を識別する識別ネットワークである。ここで、「入力画像データＤｉｎによって示されるインク」とは、入力画像データＤｉｎによって示される入力画像ＤＩ内のドットの形成に用いられたインクを意味するものとする。機械学習モデルＤＮは、入力画像データＤｉｎが入力されると、複数個の演算パラメータＰｄ、Ｐｄｎ（後述）を用いた演算処理を実行して、入力画像データＤｉｎによって示されるインクの種類を識別した結果を示す出力データＤｏｕｔを出力する。

具体的には、出力データＤｏｕｔは、識別すべきインクの種類にそれぞれ対応する複数個の値を含む。本実施例では、識別すべきインクの種類は、純正インクと非純正インクとの２種類であるので、出力データＤｏｕｔは、純正インクに対応する値Ｖｏ１と、非純正インクに対応する値Ｖｏ２と、を含む２次元のデータである。例えば、２個の値Ｖｏ１、Ｖｏ２は、それぞれ、０以上１以下の範囲の値であり、２個の値Ｖｏ１、Ｖｏ２の和は１である。後述するトレーニングにて、２個の値Ｖｏ１、Ｖｏ２のうち、入力画像データＤｉｎによって示されるインクに対応する一の値が１に近づき、対応しない他の値が０に近づくように、機械学習モデルＤＮはトレーニングされている。このために、機械学習モデルＤＮは、入力画像データＤｉｎによって示されるインクの種類を適切に示す出力データＤｏｕｔを出力することができる。

図２に示すように、機械学習モデルＤＮは、特徴抽出部ＣＥＸと、クラス分類部ＣＬＳと、を備えている。

特徴抽出部ＣＥＸは、入力される入力画像データＤｉｎの特徴を抽出する。特徴抽出部ＣＥＸは、複数個の層Ｌ＿０～Ｌ＿１８を有するコンボリューションニューラルネットワークである。入力層Ｌ＿０は、入力画像データＤｉｎが入力される層である。１番目の畳込層Ｌ＿１には、入力層Ｌ＿０に入力された入力画像データＤｉｎがそのまま入力される。

畳込層Ｌ＿１、Ｌ＿２、Ｌ＿４、Ｌ＿５、Ｌ＿７～Ｌ＿９、Ｌ＿１１～Ｌ＿１３、Ｌ＿１５～Ｌ＿１７は、畳込処理(convolution)とバイアスの加算処理と、を実行する。畳込処理は、入力されたデータに対して、（ｐ×ｑ×ｒ）次元のｓ個のフィルタを順次に適用して入力されたデータとフィルタとの相関を示す相関値を算出する処理である。各フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。１個のフィルタは、（ｐ×ｑ×ｒ）個の重みを含んでいる。バイアスの加算処理は、算出された相関値に、１個のフィルタに対して１個ずつ準備されたバイアスを加算する処理である。ｓ個のフィルタに含まれる（ｐ×ｑ×ｒ×ｓ）個の重みと、ｓ個のフィルタに対応するｓ個のバイアスと、は、上述した複数個の演算パラメータＰｄである。

各畳込層によって生成されるデータの各値は、上述した相関値にバイアスを加えた値である。各畳込層によって生成されるデータに含まれるデータの個数（例えば、畳込層Ｌ＿１の場合は（Ａ_１×Ｂ_１×Ｃ_１））は、畳込処理におけるストライド（フィルタをスライドさせる量）と、フィルタの個数ｓと、によって決定される。

畳込層によって生成されるデータは、後処理として、活性化関数に入力されて変換された後に、次の層（畳込層またはプーリング層）に入力される。本実施例では、活性化関数には、ReLUが用いられる。

プーリング層Ｌ＿３、Ｌ＿６、Ｌ＿１０、Ｌ＿１４、Ｌ＿１８は、マックスプーリング（MaxPooling）を行って、入力されたデータの次元数を削減する。マックスプーリングは、いわゆるダウンサンプリングによって次元数を削減する処理であり、所定サイズ（例えば、２×２）のウィンドウを所定のストライド（例えば、２）でスライドさせつつ、ウィンドウ内の最大値を選択することによって次元数を削減する。プーリング層によって生成されるデータは、そのまま、次の層（畳込層または後述する全体平均プーリング層Ｌ＿１９）に入力される。

本実施例では、特徴抽出部ＣＥＸには、ＶＧＧ１６と呼ばれるニューラルネットワークのうちの全結合層を除いた部分がそのまま用いられる。ＶＧＧ１６は、ＩｍａｇｅＮｅｔと呼ばれる画像データベースに登録された画像データを用いてトレーニングされた学習済みのニューラルネットワークであり、その学習済みの演算パラメータは一般公開されている。本実施例では、特徴抽出部ＣＥＸの複数個の演算パラメータＰｄには、公開された学習済みの演算パラメータが用いられる。このために、本実施例では、特徴抽出部ＣＥＸに含まれる複数個の演算パラメータＰｄは、後述するトレーニング処理では調整されない。

クラス分類部ＣＬＳには、特徴抽出部ＣＥＸによって生成されるデータ、すなわち、特徴抽出部ＣＥＸのプーリング層Ｌ＿１８によって生成されるデータが入力される。クラス分類部ＣＬＳは、該データに対して複数個の演算パラメータＰｄｎを用いた演算処理を実行して、出力データＤｏｕｔを生成する。

クラス分類部ＣＬＳは、全体平均プーリング層Ｌ＿１９と、全結合層Ｌ＿２０、Ｌ２１を有するニューラルネットワークである。

全体平均プーリング層Ｌ＿１９は、入力されるデータの各チャネルの複数個の値の平均値をとることで、データの次元数を削減する。

全体平均プーリング層Ｌ＿１９によって生成されるデータは、全結合層Ｌ＿２０に入力される。全結合層Ｌ＿２０は、一般的なニューラルネットワークで用いられる全結合層と同様の層である。全結合層Ｌ＿２０は、Ｍ次元のデータ（Ｍ個の値（Ｍは２以上の整数））が入力されると、Ｎ次元のデータ（Ｎ個の値（Ｎは２以上の整数））を出力する。出力されるＮ個の値のそれぞれは、入力されるＭ個の値から成るベクトルとＮ個の重みから成るベクトルとの内積に、バイアスを加えた値（内積＋バイアス）である。これらの（Ｍ×Ｎ）個の重みとＮ個のバイアスは、上述した演算パラメータＰｄｎであり、後述するトレーニング処理によって調整される値である。

全結合層Ｌ＿２０によって生成された各値は、後処理として、活性化関数に入力されて変換される。活性化関数には、例えば、ReLUが用いられる。なお、トレーニング処理では、さらに、後処理として、いわゆるドロップアウトが行われる。ドロップアウトは、過学習を抑制するために、ランダムに選択された一部の値を無効化（０にする）する処理である。使用時（推論時とも呼ぶ。）には、ドロップアウトは行われない。

全結合層Ｌ＿２０によって生成されるＮ次元のデータは、全結合層Ｌ＿２１に入力される。全結合層Ｌ＿２１は、全結合層Ｌ＿２０と同様の処理によって、２次元のデータ（２個の値）を生成する。全結合層Ｌ２１にて用いられる（Ｎ×２）個の重みと２個のバイアスは、上述した演算パラメータＰｄｎであり、後述するトレーニング処理によって調整される値である。

全結合層Ｌ＿２１によって生成された２個の値は、後処理として、活性化関数に入力されて変換される。活性化関数には、SoftMaxが用いられる。活性化関数によって変換済みの２個の値は、上述した出力データＤｏｕｔである。

Ａ－３．インクの種類の特定
図３は、インクの種類の特定の工程を示すフローチャートである。この工程は、プリンタ４００にて用いられるＣＭＹＫの４色のインクのそれぞれを対象インクとして行われる。

Ｓ１１０では、作業者は、棒状の部材である綿棒ＳＷを用いて、対象インク（例えば、Ｃインク）の複数個のドットＤＴを用紙Ｓ上に形成する。図４は、綿棒を用いたドットＤＴの形成の説明図である。図４（Ａ）には、ドットＤＴの形成の様子を示す斜視図が示されている。図４（Ｂ）には、ドットＤＴが形成された用紙Ｓが図示されている。

作業者は、印刷に用いられる用紙Ｓ（例えば、Ａ４サイズの普通紙）と、一般的に販売されている綿棒ＳＷと、を用意する。作業者は、対象インクのインクカートリッジ（例えば、Ｃインクのインクカートリッジ４２０Ｃ）をプリンタ４００から取り外して、インクカートリッジ内に残存している対象インクをシャーレなどに取り出す。なお、対象インクは、インクカートリッジからプリンタ４００の印刷ヘッドのノズル（図示省略）に至るインクの経路に残存しているインクであっても良い。作業者は、シャーレ内の対象インクに綿棒ＳＷの先端を浸して、綿棒ＳＷの先端に対象インクを付着させる。作業者は、対象インクが付着した状態の綿棒ＳＷの先端を、用紙Ｓの表面に接触させる。これによって、円形の１個のドットＤＴが用紙Ｓ上に形成される。ドットＤＴの直径は、プリンタ４００の印刷ヘッド（図示省略）によって印刷のために形成されるドットの直径よりも大幅に大きな値（例えば、数１００倍～１０００倍の値）であり、例えば、２～８ｍｍである。

作業者は、この作業を、綿棒ＳＷを接触させるＸ方向の位置をＸ方向の上流側から下流側に向かって変更しながらＰ回（Ｐは３以上の整数、図４の例ではＰ＝１０）に亘って繰り返す。すなわち、綿棒ＳＷの先端は、用紙ＳのＰ個の互いに異なる位置に順次に接触する。これによって、Ｐ個のドットＤＴを含むドット行ＤＲ（図４）が形成される。１個のドット行ＤＲの形成中には、綿棒ＳＷの先端に、再度、対象インクを付着し直す作業は行わない。

１個のドット行ＤＲが形成されると、作業者は、綿棒ＳＷの先端作業者は、シャーレ内の対象インクに綿棒ＳＷの先端を、再度、浸して、綿棒ＳＷの先端に対象インクを付着させる。作業者は、綿棒ＳＷを接触させるＹ方向の位置を変更して、前のドット行ＤＲの形成作業と同様の作業を行って、次のドット行ＤＲを形成する。作業者は、この作業を繰り返して、Ｑ行（Ｑは１以上の整数、例えば、Ｑ＝１０）のドット行ＤＲを形成する。この結果、用紙Ｓ上には、（Ｐ×Ｑ）個のドットＤＴが形成される。

Ｓ１２０では、作業者は、所定の乾燥時間（例えば、３０分）の経過を待つ。これによって、用紙Ｓ上に形成された複数個のドットＤＴは安定した状態になる。

Ｓ１３０では、用紙ＳのドットＤＴが形成された面を光学的に読み取ることによって、スキャンデータが生成される。例えば、作業者は、ドットＤＴが形成された用紙Ｓを、スキャナ２００の原稿台に配置する。スキャナ２００は、作業者の操作に応じて、用紙Ｓを読み取って、用紙Ｓを示すスキャンデータを生成して、該スキャンデータをデータ処理装置１００に送信する。データ処理装置１００は、通信インタフェース１７０を介してスキャンデータを受信し、該スキャンデータを揮発性記憶装置１２０に格納する。図４（Ｂ）は、該スキャンデータによって示されるスキャン画像ＳＩを示す図とも言うことができる。以下では、スキャン画像ＳＩにおいて、ドットＤＴを示す画像（オブジェクト）を、単に、ドットＤＴと表現する。

Ｓ１４０では、データ処理装置１００のＣＰＵ１１０は、スキャンデータを用いて、複数個の入力画像データＤｉｎを生成する。具体的には、ＣＰＵ１１０は、スキャン画像ＳＩに示される（Ｐ×Ｑ）個のドットＤＴのうち、所定の使用範囲ＵＡ内に位置する複数個の使用ドットＤＴｓを特定する（図４（Ｂ））。複数個の使用ドットＤＴｓは、各ドット行ＤＲに含まれるＰ個のドットＤＴのうち、上流ドットＤＴｕと下流ドットＤＴｄとを除いたドットである。

上流ドットＤＴｕは、Ｘ方向の上流側に位置する所定数（図４（Ｂ）の例では２個）のドットである。上流ドットＤＴｕは、綿棒ＳＷに過剰な量の対象インクが付着した状態で形成される。このために、上流ドットＤＴｕは、過剰な量の対象インクで形成されている可能性があるので、上流ドットＤＴｕは使用されない。

下流ドットＤＴｄは、Ｘ方向の下流側に位置する所定数（図４（Ｂ）の例では２個）のドットである。下流ドットＤＴｄは、綿棒ＳＷに過小な量の対象インクが付着した状態で形成される。このために、下流ドットＤＴｄは、過小な量の対象インクで形成されている可能性があるので、下流ドットＤＴｄは使用されない。

図４（Ｂ）の例では、各ドット行ＤＲに含まれる１０個のドットＤＴのうち、Ｘ方向の上流側から数えて３番目から８番目までのドットが、使用ドットＤＴｓとして特定される。換言すれば、使用ドットＤＴｓは、綿棒ＳＷに対象インクを付着させた後に、再度、対象インクを追加で綿棒ＳＷに付着させることなく形成される１０個のドットＤＴのうち、最初に形成される２個のドットと、最後に形成される２個のドットを除いたドットである。

スキャン画像ＳＩにおける使用ドットＤＴｓの位置は、例えば、パターンマッチングによって特定される。変形例では、ユーザがマウスなどのポインティングデバイスを用いて使用ドットＤＴｓの位置を指定することによって特定されても良い。また、ドットＤＴが用紙Ｓの予め定められた位置に形成されていることが保証されていれば、スキャン画像ＳＩ上における予め定められた位置が使用ドットＤＴｓの位置として用いられても良い。

ＣＰＵ１１０は、使用ドットＤＴｓを１個ずつ含む所定サイズの矩形領域ＳＡをスキャン画像ＳＩからクロッピングして、１個の矩形領域ＳＡを示す部分画像データを取得する。ＣＰＵ１１０は、部分画像データに対して拡大処理を実行することによって、画像サイズを調整して１個の入力画像データＤｉｎを生成する。生成される入力画像データＤｉｎの個数は、使用ドットＤＴｓの個数と同数であり、本実施例では、６０個である。入力画像データＤｉｎは、ＲＧＢ画像データである。

図５は、入力画像の一例を示す図である。図５（Ａ）には、本実施例の入力画像データＤｉｎによって示される入力画像ＤＩが示されている。入力画像ＤＩのＹ方向の画素数とＸ方向の画素数は、本実施例では、それぞれ、２５６である。入力画像ＤＩは、使用ドットＤＴｓの全体と、使用ドットＤＴｓの周囲に位置する背景Ｂｇと、を含んでいる。使用ドットＤＴｓは、用紙Ｓに付着した対象インクを示す画像と言うことができる。背景Ｂｇは、用紙Ｓのうちの対象インクが付着していない露出部分を示す画像と言うことができる。

入力画像ＤＩは、使用ドットＤＴｓと背景Ｂｇとの境界部分ＢＡを示す画像（境界画像とも呼ぶ）を含んでいる。使用ドットＤＴｓと背景Ｂｇとの境界は、実際には明確に分かれている訳ではない。使用ドットＤＴｓと背景Ｂｇとの境界部分ＢＡは、例えば、対象インクの付着量が中央部分ＣＡよりも少なく、薄い色を示す部分や、いわゆる滲みを示す部分を含む。

入力画像ＤＩは、上述のように、使用ドットＤＴｓの全体と、その周囲に位置する背景Ｂｇを含んでいる。すなわち、入力画像ＤＩにおいて境界部分ＢＡを示す画像は、使用ドットＤＴｓの全周に亘る外縁と、外縁に沿って使用ドットＤＴｓの全周を囲む背景Ｂｇと、の境界部分を示す画像である。

Ｓ１５０では、ＣＰＵ１１０は、生成された複数個の入力画像データＤｉｎを、それぞれ、機械学習モデルＤＮに入力する。これによって、複数個の入力画像データＤｉｎに対応する複数個の出力データＤｏｕｔが生成される。各出力データＤｏｕｔは、上述したように、純正インクに対応する値Ｖｏ１と、非純正インクに対応する値Ｖｏ２と、を含む２次元のデータである。

Ｓ１６０では、ＣＰＵ１１０は、複数個の出力データＤｏｕｔを用いて、純正インクを示すと判定された入力画像データＤｉｎの割合Ｒｄを算出する。具体的には、判定対象の入力画像データＤｉｎに対応する出力データＤｏｕｔの値Ｖｏ１が閾値ＴＨ１以上である場合には、判定対象の入力画像データＤｉｎは、純正インクを示すと判定される。対応する出力データＤｏｕｔの値Ｖｏ１が閾値ＴＨ１未満である場合には、判定対象の入力画像データＤｉｎは、非純正インクを示すと判定される。純正インクを示すと判定された入力画像データＤｉｎの個数を、機械学習モデルＤＮに入力された入力画像データＤｉｎの総数で除した値が、割合Ｒｄとして算出される。

Ｓ１７０では、ＣＰＵ１１０は、算出された割合Ｒｄが閾値ＴＨ２以上であるか否かを判断する。割合Ｒｄが閾値ＴＨ２以上である場合には（Ｓ１７０：ＹＥＳ）、Ｓ１８０にて、ＣＰＵ１１０は、対象インクは純正インクであると特定する。割合Ｒｄが閾値ＴＨ２未満である場合には（Ｓ１７０：ＮＯ）、Ｓ１９０にて、ＣＰＵ１１０は、対象インクは非純正インクであると特定する。

Ａ－４．機械学習モデルＤＮのトレーニング
上述した機械学習モデルＤＮは、入力画像データＤｉｎが入力された場合に、所望の出力データＤｏｕｔを生成できるように、事前にトレーニングされている。以下では、機械学習モデルＤＮのトレーニングについて説明する。これらの機械学習モデルＤＮのトレーニングは、例えば、プリンタ４００を製造する事業者によって実行される。

図６は、機械学習モデルＤＮのトレーニングの工程を示すフローチャートである。この工程は、プリンタ４００にて用いられるＣＭＹＫの４色のインクのそれぞれを対象色として行われる。

Ｓ２００では、作業者は、綿棒ＳＷを用いて、対象色（例えば、Ｃ）を有する純正インクの複数個のドットＤＴを用紙Ｓ上に形成する。ドットＤＴの形成の方法は、図３のＳ１１０について図４を参照して説明した方法と同一である。ただし、トレーニングでは、より多数のドットＤＴ、例えば、数百個～数千個のドットＤＴが複数枚の用紙Ｓに亘って形成される。複数枚の用紙Ｓには、同一種類の用紙が用いられる。用紙Ｓの種類によって、インクの滲み方などの特性が異なり得る。このため、仮に異なる種類の用紙が用いられると、用紙の種類に起因した差異が形成されるドットＤＴに現れてしまう可能性がある。

Ｓ２０５では、作業者は、綿棒ＳＷを用いて、対象色を有する非純正インクの複数個のドットＤＴを用紙Ｓ上に形成する。ドットＤＴの形成の方法、および、形成されるドットＤＴの個数は、Ｓ２００の純正インクのドットの形成と同一である。非純正インクのドットＤＴの形成に用いられる用紙Ｓは、Ｓ２００の純正インクのドットの形成で用いられる用紙Ｓと同一種類の用紙である。

Ｓ２１０では、作業者は、図３のＳ１２０と同様に、所定の乾燥時間（例えば、３０分）の経過を待つ。

Ｓ２１５では、スキャナ２００を用いて、純正インクのドットＤＴが形成された複数枚の用紙Ｓと非純正インクのドットＤＴが形成された複数枚の用紙Ｓのそれぞれを光学的に読み取ることによって、複数個のスキャンデータが生成される。各スキャンデータによって示されるスキャン画像は、図４（Ｂ）のスキャン画像ＳＩと同様の画像である。複数個のスキャンデータは、データ処理装置１００の揮発性記憶装置１２０または不揮発性記憶装置１３０に格納される。

Ｓ２２０では、データ処理装置１００のＣＰＵ１１０は、複数個のスキャンデータを用いて、複数個の入力画像データＤｉｎを生成する。例えば、純正インクのドットＤＴを示す所定個数（例えば、数百個～数千個）の入力画像データＤｉｎ１と、非純正インクのドットＤＴを示す所定個数の入力画像データＤｉｎ２と、が生成される。各スキャンデータから複数個の入力画像データＤｉｎを生成する方法は、図３のＳ１４０にて説明した方法と同一である。各入力画像データＤｉｎによって示される入力画像は、図５（Ａ）の入力画像ＤＩと同様の画像である。

Ｓ２２５では、ＣＰＵ１１０は、純正インクおよび非純正インクの入力画像データＤｉｎに対して、データ拡張処理を実行して、追加の入力画像データＤｉｎを生成する。データ拡張処理は、入力画像データＤｉｎに対して、画像を回転する回転処理、画像を上下や左右に反転させる反転処理、拡大処理、縮小処理のうちの少なくとも１つを実行して、新たな入力画像データＤｉｎを生成する処理である。これによって、純正インクおよび非純正インクの入力画像データＤｉｎの個数は、数倍に増加される。

Ｓ２３０では、ＣＰＵ１１０は、生成された複数個の入力画像データＤｉｎのそれぞれに対応する教師データを生成する。教師データは、対応する入力画像データＤｉｎによって示されるドットＤＴの形成に用いられたインクの種類を正しく示す理想的な出力データＤｏｕｔである。純正インクのドットＤＴを示す入力画像データＤｉｎには、純正インクを示す教師データが対応付けられ、非純正インクのドットＤＴを示す入力画像データＤｉｎには、非純正インクを示す教師データが対応付けられる。例えば、ユーザが、ドットＤＴの形成に用いられたインクの種類を示す情報を用紙Ｓごとにデータ処理装置１００に入力し、ＣＰＵ１１０は、入力された情報に基づいて教師データを生成する。生成された教師データは、入力画像データＤｉｎと対応付けて、不揮発性記憶装置１３０に格納される。

Ｓ２３５では、ＣＰＵ１１０は、機械学習モデルＤＮのクラス分類部ＣＬＳの複数個の演算パラメータＰｄｎを初期化する。例えば、これらの演算パラメータＰｄｎの初期値は、同一の分布（例えば、正規分布）から独立に取得された乱数に設定される。

Ｓ２４０では、ＣＰＵ１１０は、複数個の入力画像データＤｉｎの中から、バッチサイズ分の入力画像データＤｉｎを選択する。例えば、複数個の入力画像データＤｉｎは、Ｖ個（Ｖは２以上の整数、例えば、Ｖ＝１００）ずつの入力画像データＤｉｎをそれぞれ含む複数個のグループ（バッチ）に分割される。ＣＰＵ１１０は、これらの複数個のグループから１個のグループを順次に選択することによって、Ｖ個の使用すべき入力画像データＤｉｎを選択する。これに代えて、Ｖ個ずつの入力画像データＤｉｎは、複数個の入力画像データＤｉｎから、毎回、ランダムに選択されても良い。

Ｓ２４５では、ＣＰＵ１１０は、選択されたＶ個の入力画像データＤｉｎを機械学習モデルＤＮに入力して、Ｖ個の出力データＤｏｕｔを生成する。Ｖ個の出力データＤｏｕｔは、純正インクの入力画像データＤｉｎ１に対応する出力データＤｏｕｔ１と、非純正インクの入力画像データＤｉｎ２に対応する出力データＤｏｕｔ２と、を含み得る。

Ｓ２５０では、ＣＰＵ１１０は、Ｖ個の出力データＤｏｕｔのそれぞれについて、出力データＤｏｕｔと、該出力データＤｏｕｔに対応する教師データと、の間の誤差値ＥＶを算出する。誤差値ＥＶは、所定の損失関数に基づいて算出される。例えば、誤差値ＥＶの算出には、平均二乗誤差（MSE（Mean Squared Error））が用いられる。

Ｓ２５５では、ＣＰＵ１１０は、Ｖ個の誤差値ＥＶを用いて、クラス分類部ＣＬＳの複数個の演算パラメータＰｄｎを調整する。具体的には、ＣＰＵ１１０は、誤差値ＥＶが小さくなるように、すなわち、出力データＤｏｕｔと教師データとの差分が小さくなるように、所定のアルゴリズムに従って演算パラメータＰｄｎを調整する。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（例えば、ａｄａｍ）が用いられる。

Ｓ２６０では、ＣＰＵ１１０は、トレーニングが完了したか否かを判断する。本実施例では、作業者からの完了指示が入力された場合にはトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にはトレーニングが完了していないと判断する。例えば、ＣＰＵ１１０は、トレーニング用に用いられた入力画像データＤｉｎとは別の複数個のテスト用の入力画像データＤｉｎを、機械学習モデルＤＮに入力して、複数個の出力データＤｏｕｔを生成する。作業者は、複数個の出力データＤｏｕｔを評価して、トレーニングを終了するか否かを判断する。作業者は、確認結果に応じて、操作部１４０を介して、トレーニングの完了指示または継続指示を入力する。変形例では、例えば、Ｓ２４０～Ｓ２５５の処理が所定回数だけ繰り返された場合に、トレーニングが完了されたと判断されても良い。

トレーニングが完了していないと判断される場合には（Ｓ２６０：ＮＯ）、ＣＰＵ１１０は、Ｓ２４０に処理を戻す。トレーニングが完了したと判断される場合には（Ｓ２６０：ＹＥＳ）、ＣＰＵ１１０は、機械学習モデルＤＮのトレーニングを終了する。トレーニングが終了した時点で、機械学習モデルＤＮは、演算パラメータＰｄｎが調整された学習済みモデルになっている。したがって、このトレーニングは、学習済みの機械学習モデルＤＮを生成（製造）する処理である、と言うことができる。

以上説明した本実施例のインクの種類の特定（図３）では、インクを用紙Ｓに付着させる付着工程（図３のＳ１１０）と、インクが付着した用紙Ｓを示すスキャンデータを生成する生成工程（図３のＳ１３０）と、スキャンデータに基づく入力画像データＤｉｎを取得する取得工程（図３のＳ１４０）と、入力画像データＤｉｎを機械学習モデルＤＮに入力して、機械学習モデルＤＮにインクの種類を示す出力データＤｏｕｔを出力させる出力工程（図３のＳ１５０）と、が実行される。入力画像データＤｉｎによって示される入力画像ＤＩ（図５（Ａ））は、用紙Ｓに付着したインク（使用ドットＤＴｓ）と、用紙Ｓのうちのインクが付着していない露出部分（背景Ｂｇ）と、の間の境界部分ＢＡを示す境界画像を含む。境界部分ＢＡには、インクの種類に応じた特徴が現れやすい。このために、本実施例では、境界部分ＢＡを示す入力画像データＤｉｎが機械学習モデルＤＮに入力されることで、機械学習モデルＤＮに、インクの種類を適切に示す出力データＤｏｕｔを出力させることができる。したがって、インクの種類を適切に特定することができる。

また、本実施例の機械学習モデルＤＮのトレーニング（図６）では、純正インクを用紙Ｓに付着させる第１付着工程（図６のＳ２００）と、純正インクが付着した用紙Ｓを示すスキャンデータを生成する第１生成工程（図６のＳ２１５）と、該スキャンデータに基づく純正インクの入力画像データＤｉｎ１を取得する第１取得工程（図６のＳ２２０）と、非純正インクを用紙Ｓに付着させる第２付着工程（図６のＳ２０５）と、非純正インクが付着した用紙Ｓを示すスキャンデータを生成する第２生成工程（図６のＳ２１５）と、該スキャンデータに基づく非純正インクの入力画像データＤｉｎ２を取得する第２取得工程（図６のＳ２２０）と、が実行される。さらに、入力画像データＤｉｎ１、Ｄｉｎ２を機械学習モデルＤＮに入力して、機械学習モデルＤＮにインクの種類を示す出力データＤｏｕｔ１、Ｄｏｕｔ２を出力させる出力工程（図６のＳ２４５）と、出力データＤｏｕｔ１、Ｄｏｕｔ２を用いて、機械学習モデルＤＮにて用いられる複数個の演算パラメータＰｄｎを調整する調整工程（図６のＳ２５５）と、が実行される。入力画像データＤｉｎ１、Ｄｉｎ２によって示される入力画像ＤＩ（図５（Ａ））は、用紙Ｓに付着したインク（使用ドットＤＴｓ）と、用紙Ｓのうちのインクが付着していない露出部分（背景Ｂｇ）と、の間の境界部分ＢＡを示す境界画像を含む。境界部分ＢＡには、インクの種類に応じた特徴が現れやすい。このために、本実施例では、境界部分ＢＡを示す入力画像データＤｉｎが機械学習モデルＤＮに入力されることで、インクの種類を適切に示す出力データＤｏｕｔを出力させることができるように、機械学習モデルＤＮをトレーニングできる。したがって、本実施例の方法でトレーニングされた学習済みの機械学習モデルＤＮを用いることで、インクの種類を適切に特定することができる。

例えば、インクの種類によって、溶媒や添加物の成分や該成分の含有量が互いに異なるために、インクの種類によってインクの特性は異なる。インクの特性は、例えば、用紙Ｓへの付着に関係する様々な特性、例えば、用紙Ｓへの浸潤に関する特性、溶媒の蒸発に関する特性、色味に関する特性が異なる。このようなインクの特性に応じた特徴は、ドットＤＴの中央部分ＣＡよりも境界部分ＢＡに現れやすいと考えられる。インクの特性に応じた特徴の違いは、ドットＤＴの外縁における滲み、外縁の形状、外縁における色の変動の違いとして現れやすいためである。ドットＤＴの中央部分ＣＡには、例えば、色味やムラの違いが現れるが、これらの違いは外縁に現れる違いと比較して小さいと考えられる。

実際に、出願人は、比較例として、入力画像ＤＩのうちの中央部分ＣＡのみを含み、境界部分ＢＡや背景Ｂｇを含まない画像を示す画像データを入力画像データとして用いて機械学習モデルＤＮをトレーニングした。そして、比較例の機械学習モデルＤＮに、中央部分ＣＡのみを示す複数個の画像データを入力して、インクの種類の特定を行った。この結果、本実施例の方法では、インクの種類の正当率は、９５％を超えたのに対して、比較例の方法では、インクの種類の正当率は、８０％を下回った。

また、本実施例によれば、プリンタ４００にて用いられるインクそのものを用いて、インクの種類を特定するので、例えば、インクカートリッジにインクの種類を示すメモリが搭載されていない場合であってもインクの種類を特定できる。また、インクカートリッジ内のインクの詰め替えが行われている場合であっても、インクの種類を適切に特定できる。

さらに、本実施例では、プリンタ４００とは異なる付着手段である綿棒ＳＷを用いて、ドットＤＴを形成する。この結果、例えば、カラーパッチなどの印刷画像を解析してインクの種類を特定する方法を用いることができない場合であっても、インクの種類を特定できる。例えば、プリンタ４００の故障（例えば、印刷ヘッドのノズルの詰まり）によって、プリンタ４００が印刷できない状態であっても、インクの種類を特定できる。

さらに、本実施例の付着工程（図３のＳ１１０、図６のＳ２００、Ｓ２０５）では、各ドットＤＴは、他のドットＤＴと重ならないように形成される（図４（Ａ）、（Ｂ））。この結果、十分な長さの境界線を含む境界部分ＢＡを含むようにインクを用紙Ｓに付着させることができる。したがって、インクの種類に応じた特徴が現れやすい入力画像ＤＩを示す入力画像データＤｉｎが用いられるので、インクの種類を精度良く特定することができる。

さらに、本実施例によれば、１個の入力画像ＤＩは、１個のドットＤＴを示す画像である（図５（Ａ））。この結果、例えば、多数の入力画像データＤｉｎであっても容易に準備することができる。

さらに、本実施例では、境界部分ＢＡを示す境界画像は、ドットＤＴの全周に亘る外縁と、外縁に沿ってドットＤＴの全周を囲む背景Ｂｇと、の境界部分を示す画像である（図５（Ａ））。この結果、入力画像ＤＩは、さらに十分な長さの境界線を含む境界部分ＢＡを示す画像となる。したがって、インクの種類に応じた特徴がより現れやすい入力画像を示す入力画像データＤｉｎが用いられるので、インクの種類をより精度良く特定することができる。

さらに、本実施例では、付着工程（図３のＳ１１０、図６のＳ２００、Ｓ２０５）は、棒状の部材である綿棒ＳＷの先端にインクを付着させた状態で、綿棒ＳＷの先端を用紙Ｓに接触させる工程である（図４（Ａ））。したがって、インクのドットＤＴを用紙Ｓ上に容易に形成できる。

さらに、本実施例の取得工程（図３のＳ１４０、図６のＳ２２０）では、ＳＷの先端を、Ｐ個の互いに異なる位置に順次に接触させることによって、形成されるＰ個のドット（ドット行ＤＲ）のうち、最初の接触によって形成された上流ドットＤＴｕと最後の接触によって形成された下流ドットＤＴｄとは異なる使用ドットＤＴｓを示す入力画像データＤｉｎが取得される（図４（Ｂ））。この結果、適切な付着量で形成されたドットＤＴを示す入力画像データＤｉｎが取得される。したがって、インクの種類をさらに精度良く特定することができる。

さらに、本実施例のインクの種類の特定（図３）では、複数個のドットＤＴに対応する複数個の入力画像データＤｉｎを機械学習モデルＤＮに入力して、複数個の出力データＤｏｕｔが出力される（図３のＳ１５０）。そして、複数個の出力データＤｏｕｔに基づいて、インクの種類が特定される（図３のＳ１６０～Ｓ１９０）。このように、複数個の入力画像データＤｉｎが用いられるので、インクの種類をさらに精度良く特定することができる。例えば、形成されるドットＤＴには、作業者による作業のバラツキなどに起因して、バラツキが生じる場合がある。また、形成されるドットＤＴには、イレギュラーなドットが含まれる可能性がある。したがって、仮に１個の入力画像データＤｉｎだけを用いる場合には、インクの種類を精度良く特定できない可能性があるが、本実施例では、そのような不都合を抑制できる。

さらに、本実施例の付着工程（図３のＳ１１０、図６のＳ２００、Ｓ２０５）では、複数個のドットは、同一種類の用紙Ｓ上に形成される。この結果、用紙Ｓに対するインクの付着状態が用紙Ｓの特性によって異なることを抑制できる。したがって、インクの種類をさらに精度良く特定することができる。

さらに、本実施例では、付着工程（図３のＳ１１０、図６のＳ２００、Ｓ２０５）にて用紙Ｓにインクが付着されてから（すなわち、ドットＤＴが形成されてから）所定の時間が経過した後に（図３のＳ１２０、図６のＳ２１０）、スキャナ２００を用いてスキャンデータが生成される（図３のＳ１３０、図６のＳ２１５）。この結果、用紙Ｓに対するインクの付着状態が安定した後のドットＤＴを示す入力画像データＤｉｎを取得できる。したがって、インクの種類をさらに精度良く特定することができる。

以上の説明から解るように、本実施例の用紙Ｓは、対象物の例であり、スキャンデータは、対象画像データの例である。また、純正インクは、第１種の印刷材の例であり、非純正インクは、第２種の印刷材の例である。

Ｂ．変形例：
（１）上記実施例では、インクの付着手段として、綿棒ＳＷが用いられているが、これに限られない。例えば、綿棒ＳＷとは異なる棒状の部材、例えば、棒の先端にインクを付着させるための多孔体（例えば、スポンジ）を取り付けた部材であっても良い。

また、インクの付着手段は、棒状の部材とは異なる部材であっても良い。例えば、インクの付着手段は、所定量のインクの液滴を吐出する部材、例えば、スポイトＳＰであっても良い。図７は、変形例のドットＤＴの形成の説明図である。図７に示すように、スポイトＳＰを用いて、上方からインクの液滴を用紙Ｓ上に落下させることによって、用紙Ｓにインクを付着させ、用紙Ｓ上にインクのドットを形成しても良い。

（２）上記実施例では、用紙Ｓ上に形成されるドットＤＴの形状は円型であるが、これに限られない。例えば、ドットＤＴの形状は、三角形や四角形などの多角形であっても良く、環状の形状であっても良い。

（３）上記実施例のトレーニング処理（図６）では、機械学習モデルＤＮは、純正インクと非純正インクとの２種類のインクのドットの入力画像データ群を用いて、該２種類のインクを識別するようにトレーニングされている。これに限らず、機械学習モデルＤＮは、３種類以上のインクの入力画像データ群を用いて、該３種類以上のインクを識別するようにトレーニングされても良い。３種類以上のインクは、例えば、メーカーが互いに異なる３種類以上のインクであっても良い。この場合には、図３のインクの種類の特定では、対象インクの種類は、３種類以上のインクの中から特定されても良い。

（４）上記実施例では、ドットＤＴが形成される対象物は用紙Ｓであるが、これに限られない。例えば、ドットＤＴが形成される対象物は、樹脂やガラスなどで形成されたシートや板であっても良い。

（５）上記実施例では、対象画像データは、スキャナ２００を用いて生成されるスキャンデータである。これに代えて、対象画像データは、２次元イメージセンサを備えるデジタルカメラを用いて、用紙Ｓを撮影して得られる撮影画像データであっても良い。

（６）上記実施例の入力画像ＤＩの態様は一例であり、これに限られない。例えば、１個の入力画像ＤＩは、複数個のドットＤＴを含んでもよい。複数個のドットＤＴを含む場合に、複数個のドットＤＴの外縁の一部は、互いに重なっていても良い。

また、１個の入力画像は、１個のドットＤＴの全体を含んでいなくても良く、１個のドットＤＴの一部分のみを含んでも良い。例えば、図５（Ｂ）の入力画像ＤＩｂは、１個の使用ドットＤＴｓの４分の１の部分を含む。入力画像ＤＩｂは、実施例の入力画像ＤＩ（図５（Ａ））と同様に、使用ドットＤＴｓと背景Ｂｇとの境界部分ＢＡを示す画像を含む。図５（Ｂ）の入力画像ＤＩｂが用いられる場合には、用紙Ｓ上の１個のドットＤＴから４個の入力画像データを生成できる。

図５（Ｃ）の入力画像ＤＩｃは、実施例の入力画像ＤＩ（図５（Ａ））の中央部分ＣＡを構成する画素を、白色の画素に置換して得られる画像である。このように、１個の入力画像は、１個のドットＤＴのうち、境界部分ＢＡを構成する外縁部分のみを含み、中央部分ＣＡを含まなくても良い。

（７）上記実施例の図３のインクの種類の特定の工程は、一例であり、適宜に変更され得る。例えば、１個の入力画像データＤｉｎのみが用いられても良い。この場合には、１個の入力画像データＤｉｎに対応する１個の出力データＤｏｕｔに基づいて、インクの種類が特定される。また、上流ドットＤＴｕや下流ドットＤＴｄを除くことなく、スキャン画像ＳＩに示される全てのドットＤＴを用いて、複数個の入力画像データＤｉｎが生成されても良い。

（８）上記実施例では、インクの種類の特定が行われているが、インクに代えて、電子写真方式のプリンタで用いられるトナーの種類の特定が行われても良い。この場合には、図３のＳ１１０、図６のＳ２００、Ｓ２０５にて、インクに代えて、トナーを用いてドットＤＴが形成される。

（９）上記実施例の機械学習モデルＤＮ（図２）の構成は一例であり、これに限られない。例えば、機械学習モデルＤＮにおいて、畳込層や全結合層の層数は、適宜に変更されて良い。また、機械学習モデルＤＮの各層で出力された値に対して実行される後処理も適宜に変更され得る。例えば、後処理に用いられる活性化関数は、任意の関数、例えば、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられ得る。また、バッチノーマリゼイション、ドロップアウトなどの処理が後処理として適宜に追加や省略がされ得る。

（１０）上記実施例の機械学習モデルＤＮのトレーニング（図６）は、一例であり、適宜に変更され得る。例えば、誤差値ＥＶには、平均二乗誤差が用いられているが、これに代えて、他の種類の誤差値が用いられても良い。例えば、誤差値ＥＶには、クロスエントロピー誤差や平均絶対誤差が用いられても良い。また、機械学習モデルＤＮのトレーニングでは、クラス分類部ＣＬＳの演算パラメータＰｄｎのみが調整されているが、特徴抽出部ＣＥＸの演算パラメータの全部または一部も調整されても良い。

（１１）図１のデータ処理装置１００のハードウェア構成は、一例であり、これに限られない。例えば、データ処理装置１００のプロセッサは、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（application specific integrated circuit）、あるいは、これらとＣＰＵとの組み合わせであっても良い。また、データ処理装置１００は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）であっても良い。

（１２）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、機械学習モデルＤＮは、プログラムモジュールに代えて、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実現されてよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１０００…インク特定システム,１００…データ処理装置,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…操作部,１５０…表示部,１７０…通信インタフェース,２００…スキャナ,４００…プリンタ,４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋ…インクカートリッジ,ＤＩ…入力画像,ＤＮ…機械学習モデル,ＤＴ…ドット,Ｄｉｎ…入力画像データ,Ｄｏｕｔ…出力データ,ＰＧ…コンピュータプログラム,Ｐｄ、Ｐｄｎ…演算パラメータ,Ｓ…用紙,ＳＩ…スキャン画像,ＳＰ…スポイト,ＳＷ…綿棒

Claims (13)

1. 印刷装置による印刷に用いられる印刷材の種類を特定する方法であって、
   対象物に特定すべき前記印刷材を付着させる付着工程と、
   イメージセンサを用いて前記印刷材が付着した前記対象物を示す対象画像データを生成する生成工程と、
   前記対象画像データに基づく入力画像データを取得する取得工程であって、前記入力画像データによって示される入力画像は、前記対象物に付着した前記印刷材と、前記対象物のうちの前記印刷材が付着していない露出部分と、の間の境界部分を示す境界画像を含む、前記取得工程と、
   前記入力画像データを機械学習モデルに入力して、前記機械学習モデルに前記印刷材の種類を示す出力データを出力させる出力工程と、
   を備える、方法。
2. 請求項１に記載の方法であって、
   前記付着工程は、前記対象物に特定すべき前記印刷材を付着させて、前記印刷材の１以上のドットを形成する工程であり、
   前記１以上のドットは、他のドットと重ならないように形成される、方法。
3. 請求項２に記載の方法であって、
   １個の前記入力画像は、１個の前記ドットを示す画像である、方法。
4. 請求項２または３に記載の方法であって、
   前記境界画像は、前記ドットの全周に亘る外縁と、前記外縁に沿って前記ドットの全周を囲む前記露出部分と、の前記境界部分を示す画像である、方法。
5. 請求項２～４のいずれかに記載の方法であって、
   前記付着工程では、前記印刷装置とは異なる付着手段を用いて、前記対象物に特定すべき前記印刷材を付着させる、方法。
6. 請求項５のいずれかに記載の方法であって、
   前記付着手段は、棒状の部材であり、
   前記付着工程は、前記棒状の部材の先端に前記印刷材を付着させた状態で、前記棒状の部材の先端を前記対象物に接触させる工程である、方法。
7. 請求項６に記載の方法であって、
   前記付着工程は、前記棒状の部材の先端に前記印刷材を付着させた状態で、前記棒状の部材の先端を、前記対象物のＰ個（Ｐは３以上の整数）の互いに異なる位置に順次に接触させることによって、Ｐ個の前記ドットを形成する工程を含み、
   前記取得工程では、前記Ｐ個のドットのうち、最初の接触によって形成されたドットと最後の接触によって形成されたドットとは異なるドットを示す前記入力画像データを取得する、方法。
8. 請求項２～７のいずれかに記載の方法であって、
   前記付着工程は、前記対象物に特定すべき前記印刷材を付着させて、前記印刷材の複数個のドットを形成する工程であり、
   前記取得工程は、前記複数個のドットに対応する複数個の前記入力画像データを取得する工程であり、
   前記出力工程は、前記複数個の入力画像データを前記機械学習モデルに入力して、前記機械学習モデルに、前記複数個の入力画像データに対応する複数個の前記出力データを出力させる工程であり、
   前記方法は、さらに、
   前記複数個の出力データに基づいて、前記印刷材の種類を特定する工程を備える、方法。
9. 請求項８に記載の方法であって、
   前記付着工程では、前記印刷材の複数個のドットは、同一種類の前記対象物上に形成される、方法。
10. 請求項１～９のいずれかに記載の方法であって、
    前記生成工程では、前記付着工程にて前記対象物に前記印刷材が付着されてから所定の時間が経過した後に、前記イメージセンサを用いて前記対象画像データを生成する、方法。
11. 請求項１～１０のいずれかに記載の方法であって、
    前記印刷装置は、インクを用いて印刷媒体上にドットを形成するインクジェットプリンタであり、
    前記印刷材は、前記インクジェットプリンタのためのインクである、方法。
12. 機械学習モデルをトレーニングする方法であって、
    第１種の印刷材を対象物に付着させる第１付着工程と、
    イメージセンサを用いて前記第１種の印刷材が付着した前記対象物を示す第１対象画像データを生成する第１生成工程と、
    前記第１対象画像データに基づく複数個の第１入力画像データを取得する第１取得工程であって、前記第１入力画像データによって示される第１入力画像は、前記対象物に付着した前記第１種の印刷材と、前記対象物のうちの前記第１種の印刷材が付着していない露出部分と、の間の境界部分を示す第１境界画像を含む、前記第１取得工程と、
    第２種の印刷材を対象物に付着させる第２付着工程と、
    イメージセンサを用いて前記第２種の印刷材が付着した前記対象物を示す第２対象画像データを生成する第２生成工程と、
    前記第２対象画像データに基づく複数個の第２入力画像データを取得する第２取得工程であって、前記第２入力画像データによって示される第２入力画像は、前記対象物に付着した前記第２種の印刷材と、前記対象物のうちの前記第２種の印刷材が付着していない露出部分と、の間の境界部分を示す第２境界画像を含む、前記第２取得工程と、
    前記複数個の第１入力画像データと前記複数個の第２入力画像データとを機械学習モデルに入力して、前記機械学習モデルに、前記複数個の第１入力画像データに対応する複数個の第１出力データと、前記複数個の第２入力画像データに対応する複数個の第２出力データと、を出力させる出力工程と、
    前記複数個の第１出力データと前記複数個の第２出力データとを用いて、前記機械学習モデルにて用いられる複数個のパラメータを調整する調整工程であって、前記複数個のパラメータは、前記複数個の第１出力データが前記第１種の印刷材を示し、前記複数個の第２出力データが前記第２種の印刷材を示すように、調整される、前記調整工程と、
    を備える、方法
13. 印刷装置による印刷に用いられる印刷材の種類の特定するための学習済みモデルであって、
    入力画像を示す入力画像データを取得する取得機能と、
    前記入力画像データに対して、複数個のパラメータを用いて行われる演算であって特定の機械学習アルゴリズムに従う前記演算を行うことによって、前記印刷材の種類を示す出力データを出力する機能と、
    をコンピュータに実現させ、
    前記入力画像データは、イメージセンサを用いて生成される対象画像データであって前記印刷材が付着した対象物を示す前記対象画像データに基づくデータであり、
    前記入力画像は、前記対象物に付着した前記印刷材と、前記対象物のうちの前記印刷材が付着していない露出部分と、の間の境界部分を示す境界画像を含み、
    前記複数個のパラメータは、第１種の印刷材に対応する前記入力画像データである複数個の第１入力画像データと、第２種の印刷材に対応する前記入力画像データでる複数個の第２入力画像データと、を用いたトレーニング処理によって調整済みである、学習済みモデル。
    
    

Images