JP7528645B2

JP7528645B2 - 印刷材の種類を特定する方法、印刷材の種類の特定装置、および、コンピュータプログラム

Info

Publication number: JP7528645B2
Application number: JP2020146204A
Authority: JP
Inventors: 雅英竹内
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2024-08-06
Anticipated expiration: 2040-08-31
Also published as: JP2022041154A

Description

本明細書は、印刷装置による印刷に用いられる印刷材の種類を特定するための技術に関する。

インクやトナーなどの印刷材を用いて画像を印刷する印刷装置において、使用される印刷材の種類を特定したい場合がある。例えば、特許文献１に記載された画像形成装置は、トナーのカートリッジに搭載されたメモリに格納されているデータを読み出し、読み出したデータを用いてトナーが純正品であるか非純正品であるかを特定している。

特開２００９－３００６９４号公報

しかしながら、上記技術では、印刷材の種類を適切に特定することができない可能性があった。

本明細書は、印刷材の種類を適切に特定することができる新たな技術を開示する。

本明細書に開示された技術は、以下の適用例として実現することが可能である。

［適用例１］印刷装置による印刷に用いられる印刷材の種類を特定する方法であって、
特定すべき前記印刷材を対象物に付着させる付着工程と、イメージセンサを用いて前記印刷材が付着した前記対象物を示す対象画像データを生成する生成工程と、前記対象画像データに基づくＭ個（Ｍは２以上の整数）の入力画像データを取得する取得工程であって、前記Ｍ個の入力画像データによって示されるＭ個の入力画像のそれぞれは、前記対象物に付着した前記印刷材を示す、前記取得工程と、前記Ｍ個の入力画像データを機械学習モデルに入力して、前記機械学習モデルに前記Ｍ個の入力画像データに対応するＭ個の出力データを出力させる出力工程であって、前記Ｍ個の出力データのそれぞれは、前記印刷材の種類を示す、前記出力工程と、前記Ｍ個の出力データのうち、第１種の印刷材を示すデータの個数が特定閾値Ｎ（ＮはＭ未満の整数）以上である場合に、特定すべき前記印刷材は前記第１種の印刷材であると特定し、前記Ｍ個の出力データのうち、前記第１種の印刷材を示すデータの個数が前記特定閾値Ｎ未満である場合に、特定すべき前記印刷材は前記第１種の印刷材とは異なる第２種の印刷材であると特定する特定工程と、を備える、方法。

機械学習モデルは、特定すべき印刷材が第２種の印刷材であるにも関わらずに誤って第１種の印刷材を示す出力データを出力する可能性がある。上記構成によれば、Ｍ個の出力データのうち、第１種の印刷材を示すデータの個数が特定閾値Ｎ以上である場合にのみ、特定すべき印刷材は前記第１種の印刷材であると特定するので、特定すべき印刷材が第２種の印刷材であるにも関わらずに、特定すべき印刷材は第１種の印刷材であると誤って特定されることを抑制することができる。したがって、印刷材の種類を適切に特定することができる。

なお、本明細書に開示された技術は、種々の形態で実現可能であり、例えば、印刷材の種類を特定する特定装置、これらの方法、および、装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

本実施例のインク特定システム１０００の構成を示すブロック図。機械学習モデルＤＮの構成を示すブロック図。インクの種類の特定の工程を示すフローチャート。綿棒を用いたドットＤＴの形成の説明図。実施例のインク種特定処理のフローチャート。入力画像の一例を示す図。特定閾値Ｎの決定処理のフローチャート。機械学習モデルＤＮのトレーニングの工程を示すフローチャート。変形例のインク種特定処理のフローチャート。変形例のドットＤＴの形成の説明図。

Ａ．実施例
Ａ－１．インク特定システム１０００の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例のインク特定システム１０００の構成を示すブロック図である。インク特定システム１０００は、データ処理装置１００と、スキャナ２００と、を備えている。

データ処理装置１００は、パーソナルコンピュータやスマートフォンなどの計算機である。データ処理装置１００は、データ処理装置１００のコントローラとしてのＣＰＵ１１０と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置１３０と、操作部１４０と、表示部１５０と、通信インタフェース（ＩＦ）１７０と、を備えている。操作部１４０は、ユーザの操作を受け取る装置であり、例えば、キーボードやマウスである。表示部１５０は、画像を表示する装置であり、例えば、液晶ディスプレイである。通信インタフェース１７０は、外部機器、例えば、スキャナ２００と接続するためのインタフェースである。

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、コンピュータプログラムＰＧが格納されている。

コンピュータプログラムＰＧは、例えば、プリンタ４００の製造者によって提供され、データ処理装置１００にインストールされる。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、スキャナ２００と協働して、後述するインクの種類の特定や、機械学習モデルのトレーニング処理を実行する。

コンピュータプログラムＰＧは、後述する機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋの機能をＣＰＵ１１０に実現させるコンピュータプログラムをモジュールとして含んでいる。

スキャナ２００は、イメージセンサを用いて、原稿を光学的に読み取ることによって、該原稿を含むスキャン画像を示すスキャンデータを生成する。イメージセンサは、例えば、ＣＣＤやＣＭＯＳなどの複数個の光電変換素子が一列に並んで配置された構造を備える一次元イメージセンサである。スキャンデータは、例えば、ＲＧＢ値で画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。スキャナ２００は、データ処理装置１００と通信可能に接続されている。

インク特定システム１０００は、プリンタ４００による印刷に用いられる印刷材であるインクの種類を特定するシステムである。プリンタ４００は、シアンＣ、マゼンタＭ、イエロＹ、ブラックＫの４色のインクを用いてカラー画像を印刷可能なインクジェットプリンタである。プリンタ４００は、ＣＭＹＫのインクカートリッジ４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋが装着されるように構成されている。インクカートリッジ４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋは、それぞれ、シアンＣ、マゼンタＭ、イエロＹ、ブラックＫのインクを収容したカートリッジである。プリンタ４００には、これらのインクカートリッジ４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋからインクが供給される。

用いられるインクの種類として、本実施例では、純正インクと、非純正インクと、の２種類が想定されている。純正インクは、例えば、プリンタ４００の製造者によって製造されるインクであり、プリンタ４００で用いられるために最適化されたインクである。非純正インクは、例えば、プリンタ４００の製造者とは異なる事業者によって製造されるインクである。純正インクと非純正インクとでは、粘性などの特性や成分が互いに異なっている。非純正インクは、純正インクと比較して、プリンタ４００の故障（例えば、印刷ヘッドのノズルの詰まり）を引き起こす可能性がある。このために、例えば、プリンタ４００の故障の原因を調べる際には、プリンタ４００で用いられたインクが純正インクであるか非純正インクであるかを特定することが好ましい。本実施例のインク特定システム１０００は、例えば、このような用途で用いられる。なお、例えば、純正インクのインクカートリッジが空になった後に、該インクカートリッジに非純正インクを収容すること（いわゆるインクの詰め替え）が行われる場合がある。このために、インクカートリッジの外観やインクカートリッジの品番を参照する方法では、インクの種類を適切に特定できない場合がある。このような場合にも、インク特定システム１０００を用いる方法は有効である。

Ａ－２．機械学習モデルの構成
機械学習モデルＤＮｃは、後述するインク種特定処理において、Ｃのインクの種類を特定する際に用いられる。機械学習モデルＤＮｍ、ＤＮｙ、Ｄｋは、同様に、Ｍ、Ｙ、Ｋのインクの種類を特定する際に、それぞれ、用いられる。機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋは、後述するトレーニング処理によってトレーニングされた学習済みのモデルである。機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋは、ＣＰＵ１１０がコンピュータプログラムＰＧを実行することによって実現される。

図２は、機械学習モデルＤＮの構成を示すブロック図である。４個の機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋは、それぞれ、図２に機械学習モデルＤＮとして示す構成を有している。機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋは、トレーニングに用いられる画像データ群が互いに異なる。例えば、Ｃインク用の機械学習モデルＤＮｃは、Ｃインクを用いて形成されたドットを示す画像データを用いてトレーニングされている。Ｍインク用の機械学習モデルＤＮｍは、Ｍインクを用いて形成されたドットを示す画像データを用いてトレーニングされている。このために、学習済みの機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋでは、機械学習モデルにて用いられる複数個の演算パラメータの値が互いに異なっている。

図２の機械学習モデルＤＮには、入力データとして、入力画像データＤｉｎが入力される。入力画像データＤｉｎは、入力画像ＤＩを示す画像データである。入力画像ＤＩは、後述するように、インクを用いて用紙Ｓの表面に形成されたドットを示す画像である。本実施例の入力画像データＤｉｎは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ画像データである。

入力画像データＤｉｎは、（２５６×２５６）個の画素のそれぞれの３個の成分値（Ｒ値、Ｇ値、Ｂ値）を含むので、（２５６×２５６×３）個の値を含むデータ、すなわち、（２５６×２５６×３）次元のデータである。

機械学習モデルＤＮは、入力画像データＤｉｎによって示されるインクの種類を識別する識別ネットワークである。ここで、「入力画像データＤｉｎによって示されるインク」とは、入力画像データＤｉｎによって示される入力画像ＤＩ内のドットの形成に用いられたインクを意味するものとする。機械学習モデルＤＮは、入力画像データＤｉｎが入力されると、複数個の演算パラメータＰｄ、Ｐｄｎ（後述）を用いた演算処理を実行して、入力画像データＤｉｎによって示されるインクの種類を識別した結果を示す出力データＤｏｕｔを出力する。

具体的には、出力データＤｏｕｔは、識別すべきインクの種類にそれぞれ対応する複数個の値を含む。本実施例では、識別すべきインクの種類は、純正インクと非純正インクとの２種類であるので、出力データＤｏｕｔは、純正インクに対応する値Ｖｏ１と、非純正インクに対応する値Ｖｏ２と、を含む２次元のデータである。例えば、２個の値Ｖｏ１、Ｖｏ２は、それぞれ、０以上１以下の範囲の値であり、２個の値Ｖｏ１、Ｖｏ２の和は１である。後述するトレーニングにて、２個の値Ｖｏ１、Ｖｏ２のうち、入力画像データＤｉｎによって示されるインクに対応する一の値が１に近づき、対応しない他の値が０に近づくように、機械学習モデルＤＮはトレーニングされている。このために、機械学習モデルＤＮは、入力画像データＤｉｎによって示されるインクの種類を適切に示す出力データＤｏｕｔを出力することができる。

図２に示すように、機械学習モデルＤＮは、特徴抽出部ＣＥＸと、クラス分類部ＣＬＳと、を備えている。

特徴抽出部ＣＥＸは、入力される入力画像データＤｉｎの特徴を抽出する。特徴抽出部ＣＥＸは、複数個の層Ｌ＿０～Ｌ＿１８を有するコンボリューションニューラルネットワークである。入力層Ｌ＿０は、入力画像データＤｉｎが入力される層である。１番目の畳込層Ｌ＿１には、入力層Ｌ＿０に入力された入力画像データＤｉｎがそのまま入力される。

畳込層Ｌ＿１、Ｌ＿２、Ｌ＿４、Ｌ＿５、Ｌ＿７～Ｌ＿９、Ｌ＿１１～Ｌ＿１３、Ｌ＿１５～Ｌ＿１７は、畳込処理(convolution)とバイアスの加算処理と、を実行する。畳込処理は、入力されたデータに対して、（ｐ×ｑ×ｒ）次元のｓ個のフィルタを順次に適用して入力されたデータとフィルタとの相関を示す相関値を算出する処理である。各フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。１個のフィルタは、（ｐ×ｑ×ｒ）個の重みを含んでいる。バイアスの加算処理は、算出された相関値に、１個のフィルタに対して１個ずつ準備されたバイアスを加算する処理である。ｓ個のフィルタに含まれる（ｐ×ｑ×ｒ×ｓ）個の重みと、ｓ個のフィルタに対応するｓ個のバイアスと、は、上述した複数個の演算パラメータＰｄである。

各畳込層によって生成されるデータの各値は、上述した相関値にバイアスを加えた値である。各畳込層によって生成されるデータに含まれるデータの個数（例えば、畳込層Ｌ＿１の場合は（Ａ_１×Ｂ_１×Ｃ_１））は、畳込処理におけるストライド（フィルタをスライドさせる量）と、フィルタの個数ｓと、によって決定される。

畳込層によって生成されるデータは、後処理として、活性化関数に入力されて変換された後に、次の層（畳込層またはプーリング層）に入力される。本実施例では、活性化関数には、ReLUが用いられる。

プーリング層Ｌ＿３、Ｌ＿６、Ｌ＿１０、Ｌ＿１４、Ｌ＿１８は、マックスプーリング（MaxPooling）を行って、入力されたデータの次元数を削減する。マックスプーリングは、いわゆるダウンサンプリングによって次元数を削減する処理であり、所定サイズ（例えば、２×２）のウィンドウを所定のストライド（例えば、２）でスライドさせつつ、ウィンドウ内の最大値を選択することによって次元数を削減する。プーリング層によって生成されるデータは、そのまま、次の層（畳込層または後述する全体平均プーリング層Ｌ＿１９）に入力される。

本実施例では、特徴抽出部ＣＥＸには、ＶＧＧ１６と呼ばれるニューラルネットワークのうちの全結合層を除いた部分がそのまま用いられる。ＶＧＧ１６は、ＩｍａｇｅＮｅｔと呼ばれる画像データベースに登録された画像データを用いてトレーニングされた学習済みのニューラルネットワークであり、その学習済みの演算パラメータは一般公開されている。本実施例では、特徴抽出部ＣＥＸの複数個の演算パラメータＰｄには、公開された学習済みの演算パラメータが用いられる。このために、本実施例では、特徴抽出部ＣＥＸに含まれる複数個の演算パラメータＰｄは、後述するトレーニング処理では調整されない。

クラス分類部ＣＬＳには、特徴抽出部ＣＥＸによって生成されるデータ、すなわち、特徴抽出部ＣＥＸのプーリング層Ｌ＿１８によって生成されるデータが入力される。クラス分類部ＣＬＳは、該データに対して複数個の演算パラメータＰｄｎを用いた演算処理を実行して、出力データＤｏｕｔを生成する。

クラス分類部ＣＬＳは、全体平均プーリング層Ｌ＿１９と、全結合層Ｌ＿２０、Ｌ２１を有するニューラルネットワークである。

全体平均プーリング層Ｌ＿１９は、入力されるデータの各チャネルの複数個の値の平均値をとることで、データの次元数を削減する。

全体平均プーリング層Ｌ＿１９によって生成されるデータは、全結合層Ｌ＿２０に入力される。全結合層Ｌ＿２０は、一般的なニューラルネットワークで用いられる全結合層と同様の層である。全結合層Ｌ＿２０は、Ｍ次元のデータ（Ｍ個の値（Ｍは２以上の整数））が入力されると、Ｎ次元のデータ（Ｎ個の値（Ｎは２以上の整数））を出力する。出力されるＮ個の値のそれぞれは、入力されるＭ個の値から成るベクトルとＮ個の重みから成るベクトルとの内積に、バイアスを加えた値（内積＋バイアス）である。これらの（Ｍ×Ｎ）個の重みとＮ個のバイアスは、上述した演算パラメータＰｄｎであり、後述するトレーニング処理によって調整される値である。

全結合層Ｌ＿２０によって生成された各値は、後処理として、活性化関数に入力されて変換される。活性化関数には、例えば、ReLUが用いられる。なお、トレーニング処理では、さらに、後処理として、いわゆるドロップアウトが行われる。ドロップアウトは、過学習を抑制するために、ランダムに選択された一部の値を無効化（０にする）する処理である。使用時（推論時とも呼ぶ。）には、ドロップアウトは行われない。

全結合層Ｌ＿２０によって生成されるＮ次元のデータは、全結合層Ｌ＿２１に入力される。全結合層Ｌ＿２１は、全結合層Ｌ＿２０と同様の処理によって、２次元のデータ（２個の値）を生成する。全結合層Ｌ２１にて用いられる（Ｎ×２）個の重みと２個のバイアスは、上述した演算パラメータＰｄｎであり、後述するトレーニング処理によって調整される値である。

全結合層Ｌ＿２１によって生成された２個の値は、後処理として、活性化関数に入力されて変換される。活性化関数には、SoftMaxが用いられる。活性化関数によって変換済みの２個の値は、上述した出力データＤｏｕｔである。

Ａ－３．インクの種類の特定
図３は、インクの種類の特定の工程を示すフローチャートである。この工程は、プリンタ４００にて用いられるＣＭＹＫの４色のインクのそれぞれを対象インクとして行われる。

Ｓ１１０では、作業者は、棒状の部材である綿棒ＳＷを用いて、対象インク（例えば、Ｃインク）の複数個のドットＤＴを用紙Ｓ上に形成する。図４は、綿棒を用いたドットＤＴの形成の説明図である。図４（Ａ）には、ドットＤＴの形成の様子を示す斜視図が示されている。図４（Ｂ）には、ドットＤＴが形成された用紙Ｓが図示されている。

作業者は、印刷に用いられる用紙Ｓ（例えば、Ａ４サイズの普通紙）と、一般的に販売されている綿棒ＳＷと、を用意する。作業者は、対象インクのインクカートリッジ（例えば、Ｃインクのインクカートリッジ４２０Ｃ）をプリンタ４００から取り外して、インクカートリッジ内に残存している対象インクをシャーレなどに取り出す。なお、対象インクは、インクカートリッジからプリンタ４００の印刷ヘッドのノズル（図示省略）に至るインクの経路に残存しているインクであっても良い。作業者は、シャーレ内の対象インクに綿棒ＳＷの先端を浸して、綿棒ＳＷの先端に対象インクを付着させる。作業者は、対象インクが付着した状態の綿棒ＳＷの先端を、用紙Ｓの表面に接触させる。これによって、円形の１個のドットＤＴが用紙Ｓ上に形成される。ドットＤＴの直径は、プリンタ４００の印刷ヘッド（図示省略）によって印刷のために形成されるドットの直径よりも大幅に大きな値（例えば、数１００倍～１０００倍の値）であり、例えば、２～８ｍｍである。

作業者は、この作業を、綿棒ＳＷを接触させるＸ方向の位置をＸ方向の上流側から下流側に向かって変更しながらＰ回（Ｐは３以上の整数、図４の例ではＰ＝１０）に亘って繰り返す。すなわち、綿棒ＳＷの先端は、用紙ＳのＰ個の互いに異なる位置に順次に接触する。これによって、Ｐ個のドットＤＴを含むドット行ＤＲ（図４）が形成される。１個のドット行ＤＲの形成中には、綿棒ＳＷの先端に、再度、対象インクを付着し直す作業は行わない。

１個のドット行ＤＲが形成されると、作業者は、シャーレ内の対象インクに綿棒ＳＷの先端を、再度、浸して、綿棒ＳＷの先端に対象インクを付着させる。作業者は、綿棒ＳＷを接触させるＹ方向の位置を変更して、前のドット行ＤＲの形成作業と同様の作業を行って、次のドット行ＤＲを形成する。作業者は、この作業を繰り返して、Ｑ行（Ｑは１以上の整数、例えば、Ｑ＝２）のドット行ＤＲを形成する。この結果、用紙Ｓ上には、（Ｐ×Ｑ）個のドットＤＴが形成される。

作業者は、印刷に用いられるＲ色のインク（本実施例ではＣＭＹＫの４色であるのでＲ＝４）をそれぞれ対象インクとして、上述の作業を行う。これによって、図４（Ｂ）に示すように、用紙Ｓ上には、Ｒ色のインクのそれぞれについて、（Ｐ×Ｑ）個ずつのドットＤＴ、すなわち、（Ｒ×Ｐ×Ｑ）個のドットＤＴが形成される。

Ｓ１２０では、作業者は、所定の乾燥時間（例えば、３０分）の経過を待つ。これによって、用紙Ｓ上に形成された複数個のドットＤＴは安定した状態になる。

Ｓ１３０では、用紙ＳのドットＤＴが形成された面を光学的に読み取ることによって、スキャンデータが生成される。例えば、作業者は、ドットＤＴが形成された用紙Ｓを、スキャナ２００の原稿台に配置する。スキャナ２００は、作業者の操作に応じて、用紙Ｓを読み取って、用紙Ｓを示すスキャンデータを生成して、該スキャンデータをデータ処理装置１００に送信する。データ処理装置１００は、通信インタフェース１７０を介してスキャンデータを受信し、該スキャンデータを揮発性記憶装置１２０に格納する。図４（Ｂ）は、該スキャンデータによって示されるスキャン画像ＳＩを示す図とも言うことができる。以下では、スキャン画像ＳＩにおいて、ドットＤＴを示す画像（オブジェクト）を、単に、ドットＤＴと表現する。

Ｓ１４０では、ＣＰＵ１１０は、インク種特定処理を実行する。インク種特定処理は、ＣＭＹＫの４色の対象インクのそれぞれについて、対象インクが純正インクであるか非純正インクであるかを特定する処理である。

図５は、実施例のインク種特定処理のフローチャートである。Ｓ２２０では、ＣＰＵ１１０は、ＣＭＹＫの４色の中から１つの注目色を選択する。Ｓ２３０では、ＣＰＵ１１０は、注目色のインクの種類を特定するための特定閾値Ｎを取得する。ＣＭＹＫの４色のインクに対応する特定閾値Ｎｃ、Ｎｍ、Ｎｙ、Ｎｋは、予め後述する方法によって決定され、特定閾値Ｎｃ、Ｎｍ、Ｎｙ、Ｎｋを示す情報は、不揮発性記憶装置１３０に保存されている。特定閾値Ｎｃ、Ｎｍ、Ｎｙ、Ｎｋの決定方法については、後述する。特定閾値Ｎは、例えば、２以上の整数値であり、本実施例では、インク色ごとに異なる値を取り得る。

Ｓ２４０では、データ処理装置１００のＣＰＵ１１０は、スキャンデータを用いて、注目色のインクのドットを示すＭ個（Ｍは２以上の整数）の入力画像データＤｉｎを生成する。具体的には、ＣＰＵ１１０は、スキャン画像ＳＩに示される注目色の（Ｐ×Ｑ）個のドットＤＴのうち、所定の使用範囲ＵＡ内に位置する複数個の使用ドットＤＴｓを特定する（図４（Ｂ））。複数個の使用ドットＤＴｓは、各ドット行ＤＲに含まれるＰ個のドットＤＴのうち、上流ドットＤＴｕと下流ドットＤＴｄとを除いたドットである。

上流ドットＤＴｕは、Ｘ方向の上流側に位置する所定数（図４（Ｂ）の例では２個）のドットである。上流ドットＤＴｕは、綿棒ＳＷに過剰な量の対象インクが付着した状態で形成される。このために、上流ドットＤＴｕは、過剰な量の対象インクで形成されている可能性があるので、上流ドットＤＴｕは使用されない。

下流ドットＤＴｄは、Ｘ方向の下流側に位置する所定数（図４（Ｂ）の例では２個）のドットである。下流ドットＤＴｄは、綿棒ＳＷに過小な量の対象インクが付着した状態で形成される。このために、下流ドットＤＴｄは、過小な量の対象インクで形成されている可能性があるので、下流ドットＤＴｄは使用されない。

図４（Ｂ）の例では、各ドット行ＤＲに含まれる１０個のドットＤＴのうち、Ｘ方向の上流側から数えて３番目から８番目までのドットが、使用ドットＤＴｓとして特定される。換言すれば、使用ドットＤＴｓは、綿棒ＳＷに対象インクを付着させた後に、再度、対象インクを追加で綿棒ＳＷに付着させることなく形成される１０個のドットＤＴのうち、最初に形成される２個のドットと、最後に形成される２個のドットを除いたドットである。

スキャン画像ＳＩにおける使用ドットＤＴｓの位置は、例えば、ドットの色と形状とに基づくパターンマッチングによって特定される。変形例では、ユーザがマウスなどのポインティングデバイスを用いて使用ドットＤＴｓの位置を指定することによって特定されても良い。また、ドットＤＴが用紙Ｓの予め定められた位置に形成されていることが保証されていれば、スキャン画像ＳＩ上における予め定められた位置が使用ドットＤＴｓの位置として用いられても良い。

ＣＰＵ１１０は、使用ドットＤＴｓを１個ずつ含む所定サイズの矩形領域ＳＡをスキャン画像ＳＩからクロッピングして、１個の矩形領域ＳＡを示す部分画像データを取得する。ＣＰＵ１１０は、部分画像データに対して拡大処理を実行することによって、画像サイズを調整して１個の入力画像データＤｉｎを生成する。生成される入力画像データＤｉｎの個数Ｍは、使用ドットＤＴｓの個数と同数であり、本実施例では、各色１２個ずつである。入力画像データＤｉｎは、ＲＧＢ画像データである。

図６は、入力画像の一例を示す図である。図６（Ａ）には、本実施例の入力画像データＤｉｎによって示される入力画像ＤＩが示されている。入力画像ＤＩのＹ方向の画素数とＸ方向の画素数は、本実施例では、それぞれ、２５６である。入力画像ＤＩは、使用ドットＤＴｓの全体と、使用ドットＤＴｓの周囲に位置する背景Ｂｇと、を含んでいる。使用ドットＤＴｓは、用紙Ｓに付着した対象インクを示す画像と言うことができる。背景Ｂｇは、用紙Ｓのうちの対象インクが付着していない露出部分を示す画像と言うことができる。

入力画像ＤＩは、使用ドットＤＴｓと背景Ｂｇとの境界部分ＢＡを示す画像（境界画像とも呼ぶ）を含んでいる。使用ドットＤＴｓと背景Ｂｇとの境界は、実際には明確に分かれている訳ではない。使用ドットＤＴｓと背景Ｂｇとの境界部分ＢＡは、例えば、対象インクの付着量が中央部分ＣＡよりも少なく、薄い色を示す部分や、いわゆる滲みを示す部分を含む。

入力画像ＤＩは、上述のように、使用ドットＤＴｓの全体と、その周囲に位置する背景Ｂｇを含んでいる。すなわち、入力画像ＤＩにおいて境界部分ＢＡを示す画像は、使用ドットＤＴｓの全周に亘る外縁と、外縁に沿って使用ドットＤＴｓの全周を囲む背景Ｂｇと、の境界部分を示す画像である。

Ｓ２５０では、ＣＰＵ１１０は、生成されたＭ個の入力画像データＤｉｎを、それぞれ、機械学習モデルＤＮに入力する。これによって、Ｍ個の入力画像データＤｉｎに対応するＭ個の出力データＤｏｕｔが生成される。各出力データＤｏｕｔは、上述したように、純正インクに対応する値Ｖｏ１と、非純正インクに対応する値Ｖｏ２と、を含む２次元のデータである。使用される機械学習モデルＤＮは、図１の４個の機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋのうち、注目色に対応する機械学習モデルである。

Ｓ２６０では、ＣＰＵ１１０は、Ｍ個の出力データＤｏｕｔのうち、非純正インクを示す出力データの個数Ｌ（Ｌは、０以上Ｍ以下の整数）を算出する。例えば、判定対象の出力データＤｏｕｔの値Ｖｏ１が閾値ＴＨ１以上である場合には、該出力データＤｏｕｔは、純正インクを示すと判定される。判定対象の出力データＤｏｕｔの値Ｖｏ１が閾値ＴＨ１未満である場合には、該出力データＤｏｕｔは、非純正インクを示すと判定される。そして、非純正インクを示すと判定された出力データの個数Ｌが算出される。

Ｓ２７０では、ＣＰＵ１１０は、算出された個数Ｌが、Ｓ２３０にて取得済みの特定閾値Ｎ以上であるか否かを判断する。個数Ｌが特定閾値Ｎ以上である場合には（Ｓ２７０：ＹＥＳ）、Ｓ２８０にて、ＣＰＵ１１０は、注目色の対象インクは非純正インクであると特定する。個数Ｌが特定閾値Ｎ未満である場合には（Ｓ２７０：ＮＯ）、Ｓ２９０にて、ＣＰＵ１１０は、注目色の対象インクは純正インクであると特定する。

Ｓ２９５では、ＣＰＵ１１０は、ＣＭＹＫの全てのインク色を注目色として処理したか否かを判定する。未処理のインク色がある場合には（Ｓ２９５：ＮＯ）、ＣＰＵ１１０は、Ｓ２２０に戻る。全てのインク色について処理された場合には（Ｓ２９５：ＹＥＳ）、ＣＰＵ１１０は、インク種特定処理を終了する。

Ａ－４．特定閾値Ｎの決定処理
図５のＳ２３０にて取得される特定閾値Ｎ、すなわち、ＣＭＹＫの４色のインクに対応する特定閾値Ｎｃ、Ｎｍ、Ｎｙ、Ｎｋの決定処理について説明する。この特定閾値Ｎｃ、Ｎｍ、Ｎｙ、Ｎｋは、インク種特定処理にて使用される機械学習モデルの誤判定率と、インク種特定処理におけるインクの種類の誤特定率の目標値と、に基づいて決定される。このために、この決定処理は、例えば、機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋが更新される時や、誤特定率の目標値が更新される時に、実行される。

図７は、特定閾値Ｎの決定処理のフローチャートである。Ｓ３００では、ＣＰＵ１１０は、ＣＭＹＫの４色の中から１つの注目色を選択する。

Ｓ３１０では、ＣＰＵ１１０は、機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋのうちの注目色用の機械学習モデルＤＮの誤判定率Ｅを取得する。誤判定率Ｅは、機械学習モデルＤＮが純正インクを誤って非純正インクであると判定する確率である。換言すれば、機械学習モデルＤＮの誤判定率Ｅは、機械学習モデルＤＮに純正インクのドットを示す１個の入力画像データＤｉｎが入力された場合に、機械学習モデルＤＮが非純正インクであることを示す出力データＤｏｕｔを出力する確率である。誤判定率Ｅは、例えば、所定数（例えば、１０００個）の純正インクのドットを示す入力画像データＤｉｎを用いて、実験的に決定される。

機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋの誤判定率Ｅｃ、Ｅｍ、Ｅｙ、Ｅｋは、例えば、機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋの作成者によって決定され、機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋが更新される際に、機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋの更新データとともにデータ処理装置１００に保存されている。誤判定率Ｅｃ、Ｅｍ、Ｅｙ、Ｅｋは、０より大きく１より小さな値であり、例えば、０．００１～０．０１程度の比較的小さな値である。

Ｓ３２０では、ＣＰＵ１１０は、インク種特定処理の誤特定率ＴＥの目標値ＴＥｔを取得する。インク種特定処理の誤特定率ＴＥは、図５のインク取得処理によるインクの種類の特定（図５のＳ２８０）において、対象インクが純正インクであるにも関わらず、対象インクが非純正インクであると誤って特定される確率である。誤特定率ＴＥは、０より大きく１より小さな値である。目標値ＴＥｔは、予め定められてコンピュータプログラムＰＧに組み込まれた値である。これに代えて、目標値ＴＥｔは、例えば、インク特定システム１０００の使用者によって決定されて、データ処理装置１００に入力されても良い。目標値ＴＥｔは、例えば、機械学習モデルの誤判定率Ｅｃ、Ｅｍ、Ｅｙ、Ｅｋよりもさらに小さな値である。目標値ＴＥｔは、本実施例では、４色のインクに共通の値である。これに代えて、目標値ＴＥｔは、本実施例では、インク色ごとに異なる値であっても良い。

Ｓ３３０では、ＣＰＵ１１０は、インク種特定処理の誤特定率ＴＥが目標値ＴＥｔよりも小さくなるように、注目色の特定閾値Ｎの１以上の候補値を決定する。本実施例では、特定閾値Ｎは、１以上Ｍ以下の整数ｎを取り得る。Ｍは、上述のように、インク取得処理にて用いられる入力画像データＤｉｎおよび出力画像データＤｏｕｔの個数Ｍ（Ｍは２以上の整数）である。特定閾値Ｎをｎ（ｎは１以上Ｍ以下の整数）とした場合におけるインク取得処理の誤特定率ＴＥｎは、誤判定率Ｅと出力画像データＤｏｕｔの個数Ｍとを用いて以下の式（１）で表される。

式（１）の_ＭＣ_ｉは、Ｍ個の選択肢の中からｉ個を選択する組み合わせの数である。式（１）の_ＭＣ_ｉは、出力データのうち、ｉ個の出力データが純正インクを非純正インクであると誤判定し、（Ｍ－ｉ）個の出力データが純正インクを純正インクであると正しく判定している場合に起こりえるＭ個の出力データのパターンの数を表している。誤特定率ＴＥｎが目標値ＴＥｔよりも小さくなるようなｎ（ＴＥｎ＜ＴＥｔを満たすｎ）が、特定閾値Ｎの候補値となる。ｎが大きいほど、誤特定率ＴＥｎは小さくなるので、ＣＰＵ１１０は、ｎが小さい順に（ｎ＝１、２、３…の順に）誤特定率ＴＥｎを計算し、最初にＴＥｎ＜ＴＥｔを満たすｎを特定した時点で計算を終了する。最初にＴＥｎ＜ＴＥｔを満たすｎをｎ１とすると、ｎ１以上Ｍ未満の整数が、特定閾値Ｎの候補値である。

Ｓ３４０では、ＣＰＵ１１０は、特定閾値Ｎの候補値のうちの最小値を、特定閾値Ｎとして決定する。本実施例では、上述のように、ｎ１以上Ｍ未満の整数が、特定閾値Ｎの候補値であるので、最小値であるｎ１が、注目色の特定閾値Ｎとして決定される。

Ｓ３５０では、ＣＰＵ１１０は、ＣＭＹＫの全てのインク色を注目色として処理したか否かを判定する。未処理のインク色がある場合には（Ｓ３５０：ＮＯ）、ＣＰＵ１１０は、Ｓ３００に戻る。全てのインク色について処理された場合には（Ｓ３５０：ＹＥＳ）、すなわち、ＣＭＹＫの４色のインクに対応する特定閾値Ｎｃ、Ｎｍ、Ｎｙ、Ｎｋが決定された場合には、ＣＰＵ１１０は、特定閾値Ｎの決定処理を終了する。

Ａ－５．機械学習モデルＤＮのトレーニング
上述した学習済みの機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋは、入力画像データＤｉｎが入力された場合に、所望の出力データＤｏｕｔを生成できるように、事前にトレーニングされている。以下では、１つのインク色の機械学習モデルＤＮのトレーニングについて説明する。このトレーニング処理が、ＣＭＹＫの４色のインクのそれぞれを対象色として４回実行されることによって、学習済みの機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋが生成される。機械学習モデルＤＮのトレーニングは、例えば、プリンタ４００を製造する事業者によって実行される。

図８は、機械学習モデルＤＮのトレーニングの工程を示すフローチャートである。この工程は、プリンタ４００にて用いられるＣＭＹＫの４色のインクのそれぞれを対象色として行われる。

Ｓ４００では、作業者は、綿棒ＳＷを用いて、対象色（例えば、Ｃ）を有する純正インクの複数個のドットＤＴを用紙Ｓ上に形成する。ドットＤＴの形成の方法は、図３のＳ１１０について図４を参照して説明した方法と同一である。ただし、トレーニングでは、より多数のドットＤＴ、例えば、数百個～数千個のドットＤＴが複数枚の用紙Ｓに亘って形成される。複数枚の用紙Ｓには、同一種類の用紙が用いられる。用紙Ｓの種類によって、インクの滲み方などの特性が異なり得る。このため、仮に異なる種類の用紙が用いられると、用紙の種類に起因した差異が形成されるドットＤＴに現れてしまう可能性がある。

Ｓ４０５では、作業者は、綿棒ＳＷを用いて、対象色を有する非純正インクの複数個のドットＤＴを用紙Ｓ上に形成する。ドットＤＴの形成の方法、および、形成されるドットＤＴの個数は、Ｓ４００の純正インクのドットの形成と同一である。非純正インクのドットＤＴの形成に用いられる用紙Ｓは、Ｓ４００の純正インクのドットの形成で用いられる用紙Ｓと同一種類の用紙である。

Ｓ４１０では、作業者は、図３のＳ１２０と同様に、所定の乾燥時間（例えば、３０分）の経過を待つ。

Ｓ４１５では、スキャナ２００を用いて、純正インクのドットＤＴが形成された複数枚の用紙Ｓと非純正インクのドットＤＴが形成された複数枚の用紙Ｓのそれぞれを光学的に読み取ることによって、複数個のスキャンデータが生成される。各スキャンデータによって示されるスキャン画像は、図４（Ｂ）のスキャン画像ＳＩと同様の画像である。複数個のスキャンデータは、データ処理装置１００の揮発性記憶装置１２０または不揮発性記憶装置１３０に格納される。

Ｓ４２０では、データ処理装置１００のＣＰＵ１１０は、複数個のスキャンデータを用いて、複数個の入力画像データＤｉｎを生成する。例えば、純正インクのドットＤＴを示す所定個数（例えば、数百個～数千個）の入力画像データＤｉｎ１と、非純正インクのドットＤＴを示す所定個数の入力画像データＤｉｎ２と、が生成される。各スキャンデータから複数個の入力画像データＤｉｎを生成する方法は、図５のＳ２４０にて説明した方法と同一である。各入力画像データＤｉｎによって示される入力画像は、図６（Ａ）の入力画像ＤＩと同様の画像である。

Ｓ４２５では、ＣＰＵ１１０は、純正インクおよび非純正インクの入力画像データＤｉｎに対して、データ拡張処理を実行して、追加の入力画像データＤｉｎを生成する。データ拡張処理は、入力画像データＤｉｎに対して、画像を回転する回転処理、画像を上下や左右に反転させる反転処理、拡大処理、縮小処理のうちの少なくとも１つを実行して、新たな入力画像データＤｉｎを生成する処理である。これによって、純正インクおよび非純正インクの入力画像データＤｉｎの個数は、数倍に増加される。

Ｓ４３０では、ＣＰＵ１１０は、生成された複数個の入力画像データＤｉｎのそれぞれに対応する教師データを生成する。教師データは、対応する入力画像データＤｉｎによって示されるドットＤＴの形成に用いられたインクの種類を正しく示す理想的な出力データＤｏｕｔである。純正インクのドットＤＴを示す入力画像データＤｉｎ１には、純正インクを示す教師データが対応付けられ、非純正インクのドットＤＴを示す入力画像データＤｉｎ２には、非純正インクを示す教師データが対応付けられる。例えば、ユーザが、ドットＤＴの形成に用いられたインクの種類を示す情報を用紙Ｓごとにデータ処理装置１００に入力し、ＣＰＵ１１０は、入力された情報に基づいて教師データを生成する。生成された教師データは、入力画像データＤｉｎと対応付けて、不揮発性記憶装置１３０に格納される。

Ｓ４３５では、ＣＰＵ１１０は、機械学習モデルＤＮのクラス分類部ＣＬＳの複数個の演算パラメータＰｄｎを初期化する。例えば、これらの演算パラメータＰｄｎの初期値は、同一の分布（例えば、正規分布）から独立に取得された乱数に設定される。

Ｓ４４０では、ＣＰＵ１１０は、複数個の入力画像データＤｉｎの中から、バッチサイズ分の入力画像データＤｉｎを選択する。例えば、複数個の入力画像データＤｉｎは、Ｖ個（Ｖは２以上の整数、例えば、Ｖ＝１００）ずつの入力画像データＤｉｎをそれぞれ含む複数個のグループ（バッチ）に分割される。ＣＰＵ１１０は、これらの複数個のグループから１個のグループを順次に選択することによって、Ｖ個の使用すべき入力画像データＤｉｎを選択する。これに代えて、Ｖ個ずつの入力画像データＤｉｎは、複数個の入力画像データＤｉｎから、毎回、ランダムに選択されても良い。

Ｓ４４５では、ＣＰＵ１１０は、選択されたＶ個の入力画像データＤｉｎを機械学習モデルＤＮに入力して、Ｖ個の出力データＤｏｕｔを生成する。Ｖ個の出力データＤｏｕｔは、純正インクの入力画像データＤｉｎ１に対応する出力データＤｏｕｔ１と、非純正インクの入力画像データＤｉｎ２に対応する出力データＤｏｕｔ２と、を含み得る。

Ｓ４５０では、ＣＰＵ１１０は、Ｖ個の出力データＤｏｕｔのそれぞれについて、出力データＤｏｕｔと、該出力データＤｏｕｔに対応する教師データと、の間の誤差値ＥＶを算出する。誤差値ＥＶは、所定の損失関数に基づいて算出される。例えば、誤差値ＥＶの算出には、平均二乗誤差（MSE（Mean Squared Error））が用いられる。

Ｓ４５５では、ＣＰＵ１１０は、Ｖ個の誤差値ＥＶを用いて、クラス分類部ＣＬＳの複数個の演算パラメータＰｄｎを調整する。具体的には、ＣＰＵ１１０は、誤差値ＥＶが小さくなるように、すなわち、出力データＤｏｕｔと教師データとの差分が小さくなるように、所定のアルゴリズムに従って演算パラメータＰｄｎを調整する。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（例えば、ａｄａｍ）が用いられる。

Ｓ４６０では、ＣＰＵ１１０は、トレーニングが完了したか否かを判断する。本実施例では、作業者からの完了指示が入力された場合にはトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にはトレーニングが完了していないと判断する。例えば、ＣＰＵ１１０は、トレーニング用に用いられた入力画像データＤｉｎとは別の複数個のテスト用の入力画像データＤｉｎを、機械学習モデルＤＮに入力して、複数個の出力データＤｏｕｔを生成する。作業者は、複数個の出力データＤｏｕｔを評価して、トレーニングを終了するか否かを判断する。作業者は、確認結果に応じて、操作部１４０を介して、トレーニングの完了指示または継続指示を入力する。変形例では、例えば、Ｓ４４０～Ｓ４５５の処理が所定回数だけ繰り返された場合に、トレーニングが完了されたと判断されても良い。

トレーニングが完了していないと判断される場合には（Ｓ４６０：ＮＯ）、ＣＰＵ１１０は、Ｓ４４０に処理を戻す。トレーニングが完了したと判断される場合には（Ｓ４６０：ＹＥＳ）、ＣＰＵ１１０は、機械学習モデルＤＮのトレーニングを終了する。トレーニングが終了した時点で、機械学習モデルＤＮは、演算パラメータＰｄｎが調整された学習済みモデルになっている。したがって、このトレーニングは、学習済みの機械学習モデルＤＮを生成（製造）する処理である、と言うことができる。

以上説明した本実施例のインクの種類の特定（図３）では、インクを用紙Ｓに付着させる付着工程（図３のＳ１１０）と、インクが付着した用紙Ｓを示すスキャンデータを生成する生成工程（図３のＳ１３０）と、スキャンデータに基づくＭ個の入力画像データＤｉｎを取得する取得工程（図５のＳ２４０）と、Ｍ個の入力画像データＤｉｎを機械学習モデルＤＮに入力して、Ｍ個の出力データＤｏｕｔを出力させる出力工程（図５のＳ２５０）と、が実行される。さらに、Ｍ個の出力データＤｏｕｔのうち、非純正インクを示すデータの個数Ｌが特定閾値Ｎ以上である場合に（図５のＳ２７０にてＹＥＳ）、特定すべき対象インクは非純正インクであると特定し（図５のＳ２８０）、非純正インクを示すデータの個数Ｌが特定閾値Ｎ未満である場合に（図５のＳ２７０にてＮＯ）、対象インクは純正インクであると特定する（図５のＳ２９０）特定工程が実行される。機械学習モデルＤＮは、対象インクが純正インクであるにも関わらずに誤って非純正インクを示す出力データＤｏｕｔを出力する可能性がある。本実施例によれば、Ｍ個の出力データＤｏｕｔのうち、非純正インクを示すデータの個数Ｌが特定閾値Ｎ以上である場合にのみ、対象インクは非純正インクであると特定するので、対象インクが誤って非純正インクであると特定されることを抑制することができる。したがって、対象インクの種類を適切に特定することができる。例えば、１個の入力画像データＤｉｎに対応する１個の出力データＤｏｕｔのみを用いて、対象インクの種類を特定する場合と比較して、対象インクが誤って非純正インクであると特定される確率を低くすることができる。また、本実施例のように、プリンタ４００の故障の原因を調べる際には、純正インクが非純正インクであると誤って特定されると、プリンタ４００に存在する故障原因を見逃しかねない。したがって、プリンタ４００の故障の原因を調べる際には、純正インクが非純正インクであると誤って特定されることは、非純正インクが純正インクであると誤って特定されることよりも問題が大きいと考えられる。本実施例によれば、対象インクが誤って非純正インクであると特定される確率を低くすることができるので、例えば、プリンタ４００の故障の原因を調べる際に有用である。

さらに、本実施例では、プリンタ４００で用いられるＣＭＹＫの複数色のインクごとに別々の特定閾値Ｎを用いて、各色のインクの種類を特定する（図５のＳ２３０、Ｓ２７０）。例えば、ＣＰＵ１１０は、特定すべき対象インクがＣインクである場合には、特定閾値Ｎとして、Ｃ用の特定閾値Ｎｃを用いて、Ｃインクの種類を特定し、特定すべき対象インクがＭインクである場合には、特定閾値Ｎとして、Ｍ用の特定閾値Ｎｍを用いて、Ｍインクの種類を特定する。対象インクの色によって、機械学習モデルＤＮが誤った出力データＤｏｕｔを出力する確率は異なり得る。このために、対象インクの色によって異なる特定閾値Ｎを用いて、インクの種類の特定を実行することで、対象インクが誤って非純正インクであると特定されることをより適切に抑制することができる。

さらに、本実施例では、プリンタ４００で用いられるＣＭＹＫのインク色ごとに別々の機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋが用いられる（図１）。例えば、ＣＰＵ１１０は、対象インクがＣインクである場合には、機械学習モデルＤＮとして、Ｃインクに対応する機械学習モデルＤＮｃを用いて出力データＤｏｕｔを生成し、対象インクがＭインクである場合には、機械学習モデルＤＮとして、Ｍインクに対応する機械学習モデルＤＮｍを用いて、出力データＤｏｕｔを生成する。この場合には、各色の特定に特化して、各機械学習モデルＤＮをトレーニングできるので、機械学習モデルＤＮによるインクの種類の特定精度を向上することができる。したがって、対象インクの種類を、インク色ごとに適切に特定することができる。また、インク色ごとに別々の機械学習モデルＤＮｃ、ＤＮｍ、ＤＮｙ、ＤＮｋが用いられる場合には、用いる機械学習モデルごとに、誤判定率Ｅが異なり得るので、上述のように、ＣＭＹＫの複数色のインクごとに別々の特定閾値Ｎを用いることがより好ましい。

さらに、上記実施例では、特定閾値Ｎは、機械学習モデルＤＮの誤判定率Ｅに基づいて、インク種特定処理の誤特定率ＴＥが所定の目標値ＴＥｔより小さくなるように決定される（図７のＳ３１０～Ｓ３３０）。この結果、機械学習モデルＤＮの誤判定率Ｅに基づいて、適切な特定閾値Ｎを決定することができるので、特定すべき対象インクが純正インクであるにも関わらずに、対象インクは非純正インクであると誤って特定される誤特定率ＴＥを、目標値ＴＥｔより小さく抑えることができる。

ここで、特定閾値Ｎが過度に大きくなると、対象インクが純正インクであるにも関わらずに、対象インクは非純正インクであると誤って特定される誤特定率ＴＥは低くなるが、対象インクが非純正インクであるにも関わらずに対象インクが純正インクであると誤って特定される確率が高くなる可能性がある。この場合には、対象インクの種類を正しく特定できる確率が下がる可能性がある。すなわち、対象インクが純正インクである場合には対象インクが純正インクであると特定し、かつ、対象インクが非純正インクである場合には対象インクが非純正インクであると特定できる確率が下がる可能性がある。本実施例では、特定閾値Ｎは、誤特定率ＴＥが目標値ＴＥｔよりも小さくなる２以上の候補値のうちの最小値に決定される（図７のＳ３４０）。この結果、対象インクが純正インクであるにも関わらずに、対象インクは非純正インクであると誤って特定される誤特定率ＴＥを目標値ＴＥｔよりも低く抑えつつ、対象インクが非純正インクであるにも関わらずに対象インクが純正インクであると誤って特定される確率が高くなることも抑制できる。したがって、対象インクの種類を正しく特定できる確率を向上できる。

さらに、上記実施例によれば、Ｍ個の入力画像データＤｉｎによって示されるＭ個の入力画像ＤＩ（図６（Ａ））のそれぞれは、用紙Ｓに付着したインク（使用ドットＤＴｓ）と、用紙Ｓのうちのインクが付着していない露出部分（背景Ｂｇ）と、の間の境界部分ＢＡを示す境界画像を含む。境界部分ＢＡには、インクの種類に応じた特徴が現れやすい。このために、本実施例では、境界部分ＢＡを示す入力画像データＤｉｎが機械学習モデルＤＮに入力されることで、機械学習モデルＤＮに、インクの種類を適切に示す出力データＤｏｕｔを出力させることができる。したがって、インクの種類を適切に特定することができる。

例えば、インクの種類によって、溶媒や添加物の成分や該成分の含有量が互いに異なるために、インクの種類によってインクの特性は異なる。インクの特性は、例えば、用紙Ｓへの付着に関係する様々な特性、例えば、用紙Ｓへの浸潤に関する特性、溶媒の蒸発に関する特性、色味に関する特性が異なる。このようなインクの特性に応じた特徴は、ドットＤＴの中央部分ＣＡよりも境界部分ＢＡに現れやすいと考えられる。インクの特性に応じた特徴の違いは、ドットＤＴの外縁における滲み、外縁の形状、外縁における色の変動の違いとして現れやすいためである。ドットＤＴの中央部分ＣＡには、例えば、色味やムラの違いが現れるが、これらの違いは外縁に現れる違いと比較して小さいと考えられる。

実際に、出願人は、比較例として、入力画像ＤＩのうちの中央部分ＣＡのみを含み、境界部分ＢＡや背景Ｂｇを含まない画像を示す画像データを入力画像データとして用いて機械学習モデルＤＮをトレーニングした。そして、比較例の機械学習モデルＤＮに、中央部分ＣＡのみを示す複数個の画像データを入力して、インクの種類の特定を行った。この結果、本実施例の方法では、インクの種類の正当率は、９５％を超えたのに対して、比較例の方法では、インクの種類の正当率は、８０％を下回った。

また、本実施例によれば、プリンタ４００にて用いられるインクそのものを用いて、インクの種類を特定するので、例えば、インクカートリッジにインクの種類を示すメモリが搭載されていない場合であってもインクの種類を特定できる。また、インクカートリッジ内のインクの詰め替えが行われている場合であっても、インクの種類を適切に特定できる。

さらに、本実施例では、プリンタ４００とは異なる付着手段である綿棒ＳＷを用いて、ドットＤＴを形成する。この結果、例えば、カラーパッチなどの印刷画像を解析してインクの種類を特定する方法を用いることができない場合であっても、インクの種類を特定できる。例えば、プリンタ４００の故障（例えば、印刷ヘッドのノズルの詰まり）によって、プリンタ４００が印刷できない状態であっても、インクの種類を特定できる。

以上の説明から解るように、本実施例の用紙Ｓは、対象物の例であり、スキャンデータは、対象画像データの例である。また、非純正インクは、第１種の印刷材の例であり、純正インクは、第２種の印刷材の例である。

Ｂ．変形例：
（１）上記実施例のインク種特定処理は、一例であり、種々の変形が可能である。例えば、特定閾値Ｎの決め方は、任意であり、様々な手法が採用され得る。

図９は、変形例のインク種特定処理のフローチャートである。図９のインク種特定処理では、第１実施例の図５のインク種特定処理のＳ２３０が実行されない。さらに、図９のインク種特定処理では、図５のインク種特定処理のＳ２７０に代えて、Ｓ２７０Ｂが実行される。図９のインク種特定処理の他の処理は、図５のインク種特定処理と同一であるので、図９において、図５と同一の処理については、図５と同一の符号を付し、その説明を省略する。

図５の同符号の処理と同一の図９のＳ２２０～Ｓ２６０の後に、図９のＳ２７０Ｂでは、ＣＰＵ１１０は、Ｓ２６０にて算出された非純正インクを示す出力データＤｏｕｔの個数Ｌが、Ｓ２５０にて機械学習モデルＤＮを用いて生成された出力データＤｏｕｔの個数Ｍの半分（Ｍ／２）より多いか否かを判断する。個数Ｌが（Ｍ／２）よりも多い場合には（Ｓ２７０Ｂ：ＹＥＳ）、Ｓ２８０にて、ＣＰＵ１１０は、注目色の対象インクは非純正インクであると特定する。個数Ｌが（Ｍ／２）以下である場合には（Ｓ２７０Ｂ：ＮＯ）、Ｓ２９０にて、ＣＰＵ１１０は、注目色の対象インクは純正インクであると特定する。

Ｓ２９５では、図５のＳ２９５と同様に、ＣＰＵ１１０は、ＣＭＹＫの全てのインク色を注目色として処理したか否かを判定する。未処理のインク色がある場合には（Ｓ２９５：ＮＯ）、ＣＰＵ１１０は、Ｓ２２０に戻る。全てのインク色について処理された場合には（Ｓ２９５：ＹＥＳ）、ＣＰＵ１１０は、インク種特定処理を終了する。

以上説明した図９の変形例では、上述の説明から解るように、Ｍ個の出力データＤｏｕｔによるインクの種類の判定結果に基づく多数決によって、最終的にインクの種類を特定している。換言すれば、図９の変形例では、特定閾値Ｎとして、（２／Ｍ）＜Ｎを満たす候補値のうちの最小値が採用されている、と言うことができる。この変形例によれば、多数決によって、対象インクの種類を適切に特定することができる。例えば、実施例と同様に、例えば、１個の入力画像データＤｉｎに対応する１個の出力データＤｏｕｔのみを用いて、対象インクの種類を特定する場合と比較して、対象インクが誤って非純正インクであると特定される確率を低くすることができる。

（２）上記実施例のインク種特定処理では、対象インクが非純正インクであるか非純正インクであるかを特定している。これに限らず、一般的に言えば、インク種特定処理は、対象インクが第１種のインクであるか第２種のインクであるかを特定する際に用いることができる。例えば、対象インクが、品質（例えば、色み、用紙への染み込み具合、ドットの均一性）上の問題が無いインク（合格インクと呼ぶ）であるか、品質上の問題があるインク（不合格インクと呼ぶ）であるかを特定するために、インク種特定処理が実行されても良い。このようなインク種特定処理は、例えば、インクを開発する際に開発中のインクを対象インクとして実行される。あるいは、インクを製造する際に製造されたインクを対象インクとして実行される。

この場合には、例えば、合格インクで形成されたドットを示す入力画像データと、不合格インクで形成されたドットを示す入力画像データと、を用いて、図８のトレーニング処理を実行することで、学習済みの機械学習モデルＤＮが準備される。

また、この場合には、特定すべき対象インクが不合格インクであるにも関わらずに、対象インクは合格インクであると誤って特定されることが、合格インクが不合格インクであると誤って特定されることよりも問題が大きいと考えられる。例えば、特定すべき対象インクが不合格インクであるにも関わらずに、対象インクは合格インクであると誤って特定されると、不合格インクを市場に流通させる可能性があるためである。したがって、この場合には、特定すべき対象インクが不合格インクであるにも関わらずに、対象インクは合格インクであると誤って特定される誤特定率ＴＥｖを、目標値ＴＥｔｖより小さく抑えることが重視される。

したがって、この変形例では、図７のＳ３１０にて、ＣＰＵ１１０は、機械学習モデルＤＮが不合格インクを誤って合格インクであると判定する誤判定率Ｅｖを取得する。そして、図７のＳ３３０、Ｓ３４０では、ＣＰＵ１１０は、機械学習モデルＤＮの誤判定率Ｅｖに基づいて、インク種特定処理の誤特定率ＴＥｖが目標値ＴＥｔｖよりも小さくなるように、特定閾値Ｎを決定する。こうすれば、対象インクが不合格インクであるにも関わらずに、対象インクは合格インクであると誤って特定されることを適切に抑制することができる。

（３）上記実施例では、インクの色ごとに別々の特定閾値Ｎを用いて、インク種特定処理（図５）が実行されている。これに代えて、複数色のインク色に共通の特定閾値Ｎを用いて、インク種特定処理が実行されても良い。

（４）上記実施例では、インクの色ごとに別々の機械学習モデルＤＮを用いて、インク種特定処理（図５）が実行されている。これに代えて、複数色のインク色に共通の機械学習モデルＤＮを用いて、インク種特定処理が実行されても良い。

（５）上記実施例の特定閾値Ｎの決定処理（図７）では、誤特定率ＴＥが目標値ＴＥｔよりも小さくなる２以上の候補値のうちの最小値が、特定閾値Ｎとして決定されている（図７のＳ３４０）。これに限らず、例えば、２以上の候補値のうちの２番目に小さな値や３番目に小さな値が、特定閾値Ｎとして決定されても良い。

（６）上記実施例の入力画像ＤＩは、一例であり、これに限られない。例えば、上記実施例の入力画像ＤＩは、使用ドットＤＴｓと背景Ｂｇとの間の境界部分ＢＡを示す画像を含む（図６（Ａ））。これに代えて、入力画像ＤＩは、使用ドットＤＴｓの中央部分ＣＡのみを示す画像であっても良い。

また、例えば、１個の入力画像ＤＩは、複数個のドットＤＴを含んでもよい。複数個のドットＤＴを含む場合に、複数個のドットＤＴの外縁の一部は、互いに重なっていても良い。

また、１個の入力画像は、１個のドットＤＴの全体を含んでいなくても良く、１個のドットＤＴの一部分のみを含んでも良い。例えば、図６（Ｂ）の入力画像ＤＩｂは、１個の使用ドットＤＴｓの４分の１の部分を含む。入力画像ＤＩｂは、実施例の入力画像ＤＩ（図６（Ａ））と同様に、使用ドットＤＴｓと背景Ｂｇとの境界部分ＢＡを示す画像を含む。図６（Ｂ）の入力画像ＤＩｂが用いられる場合には、用紙Ｓ上の１個のドットＤＴから４個の入力画像データを生成できる。

図６（Ｃ）の入力画像ＤＩｃは、実施例の入力画像ＤＩ（図６（Ａ））の中央部分ＣＡを構成する画素を、白色の画素に置換して得られる画像である。このように、１個の入力画像は、１個のドットＤＴのうち、境界部分ＢＡを構成する外縁部分のみを含み、中央部分ＣＡを含まなくても良い。

（７）上記実施例では、インクの付着手段として、綿棒ＳＷが用いられているが、これに限られない。例えば、綿棒ＳＷとは異なる棒状の部材、例えば、棒の先端にインクを付着させるための多孔体（例えば、スポンジ）を取り付けた部材であっても良い。

また、インクの付着手段は、棒状の部材とは異なる部材であっても良い。例えば、インクの付着手段は、所定量のインクの液滴を吐出する部材、例えば、スポイトＳＰであっても良い。図１０は、変形例のドットＤＴの形成の説明図である。図１０に示すように、スポイトＳＰを用いて、上方からインクの液滴を用紙Ｓ上に落下させることによって、用紙Ｓにインクを付着させ、用紙Ｓ上にインクのドットを形成しても良い。

（８）上記実施例では、用紙Ｓ上に形成されるドットＤＴの形状は円型であるが、これに限られない。例えば、ドットＤＴの形状は、三角形や四角形などの多角形であっても良く、環状の形状であっても良い。

（９）上記実施例では、ドットＤＴが形成される対象物は用紙Ｓであるが、これに限られない。例えば、ドットＤＴが形成される対象物は、樹脂やガラスなどで形成されたシートや板であっても良い。

（１０）上記実施例では、対象画像データは、スキャナ２００を用いて生成されるスキャンデータである。これに代えて、対象画像データは、２次元イメージセンサを備えるデジタルカメラを用いて、用紙Ｓを撮影して得られる撮影画像データであっても良い。

（１１）上記実施例では、インクの種類の特定が行われているが、インクに代えて、電子写真方式のプリンタで用いられるトナーの種類の特定が行われても良い。この場合には、図３のＳ１１０、図８のＳ４００、Ｓ４０５にて、インクに代えて、トナーを用いてドットＤＴが形成される。また、ＣＭＹＫのインクの種類の特定に代えて、他の色（例えば、ライトシアン、ライトマゼンタ）のインクの種類の特定や、自然光の下では透明な蛍光インクや紫外線発光インクの種類の特定が行われても良い。

（１２）上記実施例の機械学習モデルＤＮ（図２）の構成は一例であり、これに限られない。例えば、機械学習モデルＤＮにおいて、畳込層や全結合層の層数は、適宜に変更されて良い。また、機械学習モデルＤＮの各層で出力された値に対して実行される後処理も適宜に変更され得る。例えば、後処理に用いられる活性化関数は、任意の関数、例えば、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられ得る。また、バッチノーマリゼイション、ドロップアウトなどの処理が後処理として適宜に追加や省略がされ得る。

（１３）上記実施例の機械学習モデルＤＮのトレーニング（図８）は、一例であり、適宜に変更され得る。例えば、誤差値ＥＶには、平均二乗誤差が用いられているが、これに代えて、他の種類の誤差値が用いられても良い。例えば、誤差値ＥＶには、クロスエントロピー誤差や平均絶対誤差が用いられても良い。また、機械学習モデルＤＮのトレーニングでは、クラス分類部ＣＬＳの演算パラメータＰｄｎのみが調整されているが、特徴抽出部ＣＥＸの演算パラメータの全部または一部も調整されても良い。

（１４）図１のデータ処理装置１００のハードウェア構成は、一例であり、これに限られない。例えば、データ処理装置１００のプロセッサは、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（application specific integrated circuit）、あるいは、これらとＣＰＵとの組み合わせであっても良い。また、データ処理装置１００は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）であっても良い。

（１５）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、機械学習モデルＤＮは、プログラムモジュールに代えて、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実現されてよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１０００…インク特定システム,１００…データ処理装置,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…操作部,１５０…表示部,１７０…通信インタフェース,２００…スキャナ,４００…プリンタ,４２０Ｃ、４２０Ｍ、４２０Ｙ、４２０Ｋ…インクカートリッジ,ＤＩ…入力画像,ＤＮ…機械学習モデル,ＤＴ…ドット,Ｄｉｎ…入力画像データ,Ｄｏｕｔ…出力データ,ＰＧ…コンピュータプログラム,Ｐｄ、Ｐｄｎ…演算パラメータ,Ｓ…用紙,ＳＩ…スキャン画像,ＳＰ…スポイト,ＳＷ…綿棒

Claims

印刷装置による印刷に用いられる印刷材の種類を特定する方法であって、
特定すべき前記印刷材を対象物に付着させる付着工程と、
イメージセンサを用いて前記印刷材が付着した前記対象物を示す対象画像データを生成する生成工程と、
前記対象画像データに基づくＭ個（Ｍは２以上の整数）の入力画像データを取得する取得工程であって、前記Ｍ個の入力画像データによって示されるＭ個の入力画像のそれぞれは、前記対象物に付着した前記印刷材を示す、前記取得工程と、
前記Ｍ個の入力画像データを機械学習モデルに入力して、前記機械学習モデルに前記Ｍ個の入力画像データに対応するＭ個の出力データを出力させる出力工程であって、前記Ｍ個の出力データのそれぞれは、前記印刷材の種類を示す、前記出力工程と、
前記Ｍ個の出力データのうち、第１種の印刷材を示すデータの個数が特定閾値Ｎ（ＮはＭ未満の整数）以上である場合に、特定すべき前記印刷材は前記第１種の印刷材であると特定し、前記Ｍ個の出力データのうち、前記第１種の印刷材を示すデータの個数が前記特定閾値Ｎ未満である場合に、特定すべき前記印刷材は前記第１種の印刷材とは異なる第２種の印刷材であると特定する特定工程と、
を備える、方法。
請求項１に記載の方法であって、
前記印刷装置は、第１色と第２色とを含む複数色の印刷材を用いて印刷を実行し、
特定すべき前記印刷材が前記第１色の印刷材である場合には、前記特定閾値Ｎとして、第１閾値Ｎ１を用いて、前記特定工程を実行し、
特定すべき前記印刷材が前記第２色の印刷材である場合には、前記特定閾値Ｎとして、第２閾値Ｎ２を用いて、前記特定工程を実行する、方法。
請求項１または２に記載の方法であって、
前記印刷装置は、第１色と第２色とを含む複数色の印刷材を用いて印刷を実行し、
特定すべき前記印刷材が前記第１色の印刷材である場合には、前記機械学習モデルとして、第１モデルを用いて、前記出力工程を実行し、
特定すべき前記印刷材が前記第２色の印刷材である場合には、前記機械学習モデルとして、第２モデルを用いて、前記出力工程を実行する、方法。
請求項１～３のいずれかに記載の方法であって、
前記特定閾値Ｎは、モデル誤判定率に基づいて、前記特定工程において、特定すべき前記印刷材が前記第２種の印刷材であるにも関わらず、特定すべき前記印刷材は前記第１種の印刷材であると特定される確率である誤特定率が、所定の目標率より小さくなるように、決定され、
前記モデル誤判定率は、前記機械学習モデルに前記第２種の印刷材を示す前記入力画像データが入力された場合に、前記機械学習モデルが前記第１種の印刷材を示す前記出力データを出力する確率である、方法。
請求項４に記載の方法であって、
前記特定閾値Ｎは、前記誤特定率が前記所定の目標率よりも小さくなる２以上の候補値のうちの最小値である、方法。
請求項１～３のいずれかに記載の方法であって、
前記入力画像データの個数Ｍは、３以上の整数であり、
前記特定閾値Ｎは、（２／Ｍ）＜Ｎを満たす候補値のうちの最小値である、方法。
請求項１～６のいずれかに記載の方法であって、
前記Ｍ個の入力画像のそれぞれは、前記対象物に付着した前記印刷材と、前記対象物のうちの前記印刷材が付着していない露出部分と、の間の境界部分を示す境界画像を含む、方法。
請求項１～７のいずれかに記載の方法であって、
前記印刷装置は、インクを用いて印刷媒体上にドットを形成するインクジェットプリンタであり、
前記印刷材は、前記インクジェットプリンタのためのインクである、方法。
印刷装置による印刷に用いられる印刷材の種類の特定装置であって、
イメージセンサを用いて生成される対象画像データに基づくＭ個（Ｍは２以上の整数）の入力画像データを取得する取得部であって、前記対象画像データは、特定すべき前記印刷材が付着した対象物を示す画像データであり、前記Ｍ個の入力画像データによって示されるＭ個の入力画像のそれぞれは、前記対象物に付着した前記印刷材を示す、前記取得部と、
前記Ｍ個の入力画像データを機械学習モデルに入力して、前記機械学習モデルに前記Ｍ個の入力画像データに対応するＭ個の出力データを出力させる出力部であって、前記Ｍ個の出力データのそれぞれは、前記印刷材の種類を示す、前記出力部と、
前記Ｍ個の出力データのうち、第１種の印刷材を示すデータの個数が特定閾値Ｎ（ＮはＭ未満の整数）以上である場合に、特定すべき前記印刷材は前記第１種の印刷材であると特定し、前記Ｍ個の出力データのうち、前記第１種の印刷材を示すデータの個数が前記特定閾値Ｎ未満である場合に、特定すべき前記印刷材は前記第１種の印刷材とは異なる第２種の印刷材であると特定する特定部と、
を備える、特定装置。
印刷装置による印刷に用いられる印刷材の種類を特定するためのコンピュータプログラムであって、
イメージセンサを用いて生成される対象画像データに基づくＭ個（Ｍは２以上の整数）の入力画像データを取得する取得機能であって、前記対象画像データは、特定すべき前記印刷材が付着した対象物を示す画像データであり、前記Ｍ個の入力画像データによって示されるＭ個の入力画像のそれぞれは、前記対象物に付着した前記印刷材を示す、前記取得機能と、
前記Ｍ個の入力画像データを機械学習モデルに入力して、前記機械学習モデルに前記Ｍ個の入力画像データに対応するＭ個の出力データを出力させる出力機能であって、前記Ｍ個の出力データのそれぞれは、前記印刷材の種類を示す、前記出力機能と、
前記Ｍ個の出力データのうち、第１種の印刷材を示すデータの個数が特定閾値Ｎ（ＮはＭ未満の整数）以上である場合に、特定すべき前記印刷材は前記第１種の印刷材であると特定し、前記Ｍ個の出力データのうち、前記第１種の印刷材を示すデータの個数が前記特定閾値Ｎ未満である場合に、特定すべき前記印刷材は前記第１種の印刷材とは異なる第２種の印刷材であると特定する特定機能と、
をコンピュータに実現させる、コンピュータプログラム。