JP7338002B2 - 画像処理装置および画像処理方法、およびプログラム - Google Patents

Description

本発明は、モノクロ画像データをカラー画像データに変換する画像処理装置および画像処理方法、およびプログラムに関する。

マルチファンクションプリンター（以後、ＭＦＰと呼ぶ）においてスキャナで読み取ったモノクロ画像をカラー画像に変換する画像処理（以後、カラー化処理と呼ぶ）を実行するものがある。従来のモノクロ画像のカラー化処理における画像処理の設定値は、製品ごとに製品が出荷する際に予め決められた値、もしくはファーム更新時に変更された値が使用される。

またカラー化処理後の画像の視認性を向上させるために複数の設定値を保持して基準を満たすように構成されることが提案されている（特許文献１）。また、モノクロ画像のカラー化処理における画像処理の設定値は、想定される一般のデータを用いた評価に基づいて決定される。

特開２０１１－６６７３４号公報

モノクロ画像に対してカラー化処理を行う際、用いられる色相の組み合わせは非常に多い。またカラー化における画像処理の設定値はユーザ毎に適切な値に設定されない。従って、モノクロ画像をカラー化処理した結果が必ずしもユーザが期待するカラー画像になるとは限らなかった。

一方、収集した学習サンプルを使用して機械を学習させ、学習モデルを作成して文字や物体認識する技術が知られている。これらの技術は一般に機械学習と呼ばれるものであり、特に物体認識ではディープラーニングと呼ばれる手法が用いられる。ディープラーニングは、多層のニューラルネットワークによって構成され、入力データと期待データとを備えた学習サンプルを装置に入力することで学習させる。多層のニューラルネットワークに与えた入力データに対する出力データと期待データとの乖離を誤差関数で評価し、その評価に応じてバックプロパゲーションにより多層のニューラルネットワークのパラメータにフィードバックを与える。多数の学習サンプル（以後、学習データと呼ぶ）を繰り返し学習することによって、出力データと期待データとの乖離を最小限にするパラメータを得ることができる。このようにパラメータの最適化をすることを、以後、学習と呼ぶ。このようにして、多層のニューラルネットワークから出力されるデータが期待するデータに近づく。なお、特に入力データとして画像データを用いる場合には、多層のニューラルネットワークとして、多層のコンボリューションニューラルネットワーク（以後、ＣＮＮと呼ぶ）を用いることが一般的である。

このような機械学習技術を、モノクロ画像に対するカラー化処理に適用すれば収集した学習サンプルに沿った色相の出力物が得られるものと考えられる。しかしながら、一般的なＭＦＰを用いて学習サンプルを収集する方法が無い。また、学習サンプルはユーザ毎に収集した学習モデルを作成しなければユーザ毎に適切な設定値にならないことが想定される。

上記課題を解決すべく、本画像処理装置は、読取部により原稿を読み取ることで取得したカラー画像データとカラー画像データを変換することで生成されるモノクロ画像データとを対応付けて学習サンプルとして記憶部に記憶する記憶処理を行う記憶処理手段と、前記モノクロ画像データを出力する出力処理を行う出力手段と、前記記憶部に記憶された学習サンプルのうち、前記読取部により新たな原稿を読み取ることによって取得されたモノクロ画像データをカラー画像データに変換する際に用いられる変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に所定の数以上記憶されているか否かを判定する判定手段と、前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定手段によって判定されるまでは、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定せず、前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定手段によって判定された場合に、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定する設定手段と、前記記憶処理手段により記憶された学習サンプルを用いて、前記読取部により新たな原稿を読み取ることによって取得されたモノクロ画像データをカラー画像データに変換する際に用いられる変換パラメータを設定する設定手段と、を有することを特徴とする。

自動的に学習サンプルを記憶部に記憶し、変換パラメータの設定に用いられていない学習サンプルの数が所定の数以上記憶されていると判定されるまでは、記憶部に記憶された学習サンプルを用いて、変換パラメータを設定せず、変換パラメータの設定に用いられていない学習サンプルの数が記憶部に前記所定の数以上記憶されていると判定された場合に、記憶部に記憶された学習サンプルを用いて、変換パラメータを設定することで効率的な学習ができる。

実施例１におけるシステムの構成図である。 実施例１におけるＭＦＰ構成図である。 実施例１におけるＭＦＰの画像処理部の構成図である。 実施例１におけるＭＦＰのコピー処理のフローチャート図である。 実施例１におけるＭＦＰの学習処理のフローチャート図である。 実施例１における学習テーブルの例である。 実施例１におけるカラー変換部で行われる処理例の模式図である。 実施例１におけるＭＦＰの操作部の画面例である。 本実施形態のＭＦＰの学習処理のフローチャート図である。 本実施形態のＭＦＰの学習テーブルの例である。 本実施形態のＭＦＰの操作部の画面例である。 本実施形態のＭＦＰの学習モードのフローチャート図である。

以下、本発明を実施するための形態について図面を用いて説明する。

本発明に係る一実施例としての画像処理装置であるＭｕｌｔｉ－Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ，（ＭＦＰ）について説明する。なお、特に断らない限り、本実施例において記載される機能が実行されるのであれば、ＭＦＰ単体で実行されても、ＭＦＰおよびそれ以外の複数の機器からなるシステムで実行されてもよい。

本実施例では、ユーザ指示に基づき原稿のコピーや送信など原稿のスキャン動作を伴う処理を実行する際に、指示された処理と並列して、原稿をスキャンして得られたカラー画像データをモノクロ変換しモノクロ画像データを取得する。そして取得したカラー画像データとモノクロ画像データとの組合せを保存する。そして、この保存された画像データから得られる情報を用いて、カラー化処理を行うために使用されるカラー変換パラメータを決定（更新）する。これにより、ユーザが実際に使用する原稿やそれをスキャンすることで得られた画像データを用いて学習データを収集し、この学習データを用いてカラー化処理を行うために使用されるカラー変換パラメータを更新することが可能になるため、ユーザ環境でよく使われる原稿の配色に従いカラー変換パラメータを決定（更新）することが可能になる。よって、ユーザにとって好ましい傾向にあるカラー化処理を行うことが可能になる。

図１はシステム構成を表す図であって、同図において、ＭＦＰ１０１は、ＬＡＮ１０４上の他の機器と通信することが可能である。ＰＣ１０２は、ＬＡＮ１０４を介してＭＦＰ１０１と通信することが可能である。ＰＣ１０２は物理的なケーブルによってＬＡＮ１０４に接続されている。サーバー１０３は、ＬＡＮ１０４を介してＭＦＰ１０１、ＰＣ１０２と通信することが可能である。サーバー１０３は物理的なケーブルによってＬＡＮ１０４に接続されている。

ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０４は、ＭＦＰ１０１やＰＣ１０２、サーバー１０３を相互に接続して通信を可能にする。物理層およびリンク層にＥｔｈｅｒｎｅｔを利用するのが一般的である。

なお、図１において各装置が１台ずつ示されているが、これに限定するものではなく、各装置が複数台設けられるシステムであってもよい。

図２はＭＦＰ１０１の構成を表す図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、ＭＦＰ１０１において実行される処理の制御を司る。ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１で実行されるプログラムを格納すると共に一時的なデータのワークエリアとして機能する。操作部２０３は、シリアルＩ／Ｆ２１３を介して、ＣＰＵ２０１に対してユーザによる操作を通知する。ネットワークＩ／Ｆ２０４は、ＬＡＮ１０４と接続して外部機器と通信を行う。プリンタ部２０５は、画像データを用いて、用紙等の記録媒体に画像を印刷する。読取部であるスキャナ部２０６は、用紙に形成された画像を光学的に読み取り電気信号に変換してスキャン画像を生成する。ＦＡＸ２０７は、公衆回線２１０と接続して外部機器とファクシミリ通信を行う。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０８は、ＣＰＵ２０１で実行されるプログラムを格納すると共にプリントジョブやスキャンジョブ等のスプール領域としても利用される記憶部である。システムバス２０９は、各モジュールを相互に接続して通信を行う。公衆回線２１０は、ＦＡＸ２０７と外部機器を相互接続する。画像処理部２１１は、ネットワークＩ／Ｆ２０４で受信したプリントジョブをプリンタ部２０５で印刷するのに適した画像への変換処理、スキャナ部２０６で読み取ったスキャン画像に施す処理を実行する。また、画像処理部２１１はＬＡＮ１０４からネットワークＩ／Ｆ２０４を経由し外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。さらに画像処理部２１１は、プリンタ部２０５で画像データを印刷するための前処理としての画像処理を行う。画像処理部２１１における処理の詳細は後述する。ＦＬＡＳＨ ＲＯＭ（ＦＬＡＳＨ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２は、ＣＰＵ２０１で実行されるプログラムを格納する。それと共にＭＦＰ１０１のデフォルト設定値、ユーザごとのデフォルト設定値、一時的なカスタム設定値（以後デフォルト設定値）等を記憶する。シリアルＩ／Ｆ２１３は、操作部２０３とシステムバス２０９を相互接続する。

図３は画像処理部２１１の内部構成図である。

同図において、システムバスＩ／Ｆ３０１は、システムバス２０９と信号バス３０９のプロトコル変換や調停を行い画像処理部２１１の各モジュールとシステムバス２０９に接続された各モジュールを相互接続させることができる。

スキャン画像処理部３０２は、スキャナ部２０６で読み取ったスキャン画像に施すシェーディング補正処理やＭＴＦ補正処理、入力ガンマ補正やフィルタ処理を行うための画像処理部を備えている。さらにスキャン画像処理部３０２はノイズ除去や色空間変換、回転、圧縮等の処理をおこなう。

レンダリング処理部３０３はシステムバス２０９からネットワークＩ／Ｆ２０４およびシステムバスＩ／Ｆ３０１を経由し外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。

プリント画像処理部３０４はプリンタ部２０５で画像データを用いた印刷を行うための前処理としての画像処理を行う。具体的にプリント画像処理部３０４は、ＲＧＢをＣＭＹＫに変換する色空間変換処理やディザ法や誤差拡散法による中間調処理、ガンマ補正などの画像処理を行う。画像処理後の画像データはプリンタ部２０５へ出力される。また、プリント画像処理部３０４はプリンタ部の起動および給紙に合わせてプリンタ部２０５へ画像データを出力する必要がある。そのため、プリント画像処理部３０４は、そのタイミングまでの待ち合わせ用のバッファとしてＤＲＡＭ２０２へ画像データを一時的に書き込む。そして、プリント画像処理部３０４は、記録紙の給紙のタイミングに同期させＤＲＡＭ２０２から画像データを読み込み、プリンタ部２０５へ出力する。

カラー判定部３０５は、スキャン画像処理部３０２で処理した画像がカラー画像かモノクロ画像かの判定を行う。

モノクロ変換部３０６は、スキャン画像処理部３０２で処理したカラー画像をモノクロ画像に変換する。モノクロ変換の方式としては、カラー画像の画素毎にＲＧＢのコンポーネントを演算することによって算出された値をモノクロ画像の画素値として変換する方式を採用する。

カラー変換部３０７は、スキャン画像処理部３０２で処理したモノクロ画像をカラー画像に変換するカラー化処理を行う。この本処理の模式図の一例を図７に示す。

図７に示したＣｏｎｖとは、畳み込みの処理を行う階層である。各畳み込み層はそれぞれ不図示の２次元フィルタ関数（例えば、５×５のフィルタ）を備え、各畳み込み層の入力画像データに対して２次元フィルタ関数を用いて畳み込み演算を行う。

また、Ｐｏｏｌとは、プーリングの処理を行う階層である。各プーリング層はそれぞれ不図示の２次元プーリング関数を備え、各プーリング層の入力に対して２次元プーリング関数のウィンドウ内の画素から条件に合致する画素を取り出す。例えば、ウィンドウサイズが２×２の最大プーリングであれば、ウィンドウ内の４画素の中から最大画素値を有する画素を取り出す。

本実施形態に係るカラー変換部３０７における処理モデルでは、例えばＣｏｎｖ層とＰｏｏｌ層との組を４組直列に接続した構成で学習を行う。まず、輝度情報のみを備えたモノクロ画像を入力データとして用意する。これを第１層のＣｏｎｖ＿１に入力し畳み込み処理を行い、続いてＰｏｏｌ＿１でプーリング処理を行う。その後、第２層から第４層の各Ｃｏｎｖ層とＰｏｏｌ層に前層の処理結果を入力して処理を行う。そして、Ｐｏｏｌ＿４の処理後のデータを、輝度（Ｌ）と彩度（ａｂ）とで構成される色空間（Ｌａｂ空間）のａｂ空間にマッピングして中間カラー画像を生成する。最後に、中間カラー画像と輝度画像とを合成してカラー画像に変換することでカラー化処理を行う。

各Ｃｏｎｖの畳み込みのパラメータは学習によって決定（更新）されるものであり、詳細については後述する。学習はＣＰＵ２０１または図示しないＧＰＵ等によって行われる。なお、図７に示した構成は一例であり、これに限定するものではない。

画像処理部２１１の内部信号バス３０８は、各モジュールを相互に接続して通信を行う。

＜カラー変換コピー動作＞
ここで基本的なスキャン画像をカラー変換して印刷させるコピー動作について図４を用いて説明する。以下の動作は断りが無い限りＣＰＵ２０１がＦＬＡＳＨ ＲＯＭ２１２に格納されたプログラムに基づき、各処理部を指示することで実行するものとする。

Ｓ４０１においてスキャナ部２０６により原稿を読み取らせる。そして原稿の読み取りにより取得された画像データをＤＲＡＭ２０２に記憶する。

次に、Ｓ４０２においてＳ４０１で読み取った画像データに対し、予めＦＬＡＳＨ ＲＯＭ２１２に記憶されている設定値に基づいて画像処理部２１１のスキャン画像処理部３０２によりスキャン画像処理を行う。次に、Ｓ４０３においてＳ４０２でスキャン画像処理した画像データに対して、カラー判定部３０５によりモノクロ画像データかカラー画像データかを判定する。モノクロ画像データと判定された場合は、Ｓ４０５へ遷移する。カラー画像データと判定された場合はＳ４０４へ遷移する。

Ｓ４０４において学習処理通知を行う。学習処理通知が行われると、並行して後述する学習処理フローが実行される。

一方、Ｓ４０５ではカラー変換条件が満たされているか否かを判定する。カラー変換条件について詳細に説明する。カラー変換条件が満たされているか否かは、ユーザによってカラー変換処理を意図した設定が行われているか否かに相当する。

図８に操作部２０３の一例を示す。図８（Ａ）、（Ｂ）には処理対象である画像データに対してコピーを実行指示する際の設定画面の一例を示す。

この設定画面で、「フルカラー」が選択されると、原稿をスキャンして得られた画像データが用紙に印刷されてフルカラーの印刷物が出力される。また、設定画面「白黒→カラー」が選択されると、原稿をスキャンして得られたモノクロ画像データを用いて、カラーの印刷物が用紙上に印刷される。

設定画面を介してこのような指定が行われると判定されると、カラー変換条件が満たされると判定される。このステップでは、既に処理対象である画像データは原稿をスキャンことで得られたモノクロ画像データであると判定された後であるため、スキャンされた原稿はモノクロであることが分かっている。そして、この原稿を出力する際の出力モードがカラーに指定されているため、カラー変換処理が必要であると判定される。

また、図８（Ｃ）には、コピーを実行する際の機能設定画面の一例を示しており、この画面において「白黒カラー変換」の機能ボタンが表示されている。ユーザによりこのボタンが押下されることで、白黒カラー変換機能の指定を行うことができる。すなわち、モノクロ画像データをカラーの印刷物として出力するよう指定を行うことができる。

この押下により画面が遷移され、表示される画面の一例を図８（Ｄ）に示す。図８（Ｄ）は、既に白黒カラー変換モードがＯＮとなっている。このように設定されている場合、カラー変換処理が行われる。すなわち、カラー変換条件が満たされていると判定される。

以上に示すフローに従った処理により、ユーザの指定した設定と原稿のモノクロカラー判定結果に基づき、適切にカラー変換処理が実施される。カラー変換条件を満たす場合、Ｓ４０５へ遷移する。カラー変換条件を満たさない場合、Ｓ４０７へ遷移する。

Ｓ４０６においてＳ４０２でスキャン画像処理した画像データに対して、カラー変換部３０７においてカラー化処理を行う。カラー化処理された画像データは、カラー画像データとなる。このカラー画像データをＤＲＡＭ２０２に格納する。

そして、Ｓ４０７では、ＤＲＡＭ２０２に格納される画像データを画像処理部２１１のプリント画像処理部３０４によって予めＦＬＡＳＨ ＲＯＭ２１２に記憶されている設定値に基づき、プリント画像処理を行う。そして、プリンタ部２０５において、画像処理が行われた画像データを用いて用紙に印刷が行われ、印刷物が出力される。

＜学習動作＞
続いてＳ４０４において学習処理通知が発行された場合、カラー変換部３０７モノクロ画像データに対してカラー変換を行う際に用いるカラー変換用のデータ（パラメータ）の決定および更新を行うフローについて図５を用いて説明をする。

以下の動作は断りが無い限りＣＰＵ２０１がＦＬＡＳＨ ＲＯＭ２１２に格納されたプログラムに基づき、各処理部を指示することで実行するものとする。

Ｓ５０１においてスキャン画像処理部３０２で処理されてＤＲＡＭ２０２にスプールされているカラー画像データを学習サンプルの期待画像としてＨＤＤ２０８に保存する。ここでファイルサイズを小さくするために不図示の圧縮処理部でＪＰＥＧなどのフォーマットに圧縮するものとする。

また、Ｓ５０２では、入力されたカラー画像データをモノクロ変換部３０６においてモノクロ画像データに変換し、ＤＲＡＭ２０２にスプールされる。

次に、Ｓ５０３においてＳ５０２においてモノクロ変換処理されてＤＲＡＭ２０２にスプールされているモノクロ画像データを学習サンプルの入力画像としてＨＤＤ２０８に保存する。ここでファイルサイズを小さくするために不図示の圧縮処理部でＪＰＥＧなどのフォーマットに圧縮するものとする。

次に、Ｓ５０４においてＳ５０１およびＳ５０３で格納した各画像ファイル（入力されたカラー画像データである期待画像と、モノクロ画像データである入力画像）を学習テーブルに追加する。学習テーブルはＨＤＤ２０８に各画像のパスが記載したテーブルを格納するものとする。

このテーブルの一例を図６に示す。この学習テーブル６０１には、入力画像（モノクロ画像）と期待画像（カラー画像）の対を学習サンプルとしてテーブルに格納する。

次に、Ｓ５０５においてＣＰＵ２０１はＳ５０４で生成した学習テーブルに記載された画像を用いて学習を行う。上述したように、カラー変換部３０７は図７で示したように、多層のＣｏｎｖ／Ｐｏｏｌによって構成される処理部である。この処理部に展開されている各Ｃｏｎｖ／Ｐｏｏｌにおけるパラメータを学習により更新していく。学習では、学習テーブルの入力画像と期待画像の対を学習サンプルとし、その集合体である学習データを用いる。

学習サンプルの入力画像を入力した処理モデルから得られた出力画像と、入力画像と対になる期待画像との乖離度を誤差関数により評価する。本実施形態では、例えば、出力画像と期待画像とで画素ごとの濃度差を交差エントロピー等の誤差関数で評価する。このようにして得られた評価値に基づき、バックプロパゲーションによりパラメータを更新する。具体的には、例えば、確率的勾配降下法等の最適化関数を用いて、出力結果の画素値が学習テーブル６０１の学習サンプル期待画像の対応する画素値に近づくようにパラメータを更新する。これを出力側のＰｏｏｌ＿４から入力側にさかのぼる順で各層に適用して、各層のパラメータを更新する。すなわち、多層のＣｏｎｖ、Ｐｏｏｌのパラメータにフィードバックを与えることでパラメータを更新していくものである。図７の例では、Ｃｏｎｖ＿１、Ｐｏｏｌ＿１、Ｃｏｎｖ＿２、Ｐｏｏｌ＿２、Ｃｏｎｖ＿３、Ｐｏｏｌ＿３、及びＣｏｎｖ＿４、及びＰｏｏｌ＿４のパラメータを学習により更新する。なお、上記に示した処理の流れは一例であり、他の関数や評価基準を用いてもよい。また、各パラメータは、画像形成装置の開発段階で与えられた学習データによって決定されたものを初期状態として組み込まれているものとする。このパラメータをユーザ環境で適宜更新していくことになる。

次に、Ｓ５０６においてカラー変換部３０７を更新する。Ｓ５０５で学習により更新されたＣｏｎｖ、Ｐｏｏｌにおけるパラメータをカラー変換部３０７の処理部に設定することで実現されるものである。なお、ＭＦＰの画像処理部２１１が動作している場合は動作完了するまで待ってからカラー変換部３０７の更新するのは言うまでもない。

以上、説明したように、本実施例における画像処理装置ではユーザ環境において自動で学習サンプルを生成することが可能である。そして、学習サンプルが生成されると、このサンプルを用いて、自動でカラー変換部のカラー変換パラメータを決定する。すなわち、パラメータを最適な値に更新する。従って、ユーザがよく使用する原稿パターンや使用色のパターン（配色）などに沿ったカラー変換処理部を構築することが可能となる。

実施例１では、学習テーブルに学習サンプルが追加されると、そのたびに、再学習（カラー変換部にて用いられるカラー変換パラメータを決定・更新）する動作をしていた。上記の方法では、取得された学習サンプルを用いて、随時再学習するため、直ちにカラー変換部３０７のパラメータにフィードバックを与えることができる。しかし、学習の処理は、ＣＰＵやＧＰＵ等のリソースの使用量が多い。一方で、学習サンプルが１つ追加された状態で再学習を行っても、カラー変換部３０７のパラメータに与える影響は限定的である可能性もある。以上の理由から、本実施例では、効率的な学習を行わせるために、複数の学習サンプルが取得されたタイミングで再学習を実行するように制御する方法を説明する。なお、既に実施例１と同様の処理は、説明を割愛する。Ｓ４０４で学習処理通知を受けた後の処理である学習処理のフローが実施例１と異なる。

図９に学習処理通知を受けた後に行う学習処理フローを示している。以下の動作は断りが無い限りＣＰＵ２０１がＦＬＡＳＨ ＲＯＭ２１２に格納されたプログラムに沿って実行されるものとする。Ｓ５０１、Ｓ５０２は実施例１と同一であるため、割愛する。

Ｓ９０１において学習テーブルを記憶する記憶領域（ＨＤＤ２０８）の容量に空きがあるか否かを判定する。本実施例における学習テーブルを図１０に示した。図１０の学習テーブルでは、新たに学習状況の情報が管理されている。学習テーブルにて管理されている学習サンプルがカラー変換パラメータ決定（再学習）に用いられた場合に、用いられていない、学習状況は「済」として管理される。一方、未だカラー変換パラメータの決定（再学習）に用いられていない学習サンプルの場合、学習状況は「未」として管理される。すなわち、各学習サンプルが学習テーブルにおいて、カラー変換パラメータの決定（再学習）に用いられているか否かを識別可能にする。

ＭＦＰ１０１に備えるＨＤＤ２０８は有限のストレージ部であり、保存しておく学習サンプル数も有限となる。従って、学習テーブルに空きがない状況が発生する。このステップ（Ｓ９０１）では、図１０に示すような学習テーブルを参照し、学習サンプルを記憶する記憶領域の容量（ＨＤＤ２０８）に空きがあるか否かを判定するものである。空きがあると判定された場合、Ｓ５０３へ遷移する。空きがないと判定された場合、Ｓ９０２へ遷移する。

Ｓ９０２において学習テーブルの学習サンプルを削除する。削除される学習サンプルは、学習状況が「済」として管理されているものを対象とする。特に学習状況が「済」として管理されているものの中で最も古い学習サンプルを記憶領域から削除する。学習サンプルが記憶領域から削除されると、この学習サンプルが記憶されていた箇所は空白となり、新しい学習サンプルの情報を格納することが出来る状態となる。処理が完了すると、Ｓ５０３へ遷移する。

Ｓ５０３、Ｓ５０４は実施例１と同一である。ただし、新たな学習サンプルを学習テーブルに追加する場合、この学習サンプルの学習状況の情報は「未」として管理される。

Ｓ９０３において学習テーブルに所定数以上の未学習サンプルが蓄積しているか否かを判定する。図１０に示した学習テーブルには、学習状況の情報を備えるため、この情報を参照して、未学習サンプルの数を確認することが可能である。未学習サンプルが所定数（例えば、５０）蓄積されていたらＳ５０５へ遷移する。未学習サンプルが所定数蓄積していないと判定された場合、ＥＮＤへ遷移する。Ｓ５０５、Ｓ５０６は実施例１と同一である。ただし、学習処理に使用された学習サンプルの学習テーブルの学習状況は「済」に更新して管理するものとする。

以上、説明したように、実施例２では、再学習（カラー変換部にて用いられるカラー変換パラメータの決定・更新）タイミングは、学習テーブルに所定数以上の未学習サンプルが蓄積したタイミングとする。これにより、再学習する頻度を抑え、ＭＦＰ１０１の消費電力を抑えることができる。すなわち、効率的な再学習を実現することができる。

実施例１、２では、ユーザが、ＭＦＰ１０１を通常使用（コピーなど、スキャン動作を伴う処理を実施）していれば、で自動的に学習サンプルを収集することができた。しかし、サービスマンやユーザが所望するタイミングで意図的に学習サンプルをＭＦＰ１０１に追加したい場合も考えられる。

例えば、ユーザが頻繁にカラー変換を行う原稿の色相タイプ（配色等）を学習に用いたい場合、意図的にこの原稿をスキャンして得られた画像データを学習サンプルとして追加した方が、後のカラー変換処理にてユーザが所望するカラー変換を行う確率が向上する。

実施例３では、学習サンプルをＭＦＰ１０１に与えるためのモードを設けた場合の動作について説明する。なお、既に実施例１、実施例２と同様の処理は、説明を割愛する。

実施例３では、操作部２０３から新たに学習モードの設定を行うことが可能である。図１１に操作部２０３の画面の一例を示した。この画面では、白黒カラー変換機能の設定画面において、学習モードのボタンを押下することができる。学習モードをＯＮにした状態で、図示しないスタートボタンを押下すると、学習モードでの処理が開始する。学習モードでの処理を図１２のフローチャートで示した。図１２は、図４で示したステップの抜粋となっている。Ｓ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４の処理は実施例１と同様である。実施例１では、処理の最後にプリント画像処理Ｓ４０７があった。しかし、学習モードでは、ユーザは、コピーが目的ではなく、学習サンプルをＭＦＰ１０１に与えることが目的であるため、プリント画像処理およびプリント処理は行われない。よって、この処理では印刷動作を行わず学習サンプルを追加することが出来るようになる。そして、追加された学習サンプルを用いて再学習を行う（カラー変換部にて用いられるカラー変換パラメータを決定・更新）ことが可能になる。

以上、説明したように、実施例３では、サービスマンやユーザが所望するタイミングで学習サンプルを追加することが可能となる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３０５ カラー判定部
３０６ モノクロ変換部
３０７ カラー変換部

Claims (11)

1. 読取部により原稿を読み取ることで取得したカラー画像データと該カラー画像データを変換することで生成されるモノクロ画像データとを対応付けて学習サンプルとして記憶部に記憶する記憶処理を行う記憶処理手段と、
   前記モノクロ画像データを出力する出力処理を行う出力手段と、
   前記記憶部に記憶された学習サンプルのうち、前記読取部により新たな原稿を読み取ることによって取得されたモノクロ画像データをカラー画像データに変換する際に用いられる変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に所定の数以上記憶されているか否かを判定する判定手段と、
   前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定手段によって判定されるまでは、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定せず、前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定手段によって判定された場合に、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定する設定手段と、
   前記設定手段により設定した変換パラメータを用いて、前記読取部により読み取られた新たなモノクロ画像データをカラー画像データに変換する変換手段と、を有することを特徴とする画像処理装置。
2. 前記記憶処理及び前記出力処理を行う第１のモードと、前記記憶処理を行い、前記出力処理を行わない第２のモードを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、前記読取部により読み取られた画像データをカラー画像データで出力することが指示された場合に、前記新たなモノクロ画像データを、前記変換パラメータを用いてカラー画像データに変換することを特徴とする請求項１に記載の画像処理装置。
4. 前記記憶処理手段により記憶された学習サンプルのうち、前記設定手段による変換パラメータの設定に用いられた学習サンプルを削除する削除手段と、をさらに有し、
   前記記憶処理手段は、前記削除手段による学習サンプルの削除の後、別のカラー画像データと当該別のカラー画像データを変換することで得られたモノクロ画像データとを対応づけて新たな学習サンプルとして記憶することを特徴とする請求項１に記載の画像処理装置。
5. 前記記憶処理手段により記憶された前記学習サンプルのうち、前記設定手段による変換パラメータの設定に用いられた学習サンプルと、前記設定手段による変換パラメータの設定に用いられていない学習サンプルとを識別可能にすることを特徴とする請求項１に記載の画像処理装置。
6. 前記読取部をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記出力手段は印刷手段であり、前記出力処理は前記変換手段によって変換されたカラー画像データを印刷する印刷処理であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１のモードと前記第２のモードのいずれかを選択する選択手段をさらに有し、
   前記第１のモードが前記選択手段によって選択されている場合に、前記記憶処理及び前記出力処理を行い、
   前記第２のモードが前記選択手段によって選択されている場合に、前記記憶処理を行い、前記出力処理を行わないことを特徴とする請求項２に記載の画像処理装置。
9. 前記出力手段は、さらに、前記変換手段によって変換されたカラー画像データを出力する出力処理を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 読取部により原稿を読み取ることで取得したカラー画像データと該カラー画像データを変換することで生成されるモノクロ画像データとを対応付けて学習サンプルとして記憶部に記憶する記憶処理を行う記憶処理ステップと、
    前記モノクロ画像データを出力する出力処理を行う出力ステップと、
    前記記憶部に記憶された学習サンプルのうち、前記読取部により新たな原稿を読み取ることによって取得されたモノクロ画像データをカラー画像データに変換する際に用いられる変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に所定の数以上記憶されているか否かを判定する判定ステップと、
    前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定ステップで判定されるまでは、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定せず、前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定ステップで判定された場合に、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定する設定ステップと、
    前記設定ステップで設定した変換パラメータを用いて、前記読取部により読み取られた新たなモノクロ画像データをカラー画像データに変換する変換ステップと、を有することを特徴とする画像処理方法。
11. コンピュータに、
    読取部により原稿を読み取ることで取得したカラー画像データと該カラー画像データを変換することで生成されるモノクロ画像データとを対応付けて学習サンプルとして記憶部に記憶する記憶処理を行う記憶処理ステップと、
    前記モノクロ画像データを出力する出力処理を行う出力ステップと、
    前記記憶部に記憶された学習サンプルのうち、前記読取部により新たな原稿を読み取ることによって取得されたモノクロ画像データをカラー画像データに変換する際に用いられる変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に所定の数以上記憶されているか否かを判定する判定ステップと、
    前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定ステップで判定されるまでは、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定せず、前記変換パラメータの設定に用いられていない学習サンプルの数が前記記憶部に前記所定の数以上記憶されていると前記判定ステップで判定された場合に、前記記憶部に記憶された学習サンプルを用いて、前記変換パラメータを設定する設定ステップと、
    前記設定ステップで設定した変換パラメータを用いて、前記読取部により読み取られた新たなモノクロ画像データをカラー画像データに変換する変換ステップと、
    を実行させるためのプログラム。

Images