JP7358218B2 - 画像処理装置および画像処理方法、プログラム - Google Patents

Description

画像処理装置および画像処理方法、プログラムに関する。

従来、読み取った画像がカラーかモノクロかを判定する際に、色ずれによる誤判定を抑制する技術が知られている。

特許文献１には、注目画素の周辺画素の副走査方向に隣接する画素値に係数を掛けて加算し、その画素値から色ずれが発生した画素かどうかを判定し、その判定結果に基づいて読み取った画像がカラーかモノクロかを判定する画像処理装置が開示されている。

特開２０００－２２９６４号公報

ＲＧＢの３ラインカラーセンサの位置ずれによって、広範囲に及ぶモアレのような色ずれは通常の色ずれに比べて広い領域で発生し、通常の色ずれと異なるパターンを持つため、特許文献１のように隣接画素を参照しても色ずれかどうかを判定することができない。そのため、読み取った画像がカラーかモノクロかを判定する際に、色ずれによる誤判定を抑制できない場合がある。

本発明は上記の課題に鑑みてなされたものであり、読み取った画像がカラーかモノクロかを判定する際に、広範囲に及ぶモアレのような色ずれによる誤判定を抑制することを目的とする。

本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段が入力した画像データが示す画像がカラー画像かモノクロ画像かを決定する決定手段とを有し、前記決定手段は、色ずれが発生している画像と正解データに基づいて生成された学習済みモデルを用いて前記入力手段が入力した画像データが示す画像がカラー画像かモノクロ画像かを決定することを特徴とする。

読み取った画像がカラーかモノクロかを判定する際に、広範囲に及ぶモアレのような色ずれによる誤判定を抑制することができる。

ＭＦＰ１０１のハードウェア構成の一例を示す図 ＭＦＰ１０１の断面図の一例を示す図 カラー／モノクロ判定処理の一例を示す図 学習済みモデルのニューラルネットワークの構成の一例を示す図 正解データを作成する処理の一例を示す図 読み取られる画像の色ずれモアレの一例を示す図 色ずれモアレおよび正解データのパターンの一例を示す図 領域制限部３０３によって制限される領域の一例を示す図 画像を複数のブロックに分割する処理の一例を示す図 カラーブロック判定部３０４の処理の一例を示すフローチャート

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施例において示す構成は一例であり本発明は図示された構成に限定されるものではない。

本実施例では、一つのニューラルネットワークを用いた判定部によって有彩色／無彩色の推定を行う画像処理装置について説明する。なお、本実施例では学習用カラー画像に対する正解データを記録媒体上に印刷された画像のスキャン画像から作成する。詳細については後述する。

＜画像処理装置の構成＞
図１は、ＭＦＰ１０１のハードウェア構成の一例を示す図である。画像処理装置の一例であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１０１はＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ストレージ１１４、操作部Ｉ／Ｆ１１５、操作部１１６を備える。また、ＭＦＰ１０１は読取部Ｉ／Ｆ１１７、読取部１１８、印刷部Ｉ／Ｆ１１９、印刷部１２０、無線通信部Ｉ／Ｆ１２１、無線通信部１２２、ＦＡＸ部Ｉ／Ｆ１２３、ＦＡＸ通信部１２４、通信部Ｉ／Ｆ１２５、通信部１２６を備える。また、ＭＦＰ１０１はＧＰＵ１２７を備える。

ＣＰＵ１１１を含む制御部１１０は、ＭＦＰ１０１全体の動作を制御する。ＣＰＵ１１１は、ＲＯＭ１１２又はストレージ１１４に記憶された制御プログラムをＲＡＭ１１３に読み出して、読取制御や印刷制御などの各種制御を行う。ＲＯＭ１１２は、ＣＰＵ１１１で実行可能な制御プログラムを格納する。また、ＲＯＭ１１２は、ブートプログラムやフォントデータなども格納する。ＲＡＭ１１３は、主記憶メモリであり、ワークエリア、ＲＯＭ１１２及びストレージ１１４に格納された各種制御プログラムを展開するための一時記憶領域として用いられる。ストレージ１１４は、画像データ、印刷データ、各種プログラム、及び各種設定情報を記憶する。本実施例ではストレージ１１４としてフラッシュメモリを想定しているが、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの補助記憶装置を用いるようにしても良い。また、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）を用いるようにしても良い。

なお、本実施例のＭＦＰ１０１は、１つのＣＰＵ１１１が１つのメモリ（ＲＡＭ１１３）を用いて後述するフローチャートに示す各処理を実行するものとするが、これに限るものではない。例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ＡＳＩＣやＦＰＧＡ等のハードウェア回路を用いて一部の処理を実行するようにしてもよい。

操作部Ｉ／Ｆ１１５は、例えばタッチパネルのような表示部やハードキーを含む操作部１１６と制御部１１０を接続する。操作部１１６は、ユーザに対して情報を表示したり、ユーザからの入力を検出したりする。

読取部Ｉ／Ｆ１１７は、例えばスキャナのような読取部１１８と制御部１１０を接続する。読取部１１８は原稿の画像を読み取って、ＣＰＵ１１１がその画像をバイナリーデータなどの画像データに変換する。読取部１１８によって読み取られた画像に基づき生成された画像データは、外部装置に送信されたり、記録紙上に印刷されたりする。

印刷部Ｉ／Ｆ１１９は、例えばプリンタのような印刷部１２０と制御部１１０を接続する。ＣＰＵ１１１は、ＲＡＭ１１３に記憶された画像データ（印刷データ）を印刷部Ｉ／Ｆ１１９を介して印刷部１２０に転送する。印刷部１２０は、転送された画像データに基づく画像を給紙カセットから給送された記録紙に印刷する。

無線通信部Ｉ／Ｆ１２１は、無線通信部１２２を制御する為のＩ／Ｆで制御部１１０と無線経由で外部の無線機器（ここではモバイル端末１０２）と接続する。

制御部１１０は、ＦＡＸ部Ｉ／Ｆ１２３により、ファクシミリのようなＦＡＸ通信部１２４を制御する事で公衆回線網１０７に接続される。ＦＡＸ部Ｉ／Ｆ１２３は、ＦＡＸ通信部１２４を制御する為のＩ／Ｆで、ファクシミリ通信用のモデムやＮＣＵを制御する事で公衆回線網への接続、ファクシミリ通信プロトコルの制御などを行う事が可能となる。

通信部Ｉ／Ｆ１２５は、制御部１１０とネットワーク１００を接続する。通信部Ｉ／Ｆ１２５は、通信部１２６がネットワーク１００上の外部装置に画像データや装置内部の各種情報を送信したり、ネットワーク１００上の情報処理装置から印刷データやネットワーク１００上の情報を受信したりする。ネットワーク１００を介した送受信の方法としては、電子メールを用いての送受信や、その他のプロトコル（例えば、ＦＴＰやＳＭＢ、ＷＥＢＤＡＶ等）を用いたファイル送信を行うことができる。

ＧＰＵ１２７はデータをより多く並列処理することで効率的な演算を行うことができるため、ディープラーニングのような機械学習のための学習モデルを用いて学習を行う場合にはＧＰＵ１２７で処理を行う。また、ＣＰＵ１１１とＧＰＵ１２７とが協働して機械学習処理を実行してもよい。

図２はＭＦＰ１０１の断面図の一例を示す図である。ＭＦＰ１０１は、読取部１１８、レーザ露光部２０２、作像部２０３、定着部２０４、給紙／搬送部２０５から構成される。

読取部１１８は、原稿台に置かれた原稿に対して、照明を当てて原稿画像を光学的に読み取り、その像を電気信号に変換して画像データを作成する工程である。なお、読取部１１８はＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）を用いて原稿を搬送することで、原稿の画像を読み取ってもよい。

レーザ露光部２０２は、前記画像データに応じて変調されたレーザ光などの光線を等角速度で回転する回転多面鏡（ポリゴンミラー）に入射させ、反射走査光として感光ドラムに照射する。

作像部２０３は、感光ドラムを回転駆動し、帯電器によって帯電させ、前記レーザ露光部によって感光ドラム上に形成された潜像に対し、トナーによって現像化し、そのトナー像をシートに転写する。その際に転写されずに感光ドラム上に残った微小トナーを回収する、一連の電子写真プロセスを実行する。

定着部２０４は、ローラやベルトの組み合わせによって構成され、ハロゲンヒータなどの熱源を内蔵し、前記作像部によってトナー像が転写されたシート上のトナーを、熱と圧力によって溶解、定着させる。

給紙／搬送部２０５は、シートカセットやペーパーデッキに代表されるシート収納庫を一つ以上持っており、前記プリンタ制御部の指示に応じてシート収納庫に収納された複数のシートの中から一枚分離し、作像部・定着部へ搬送する。シートの両面に画像形成する場合は、定着部を通過したシートを再度作像部へ搬送する搬送経路を通るように制御する。

印刷部１２０は、レーザ露光部２０２、作像部２０３、定着部２０４、給紙／搬送部２０５の各部の状態を管理しながら、全体が円滑に動作できるよう指示を行う。

ＣＰＵ１１１は、画像データに対し、ＲＧＢ画像データからＣＭＹＫ画像データへの変換、出力画像の濃度補正を行う出力ガンマ補正、ハーフトーン画像への変換、その他スムージング処理等の補正処理を行う。また、本発明を適用した画像処理装置は、この画像処理部に含まれるとする。なお、画像処理部は必ずしもＭＦＰ本体内に存在しなくてもよく、ネットワークを介したクラウド上のサーバーや、接続されたＰＣ上で同様の画像処理が行われてもよい。

＜カラー／モノクロ判定処理＞
図３はカラー／モノクロ判定処理の一例を示す図である。以下で説明する各処理はＣＰＵ１１１もしくはＧＰＵ１２７がＲＯＭ１１２またはストレージ１１４などからプログラムをＲＡＭ１１３にロードし、そのプログラムコードに基づいて演算処理を行うことで実現する。読取部１１８で取得した画像データならびに各処理の中間生成データも適宜ＲＡＭ１１３にリード／ライトを行いつつＣＰＵ１１１もしくはＧＰＵ１２７が画像処理演算を行うものである。

ＣＰＵ１１１は、読取部１１８が原稿の画像をスキャンして生成したＲＧＢで表現される画像データを受け付けることで以下の処理が実行される。なおここで入力される画像の向きの前提は画像読取部１０１において主走査方向がラインセンサ列の延びる方向、副走査方向がセンサ移動方向として説明を行う。各ラインセンサは副走査方向に並んで配置されている。従って、各ラインセンサの読み取り位置のずれに起因する色ずれによって発生しやすくなる偽色は主走査方向に細く発生する。

平滑化部３０１では、ＣＰＵ１１１がＲＧＢの画像データに対して平滑化処理を行い、読取部１１８がスキャンすることによって発生するノイズの影響を抑制する。ここで、ノイズとはＲ、Ｇ、Ｂの各ラインセンサの読み取り位置のずれに起因するものではなく、原稿自体に起因するものである。例えば、原稿が再生紙の場合には、カラーで印字されていないにも関わらず、色がついた紙片を含む用紙であった場合、部分的に原稿の表面に有彩色があると判定してしまう。生成した画像データの画素に基づいてカラー画素かモノクロ画素かを判定する場合には、上記ノイズの影響を受けやすい。そこで、平滑化部３０１では、これらの影響を抑制する。

学習済みモデルによる推定部３０２では、ＧＰＵ１２７が、平滑化処理が行われた画像データを学習済みモデル（学習モデル）に入力し、注目画素がカラー画素かモノクロ画素かを推定する。この処理については、図４で詳細に説明する。

なお、学習済みモデルによる推定部３０２では、ＧＰＵ１２７が、単純に注目画素がカラー画素かモノクロ画素かを判定するのではなく、注目画素が高彩度画素か低彩度画素か、あるいは無彩色画素かを推定してもよい。本実施例では、学習済みモデルによる推定部３０２において、ＧＰＵ１２７が、注目画素が有彩色画素か、あるいは無彩色画素かを推定し、その推定結果を出力する例を説明する。

領域制限部３０３では、ＣＰＵ１１１が読取部１１８内のミラーユニットの移動時の加速、減速に起因する第１の色ずれを抑制するために、生成した画像データにおいてカラー／モノクロ判定を行なう領域を制限する。読取部１１８で読み取った原稿の副走査方向の先端領域と後端領域では、ミラーユニットの加速、減速に起因する第１の色ずれが発生する可能性がある。よって、このような色ずれが原因で本来ならばモノクロと判定すべきところをカラーであると判定する誤判定を引き起こす可能性がある。よって領域制限部３０３にて、ＣＰＵ１１１は原稿の副走査方向の先端領域と後端領域をカラー／モノクロ判定の対象領域から除外する。

カラーブロック判定部３０４では、ＣＰＵ１１１はカラー／モノクロ判定の対象領域を複数に分割したブロック毎にカラーブロックであるか否かの判定を行う。具体的には、そのブロックに含まれる有彩色画素の数に基づいて判定する。詳細は後述する。

カラーブロックカウント部３０５では、ＣＰＵ１１１はカラー／モノクロ判定の対象領域内のカラーブロックの数をカウントする。

カラー／モノクロ判定部３０６では、ＣＰＵ１１１はカラーブロックの数を基に入力された画像がカラー画像であるか、モノクロ画像であるかを決定する。詳細は後述する。

＜平滑化部３０１＞
前述の通り、平滑化部３０１では、ＣＰＵ１１１がノイズの影響を抑制する処理を行なう。なお、平滑化処理の実行において、十分に広い範囲で平滑化することでノイズの影響を抑制することが可能である。

平滑化部３０１では、ＲＧＢで構成される画像データが入力されると、ＣＰＵ１１１が複数の画素で構成されるウィンドウに画像を切り出し、所定のサイズ（ここでは、横３画素、縦７画素）のウィンドウ内の画素に対して平滑化処理を行なう。平滑化処理はウィンドウ内の画素値の平均値を求める事で実施する。そして、求めた平均値を注目画素の画素値と置き換える。このような処理をスキャン画像内の各画素を注目画素として処理を行なうことでスキャン画像の平滑化処理が行なわれる。

またウィンドウ内の画素値の平均を求める事で平滑化処理を行う例を説明したが、フィルタ処理を用いて例えばライン中心に重みを置いた平滑化フィルタを用いてもよい。

＜学習済みモデルによる有彩色／無彩色判定部の構成＞
以下では学習済みモデルによる推定部３０２の構成について、説明する。図４は学習済みモデルのニューラルネットワークの構成の一例を示す図である。図４のニューラルネットワークは、より層の多いニューラルネットワークであっても、層の少ないニューラルネットワークであってもよい。また、以下の処理はＭＦＰ１０１のＧＰＵ１２７がＲＯＭ１１２もしくはストレージ１１４に記憶されたプログラムを実行することにより、実行される。また、本実施例で説明する学習済みモデルはストレージ１１４に記憶されている。

まず、学習済みモデルによる推定部３０２に入力された画像データは、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１において畳み込み演算が行われる。入力画像データの（ｘ、ｙ）位置の画素値をＩ（ｘ、ｙ）とすると、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１の出力画像データＩ_Ｇ１（ｘ、ｙ、ｐ）は、以下の式で算出される。

ここで、ｐは出力プレーン数であり、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１ではｐ１ ＝ ５６とした。また、

はニューラルネットワークが保持しているＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１における重みであり、ｓ、ｔ、ｐ１の組み合わせごとに異なる値を有している。なお、上記式中のＩ（ｘ＋ｓ、ｘ＋ｔ）であるが、参照位置が入力画像データの有する画素位置外（例えば、Ｉ（－１、－１）など）の場合は、画素値を０として演算を行う。以上の演算により、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１の出力は、２５６ｘ２５６ｘ２の画像データとなる。

次に、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０２では、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１の出力画像データＩ_Ｇ１（ｘ、ｙ、ｐ１）に対して、非線形関数を適用する。具体的には、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０２の出力画像データＩ_Ｇ２（ｘ、ｙ、ｐ２）は、ランプ関数を用いて以下の式で計算される。

なお、当該処理で適用される非線形関数は、これに限定されない。例えば、双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ）などを用いてもよい。以上の演算により、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０２の出力画像データＩ_Ｇ２（ｘ、ｙ、ｐ）は、２５６×２５６×５６の画像データ、すなわち２５６×２５６の画像データが５６プレーンの画像データとなる。

次にＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０３においてもＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０１と同様に畳み込み演算が行われる。Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０２の出力画像データＩ_Ｇ２（ｘ、ｙ、ｐ１）に対して、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０３の出力画像データＩ_Ｇ３（ｘ、ｙ、ｐ３）は、以下の式で算出される。

ここでは畳み込みにおけるフィルタサイズを１×１としたため、ｓ、ｔの指定はない。また、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０３ではｐ３ ＝ １６とした。

はＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０３における重みであり、ｐ３の組み合わせごとに異なる値を有している。

次に、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０４では、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０３の出力画像データＩ_Ｇ３（ｘ、ｙ、ｐ３）に対して、非線形関数を適用する。ランプ関数を用いて以下の式で計算される。

以上の演算により、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０４の出力画像データＩ_Ｇ４（ｘ、ｙ、ｐ３）は、２５６×２５６×１６の画像データとなる。

次にＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０５においても畳み込み演算が行われる。Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０４の出力画像データＩ_Ｇ５（ｘ、ｙ、ｐ５）に対して、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０４の出力画像データＩ_Ｇ４（ｘ、ｙ、ｐ３）は、以下の式で算出される。

ここで、ｐ５ ＝ １２とした。

はＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０５における重みであり、ｓ、ｔ、ｐ５の組み合わせごとに異なる値を有している。

Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０６では、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０５の出力画像データＩ_Ｇ５（ｘ、ｙ、ｐ５）に対して、ランプ関数を用いて以下の式で計算される。

Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０７においても畳み込み演算が行われる。Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０６の出力画像データＩ_Ｇ６（ｘ、ｙ、ｐ５）に対して、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０７の出力画像データＩ_Ｇ７（ｘ、ｙ、ｐ７）は、以下の式で算出される。

ここで、ｐ７ ＝ ５６とした。

はｐ７ごとに異なる値を有している。

Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０８では、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０７の出力画像データＩ_Ｇ７（ｘ、ｙ、ｐ７）に対して、ランプ関数を用いて以下の式で計算される。

Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０９においても畳み込み演算が行われる。Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４０８の出力画像データＩ_Ｇ８（ｘ、ｙ、ｐ７）に対して、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０８の出力画像データＩ_Ｇ８（ｘ、ｙ、ｐ７）は、以下の式で算出される。

はｓ、ｔごとに異なる値を有している。

Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４１０では、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ４０９の出力画像データＩ_Ｇ９（ｘ、ｙ、ｐ９）に対して、シグモイド関数を用いて以下の式で計算される。

以上の演算より、出力画像データＩ_Ｇ１０（ｘ、ｙ）は、２５６×２５６の画像データとなる。それぞれの画素には０から１の値が格納されている。ここで、それぞれの画素に対して閾値Ｔｈ＿Ｓｉｇｍｏｉｄと比較することでそれぞれの画素が有彩色か無彩色かを判定する。Ｔｈ＿Ｓｉｇｍｏｉｄ以上の値の際は有彩色、Ｔｈ＿Ｓｉｇｍｏｉｄ未満の値の際は無彩色と判定する。Ｔｈ＿Ｓｉｇｍｏｉｄは０．５を用いることができるが、他の値でもよい。

ここで、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ４１０から出力された推定画像データは画素ごとに有彩色か無彩色を判定している２値画像データである。なお、この推定画像データは画像と同じサイズの２値の配列であってもよい。

＜学習方法＞
図５は正解データを作成する処理の一例を示す図である。なお、この処理はＣＰＵ１１１がＲＯＭ１１２またはストレージ１１４などからプログラムをＲＡＭ１１３にロードし、実行することで実現する。

画像読み取り処理５０１において、ＣＰＵ１１１は読取部１１８を制御し、原稿の画像を読み取り画像データを生成する。この時、読み取られる画像には色ずれモアレが発生している。色ずれモアレとはＲＧＢの３ラインカラーセンサの位置ずれが複数重なって初めて発生する色ずれの干渉によって発生するモアレのような現象（色ずれ）である。この現象に対応するためには、隣接画素だけではなく周囲の画素を参照する必要がある。また、色ずれモアレとは、例えばあるＭＦＰが原稿の画像をコピーする際、ＭＦＰのスキャナのＲＧＢラインセンサがセンシングする位相のずれによる色ずれが周期的に起こることによって発生する。

図６は読み取られる画像の色ずれモアレの一例を示す図である。図６（ａ）は読み取られる画像の印刷前のデジタル画像を表し、薄い黒色（Ｒ：２１０、Ｇ：２１０、Ｂ：２１０）を示す。Ｒ、Ｇ、Ｂの値は８ｂｉｔ階調の際の信号値の例を示すが、他の値でもよい。

図６（ｂ）は読み取られる画像の印刷後の画像を示す。色ずれモアレが発生すると本来なかった有彩色の色が周期的に現れ、モアレが出る。ここで現れた有彩色は例えば薄い赤（Ｒ：２３０、Ｇ：２１０、Ｂ：２１０）、濃い赤（Ｒ：２３０、Ｇ：１８０、Ｂ：１８０）、薄い黒（Ｒ：２１０、Ｇ：２１０、Ｂ：１８０）である。本実施例では濃い赤と薄い赤のモアレが発生する例を示したが、別の色によるモアレでもよい。例えば濃い緑と薄い緑のモアレでも構わないし、薄い緑と濃い赤によって発生するモアレでも構わない。

この図６（ｂ）の色ずれモアレが発生している画像が印刷された原稿をスキャンして、生成したＲＧＢ画像データが学習データとなる。

閾値判定処理５０２では、ＣＰＵ１１１は学習データに対して閾値処理を用いて、画素ごとに有彩色／無彩色の判定をする。彩度Ｓは、例えば以下の式を用いて算出することが可能である。
Ｓ＝ＭＡＸ（Ｒ、Ｇ、Ｂ）－ＭＩＮ（Ｒ、Ｇ、Ｂ）

ここで、ＭＡＸ（Ｒ、Ｇ、Ｂ）は、Ｒ、Ｇ、Ｂの各色の値の中の最大値を示し、ＭＩＮ（Ｒ、Ｇ、Ｂ）は、Ｒ、Ｇ、Ｂの各色の値の中の最低値を示す。この彩度Ｓに対して以下に示す閾値処理を行うことで有彩色画素かあるいは無彩色画素かを判定する。
ｉｆ（Ｓ＜Ｔｈ） Ｔｈｅｎ 無彩色画素
ｅｌｓｅ 有彩色画素

つまり、彩度Ｓが閾値Ｔｈより小さいときはその画素を無彩色画素と判定し、彩度Ｓが閾値Ｔｈ以上であるときは、その画素を有彩色画素と判定する。

次に画像分割処理５０３では、ＣＰＵ１１１は、色ずれモアレを修正した画像を示す画像データを入力する。なお、この色ずれモアレを修正した画像を示す画像データはユーザの操作によってＭＦＰ１０１が受け付ける。ここでいう修正とは、色ずれモアレが発生した箇所に対して、閾値処理では誤判定となる箇所の有彩色／無彩色の判定結果の書き換えのことである。修正方法については、例えば画像編集アプリケーションソフトウェアを用いて目視で確認し、書き換えてもよい。この正解データは色ずれが発生している画像を示す画像データにおける画素の有彩色もしくは無彩色を示す情報を修正したデータである。

図６（ｃ）に図６（ｂ）の画像を上記閾値で有彩色／無彩色を判定した結果を示す。図６（ｃ）において、黒色が有彩色、白色が無彩色を表す。ＣＰＵ１１１は、修正した画像を受け取ると、学習データの画像と正解データの画像を所定のサイズにカットする。所定のサイズは例えば２５６×２５６でもよいし、もっと大きくてもよい。ただし、図４の入力画像のサイズと一致したサイズである必要がある。

図７は色ずれモアレおよび正解データのパターンの一例を示す図である。図７（ａ１）は薄い赤と濃い赤によって発生した色ずれモアレの様子を示す。Ｒ、Ｇ、Ｂの値は８ｂｉｔ階調の際の信号値の例を示すが、他の値でもよい。本例では濃い赤と薄い赤のモアレが発生する例を示したが、別の色によるモアレでもよい。図７（ａ２）はその時に学習する正解データを表す。色ずれが発生した箇所に対しても無彩色であると学習する。図７（ｂ１）、（ｃ１）は別の色ずれモアレのパターンの例を示す。図７（ｂ１）は濃い緑の中に班点状に薄い緑の点が見られ、モアレの形状となっている。図７（ｂ１）は薄い緑（Ｒ：２１０、Ｇ：２３０、Ｂ：２１０）、濃い緑（Ｒ：１８０、Ｇ：２３０、Ｂ：１８０）から構成されている。図７（ｃ１）は黒のエッジ部に対して発生する色ずれモアレの例である。本来ならば黒と白のみで構成される画像だが、色ずれが発生し、薄い赤（Ｒ：２３０、Ｇ：２１０、Ｂ：２１０）、濃い赤（Ｒ：２３０、Ｇ：１８０、Ｂ：１８０）、黒（Ｒ：５、Ｇ：５、Ｂ：５）から構成されている。図７（ｂ１）、（ｃ１）の正解データは図７（ｂ２）、（ｃ２）に示すように無彩色と判定したデータとなる。学習データと正解データがそろうと図４で示されるニューラルネットワークで学習させる。

＜領域制限部＞
次に、領域制限部３０３の処理について説明する。図８は領域制限部３０３によって制限される領域の一例を示す図である。原稿の長さをｌｅｎｇｔｈとした時に、副走査方向の原点側からｓｐ０、ｓｐ１、ｌｅｎｇｔｈを設定する。これらの座標指定により原稿領域は図示するカラー／モノクロ判定が有効な領域とカラー／モノクロ判定が無効な領域とに分割することができる。領域制限部３０３は、具体的には学習済みモデルによる推定部３０２の推定結果に対して、カラー／モノクロ判定が無効な領域の全ての画素については強制的に無彩色画素であると判定結果を置換える。これによりカラー／モノクロ判定が有効な領域の画素についてのみカラー／モノクロ判定処理を行うことができる。

なお、カラー／モノクロ判定が無効な領域は原稿の副走査方向の先端領域と後端領域に限るものではなく、左右端領域が設定されてもよいし、原稿中の複数個所に設定されてもよい。

＜カラーブロック判定部＞
次に、カラーブロック判定部３０４の処理について説明する。カラーブロック判定部３０４は原稿から得られるスキャン画像を図９に示すようなＭ×Ｎ（Ｍ、Ｎは整数）画素で構成されるブロック領域に分割する。図９は画像を複数のブロックに分割する処理の一例を示す図である。そして学習済みモデルによる推定部３０２の結果を基に各ブロックがカラーブロックであるか否かを判定する。

図１０はカラーブロック判定部３０４の処理の一例を示すフローチャートである。ＣＰＵ１１１がＲＯＭ１１２に記憶されたプログラムをＲＡＭ１１３に読み出し、実行することで図１０のフローチャートの処理は実行される。

Ｓ１００１においてＣＰＵ１１１は、まず処理対象となる注目ブロックを決定する。本実施例では、最初の注目ブロックは主走査方向及び副走査方向の原点側にあるブロックであり、以降の処理を繰り返すたびに主走査方向へ移動し、それを副走査方向に繰り返す。そして最終ブロックは原稿右下のブロックとなる。

Ｓ１００２においてＣＰＵ１１１は、Ｓ１００１で決定した注目ブロック内の有彩色画素数と予め設定してある閾値Ｔｈ２とを比較する。

Ｓ１００３においてＣＰＵ１１１は、Ｓ１００２で有彩色画素数がＴｈ２より大きい場合はＳ１００１で決定した注目ブロックをカラーブロックであると判定する。

Ｓ１００４においてＣＰＵ１１１は、注目ブロックが最終ブロックではなかった場合、Ｓ１００１に戻り、カラーブロック判定を繰り返す。以上の動作をすることで、スキャン画像の全ブロックについて、カラーブロックであるか否かの判定ができる。

＜カラーブロックカウント部＞
次に、カラーブロックカウント部３０５の処理について説明する。カラーブロックカウント部３０５はカラーブロック判定部３０４で判定したカラーブロックの数をカウントする。

＜カラー／モノクロ判定部＞
次に、カラー／モノクロ判定部３０６の処理を説明する。カラー／モノクロ判定部３０６ではカラーブロックカウント部３０５によってカウントされたカラーブロックカウンタＢｌｏｃｋＣｎｔと閾値Ｔｈ３とを比較する。そして、閾値Ｔｈ３より多いカラーブロックがあった場合にその原稿をカラー原稿であると判定する。

＜本画像処理の効果＞
本実施例によれば、印刷に対して発生する色ずれモアレがあっても高精度にカラー／モノクロ判定することができる画像処理装置を提供する。本実施例では機械学習における正解データを印刷された画像データのスキャン画像から作成した。閾値有彩色／無彩色判定では誤判定する色ずれモアレを人が判断して判定する。そのため、スキャナが持つ特性のうち、色ずれモアレだけを対象として誤判定から抑制することが可能である。

実施例１では記憶媒体に印刷された画像に対して読み取り装置を用いてスキャンし、スキャンされた画像から正解画像を作成した。一方、実施例２では印刷された画像のもととなるデジタルデータから正解画像を作成する。以下では実施例１からの差分を主に説明する。

＜学習方法＞
本実施例における学習データは、記録媒体に印刷された画像データから作成される。しかし、正解データは印刷された画像データのもととなるデジタルデータから作成される。

本実施例においても実施例１と同様に、図５を用いて手順を説明する。なお、このフローチャートはＣＰＵ１１１がＲＯＭ１１２またはストレージ１１４からプログラムをＲＡＭにロードし、そのプログラムコードに基づいて演算処理を行うことで実現する。

画像読み取り処理５０１において、ＣＰＵ１１１は読取部１１８から読み込まれたＲＧＢ画像データを受け取る。このとき読み込まれる画像データには、色ずれモアレが発生している。

閾値判定処理５０２では、ＣＰＵ１１１は印刷した画像データのもととなる入力画像データに対して閾値処理を用いて、画素ごとに有彩色／無彩色判定する。閾値処理には実施例１同様、彩度Ｓを用いることができる。ここで、デジタルデータには色ずれモアレは発生しないため、本実施例では実施例１のように、ユーザが有彩色／無彩色の判定をした画像データを修正する必要はない。

続いて、画像分割処理５０３では、ＣＰＵ１１１は学習データの画像と正解データの画像を所定のサイズにカットする。所定のサイズは例え２５６×２５６でもよいし、もっと大きくてもよい。ただし、図４の入力画像のサイズと一致したサイズである必要がある。

学習データと正解データがそろうと図４で示されるニューラルネットワークで学習させる。

本実施例では機械学習における正解データを印刷された画像データの元のデジタル画像から作成するため、デジタルデータを記録媒体上に再現するうえで本来起きるはずのなかった色ずれモアレの誤判定をなくすことができる。すなわち、スキャナによって発生するデジタル画像には見られない、色ずれモアレを主とする誤判定を総じて抑制することが可能となる。

＜その他の実施の形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＭＦＰ
１１１ ＣＰＵ
１１８ 読取部
１２７ ＧＰＵ

Claims (13)

1. 画像データを入力する入力手段と、
   前記入力手段が入力した画像データが示す画像がカラー画像かモノクロ画像かを決定する決定手段と、
   前記決定手段は、色ずれが発生している画像と正解データに基づいて生成された学習済みモデルを用いて前記入力手段が入力した画像データが示す画像がカラー画像かモノクロ画像かを決定することを特徴とする画像処理装置。
2. 前記学習済みモデルを用いて前記入力手段が入力した画像データの画素ごとに、有彩色の画素か無彩色の画素かを推定することを特徴とする推定手段をさらに有し、
   前記決定手段は、前記推定手段の推定結果に基づいて前記入力手段が入力した画像データが示す画像がカラー画像かモノクロ画像かを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記入力手段が入力した画像データを複数のブロックに分割し、前記ブロックごとに有彩色のブロックか無彩色のブロックかを判定する判定手段をさらに有し、
   前記判定手段は、前記画像データの前記推定手段が有彩色の画素と判定した画素の数に基づいてカラーのブロックかモノクロのブロックかを判定し、
   前記決定手段は、前記画像データの前記判定手段がカラーのブロックと判定したブロックの数に基づいて前記入力手段が入力した画像データが示す画像がカラー画像かモノクロ画像かを決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は前記画像データの所定の領域を判定しないことを特徴とする請求項３に記載の画像処理装置。
5. 前記所定の領域は、原稿の副走査方向の先端領域と後端領域であることを特徴とする請求項４に記載の画像処理装置。
6. 前記正解データは、前記入力手段が入力した前記色ずれが発生している画像を示す画像データを修正した画像データであるとこを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記正解データは前記入力手段が入力した前記色ずれが発生している画像を示す画像データにおける画素の有彩色もしくは無彩色を示す情報を修正したデータであることを特徴とする請求項６に記載の画像処理装置。
8. 前記入力手段が入力した画像データを平滑化する平滑化手段をさらに有することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記学習済みモデルはニューラルネットワークであることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記正解データは２値画像データであることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記入力手段は原稿の画像をスキャンし、画像データを入力するスキャナであることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 画像データを入力する入力工程と、
    前記入力工程で入力した画像データが示す画像がカラー画像かモノクロ画像かを決定する決定工程と、
    前記決定工程は、色ずれが発生している画像と正解データに基づいて生成された学習済みモデルを用いて前記入力工程で入力した画像データが示す画像がカラー画像かモノクロ画像かを決定することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images