JP6433187B2 - 情報処理装置、その制御方法およびコンピュータプログラム - Google Patents

Description

本発明は、情報処理装置、その制御方法およびコンピュータプログラムに関する。

紙帳票を扱うワークフローの効率化を実現する技術の一つとして、機械学習を利用した画像分類が提案されている。機械学習を利用した画像分類は、一般的に学習と分類の２つのプロセスを有し、画像群（学習セット）を与えることで分類ルールを学習によって構築し、構築した分類ルールに基づいて入力画像を分類する。すなわち、学習セットは、システムに入力される画像を分類する分類ルールの学習に用いる学習データである。

紙帳票を扱うワークフローに機械学習を利用した画像分類を応用すると、スキャン画像の格納先や配布先の自動決定、ファイル名の自動生成などが可能になる。また、顧客毎に用意した帳票から学習することで、個別にカスタマイズされた分類ルールを構築することも可能になる。

学習と分類で画像の性質が異なると、十分な分類精度が得られないので、一般的には分類時の入力画像を想定して大量の画像を用意する必要がある。現場で学習を行なう場合や分類時に画像の性質が変化する場合など、学習セットに十分な数やパターンの画像を用意することができない場合には、システムが、ユーザから与えられた画像を増やして学習に利用する方法が知られている。

特許文献１は、カメラでの撮影時に生じるボケやブレを模した画像処理を参照画像に施すことで学習画像を増やす方法を提供している。

国際公開第２０１０／１０１１８６号

しかし、カメラで撮影された画像を単に増やして学習セットの画像を生成することは、様々な特性を有する機器から入力される画像の分類に用いられる学習セットの生成方法として有効とは言えない。例えば、カメラ付携帯端末が画像を撮影して情報処理装置に入力し、情報処理装置が、入力された画像を、学習セットに基づく分類ルールで分類する場合を想定する。この場合、カメラ付携帯端末の距離、傾き、焦点距離、露光、シャッター速度、手ぶれなどの様々な撮影時の要因や、被写界深度・レンズ特性・手ブレ補正機能の有無といった機器毎の特性によって、画像の性質は大きく変化する。したがって、情報処理装置が、カメラ付携帯端末の特性に応じて変化する様々な画像の分類に適した学習セットを生成することが必要となる。

また、紙帳票を扱うワークフローでは、スキャン機能を備えたＭＦＰ(Multi Function Peripheral)などの、カメラ以外の画像入力装置も想定される。ＭＦＰは、スキャン画像を情報処理装置に入力する。情報処理装置は、入力されたスキャン画像を分類する。スキャン画像とカメラ画像とでは画像の性質が異なるし、同じスキャン画像でも、画像入力装置のスキャナの方式の違い・斜行や位置ずれの規格の違いによって、画像の性質は大きく変化する。

このように、使用する画像入力装置の種類や特性から画像の性質は大きく変化するため、様々な画像を用意することが有用であると考えられる。しかし、あらゆる入力画像を想定した膨大な量の画像を増やして学習セットとし、分類ルールの学習に利用することは、分類ルールの構築を困難にし、学習時間も増えてしまう。

本発明は、画像の分類ルールの学習に用いられる学習データを生成する装置であって、画像入力装置の種類や特性に応じた高品質の学習データを生成する情報処理装置の提供を目的とする。

本発明の一実施形態の情報処理装置は、画像入力装置から入力される画像を分類する分類ルールの学習に用いる学習データを生成する情報処理装置であって、初期画像を受け付ける受け付け手段と、前記画像入力装置に関するデバイス情報を取得する取得手段と、前記デバイス情報に基づいて補正パラメータを決定し、当該決定された補正パラメータを用いて前記受け付け手段により受け付けた初期画像を補正し、前記初期画像とは異なる画像を生成する第１の生成手段と、前記第１の生成手段により生成された画像と前記入力された初期画像とを用いて学習データを生成する第２の生成手段と、を備え、前記第１の生成手段は、前記デバイス情報に基づいて、前記画像入力装置が画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部の規格に基づいて前記補正パラメータを決定し、前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が行う撮影画像からの原稿抽出に伴う画像劣化の情報に基づいて前記補正パラメータを決定する。

本発明の情報処理装置によれば、画像入力装置の種類や特性に応じた高品質の学習データを生成することができる。

実施例１のシステム構成を示す図である。 ＭＦＰの構成例を示す図である。 携帯端末の構成例を示す図である。 サーバの構成例を示す図である。 サーバによる画像分類ルールを学習する処理の一例を説明する図である。 撮影画像と原稿領域の一例を示す図である。 回転処理、シフト処理、拡大縮小処理を説明する図である。 勾配情報に基づく画像特徴量の算出を説明する図である。 パッチ画像の切り出しを説明する図である。 学習データを用いた機械学習の例を説明する図である。 実施例２のシステム構成を示す図である。 実施例２における画像分類ルールを学習する処理を説明する図である。 標準画像への変換処理の例を説明するフローチャートである。

（実施例１）
図１は、実施例１のシステム構成を示す図である。
実施例１のシステムは、サーバ４０と、画像入力装置である携帯端末３０、ＭＦＰ１０を備える。

ＬＡＮ６０には、画像処理装置であるＭＦＰ１０と無線ルータ５０が接続されている。また、ＬＡＮ６０はインターネット７０に接続されており、サービスを提供しているサーバ４０ともインターネット７０経由で接続されている。ＭＦＰ１０、携帯端末３０、サーバ４０は、無線ルータ５０およびＬＡＮ６０を介して、互いに接続されており、画像データや各種情報の送受信を行う。この例では、無線ルータ５０、ＭＦＰ１０はＬＡＮ６０に接続されているが、その限りではない。無線ルータ５０、ＭＦＰ１０はサーバ４０に接続可能であればよい。なお、サーバ４０は、画像入力装置から入力される画像を分類する分類ルールの学習に用いる学習データを生成する情報処理装置である。具体的には、サーバ４０は、画像入力装置から入力された画像を増やして学習データを生成し、生成した学習データに基づいて、画像の分類ルールを構築する。

図２は、ＭＦＰの構成例を示す図である。
図２（Ａ）に示すように、ＭＦＰ１０は、装置制御部１００、画像読取部１０１、画像処理部１０２、記憶部１０３、ＣＰＵ１０４、画像出力部１０５、ネットワークＩ／Ｆ部１０６および操作部１０７を備える。

装置制御部１００は、ＭＦＰ内およびネットワークＩ／Ｆ１０６を経由した外部とのデータの受け渡しや、操作部からの操作の受け付けを行う。画像読取部１０１は、原稿の画像を読み取り、画像データを出力する。画像処理部１０２は、画像読取部１０１や外部から入力される画像データを含む印刷情報を中間情報（以下「オブジェクト」と呼ぶ）に変換し、記憶部１０３のオブジェクトバッファに格納する。オブジェクトは、テキスト、グラフィック、イメージの属性を持つ。さらに、バッファしたオブジェクトに基づきビットマップデータを生成し、記憶部１０３のバッファに格納する。その際、色変換処理、濃度調整処理、トナー総量制御処理、ビデオカウント処理、プリンタガンマ補正処理、ディザなどの疑似中間調処理を行う。

記憶部１０３は、ＲＯＭ、ＲＡＭ、ハードディスク（ＨＤ）などから構成される。ＲＯＭは、ＣＰＵ１０４が実行する各種の制御プログラムや画像処理プログラムを格納する。ＲＡＭは、ＣＰＵ１０４がデータや各種情報を格納する参照領域や作業領域として用いられる。また、ＲＡＭとＨＤは、上記のオブジェクトバッファなどに用いられる。ＲＡＭとＨＤ上で画像データを蓄積し、ページのソートや、ソートされた複数ページにわたる原稿を蓄積し、複数部プリント出力を行う。

画像出力部１０５は、記録紙などの記録媒体にカラー画像を形成して出力する。ネットワークＩ／Ｆ部１０６は、ＭＦＰ１０をＬＡＮ６０に接続し、インターネット７０や他の装置との間で各種情報を送受信する。操作部１０７は、タッチパネルや操作ボタンを備え、ユーザからの操作を受け付けて装置制御部１００へ該操作の情報を送信する。

図２（Ｂ）は、ＭＦＰ１０の外観を示す。画像読取部１０１において、原稿台ガラス２０３および原稿圧板２０２の間に画像を読み取る原稿２０４が置かれ、原稿２０４はランプ２０５の光に照射される。原稿２０４からの反射光は、ミラー２０６と２０７に導かれ、レンズ２０８によって３ラインセンサ２１０上に像が結ばれる。なお、レンズ２０８には赤外カットフィルタ２３１が設けられている。図示しないモータにより、ミラー２０６とランプ２０５を含むミラーユニットを速度Ｖで、ミラー２０７を含むミラーユニットを速度２／Ｖで矢印の方向に移動する。つまり、３ラインセンサ２１０の電気的走査方向（主走査方向）に対して垂直方向（副走査方向）にミラーユニットが移動し、原稿２０４の全面を走査する。

３ラインのＣＣＤからなる３ラインセンサ２１０は、入力される光情報を色分解して、フルカラー情報レッドＲ、グリーンＧおよびブルーＢの各色成分を読み取り、その色成分信号を画像処理部１０２へ送る。なお、３ラインセンサ２１０を構成するＣＣＤはそれぞれ５０００画素分の受光素子を有し、原稿台ガラス２０３に載置可能な原稿の最大サイズであるＡ３サイズの原稿の短手方向（２９７ｍｍ）を６００ｄｐｉの解像度で読み取ることができる。

標準白色板２１１は、３ラインセンサ２１０の各ＣＣＤ２１０−１から２１０−３によって読み取ったデータを補正するためのものである。標準白色板２１１は、可視光でほぼ均一の反射特性を示す白色である。

画像処理部１０２は、３ラインセンサ２１０から入力される画像信号を電気的に処理して、シアンＣ、マゼンタＭ、イエローＹおよびブラックＫの各色成分信号を生成し、生成したＣＭＹＫの色成分信号を画像出力部１０５に送る。画像処理部１０２は、外部から入力された画像データについても、同等の処理をして、生成したＣＭＹＫの色成分信号を画像出力部１０５に送る。このとき出力される画像はディザなどの疑似中間処理が行われたＣＭＹＫの画像となっている。また、画像に対し、ＭＦＰのメーカー名やモデル名・画像解像度・その他読取設定などのヘッダー情報を付与する。このヘッダー情報は、後述する画像入力装置のデバイス情報の取得に利用する。

画像出力部１０５において、画像読取部１０１から送られてくるＣ、Ｍ、ＹまたはＫの画像信号はレーザドライバ２１２へ送られる。レーザドライバ２１２は、入力される画像信号に応じて半導体レーザ素子２１３を変調駆動する。半導体レーザ素子２１３から出力されるレーザビームは、ポリゴンミラー２１４、ｆ−θレンズ２１５およびミラー２１６を介して感光ドラム２１７を走査し、感光ドラム２１７上に静電潜像を形成する。

現像器は、マゼンタ現像器２１９、シアン現像器２２０、イエロー現像器２２１およびブラック現像器２２２から構成される。四つの現像器が交互に感光ドラム２１７に接することで、感光ドラム２１７上に形成された静電潜像を対応する色のトナーで現像してトナー像を形成する。記録紙カセット２２５から供給される記録紙は、転写ドラム２２３に巻き付けられ、感光ドラム２１７上のトナー像が記録紙に転写される。このようにしてＣ、Ｍ、ＹおよびＫの四色のトナー像が順次転写された記録紙は、定着ユニット２２６を通過することで、トナー像が定着された後、装置外へ排出される。

図３は、携帯端末の構成例を示す図である。
携帯端末３０は、ＣＰＵ３０１乃至モーションセンサ３１０を備える。ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３が、データバス３１１を介してプログラムやデータを送受信する。データバス３１１には、記憶部３０４、データ送受信部３０５、撮像部３０６、表示部３０７、操作部３０８、画像処理部３０９、モーションセンサ３１０が接続される。さらに、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３も併せて、互いにプログラムやデータの送受信を行う。

記憶部３０４は、フラッシュメモリであり、画像データや各種プログラムが格納される。データ送受信部３０５は、無線ＬＡＮコントローラを有し、無線ルータ５０を介してサーバ４０とのデータの送受信を実現する。撮像部３０６は、カメラであり、原稿の撮影を行って撮影画像を取得する。取得された撮影画像のデータには、携帯端末のメーカー名やモデル名・画像解像度・絞り（Ｆ値）・焦点距離などのヘッダー情報が付与され、後述のように各部に送信される。このヘッダー情報は、後述する画像入力装置のデバイス情報の取得に利用する。

表示部３０７は、タッチパネルディスプレイであり、カメラ機能を用いて原稿を撮影する際にライブビューによる表示や、本実施例の学習終了通知などの各種情報を表示する。操作部３０８は、タッチパネルや操作ボタンであり、ユーザからの操作を受け付けて各部へ該操作の情報を送信する。

画像処理部３０９は、撮影画像のデータから原稿抽出を行う。モーションセンサ３１０は、３軸加速度センサ、電子コンパス、３軸角速度センサを搭載しており、公知の技術を利用することにより、携帯端末３０の姿勢や移動を検知することが可能である。なお、ＣＰＵ３０１がＲＯＭ３０３や記憶部３０４が保持するプログラムを実行することで、これらの携帯端末３０内の構成要素の制御を行う。

カメラ機能を持つ端末装置ならば本発明への適用が可能である。すわなち、携帯端末３０は、カメラ機能を持ったスマートフォンや携帯電話でも、通信機能を持ったデジタルカメラでも構わない。

図４は、サーバの構成例を示す図である。
サーバ４０は、ＣＰＵ４０１乃至ネットワークＩ／Ｆ部４０４を備える。
ＣＰＵ４０１は、ＲＯＭ４０３に記憶された制御プログラムを読み出して各種制御処理を実行する。ＲＡＭ４０２は、ＣＰＵ４０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ネットワークＩ／Ｆ部４０４は、サーバ４０をインターネット７０に接続し、他の装置との間で各種情報を送受信する。ＨＤＤ４０５は、画像データや特徴量データ、各種プログラムを記憶する。

図４において、ネットワークＩ／Ｆ部４０４を介して受信したＭＦＰ１０または携帯端末３０からの画像データを、データバス４１０を介してＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３が送受する。ＣＰＵ４０１がＲＯＭ４０３やＨＤＤ４０５に格納された画像処理プログラムを実行することによって、画像データに対する画像処理が実現される。

図５は、サーバによる画像分類ルールを学習する処理の一例を説明するフローチャートである。
図５に示す処理は、ＣＰＵ４０１が、ＨＤＤ４０５に格納されている処理プログラムをＲＡＭ４０２にロードして実行することで実現される。

まず、ＣＰＵ４０１が、画像入力装置（ＭＦＰ１０または携帯端末３０）からＬＡＮ６０およびインターネット７０を経由して、画像入力装置から入力される画像データを受け付ける（ステップＳ５０１）。ＣＰＵ４０１は、受け付けた画像データをＨＤＤ４０５に初期画像として記録する。

本実施例では、画像入力装置が１つに限定される状況を前提として画像分類ルールの学習処理を行なう。したがって、ＭＦＰ１０が画像データを入力した場合には、以降の処理では、画像入力装置はＭＦＰ１０、操作部は操作部１０７である。また、携帯端末３０が画像データを入力した場合には、以降の処理では、画像入力装置は携帯端末３０、操作部は操作部３０８である。なお、携帯端末３０は、撮影によって取得した画像（撮影画像）から原稿を抽出し、当該抽出された原稿の画像をサーバ４０に入力する。原稿の抽出処理の詳細については、図６を用いて後述する。

次に、サーバ４０のＣＰＵ４０１が、画像データの入力が終了したかを判断する（ステップＳ５０２）。ユーザが、操作部１０７（図２）または操作部３０８（図３）を用いて画像データの入力終了を指示すると、ＣＰＵ４０１が、ネットワークＩ／Ｆ部４０４を介して、上記の指示を受信する。したがって、ＣＰＵ４０１は、この指示を受信した場合には、画像データの入力が終了したと判断する。画像データの入力が終了していない場合は、処理がステップＳ５０１に戻る。画像データの入力が終了した場合は、処理がステップＳ５０３に進む。なお、ステップＳ５０２の判断処理に、他の方法を用いてもよい。例えば、サーバ４０で入力画像数をカウントしておき、予めユーザによって操作部１０７または操作部３０８を介して設定された最大入力画像数に達した場合には、画像データの入力が終了したと判断する方法が考えられる。

次に、ＣＰＵ４０１が、ＨＤＤ４０５に初期画像として記録された画像データのヘッダー情報から、画像入力装置に関するデバイス情報を取得する（ステップＳ５０３）。本実施例では、学習時と分類時とで画像入力装置が同一である場合を想定している。したがって、ステップＳ５０３で取得されるデバイス情報は、分類対象の画像を入力する画像入力装置のデバイス情報でもある。デバイス情報は、ＭＦＰ１０や携帯端末３０のメーカー名やモデル名といった、画像入力装置のデバイスを特定するために必要な情報である。なお、デバイス情報の取得方法は、この方法に限定されるものではない。ユーザによって操作部１０７または操作部３０８を介してデバイス情報が設定されてもよい。

次に、ＣＰＵ４０１が、ステップＳ５０３で取得したデバイス情報に基づいて、追加画像を生成するための画像補正パラメータを決定する（ステップＳ５０４）。すなわち、ＣＰＵ４０１は、画像入力装置の特性に応じて初期画像を補正することで追加画像を生成、つまり初期画像を増加させる。画像補正は、少なくとも、回転処理、シフト処理、拡大縮小処理、ぼかし処理のうちのいずれかを含む。画像補正パラメータは、初期画像を増加させるための増加パラメータの一つであり、回転処理、シフト処理、拡大縮小処理、またはぼかし処理の大きさを決定する補正パラメータである。

画像補正パラメータを切り替えることにより、画像の分類の際に画像入力装置から入力される入力画像に起こり得る画像変化を、使用される画像入力装置の性質に基づき再現することができる。例えば、使用する画像入力装置がＭＦＰ１０である場合には、ＣＰＵ４０１が、画像読取部１０１の斜行や位置ずれなどのスキャン時の規格に基づいて画像補正パラメータを決定する。これにより、携帯端末３０で画像が撮影されたときと比べて画像補正で再現する画像変化量は小さくなる。画像補正の詳細と画像補正パラメータの決定方法については後述する。

次に、ＣＰＵ４０１が、上記ステップＳ５０１でＨＤＤ４０５に登録された初期画像から画像を１枚選択し、上記ステップＳ５０４で決定された画像補正パラメータで、選択した画像に対して画像補正処理を施して追加画像を生成する（ステップＳ５０５）。なお、画像補正処理は、組み合わせて適用することで、より多くのパターンの追加画像を生成可能である。本実施例では、ＣＰＵ４０１は、全ての画像補正処理の組み合わせの中から１つのパターンを選択する。

次に、ＣＰＵ４０１が、上記ステップＳ５０５で生成した追加画像から画像特徴量を算出する（ステップＳ５０６）。これにより、分類ルールの学習に用いられる学習データが生成される。ＣＰＵ４０１は、画像特徴量のみをＨＤＤ４０５に記録し、追加画像データを破棄する。なお、本実施例では、追加画像から画像特徴量を全て算出しておき、その特徴量群を学習データとして、分類ルールを学習することを想定している。もちろん、ＣＰＵ４０１が、必要に応じて追加画像をＨＤＤ４０５に記録しておいてもよい。本実施例で使用する画像特徴量の詳細については後述する。

次に、ＣＰＵ４０１が、全ての画像補正処理が終了したかを判断する（ステップＳ５０７）。終了していない画像補正処理がある場合は、処理がステップＳ５０５に戻る。全ての画像補正処理が終了した場合は、処理がステップＳ５０８に進む。

次に、ＣＰＵ４０１が、全ての画像から画像特徴量を算出したかを判断する（ステップＳ５０８）。画像特徴量を算出していない画像がある場合は、処理がステップＳ５０５に戻る。全ての画像から画像特徴量を算出した場合は、処理がステップＳ５０９に進む。

次に、ＣＰＵ４０１が、ＨＤＤ４０５に保存された特徴量群から、機械学習を利用して分類ルールを生成する（ステップＳ５０９）。利用する機械学習の詳細については後述する。

＜原稿抽出処理の詳細＞
本実施例で携帯端末３０を画像入力装置として利用した場合に画像処理部３０９（図３）が実行する、撮影画像からの原稿の画像の抽出処理について説明する。携帯端末３０は、撮影画像から抽出した原稿の画像を入力画像としてサーバ４０に入力する。撮像部３０６によって原稿が撮影されると、画像処理部３０９が、撮影画像内における原稿領域について、原点の頂点を抽出する。

図６は、撮影画像と原稿領域の一例を示す図である。
図中の６０１は、撮影画像である。原稿領域６０２は、原稿領域の頂点６０３、６０４、６０５、６０６を結ぶ線分に囲まれた矩形領域である。矩形の原稿領域の頂点６０３〜６０６は、例えばダグラス＆ポーカーの頂点抽出アルゴリズムなどの公知の方法によって抽出される。画像処理部３０９は、撮影画像内の原稿領域のサイズに基づいて、変倍パラメータを算出する。

画像処理部３０９は、撮影画像内の原稿領域が出力画像サイズに変倍されるような変倍パラメータを算出する。算出される変倍パラメータは、台形にゆがんでいる場合を考慮すると、射影変換行列になる。射影変換行列は、撮影画像内の原稿領域の４点の頂点情報（頂点６０３、６０４、６０５、６０６）と、出力画像の４隅の座標情報から公知の方法により算出することが可能である。なお、処理速度を優先する場合には、画像処理部３０９が、アフィン変換行列や単純な変倍率を変倍パラメータとして算出してもよい。画像処理部３０９は、変倍パラメータを用いて、撮影画像データの原稿領域に対して変倍処理を施すことで、撮影画像内から原稿領域が抽出された画像を得る。

＜画像補正の種類と画像補正パラメータの決定方法の詳細＞
本実施例では、分類の際に入力画像に起こり得る画像変化を再現するために、サーバ４０のＣＰＵ４０１は、画像補正として、回転処理、シフト処理、拡大縮小処理、またはぼかし処理を画像に加える。また、使用される画像入力装置の性質に基づいた画像の変化を再現するために、ＣＰＵ４０１は、デバイス情報に基づいて、画像補正パラメータを決定する。

本実施例では、ＣＰＵ４０１は、画像補正のパラメータを、画像補正毎に１種類ずつ算出する。具体的には、ＣＰＵ４０１は、画像補正毎に、デバイス情報に基づき想定される最大の画像変化量に応じた画像補正パラメータを算出する。これは、本実施例では、各画像補正を組み合わせて適用するので、各画像補正におけるパラメータを複数用意すると組み合わせの数が膨大になってしまうことを防ぐためである。また、想定される最大の変化を加えた画像は、特徴量空間上での境界付近の画像であるので、これらを学習に使用することで高精度な分類ルールの学習が可能となるからである。以下に、画像補正処理と画像補正パラメータの決定方法について説明する。

図７は、画像補正の例としての回転処理、シフト処理、拡大縮小処理を説明する図である。これらの幾何学的変形処理は、射影変換行列を利用して実現する。図７（Ａ）は、回転処理の例を示す。回転処理では、ＣＰＵ４０１が、入力画像に対して回転行列を利用した射影変換を実行し、変換後画像７０１から画像を切り出すことで出力画像７０２を得る。なお、回転処理は画像中を中心として時計回りと反時計回りの２種類のパターンを持ち、いずれかの方向に一定の角度だけ入力画像を回転させることができる。入力画像と出力画像とは同サイズである。ＣＰＵ４０１は、射影変換後に出力画像７０２の画像外にはみ出てしまう画像外領域７０３については破棄する。また、ＣＰＵ４０１は、出力画像７０２の内部で射影元の存在しない欠損領域７０４については、欠損領域７０４内の各画素について非欠損画素の画素値を順次コピーしていくことで補完する。この欠損領域７０４の扱いについては、上述した方法による補完に限られるものではない。例えば、入力画像から推定した背景画素に置き換えるような他の補完方法でもよいし、補完は行なわずに欠損画素について欠損画素であるというフラグ情報を付加してマスク処理に利用する方法でもよい。

回転処理における画像補正パラメータは、回転角度である。画像入力装置がＭＦＰ１０である場合には、ＣＰＵ４０１は、回転量を画像読取部１０１の斜行に関する規格をもとに決定する。画像入力装置が携帯端末３０である場合には、ＣＰＵ４０１は、回転量を撮影画像からの原稿抽出に伴う画像劣化をもとに決定する。撮影画像からの原稿抽出に伴う画像劣化の量については、原稿領域を検出する手段や、原稿領域を射影変換して画像を生成する台形補正手段、撮影条件によって変わるので、使用するアルゴリズムや撮影条件から予め実験的に決めた値を使用する。

図７（Ｂ）は、シフト処理の例を示す。シフト処理では、ＣＰＵ４０１は、入力画像に対して平行移動行列を利用した射影変換を行なうことで出力画像を得る。シフト処理は、上下方向および左右方向のシフトの組み合わせで合計８種類のパターンを持ち、その中のいずれかの方向に一定量だけシフトさせることができる。出力画像サイズや、射影変換後の欠損領域の扱いについては、回転処理と同様である。

シフト処理における画像補正パラメータは、シフト量である。画像入力装置がＭＦＰ１０である場合には、ＣＰＵ４０１は、シフト量を画像読取部１０１の操作方向および副操作方向の位置ずれに関する規格をもとに決定する。画像入力装置が携帯端末３０である場合には、ＣＰＵ４０１は、シフト量を回転処理と同様に撮影画像からの原稿抽出に伴う画像劣化をもとに実験的に決定した値を用いて決定する。

図７（Ｃ）は、拡大縮小処理の例を示す。拡大縮小処理では、ＣＰＵ４０１は、入力画像に対して拡大縮小行列を利用した射影変換を行なうことで出力画像を得る。拡大縮小処理は、拡大と縮小の２種類のパターンを持ち、デバイス情報をもとに決定した一定量だけ入力画像を拡大縮小させることができる。拡大縮小処理における画像補正パラメータは、水平方向および鉛直方向についての拡大縮小倍率である。出力画像サイズや、射影変換後の欠損領域の扱いについては、回転処理およびシフト処理と同様である。画像入力装置がＭＦＰ１０である場合には、ＣＰＵ４０１は、拡大縮小率を画像読取部１０１の読み取り倍率に関する規格をもとに決定する。画像入力装置が携帯端末３０である場合には、ＣＰＵ４０１は、拡大縮小率を、回転処理およびシフト処理と同様に撮影画像からの原稿抽出に伴う画像劣化をもとに実験的に決定した値を用いて決定する。

ぼかし処理については、ＣＰＵ４０１は、入力画像に対して平滑化フィルタの１つであるガウシアンフィルタを適用することでボケ画像を生成する。ガウシアンフィルタはカーネルサイズの変化で平滑化量が変わることや、カーネルを水平方向と鉛直方向で非対称な形状にするとぶれたような画像になることは公知である。例えば、鉛直方向に比べて水平方向のカーネルサイズが大きくなると水平方向にぶれたような画像になる。したがって、ぼかし処理は、画像全体のボケ・水平方向のブレ・鉛直方向のブレの３種類のパターンを持つものとし、画像補正パラメータとしては、そのボケ量やブレ量を決定するカーネルサイズとする。

画像入力装置がＭＦＰ１０である場合には、ＣＰＵ４０１は、３ラインセンサ２１０のＭＴＦ特性とボケ量との対応情報が予め設定されたＬＵＴ（Ｌｏｏｋ−Ｕｐ−Ｔａｂｌｅ）を使用してボケ量を決定することで、カーネルサイズを決定する。画像入力装置が携帯端末３０である場合には、ＣＰＵ４０１は、レンズのＭＴＦ特性とボケ量との関係から予め作成したＬＵＴによって決まるぼかし量と、実験的に決めた水平方向および鉛直方向のブレ量とを使用する。

以上、各画像補正の詳細と画像補正パラメータの決定方法について説明したが、例えば、スキャンした原稿が傾きつつ、スキャン画像がボケてしまった場合のように画像変化は個別に発生するものではない。また、位置ずれとボケが発生しているものの、回転は起きていない場合のように、全ての画像変化が同時に起きるわけでもない。したがって、ＣＰＵ４０１は、各画像補正処理のパターンに発生しない場合というパターンを加えて、全ての画像補正のパターンの組み合わせだけ追加画像を生成する。具体的には、上述した各画像補正処理のパターンに補正無しの場合を加える。回転処理が３パターン、シフト処理が９パターン、拡大縮小処理が３パターン、ぼかし処理が４パターンであるので、ＣＰＵ４０１は、３×９×３×４＝３２４パターンの追加画像を生成する。

なお、上述した追加画像のパターンは、上記の数字に限定されるものではない。例えば、画像補正パラメータをそれぞれ複数用意してパターンを増やしてもよいし、組み合わせを制限することで、パターンを減らしてもよい。

回転処理、シフト処理、拡大縮小処理といった幾何学的変化の伴う画像補正については、各パラメータを反映させた射影変換行列を用意する。これは、独立に処理を施すと欠損領域が拡大してしまうことを防ぐためである。もちろん、欠損領域の拡大を防ぐ方法であれば、途中段階では画像サイズを広く確保して画像補正を行なうようにしてもよい。

＜使用する画像特徴量の詳細＞
本実施例においてサーバ４０が算出する画像特徴量（図５のＳ５０６）は、同一種類の文書画像においてはレイアウトが変わらないことを前提とする。ＣＰＵ４０１は、画像の一部をパッチとして切り出し、そのパッチ画像ごとに勾配情報に基づく画像特徴量を算出する。

図８は、勾配情報に基づく画像特徴量の算出を説明する図である。
図８に示すようにパッチ画像内の画素ごとに算出した勾配強度と勾配方向を利用する。具体的には、ＣＰＵ４０１が、パッチ画像内の全ての画素について、縦方向と横方向のエッジ情報から勾配強度と勾配方向を求める。ＣＰＵ４０１は、勾配情報を利用して、図８で示すように、１パッチから９次元（９個）の特徴量を算出する。まず、各画素について、勾配強度が一定値以上の画素をエッジ画素、一定値より小さい画素を非エッジ画素とする。エッジ画素群から勾配方向を８方向に量子化して、方向ごとの勾配強度積算値／パッチ画素数を計算し、非エッジ画素数／パッチ画素数と合わせて、１つのパッチ画像から９次元の特徴量を算出する。このように、エッジ画素と非エッジ画素を利用することで、罫線や文字の情報だけでなく、文書画像の大きな特徴である余白部分を表現することが可能になる。これまでの説明は、１つのパッチ画像における特徴量の説明であるが、実際には、複数のパッチ画像を切り出して利用することにより、多数の特徴量を利用する。

図９は、パッチ画像の切り出しを説明する図である。
まず、ＣＰＵ４０１が、ノイズが表れやすい画像端を削除して、複数の解像度の画像を作成する。複数の解像度の画像を用意するのは、解像度ごとにエッジの構造が変わるためである。そして、ＣＰＵ４０１が、それぞれの解像度の画像から複数のサイズのパッチ画像を走査しながら切り出すことで、パッチ画像位置を考慮した特徴量を算出する。例えば、３００ｄｐｉでスキャンした画像から特徴量を抽出する場合を想定する。まず、ＣＰＵ４０１が、スキャン画像を１／４サイズと１／８サイズに縮小した２種類の画像を作成する。ＣＰＵ４０１は、上記縮小した各解像度の画像から１／４サイズのパッチ画像を１／５ずつずらして５×５＝２５枚、１／８サイズのパッチ画像を１／１０ずつずらして、１０×１０＝１００枚切り出すことで、計２５０個のパッチを切り出す。このような設定においては、各パッチから９次元のエッジ特徴量を算出するので、画像１枚から２２５０次元の特徴量を算出することが可能となる。

なお、画像解像度、パッチサイズ、パッチ切り出し位置に関するパラメータは、上述した数字に限定されるものではない。また、算出する画像特徴量として、公知のＳＩＦＴやＯＲＢ等のスケール・回転不変のエッジ特徴量を利用してもよいし、原稿の色の情報を利用するために、色ヒストグラムや色分散等を画像特徴量としてもよい。

＜利用する機械学習の詳細＞
次に、本実施例で利用する機械学習の手法について説明をする。本実施例では、機械学習の手法としてＲｅａｌ ＡｄａＢｏｏｓｔと呼ばれる公知の手法を利用する。Ｒｅａｌ ＡｄａＢｏｏｓｔは、大量の特徴量から、与えられた学習データセットの分類に適した特徴量を選択して、その特徴量を組み合わせて分類器を構成することが可能な方法である。画像の分類時に大量の特徴量を利用すると、特徴量の計算負荷のためにパフォーマンスが低下してしまう。このように、分類に適した特徴量を選択して、一部の特徴量だけを利用し、分類器を構成できることは、Ｒｅａｌ ＡｄａＢｏｏｓｔの大きな利点である。ただし、Ｒｅａｌ ＡｄａＢｏｏｓｔは、２クラス分類器であり、２種類のラベルがついたデータを分類するものである。つまり、このままでは、３種類以上の文書画像の分類には利用できない。そこで、２クラス分類器を多クラス分類器に拡張するＯＶＡ（Ｏｎｅ−Ｖｅｒｓｕｓ−Ａｌｌ）と呼ばれる公知の方法を利用する。ＯＶＡは、１つのクラス（対象クラス）とそれ以外のクラスを分類する分類器をクラスの数だけ作成し、それぞれの分類器の出力を、対象クラスの信頼度とする。分類の際には、分類したいデータをすべての分類器に入力し、信頼度が最大であったクラスを分類先とする。

図１０は、学習データを用いた機械学習の例を説明する図である。
この例では、学習データとして、３つのクラスの文書画像（文書画像Ａ，Ｂ，Ｃ）のそれぞれに対応する画像特徴量が用意されているものとする。この３つのクラスを分類するために、ＯＶＡでは３種類の分類器を用意する。３種類の分類器は、文書画像Ａとそれ以外に分類するためのＡ用分類器、文書画像Ｂとそれ以外に分類するためのＢ用分類器、文書画像Ｃとそれ以外に分類するためのＣ用分類器である。

Ａ用分類器は、文書画像Ａが入ったときに、大きい出力値（確信度）が出力され、それ以外のクラスが入力されたときは、小さい出力値（確信度）が出力される。Ｂ用分類器、Ｃ用分類器についても同様である。実際の分類を行う際には、入力文書画像を３種類の分類器に入力し、その出力値の比較を行い、例えばＢ用分類器の出力が最大であった場合は、その入力文書画像を文書画像Ｂに分類をする。

図１０を参照して説明したＲｅａｌ ＡｄａＢｏｏｓｔとＯＶＡを利用した多クラス分類器の学習と、多クラス分類器を利用した文書画像分類は、ＣＰＵ４０１で実行される。なお、本実施例で利用可能な機械学習の手法は、上述した手法に限定されるものではない。Ｓｕｐｐｒｏｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅやＲａｎｄｏｍ Ｆｏｒｅｓｔ等の公知の手法を利用してもよい。特徴選択の枠組みが機械学習の手法に含まれていない場合に、分類時の分類速度を向上させたい場合には、主成分分析や判別分析を利用した特徴量選択等の公知の特徴量選択を行う。機器学習手法が２クラス分類器である場合は、ＯＶＡ以外の、Ａｌｌ−Ｖｅｒｓｕｓ−Ａｌｌ（ＡＶＡ）やＥｒｒｏｒ−Ｃｏｒｒｅｃｔｉｎｇ Ｏｕｔｐｕｔ−Ｃｏｄｉｎｇ（ＥＣＯＣ）等の公知の手法を用いてもよい。

以上、実施例１によれば、画像読取部１０１や携帯端末３０に示したような画像入力機器の種類や特性によって、分類ルールの学習に使用する学習データの増やし方を切り替えることができる。これにより、単に画像を増やすだけではなく、使用する画像入力機器に応じて学習セットの増やし方を切り替えることで、学習時間の増大をできるだけ減らしつつ、ユーザ毎にカスタマイズされた高精度な分類ルールの学習を実現することができる。

（実施例２）
実施例１では、学習時と分類時とで画像入力装置が同一である場合を想定していた。そして、サーバ４０は、入力画像に対しては画像変化を再現するための画像処理を施していた。

実施例２では、学習時と分類時で画像入力装置の種類が違う場合を想定する。具体的には、画像入力装置としてのＭＦＰの種類が違うものとする。サーバ４０が備えるＣＰＵ４０１は、入力画像（初期画像）に対して、一旦、補正処理を施して標準画像に変換し、その後、画像変化を再現するための画像補正処理を施して、学習データ（画像）を追加する。標準画像とは、画像入力装置ごとに生じる画像変化を取り除いた画像である。入力画像を標準画像に変換することで、例えば、同じオフィス内に複数のＭＦＰがあり、各ＭＦＰで画像分類ルールを学習する際には、各ＭＦＰで初期画像をスキャンする手間をなくすことができる。また、標準画像への変換が可能であるのならば、分類時に毎回標準画像に変換をすれば、使用する画像入力装置毎に画像分類ルールを学習する必要がなくなるとも考えられる。しかし、分類時の処理速度はできるだけ早い方が良く、毎回標準画像への変換を行なうことは効率的ではない。標準画像に対し、使用する画像入力装置に合わせた画像補正を適用して画像分類ルールを学習させることで、分類の処理速度を落とさないことが可能になる。以下では、実施例１と差分がある部分についてのみ説明する。

図１１は、実施例２のシステム構成を示す図である。
図１に示す実施例１のシステム構成における携帯端末と無線ＬＡＮの代わりに、ＭＦＰ１１が設けられている。ＭＦＰ１１は、ＭＦＰ１０と同様に、図２（Ａ）に示す構成を有する。なお、実施例１とは違い、画像読取部１０１は、ヘッダー情報記録機能を持たなくてもよい。実施例１とは違い、初期画像を入力した画像入力装置と分類時の画像入力装置は異なるため、初期画像のヘッダー情報からデバイス情報を取得する必要が無いためである。

図１２は、実施例２における画像分類ルールを学習する処理を説明するフローチャートである。なお、本実施例では、学習時の画像入力装置としてＭＦＰ１０を使用し、分類時の画像入力装置としてＭＦＰ１１を使用するが、逆の組み合わせでもよい。

ステップＳ１２０１乃至Ｓ１２０４は、図５のステップＳ５０１乃至Ｓ５０４と同様である。実施例２では、ＣＰＵ４０１が、ステップＳ１２０１において受信され、ＨＤＤ４０５に保存されている初期画像から画像を１枚選択し、標準画像へ変換する（ステップＳ１２０５）。ステップＳ１２０５の詳細については後述する。

次に、ＣＰＵ４０１が、標準画像に対し、ステップＳ１２０４で決定した画像補正パラメータを用いて画像補正処理を施す（ステップＳ１２０６）。画像補正処理については、図５のステップＳ５０５と同様である。ステップＳ１２０７乃至Ｓ１２１０は、図５のＳ５０５乃至Ｓ５０９と同様である。

図１３は、図１２のステップＳ１２０４における標準画像への変換処理の例を説明するフローチャートである。
まず、ＣＰＵ４０１は、入力画像に対して斜行補正と位置ずれ補正を行なう（ステップＳ１３０１）。具体的には、ＣＰＵ４０１は、入力画像の画像端付近の領域に対してエッジ検出処理を施し、エッジ情報からハフ変換を利用して原稿の枠を検出する。原稿枠を検出することができた場合には、ＣＰＵ４０１は、原稿枠を出力画像の画像端に合わせるような射影変換行列を求めて、画像を変換する。原稿枠が検出することができなかった場合には、ＣＰＵ４０１は、入力画像を縮小して画像全体からエッジ検出処理を施す。ＣＰＵ４０１は、エッジ検出処理によって得られたエッジ情報からハフ変換を利用して文字領域や罫線のエッジから原稿の傾きを検出して、その傾き角度だけ画像を回転させることで斜行補正を行う。

次に、ＣＰＵ４０１が、入力画像データの濃度ムラ補正を行って、スキャン時に原稿の折れや浮きによって生じる影を除去する（ステップＳ１３０２）。具体的には、ＣＰＵ４０１は、スキャン時のノイズを除去するようにフィルタ処理を行い、その後、下地に載っている色を飛ばして紙の白を再現できるように階調補正を行う。

次に、ＣＰＵ４０１が、像域判定を行い、撮影画像データ内の文字や線部分とそうでない部分とに切り分けて、それぞれの画素に対して属性フラグを付加する（ステップＳ１３０３）。続いて、ＣＰＵ４０１が、先鋭性補正を実行する（ステップＳ１３０４）。具体的には、ＣＰＵ４０１が、文字や線部分の画素に対してフィルタ処理を行い、文字や線部分がシャープになるように補正する。

次に、ＣＰＵ４０１が、文字単色化処理を行う（ステップＳ１３０５）。具体的には、ＣＰＵ４０１が、文字の画素を単色で再現し、文字の鮮鋭化を図る。例えば、ある文字を再現する画素のＲＧＢ値を平均化し、その平均値を文字の色として適用するなどの手法をとる。

実施例２によれば、学習時と分類時とで使用する画像入力装置が変わっても、一度標準画像に変換を行なうことで、分類時に使用する画像入力装置に合わせた学習データを増やすことができる。これにより、分類に使用する画像入力装置ごとに原稿をスキャンする必要が無くなり、また、分類時に毎回標準画像への変換を行なう必要はなく、分類時に毎回標準画像への変換を行なう場合と比べて、処理速度の低下を防ぐことが可能になる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、システム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０ ＭＦＰ
４０ サーバ
３０ 携帯端末

Claims (10)

1. 画像入力装置から入力される画像を分類する分類ルールの学習に用いる学習データを生成する情報処理装置であって、
   初期画像を受け付ける受け付け手段と、
   前記画像入力装置に関するデバイス情報を取得する取得手段と、
   前記デバイス情報に基づいて補正パラメータを決定し、当該決定された補正パラメータを用いて前記受け付け手段により受け付けた初期画像を補正し、前記初期画像とは異なる画像を生成する第１の生成手段と、
   前記第１の生成手段により生成された画像と前記入力された初期画像とを用いて学習データを生成する第２の生成手段と、を備え、
   前記第１の生成手段は、
   前記デバイス情報に基づいて、前記画像入力装置が画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部の規格に基づいて前記補正パラメータを決定し、
   前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が行う撮影画像からの原稿抽出に伴う画像劣化の情報に基づいて前記補正パラメータを決定する
   ことを特徴とする情報処理装置。
2. 前記補正パラメータを用いた前記初期画像の補正処理は、画像の回転処理、シフト処理、拡大縮小処理、またはぼかし処理を含む
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記補正パラメータを用いた前記初期画像の補正処理が画像の回転処理を含む場合における、当該回転処理の補正パラメータは、回転量であり、
   前記第１の生成手段は、
   前記デバイス情報に基づいて、前記画像入力装置が前記画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部の斜行に関する規格に基づいて前記回転量を決定し、
   前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が行う撮影画像からの原稿抽出に伴う画像劣化の情報に基づいて前記回転量を決定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記補正パラメータを用いた前記初期画像の補正処理が画像のシフト処理を含む場合における、当該シフト処理の補正パラメータは、シフト量であり、
   前記第１の生成手段は、
   前記デバイス情報に基づいて、前記画像入力装置が前記画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部の位置ずれに関する規格に基づいて前記シフト量を決定し、
   前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が行う撮影画像からの原稿抽出に伴う画像劣化の情報に基づいて前記シフト量を決定する
   ことを特徴とする請求項２または請求項３に記載の情報処理装置。
5. 前記補正パラメータを用いた前記初期画像の補正処理が画像の拡大縮小処理を含む場合における、当該拡大縮小処理の補正パラメータは、拡大縮小倍率であり、
   前記第１の生成手段は、
   前記デバイス情報に基づいて、前記画像入力装置が前記画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部の読み取り倍率に関する規格に基づいて前記拡大縮小倍率を決定し、
   前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が行う撮影画像からの原稿抽出に伴う画像劣化の情報に基づいて前記拡大縮小倍率を決定する
   ことを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記補正パラメータを用いた前記初期画像の補正処理が画像のぼかし処理を含む場合における、前記ぼかし処理は、ガウシアンフィルタのカーネルサイズで決定されるボケ量とブレ量に応じたボケ画像を生成する処理であって、前記ぼかし処理のパラメータは、前記カーネルサイズであり、
   前記第１の生成手段は、
   前記デバイス情報に基づいて、前記画像入力装置が前記画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部のラインセンサのＭＴＦ特性とボケ量との対応情報に基づいて前記ボケ量を決定することで、前記カーネルサイズを決定し、
   前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が備えるレンズのＭＴＦ特性とボケ量との対応情報に基づいて前記ボケ量を決定することで、前記カーネルサイズを決定する
   ことを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
7. 前記学習データは、前記第１の生成手段により生成された画像と前記入力された初期画像とから算出される特徴量である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記第２の生成手段により生成された学習データを用いて、前記分類ルールを学習する学習手段を備える
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 画像入力装置から入力される画像を分類する分類ルールの学習に用いる学習データを生成する情報処理装置の制御方法であって、
   初期画像を受け付ける受け付け工程と、
   前記画像入力装置に関するデバイス情報を取得する取得工程と、
   前記デバイス情報に基づいて補正パラメータを決定し、当該決定されたパラメータを用いて前記受け付け工程にて受け付けた初期画像を補正し、前記初期画像とは異なる画像を生成する第１の生成工程と、
   前記第１の生成工程にて生成された画像と前記入力された初期画像とを用いて、学習データを生成する第２の生成工程と、を有し、
   前記第１の生成工程では、
   前記デバイス情報に基づいて、前記画像入力装置が画像読取部を備える画像処理装置であると判定した場合は、前記画像読取部の規格に基づいて前記補正パラメータを決定し、
   前記デバイス情報に基づいて、前記画像入力装置が携帯端末であると判定した場合は、前記携帯端末が行う撮影画像からの原稿抽出に伴う画像劣化の情報に基づいて前記補正パラメータを決定する
   ことを特徴とする制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。

Images