JP6019939B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、文書画像と筆跡の座標データを処理する画像処理装置、画像処理方法及びプログラムに関する。

近年、紙文書をスキャナ等で画像に変換して、電子文書として保存、再利用するケースが増えている。その理由の一つは、紙の保存容積の削減である。紙文書の電子化により、多くの文書の保管や持ち運びが容易になる。

また、電子文書を認識して文字コードによる検索を行うことにより、所望の文書が簡単に発見でき、厚い紙資料の束を利用する場合に比べて資料の再利用が容易になるという利点もある。

会議等で配布される紙資料をスキャンして電子化する場合、会議中に書き込んだ筆跡が不要となる場合がある。例えば、配布資料を複数名で共有して使う場合、書き込みの無い文書画像を参照したい場合である。なお、書き込み自体にも重要な情報が含まれるため、書き込みのある文書画像が必要とされる場合もあり、いずれが必要かは利用者の志向や利用目的に依存する。

書き込み前の文書画像が必要であれば、資料に書き込みを行う前にスキャンして文書画像を生成しておけばよい。しかし、実際には会議等で配布された資料はすぐに会議で使用されるため、会議前にスキャンして文書画像を作成する時間を取れないことが多い。また、会議場所で即座に紙文書をスキャンできる環境（スキャナ装置など）が利用できるとは限らない。

したがって、紙資料をスキャンする際には書き込んだ筆跡が既に存在しており、書き込み前の状態の文書画像が入手できない場合がある。

また、会議などで配布された資料の内容を後々検索できるように、スキャナで紙資料を読み込んで、文書画像から文字認識をしてキーワードなどの登録を行う場合がある。このとき、紙資料に書き込みなどがあると、行の認識等を誤り、文字認識が適切にできない場合がある。

このように、紙資料をスキャナ等で電子化する際に、手書きで書き込んだ（追記した）筆跡を消去したいというニーズがある。筆跡画像を消去する技術として、例えば、文字ストロークの太さや直線性、文字間隔の規則性、文字列画像の周波数成分の分布などを用いてスキャン画像から筆跡画像を検出し、消去するという技術がある。しかしながら、元々の紙資料に手書きの文字等がある場合などには、追記された手書きによる筆跡部分を適切に検出することができず、筆跡画像を適切に消去することができない。

一方で、筆跡を座標点データとして取得することができる電子ペン（又はデジタルペンともいう）が存在する。電子ペンとは、紙に筆記すると同時に、筆記した座標の座標点データ（ｘ座標値とｙ座標値）の系列を取得することのできる筆記装置である。ペン先からは通常のペンと同様にインクが出るため、紙には文字や図形などが書かれるが、同時に筆跡の座標点データを取得することもできる。以下、筆跡の座標点データは単に座標データとも称す。

電子ペンには複数の方式があり、例えば超音波発信機を用いたペン、タブレット装置の上に紙を置き、スタイラスペンの先に通常のペン先を装着したもの、微小なドットの専用紙を用いるアノトペンなどがある。

特開２００２−０８２７６２号公報 特開２００２−０８２７６４号公報 特開２００８−１０２７８２号公報 特開２００７−０７９５０６号公報

ここで、電子ペンから取得された座標データを用いて、文書画像から筆跡部分を消去する場合、電子ペンが有する書き込み位置に関する情報の信頼性が低いという問題点がある。

例えば、打合せ中には資料を前後して参照し、適宜書き込みを行うので、電子ペンが有する書き込みに関するページ情報の信頼性は低い。また、タブレット装置の上に紙を置く場合、用紙固定位置に対する位置で、紙が正しくセットされていなければ、電子ペンの測定位置に誤差が生じる。

よって、電子ペンが有する書き込み位置に関する情報は信頼性が低く、書き込み位置に関する情報を筆跡の消去に利用することは難しい。

そこで、開示の技術は、電子ペンによる座標データから生成された筆跡画像を用いて、文書画像の筆跡部分を適切に消去することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

開示の一態様における画像処理装置は、電子ペンにより筆記された筆跡が含まれる文書を読み取った文書画像を取得する画像取得手段と、前記電子ペンによる筆跡の座標データを取得する筆跡取得手段と、複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成する生成手段と、生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索する検索手段と、前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択する選択手段と、選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する消去手段と、を備える。

開示の技術によれば、電子ペンによる座標データから生成された筆跡画像を用いて、文書画像の筆跡部分を適切に消去することができる。

前提技術の筆跡消去処理の流れを説明する図。 一般化ハフ変換の具体的な手順を説明する図。 座標点データから筆跡画像を生成する一例を示す図。 細い筆跡と太い筆跡とから生成したエッジ画像の一例を示す図。 文字の太さによる細線化画像の違いを示す図。 実施例における画像処理装置のハードウェアの一例を示すブロック図。 実施例における画像処理装置の機能の一例を示すブロック図。 実施例における筆跡消去処理の流れを説明する図。 座標データのデータ構造の一例を示す図。 筆記状態の意味を説明する図。 座標点を線分で繋いだ状態の一例を示す図。 座標点の間を１画素で埋めた状態の一例を示す図。 筆跡の境界が決定された状態の一例を示す図。 線幅ｗで画素を埋めた状態の一例を示す図。 検索の動作例を示す図。 線幅毎の検索結果の一例を示す図。 単純に背景色で塗りつぶす例を示す図。 実施例による塗り潰し処理を説明する図。 塗り潰し色判定を説明する図。 実施例における筆跡消去処理の一例を示すフローチャート。 複数の筆跡画像を生成する処理の一例を示すフローチャート。 筆跡消去後の画素埋め処理の一例を示すフローチャート。

まず、実施例の前提となる技術について説明する。前提技術では、座標データから筆跡画像を生成し、スキャナから読み取った文書画像から筆跡画像に近い画像を検索し、検索された部分画像を筆跡画像に基づいて消去する。

図１は、前提技術の筆跡消去処理の流れを説明する図である。図１に示すように、電子ペン１０を用いて資料に追記で筆記する。このとき、電子ペン１０は、資料に筆記した座標データを取得する。

スキャナ装置２０は、電子ペン１０で追記された資料を読み取り、スキャン画像である文書画像ａ１０１を取得する。また、電子ペン１０から座標データを取得した装置が、座標データから筆跡画像ａ１０２を生成する。

筆跡画像ａ１０２を生成した装置は、スキャナ装置２０から文書画像ａ１０１を取得し、文書画像ａ１０１内で筆跡画像ａ１０２に類似する部分画像を検索する。装置は、検索された部分画像から筆跡画像ａ１０２を用いて筆跡を消去することで、元の資料の文書画像ａ１０３を生成することができる。元の資料とは、電子ペン１０で筆記された部分を除く元々記載されていた文字や図形などを含む資料をいう。

ここで、電子ペン１０で取得できる座標値は、電子ペン１０が持つ基準点に対する相対座標である。紙面における座標データは、座標の原点と紙の位置を慎重に合わせることによって得ることができる。

しかし、スキャンした文書画像は、スキャン時の紙の位置や角度に微小な変動が生じるため、文書画像の座標系と座標データの座標系は、必ずしも完全に一致するわけではない。紙の位置が数ｍｍ程度ずれただけでも筆跡の画素と筆跡の座標値は全く異なる位置を示す。そのため、電子ペン１０で取得できる座標値を絶対座標として扱っても、スキャン画像から筆跡に属する画素だけを消去することはできない。

すなわち、電子ペン１０を用いて得られる筆跡の位置は、筆跡の大まかな位置と形状が分かるということであり、スキャン画像から筆跡のみを消去するという用途のためには座標の精度は不十分である。

また、通常の電子ペン１０は、紙がめくられて変わった場合に、筆記している紙が別の紙に変わったという情報を取得することができない。専用のボタンを設けるなどによってページ移動のタイミングを指定したとしても、複数ページの資料を参照する際には、ページは順番に参照されるとは限らない。例えば１０ページ目に書き込んだ直後に、１ページ目に戻ることもあり得る。

そのため、座標データがどのページに書かれているのかを確実に記録するのは困難であり、ユーザにとって煩雑である。したがって、電子ペン１０によって得られる座標データは、スキャン画像の原点に対する絶対座標として解釈することはできず、位置合わせの処理が必要となる。

そこで、着目するのが、一般化ハフ変換を用いた任意図形の検索技術である。一般化ハフ変換は、「D.H. Ballard, "Generalizing the Hough transform to detect arbitrary shapes," Pattern Recogniton, vol.13, no.2, pp.111-122, 1981.」を参照されたい。

一般化ハフ変換は、検索したい画像と、検索の対象となる画像の双方からエッジ点を求める。この場合、検索したい画像は、筆跡画像であり、検索対象となる画像はスキャン画像である。求めたエッジ点の位置と方向を投票することによって、任意の図形を検索するものである。図２は、一般化ハフ変換の具体的な手順を説明する図である。
（１）検索画像と対象画像の双方からエッジ点を検出する
（２）対象画像の全エッジ点の方向から、基準点への相対位置に得点を投票する
（３）検索画像の中で投票値の最大値が、検索画像の基準点の位置を示す
通常、エッジ点は、Ｓｏｂｅｌオペレータで画像の勾配値を求め、一定の閾値を超えた勾配値の位置と方向を格納する。一例としては、特開平０９−２４５１６７号公報を参照されたい。

図３は、座標点データから筆跡画像を生成する一例を示す図である。検索したい筆跡は、筆跡の座標点データで与えられているので、図３に示すように座標点データから筆跡画像を生成して検索すればよい（例えば特開２０１１−２５８１２９参照）。また、座標点データは、筆跡の曲線を折れ線近似した、線分の集合だとみなすことができるので、各線分から筆跡の方向を求めて、エッジ方向とみなすという方法もある。

ここで、スキャンされた文書画像の中に含まれる筆跡を、同じ筆跡の座標点データを用いて検索する場合、筆跡の太さが分からないため、検索の精度が低下する可能性がある。紙文書に書かれた筆跡は、使用した電子ペン１０や使用者の書き方によって異なった太さの筆跡となっている。例えば細いボールペンと、水性のサインペンでは線の太さに大きな差がある。それに対して、検索したい筆跡は筆跡の座標点データであるため、線の太さの情報は持っていない。

図４は、細い筆跡と太い筆跡とから生成したエッジ画像の一例を示す図である。図４に示すように、線幅が細い筆跡と太い筆跡とをそれぞれエッジ画像に変換すると、エッジは文字の輪郭に沿っているため、異なった線幅の筆跡は、エッジの位置が大きく異なる。そのため、図４に示すように、座標点データから筆跡画像を生成した場合、生成した筆跡の線幅と、文書中の筆跡の線幅が大幅に異なる場合には検索精度が低下してしまう。

線幅の違いを吸収するためには、筆跡画像を細線化するという技術が存在する（例えば特開２００９−５３８２６参照）。この技術は、筆跡画像の幅を画像処理的に縮小させて、線幅が１になるようにする技術である。

しかし、一般的な細線化技術では、筆跡の線を高精度で復元することはできず、多くのノイズや不正確なパターンが生成されることが知られている。図５は、文字の太さによる細線化画像の違いを示す図である。図５に示すように、線幅の異なる筆跡をそれぞれ細線化した例では、例えば「筆」の字の一部のように、細かい構造が太い線では崩れてしまう。

そのため、比較的小さく書かれた筆跡を検索するのは困難である。ただし、同じ太さの線幅で筆跡画像を生成すれば、文字の一部の潰れ加減も似てくるため、文字が小さく潰れた筆跡画像でも検出することが可能となる。

すなわち、筆跡の線幅が異なれば細かな構造の崩れ方が異なるため、細線化によって同じ幅の筆跡に変換したとしても、やはり異なった線幅の筆跡は検出が困難だということになる。

以上のように、文書画像中から追記した筆跡を見つけて消去する機能を実現するために、電子ペン１０を用いて取得した座標データを用いて文書画像中の該当する筆跡を見つけようとしても、筆跡の線幅が分からないために検索精度が低下してしまう。

書き込みに使用している電子ペン１０の種類が予め分かっていれば、筆跡の線幅はある程度は分かる。種類は分かっても、筆記する際の力のかけ具合によって線幅は変化する。また、電子ペン１０の先端はインク補充やペンの色、太さを変えるために着脱式となっていることが多く、筆記する際の線の太さは通常は不明である。

ユーザに線幅を指定させることも原理的には可能であるが、そのような煩雑な操作はユーザにとっての使い勝手を損ねるため、通常の電子ペン１０では筆記前にペンの太さを指定するような機能は装備されていない。よって、一般的に市販されている電子ペン１０を用いる場合、筆跡の線幅は未知であることが多い。

従って、筆跡の線幅が不明な場合でも、電子ペン１０を用いて取得した座標データを用いて追記された筆跡を、スキャンされた文書画像中から見つけ、その筆跡を消去する機能が求められる。

そこで、以下に示す実施例では、筆跡の線幅を複数用意し、各線幅の筆跡画像を用いて文書画像内で筆跡部分に最も類似する筆跡画像を選択し、選択された筆跡画像を消去に用いる。以下、実施例について、添付図面を参照しながら説明する。

［実施例］
＜ハードウェア＞
図６は、実施例における画像処理装置１００のハードウェアの一例を示すブロック図である。図６に示す例では、画像処理装置１００は、スキャナ装置２０、表示装置３０、電子ペン１０と接続される。

電子ペン１０は、紙などに筆記することができ、筆記の座標データを同時に取得することができるデバイスである。電子ペン１０は、有線又は無線により取得した座標データを画像処理装置１００に送信する。電子ペン１０は、ペン先が付け替え可能である。電子ペン１０として、例えば、超音波型電子ペン、アノトペン、ペンタブレットなどの市販品を適用できる。

超音波型電子ペンは、ペン先から一定間隔（１００回／秒程度）で超音波と赤外線のパルスを発信する。これを、２箇所の超音波受信機での時間差を用いて三角測量の原理でペン先の座標を計測する。

アノトペンは、微小なドットが印刷された専用紙を用いる。ペン先には紙面を撮影するカメラが装着され、筆記中に撮影したドットパターンを用いて、ペン先の座標を認識する。

ペンタブレットは、電磁界を発信・検出するタブレットを下敷きとして使用する。ペン先には通常コイルが内蔵され、筆記すると、電磁誘導によりペン先の座標をタブレットが検知可能になる。ペン先にはポールペン等を取り付けることが可能であり、紙への筆記と座標データ取得の両立が可能である。

スキャナ装置２０は、紙面上の画像をスキャンして二次元に配置されたｘ，ｙ座標に対して一つずつ画素値を読み込む。読み込まれる画素値がカラー画像の場合、画素値はＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色の組で表される。

読み込まれる画像がグレイ画像の場合、画素値は明度値を表すことが多い。ＲＧＢの３色のカラー画素値は、例えば明度値=0.299×R＋0.587×G＋0.114×Bの変換式を用いて明度値へ変換することができる。スキャナ装置２０は、読み込んだ文書画像を画像処理装置１００に送信する。

画像処理装置１００は、座標データから生成した各線幅の筆跡画像を用いて、文書画像内で筆跡部分に最も類似する筆跡画像を選択し、選択された筆跡画像を用いて筆跡部分を消去する。画像処理装置１００は、筆跡部分を消去した文書画像を表示するよう制御してもよい。

表示装置３０は、例えばＬＣＤ（Liquid Crystal Display）等であり、画像処理装置１００から取得した筆跡部分の消去後の文書画像を表示する。

画像処理装置１００は、ハードウェアとして、制御部１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、ドライブ装置１０５を有する。各部は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置に出力する。

主記憶部１０２は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０２は、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０３は、例えばＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。補助記憶部１０３は、例えばスキャナ装置２０から取得した文書画像を記憶する。

通信部１０４は、有線又は無線で周辺機器とデータ通信を行う。通信部１０４は、例えばネットワークを介して、文字を含む画像を取得し、補助記憶部１０３に記憶する。

ドライブ装置１０５は、記録媒体１０６、例えばフレキシブルディスクやＣＤ（Compact Disc）から所定のプログラムを読み出し、記憶装置にインストールする。

また、記録媒体１０６に、所定のプログラムを格納し、この記録媒体１０６に格納されたプログラムは、ドライブ装置１０５を介して画像処理装置１００にインストールされる。インストールされた所定のプログラムは、画像処理装置１００により実行可能となる。

なお、画像処理装置１００は、スキャナ装置２０及び表示装置３０を別構成としたが、どちらか一方、又は両方を含む構成としてもよい。

＜機能＞
図７は、実施例における画像処理装置１００の機能の一例を示すブロック図である。図７に示す例では、画像処理装置１００は、画像取得手段２０１と、筆跡取得手段２０２と、生成手段２０３と、検索手段２０４と、選択手段２０５と、消去手段２０６とを有する。図７に示す各手段は、例えば制御部１０１が、補助記憶部１０３に記憶される筆記消去処理プログラムを主記憶部１０２にロードし、実行することで機能する。図７に示す各手段は、例えば制御部１０１及びワークメモリとしての主記憶部１０２により実現されうる。

画像取得手段２０１は、電子ペン１０による筆跡を含む文書の文書画像をスキャナ装置２０から取得する。画像取得手段２０１は、取得した文書画像を検索手段２０４及び消去手段２０６に出力する。

筆跡取得手段２０２は、電子ペン１０による筆跡の座標データを電子ペン１０から取得する。筆跡取得手段２０２は、取得した座標データを生成手段２０３に出力する。

生成手段２０３は、複数の異なる線幅を用いて、取得した座標データに基づく複数の筆跡画像を生成する。生成手段２０３は、生成した複数の筆跡画像を検索手段２０４に出力する。

検索手段２０４は、生成された筆跡画像毎に、この筆跡画像と類似する筆跡部分の画像を文書画像から検索する。検索手段２０４は、例えば、一般化ハフ変換を用いて検索を行う。また、検索手段２０４は、筆跡画像をテンプレートとし、文書画像内でパターンマッチング技術を用いて検索してもよい。検索手段２０４は、検索結果を選択手段２０５に出力する。

選択手段２０５は、文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択する。選択手段２０５は、例えば、筆跡画像毎に算出された一致度を表すスコア（得点）を用いて、スコアが最も高い筆跡画像を選択する。選択手段２０５は、選択した筆跡画像とその検索結果を消去手段２０６に出力する。

消去手段２０６は、選択された筆跡画像を用いて、文書画像から筆跡部分の画像を消去する。

次に、実施例における各手段を用いて筆跡消去処理を行う例について説明する。図８は、実施例における筆跡消去処理の流れを説明する図である。図８に示す例と、図１に示す例と異なる点は、生成手段２０３が、複数の筆跡画像ａ２０７を生成することである。複数の筆跡画像ａ２０７は、異なる線幅により生成された筆跡画像である。

検索手段２０４は、筆跡画像毎に検索を行うので、検索結果は、筆跡画像の数だけ得られる。選択手段２０５は、検索結果の中で、最もスコアが高い筆跡画像を選択する。つまり、選択手段２０５は、実際の筆跡部分と最も類似する線幅の筆跡画像を選択する。

消去手段２０６は、文書画像中の筆跡部分の位置と線幅が得られるので、これらを用いて筆跡部分を文書画像から消去することで、元の資料の文書画像ａ２０４を生成することができる。次に、筆跡消去処理に関する各処理について具体的に説明する。

（座標データ取得処理）
電子ペン１０は、超音波型電子ペンや、タブレット装置の上に紙文書を置いてスタイラスペンの先にボールペン先などを装着して筆記する形式など、市販品を用いることができる。電子ペン１０は、例えば筆跡の座標値を一定間隔（例えば０．０１秒間隔）で取得して、ｘ座標値とｙ座標値のペアの配列を出力する機能を有するものを用いればよい。

具体的には、座標データは、電子ペン１０による筆記を開始した点（ペンダウン）から電子ペン１０を上に上げた点（ペンアップ）までが文字の一画を表す。座標データは、このような座標値を時間順で並べた配列で表したものである。

図９は、座標データのデータ構造の一例を示す図である。図９に示す例では、座標点ごとにｘ座標、ｙ座標、筆記状態が記録されている。ｘ座標とｙ座標とは、２バイトの整数値で表されたものである。筆記状態は、０〜３のいずれかの値を取る。

図１０は、筆記状態の意味を説明する図である。図１０に示すように、「０」は、ペンが空中にあって筆記していない状態を示す。「１」は、ストロークの開始点を示す。「２」は、筆記中の座標点で、始点・終点のいずれでもない状態を示す。「３」は、ストロークの終点を示す。筆跡取得手段２０２は、図９に示すような座標データを電子ペン１０から取得する。

（筆跡画像生成処理）
生成手段２０３は、座標データを入力として、後述の検索手段２０４が利用できるような筆跡画像を生成する。座標データは、座標点が離散的に並んだデータ（例えば図９参照）なので、座標点を線分で繋いだ状態が実際の筆跡を表す。

図１１は、座標点を線分で繋いだ状態の一例を示す図である。図１１に示すように、生成手段２０３は、まず座標データに含まれる座標点を線分で繋いでいく。次に、生成手段２０３は、座標点の間の画素を例えば黒画素で埋めることによって筆跡画像を生成する。具体的な手順は、以下に説明する。

生成手段２０３は、複数の線幅で筆跡画像を生成するが、ここでは一つの線幅ｗに対する筆跡画像生成の手順を示す。生成手段２０３は、まず、線幅ｗ＝１として、座標点間の線分と重なりのある画素を埋める。図１２は、座標点の間を１画素で埋めた状態の一例を示す図である。図１２に示すように、座標点を繋いだ線分上にある画素が、例えば黒画素で埋められる。埋める画素の色は黒に限らず、筆跡の色であればよい。

次に、生成手段２０３は、線分と直交する方向に、設定されている線幅ｗの矢印を引き、それぞれの矢印の先端を点線で繋ぐ。図１３は、筆跡の境界が決定された状態の一例を示す図である。図１３に示すように、矢印と点線に囲まれた範囲内が筆跡を構成する画素となる。

次に、生成手段２０３は、囲まれた範囲が画素の半分を超えている部分を、黒画素で埋める。図１４は、線幅ｗで画素を埋めた状態の一例を示す図である。図１４に示すようにして、生成手段２０３は、設定された複数の線幅で筆跡画像を生成することができる。

また、筆跡の線幅は、想定可能な線幅の範囲内で複数の値を設定すればよい。線幅の値は任意に設定できるが、例えば線の太さを０．２ｍｍ〜２ｍｍの範囲と想定し、スキャン画像の解像度を２００ｄｐｉとした場合、０．２ｍｍは約１．５７ピクセルに相当し、２ｍｍは１５．７ピクセルに相当する。

線幅は、若干の誤差を許容して整数化を行い、生成手段２０３は、例えば１〜１６ピクセル幅の筆跡画像を生成すれば良い。生成手段２０３は、計算効率化のため、生成する筆跡画像の線幅を間引き、例えば１，４，７，１０，１３，１６の６種類の線幅でのみ筆跡画像を生成してもよい。

また、生成手段２０３は、スキャナ装置２０からスキャンの解像度を取得できる場合、線幅の太さの範囲や、用いる線幅の間隔を文書画像の解像度に応じて変更してもよい。紙文書において同じ線幅でも、画像上のピクセル値に換算した線幅は解像度に比例する。例えば、２００ｄｐｉ画像で１ピクセル幅の線は、４００ｄｐｉ画像での２ピクセル幅と、紙上では同じ幅である。

したがって、線幅の太さの範囲は、解像度にほぼ比例して拡大や縮小するのが望ましい。一方で、後述する画像検索における一致度は、ピクセル値の相違によって左右されるので、用いる線幅の間隔は解像度に寄らず一定値を用いるのが望ましいと考えられる。このような基準に基づいて、生成手段２０３は、解像度によって線幅の設定を変更する。

まず、２００ｄｐｉの場合の線幅の上限値を１６ピクセルだとし、１６ピクセルを基準とする。画像の解像度がＤだとすると、線幅の上限値は、Ｄ×１６／２００で求めた値を四捨五入する。例えば解像度が３００ｄｐｉであれば、線幅の上限値は、３００×１６／２００＝２４となる。

線幅の最小値は、常に１だとして、間隔は３ピクセルとすると、生成手段２０３は、最小値の１ピクセルから順に、３ピクセル間隔で上限値を超えるまでの値を求める。例えば解像度が３００ｄｐｉの場合、生成手段２０３は、１，４，７，１０，１３，１６，１９，２２，２５の９種類の線幅を用いればよい。ここでは、線幅の間隔を３ピクセルと一定値にしたが、生成手段２０３は、間隔を固定せず、用いる線幅の種類を６種類に固定し、最小値から最大値までを６等分し、近似した整数値を用いてもよい。以上のように、生成手段２０３は、文書画像の解像度に応じて、線幅の数及び／又は値を設定してもよい。

（検索処理）
検索手段２０４は、スキャンされた文書画像の中で、検索対象の筆跡画像に一致する位置を検索する。以降では、検索対象の筆跡画像を検索筆跡画像とも称す。

図１５は、検索の動作例を示す図である。検索手段２０４は、検索筆跡画像に対して基準点を設定し、この筆跡と一致するパターンを文書画像の中から見つける。検索手段２０４は、基準点の位置座標と、一致度の得点と、サイズとを出力する。検索手段２０４は、図１５に示すように、検索筆跡画像の相対位置の原点を基準点として、ｘ軸とｙ軸とを文書画像の対応する位置にマッピングする。

図１５に示す例では、文書画像に追記された筆跡は、文字や罫線と重なっていることがあるため、他の画像と重なりがあっても検索できる技術が必要である。そのため、例えば一般化ハフ変換を用いることができる。

一般化ハフ変換では、文書画像の中で検索したい筆跡のサイズが変化していたり、回転したりしている場合でも検索は可能である。しかし、実施例では説明を簡単にするため、サイズ、方向とも変化が無いものとする。サイズ変化や回転の可能性がある場合には、検索手段２０４は、基準点の位置座標だけでなく、サイズと回転角も出力すればよい。

ここで、検索手段２０４は、一般化ハフ変換を用いる方式の場合、検索筆跡画像から抽出したエッジ方向に基づいて基準点の位置にスコア（得点）を投票し、投票した値の総和が最も高い位置を検索位置とする。検索結果の得点は常に得られ、また、実施例では一つの検索筆跡画像に対して、一つの検索結果が得られるものとする。

図１６は、線幅毎の検索結果の一例を示す図である。図１６に示すように、検索結果には、線幅毎にスコア、位置座標、サイズが保持される。線幅は、例えば６種類の線幅を用いた場合の結果を示す。

線幅は、小さな値なので例えば１バイトで格納される。スコアは、満点（完全に一致）した場合に１００点、全く一致しない場合が０点として、０〜１００の値を取るものとする。スコアは、例えば１バイトでも表現できるが、スコアの値の範囲を変更する場合も考え、余裕を取って２バイトとする。

位置座標は、基準点が文書画像中のどこで検出されたかを示す。位置座標は、ｘ座標とｙ座標との組となるので、２バイト×２の領域を用いる。サイズは、検索筆跡画像の縦横の幅の長い方（長辺）が、文書画像中で対応する長さで表すものとする。検索手段２０４は、図１６に示すような最終的な検索結果を選択手段２０５に出力する。

（選択処理）
選択手段２０５は、複数の線幅で生成した複数の検索筆跡画像のうち、検索結果のスコアが最も大きい結果を選択する。先に述べたように、検索手段２０４は、一つの筆跡画像に対して一つの検索結果を出力するため、複数の線幅で筆跡画像を生成すると複数の検索結果（基準点の座標値）が得られる。この中で筆跡画像の消去に用いるのは一つの結果だけである。選択手段２０５では、複数の結果の中から最大スコアである結果を選択する。選択手段２０５は、選択した筆跡画像とその検索結果を消去手段２０６に出力する。

選択手段２０５は、図１６に示す例を用いると、線幅ｗ＝７の場合が最も良い結果である。ｗ＝１６は、スコアが低く、また位置座標も全く異なることから、正解ではない別の場所を検出してしまったことが分かる。ｗ＝１、１６以外の線幅では、正解の筆跡を検出できているが、位置座標やサイズが少しずつずれているため、後段で筆跡を消去する際の精度に影響が及ぶ可能性がある。

（消去処理）
消去手段２０６は、スキャンされた文書画像から筆跡画像を消去する。消去手段２０６は、既に文書画像の中で筆跡画像の位置座標は分かっているので、その位置に検索画像を重ねれば、消去したい筆跡に属する画素が分かる。したがって、消去手段２０６は、筆跡に属する画素を背景色で塗り潰せば筆跡画像を消去することができる。ただし、カラー画像の場合には背景が白色とは限らないので、塗り潰す背景色を選択すればよい。

仮に、文書画像が白黒画像で背景が白色であり、追記された筆跡が余白などの背景領域にのみ書かれていれば、消去手段２０６は、筆跡の画素を白で塗り潰すだけでよい。しかし、印刷文字や罫線などと重なって筆記されている場合は、単に画素を塗り潰しただけでは不自然な画像が生成される可能性がある。

図１７は、単純に背景色で塗りつぶす例を示す図である。図１７（Ａ）は、追記前の画像の一部を示す。黒画素が文字の一部を示すものとする。図１７（Ｂ）は、追記後の画像の位置を示す。追記された筆跡が文字の上に筆記されると、図１７（Ｂ）に示すように文字画像と筆跡が重なる部分が生ずる。

図１７（Ｃ）は、追記部分を背景色で塗り潰した画像の一部を示す。筆跡の画素が背景色で塗り潰されると、図１７（Ｃ）に示すように、文字が途中で途切れてしまう。ただし、筆跡で重ね書きされた画素は、文字の画素か背景かを判断するための情報が失われている。よって、図１７（Ｃ）に示す画像が、不適切な画像だとは限らないが、図１７（Ｃ）に示す例では、図１７（Ａ）のような画像が生成された方が適切だと考えられる。また、カラー画像などのように、背景が白色のみとは限らない場合も考慮する必要がある。

実施例における消去手段２０６は、次の方法で、適切に背景色を塗り潰す処理を行う。消去手段２０６は、まず、筆跡に属する画像それぞれについて、その画素に最も近い、非筆跡の画素の色を求める。

図１８は、実施例による塗り潰し処理を説明する図である。図１８（Ａ）は、塗り潰し色の判定結果を示す。図１８（Ａ）に示す例では、白色の画素をＡ、黒色の画素をＢで示している。消去手段２０６は、続いて、それぞれの画素について判定した画素の色で塗り潰す。図１８（Ｂ）は、塗り潰し後の画像の一部を示す図である。図１８（Ｂ）に示す例では、分かりやすくするために黒色で塗り潰した画素Ｂは、格子状の網模様で示している。

消去手段２０６は、各画素を塗り潰す色として、その画素に最も近い、筆跡以外の画素の色を求める。図１９は、塗り潰し色判定を説明する図である。図１９に示す例では、例えば画素Ｃは、筆跡以外の画素で最も近いのは、上方向に２画素移動した位置の画素である。この場合、距離は２となる。

画素Ｄの場合は、上方向に３画素進むと背景である白画素が見つかり、それが最も近い画素となる。一方、画素Ｄから文字画素への距離は、一つ左に進んでから上に３画素進むために、距離は４となる。これにより、画素Ｄに最も近い画素は、距離が３である背景画素となる。上記の方法を用いて塗り潰し判定を行うと、図１８（Ａ）に示す結果となる。

また、消去手段２０６は、選択された筆跡画像よりも所定値だけ線幅が広い筆跡画像を用いて消去処理を行ってもよい。この理由は、実際の筆跡の線幅よりも少し細い線幅の筆跡画像が最適として選択される場合があり、筆跡画像による消去で筆跡の外縁が残ることを防止するためである。消去手段２０６は、実際の筆跡の線幅と一致する、又は実際の線幅よりも少し太い線幅の筆跡画像を用いるのが適切である。所定値は、予め実験等をして適切な値を設定しておけばよい。なお、消去手段２０６は、選択された筆跡画像よりも所定値だけ線幅が広い筆跡画像を生成手段２０３に生成させればよい。

筆跡が消去された画像は、表示装置３０に表示されたり、主記憶部１０２や補助記憶部１０３に記憶されたりする。

以上の構成、処理によれば、電子ペンによる座標データから生成された筆跡画像を用いて、文書画像の筆跡部分を適切に消去することができる。

＜動作＞
次に、実施例における筆跡消去処理の流れについて説明する。図２０は、実施例における筆跡消去処理の一例を示すフローチャートである。図２０に示すステップＳ１０１で、ユーザは、電子ペン１０を用いて資料に筆記を行う。このとき、電子ペン１０は、筆跡の座標データを取得し、画像処理装置１００に送信する。画像処理装置１００の筆跡取得手段２０２は、電子ペン１０による座標データを取得する。

ステップＳ１０２で、スキャナ装置２０は、電子ペン１０で筆記された資料をスキャンして文書画像を生成する。生成された文書画像は、画像処理装置１００に送信される。画像処理装置１００の画像取得手段２０１は、文書画像を取得する。

ステップＳ１０３で、生成手段２０３は、座標データに基づき、複数の異なる線幅を用いて複数の筆跡画像を生成する。筆跡画像生成処理は、図２１を用いて後述する。

ステップＳ１０４で、検索手段２０４は、生成された筆跡画像毎に、文書画像の中から類似する部分画像を検索し、スコアを算出する。

ステップＳ１０５で、選択手段２０５は、検索結果の中からスコアが一番高い線幅の筆跡画像を選択する。

ステップＳ１０６で、消去手段２０６は、選択された線幅の筆跡画像を用いて、文書画像の中から筆跡部分を消去する。筆跡を消去し、背景色で画素を埋める処理は、図２２を用いて後述する。

以上の処理により、電子ペン１０により取得された座標データを用いて、文書画像の中から筆跡部分を適切に消去することができる。

図２１は、複数の筆跡画像を生成する処理の一例を示すフローチャートである。図２１に示すステップＳ２０１で、生成手段２０３は、まず、Ｎ種類の線幅の値を配列Ｗ［ｉ］（ｉ＝１，...，Ｎ）に設定する。また、生成手段２０３は、変数ｉに１を設定する。

ステップＳ２０２で、生成手段２０３は、線幅ｗにＷ［ｉ］の値を設定する。ステップＳ２０３で、生成手段２０３は、ストローク始点とその隣の点をそれぞれの線分の始点、終点に設定する。

ステップＳ２０４で、生成手段２０３は、線幅を１とし、線分を通る画素を埋める（例えば図１２参照）。ステップＳ２０５で、生成手段２０３は、線幅ｗ＝１であるか否かを判定する。ｗ＝１であれば（ステップＳ２０５−ＹＥＳ）ステップＳ２０７に進み、ｗ＝１でなければ（ステップＳ２０５−ＮＯ）ステップＳ２０６に進む。

ステップＳ２０６で、生成手段２０３は、線幅ｗの範囲で、線分を埋める（例えば図１３，１４参照）。

ステップＳ２０７で、生成手段２０３は、筆跡の終点に到達したか否かを判定する。終点に到達していれば（ステップＳ２０７−ＹＥＳ）ステップＳ２０９に進み、終点に送達していなければ（ステップＳ２０７−ＮＯ）ステップＳ２０８に進む。

ステップＳ２０８で、生成手段２０３は、線分の終点を次の始点とし、さらに、隣の点を線分の終点に設定する。

ステップＳ２０９で、生成手段２０３は、変数ｉ＝Ｎであるか否かを判定する。ｉ＝Ｎであれば（ステップＳ２０９−ＹＥＳ）この処理を終了し、ｉ＝Ｎでなければ（ステップＳ２０９−ＮＯ）ステップＳ２１０に進む。

ステップＳ２１０で、生成手段２０３は、ｉの値を１増加させ、ステップＳ２０２に戻る。

以上の処理により、複数の線幅の筆跡画像を生成することができる。さらに、ステップＳ２０１において、生成手段２０３は、スキャナ装置２０のスキャン時の解像度を取得した場合、この解像度に基づいて線幅の値や数を変更してもよい。

図２２は、筆跡消去後の画素埋め処理の一例を示すフローチャートである。以降では、消去した筆跡部分の画素を筆跡画素とも称す。図２２に示すステップＳ３０１で、消去手段２０６は、全ての筆跡画素の色を「未定」に設定する。

ステップＳ３０２で、消去手段２０６は、「未定」の筆跡画素を１つ選んで、現在の処理対象画像に設定する。

ステップＳ３０３で、消去手段２０６は、現在の処理対象画像から最も近い画素の色を求める。

ステップＳ３０４で、消去手段２０６は、最も近い画素が複数あるか否かを判定する。最も近い画素が複数あれば（ステップＳ３０４−ＹＥＳ）ステップＳ３０５に進み、最も近い画素が複数なければ（ステップＳ３０４−ＮＯ）ステップＳ３０６に進む。

ステップＳ３０５で、消去手段２０６は、最も近い複数の画素の平均の色を求める。ステップＳ３０６で、消去手段２０６は、ステップＳ３０３又はステップＳ３０５で求めた色を、現在の処理対象画像の色に設定する。

ステップＳ３０７で、消去手段２０６は、「未定」画素がないか否かを判定する。「未定」画素がなければ（ステップＳ３０７−ＹＥＳ）この処理を終了し、「未定」画素があれば（ステップＳ３０７−ＮＯ）ステップＳ３０２に戻る。

以上の処理により、筆跡の重畳によって元文書の画素が上書きされているために文書画像の情報が一部失われている場合でも、文字の途切れのような不自然な現象を抑制して、比較的自然な文書画像を復元することができる。

以上、実施例によれば、電子ペンによる座標データから生成された筆跡画像を用いて、文書画像の筆跡部分を適切に消去することができる。また、実施例によれば、スキャナ装置２０からのスキャン時の解像度を取得できれば、解像度に応じて線幅の設定を変更することができる。

文書画像の筆跡部分を消去することで、文書画像の視認性が向上すると同時に、検索のために行う文字認識処理の精度も向上し、文書画像の利用価値を向上させることができる。

なお、前述した実施例で説明した画像処理を実現するためのプログラムを記録媒体に記録することで、実施例での画像処理をコンピュータに実施させることができる。例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータに読み取らせて、前述した画像処理を実現させることも可能である。

なお、実施例における画像処理装置１００は、コンピュータ（Personal Computer）や、タブレット端末、スマートフォンなどのプロセッサとメモリとデータを取得するインタフェースを有する処理装置であれば適用可能である。また、スキャナ装置２０に電子ペン１０からの座標データを送信することで、スキャナ装置２０でも上記画像処理を実行することができるように実装してもよい。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。この記録媒体には、搬送波は含まれない。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
電子ペンによる筆跡を含む文書の文書画像を取得する画像取得手段と、
前記電子ペンによる筆跡の座標データを取得する筆跡取得手段と、
複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成する生成手段と、
生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索する検索手段と、
前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択する選択手段と、
選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する消去手段と、
を備える画像処理装置。
（付記２）
前記生成手段は、
前記文書画像の解像度に応じて、線幅の数及び／又は値を設定する付記１記載の画像処理装置。
（付記３）
前記生成手段は、
前記文書画像の解像度から線幅の上限値を算出し、該上限値を用いて線幅の数を設定する付記２記載の画像処理装置。
（付記４）
前記消去手段は、
前記選択された筆跡画像よりも所定値だけ線幅が太い筆跡画像を用いて消去処理を行う付記１乃至３いずれか一項に記載の画像処理装置。
（付記５）
前記消去手段は、
消去した画素に対し、該消去した画素以外の画素で、最も近い画素の色を用いて色を復元する付記１乃至４いずれか一項に記載の画像処理装置。
（付記６）
電子ペンによる筆跡を含む文書の文書画像を取得し、
前記電子ペンによる筆跡の座標データを取得し、
複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成し、
生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索し、
前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択し、
選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する処理をコンピュータが実行する画像処理方法。
（付記７）
電子ペンによる筆跡を含む文書の文書画像を取得し、
前記電子ペンによる筆跡の座標データを取得し、
複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成し、
生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索し、
前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択し、
選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する処理をコンピュータに実行させるプログラム。

１０ 電子ペン
２０ スキャナ装置
１００ 画像処理装置
１０１ 制御部
１０２ 主記憶部
１０３ 補助記憶部
１０４ 通信部
１０５ ドライブ装置
２０１ 画像取得手段
２０２ 筆跡取得手段
２０３ 生成手段
２０４ 検索手段
２０５ 選択手段
２０６ 消去手段

Claims (6)

1. 電子ペンにより筆記された筆跡が含まれる文書を読み取った文書画像を取得する画像取得手段と、
   前記電子ペンによる筆跡の座標データを取得する筆跡取得手段と、
   複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成する生成手段と、
   生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索する検索手段と、
   前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択する選択手段と、
   選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する消去手段と、
   を備える画像処理装置。
2. 前記生成手段は、
   前記文書画像の解像度に応じて、線幅の数及び／又は値を設定する請求項１記載の画像処理装置。
3. 前記生成手段は、
   前記文書画像の解像度から線幅の上限値を算出し、該上限値を用いて線幅の数を設定する請求項２記載の画像処理装置。
4. 前記消去手段は、
   前記選択された筆跡画像よりも所定値だけ線幅が太い筆跡画像を用いて消去処理を行う請求項１乃至３いずれか一項に記載の画像処理装置。
5. 電子ペンにより筆記された筆跡が含まれる文書を読み取った文書画像を取得し、
   前記電子ペンによる筆跡の座標データを取得し、
   複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成し、
   生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索し、
   前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択し、
   選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する処理をコンピュータが実行する画像処理方法。
6. 電子ペンにより筆記された筆跡が含まれる文書を読み取った文書画像を取得し、
   前記電子ペンによる筆跡の座標データを取得し、
   複数の異なる線幅を用いて、前記座標データに基づく複数の筆跡画像を生成し、
   生成された筆跡画像毎に該筆跡画像と類似する筆跡部分の画像を前記文書画像から検索し、
   前記文書画像内の筆跡部分の画像と最も類似する筆跡画像を選択し、
   選択された筆跡画像を用いて、前記文書画像から筆跡部分の画像を消去する処理をコンピュータに実行させるプログラム。

Images