JP4650303B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

この発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、手書で文字が記入された原稿を読み取って処理する画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、プリンタ等の画像形成装置で画像形成された用紙に手書きで文字が追加して記入された原稿を読み取った画像データを処理する場合、手書き文字の部分と、手書きでない印刷文字の部分とで別々に処理する技術が知られている（例えば、特許文献１）。

しかしながら、従来の画像処理装置では、手書きの文字の部分が複数ある場合には、複数の手書き文字の部分に一律に同じ処理が施されてしまうといった問題があった。たとえば、手書きの文字の一部のみを消去したくても、すべてが消去されてしまう。
特開２００１−６１０６１号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、手書で文字が記入された原稿を加工する効率を向上した画像処理装置、画像処理方法および画像処理プログラムを提供することである。

原稿に記入した手書文字を別の原稿に利用可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。

上述した目的を達成するためにこの発明のある局面によれば、画像処理装置は、原稿を読み取り画像データを取得する読取手段と、取得された画像データから手書き文字を含む手書部分を抽出する抽出手段と、抽出手段により手書部分が複数抽出された場合、抽出された複数の手書部分ごとに処理内容を受け付ける受付手段と、受け付けられた処理内容に従って取得された画像データの複数の手書部分をそれぞれ処理する画像処理手段と、抽出された複数の手書部分を取得された画像データから消去した消去画像データを生成する消去手段と、生成された消去画像データと、抽出された複数の手書部分とを関連付けて記憶する記憶手段と、読取手段が原稿とは別の原稿を読み取って取得した別の画像データを記憶手段に記憶されている消去画像データと比較する比較手段と、比較手段により別の画像データに一致するとされた消去画像データに関連付けて記憶されている複数の手書部分のうち合成する処理内容が受け付けられた手書部分と、別の画像データとを合成する合成手段と、を備え、画像処理手段は、取得された画像データの抽出された複数の手書部分のうち消去する処理内容が受け付けられた手書部分を消去する消去手段を含む。

この局面に従えば、原稿を読み取って取得された画像データから手書き文字を含む手書部分が複数抽出されると、取得された画像データの複数の手書部分のうち消去する処理内容が受け付けられた手書部分が消去される。複数の手書部分のうち消去する処理内容が受け付けられた手書部分のみが消去されるので、複数の手書部分を選択的に処理することができる。その結果、手書で文字が記入された原稿を加工する効率を向上した画像処理装置を提供することができる。

さらに、取得された別の画像データが、それに一致するとされた消去画像データに関連付けて記憶されている手書部分と合成されるので、手書きで文字が記入された原稿から抽出された手書き文字を、手書き文字が記入されていない原稿に追加することができる。その結果、原稿に記入した手書文字を別の原稿に利用可能な画像処理装置を提供することができる。
好ましくは、比較手段により別の画像データに一致するとされた消去画像データに関連付けて記憶されている複数の手書部分を並べて表示する表示手段を、さらに備える。

この発明の他の局面によれば、画像処理方法は、原稿を読み取り画像データを取得するステップと、取得された画像データから手書き文字を含む手書部分を抽出するステップと、抽出ステップにより複数の手書部分が抽出された場合、抽出された複数の手書部分ごとに処理内容を受け付けるステップと、受け付けられた処理内容に従って取得された画像データの複数の手書部分をそれぞれ処理するステップと、抽出された複数の手書部分を取得された画像データから消去した消去画像データを生成するステップと、生成された消去画像データと、抽出された複数の手書部分とを関連付けて記憶するステップと、原稿とは別の原稿を読み取って取得した別の画像データを記憶ステップにより記憶された消去画像データと比較するステップと、比較ステップにより別の画像データに一致するとされた消去画像データに関連付けて記憶されている複数の手書部分のうち合成する処理内容が受け付けられた手書部分と、別の画像データとを合成するステップと、を含み、手書部分を処理するステップは、取得された画像データの抽出された複数の手書部分のうち消去する処理内容が受け付けられた手書部分を消去するステップを含む。

この局面に従えば、手書で文字が記入された原稿を加工する効率を向上させることが可能な画像処理方法を提供することができる。

また、原稿に記入した手書文字を別の原稿に利用可能な画像処理方法を提供することができる。

この発明のさらに他の局面によれば、画像処理プログラムは、原稿を読み取り画像データを取得するステップと、取得された画像データから手書き文字を含む手書部分を抽出するステップと、抽出ステップにより複数の手書部分が抽出された場合、抽出された複数の手書部分ごとに処理内容を受け付けるステップと、受け付けられた処理内容に従って取得された画像データの複数の手書部分をそれぞれ処理するステップと、抽出された複数の手書部分を取得された画像データから消去した消去画像データを生成するステップと、生成された消去画像データと、抽出された複数の手書部分とを関連付けて記憶するステップと、原稿とは別の原稿を読み取って取得した別の画像データを記憶ステップにより記憶された消去画像データと比較するステップと、比較ステップにより別の画像データに一致するとされた消去画像データに関連付けて記憶されている複数の手書部分のうち合成する処理内容が受け付けられた手書部分と、別の画像データとを合成するステップと、をコンピュータに実行させ、手書部分を処理するステップは、取得された画像データの抽出された複数の手書部分のうち消去する処理内容が受け付けられた手書部分を消去するステップを含む。

この局面に従えば、手書で文字が記入された原稿を加工する効率を向上させることが可能な画像処理プログラムを提供することができる。

また、原稿に記入した手書文字を別の原稿に利用可能な画像処理プログラムを提供することができる。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

図１は、本発明の実施の形態の１つにおけるＭＦＰの機能の概要を示す機能ブロック図である。図１を参照して、ＭＦＰ１００は、ＭＦＰ１００の全体を制御する制御部（ＣＰＵ）１０１と、ユーザとのインターフェイスとなる操作表示部１０２と、ＣＰＵ１０１が実行するためのプログラムなどを記録したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、実行されるプログラムをロードするための、およびプログラム実行中のデータを記憶するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４と、原稿を読み取って画像データを出力する画像読取部１０５と、画像データに所定の処理を実行する画像処理部１０６と、画像データに基づき紙などの記録媒体に画像を形成する画像形成部１０７と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１０Ａが装着される外部記憶装置１１０と、データを記憶するためのデータ記憶部１０８と、ＭＦＰ１００をネットワークに接続するための通信部１０９とを含む。

画像読取部１０５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の光電変換素子を含み、原稿を光学的に読取って電子データとしての画像データを出力する。画像処理部１０６は、画像読取部１０５が出力する画像データに、予め定められた処理を実行する。予め定められた処理については後述する。画像形成部１０７は、レーザプリンタ、または、インクジェットプリンタ等であり、紙などの記録媒体に画像データを可視化する。

操作表示部１０２は、表示部１０２Ａと操作部１０２Ｂとを含む。表示部１０２Ａは、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１０２Ｂは、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受付ける。操作部１０２Ｂは、透明な部材からなるタッチパネルを含む。表示部１０２Ａ上にタッチパネルを重ねて設置することで、表示部１０２Ａに表示された画面に含まれるボタンの指示を検出することができる。これにより、種々の操作の入力を受け付けることが可能となる。

データ記憶部１０８は、ハードディスクドライブ（ＨＤＤ）等の大容量記憶装置である。データ記憶部１０８は、画像読取部１０５が出力刷る画像データ、画像処理部１０６が出力する画像データ等を記憶する。

通信部１０９は、ＭＦＰ１００をローカルエリアネットワーク（ＬＡＮ）と接続するための通信インターフェイスである。したがって、ＭＦＰ１００は、ＬＡＮに接続された他のコンピュータと、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）またはＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルで通信することが可能となる。ＭＦＰ１００が接続されるＬＡＮの接続形態は有線または無線を問わない。なお、ＭＦＰ１００が接続されるネットワークは、ＬＡＮに限らず、ワイドエリアネットワーク（ＷＡＮ）、インターネット等であってもよい。さらに、通信部１０９は、ＭＦＰ１００をシリアルインターフェイスまたはパラレルインターフェイスで他のコンピュータと直接接続することも可能である。通信部１０９は、ＭＦＰ１００が他のコンピュータと接続される形態に応じた通信プロトコルで通信する。

外部記憶装置１１０は、ＣＤ−ＲＯＭ１１０Ａが装着されるＣＤ−ＲＯＭドライバである。ＣＤ−ＲＯＭ１１０Ａには、画像処理プログラムが記憶されており、ＣＰＵ１０１は、画像処理プログラムを読出し、読み出した画像処理プログラムを実行して後述する画像処理を実行することが可能である。

なお、画像処理プログラムを記憶する記録媒体としては、ＣＤ−ＲＯＭ１１０Ａに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリ等でもよい。さらに、ＣＰＵ１０１がＬＡＮに接続されたコンピュータから画像処理プログラムをダウンロードしてデータ記憶部１０８に記憶する、または、コンピュータが画像処理プログラムをデータ記憶部１０８に書込みするようにして、データ記憶部１０８に記憶された画像処理プログラムをＲＡＭ１０４にロードしてＣＰＵ１０１で実行するようにしてもよい。ここでいうプログラムは、ＣＰＵ１０１により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

図２は、画像処理部の機能の概要をデータ記憶部で記憶するデータとともに示す機能ブロック図である。図２を参照して、画像処理部１０６は、画像読取部１０５が出力する画像データから手書の文字の部分（手書部分）を抽出する手書部分抽出部１５１と、抽出された複数の手書部分の画像を並べたリスト表示画面を生成するリスト生成部１５２と、画像データから手書部分を消去した消去画像データを生成する手書部分消去部１５３と、手書部分に基づき吹出画像データを生成して消去画像データと合成する吹出画像合成部１５４と、消去画像データと手書部分とを関連付けて記憶する関連付部１５５とを含む。

画像データは、二次元に画素を配列したビットマップデータである。手書部分抽出部１５１は、画像データから文字が表された文字領域を抽出し、文字領域に含まれる文字が手書文字の場合、その文字領域に含まれる画像データを手書部分として抽出する。画像データから文字領域を抽出する技術は、周知の技術なのでその詳細は説明しないが、たとえば、画像データを複数のブロックに分割し、ブロック毎に画像属性を判別する。画像属性を判別するための値としては、たとえば、１次微分フィルタなどのエッジ検出フィルタを用いて算出される１次微分値を用いることができる。１次微分値が大きな画素を含むブロックは、文字を構成する線を含む可能性が高いからである。そして、文字属性と判別された複数のブロックで隣接するブロックを集めて文字領域を特定する。

さらに、手書部分抽出部１５１は、文字領域の画像に含まれる文字を、予め記憶してある文字フォント等の文字情報データと比較して、両者が一致も類似もしない文字領域の画像に含まれる文字を手書文字と判断し、その文字を含む文字領域の画像データを手書部分として抽出する。手書き手書部分抽出部１５１は、文字領域の画像に含まれる文字と予め記憶してある文字情報データとが一致または類似する文字領域の画像に含まれる文字を手書文字でないと判断し、その文字を含む文字領域の画像データを手書部分として抽出しない。

手書部分抽出部１５１は、画像データから抽出した複数の手書部分各々の画像データ全体中における位置（二次元座標）から、近傍の２つの手書部分をまとめて１つの手書部分とする。手書の文字列の文字間隔が広いと、文字列が複数に分断されて複数の手書部分として抽出される場合があるため、１つの文字列を１つの手書部分とするためである。手書部分抽出部１５１は、原稿の複数の箇所に手書の文字が記載されていれば、画像データから複数の手書部分を抽出する。手書部分抽出部１５１は、画像データから抽出した複数の手書部分をリスト生成部１５２、手書部分消去部１５３、吹出画像合成部１５４および関連付部１５５に出力する。画像データから抽出した手書部分は、画像データの一部であってもよいし、画像データ中の手書部分の位置情報であってもよい。

リスト生成部１５２は、手書部分抽出部１５１から複数の手書部分を受け付けると、手書部分抽出部１５１が抽出した複数の手書部分の画像を並べたリスト表示画面を生成する。リスト生成部１５２は、生成したリスト表示画面を表示部１０２Ａに出力して、表示部１０２Ａにリスト画面を表示させる。リスト表示画面の詳細については後述するが、並べて表示された複数の手書部分の画像各々の近傍に複数の手書き文字部分に対応する処理指示ボタンが配置される。処理指示ボタンは、ユーザが処理指示ボタンに対応する手書部分のみに予め定められた画像処理を実行することを指示するための指示ボタンである。画像処理は、手書部分を画像データから消去する消去処理と、手書部分を含む吹出画像データを生成して、手書部分を吹出画像データに置き換える吹出画像合成処理とを含む。ここでは、消去処理を指示するための指示を消去指示といい、吹出画像合成処理を指示するための指示を吹出表示指示という。

ユーザが操作部１０２Ｂを操作して、複数の手書部分の画像にそれぞれ対応する複数の指示ボタンのいずれかに画像処理を指示すると、画像処理部１０６は、指示された指示ボタンに対応する手書部分を画像処理するための指示を受け付ける。複数の指示ボタンが指示されると、複数の手書部分それぞれを画像処理するための指示を受け付ける。

手書部分消去部１５３は、画像読取部１０５から画像データを受け付け、手書部分抽出部１５１から複数の手書部分を受け付け、操作部１０２Ｂから消去指示を受け付ける。手書部分消去部１５３は、消去指示で特定される手書部分を画像データから消去する。消去は、画像データそのものを消去するのではなく、画像データを構成する複数の画素値のうち、消去することが指示された手書部分に含まれる画素値を、背景の画素値に変更する。例えば、背景画像が白色であれば、手書部分の画素値を２５５に変更する。手書部分消去部１５３は、複数の消去指示を受け付けたならば、複数の消去指示よりそれぞれ特定される複数の手書部分を画像データから消去する。手書部分消去部１５３は、消去指示に従って画像データから手書部分を消去した画像データを、画像形成部１０７に出力して、画像形成部１０７に画像形成させる。これにより、ユーザが手書で複数の文字列を記入した原稿を画像読取部１０５に読み取らせて、複数の文字列のうちから選択した文字列を消去する指示を入力すれば、消去を指示した手書きの文字列のみを原稿から消去した画像が画像形成される。

吹出画像合成部１５４は、画像読取部１０５から画像データを受け付け、手書部分抽出部１５１から複数の手書部分を受け付け、操作部１０２Ｂから吹出表示指示を受け付ける。吹出画像合成部１５４は、吹出表示指示で特定される手書部分を含む吹出画像データを生成し、画像データの手書部分に吹出画像データを合成して合成画像データを生成する。合成は、吹出表示指示で特定される手書部分を、吹出画像データで置き換える。吹出画像データが手書部分よりもサイズが大きければ、例えば、吹出画像データの中心に手書部分の中心が重なるように配置すればよい。吹出画像合成部１５４は、複数の吹出表示指示を受け付けると、複数の吹出表示指示各々により特定される手書部分を対応する吹出画像データで置き換える。吹出画像合成部１５４は、吹出表示指示に従って画像データに吹出画像データを合成した合成画像データを画像形成部１０７に出力して、画像形成部１０７に画像形成させる。これにより、ユーザが手書で複数の文字列を記入した原稿を画像読取部１０５に読み取らせて、複数の文字列のうちから選択した文字列を吹出表示に変換する吹出表示指示を入力すれば、手書きの文字列のみを吹出表示した画像が画像形成される。

関連付部１５５は、画像読取部１０５から画像データを受け付け、手書部分抽出部１５１から複数の手書部分を受け付ける。関連付部１５５は、手書部分抽出部１５１が画像データから抽出した複数の手書部分のすべてを画像データから消去して、消去画像データを生成する。関連付部１５５は、消去画像データと複数の手書部分とを関連付けてテータ記憶部１０８に記憶する。これにより、消去画像データと複数の手書部分とを関連付けた関連付データ１０８Ａがデータ記憶部１０８に記憶される。

また、画像処理部１０６は、比較抽出部１５６と、手書部分合成部１５７とをさらに含む。比較抽出部１５６は、画像読取部１０５から画像データを受け付ける。比較抽出部１５６は、画像データを受け付けると、その画像データをデータ記憶部１０８に記憶されている関連付データ１０８Ａの消去画像データと比較する。そして、画像データと一致または類似する消去画像データを含む関連付データ１０８Ａを抽出する。比較抽出部１５６は、画像データとデータ記憶部１０８に記憶されている関連付データ１０８Ａとが手書文字を除く印刷文字が一致していれば、画像データに手書文字が含まれていても両データが類似すると判断する。これにより、原稿から手書の文字の一部を消しゴムなどで消した原稿を読み取った場合に、対応することができる。

比較抽出部１５６は、抽出した関連付データ１０８Ａに含まれる複数の手書部分のすべてをリスト生成部１５２に出力する。比較抽出部１５６が手書部分を出力する場合は、先に画像読取部１０５が読み取った手書の文字の記入された原稿と同じ原稿であるが、手書きの文字の記入されていない原稿を画像読取部１０５が読み取った場合である。同じ原稿は、複写された原稿を含む。例えば、先に画像読取部１０５が読み取った原稿に記入されていた手書きの文字を消しゴムなどで消した後に、画像読取部１０５がその原稿を読み取った場合である。また、複写された２枚の原稿があり、一方の原稿に手書きの文字が記入されており、他方の原稿に手書きの文字が記入されていない場合、画像読取部１０５が一方の手書の文字が記入された原稿を読み取った後に、他方の手書の文字が記入されていない原稿を読み取った場合である。

リスト生成部１５２は、比較抽出部１５６から複数の手書部分を受け付けると、複数の手書部分の画像を並べた履歴表示画面を生成する。履歴表示画面に表示される手書部分の画像は、先に画像読取部１０５が手書の文字の記入された原稿を読み取って出力する画像データから抽出された手書部分である。リスト生成部１５２は、生成した履歴表示画面を表示部１０２Ａに出力して、表示部１０２Ａに履歴表示画面を表示させる。履歴表示画面の詳細については後述するが、並べて表示された複数の手書部分の画像各々の近傍に複数の手書き文字部分に対応する処理指示ボタンが配置される。処理指示ボタンは、ユーザが処理指示ボタンに対応する手書部分のみに予め定められた画像処理を実行することを指示するための指示ボタンである。画像処理は、手書部分を画像データに合成する合成処理を含む。ここでは、合成処理を指示するための指示を合成指示という。

手書部分合成部１５７は、画像読取部１０５から画像データを受け付け、比較抽出部１５６から複数の手書部分を受け付け、操作部１０２Ｂから合成指示を受け付ける。手書部分合成部１５７は、合成指示で特定される手書部分を、画像データと合成して合成画像データを生成する。合成は、合成指示で特定される手書部分を、画像データ中で手書部分が抽出された原稿に配置されていた位置と同じ位置に配置する。手書部分合成部１５７は、複数の合成指示を受け付けると、複数の合成指示各々により特定される手書部分を画像データに合成する。手書部分合成部１５７は、合成指示に従って手書部分を合成した合成画像データを画像形成部１０７に出力して、画像形成部１０７に画像形成させる。これにより、ユーザが手書の文字を消しゴムなどで消去した原稿を読み取る場合であっても、手書きの文字を消去する前に、原稿をＭＦＰ１００に読み取らせておけば、手書きの文字を消去した原稿に手書きの文字を追加した画像を形成することができる。また、手書部分合成部１５７は、手書部分合成部１５７は、合成指示で特定される手書部分から吹出画像データを生成して、吹出画像データを画像データと合成するようにしてもよい。これにより、手書きの文字を消去した原稿に手書きの文字を吹出表示した画像を形成することができる。

なお、リスト画面において、消去指示と吹出表示指示とを別々に指示する例を示したが、複数の手書部分のうち一部に対して消去指示を指示することを可能とし、他の一部に吹出表示指示を指示することを可能としてもよい。これにより、原稿に記入された複数の手書文字のうち一部を消去し、他の一部を吹出画像とした画像を形成することができる。

図３は、本実施の形態におけるＭＦＰで実行される画像形成処理の流れの一例を示す第１のフローチャートである。図３を参照して、ＭＦＰ１００は、原稿を読み取り画像データを取得する（ステップＳ０１）。そして、画像データから手書部分を抽出する（ステップＳ０２）。手書部分は、少なくとも１つの文字列を含む。手書き文字列が原稿中の複数の領域に記入されていれば、複数の手書部分を抽出する。

そして、ステップＳ０２で抽出した複数の手書部分の画像を並べたリスト画面を生成して、表示部１０２Ａに表示する（ステップＳ０３）。複数の手書部分それぞれに対応する処理指示を受け付け（ステップＳ０４）、処理をステップＳ０５に進める。ステップＳ０５において、ステップＳ０２で抽出した複数の手書部分のうちから処理対象とする手書部分を設定する。そして、処理対象に設定した手書部分に対応する処理指示が、消去指示か否かを判断する（ステップＳ０６）。処理指示が消去指示であれば処理をステップＳ０７に進め、消去指示でなければステップＳ０７をスキップして処理をステップＳ０８に進める。ステップＳ０７において、処理対象に設定した手書部分を画像データから消去する。

次に、処理対象に設定した手書部分に対応する処理指示が、吹出表示指示か否かを判断する（ステップＳ０８）。処理指示が吹出表示指示であれば処理をステップＳ０９に進め、吹出表示指示でなければ処理をステップＳ１１に進める。ステップＳ０９において、処理対象に設定した手書部分に基づいて吹出画像データを生成する。そして、処理対象に設定した手書部分を画像データから消去して、先に生成した吹出画像データを画像データと合成する（ステップＳ１０）。

ステップＳ１１において、未だ処理対象に設定しておらず、次に処理対象に設定するべき手書部分が存在するか否かを判断し、そのような手書部分が存在するならば処理をステップＳ０５に戻し、存在しなければ処理をステップＳ１２に進める。

ステップＳ１２では、ステップＳ０７で手書部分を消去した、あるいは、ステップＳ１０で吹出画像データと合成した画像データを、画像形成部１０７に出力して、画像形成させる。そして、ステップＳ０１で取得した画像データから、ステップＳ０２で画像データから抽出した複数の手書部分を消去した、消去画像データを生成し（ステップＳ１３）、消去画像データと複数の手書部分とを関連付けた関連付データを生成して（ステップＳ１４）、生成した関連付データをデータ記憶部１０８に記憶する（ステップＳ１５）。

図４は、手書文字が記入された原稿の一例を示す第１の図である。図４を参照して、原稿は、手書きで記入された文字列「（○×問題について）」と、文字列「１９：００発予定」と、文字列「東棟２Ｆの奥側」とを含む。図５は、リスト画面の一例を示す図である。図５に示すリスト画面は、図４に示した原稿に含まれる文字列「（○×問題について）」、文字列「１９：００発予定」および文字列「東棟２Ｆの奥側」をそれぞれ含む３つの画像が並んで配置される。３つの画像は、図４に示す原稿を読み取って得られる画像データのうちから抽出された３つの手書部分の画像である。また、リスト画面は、「メニュー」の表示がされ、指示内容を選択するための処理選択ボタンを含む。ユーザが処理選択ボタンを指示すると、手書部分を画像データから消去するか否かを指定するための処理指示ボタンが、３つの画像の右隣にそれぞれ表示される。

図６は、処理指示ボタンが表示されたリスト画面の一例を示す第１の図である。図６を参照して、リスト画面は、３つの画像の右隣にそれぞれ配置され、「消去しない」が表示された処理指示ボタンを含む。処理指示ボタンをユーザが指示するごとに、処理指示ボタンの表示が「消去しない」、「消去する」、「吹出表示」、「消去しない」の順に切換えられる。処理指示ボタンは、「消去しない」が表示された状態において、画像データから対応する手書部分を消去しないことを指示する状態であり、「消去する」が表示された状態において、画像データから対応する手書部分を消去することを指示する状態であり、「吹出表示」が表示された状態において、画像データから手書部分を消去して、かつ、吹出画像を合成することを指示する状態である。

図７は、処理指示ボタンが表示されたリスト画面の一例を示す第２の図である。最上段の文字列「（○×問題について）」を含む画像の右隣に配置された処理指示ボタンに「消去しない」が表示され、他の２つの画像の右隣にそれぞれ配置された処理指示ボタンに「消去」が表示される。この状態で「Ｃｏｐｙ」の文字が表されたコピーキーを指示すれば、画像データの文字列「１９：００発予定」および文字列「東棟２Ｆの奥側」それぞれに対する２つの消去指示をＭＦＰ１００が受け付ける。

図８は、処理指示ボタンが表示されたリスト画面の一例を示す第３の図である。最上段の文字列「（○×問題について）」を含む画像の右隣に配置された処理指示ボタンに「吹出表示」が表示され、他の２つの画像の右隣にそれぞれ配置された処理指示ボタンに「消去」が表示される。この状態で「Ｃｏｐｙ」の文字が表されたコピーキーを指示すれば、画像データの文字列「○×問題について」を含む手書部分に対する吹出表示指示と、文字列「１９：００発予定」および文字列「東棟２Ｆの奥側」それぞれに対する消去指示とをＭＦＰ１００が受け付ける。

図９は、画像処理後の画像データの一例を示す第１の図である。図９に示す画像データは、図８に示したリスト画面に従って処理指示が入力された場合に、生成される画像データを示している。図９を参照して、図４に示した原稿と比較して、原稿に記入されていたすべての手書文字が消去され、文字列「○×問題について」を含む吹出画像が合成されている。

図１０は、手書部分抽出処理の流れの一例を示すフローチャートである。手書部分抽出処理は、図３のステップＳ０２で実行される処理である。図１０を参照して、画像データを複数のブロックに分割する（ステップＳ２１）。そして、ブロック毎に画像属性を判別して、文字が表された文字属性と判別されたブロックを抽出する（ステップＳ２２）。そして、抽出された複数の文字属性のブロックをまとめて文字領域とし、画像データから文字領域を抽出する（ステップＳ２３）。図１１は、画像データから抽出した文字領域の一例を示す図である。図１１においては、図４に示した原稿を読み取って得られる画像データから抽出した文字領域を示している。１つの矩形で囲まれた領域が１つの文字領域として抽出される領域を示す。

図１０に戻って、文字領域が複数抽出された場合には、文字領域ごとにステップＳ２４以降の処理を実行する。まず、複数の文字領域のうちから一つを処理対象に設定し、文字領域の画像に含まれる文字をデータ記憶部１０８に予め記憶されている文字情報データと比較する（ステップＳ２４）。両者が一致も類似もしなければ文字領域の画像に含まれる文字が手書文字と判断して、その文字を含む文字領域を抽出して処理をステップＳ２５に進め、両者が一致または類似すれば文字領域に含まれる文字が手書文字でない印刷文字と判断し、処理をステップＳ２７に進める。

ステップＳ２５では、文字領域間の座標位置の関係を判別する。具体的には、手書文字と判断された文字領域の画像データにおける座標位置と、手書文字と判断された他の文字領域の画像データにおける座標位置とから、２つの文字領域が画像データ内において隣接しているか否かを判別する。２つの文字領域が画像データ内において隣接していれば処理をステップＳ２６に進め、隣接していなければステップＳ２６をスキップして処理をステップＳ２７に進める。ステップＳ２６では、隣接する２つの文字領域を合わせて１つの手書き文字部分とする。手書の文字列の文字間隔が広いと、文字列が複数に分断されて複数の手書部分として抽出される場合があるため、１つの文字列を１つの手書部分とするためである。そして、次に処理対象に設定するべき文字領域が存在するか否かを判断し（ステップＳ２７）、そのような文字領域が存在すれば処理をステップＳ２４に戻し、存在しなければ処理を終了する。

図１２は、画像データから抽出した手書部分の一例を示す図である。図１２を参照して、手書部分をハッチングが付された矩形の領域で示している。

図１３は、本実施の形態におけるＭＦＰで実行される画像形成処理の流れの一例を示す第２のフローチャートである。図１３を参照して、ＭＦＰ１００は、原稿を読み取り画像データを取得する（ステップＳ３１）。そして、取得した画像データを、データ記憶部１０８に記憶されている関連付データ１０８Ａの消去画像データと比較する（ステップＳ３２）。そして、画像データと一致または類似する消去画像データを含む関連付データ１０８Ａを抽出できたか否かを判断する（ステップＳ３３）。例えば、手書部分のみが異なる場合には両者が類似すると判断して、関連付データ１０８Ａを抽出する。関連付データ１０８Ａを抽出したならば処理をステップＳ３４に進め、抽出できなければ処理をステップＳ４１に進める。

ステップＳ３４において、抽出した関連付データ１０８Ａに含まれる複数の手書部分のすべてを取得する。そして、取得した複数の手書部分の画像を並べた履歴画面を生成して、表示部１０２Ａに表示する（ステップＳ３５）。複数の手書部分それぞれに対応する処理指示を受け付け（ステップＳ３６）、処理をステップＳ３７に進める。ステップＳ３７において、ステップＳ３４で取得した複数の手書部分のうちから処理対象とする手書部分を設定する。そして、処理対象に設定した手書部分に対応する処理指示が、合成指示か否かを判断する（ステップＳ３８）。処理指示が合成指示であれば処理をステップＳ３９に進め、合成指示でなければステップＳ３９をスキップして処理をステップＳ４０に進める。ステップＳ３９において、処理対象に設定した手書部分を画像データと合成する。なお、手書部分から吹出画像データを生成して、吹出画像データを画像データと合成するようにしてもよい。

ステップＳ４０において、未だ処理対象に設定しておらず、次に処理対象に設定するべき手書部分が存在するか否かを判断し、そのような手書部分が存在するならば処理をステップＳ３７に戻し、存在しなければ処理をステップＳ４１に進める。処理がステップＳ３３からステップＳ４１に進む場合、ステップＳ３１で取得した画像データをそのまま画像形成するが、処理がステップＳ４０からステップＳ４１に進む場合、受け付けられた合成指示により指示された手書部分を画像データに合成した画像データを画像形成する。

図１４は、原稿の一例を示す第２の図である。図１４を参照して、原稿は、印刷文字のみを含み、印刷文字は図４に示した原稿と同じである。したがって、図１４に示す原稿と、図４に示す原稿とは、手書きの文字が記入されているか否かの違いがある。上述したように、ＭＦＰ１００は、図４に示した原稿を読み取ると、手書きで記入された文字列「（○×問題について）」を含む手書部分と、文字列「１９：００発予定」を含む手書部分と、文字列「東棟２Ｆの奥側」を含む手書部分と手書部分を消去した消去画像データとを関連付けた関連付データ１０８Ａをデータ記憶部１０８に記憶する。

図１５は、履歴画面の一例を示す図である。図１４に示す原稿を読み取って得られる画像データは、図４に示した原稿を読み取って得られる画像データから生成された消去画像データと一致するので、関連付データ１０８Ａにより消去画像データと関連付けされた、文字列「（○×問題について）」を含む手書部分と、文字列「１９：００発予定」を含む手書部分と、文字列「東棟２Ｆの奥側」を含む手書部分とから履歴画面が生成される。図１５に示す履歴画面は、図４に示した原稿に含まれる文字列「（○×問題について）」、文字列「１９：００発予定」および文字列「東棟２Ｆの奥側」をそれぞれ含む３つの画像が並んで配置される。また、履歴リスト画面は、図４に示した原稿と印刷文字が同じで手書きで文字列「実施例！」が記入された原稿を読み取って得られる画像データから抽出された文字列「実施例！」を含む手書部分の画像を含む。また、履歴リスト画面は、手書部分を画像データと合成するか否かを指定するための処理指示ボタンが、４つの画像の右隣に表示される。処理指示ボタンは、処理指示ボタンをユーザが指示するごとに、処理指示ボタンの表示が「貼付しない」、「貼付する」、「貼付しない」の順に切換えられる。処理指示ボタンは、「貼付しない」が表示された状態において、対応する手書部分を画像データに合成しないことを指示する状態であり、「貼付する」が表示された状態において、対応する手書部分を画像データに合成することを指示する状態である。

図１６は、画像処理後の画像データの一例を示す第２の図である。図１６に示す画像データは、図１５に示した履歴画面に従って処理指示が入力された場合に、生成される画像データを示している。図１６を参照して、図４に示した原稿と比較して、文字列「○×問題について」を含む画像が合成されている。

上述したように本実施の携帯におけるＭＦＰ１００は、原稿を読み取って取得された画像データから手書き文字を含む手書部分を複数抽出し、抽出した複数の手書部分の画像を並べたリスト画面を表示する。そして、リスト画面で表示される画像のいずれかが選択されると、選択された画像に対応する手書部分を、画像データから消去する、または、手書部分から生成した吹出画像データを画像データと合成する。このため、原稿に手書で記入された複数の手書文字を選択的に、削除する、または、吹出画像として合成することができる。

また、ＭＦＰ１００は、原稿を読み取って取得された画像データから手書き文字を含む手書部分を複数抽出し、抽出した手書部分を画像データから消去した消去画像データを生成して、消去画像データと手書部分とを関連付けた関連付データを生成してデータ記憶部１０８に記憶する。その後、別の原稿を読み取って取得された別の画像データをデータ記憶部１０８に記憶されている消去画像データと比較し、別の画像データに一致するとされた消去画像データに関連付けて記憶されている手書部分と、別の画像データとを合成する。このため、手書きで文字が記入された原稿から抽出された手書き文字を、手書き文字が記入されていない原稿に追加することができる。

なお、上述した実施の携帯においては、ＭＦＰ１００について説明したが、図３または図１３に示した画像処理をＭＦＰ１００に実行させる画像処理方法または画像処理プログラムとして発明を捉えることができるのはいうまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

＜付記＞
（１） 前記選択手段は、前記表示された複数の手書き文字部分のうちから少なくとも１つを選択する指示を受け付ける受付手段を含む、請求項２に記載の画像処理装置。
（２） （１）において、前記選択手段は、前記選択された手書部分に対して実行するための処理を特定する指示を受け付ける処理特定指示受付手段をさらに含む。
（３） 前記比較手段により前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記手書部分が複数の場合、前記複数の手書部分のうちから少なくとも１つの選択を受け付ける選択受付手段を、さらに備えた請求項５に記載の画像処理装置。
（４） 前記画像処理手段は、前記比較手段により前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記手書部分を含む吹出画像データを生成する吹出画像生成手段と、
前記生成された吹出画像データと前記別の画像データと合成する吹出画像データ合成手段とを含む、請求項５に記載の画像処理装置。

本発明の実施の形態の１つにおけるＭＦＰの機能の概要を示す機能ブロック図である。 画像処理部の機能の概要をデータ記憶部で記憶するデータとともに示す機能ブロック図である。 本実施の形態におけるＭＦＰが実行する画像形成処理の流れの一例を示す第１のフローチャートである。 手書文字が記入された原稿の一例を示す第１の図である。 リスト画面の一例を示す図である。 処理指示ボタンが表示されたリスト画面の一例を示す第１の図である。 処理指示ボタンが表示されたリスト画面の一例を示す第２の図である。 処理指示ボタンが表示されたリスト画面の一例を示す第３の図である。 画像処理後の画像データの一例を示す第１の図である。 手書部分抽出処理の流れの一例を示すフローチャートである。 画像データから抽出した文字領域の一例を示す図である。 画像データから抽出した手書部分の一例を示す図である。 本実施の形態におけるＭＦＰが実行する画像形成処理の流れの一例を示す第２のフローチャートである。 原稿の一例を示す第２の図である。 履歴画面の一例を示す図である。 画像処理後の画像データの一例を示す第２の図である。

符号の説明

１００ ＭＦＰ、１０１ 制御部、１０２ 操作表示部、１０２Ａ 表示部、１０２Ｂ 操作部、１０３ ＲＯＭ、１０４ ＲＡＭ、１０５ 画像読取部、１０６ 画像処理部、１０７ 画像形成部、１０８ データ記憶部、１０８Ａ 関連付データ、１０９ 通信部、１１０ 外部記憶装置、１１０Ａ ＣＤ−ＲＯＭ、１５１ 手書部分抽出部、１５２ リスト生成部、１５３ 手書部分消去部、１５４ 吹出画像合成部、１５５ 関連付部、１５６ 比較抽出部、１５７ 手書部分合成部。

Claims (4)

1. 原稿を読み取り画像データを取得する読取手段と、
   前記取得された画像データから手書き文字を含む手書部分を抽出する抽出手段と、
   前記抽出手段により前記手書部分が複数抽出された場合、前記抽出された複数の手書部分ごとに処理内容を受け付ける受付手段と、
   前記受け付けられた処理内容に従って前記取得された画像データの前記複数の手書部分をそれぞれ処理する画像処理手段と、
   前記抽出された複数の手書部分を前記取得された画像データから消去した消去画像データを生成する消去手段と、
   前記生成された消去画像データと、前記抽出された複数の手書部分とを関連付けて記憶する記憶手段と、
   前記読取手段が前記原稿とは別の原稿を読み取って取得した別の画像データを前記記憶手段に記憶されている消去画像データと比較する比較手段と、
   前記比較手段により前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記複数の手書部分のうち合成する処理内容が受け付けられた手書部分と、前記別の画像データとを合成する合成手段と、を備え、
   前記画像処理手段は、前記取得された画像データの前記抽出された複数の手書部分のうち消去する処理内容が受け付けられた手書部分を消去する消去手段を含む、画像処理装置。
2. 前記比較手段により前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記複数の手書部分を並べて表示する表示手段を、さらに備えた請求項１に記載の画像処理装置。
3. 原稿を読み取り画像データを取得するステップと、
   前記取得された画像データから手書き文字を含む手書部分を抽出するステップと、
   前記抽出ステップにより複数の前記手書部分が抽出された場合、前記抽出された複数の手書部分ごとに処理内容を受け付けるステップと、
   前記受け付けられた処理内容に従って前記取得された画像データの前記複数の手書部分をそれぞれ処理するステップと、
   前記抽出された複数の手書部分を前記取得された画像データから消去した消去画像データを生成するステップと、
   前記生成された消去画像データと、前記抽出された複数の手書部分とを関連付けて記憶するステップと、
   前記原稿とは別の原稿を読み取って取得した別の画像データを前記記憶ステップにより記憶された消去画像データと比較するステップと、
   前記比較ステップにより前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記複数の手書部分のうち合成する処理内容が受け付けられた手書部分と、前記別の画像データとを合成するステップと、を含み、
   前記手書部分を処理するステップは、前記取得された画像データの前記抽出された複数の手書部分のうち消去する処理内容が受け付けられた手書部分を消去するステップを含む、画像処理方法。
4. 原稿を読み取り画像データを取得するステップと、
   前記取得された画像データから手書き文字を含む手書部分を抽出するステップと、
   前記抽出ステップにより複数の前記手書部分が抽出された場合、前記抽出された複数の手書部分ごとに処理内容を受け付けるステップと、
   前記受け付けられた処理内容に従って前記取得された画像データの前記複数の手書部分をそれぞれ処理するステップと、
   前記抽出された複数の手書部分を前記取得された画像データから消去した消去画像データを生成するステップと、
   前記生成された消去画像データと、前記抽出された複数の手書部分とを関連付けて記憶するステップと、
   前記原稿とは別の原稿を読み取って取得した別の画像データを前記記憶ステップにより記憶された消去画像データと比較するステップと、
   前記比較ステップにより前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記複数の手書部分のうち合成する処理内容が受け付けられた手書部分と、前記別の画像データとを合成するステップと、をコンピュータに実行させ、
   前記手書部分を処理するステップは、前記取得された画像データの前記抽出された複数の手書部分のうち消去する処理内容が受け付けられた手書部分を消去するステップを含む、画像処理プログラム。
   

Images