以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
図1は、本発明の実施の形態の1つにおけるMFPの機能の概要を示す機能ブロック図である。図1を参照して、MFP100は、MFP100の全体を制御する制御部(CPU)101と、ユーザとのインターフェイスとなる操作表示部102と、CPU101が実行するためのプログラムなどを記録したROM(Read Only Memory)103と、実行されるプログラムをロードするための、およびプログラム実行中のデータを記憶するためのRAM(Random Access Memory)104と、原稿を読み取って画像データを出力する画像読取部105と、画像データに所定の処理を実行する画像処理部106と、画像データに基づき紙などの記録媒体に画像を形成する画像形成部107と、CD−ROM(Compact Disc−Read Only Memory)110Aが装着される外部記憶装置110と、データを記憶するためのデータ記憶部108と、MFP100をネットワークに接続するための通信部109とを含む。
画像読取部105は、CCD(Charge Coupled Device)等の光電変換素子を含み、原稿を光学的に読取って電子データとしての画像データを出力する。画像処理部106は、画像読取部105が出力する画像データに、予め定められた処理を実行する。予め定められた処理については後述する。画像形成部107は、レーザプリンタ、または、インクジェットプリンタ等であり、紙などの記録媒体に画像データを可視化する。
操作表示部102は、表示部102Aと操作部102Bとを含む。表示部102Aは、液晶表示装置(LCD)、有機ELD(Electro Luminescence Display)等の表示装置であり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。操作部102Bは、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受付ける。操作部102Bは、透明な部材からなるタッチパネルを含む。表示部102A上にタッチパネルを重ねて設置することで、表示部102Aに表示された画面に含まれるボタンの指示を検出することができる。これにより、種々の操作の入力を受け付けることが可能となる。
データ記憶部108は、ハードディスクドライブ(HDD)等の大容量記憶装置である。データ記憶部108は、画像読取部105が出力刷る画像データ、画像処理部106が出力する画像データ等を記憶する。
通信部109は、MFP100をローカルエリアネットワーク(LAN)と接続するための通信インターフェイスである。したがって、MFP100は、LANに接続された他のコンピュータと、TCP(Transmission Control Protocol)またはFTP(File Transfer Protocol)等の通信プロトコルで通信することが可能となる。MFP100が接続されるLANの接続形態は有線または無線を問わない。なお、MFP100が接続されるネットワークは、LANに限らず、ワイドエリアネットワーク(WAN)、インターネット等であってもよい。さらに、通信部109は、MFP100をシリアルインターフェイスまたはパラレルインターフェイスで他のコンピュータと直接接続することも可能である。通信部109は、MFP100が他のコンピュータと接続される形態に応じた通信プロトコルで通信する。
外部記憶装置110は、CD−ROM110Aが装着されるCD−ROMドライバである。CD−ROM110Aには、画像処理プログラムが記憶されており、CPU101は、画像処理プログラムを読出し、読み出した画像処理プログラムを実行して後述する画像処理を実行することが可能である。
なお、画像処理プログラムを記憶する記録媒体としては、CD−ROM110Aに限られず、フレキシブルディスク、カセットテープ、光ディスク(MO(Magnetic Optical Disc/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード(メモリカードを含む)、光カード、マスクROM、EPROM(Erasable Programmable ROM)、EEPROM(Electronically EPROM)などの半導体メモリ等でもよい。さらに、CPU101がLANに接続されたコンピュータから画像処理プログラムをダウンロードしてデータ記憶部108に記憶する、または、コンピュータが画像処理プログラムをデータ記憶部108に書込みするようにして、データ記憶部108に記憶された画像処理プログラムをRAM104にロードしてCPU101で実行するようにしてもよい。ここでいうプログラムは、CPU101により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
図2は、画像処理部の機能の概要をデータ記憶部で記憶するデータとともに示す機能ブロック図である。図2を参照して、画像処理部106は、画像読取部105が出力する画像データから手書の文字の部分(手書部分)を抽出する手書部分抽出部151と、抽出された複数の手書部分の画像を並べたリスト表示画面を生成するリスト生成部152と、画像データから手書部分を消去した消去画像データを生成する手書部分消去部153と、手書部分に基づき吹出画像データを生成して消去画像データと合成する吹出画像合成部154と、消去画像データと手書部分とを関連付けて記憶する関連付部155とを含む。
画像データは、二次元に画素を配列したビットマップデータである。手書部分抽出部151は、画像データから文字が表された文字領域を抽出し、文字領域に含まれる文字が手書文字の場合、その文字領域に含まれる画像データを手書部分として抽出する。画像データから文字領域を抽出する技術は、周知の技術なのでその詳細は説明しないが、たとえば、画像データを複数のブロックに分割し、ブロック毎に画像属性を判別する。画像属性を判別するための値としては、たとえば、1次微分フィルタなどのエッジ検出フィルタを用いて算出される1次微分値を用いることができる。1次微分値が大きな画素を含むブロックは、文字を構成する線を含む可能性が高いからである。そして、文字属性と判別された複数のブロックで隣接するブロックを集めて文字領域を特定する。
さらに、手書部分抽出部151は、文字領域の画像に含まれる文字を、予め記憶してある文字フォント等の文字情報データと比較して、両者が一致も類似もしない文字領域の画像に含まれる文字を手書文字と判断し、その文字を含む文字領域の画像データを手書部分として抽出する。手書き手書部分抽出部151は、文字領域の画像に含まれる文字と予め記憶してある文字情報データとが一致または類似する文字領域の画像に含まれる文字を手書文字でないと判断し、その文字を含む文字領域の画像データを手書部分として抽出しない。
手書部分抽出部151は、画像データから抽出した複数の手書部分各々の画像データ全体中における位置(二次元座標)から、近傍の2つの手書部分をまとめて1つの手書部分とする。手書の文字列の文字間隔が広いと、文字列が複数に分断されて複数の手書部分として抽出される場合があるため、1つの文字列を1つの手書部分とするためである。手書部分抽出部151は、原稿の複数の箇所に手書の文字が記載されていれば、画像データから複数の手書部分を抽出する。手書部分抽出部151は、画像データから抽出した複数の手書部分をリスト生成部152、手書部分消去部153、吹出画像合成部154および関連付部155に出力する。画像データから抽出した手書部分は、画像データの一部であってもよいし、画像データ中の手書部分の位置情報であってもよい。
リスト生成部152は、手書部分抽出部151から複数の手書部分を受け付けると、手書部分抽出部151が抽出した複数の手書部分の画像を並べたリスト表示画面を生成する。リスト生成部152は、生成したリスト表示画面を表示部102Aに出力して、表示部102Aにリスト画面を表示させる。リスト表示画面の詳細については後述するが、並べて表示された複数の手書部分の画像各々の近傍に複数の手書き文字部分に対応する処理指示ボタンが配置される。処理指示ボタンは、ユーザが処理指示ボタンに対応する手書部分のみに予め定められた画像処理を実行することを指示するための指示ボタンである。画像処理は、手書部分を画像データから消去する消去処理と、手書部分を含む吹出画像データを生成して、手書部分を吹出画像データに置き換える吹出画像合成処理とを含む。ここでは、消去処理を指示するための指示を消去指示といい、吹出画像合成処理を指示するための指示を吹出表示指示という。
ユーザが操作部102Bを操作して、複数の手書部分の画像にそれぞれ対応する複数の指示ボタンのいずれかに画像処理を指示すると、画像処理部106は、指示された指示ボタンに対応する手書部分を画像処理するための指示を受け付ける。複数の指示ボタンが指示されると、複数の手書部分それぞれを画像処理するための指示を受け付ける。
手書部分消去部153は、画像読取部105から画像データを受け付け、手書部分抽出部151から複数の手書部分を受け付け、操作部102Bから消去指示を受け付ける。手書部分消去部153は、消去指示で特定される手書部分を画像データから消去する。消去は、画像データそのものを消去するのではなく、画像データを構成する複数の画素値のうち、消去することが指示された手書部分に含まれる画素値を、背景の画素値に変更する。例えば、背景画像が白色であれば、手書部分の画素値を255に変更する。手書部分消去部153は、複数の消去指示を受け付けたならば、複数の消去指示よりそれぞれ特定される複数の手書部分を画像データから消去する。手書部分消去部153は、消去指示に従って画像データから手書部分を消去した画像データを、画像形成部107に出力して、画像形成部107に画像形成させる。これにより、ユーザが手書で複数の文字列を記入した原稿を画像読取部105に読み取らせて、複数の文字列のうちから選択した文字列を消去する指示を入力すれば、消去を指示した手書きの文字列のみを原稿から消去した画像が画像形成される。
吹出画像合成部154は、画像読取部105から画像データを受け付け、手書部分抽出部151から複数の手書部分を受け付け、操作部102Bから吹出表示指示を受け付ける。吹出画像合成部154は、吹出表示指示で特定される手書部分を含む吹出画像データを生成し、画像データの手書部分に吹出画像データを合成して合成画像データを生成する。合成は、吹出表示指示で特定される手書部分を、吹出画像データで置き換える。吹出画像データが手書部分よりもサイズが大きければ、例えば、吹出画像データの中心に手書部分の中心が重なるように配置すればよい。吹出画像合成部154は、複数の吹出表示指示を受け付けると、複数の吹出表示指示各々により特定される手書部分を対応する吹出画像データで置き換える。吹出画像合成部154は、吹出表示指示に従って画像データに吹出画像データを合成した合成画像データを画像形成部107に出力して、画像形成部107に画像形成させる。これにより、ユーザが手書で複数の文字列を記入した原稿を画像読取部105に読み取らせて、複数の文字列のうちから選択した文字列を吹出表示に変換する吹出表示指示を入力すれば、手書きの文字列のみを吹出表示した画像が画像形成される。
関連付部155は、画像読取部105から画像データを受け付け、手書部分抽出部151から複数の手書部分を受け付ける。関連付部155は、手書部分抽出部151が画像データから抽出した複数の手書部分のすべてを画像データから消去して、消去画像データを生成する。関連付部155は、消去画像データと複数の手書部分とを関連付けてテータ記憶部108に記憶する。これにより、消去画像データと複数の手書部分とを関連付けた関連付データ108Aがデータ記憶部108に記憶される。
また、画像処理部106は、比較抽出部156と、手書部分合成部157とをさらに含む。比較抽出部156は、画像読取部105から画像データを受け付ける。比較抽出部156は、画像データを受け付けると、その画像データをデータ記憶部108に記憶されている関連付データ108Aの消去画像データと比較する。そして、画像データと一致または類似する消去画像データを含む関連付データ108Aを抽出する。比較抽出部156は、画像データとデータ記憶部108に記憶されている関連付データ108Aとが手書文字を除く印刷文字が一致していれば、画像データに手書文字が含まれていても両データが類似すると判断する。これにより、原稿から手書の文字の一部を消しゴムなどで消した原稿を読み取った場合に、対応することができる。
比較抽出部156は、抽出した関連付データ108Aに含まれる複数の手書部分のすべてをリスト生成部152に出力する。比較抽出部156が手書部分を出力する場合は、先に画像読取部105が読み取った手書の文字の記入された原稿と同じ原稿であるが、手書きの文字の記入されていない原稿を画像読取部105が読み取った場合である。同じ原稿は、複写された原稿を含む。例えば、先に画像読取部105が読み取った原稿に記入されていた手書きの文字を消しゴムなどで消した後に、画像読取部105がその原稿を読み取った場合である。また、複写された2枚の原稿があり、一方の原稿に手書きの文字が記入されており、他方の原稿に手書きの文字が記入されていない場合、画像読取部105が一方の手書の文字が記入された原稿を読み取った後に、他方の手書の文字が記入されていない原稿を読み取った場合である。
リスト生成部152は、比較抽出部156から複数の手書部分を受け付けると、複数の手書部分の画像を並べた履歴表示画面を生成する。履歴表示画面に表示される手書部分の画像は、先に画像読取部105が手書の文字の記入された原稿を読み取って出力する画像データから抽出された手書部分である。リスト生成部152は、生成した履歴表示画面を表示部102Aに出力して、表示部102Aに履歴表示画面を表示させる。履歴表示画面の詳細については後述するが、並べて表示された複数の手書部分の画像各々の近傍に複数の手書き文字部分に対応する処理指示ボタンが配置される。処理指示ボタンは、ユーザが処理指示ボタンに対応する手書部分のみに予め定められた画像処理を実行することを指示するための指示ボタンである。画像処理は、手書部分を画像データに合成する合成処理を含む。ここでは、合成処理を指示するための指示を合成指示という。
手書部分合成部157は、画像読取部105から画像データを受け付け、比較抽出部156から複数の手書部分を受け付け、操作部102Bから合成指示を受け付ける。手書部分合成部157は、合成指示で特定される手書部分を、画像データと合成して合成画像データを生成する。合成は、合成指示で特定される手書部分を、画像データ中で手書部分が抽出された原稿に配置されていた位置と同じ位置に配置する。手書部分合成部157は、複数の合成指示を受け付けると、複数の合成指示各々により特定される手書部分を画像データに合成する。手書部分合成部157は、合成指示に従って手書部分を合成した合成画像データを画像形成部107に出力して、画像形成部107に画像形成させる。これにより、ユーザが手書の文字を消しゴムなどで消去した原稿を読み取る場合であっても、手書きの文字を消去する前に、原稿をMFP100に読み取らせておけば、手書きの文字を消去した原稿に手書きの文字を追加した画像を形成することができる。また、手書部分合成部157は、手書部分合成部157は、合成指示で特定される手書部分から吹出画像データを生成して、吹出画像データを画像データと合成するようにしてもよい。これにより、手書きの文字を消去した原稿に手書きの文字を吹出表示した画像を形成することができる。
なお、リスト画面において、消去指示と吹出表示指示とを別々に指示する例を示したが、複数の手書部分のうち一部に対して消去指示を指示することを可能とし、他の一部に吹出表示指示を指示することを可能としてもよい。これにより、原稿に記入された複数の手書文字のうち一部を消去し、他の一部を吹出画像とした画像を形成することができる。
図3は、本実施の形態におけるMFPで実行される画像形成処理の流れの一例を示す第1のフローチャートである。図3を参照して、MFP100は、原稿を読み取り画像データを取得する(ステップS01)。そして、画像データから手書部分を抽出する(ステップS02)。手書部分は、少なくとも1つの文字列を含む。手書き文字列が原稿中の複数の領域に記入されていれば、複数の手書部分を抽出する。
そして、ステップS02で抽出した複数の手書部分の画像を並べたリスト画面を生成して、表示部102Aに表示する(ステップS03)。複数の手書部分それぞれに対応する処理指示を受け付け(ステップS04)、処理をステップS05に進める。ステップS05において、ステップS02で抽出した複数の手書部分のうちから処理対象とする手書部分を設定する。そして、処理対象に設定した手書部分に対応する処理指示が、消去指示か否かを判断する(ステップS06)。処理指示が消去指示であれば処理をステップS07に進め、消去指示でなければステップS07をスキップして処理をステップS08に進める。ステップS07において、処理対象に設定した手書部分を画像データから消去する。
次に、処理対象に設定した手書部分に対応する処理指示が、吹出表示指示か否かを判断する(ステップS08)。処理指示が吹出表示指示であれば処理をステップS09に進め、吹出表示指示でなければ処理をステップS11に進める。ステップS09において、処理対象に設定した手書部分に基づいて吹出画像データを生成する。そして、処理対象に設定した手書部分を画像データから消去して、先に生成した吹出画像データを画像データと合成する(ステップS10)。
ステップS11において、未だ処理対象に設定しておらず、次に処理対象に設定するべき手書部分が存在するか否かを判断し、そのような手書部分が存在するならば処理をステップS05に戻し、存在しなければ処理をステップS12に進める。
ステップS12では、ステップS07で手書部分を消去した、あるいは、ステップS10で吹出画像データと合成した画像データを、画像形成部107に出力して、画像形成させる。そして、ステップS01で取得した画像データから、ステップS02で画像データから抽出した複数の手書部分を消去した、消去画像データを生成し(ステップS13)、消去画像データと複数の手書部分とを関連付けた関連付データを生成して(ステップS14)、生成した関連付データをデータ記憶部108に記憶する(ステップS15)。
図4は、手書文字が記入された原稿の一例を示す第1の図である。図4を参照して、原稿は、手書きで記入された文字列「(○×問題について)」と、文字列「19:00発予定」と、文字列「東棟2Fの奥側」とを含む。図5は、リスト画面の一例を示す図である。図5に示すリスト画面は、図4に示した原稿に含まれる文字列「(○×問題について)」、文字列「19:00発予定」および文字列「東棟2Fの奥側」をそれぞれ含む3つの画像が並んで配置される。3つの画像は、図4に示す原稿を読み取って得られる画像データのうちから抽出された3つの手書部分の画像である。また、リスト画面は、「メニュー」の表示がされ、指示内容を選択するための処理選択ボタンを含む。ユーザが処理選択ボタンを指示すると、手書部分を画像データから消去するか否かを指定するための処理指示ボタンが、3つの画像の右隣にそれぞれ表示される。
図6は、処理指示ボタンが表示されたリスト画面の一例を示す第1の図である。図6を参照して、リスト画面は、3つの画像の右隣にそれぞれ配置され、「消去しない」が表示された処理指示ボタンを含む。処理指示ボタンをユーザが指示するごとに、処理指示ボタンの表示が「消去しない」、「消去する」、「吹出表示」、「消去しない」の順に切換えられる。処理指示ボタンは、「消去しない」が表示された状態において、画像データから対応する手書部分を消去しないことを指示する状態であり、「消去する」が表示された状態において、画像データから対応する手書部分を消去することを指示する状態であり、「吹出表示」が表示された状態において、画像データから手書部分を消去して、かつ、吹出画像を合成することを指示する状態である。
図7は、処理指示ボタンが表示されたリスト画面の一例を示す第2の図である。最上段の文字列「(○×問題について)」を含む画像の右隣に配置された処理指示ボタンに「消去しない」が表示され、他の2つの画像の右隣にそれぞれ配置された処理指示ボタンに「消去」が表示される。この状態で「Copy」の文字が表されたコピーキーを指示すれば、画像データの文字列「19:00発予定」および文字列「東棟2Fの奥側」それぞれに対する2つの消去指示をMFP100が受け付ける。
図8は、処理指示ボタンが表示されたリスト画面の一例を示す第3の図である。最上段の文字列「(○×問題について)」を含む画像の右隣に配置された処理指示ボタンに「吹出表示」が表示され、他の2つの画像の右隣にそれぞれ配置された処理指示ボタンに「消去」が表示される。この状態で「Copy」の文字が表されたコピーキーを指示すれば、画像データの文字列「○×問題について」を含む手書部分に対する吹出表示指示と、文字列「19:00発予定」および文字列「東棟2Fの奥側」それぞれに対する消去指示とをMFP100が受け付ける。
図9は、画像処理後の画像データの一例を示す第1の図である。図9に示す画像データは、図8に示したリスト画面に従って処理指示が入力された場合に、生成される画像データを示している。図9を参照して、図4に示した原稿と比較して、原稿に記入されていたすべての手書文字が消去され、文字列「○×問題について」を含む吹出画像が合成されている。
図10は、手書部分抽出処理の流れの一例を示すフローチャートである。手書部分抽出処理は、図3のステップS02で実行される処理である。図10を参照して、画像データを複数のブロックに分割する(ステップS21)。そして、ブロック毎に画像属性を判別して、文字が表された文字属性と判別されたブロックを抽出する(ステップS22)。そして、抽出された複数の文字属性のブロックをまとめて文字領域とし、画像データから文字領域を抽出する(ステップS23)。図11は、画像データから抽出した文字領域の一例を示す図である。図11においては、図4に示した原稿を読み取って得られる画像データから抽出した文字領域を示している。1つの矩形で囲まれた領域が1つの文字領域として抽出される領域を示す。
図10に戻って、文字領域が複数抽出された場合には、文字領域ごとにステップS24以降の処理を実行する。まず、複数の文字領域のうちから一つを処理対象に設定し、文字領域の画像に含まれる文字をデータ記憶部108に予め記憶されている文字情報データと比較する(ステップS24)。両者が一致も類似もしなければ文字領域の画像に含まれる文字が手書文字と判断して、その文字を含む文字領域を抽出して処理をステップS25に進め、両者が一致または類似すれば文字領域に含まれる文字が手書文字でない印刷文字と判断し、処理をステップS27に進める。
ステップS25では、文字領域間の座標位置の関係を判別する。具体的には、手書文字と判断された文字領域の画像データにおける座標位置と、手書文字と判断された他の文字領域の画像データにおける座標位置とから、2つの文字領域が画像データ内において隣接しているか否かを判別する。2つの文字領域が画像データ内において隣接していれば処理をステップS26に進め、隣接していなければステップS26をスキップして処理をステップS27に進める。ステップS26では、隣接する2つの文字領域を合わせて1つの手書き文字部分とする。手書の文字列の文字間隔が広いと、文字列が複数に分断されて複数の手書部分として抽出される場合があるため、1つの文字列を1つの手書部分とするためである。そして、次に処理対象に設定するべき文字領域が存在するか否かを判断し(ステップS27)、そのような文字領域が存在すれば処理をステップS24に戻し、存在しなければ処理を終了する。
図12は、画像データから抽出した手書部分の一例を示す図である。図12を参照して、手書部分をハッチングが付された矩形の領域で示している。
図13は、本実施の形態におけるMFPで実行される画像形成処理の流れの一例を示す第2のフローチャートである。図13を参照して、MFP100は、原稿を読み取り画像データを取得する(ステップS31)。そして、取得した画像データを、データ記憶部108に記憶されている関連付データ108Aの消去画像データと比較する(ステップS32)。そして、画像データと一致または類似する消去画像データを含む関連付データ108Aを抽出できたか否かを判断する(ステップS33)。例えば、手書部分のみが異なる場合には両者が類似すると判断して、関連付データ108Aを抽出する。関連付データ108Aを抽出したならば処理をステップS34に進め、抽出できなければ処理をステップS41に進める。
ステップS34において、抽出した関連付データ108Aに含まれる複数の手書部分のすべてを取得する。そして、取得した複数の手書部分の画像を並べた履歴画面を生成して、表示部102Aに表示する(ステップS35)。複数の手書部分それぞれに対応する処理指示を受け付け(ステップS36)、処理をステップS37に進める。ステップS37において、ステップS34で取得した複数の手書部分のうちから処理対象とする手書部分を設定する。そして、処理対象に設定した手書部分に対応する処理指示が、合成指示か否かを判断する(ステップS38)。処理指示が合成指示であれば処理をステップS39に進め、合成指示でなければステップS39をスキップして処理をステップS40に進める。ステップS39において、処理対象に設定した手書部分を画像データと合成する。なお、手書部分から吹出画像データを生成して、吹出画像データを画像データと合成するようにしてもよい。
ステップS40において、未だ処理対象に設定しておらず、次に処理対象に設定するべき手書部分が存在するか否かを判断し、そのような手書部分が存在するならば処理をステップS37に戻し、存在しなければ処理をステップS41に進める。処理がステップS33からステップS41に進む場合、ステップS31で取得した画像データをそのまま画像形成するが、処理がステップS40からステップS41に進む場合、受け付けられた合成指示により指示された手書部分を画像データに合成した画像データを画像形成する。
図14は、原稿の一例を示す第2の図である。図14を参照して、原稿は、印刷文字のみを含み、印刷文字は図4に示した原稿と同じである。したがって、図14に示す原稿と、図4に示す原稿とは、手書きの文字が記入されているか否かの違いがある。上述したように、MFP100は、図4に示した原稿を読み取ると、手書きで記入された文字列「(○×問題について)」を含む手書部分と、文字列「19:00発予定」を含む手書部分と、文字列「東棟2Fの奥側」を含む手書部分と手書部分を消去した消去画像データとを関連付けた関連付データ108Aをデータ記憶部108に記憶する。
図15は、履歴画面の一例を示す図である。図14に示す原稿を読み取って得られる画像データは、図4に示した原稿を読み取って得られる画像データから生成された消去画像データと一致するので、関連付データ108Aにより消去画像データと関連付けされた、文字列「(○×問題について)」を含む手書部分と、文字列「19:00発予定」を含む手書部分と、文字列「東棟2Fの奥側」を含む手書部分とから履歴画面が生成される。図15に示す履歴画面は、図4に示した原稿に含まれる文字列「(○×問題について)」、文字列「19:00発予定」および文字列「東棟2Fの奥側」をそれぞれ含む3つの画像が並んで配置される。また、履歴リスト画面は、図4に示した原稿と印刷文字が同じで手書きで文字列「実施例!」が記入された原稿を読み取って得られる画像データから抽出された文字列「実施例!」を含む手書部分の画像を含む。また、履歴リスト画面は、手書部分を画像データと合成するか否かを指定するための処理指示ボタンが、4つの画像の右隣に表示される。処理指示ボタンは、処理指示ボタンをユーザが指示するごとに、処理指示ボタンの表示が「貼付しない」、「貼付する」、「貼付しない」の順に切換えられる。処理指示ボタンは、「貼付しない」が表示された状態において、対応する手書部分を画像データに合成しないことを指示する状態であり、「貼付する」が表示された状態において、対応する手書部分を画像データに合成することを指示する状態である。
図16は、画像処理後の画像データの一例を示す第2の図である。図16に示す画像データは、図15に示した履歴画面に従って処理指示が入力された場合に、生成される画像データを示している。図16を参照して、図4に示した原稿と比較して、文字列「○×問題について」を含む画像が合成されている。
上述したように本実施の携帯におけるMFP100は、原稿を読み取って取得された画像データから手書き文字を含む手書部分を複数抽出し、抽出した複数の手書部分の画像を並べたリスト画面を表示する。そして、リスト画面で表示される画像のいずれかが選択されると、選択された画像に対応する手書部分を、画像データから消去する、または、手書部分から生成した吹出画像データを画像データと合成する。このため、原稿に手書で記入された複数の手書文字を選択的に、削除する、または、吹出画像として合成することができる。
また、MFP100は、原稿を読み取って取得された画像データから手書き文字を含む手書部分を複数抽出し、抽出した手書部分を画像データから消去した消去画像データを生成して、消去画像データと手書部分とを関連付けた関連付データを生成してデータ記憶部108に記憶する。その後、別の原稿を読み取って取得された別の画像データをデータ記憶部108に記憶されている消去画像データと比較し、別の画像データに一致するとされた消去画像データに関連付けて記憶されている手書部分と、別の画像データとを合成する。このため、手書きで文字が記入された原稿から抽出された手書き文字を、手書き文字が記入されていない原稿に追加することができる。
なお、上述した実施の携帯においては、MFP100について説明したが、図3または図13に示した画像処理をMFP100に実行させる画像処理方法または画像処理プログラムとして発明を捉えることができるのはいうまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
<付記>
(1) 前記画像処理手段は、前記比較手段により前記別の画像データに一致するとされた消去画像データに関連付けて記憶されている前記手書部分を含む吹出画像データを生成する吹出画像生成手段と、
前記生成された吹出画像データと前記別の画像データと合成する吹出画像データ合成手段とを含む、請求項1に記載の画像処理装置。