JP2024066597A - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】画像中の文字が手書き文字か否かの推定に誤りが生じ得る状況下において、当該推定結果の誤りをより好適な態様で修正可能な情報処理装置を提供する。【解決手段】情報処理装置のプログラム２２９において、手書き文字推定処理部３０３は、対象となる画像中における手書き文字を推定する。領域選択処理部３０５は、画像中における領域の指定を受け付ける。領域選択処理部３０５は、手書き文字推定処理部３０３による手書き文字の推定結果に基づき、指定された上記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる上記領域外の手書き文字に対応する画素と、を対象画素として特定する。処理種別選択処理部３０６は、対象画素に対して手書き文字か否かの指示を受け付ける。処理種別選択処理部３０６は、受け付けた指示に応じて、上記対象画素に対する手書き文字推定処理部３０３による推定結果を修正する。【選択図】図３

Description

本開示は、情報処理装置、情報処理装置の制御方法、及びプログラムに関する。

画像解析技術の発展に伴い、スキャナ等を利用して文書をスキャンした画像を解析することで、当該文書に記された文字が手書きされた文字（以下、手書き文字とも称する）か否かを推定することが可能となっている。このような技術を応用することで、例えば、文書のスキャン結果に応じた画像を表示する際に、手書き文字に対応する画素の色を変換することで、当該手書き文字に相当する領域を強調表示したり、当該領域を消去したりする（背景と同色とする）ことが可能である。このような制御が適用されることで、目視による手書き文字で記載された項目や活字で記載された項目の確認作業を容易にすることが可能となる。

一方で、画像中の手書き文字が活字と誤って推定されたり、活字が手書き文字と誤って推定されたりするような状況も想定され得る。このような状況を踏まえ、特許文献１には、手書き文字や活字として判定された領域単位で、当該領域が手書き文字や活字であることを示す属性を修正する技術が開示されている。特許文献１に開示された技術は、文字の記入欄が予め設けられている文書等のように、矩形の領域単位で、手書き文字と活字とが明確に分離できる場合に有効である。

特開２００１－３０７０２０号公報

一方で、手書き文字と活字とが混在している文書等のように、矩形の領域単位で、当該領域が手書き文字と活字とのいずれの領域かを推定することが困難な場合がある。このような状況下では、矩形等のように予め決められた形状の領域単位では、画像中の文字が手書き文字であるか否かの推定結果（換言すると、手書き文字と活字とのいずれであるかの推定結果）を修正することが困難な場合がある。

本発明は上記の問題を鑑み、画像中の文字が手書き文字か否かの推定に誤りが生じ得る状況下において、当該推定結果の誤りをより好適な態様で修正可能とすることを目的とする。

本発明に係る情報処理装置は、対象となる画像中における手書き文字を推定する推定手段と、前記画像中における領域の指定を受け付ける第１の受付手段と、前記推定手段による手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定手段と、前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付手段と、前記第２の受付手段が受け付けた指示に応じて、前記対象画素に対する前記推定手段による推定結果を修正する修正手段と、を有することを特徴とする。

本発明によれば、画像中の文字が手書き文字か否かの推定に誤りが生じ得る状況下において、当該推定結果の誤りをより好適な態様で修正することが可能となる。

画像処理システムのシステム構成の一例を示した図である。 画像処理サーバのハードウェア構成の一例を示した図である。 画像処理システムのソフトウェア構成の一例を示した図である。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 確認画面の一例を示した図である。 画像処理サーバの処理の一例を示したフローチャートである。 画像処理サーバの処理の一例を示したフローチャートである。 確認画面の一例を示した図である。 確認画面の一例を示した図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜システム構成＞
図１を参照して、本開示の一実施形態に係る画像処理システムのシステム構成の一例について説明する。画像処理システムは、画像形成装置１０１と、画像処理サーバ１０２と、情報処理端末１０３とを含む。画像形成装置１０１と、画像処理サーバ１０２と、情報処理端末１０３とは、ネットワーク１０５を介して相互に情報を送受信可能に接続されている。ネットワーク１０５としては、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が適用され得る。もちろん、各装置間を相互に情報の送受信が可能に接続することが可能であれば、ネットワーク１０５の種別は特に限定はされない。

画像形成装置１０１は、所謂帳票等の文書を光学的に読み取ることで当該文書の画像データを取得する。また、画像形成装置１０１は、文書の読み取り結果に応じた画像データを画像処理サーバ１０２に送信してもよい。なお、本開示の各実施形態では、便宜上、紙文書の帳票を読み取り対象とする場合に着目して構成や処理等の各種説明を行うものとする。また、当該紙文書の帳票としては、例えば、住まいの都道府県を選択する欄や性別を示す欄等のような複数の項目を含む各種の帳票が適用され得る。また、当該帳票には、上記複数の項目のそれぞれに対して手書き文字や活字等が記入され得る。

画像処理サーバ１０２は、画像データに対して各種処理（例えば、解析処理や画像処理等）を施す機能を有する。例えば、画像処理サーバ１０２は、画像形成装置１０１から帳票等の文書の読み取り結果に応じた画像データを取得し、当該画像データが示す画像に対して画像処理を施してもよい。また、画像処理サーバ１０２は、画像データに対する各種処理の適用結果を情報処理端末１０３に出力することで、当該情報処理端末１０３を介して当該処理の結果をユーザに提示してもよい。画像処理サーバ１０２は、例えば、サーバ装置やパーソナルコンピュータ等のような汎用的な情報処理装置により実現され得る。また、他の一例として、画像処理サーバ１０２は、クラウドサービスのような所謂ネットワークサービスにより実現されてもよい。

情報処理端末１０３は、ユーザに各種情報を提示するための出力インタフェースや、ユーザから各種指示を受け付けるための入力インタフェースの役割を担う。例えば、情報処理端末１０３は、画像処理サーバ１０２から画像データに対する各種処理の結果を示す情報を取得し、当該情報をディスプレイ等の出力装置を介してユーザに提示してもよい。また、情報処理端末１０３は、所望の入力装置を介してユーザから各種指示を受け付け、当該指示を示す情報を画像処理サーバ１０２に送信してもよい。情報処理端末１０３は、例えば、パーソナルコンピュータ等のような汎用的な情報処理装置により実現され得る。

なお、図１に示す構成はあくまで一例であり、必ずしも本実施形態に係る画像処理システムのシステム構成を限定するものではない。例えば、複数の構成要素が１つの装置により実現されてもよい。具体的な一例として、画像形成装置１０１が画像処理サーバ１０２の役割を担ってもよい。また、画像処理サーバ１０２自体が、ユーザへの各種情報の提示や、ユーザからの各種指示の受け付けを行ってもよい。

＜ハードウェア構成＞
図２を参照して、本開示の一実施形態に係る画像処理サーバ１０２のハードウェア構成の一例について説明する。画像処理サーバ１０２は、制御部２２０と、通信部２２５と、記憶部２２８とを有する。また、画像処理サーバ１０２は、表示部２２６と、操作部２２７とを有していてもよい。

制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２３と、入出力インタフェース（Ｉ／Ｏ）２２４とを含む。
ＣＰＵ２２１は、画像処理サーバ１０２全体の動作を制御する。具体的な一例として、ＣＰＵ２２１は、ＲＯＭ２２２や記憶部２２８に記憶されたプログラムを読み出して実行することで、画像処理サーバ１０２が有する各種機能の実現に係る処理の実行や当該機能の制御等を行う。ＲＯＭ２２２は、制御プログラムや各種情報を記憶する記憶領域である。ＲＡＭ２２３は、ＣＰＵ２２１の主メモリやワークエリア等のような一時的な記憶領域として用いられる。
Ｉ／Ｏ２２４には、通信部２２５、表示部２２６、操作部２２７、及び記憶部２２８が接続されている。これらの構成要素は、Ｉ／Ｏ２２４を介してＣＰＵ２２１と相互に情報を送受信可能に接続される。

表示部２２６は、各種情報を画像として表示することで、当該情報をユーザに提示する出力装置である。表示部２２６は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置により実現され得る。また、表示部２２６は、タッチパネルを一体的に有することで、後述する操作部２２７の役割を担ってもよい。
操作部２２７は、ユーザから各種指示を受け付ける入力装置である。操作部２２７は、例えば、マウス等のポインティングデバイスやキーボード等のような入力装置により実現され得る。

通信部２２５は、画像処理サーバ１０２を所定のネットワーク（例えば、図１に示すネットワーク１０５）に接続するための通信インタフェースである。なお、通信部２２５の構成については、画像処理サーバ１０２が接続されるネットワークの種別や適用される通信方式に応じて適宜変更されてもよい。

記憶部２２８は、各種プログラムや各種データを記憶する記憶領域である。記憶部２２８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及びフラッシュメモリ等により実現され得る。また、図２に示す例では、記憶部２２８には、本実施形態に係る画像処理サーバ１０２の機能を実現するための情報処理プログラム２２９が記憶されている。なお、情報処理プログラム２２９については詳細を別途後述する。

＜第１の実施形態＞
本開示の第１の実施形態について以下に説明する。まず、図３を参照して、本実施形態に係る画像処理システムのソフトウェア構成の一例について、特に図２に示した情報処理プログラム２２９の構成に着目して説明する。情報処理プログラム２２９は、メイン処理部３０１と、リクエスト受付部３０２と、手書き文字推定処理部３０３と、結果表示部３０４と、領域選択処理部３０５と、処理種別選択処理部３０６とを含む。情報処理プログラム２２９は、ＲＡＭ２２３に展開されたうえで、ＣＰＵ２２１により実行される。

メイン処理部３０１は、情報処理プログラム２２９により提供される機能の実現に係る全体的な制御を行う。
リクエスト受付部３０２は、操作部２２７を介してユーザから指示を受け付け、当該指示が示す処理の実行をメイン処理部３０１に依頼する。

手書き文字推定処理部３０３は、対象となる画像に対して画像解析を施すことで、当該画像中における手書き文字の推定を行う。具体的な一例として、手書き文字推定処理部３０３は、画像中における手書き文字に対応する領域の推定を行い、当該領域に対して手書き文字であることを示す属性情報を対応付ける。
結果表示部３０４は、表示部２２６への各種情報の表示に係る制御を行う。例えば、結果表示部３０４は、対象となる画像と、手書き文字推定処理部３０３による当該画像を対象とした手書き文字に対応する領域の推定結果を示す情報とを、表示部２２６に表示させてもよい。
領域選択処理部３０５は、対象となる画像中の少なくとも一部の領域を処理対象として設定する。例えば、領域選択処理部３０５は、操作部２２７を介したユーザから画像中の領域の選択に係る指示を受けて、当該領域を処理対象として設定してもよい。
処理種別選択処理部３０６は、処理対象として設定された領域に対して適用される処理の処理種別を設定する。例えば、処理種別選択処理部３０６は、操作部２２７を介したユーザからの処理種別の選択に係る指示を受けて、対象となる領域に対して適用される処理の処理種別を設定してもよい。
なお、手書き文字推定処理部３０３、領域選択処理部３０５、及び処理種別選択処理部３０６については、詳細を別途後述する。

ここで、図１１を参照して、情報処理プログラム２２９により実現される機能の一例について具体的な例を挙げて説明する。本実施形態に係る画像処理サーバ１０２は、画像形成装置１０１による文書（帳票等）の読み取り結果に応じた画像中における手書き文字の推定を行ったうえで、当該手書き文字の推定結果を提示するとともに、当該推定結果を修正可能とする機能を提供する。図１１は、同機能の概要を説明するための図である。
図１１に示す確認画面１１００は、結果表示部３０４が、通信部２２５を介して画像形成装置１０１から取得された画像データが示す画像に対する、手書き文字推定処理部３０３による手書き文字の推定結果に基づきユーザに提示する画面である。確認画面１１００は、例えば、画像処理サーバ１０２の表示部２２６や情報処理端末１０３等を介してユーザに提示される。また、結果表示部３０４は、確認画面１１００の表示に際して、対象となる画像（以下、入力画像とも称する）を当該確認画面１１００に表示させるとともに、手書き文字の領域に色を付けることで、当該領域を識別可能にユーザに提示してもよい。

確認画面１１００は、画像表示領域１１０１と、ユーザからの操作を受け付けるための操作ボタン１１０２～１１０５とを有する。
画像表示領域１１０１は、対象となる入力画像が表示される領域である。なお、図１１に示す例では、画像表示領域１１０１には、画像形成装置１０１による紙の領収書（帳票）の読み取り結果に応じた画像が表示されている。また、当該領収書は、「領収書」及び「様」の文字が活字で記入されており、「株式会社 電帳」の文字が手書き文字として記入されているものとする。また、画像表示領域１１０１は、ユーザからの指示等に応じて拡大縮小や表示範囲の変更が可能であってもよい。
操作ボタン１１０２～１１０５それぞれには個別に処理が割り当てられており、いずれかの操作ボタンが押下されると、操作部２２７が、当該操作ボタンに割り当てられた処理の実行をリクエスト受付部３０２に依頼する。各ボタンに割り当てられた処理の詳細については別途後述する。

図１１（１）に示す確認画面１１００の例では、画像表示領域１１０１に対して入力画像が表示され、当該入力画像に対して、手書き文字の推定結果を示す情報として、手書き文字と推定された領域を示す情報が重畳表示されている。この際に手書き文字と推定された領域に対して色が付けられることで、他の領域と識別可能となるように制御されている。具体的には、手書き文字推定処理部３０３により手書き文字と推定された「収書」と「株式会社 電帳」とが、他の文字と識別可能となるように色付けされた結果が、画像表示領域１１０１に表示されている。
手書き文字推定処理部３０３は、通信部２２５を介して取得された画像内に手書きされた文字（手書き文字）に対応する画素を認識する機能を有する。具体的な一例として、手書き文字推定処理部３０３は、画像内の文字パターンから特徴量を抽出して、認識辞書との比較により手書き文字を認識し、手書き文字か否かを画素ごとに保持してもよい。もちろん、同手法はあくまで一例であり、他の公知の手法を利用して画像中の手書き文字の認識が行われてもよい。結果表示部３０４は、通信部２２５を介して取得された画像と、記憶部２２８に保持される情報処理プログラム２２９の処理結果とを、表示部２２６に表示させる。

次いで、手書き文字の推定結果を修正する方法について説明する。ここでは、図１１（１）において画像表示領域１１０１内の「収書」の文字は実際には活字であるが、手書き文字として推定されているため、ユーザからの指示に応じて修正が行われるものとする。図１１（２）に示す確認画面１１００の画像表示領域１１１１は、図１１（１）に示す確認画面１１００の画像表示領域１１０１の一態様に相当する。具体的には、画像表示領域１１１１は、手書き文字推定処理結果の修正が行われる場合における画像表示領域の一例を示している。

手書き文字推定処理結果の修正が行われる場合には、画像内における修正対象となる領域と、当該領域に適用する処理の処理種別との指定がなされる。修正対象となる領域の指定がなされる場合には、領域選択処理部３０５は、新規追加ボタン１１０２が押下された後に画像表示領域１１１１内における領域を示す軌跡１１１２の入力を受け付ける。すなわち、新規追加ボタン１１０２は、この画像表示領域１１１１内における領域を示す軌跡１１１２の入力の受け付けの開始の指示をユーザから受け付けるためのボタンである。また、軌跡１１１２は、操作部２２７を介して所謂一筆書きの要領で入力される。なお、領域を示す軌跡が複数入力された場合には、いずれかの軌跡が処理対象として認識されてもよい。具体的な一例として、入力された複数の軌跡のうち、最後に入力された軌跡が処理対象として認識されてもよい。
領域選択処理部３０５は、軌跡１１１２の入力を受けて、画像表示領域１１１１に表示されている画像中における当該軌跡１１１２に対応する領域１１１３を作成する。なお、同処理の詳細については別途後述する。

処理種別の指定には、手書き文字推定処理結果の修正に際して、手書き文字として推定された画素（以下、手書き推定画素とも称する）の修正量に応じて、手書きＯＦＦボタン１１０３と手書きＯＮボタン１１０５とが使用される。
手書きＯＦＦボタン１１０３は、領域１１１３内にある手書き推定画素を手書き文字ではないと確定したうえで、領域１１１３外にある手書き推定画素を手書き文字として確定する旨の指示をユーザから受け付けるためのボタンである。
手書きＯＮボタン１１０４は、領域１１１３内にある手書き推定画素を手書き文字として確定したうえで、領域１１１３外にある手書き推定画素を手書き文字でないと確定する旨の指示をユーザから受け付けるためのボタンである。
図１１（２）に示す例では、領域１１１３中の文字が手書き文字として推定されているが、手書き文字としての推定対象から除外することとなる。このような場合には、手書きＯＦＦボタン１１０３が押下されればよい。このように、手書き推定処理結果において活字が誤って手書き文字として推定された部分を修正する場合には、手書きＯＦＦボタン１１０３が使用される。一方で、手書き推定処理結果のうち、一部分を手書き文字として指定するような場合には、手書きＯＮボタン１１０４が使用される。
操作部２２７を介して入力された処理種別の指示は、リクエスト受付部３０２を介して処理種別選択処理部３０６に通知される。処理種別選択処理部３０６は、通知された指示に応じて対象となる領域１１１３に処理種別を設定し、当該設定の結果を記憶部２２８に保持する。なお、同処理については詳細を別途後述する。

図１１（３）に示す確認画面１１００の画像表示領域１１２１は、図１１（１）に示す確認画面１１００の画像表示領域１１０１の一態様に相当する。具体的には、画像表示領域１１２１は、画像中の領域と当該領域に適用する処理の処理種別との指定に基づき手書き文字の推定結果が修正された結果が表示される画像表示領域の一例を示している。結果表示部３０４は、手書き文字の推定結果が修正された結果が反映された画像表示領域１１２１を、表示部２２６を介して表示された確認画面１１００に表示させる。

なお、追加で修正が行われる場合には、上記と同様に画像中の領域と当該領域に対して適用される処理の処理種別との指定がその都度行われる。
そのうえで、確定ボタン１１０５が押下されると、手書き文字の推定結果の修正に係る一連の処理が終了する。すなわち、確定ボタン１１０５は、確認画面１１００を介した手書き文字の推定結果の修正に係る一連の処理の終了の指示をユーザから受け付けるためのボタンである。
リクエスト受付部３０２は、メイン処理部３０１を介して結果表示部３０４に対して、手書き文字の推定結果に対してなされた修正の結果の記録を依頼する。結果表示部３０４は、当該依頼を受けて、手書き文字の推定結果に対してなされた修正の結果を記憶部２２８に保持する。なお、同処理については詳細を別途後述する。

次いで、図４を参照して、本実施形態に係る画像処理サーバ１０２の処理の一例について、図１１を参照して説明したように手書き文字の推定結果の修正がなされる場合の処理に着目して説明する。なお、図４に示す一連の処理と、別途図５～図１０それぞれを参照して後述する処理とは、例えば、記憶部２２８に保持された情報処理プログラム２２９がＲＡＭ２２３に展開されたうえで、ＣＰＵ２２１により実行されることで実現される。

Ｓ４０１において、メイン処理部３０１は、手書き文字推定処理部３０３に手書き文字推定処理を依頼する。なお、手書き文字推定処理部３０３による処理の詳細については、図５を参照して別途後述する。
Ｓ４０２において、メイン処理部３０１は、結果表示部３０４に対して表示部２２６に表示させる画像の作成を依頼する。なお、結果表示部３０４による処理の詳細については、図６を参照して別途後述する。

Ｓ４０３において、リクエスト受付部３０２は、操作部２２７が受け付けた指示が示す処理内容に対応する処理をメイン処理部３０１に依頼する。この際に、リクエスト受付部３０２は、発生したイベント、換言すると操作部２２７が受け付けた指示が示す処理内容に応じて、以降の処理を選択的に切り替える。
リクエスト受付部３０２は、Ｓ４０３において操作部２２７を介して図１１に示す新規追加ボタン１１０２が押下された場合、すなわち入力画像への領域の追加が指示された場合には、処理をＳ４０４に進める。
一方で、リクエスト受付部３０２は、Ｓ４０３において操作部２２７を介して図１１に示す手書きＯＦＦボタン１１０３または手書きＯＮボタン１１０４が押下された場合、すなわち領域に対する処理内容の指定が指示された場合には、処理をＳ４０５に進める。
また、リクエスト受付部３０２は、Ｓ４０３において操作部２２７を介して図１１に示す確定ボタン１１０５が押下された場合、すなわち手書き文字の推定結果に対する修正の結果の確定が指示された場合には、処理をＳ４０６に進める。

Ｓ４０４において、メイン処理部３０１は、領域選択処理部３０５に修正対象とする領域の指定を受け付けるための領域選択処理を依頼する。なお、領域選択処理部３０５による処理の詳細については、図７及び図８を参照して別途後述する。
Ｓ４０５において、メイン処理部３０１は、処理種別選択処理部３０６に領域選択処理にて指定された領域に対して適用する処理の処理種別の指定を受け付けるための処理種別選択処理を依頼する。なお、処理種別選択処理部３０６による処理の詳細については、図９を参照して別途後述する。
Ｓ４０６において、メイン処理部３０１は、結果表示部３０４に対してＳ４０４及びＳ４０５の処理結果の出力表示を依頼し、図４に示す一連の処理を終了する。なお、結果表示部３０４による処理の詳細については、図１０を参照して別途後述する。

次いで、図５を参照して、画像処理サーバ１０２の処理の一例について、図４においてＳ４０１として示した手書き文字推定処理に着目して説明する。

Ｓ５０１において、手書き文字推定処理部３０３は、通信部２２５を介して取得された入力画像を記憶部２２８に保持する。なお、処理対象となる入力画像は、予め記憶部２２８で保持されているものでもよい。入力画像の画素ごとの画素情報には、例えば、ＲＧＢ等のカラー情報、画像内の位置を示す座標情報、手書き文字推定処理結果を示す手書き画素推定フラグ、処理種別選択の処理対象に含めるか否かを示す対象フラグ、及び手書き画素確定フラグ等が含まれる。手書き画素推定フラグは、初期値がＦａｌｓｅであり、ＴｒｕｅまたはＦａｌｓｅの値を持つ。対象フラグは、初期値がＦａｌｓｅであり、ＴｒｕｅまたはＦａｌｓｅの値を持つ。手書き画素確定フラグは、初期値がＮｏｎｅであり、Ｔｒｕｅ、Ｆａｌｓｅ、またはＮｏｎｅの値を持つ。また、以降では、入力画像の全ての画素それぞれに対応する画素情報のリストを、画素情報リストとも称する。

Ｓ５０２において、手書き文字推定処理部３０３は、Ｓ５０１において取得された入力画像に対して手書き文字推定処理を行う。手書き文字推定処理は、画像内に存在する文字が手書きされた文字（手書き文字）か否かを推定する。なお、本実施形態では、手書き文字が含まれる複数のサンプル画像を教師データとして、手書き文字画素の特徴量を学習させた学習済モデルを用いて、画素ごとに手書き文字の領域の画素か否かを推定するものとする。一方で、手書き文字推定処理の実現方法については、上述した学習済モデルを利用した手法に限らず、他の公知の技術を適用することも可能である。

Ｓ５０３において、手書き文字推定処理部３０３は、Ｓ５０２の処理の結果を画素ごとの画素情報に手書き画素推定フラグとして設定したうえで、当該画素情報を含む画素情報リストを記憶部２２８に保持する。手書き画素推定フラグは、Ｓ５０２において手書き文字と推定された場合にＴｒｕｅが設定され、手書き文字でないと推定された場合にはＦａｌｓｅが設定される。

次いで、図６を参照して、画像処理サーバ１０２の処理の一例について、図４においてＳ４０２として示した表示画像作成処理に着目して説明する。

Ｓ６０１において、結果表示部３０４は、記憶部２２８に保持された入力画像と画素情報リストとを取得する。
Ｓ６０２において、結果表示部３０４は、手書き文字と推定された画素を表示するためのレイヤー（以下、推定レイヤーとも称する）を作成する。レイヤーは、背景となる元画像と重ねて合成画像を作成することで、元画像を変更することなく処理後の画像を作成することが可能である。推定レイヤーは、手書き文字と推定された画素を識別可能に表示するために作成される。具体的には、結果表示部３０４は、画素情報リストのうち手書き画素推定フラグがＴｒｕｅである画素情報に関して、任意の色を付けてレイヤーを作成し、当該レイヤーを記憶部２２８に保持する。

Ｓ６０３において、結果表示部３０４は、手書き文字の推定結果を修正した後の処理結果を表示するために確定レイヤーを作成する。確定レイヤーは、処理種別の指定により手書き文字と推定された画素に対する処理が確定された後の画素を、確定された処理に応じた態様で表示するために作成される。結果表示部３０４は、画素情報リストのうち手書き画素確定フラグがＴｒｕｅである画素情報に関して、任意の色を付けてレイヤーを作成し、当該レイヤーを記憶部２２８に保持する。この際に、結果表示部３０４は、Ｓ６０２にて作成した推定レイヤーと区別するために、確定レイヤーに対して当該推定レイヤーに指定した色とは異なる色を指定してもよい。

Ｓ６０４において、結果表示部３０４は、入力画像を背景とし、推定レイヤー、確定レイヤーの順に重ねて合成した合成画像を記憶部２２８に保持する。
Ｓ６０５において、結果表示部３０４は、記憶部２２８に保持されている合成画像を表示部２２６に表示させたうえで、図６に示す一連の処理を終了する。

次いで、図７を参照して、画像処理サーバ１０２の処理の一例について、図４においてＳ４０４として示した領域選択処理に着目して説明する。

Ｓ７０１において、領域選択処理部３０５は、操作部２２７を介して指定された軌跡１１１２の情報を取得する。領域選択処理部３０５は、画像表示領域１１１１に表示された画像における軌跡１１１２の座標に対応する領域１１１３を作成し、当該領域１１１３を記憶部２２８に保持する。この際に、領域選択処理部３０５は、軌跡１１１２上に存在する２点が交わる交点がある場合には、軌跡に存在する１つ以上の単一閉曲線内を領域（単連結領域）とする。また、領域選択処理部３０５は、軌跡１１１２上に存在する２点が交わる交点がない場合には、始点と終点を最短距離で接続するように補完して、単一閉曲線内を生成し、当該単一閉曲線内に対応する領域を作成する。なお、本実施形態では軌跡１１１２から領域が作成される場合の一例について説明したが、ユーザからの指定に基づき画像中に領域を作成することが可能であれば、その方法は特に限定はされない。例えば、ユーザから直接領域の指定がなされることで、指定された当該領域が作成されてもよい。

Ｓ７０２において、領域選択処理部３０５は、Ｓ７０１にて作成された領域内の画素ごとに画素情報を参照して、当該画素に対して手書き文字としての推定がなされた（手書き画素推定フラグがＴｒｕｅ）か否かを判定する。
領域選択処理部３０５は、Ｓ７０２において領域内に手書き文字としての推定がなされた画素が存在すると判定した場合には、処理をＳ７０３に進める。
一方で、領域選択処理部３０５は、Ｓ７０２において領域内に手書き文字としての推定がなされた画素が存在しないと判定した場合には、図７に示す一連の処理を終了する。

Ｓ７０３において、領域選択処理部３０５は、処理対象とする画素を決定し、記憶部２２８に保持する。処理対象か否かについては、対象フラグにより管理される。対象フラグは、この後に実行されるＳ４０５の処理において、処理対象か否かを判断するために使用される情報であり、処理対象の場合にはＴｒｕｅが設定され、処理対象でない場合にはＦａｌｓｅが設定される。なお、Ｓ７０３の処理については、図８を参照して詳細を別途後述する。
また、図７に示す一連の処理の終了時には、画素情報リストに含まれる画素情報には、少なくとも、カラー情報、座標情報、手書き画素推定フラグ（ＴｒｕｅまたはＦａｌｓｅ）、及び対象フラグ（ＴｒｕｅまたはＦａｌｓｅ）が保持されることとなる。

次いで、図８を参照して、画像処理サーバ１０２の処理の一例について、図７においてＳ７０３として示した処理対象画素の決定処理に着目して説明する。

Ｓ８０１において、領域選択処理部３０５は、Ｓ７０２において作成された領域１１１３内の画素であり、かつ手書き文字と推定された画素を処理対象（対象フラグをＴｒｕｅ）とし、当該画素の画素情報を記憶部２２８に保持する。

Ｓ８０２において、領域選択処理部３０５は、Ｓ８０１にて処理対象とされた画素（対象フラグがＴｒｕｅの画素）と、領域１１１３の外側にある手書き文字と推定された画素とが、Ｓ７０１にて指定された軌跡１１１２を境に連続しているか否かを判定する。
領域選択処理部３０５は、Ｓ８０２において処理対象の画素と領域１１１３の外側にある手書き文字と推定された画素とが軌跡１１１２を境に連続していると判定した場合には、処理をＳ８０３に進める。
一方で、領域選択処理部３０５は、Ｓ８０２において処理対象の画素と領域１１１３の外側にある手書き文字と推定された画素とが軌跡１１１２を境に連続していないと判定した場合には、図８に示す一連の処理を終了する。
なお、対象となる複数の画素が連続しているか否かの判定については、例えば、連結生成のラベリング（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ｌａｂｅｌｉｎｇ）を用いることで実現可能である。もちろん、同手法はあくまで一例であり、複数の画素が連続しているか否かを判定することが可能であれば、同判定の方法は特に限定はされない。

Ｓ８０３において、領域選択処理部３０５は、Ｓ８０１にて処理対象（対象フラグがＴｒｕｅ）とされた画素と軌跡１１１２の外側に連続している手書き文字と推定された画素とを処理対象（対象フラグをＴｒｕｅ）として、画素情報リストに反映する。この際に、領域選択処理部３０５は、領域１１１３から連続している手書き文字と推定された画素については、全てを処理対象とする。これにより、領域選択処理において領域１１１３の選択がなされる際に、ユーザによって詳細に処理対象となる画素が指定されていない場合においても、当該ユーザの意図をくみ取った領域の選択が可能となる。そして、領域選択処理部３０５は、画素情報リストを記憶部２２８に保持したうえで、図８に示す一連の処理を終了する。

次いで、図９を参照して、画像処理サーバ１０２の処理の一例について、図４においてＳ４０５として示した処理種別選択処理に着目して説明する。

Ｓ９０１において、処理種別選択処理部３０６は、ユーザから指定された処理種別が手書きＯＮか否か（換言すると、処理種別の指定に際して手書きＯＮボタン１１０４が押下されたか否か）を判定する。
処理種別選択処理部３０６は、Ｓ９０１においてユーザから指定された処理種別が手書きＯＮであると判定した場合には、処理をＳ９０２に進める。
一方で、処理種別選択処理部３０６は、Ｓ９０１においてユーザから指定された処理種別が手書きＯＮでない（すなわち、手書きＯＦＦである）と判定した場合には、処理をＳ９０２に進める。なお、処理種別の指定に際して手書きＯＦＦボタン１１０３が押下された場合に、ユーザから指定された処理種別が手書きＯＮでないと判定され得る。

Ｓ９０２において、処理種別選択処理部３０６は、画素情報リスト内において対象フラグがＴｒｕｅの画素情報に対して、手書き画素確定フラグを”手書き”（手書き画素確定フラグをＴｒｕｅ）として記憶部２２８に保持する。手書き画素確定フラグは、処理種別の指定により確定された処理を表すフラグである。

Ｓ９０３において、処理種別選択処理部３０６は、画素情報リスト内において対象フラグがＴｒｕｅの画素情報に対して、手書き画素確定フラグを”手書きでない”（手書き画素確定フラグをＦａｌｓｅ）として記憶部２２８に保持する。

Ｓ９０４において、処理種別選択処理部３０６は、画素情報リスト内の手書き画素推定フラグを更新する。
手書き画素推定フラグは、手書き画素確定フラグにより処理が確定していない画素情報である。手書き画素推定フラグがＴｒｕｅに設定された画素情報に対応する画素は、再度、Ｓ４０４として示した領域選択処理において処理対象として選択することが可能である。例えば、２回目以降に同一の処理種別が選択されてＳ４０４として示した領域選択処理が実行されることで、独立した複数の領域に対応する処理を適用することが可能である。また、処理確定時に処理種別が複数選択されて処理が終了された場合には、手書きＯＮが指定された処理が優先される。

Ｓ４０６として示した手書き文字推定処理結果の修正が完了した際に、Ｓ９０１において処理種別として手書きＯＮが指定された場合には、手書き画素確定フラグがＴｒｕｅの画素情報に対応する画素に対して手書き処理の適用が確定される。この際に、手書き画素推定フラグがＴｒｕｅの画素情報に対応する画素には、手書き処理が適用されない。また、Ｓ９０１において処理種別として手書きＯＦＦが指定された場合には、手書き画素確定フラグがＦａｌｓｅの画素情報に対応する画素に対して手書き処理の不適用が確定される。この際に、手書き画素推定フラグがＴｒｕｅの画素情報に対応する画素には、手書き処理が適用される。
具体的には、Ｓ９０２において手書き画素確定フラグがＮｏｎｅからＴｒｕｅに変更された画素情報は、手書き画素推定フラグがＴｒｕｅからＦａｌｓｅに変更されたうえで、記憶部２２８に保持されることとなる。
また、Ｓ９０３において手書き画素確定フラグがＮｏｎｅからＦａｌｓｅに変更された画素情報は、手書き画素推定フラグがＴｒｕｅからＦａｌｓｅに変更されたうえで、記憶部２２８に保持されることとなる。

次いで、図１０を参照して、画像処理サーバ１０２の処理の一例について、図４においてＳ４０６として示した結果表示処理に着目して説明する。図１０に示す一連の処理では、手書き文字推定処理の結果としてユーザに提示される画像が作成される。

Ｓ１００１において、結果表示部３０４は、記憶部２２８に保持された入力画像と画素情報とを取得する。

Ｓ１００２において、結果表示部３０４は、画素情報リスト内において手書き画素確定フラグが”手書き”（手書き画素確定フラグがＴｒｕｅ）となる画素情報が存在するか否かを判定する。そのうえで、結果表示部３０４は、当該判定の結果に応じて、手書き文字推定処理の修正結果が示された画像を作成するために、ユーザに手書き処理を実行する画素を提示するための出力レイヤーを作成する。

画素情報リスト内において手書き画素確定フラグが”手書き”となる画素情報が存在する場合には、その画素情報は、手書きＯＮボタン１１０４によって領域１１１３内にある手書き文字推定された画素が”手書き”として確定された画素情報となる。そのため、手書き文字推定処理の修正結果としてユーザに提示する必要がある手書き文字画素領域は、修正の結果手書き文字の画素となった、手書き画素確定フラグがＴｒｕｅの画素情報に対応する画素の領域となる。

画素情報リスト内で手書き画素確定フラグが”手書き”となる画素情報が存在しない場合は、手書き画素確定フラグが”手書きでない”（手書き画素確定フラグがＦａｌｓｅ）の場合、または初期値のまま（手書き画素確定フラグがＮｏｎｅ）の場合に該当する。
手書き画素確定フラグが”手書きでない”の場合には、画像内の手書き文字と推定された画素のうち、手書きＯＦＦボタン１１０３によって領域１１１３内にある手書き文字と推定された画素が”手書きでない”として確定される。また、それ以外の手書き文字推定された画素については、”手書き”として処理される画素となる。そのため、手書き文字推定処理の修正結果としてユーザに提示する必要がある手書き文字画素領域は、ユーザが手書き領域のままとした領域、すなわち、手書き画素推定フラグがＴｒｕｅの画素情報に対応する画素の領域となる。
手書き画素確定フラグが初期値のままの場合には、画像内の手書き文字と推定された画素がユーザによる修正の対象とならなかった場合に該当する。この場合においても、手書き文字推定処理の修正結果としてユーザに提示する必要がある手書き文字画素領域は、ユーザが手書き領域のままとした領域、すなわち、手書き画素推定フラグがＴｒｕｅの画素情報に対応する画素の領域となる。

結果表示部３０４は、Ｓ１００２において手書き画素確定フラグがＴｒｕｅとなる画素情報が存在すると判定した場合には、処理をＳ１００３に進める。
一方で、結果表示部３０４は、Ｓ１００２において手書き画素確定フラグがＴｒｕｅとなる画素情報が存在しないと判定した場合には、処理をＳ１００４に進める。

Ｓ１００３において、結果表示部３０４は、確定された手書き文字の画素から出力レイヤーを作成する。出力レイヤーは、画素情報リストのうち手書き画素確定フラグがＴｒｕｅである画素情報に対応する画素に対して、任意の色を付けることで作成される。作成された出力レイヤーは、記憶部２２８に保持される。
一方で、Ｓ１００４においては、結果表示部３０４は、推定された手書き文字の画素から出力レイヤーを作成する。出力レイヤーは、画素情報リストのうち手書き画素推定フラグがＴｒｕｅである画素情報に対応する画素に対して、任意の色を付けることで作成される。作成された出力レイヤーは、記憶部２２８に保持する。
Ｓ１００５において、結果表示部３０４は、入力画像と各レイヤーとを合成することで合成画像を生成し、当該合成画像を記憶部２２８に保持したうえで、図１０に示す一連の処理を終了する。

以上のような制御により、手書き推定処理により手書き文字と推定された一連の画素のうち一部の画素の推定結果に誤りが生じている状況下においても、画像中の領域選択及び処理種別の指定といった簡便な操作により、当該誤りを修正することが可能となる。また、手書き推定処理により手書き文字と推定された一連の画素のうち、一部の画素を手書き文字とする場合においても、画像中の領域選択及び処理種別の指定といった簡便な操作により、当該一部の画素を手書き文字の画素として指定することが可能となる。このように、本実施形態に係る画像処理システムに依れば、画像中の任意の領域の選択と、当該領域に対する処理の処理種別の指定とにより、画素単位で属性（例えば、手書き文字の画素か否かを示す属性）を容易に修正することが可能となる。

＜第２の実施形態＞
本開示の第２の実施形態について以下に説明する。本実施形態では、領域選択処理においてユーザが画像中の領域を指定する際の当該ユーザの負担をより低減する仕組みの一例について説明する。なお、本実施形態では、主に前述した第１の実施形態と異なる部分に着目して構成や処理の説明を行い、第１の実施形態と実質的に同様の部分については詳細な説明は省略するものとする。

まず、図１４を参照して、本実施形態に係る確認画面の一例について説明する。具体的には、図１４は、一度の操作で手書き文字の推定結果の修正対象とする領域全体を指定し切れなかった状況を模式的に示している。図４においてＳ４０４として示した領域選択処理において、画像表示領域１４０１に対してユーザにより指定された軌跡１４０２に基づき領域１４０３が作成される。このとき、軌跡１４０２により規定される範囲には、「領収書」の文字列に含まれる「収」の文字の旁に相当する部分（「又」として示される部分）と、「書」の文字とが含まれている。

第１の実施形態における図７に示すＳ７０３の処理の場合には、領域選択処理部３０５は、軌跡１４０２を境に手書き文字と推定された画素が連続しているか否かを判定し、対象フラグを画素情報に付与する。そのため、図１４に示す例の場合には、領収書のうち、収の旁に相当する部分（「又」として示される部分）と、「書」の文字との１．５文字が処理対象となる。そのため、このような状況下では、正しく「収」の文字を選択するために、再度の領域の指定が必要となる場合がある。
このような状況を鑑み、本実施形態では、領域選択処理において、文字単位で処理対象に含まれるように領域を設定する仕組みの一例について説明する。具体的な一例として、「収」の文字は偏と旁との間で画素が連続していないが、偏と旁との間の距離は、「収」の文字の最外側の画素と隣接する「書」の文字の最外側の画素との間の距離よりも短い。このように、一文字を形成している画素間の距離は、隣接する文字間の間隔よりも短い場合が多いため、画素が連続していない場合においても、距離が閾値以内の画素を処理対象とすることで、文字単位で処理対象が指定されるように制御することが可能となる。なお、同閾値については、例えば、互いに隣接する文字間の距離よりも値が小さくなるように設定されればよい。

ここで、図１２を参照して、画像処理サーバ１０２の処理の一例として、図７においてＳ７０３として示した処理対象画素の決定処理の他の一例について説明する。なお、Ｓ８０１～Ｓ８０３の処理は、図８に示すＳ８０１～Ｓ８０３の処理と実質的に同様であるため、詳細な説明は省略する。

Ｓ１２０１において、領域選択処理部３０５は、Ｓ８０１及びＳ８０３において処理対象（対象フラグがＴｒｕｅ）である画素ごとに、手書き文字と推定された（手書き文字推定フラグがＴｒｕｅ）画素が任意の距離（上記閾値）以内にあるか否かを判定する。なお、当該判定に際して参照される任意の距離については、ユーザにより予め設定されてもよいし、対象フラグがＴｒｕｅとなる連続する画素の外接矩形の長辺と短辺とを用いて算出されてもよい。
領域選択処理部３０５は、Ｓ１２０１において手書き文字と推定された画素が任意の距離以内にあると判定した場合には、処理をＳ１２０２に進める。
一方で、領域選択処理部３０５は、Ｓ１２０１において手書き文字と推定された画素が任意の距離以内にないと判定した場合には、図１２に示す一連の処理を終了する。

Ｓ１２０２において、領域選択処理部３０５は、Ｓ１２０１にて任意の距離以内にある手書き文字と推定された画素の画素情報に対して対象フラグとしてＴｒｕｅを付与し、当該画素情報を記憶部２２８に保持する。

Ｓ１２０３において、領域選択処理部３０５は、Ｓ１２０２にて対象フラグとしてＴｒｕｅが付与された画素と連続する、手書き文字と推定された他の画素（以下、連続画素とも称する）があるか否かを判定する。
領域選択処理部３０５は、Ｓ１２０３において連続画素があると判定した場合には、処理をＳ１２０４に進める。
一方で、領域選択処理部３０５は、Ｓ１２０３において連続画素がないと判定した場合には、図１２に示す一連の処理を終了する。

Ｓ１２０４において、領域選択処理部３０５は、Ｓ１２０３にて特定した連続画素の画素情報に対して対象フラグとしてＴｒｕｅを付与し、当該画素情報を記憶部２２８に保持したうえで、図１２に示す一連の処理を終了する。

以上のような制御が適用されることで、領域選択処理において文字単位で処理対象に含まれるように領域を設定することが可能となるため、ユーザが画像中の領域を指定する際の当該ユーザの負担をより低減する効果が期待できる。

＜第３の実施形態＞
本開示の第３の実施形態について以下に説明する。本実施形態では、領域選択処理において領域の指定が行われた状況下においても、当該領域中において処理対象外とする部分的な領域を指定可能とする仕組みの一例について説明する。なお、本実施形態では、主に前述した第１の実施形態や第２の実施形態と異なる部分に着目して構成や処理の説明を行い、第１の実施形態や第２の実施形態と実質的に同様の部分については詳細な説明は省略するものとする。

図１５は、本実施形態に係る確認画面を利用した処理対象とする領域の指定方法の一例について説明するための図であり、画像中の処理対象とする領域の指定が行われた後に、処理対象外とする部分的な領域の指定を受け付ける一連の操作の流れの一例を示している。確認画面１５００は、処理対象外とする領域の指定を受け付けるための対象外指定ボタン１５０２と対象外領域繰り返し処理指示部１５０３とを有する。

図１５（１）に示す確認画面１５００は、第１の実施形態において図１１を参照して説明した確認画面１１００に相当する。図１５（１）に示した例では、画像表示領域１５０１に表示された画像中に、「利用日」、「令和２年３月４日」、「令和２年５月１２日」、「令和２年５月２０日」といった日付に関連する文字列が表示されている。また、これらの文字列のうち、「利用日」、「年」、「月」、及び「日」は活字で記されており、「令和」及び各数字については手書き文字として記入されている。また、図１５（１）に示した例では、図４においてＳ４０１として示した手書き文字推定処理により、「令和２年３」、「４」、「令和２」、「５月１２」、及び「令和２年５月２０」として記された各文字列が手書き文字として認識されている。
このような状況下において、第１の実施形態では、手書き文字の推定結果を修正するためには、図４においてＳ４０４及びＳ４０５の処理として説明した領域選択や処理種別の指定の操作を複数回行う必要があった。
このような状況を鑑み、本実施形態では、処理対象とする領域の選択に加えて、処理対象外とする部分的な領域の選択を可能とすることで、より複雑な領域の指定をより簡便な操作により実現可能とすることで、操作性の向上を図っている。

図１５（２）は、前述した第１の実施形態と同様に処理対象とする領域の指定が行われる状況を模式的に示している。確認画面１５１０は、図１５（１）に示す確認画面１５００の一態様に相当する。領域選択処理部３０５は、新規追加ボタン１１０２が押下されると、操作部２２７を介してユーザから軌跡１５１２の入力を受け付け、画像表示領域１５０１に表示された画像における軌跡１５１２の座標に対応する領域１５１３を作成する。

図１５（３）は、領域１５１３内において処理対象外とする部分的な領域の指定が行われる状況を模式的に示している。確認画面１５２０は、図１５（１）に示す確認画面１５００の一態様に相当する。領域選択処理部３０５は、対象外指定ボタン１５０２が押下されると、操作部２２７を介してユーザから軌跡１５２２の入力を受け付け、画像表示領域１５２１に表示された画像における軌跡１５２２の座標に対応する対象外領域１５２３を作成する。また、領域選択処理部３０５は、対象外領域繰り返し処理指示部１５０３が操作された場合には、対象外領域について繰り返し処理の適用が指定されたものと認識する。この場合には、領域選択処理部３０５は、領域１５１３内において対象外領域１５２３を対象としてテンプレートマッチングを行い、類似度が閾値以上の領域（例えば、領域１５２４及び１５２５）についても対象外領域として設定する。

図１５（４）は、領域選択処理の処理結果が表示された状況を模式的に示している。確認画面１５３０は、図１５（１）に示す確認画面１５００の一態様に相当する。また、画像表示領域１５３１に表示された領域１５３２は、処理種別の指定対象となる領域である。なお、領域１５３２は、図１５（２）にて指定された領域１５１３から、図１５（３）にて指定された対象外領域１５２３、１５２４、及び１５２５に対応する部分を除外した領域に相当する。
なお、図１５（４）に例示した状態から、さらに処理対象外とする領域を追加することも可能である。この場合には、領域選択処理部３０５は、対象外指定ボタン１５０２が改めて押下されたことを受けて、対象外領域を指定するための軌跡の入力を受け付ければよい。

次いで、図１３を参照して、本実施形態に係る画像処理サーバ１０２の処理の一例について、図４においてＳ４０４として示した領域選択処理に着目して説明する。なお、Ｓ７０１、Ｓ７０２、及びＳ７０３の処理については、図７に示すＳ７０１、Ｓ７０２、及びＳ７０３の処理と実質的に同様のため詳細な説明は省略する。

Ｓ１３０１において、領域選択処理部３０５は、操作部２２７を介した対象外指定ボタン１５０２の操作による対象外領域の指定が指示されたか否かを判定する。
領域選択処理部３０５は、Ｓ１３０１において対象外領域の指定が指示されたと判定した場合には、処理をＳ１３０２に進める。
一方で、領域選択処理部３０５は、Ｓ１３０１において対象外領域の指定が指示されていないと判定した場合には、処理をＳ７０２に進める。

Ｓ１３０２において、領域選択処理部３０５は、操作部２２７を介して指定された軌跡１５２２の情報を取得する。領域選択処理部３０５は、画像表示領域１５０１に表示された画像における軌跡１５２２座標に対応する対象外領域１５２３を作成し、当該対象外領域１５２３を記憶部２２８に保持する。

Ｓ１３０３において、領域選択処理部３０５は、操作部２２７を介した対象外領域繰り返し処理指示部１５０３の操作による対象外領域の指定に係る繰り返し処理が指示されたか否かを判定する。
領域選択処理部３０５は、Ｓ１３０３において対象外領域の指定に係る繰り返し処理が指示されたと判定した場合には、処理をＳ１３０４に進める。
一方で、領域選択処理部３０５は、Ｓ１３０３において対象外領域の指定に係る繰り返し処理が指示されていないと判定した場合には、処理をＳ１３０６に進める。

Ｓ１３０４において、領域選択処理部３０５は、記憶部２２８に保持された対象外領域１５２３の画素分布を取得する。
Ｓ１３０５において、領域選択処理部３０５は、領域１５１３内を対象としてＳ１３０４にて取得した領域（対象外領域１５２３）とテンプレートマッチングを行い、類似度が閾値以上の領域を対象外領域に追加し、一連の対象外領域を記憶部２２８に保持する。なお、領域間の類似度の判定方法については特に限定はされない。例えば、二値化画像のヒストグラム形状を利用することで、領域間の類似度の判定が行われてもよい。また、他の一例として、座標ごとの画素の相関関係により、領域間の類似度の判定が行われてもよい。

Ｓ１３０６において、領域選択処理部３０５は、Ｓ７０１に指定された領域から、Ｓ１３０２やＳ１３０５にて指定された対象外領域に相当する部分を除外した領域を記憶部２２８に保持する。
なお、以降の処理については、図７に示す例と同様である。

以上のように、本実施形態に係る画像処理システムに依れば、処理対象として設定された領域内に対象外領域を指定することで、処理対象とする領域を細かく指定することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
（構成１）対象となる画像中における手書き文字を推定する推定手段と、前記画像中における領域の指定を受け付ける第１の受付手段と、前記推定手段による手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定手段と、前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付手段と、前記第２の受付手段が受け付けた指示に応じて、前記対象画素に対する前記推定手段による推定結果を修正する修正手段と、を有することを特徴とする、情報処理装置。
（構成２）前記修正手段は、前記第２の受付手段が前記対象画素に対して手書き文字でないことを示す指示を受け付けた場合に、当該対象画素に対する前記推定手段による推定結果を、手書き文字に対応する画素から活字に対応する画素に修正することを特徴とする、構成１に記載の情報処理装置。
（構成３）前記特定手段は、少なくとも、指定された前記領域中の手書き文字に対応する画素と、当該画素に隣接する前記領域外の手書き文字に対応する画素と、を前記対象画素として特定することを特徴とする、構成１または２に記載の情報処理装置。
（構成４）前記特定手段は、指定された前記領域中の手書き文字に対応する画素と隣接していない前記領域外の手書き文字に対応する画素であったとしても、指定された前記領域中の手書き文字に対応する画素との距離が前記閾値以下の場合には、前記対象画素として特定することを特徴とする、構成３に記載の情報処理装置。
（構成５）前記第１の受付手段は、指定された前記領域中において、処理対象から除外する対象外領域の指定を受け付け、前記特定手段は、前記領域から前記対象外領域が除外された領域を対象として前記対象画素を特定することを特徴とする、構成１乃至４のいずれか１項に記載の情報処理装置。
（方法１）情報処理装置の制御方法であって、対象となる画像中における手書き文字を推定する推定ステップと、前記画像中における領域の指定を受け付ける第１の受付ステップと、前記推定手段による手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定ステップと、前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付ステップと、前記第２の受付ステップにおいて受け付けられた指示に応じて、前記対象画素に対する前記推定ステップにおける推定結果を修正する修正ステップと、を含むことを特徴とする、情報処理装置の制御方法。
（プログラム１）コンピュータを、対象となる画像中における手書き文字を推定する推定手段と、前記画像中における領域の指定を受け付ける第１の受付手段と、前記推定手段による手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定手段と、前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付手段と、前記第２の受付手段が受け付けた指示に応じて、前記対象画素に対する前記推定手段による推定結果を修正する修正手段と、を有することを特徴とする情報処理装置として機能させるためのプログラム。

１０２ 画像処理サーバ
３０３ 文字推定処理部
３０４ 結果表示部
３０５ 領域選択処理部
３０６ 処理種別選択処理部

Claims (7)

1. 対象となる画像中における手書き文字を推定する推定手段と、
   前記画像中における領域の指定を受け付ける第１の受付手段と、
   前記推定手段による手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定手段と、
   前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付手段と、
   前記第２の受付手段が受け付けた指示に応じて、前記対象画素に対する前記推定手段による推定結果を修正する修正手段と、
   を有することを特徴とする、情報処理装置。
2. 前記修正手段は、前記第２の受付手段が前記対象画素に対して手書き文字でないことを示す指示を受け付けた場合に、当該対象画素に対する前記推定手段による推定結果を、手書き文字に対応する画素から活字に対応する画素に修正することを特徴とする、請求項１に記載の情報処理装置。
3. 前記特定手段は、少なくとも、指定された前記領域中の手書き文字に対応する画素と、当該画素に隣接する前記領域外の手書き文字に対応する画素と、を前記対象画素として特定することを特徴とする、請求項１に記載の情報処理装置。
4. 前記特定手段は、指定された前記領域中の手書き文字に対応する画素と隣接していない前記領域外の手書き文字に対応する画素であったとしても、指定された前記領域中の手書き文字に対応する画素との距離が前記閾値以下の場合には、前記対象画素として特定することを特徴とする、請求項３に記載の情報処理装置。
5. 前記第１の受付手段は、指定された前記領域中において、処理対象から除外する対象外領域の指定を受け付け、
   前記特定手段は、前記領域から前記対象外領域が除外された領域を対象として前記対象画素を特定する
   ことを特徴とする、請求項１に記載の情報処理装置。
6. 情報処理装置の制御方法であって、
   対象となる画像中における手書き文字を推定する推定ステップと、
   前記画像中における領域の指定を受け付ける第１の受付ステップと、
   前記推定ステップにおける手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定ステップと、
   前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付ステップと、
   前記第２の受付ステップにおいて受け付けられた指示に応じて、前記対象画素に対する前記推定ステップにおける推定結果を修正する修正ステップと、
   を含むことを特徴とする、情報処理装置の制御方法。
7. コンピュータを、
   対象となる画像中における手書き文字を推定する推定手段と、
   前記画像中における領域の指定を受け付ける第１の受付手段と、
   前記推定手段による手書き文字の推定結果に基づき、指定された前記領域中の手書き文字に対応する画素と、当該画素との距離が閾値以下となる前記領域外の手書き文字に対応する画素と、を対象画素として特定する特定手段と、
   前記対象画素に対して手書き文字か否かの指示を受け付ける第２の受付手段と、
   前記第２の受付手段が受け付けた指示に応じて、前記対象画素に対する前記推定手段による推定結果を修正する修正手段と、
   を有することを特徴とする情報処理装置として機能させるためのプログラム。

Images