JP6764124B1 - 情報処理装置、情報処理システム、および情報処理プログラム - Google Patents

Abstract

【課題】文字処理装置に手書き入力された文字画像の解析を実行させる際に、文字処理装置における処理時間の短縮、コストの軽減が可能なように、解析対象となる文字情報を決定することのできる情報処理装置を提供する。【解決手段】情報処理装置は、文字が手書きされた文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を取得する取得部と、属性情報に基づいて、文字画像をテキストデータに変換する解析対象とするか否かを判定する判定部と、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する抽出部と、を備える。【選択図】図３

Description

本発明の実施形態は、情報処理装置、情報処理システム、および情報処理プログラムに関する。

近年、紙書類に置き換えが可能な情報端末として、いわゆる「電子ペーパー」が普及している。情報端末における表示対象は、例えば、書籍データであったり、取扱説明書データであったり、カタログデータ等である。また、情報端末には、電子ペン等を用いてユーザが手書き入力を行うことができるものもある。このような手書き入力ができる情報端末では、例えば、アンケートの記入が可能になる。また、手書き入力が可能な情報端末の場合、従来の手帳の代わりとして利用することも可能となる。

特開２０１４−１９１３８３号公報

従来の情報端末に表示される情報は、一般的には画像情報（画像データ）である。したがって、情報端末に表示された画像情報に対して文字検索を行おうとする場合は、例えば、画像情報に対応する内容の透明テキストを予め埋め込み、検索時には、透明テキストを用いて検索することが考えられる。この場合、手書き入力された文字（文字画像）は、別途、文字処理装置等を用いて、文字画像に対応する透明テキストを作成して、文字画像と同じ位置（座標）に埋め込む必要が生じる。透明テキストの作成は、ある程度の手書き入力が行われた段階でまとめて実行されることになる。しかしながら、手書き入力された文字画像の量が多い場合、透明テキストを作成する解析処理に時間やコストがかかってしまうという問題がある。また、画像情報における手書き文字の一部が変更された場合や更新された場合に、既に解析済みの画像情報が再解析されてしまう可能性がある。この場合、解析時間の増加や解析コストが増加してしまうという問題がある（多くの場合、文字単位でコストが発生する）。

本発明が解決する課題の一例は、文字処理装置に手書き入力された文字画像の解析を実行させる際に、文字処理装置における処理時間の短縮、コストの軽減が可能なように、解析対象となる文字情報を決定することのできる情報処理装置、情報処理システム、および情報処理プログラムを提供することにある。

本発明の第１態様に係る情報処理装置は、文字が手書きされた文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を取得する取得部と、前記属性情報に基づいて、前記文字画像をテキストデータに変換する解析対象とするか否かを判定する判定部と、前記解析対象と判定された前記文字画像に対応する表示領域から、手書きされた前記文字を表した前記文字の画像を抽出する抽出部と、を備える。

本発明の第２態様に係る情報処理システムは、情報端末と、情報処理装置と、文字処理装置と、を備えるシステムである。前記情報端末は、手書き入力を受け付ける受付部と、手書き入力された文字を示した文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を送信する送信部と、前記画像情報を表示する表示部と、前記文字を検索する検索部と、を備える。前記情報処理装置は、前記画像情報を取得する取得部と、前記属性情報に基づいて、前記文字画像をテキストデータに変換する解析対象とするか否かを判定する判定部と、前記解析対象と判定された前記文字画像に対応する表示領域から、手書きされた前記文字を表した前記文字画像を抽出する抽出部と、前記抽出した前記文字画像を文字処理装置に送信する出力部と、を備える。前記文字処理装置は、前記情報処理装置から前記抽出した前記文字画像を受信する受信部と、前記文字画像をテキストデータに変換する文字処理部と、変換したテキストデータを前記情報処理装置に送信する送信部と、を備える。

本発明の第３態様に係る情報処理プログラムは、文字が手書きされた文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を取得する取得処理と、前記属性情報に基づいて、前記文字画像をテキストデータに変換する解析対象とするか否かを判定する判定処理と、前記解析対象と判定された前記文字画像に対応する表示領域から、手書きされた前記文字を表した前記文字の画像を抽出する抽出処理と、を情報処理装置に実行させる。

本発明の上記態様によれば、文字画像をテキストデータに変換する解析対象とするか否かを判定し、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する。その結果、手書き入力された文字画像の解析を実行させる際に、処理時間の短縮、コストの軽減が可能なように、解析対象となる文字情報を決定することのできる情報処理装置、情報処理システム、および情報処理プログラムを得ることができる。

図１は、実施形態にかかる情報処理装置を含む情報処理システムの構成を示す例示的かつ模式的な図である。 図２は、実施形態にかかる情報処理装置で扱う画像情報において、文字検索を可能にする構成を説明する例示的かつ模式的な図である。 図３は、実施形態にかかる情報処理システムを構成する、情報端末、情報処理装置、文字処理装置のそれぞれの構成を示す例示的かつ模式的なブロック図である。 図４は、実施形態にかかる情報処理装置で扱う画像情報として、手書き入力された文字画像を示す例示的な図である。 図５は、実施形態にかかる情報処理装置において、手書き入力された文字画像に対する属性情報の付与状態を示す例示的な説明する図である。 図６は、実施形態にかかる情報処理装置において、解析対象の判定に用いる属性情報が付与される文字画像の表示態様を説明する例示的かつ模式的な図である。 図７は、実施形態にかかる情報処理装置において、手書き入力された文字画像が文字列として結合された状態を示す例示的かつ模式的な説明図である。 図８は、実施形態にかかる情報処理システムにおける処理シーケンスを説明する例示的かつ模式的な図である。 図９は、本実施形態にかかる情報処理装置において、文字画像をテキストデータに変換する解析対象とするか否かを判定する処理の流れを説明する例示的なフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態の情報処理装置は、情報端末において手書きされた文字画像を検索可能なテキストデータに変換して、文字画像に対応位置にそのテキストデータを埋め込む処理を行う場合に、テキストデータに変換が必要な文字画像のみを選択して、解析、変換処理を実行させるようにする。その結果、不要な文字画像の解析処理や変換処理、重複した処理等を抑制し、解析、変換処理に要する時間の短縮や処理コストの軽減を行う。

図１は、本実施形態にかかる情報処理装置（例えばパーソナルコンピュータ：ＰＣ）１０を含む情報処理システム１００の構成を示す例示的かつ模式的な図である。情報処理システム１００は、情報処理装置１０と無線または有線で接続され、情報の送受が可能な情報端末１２（電子ペーパーと称する場合もある）と、情報処理装置１０とクラウド１４を介して情報の送受が可能な文字処理装置１６とで構成されている。

情報端末１２は、いわゆる「電子ペーパー」とすることができる。情報端末１２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリやＳＳＤ（Solid State Drive）等の記憶部、通信インターフェース、入出力インターフェース等で構成されている。

情報端末１２（電子ペーパー）は、例えば、周知の「マイクロ・カプセル」に包まれる表示用の「電子インク」と称される電子粉の電気泳動を利用した電子粉流体方式等で表示を行う表示装置である。情報端末１２は、電子粉の電気泳動を利用した表示を行うことにより、表示内容を書き換えるときだけ電力を必要とする表示装置とすることができる。つまり、情報端末１２に一度表示された画像は、その表示中に電力消費を伴わず、情報端末１２の電力消費の軽減に大きく寄与できる。また、情報端末１２は、通信機能と組み合わせることで、容易に最新情報の取得および表示が可能となる。

また、情報端末１２は、電子ペン１２ｐ等を用いて、表示部(表示画面)上でペン先を移動させることにより、電子インクの状態を変化させて、手書き入力が可能である。さらに、情報端末１２は、電子ペン１２ｐを用いて手書き入力を行う際に、入力される線の太さや、線の色などの表示態様の選択を受け付けることが可能である。

したがって、情報端末１２は、従来の手書きの手帳の代わりとして利用することができる。さらに、図２に示されるように、情報端末１２において、表示される画像情報Ｐは、スキャナ等で取り込まれたイメージデータＰ１に、当該イメージデータＰ１における文字画像に対応する位置（座標）に、表示態様などを示した属性情報と、透明テキストＰ２（テキストデータ）と、を埋め込み可能とする。透明テキストＰ２は、画像情報Ｐには表示されない情報であるため、情報端末１２を利用するユーザには、イメージデータＰ１のみが視認可能となり、違和感のない表示を行いつつ、テキストデータを用いた文字検索を実現することが可能となる。画像情報Ｐは、例えば、ＰＤＦ形式のデータが考えられるが、他の形式のデータであっても良い。

情報処理装置１０は、一般的なパーソナルコンピュータを利用可能であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ（Hard Disk Drive）やＳＳＤ等の記憶部、通信インターフェース、入出力インターフェース等で構成されている。

情報処理装置１０は、前述したように、情報端末１２で文字検索を実行するために必要な透明テキストＰ２を得るために、画像情報Ｐを情報端末１２から取り込み、画像情報Ｐにおけるどの表示領域の文字画像をテキストデータに変換する解析対象とするか否かを判定する判定処理を実行する。また、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する抽出処理を実行する。そして、抽出した文字の画像を文字処理装置１６に送信して、文字認識やテキストデータ化処理等を実行させる。

文字処理装置１６は、例えば、クラウド１４を介して接続された装置に対してサービスを提供するサーバとするが、情報処理装置１０に直接接続された装置でもよい。文字処理装置１６は、情報処理装置１０によって解析対象とされた文字の画像を取得すると、周知の文字認識処理を実行して、文字の画像をテキストデータに変換して透明テキストＰ２を生成する。そして、生成した透明テキストＰ２を情報処理装置１０に送信する。

文字処理装置１６もまた一般的なパーソナルコンピュータで構成可能であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤやＳＳＤ等の記憶部と、通信インターフェース等で構成されている。

情報処理装置１０は、文字処理装置１６から送信された透明テキストＰ２を情報端末１２から取得している画像情報Ｐの対応する部分(座標)に埋め込む処理を実行し、情報端末１２に返送する。その結果、情報端末１２では、手書き文字画像がテキストデータとして認識可能となり、文字検索を実行することが可能となる。

このように構成される情報処理システム１００における情報端末１２、情報処理装置１０、文字処理装置１６の詳細な構成を図３に示される例示的かつ模式的なブロック図を用いて説明する。

情報端末１２は、画像情報Ｐの表示、電子ペン１２ｐにより手書き入力された文字画像の表示等を行う表示処理と、画像情報Ｐや文字画像等によって表示されている文字の検索処理等を実行するためのモジュールを備える。情報端末１２は、例えば、受付部１２ａ、記憶部１２ｂ、表示部１２ｃ、送受信部１２ｄ、検索部１２ｅ等を備える。

受付部１２ａは、画像情報受付部１２ａ１と手書き画像受付部１２ａ２とを含む。画像情報受付部１２ａ１は、予め作成された閲覧用の画像情報（書籍データ、取扱説明書データ、カタログデータ、資料データ、記入用紙データ等）を、送受信部１２ｄを介して受け付け、記憶部１２ｂに逐次記憶させる。

手書き画像受付部１２ａ２は、表示部（表示画面）上に描かれた文字等の手書き文字を画像（イメージデータ）として受け付ける。そして、手書き画像受付部１２ａ２は、表示画面上に表示されている画像情報Ｐ（書籍データや資料データ等）の位置（座標）と手書き文字が入力された位置(座標）とを対応付けて、記憶部１２ｂに逐次記憶させる。図４は、電子ペン１２ｐを用いて手書き入力された文字画像Ｉを示す例示的な図である。図４は、手書きの文字画像Ｉとして、以下のような内容が入力された例である。
「Meeting reservation
On February 5, in the third meeting room at the head office start at 15:00 and make a reservation for the meeting room.」

記憶部１２ｂは、書き換え可能な不揮発性の記憶装置であり、例えば、フラッシュメモリやＳＳＤ等である。記憶部１２ｂは、受付部１２ａが受け付けた画像情報Ｐや手書きの文字画像等を逐次記憶する。

表示部１２ｃは、記憶部１２ｂに記憶された画像情報Ｐや手書きの文字画像を読み出し表示させることができる。表示部１２ｃは、上述したように、周知の「マイクロ・カプセル」に包まれる表示用の「電子インク」と称される電子粉の電気泳動を利用した電子粉流体方式等で画像情報Ｐや手書きの文字画像等の表示を行う。電子インクは、微小の黒微粒子と白微粒子を透明の液体に浮遊させた状態で構成される。電子インクの微粒子は電荷を有している。例えば、白色微粒子が正電荷を有し、黒色微粒子が負電荷を有している。そして、マイクロ・カプセルは上側の透明電極板と下側の下層電極板との間に挟まれている。したがって、透明電極板に負電圧が印加されると、正電荷を有する白色微粒子が透明電極板に引き付けられて、透明電極板に白色を表示させる。この場合、負電荷を有する黒色微粒子は、下層電極板側に移動して隠される。結果的に、マイクロ・カプセルは白色を表面側に向け、情報端末１２の表示部１２ｃ（表示画面）において白色表示が行われる。また、透明電極板に正電圧が印加されると、黒色微粒子と白色微粒子の移動方向が逆になり、マイクロ・カプセルは黒色を表面側に向け、情報端末１２の表示部１２ｃにおいて黒色表示が行われる。このように、電子粉の電気泳動を利用することにより、情報端末１２は、表示内容を書き換えるときだけ電力を必要とする表示装置とすることができる。

送受信部１２ｄは、情報端末１２が情報処理装置１０と有線または無線で接続された場合に、情報処理装置１０で実行される後述する判定処理や抽出処理の対象となる画像情報Ｐの送信を行う。また、送受信部１２ｄは、文字処理装置１６で実行された文字解析処理（手書きの文字画像をテキストデータに変換する処理）の結果としてのテキストデータが埋め埋め込まれた画像情報Ｐを情報処理装置１０から受信する。なお、送受信部１２ｄは、ネットワークを介して提供される既存の画像情報Ｐ（例えば、書籍データや資料データ等）も受信可能である。

検索部１２ｅは、表示部１２ｃに表示されている画像情報Ｐの表示内容に対応して埋め込まれたテキストデータ（透明テキスト）を用いて、画像情報Ｐから文字検索を行う。検索部１２ｅに、例えば「会議」という文字が入力されると、画像情報Ｐに埋め込まれた透明テキストから、「会議」というテキストデータが検索される。表示部１２ｃでは、検索結果に対応する文字を、例えば強調表示することによりユーザに認識し易い状態で表示する。

情報処理装置１０は、主として、手書きの文字画像をテキストデータに変換する解析対象とするか否かを判定する判定処理と、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する抽出処理を実行する。このような処理を実行するために、情報処理装置１０は、例えば、取得部１０ａ、判定部１０ｂ、抽出部１０ｃ、画像情報結合部１０ｄ、出力部１０ｅ等のモジュールを備える。これらのモジュールは、情報処理装置１０のＣＰＵがＲＯＭ等の不揮発性の記憶部に記憶された（インストールされた）情報処理プログラムを読み出し、当該情報処理プログラムに従って演算処理を実行することにより実現される。なお、判定部１０ｂは、詳細モジュールとして、属性取得部１８、比較部２０を含み、属性取得部１８は、領域抽出部１８ａ、表示態様取得部１８ｂ、第１タイムスタンプ取得部１８ｃ等を含む。また、比較部２０は、第２タイムスタンプ取得部２０ａを含む。また、出力部１０ｅは、第１出力部１０ｅ１と第２出力部１０ｅ２とを含む。

取得部１０ａは、情報端末１２において生成された手書きされた文字画像Ｉ（図４参照）と、当該文字画像Ｉが表された表示領域に割り当てられた属性を示す属性情報（注釈データと称する場合がある）と、を含む画像情報Ｐを情報端末１２の送受信部１２ｄを介して取得する取得処理を実行する。また、取得部１０ａは、第１出力部１０ｅ１が文字処理装置１６に送信した解析対象の文字の画像が、テキストデータに変換された後に文字処理装置１６から返送された場合に、そのテキストデータを取得（受信）する。

属性情報（注釈データ）とは、画像情報Ｐに含まれるメタデータであり、例えば、画像情報Ｐにおける文字画像の位置を示す座標データと関連付けられて生成されている。属性情報は、情報端末１２上で電子ペン１２ｐによって手書き文字が入力されたタイミングで生成される。図５は、手書きされた文字画像Ｉに対する属性情報２２の付与状態を示す例示的な説明する図である。なお、図５では図示の都合上、符号の属性情報２２の記載を一部省略している。属性情報２２は、情報端末１２の表示部１２ｃ上では表示されないが、情報処理装置１０の表示部(不図示)上で必要に応じて表示することができる。属性情報２２は、情報処理装置１０の表示部上では、例えば、青色の四角で表示される。属性情報２２は、例えば、文字画像Ｉを構成する各文字画像の塊の状態に基づいて、自動的に付与される。図５に示される例では、タイトルとして書かれた「Meeting」の場合、「Meet」と「ing」が別々に認識され、それぞれの属性情報２２が付与されている。また、「reservation」は、一塊で認識され、一つの属性情報２２が付与されている。属性情報２２の塊の大きさ（長さ）は、例えば、各文字画像の間隔の違いや、各文字画像を手書きしたときの連続性等に基づき決定される。

例えば、「Meet」と「ing」との間の空間が他の文字画像の空間、例えば、「M」と「e」との間の空間より広い場合、「Meet」と「ing」とが別々の塊として認識される。また、「Meet」と「ing」の間の空間が他の文字画像の空間と実質的に同じ場合でも、例えば、「Meet」と書いた後に「ing」を書き始めるまでの時間が、「M」と「e」を書く間の時間より長かった場合、例えば、一拍おいて、「ing」を書いた場合、「Meet」と「ing」とが別々の塊として認識される。したがって、同じ文字列の文字画像の場合でも手書きされたときの状態によって、属性情報２２として認識される塊の大きさが異なる。例えば、タイトルとして書かれた「reservation」という文字列は、一塊の属性情報２２として認識されている。一方、本文中に書かれた「reservation」という文字列は、三つの塊として認識され、三つの属性情報２２が付与されている。

属性情報２２が有する情報は、例えば、当該属性情報２２が作成された時刻（日時）情報が含まれる。属性情報２２が付与された時刻（手書きされた日時）が、例えば、２０１９年１２月３１日００時００分００秒の場合、時刻情報として、「２０１９１２３１００００００」というタイプスタンプが付与される。属性情報２２の作成時に付与されるタイムスタンプを第１タイムスタンプと称する。第１タイムスタンプ（属性情報２２）は、手書きの文字画像が解析対象の画像か否か判定する際に利用することができる。第１タイムスタンプ（属性情報２２）の利用については後述する。

また、属性情報２２が有する他の情報として、例えば、電子ペン１２ｐで手書きを行う場合に選択したペン色（例えば、青色や赤色等）の情報や電子ペン１２ｐの線の太さ、線種等の表示態様を示す情報が含まれる。図６は、属性情報２２が付与される文字画像Ｉの表示態様を説明する例示的かつ模式的な図である。図６は、図示の関係で、青色文字ペンを選択して手書きした文字画像Ｉａを細字で表し、赤色文字ペンを選択して手書きした文字画像Ｉｂを太字で表している。使用するペン色を異ならせることにより、後から検索対象にするか否かを識別させることができる。例えば、ユーザが後から文字検索を行いたいと考える場合、検索対象として「文章」を指定することは少なく、多くの場合、「単語」や「熟語」を指定して検索を行う。例えば、「Meeting reservation」を、他の文字画像Iとは異なるペン色、例えば、赤色文字ペンを選択して手書きしておけば、「Meeting reservation」のみを解析対象としてテキストデータに変換しておけばよいことになる。この場合、ユーザが求める「Meeting reservation」の内容、すなわち、図４の本文を迅速に認識することができる。このように、属性情報２２に含まれる文字画像Ｉの表示態様を用いて文字情報を解析対象とするか否かを決定することが可能となり、文字処理装置１６における解析時間の短縮、解析コストの低減を図ることできる。また、他の実施形態では、属性情報２２として、図６に示される通り、文字の線の太さを用いてもよい。この場合、細字文字ペンを選択して手書きした文字画像Ｉａで表し、太字文字ペンを選択して手書きした文字画像Ｉｂを表す。そして、後から検索したい文字画像を、太字文字ペンを選択して手書きしておけば、太文字の文字情報のみを解析対象として判定する処理を容易に行うことができる。同様に、属性情報２２が有する情報として、電子ペン１２ｐの線種、例えば、実線と破線等を用いてもよく同様の効果を得ることができる。属性情報２２に含まれる文字画像Ｉの表示態様の利用詳細については後述する。

画像情報Ｐは、様々な状況で利用される。このため、画像情報Ｐに埋め込まれ文字画像のデータ量が大きい場合もある。このような場合に全ての文字画像に対応するテキストデータを生成すると、文字処理装置１６の処理負担が大きくなる。また、文字処理装置１６でテキストデータに変換するサービスが有料な場合には、コストが大きくなる。

さらには、画像情報Ｐに埋め込まれた文字画像に対応するテキストデータが埋め込まれた後に、別の文字画像が埋め込まれた場合に、画像情報Ｐ全体についてテキストデータに変換しようとすると、同一の文字画像に対して複数回テキストデータへの変換が行われることになる。そこで、本実施形態においては、文字画像に対応付けられた属性情報２２に応じて解析対象とするか否かを判定することとした。

例えば、本実施形態においては、情報端末１２を利用するユーザに対して、テキストデータへの変換対象となるための文字の色や、線種を、連絡しておく。これにより、ユーザは、テキストデータに変換したい文字について、当該連絡に従って、文字の色や線種を設定する。これにより、テキストデータの解析対象となる文字を設定可能となる。そして、情報処理装置１０においては、下記の構成を備えることで、必要に応じて文字画像をテキストデータに変換することが可能となる。

判定部１０ｂは、属性情報２２（色、線種、タイムスタンプ等）に基づいて、文字画像をテキストデータに変換する解析対象とするか否かを判定する。

属性取得部１８の領域抽出部１８ａは、取得部１０ａが取得した画像情報Ｐから属性情報２２を抽出する。属性情報２２は前述したように、手書きの文字情報が生成されたときの各文字画像の間隔や文字情報が生成されたときの時間差等により、自動的に設定される。

表示態様取得部１８ｂは、属性情報２２に含まれる表示態様を示すデータを、属性情報２２毎に取得する。例えば、文字情報が手書きされた際に利用された電子ペン１２ｐのペン色やペンの太さ等の情報を取得する。

判定部１０ｂは、表示態様取得部１８ｂが取得した属性情報２２としての表示態様に基づき、文字画像をテキストデータに変換する解析対象とするか否かを判定する。例えば、赤色文字ペンを選択して手書きされた文字画像のみを解析対象とすると決めておくことにより、判定部１０ｂは、画像情報Ｐに含まれる複数の属性情報２２から解析対象とすべき属性情報２２（文字画像）を容易に絞り込むことができる。

第１タイムスタンプ取得部１８ｃは、属性情報２２に含まれる第１タイムスタンプを示すデータを、属性情報２２毎に取得する。第１タイムスタンプ取得部１８ｃは、取得した第１タイムスタンプを比較部２０に提供する。

比較部２０の第２タイムスタンプ取得部２０ａは、取得部１０ａが取得した画像情報Ｐに埋め込まれている第２タイムスタンプを取得する。第２タイムスタンプは、情報処理装置１０が文字処理装置１６に対して文字画像をテキストデータに変換する要求を行った時刻を示す情報である。つまり、今回の処理で取得部１０ａが取得した画像情報Ｐと同じ画像情報Ｐが、取得部１０ａで過去に取得され、そのときに、文字画像を解析対象にするか否かの判定が全て完了した場合に、処理の完了を示す時刻(日時)として第２タイムスタンプが画像情報Ｐに付与される。したがって、取得部１０ａが今回取得した画像情報Ｐに新たに手書き文字画像が追加されていたり、文字画像が修正されていたりする場合、追加や修正が行われた属性情報２２に付与される第１タイムスタンプが示す時刻(日時)は、画像情報Ｐに付与されている第２タイムスタンプが示す時刻（日時）より後の時刻となる。つまり、比較部２０は、今回の処理で、第２タイムスタンプと、画像情報Ｐに埋め込まれた各属性情報２２の第１タイムスタンプとを比較することにより、新たに追記されたり、修正されたりした属性情報２２（文字画像）を容易に特定することができる。

例えば、今回の処理で対象としている画像情報Ｐに「２０２００１１４００００００」という第２タイムスタンプが埋め込まれていた場合を考える。この場合、前回の処理で、情報処理装置１０が文字処理装置１６に対して文字画像をテキストデータに変換する要求を行った時刻（属性情報２２対する判定処理が全て完了した時刻）が、２０２０年０１月１４日００時００分００秒であることを示す。一方、今回の処理で対象としている画像情報Ｐに含まれる属性情報２２（文字画像）の第１タイムスタンプが、「２０１９１２３１００００００」の場合、両者を比較すると、第２タイムスタンプ＞第１タイムスタンプとなる。つまり、「２０１９１２３１００００００」という第１タイムスタンプが付与された属性情報２２は、既に前回の処理以前に解析対象とされ、文字処理装置１６において、文字認識処理（テキストデータ化）が行われていることになる。この場合、第２タイムスタンプ＞第１タイムスタンプとなった属性情報２２は、これ以降は判定処理自体が不要であると見なせるので、解析対象外ファイルに移動してもよい。その結果、次回処理における比較部２０の処理が軽減できる。逆に、第２タイムスタンプ＜第１タイムスタンプとなる、第１タイムスタンプが付与された属性情報２２が存在する場合、その属性情報２２（文字画像）は、前回の処理の後に、追記または修正された文字画像であり、今回の処理で、解析対象とする必要がある属性情報２２であると見なすことができる。

したがって、判定部１０ｂは、文字画像をテキストデータに変換する解析対象とするか否かを判定する場合、第１段階処理として、表示態様取得部１８ｂが取得した属性情報２２の表示態様に基づいて、ユーザが希望する文字画像を解析対象とする。例えば、電子ペン１２ｐを使用する場合に赤色文字ペンを選択して手書きした文字画像に対応する属性情報２２を解析対象とする。そして、判定部１０ｂは、第２段階処理として、画像情報Ｐに埋め込まれている第２タイムスタンプと、各属性情報２２に埋め込まれている属性情報２２（この場合、赤色文字ペンを示す属性情報２２）の第１タイムスタンプとの比較を行い、過去に解析対象にされていない属性情報２２を今回の解析対象とする。このように、判定部１０ｂは、２段階で判定処理を行うことにより、解析対象とする属性情報２２を高精度に選択することができる。なお、判定部１０ｂは、上述した第１段階処理(表示態様に基づく判定)のみを実行して、解析対象にするか否かの判定を行ってもよい。この場合、解析対象の判定精度を容易に向上することができる。また、ユーザの希望する文字画像のみを解析対象とすることができるので、判定処理が容易になる。また、判定部１０ｂは、第２段階処理（タイムスタンプの比較に基づく判定）のみを実行して、解析対象にするか否かの判定を行ってもよい。この場合、解析対象が重複してしまうことを容易に回避し、テキストデータへの変換コストの削減に寄与できる。また、画像情報Ｐがアップデートされた部分（追記、修正された部分）のみを解析対象とすることができるので、処理効率を向上することができる。

抽出部１０ｃは、判定部１０ｂにおいて、解析対象と判定された属性情報２２（文字画像）に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する。判定部１０ｂにおいて、例えば図５における「February 5」に対応する属性情報２２が、解析対象と判定された場合、抽出部１０ｃは、「February 5」が対応する表示領域から「February 5」の画像を抽出する。

画像情報結合部１０ｄは、解析対象と判定されたて抽出部１０ｃによって抽出された画像が、文字処理装置１６に送られ、テキストデータに変換され、返送されてきた場合、そのテキストデータ(透明テキスト)に対する処理を実行する。画像情報結合部１０ｄは、返送されたテキストデータを解析対象と判定された属性情報２２の対応する位置(座標)に埋め込む場合に、テキストデータを文字列として統合し、検索可能な状態にする。例えば、図５おいて、「February」は、「Februa」と「ry」に属性情報２２が分離されている。この場合、それぞれの属性情報２２にテキストデータが埋め込まれた場合でも、検索部１２ｅは、「February」という単語を検索することができない場合がある。そこで、画像情報結合部１０ｄは、図５に示されるように、隣接する属性情報２２同士のずれ、例えば、縦方向のずれや横方向のずれの大きさを判定し、近いお互いに近い属性情報２２同士を、図８に示しように一つの文字列２４として結合する。その結果、情報端末１２の検索部１２ｅは画像情報Ｐ上で、「February」という単語（文字）を含む文字列２４を検索できるようになる。なお、画像情報結合部１０ｄは、属性情報２２を結合する場合、「February」等のように単語単位で統合してもよいし、「the head office」等のように熟語単位で統合してもよい。

第１出力部１０ｅ１は、抽出部１０ｃが抽出した解析対象となった手書きされた文字を表した文字の画像を文字処理装置１６に向けて出力する。また、第２出力部１０ｅ２は、画像情報結合部１０ｄによって、文字列２４として結合された属性情報２２を含む画像情報Ｐ（透明テキストが埋め込まれた画像情報Ｐ）を情報端末１２に向けて出力する。

文字処理装置１６は、受付部１６ａが情報処理装置１０から送信される画像を受け付けると、文字処理部１６ｂは、周知の技術を用いた文字認識処理を実行するとともに、認識された文字をテキストデータに変換する。そして、結果送信部１６ｃは、変換したテキストデータを情報処理装置１０に向けて返送する。

このように、情報処理装置１０は、解析対象と判定された画像のみを文字処理装置１６に送信して、文字認識、テキストデータ変換を行わせるので、文字処理装置１６における処理時間の短縮、文字処理装置１６における処理コストの低減を行うことができる。つまり、情報処理装置１０は迅速かつ低コストで、検索に適したテキストデータが埋め込まれた画像情報Ｐを情報端末１２に返送することができる。

図８は、上述のように構成される情報処理システム１００における処理シーケンスを説明する例示的かつ模式的な図である。

情報端末１２は、当該情報端末１２と情報処理装置１０とが送受信部１２ｄを介して有線または無線で接続された場合に、情報処理装置１０がネット経由等で取得した画像情報Ｐや、情報処理装置１０で作成された画像情報Ｐを画像情報受付部１２ａ１で受け付け、逐次、記憶部１２ｂに記憶する（Ｓ１ａ）。また、画像情報受付部１２ａ１は、送受信部１２ｄを介してネット経由で提供される画像情報Ｐを受け付けて記憶部１２ｂに記憶してもよい（Ｓ１ｂ）。

情報端末１２は、情報処理装置１０から通信が切り離された通常使用状態において、画像情報Ｐを表示部１２ｃに表示し、ユーザに画像情報Ｐを視認させることができる。また、情報端末１２の手書き画像受付部１２ａ２は、表示部１２ｃ上にユーザにより描かれた文字等の手書き文字を画像（イメージデータ）として適宜受け付けることができる（Ｓ２）。手書き画像受付部１２ａ２は、情報端末１２上に表示されている画像情報Ｐと手書き文字が入力された位置(座標)とを対応付けて、記憶部１２ｂに逐次記憶させる。

次に、情報端末１２が手書き入力された文字画像のテキスト化のために情報処理装置１０に接続された場合、情報処理装置１０の取得部１０ａは、情報端末１２に対して、画像情報Ｐの送信を要求する（Ｓ３）。情報端末１２は、情報処理装置１０の要求に対して、送受信部１２ｄを介して、画像情報Ｐを送信する（Ｓ４）。この場合、送受信部１２ｄは、記憶部１２ｂに記憶されている画像情報Ｐの全てを送信対象としてもよいし、ユーザにより指定された画像情報Ｐを選択的に送信するようにしてもよい。

情報処理装置１０は、情報端末１２から画像情報Ｐを取得すると、取得した画像情報Ｐに対に含まれる文字画像が解析対象か否かを判定する判定処理の開始を指示する（Ｓ５）。この場合、判定部１０ｂは、まず、第１段階処理として属性情報２２に含まれる文字画像の表示態様に基づいて、当該文字画像をテキストデータに変換する解析対象とするか否かを判定する（Ｓ６）。続いて、判定部１０ｂは、第２段階処理として、属性情報２２に含まれる第１タイムスタンプと画像情報Ｐに埋め込まれた第２タイムスタンプとの比較に基づいて、文字画像をテキストデータに変換する解析対象とするか否かを判定する（Ｓ７）。

判定部１０ｂによって解析対象が判定され、抽出部１０ｃによって解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像が抽出されると、第１出力部１０ｅ１は、その画像を文字処理装置１６に送信する（Ｓ８）。

文字処理装置１６の文字処理部１６ｂは、情報処理装置１０から送信された画像に対して文字認識処理およびテキストデータ化処理等の解析処理を実行し（Ｓ９）、結果送信部１６ｃは、解析結果（テキストデータ）を情報処理装置１０に返送する（Ｓ１０）。

情報処理装置１０では、文字処理装置１６からテキストデータを取得すると、画像情報Ｐにおいて解析対象と判定された属性情報２２の位置（座標）に対応するテキストデータ（透明テキスト）を埋め込むとともに、図７に示すようにテキストデータの結合処理を行い、文字列２４とする（Ｓ１１）。そして、第２出力部１０ｅ２は、テキストデータ（透明テキスト）が埋め込まれた画像情報Ｐを情報端末１２に返送する（Ｓ１２）。その結果、情報端末１２では、手書き入力された文字画像を含む画像情報Ｐに対してテキストデータを用いた文字検索が可能となる。

図９は、情報処理装置１０において、文字画像をテキストデータに変換する解析対象とするか否かを判定する処理の流れを説明する例示的なフローチャートである。

判定部１０ｂは、取得部１０ａが取得した画像情報Ｐに含まれる一つの属性情報２２から表示態様（例えば、使用された電子ペン１２ｐのペン色）を取得する（Ｓ１００）。取得した表示態様が、ユーザが検索対象の文字を手書きする場合に使用する色（例えば、赤色）の場合（Ｓ１０２のＹｅｓ）、属性情報２２に対応する座標の領域を画像に変換する（Ｓ１０４）。判定部１０ｂは、取得部１０ａが取得した画像情報Ｐに含まれる全ての属性情報２２がＳ１００において取得(選択)済みか否か判定し（Ｓ１０６）、取得（選択）していない属性情報２２が残っている場合（Ｓ１０６のＮｏ）、Ｓ１００に移行して、残っている属性情報２２の取得を行いＳ１０２の判定処理を行う。また、Ｓ１０２において、判定部１０ｂが取得した属性情報２２の表示態様が、ユーザが検索対象の文字を手書きする場合に使用する色以外（例えば、青色）の場合（Ｓ１０２のＮｏ）、Ｓ１００に移行し、他の属性情報２２の取得を行う。なお、Ｓ１００〜Ｓ１０６の処理が、判定部１０ｂにおいて、文字画像をテキストデータに変換する解析対象とするか否かを判定する場合の第１段階処理(判定処理)に相当する。

判定部１０ｂは、取得部１０ａが取得した画像情報Ｐに含まれる全ての属性情報２２がＳ１００において取得済みとなった場合（Ｓ１０６のＹｅｓ）、第２タイムスタンプ取得部２０ａは、画像情報Ｐに第２タイムスタンプが埋め込まれているか確認する（Ｓ１０８）。画像情報Ｐに第２タイムスタンプが埋め込まれている場合（Ｓ１０８のＹｅｓ）、第１タイムスタンプ取得部１８ｃは、Ｓ１０４で画像に変換された領域に対応する属性情報２２のいずれかの第１タイムスタンプを取得する（Ｓ１１０）。そして、比較部２０において、第２タイムスタンプと第１タイムスタンプとの比較を行い（Ｓ１１２）、第２タイムスタンプより第１タイムスタンプが古い場合（Ｓ１１２のＹｅｓ）、その第１タイムスタンプが埋め込まれた属性情報２２に対応する画像を解析対象外フォルダに移動する（Ｓ１１４）。つまり、再度、この画像情報Ｐが取得部１０ａによって取得された場合、その属性情報２２は、解析対象からはじめから除外して、判定処理が重複して行われることを回避する。

第１タイムスタンプ取得部１８ｃは、Ｓ１１０において、Ｓ１０４で画像に変換された領域に対応する全ての属性情報２２の第１タイムスタンプが取得済みになった場合（Ｓ１１６のＹｅｓ）、取得部１０ａが取得した画像情報Ｐの第２タイムスタンプを現在の時刻で更新する（Ｓ１１８）。そして、判定部１０ｂは、解析対象外ファイルに移動しなかった属性情報２２に対応する画像を、今回の処理において、文字画像をテキストデータに変換する解析対象に決定するとともに、抽出部１０ｃは、解析対象と判定された画像を抽出し（Ｓ１２０：抽出処理）、このフローを一旦終了する。

なお、Ｓ１１６において、Ｓ１０４で画像に変換された領域に対応する全ての属性情報２２の第１タイムスタンプがまだ取得し終わっていない場合（Ｓ１１６のＮｏ）、Ｓ１１０に移行し、Ｓ１０４で画像に変換された領域に対応する他の属性情報２２の第１タイムスタンプを取得し、Ｓ１１２以降の処理を繰り返し実行する。また、Ｓ１１２において、第２タイムスタンプより第１タイムスタンプが古くない場合（Ｓ１１２のＮｏ）、Ｓ１１０に移行し、Ｓ１０４で画像に変換された領域に対応する他の属性情報２２の第１タイムスタンプを取得し、Ｓ１１２の処理を繰り返し実行する。

Ｓ１０８において、画像情報Ｐに第２タイムスタンプが埋め込まれていない場合（Ｓ１０８のＮｏ）、取得部１０ａが取得した画像情報Ｐに対して、文字画像をテキストデータに変換する解析対象とするか否かを判定する処理を初めて実行していると見なせる。この場合、判定部１０ｂは、画像情報Ｐに新規の第２タイムスタンプを埋め込み（Ｓ１２２）、Ｓ１２０の処理に移行する。つまり、判定部１０ｂは、文字画像をテキストデータに変換する解析対象とするか否かの判定を第１段階処理によって決定する。なお、Ｓ１１０〜Ｓ１１８、Ｓ１２２の処理が、判定部１０ｂにおいて、文字画像をテキストデータに変換する解析対象とするか否かを判定する場合の第２段階処理(判定処理)に相当する。

このように、本実施形態の情報処理装置１０によれば、文字画像をテキストデータに変換する解析対象とするか否かを判定し、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する。その結果、手書き入力された文字画像の解析を実行させる際に、処理時間の短縮、コストの軽減が可能なように、解析対象となる文字情報を決定することのできる情報処理装置を得ることができる。

また、情報処理装置１０の判定部１０ｂは、属性情報である、ユーザが手書き入力時に指定した文字画像の表示態様に基づいて解析対象か否かを判定する。その結果、解析対象の判定精度を容易に向上することができる。また、ユーザの希望する文字画像のみを解析対象とすることができるので、処理が容易になる。

また、情報処理装置１０の判定部１０ｂは、属性情報である、文字画像が画像情報に埋め込まれた時刻を示した第１のタイムスタンプに基づいて解析対象か否かを判定する。その結果、解析対象の判定精度を容易に向上することができる。

また、情報処理装置１０の判定部１０ｂは、属性情報２２に埋め込まれた第１のタイムスタンプと、画像情報に埋め込まれた第２のタイムスタンプと、の比較に基づいて、解析対象か否かを判定する。その結果、解析対象が重複してしまうことを容易に回避し、テキストデータへの変換コストの削減に寄与できる。また、画像情報Ｐがアップデートされた部分（追記、修正された部分）のみを解析対象とすることができるので、処理効率を向上することができる。

また、情報処理装置１０は、さらに、抽出した文字の画像を、手書きされた文字の画像をテキストデータに変換する文字処理装置に送信する出力部を備える。この場合、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像のみが文字処理装置に出力されるので、情報処理装置１０と文字処理装置１６との間で実行される処理時間の短縮に寄与することができる。

また、情報端末１２と、情報処理装置１０と、文字処理装置１６と、を備える情報処理システム１００によれば、情報処理装置１０は、文字画像をテキストデータに変換する解析対象とするか否かを判定し、解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する。その結果、情報処理装置１０は、抽出した手書きされた文字を表した文字の画像のみを文字処理装置１６に送信し、文字の解析を実行させて、その解析結果を画像情報Ｐに反映させることができる。したがって、情報端末１２において、文字検索が可能な画像情報Ｐの取得を短所時間、低コストで実現し易くすることができる。

また、情報処理装置１０による上述したような処理を実現する情報処理プログラムによれば、文字画像をテキストデータに変換する解析対象とするか否かを判定する判定処理および解析対象と判定された文字画像に対応する表示領域から、手書きされた文字を表した文字の画像を抽出する抽出処理を、パーソナルコンピュータ上で容易に実現することができる。

なお、本実施形態の情報処理装置１０のＣＰＵで実行される情報処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される情報処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…情報処理装置、１０ａ…取得部、１０ｂ…判定部、１０ｃ…抽出部、１０ｄ…画像情報結合部、１０ｅ…出力部、１０ｅ１…第１出力部、１０ｅ２…第２出力部、１２…情報端末、１２ａ１…画像情報受付部、１２ａ２…手書き画像受付部、１２ａ…受付部、１２ｂ…記憶部、１２ｃ…表示部、１２ｄ…送受信部、１２ｅ…検索部、１２ｐ…電子ペン、１６…文字処理装置、１６ａ…受付部、１６ｂ…文字処理部、１６ｃ…結果送信部、１８…属性取得部、１８ａ…領域抽出部、１８ｂ…表示態様取得部、１８ｃ…第１タイムスタンプ取得部、２０…比較部、２０ａ…第２タイムスタンプ取得部、２２…属性情報、２４…文字列、１００…情報処理システム。

Claims (7)

1. 文字が手書きされた文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を取得する取得部と、
   前記属性情報に基づいて、前記文字画像をテキストデータに変換する解析対象とするか否かを判定する判定部と、
   前記解析対象と判定された前記文字画像に対応する表示領域から、手書きされた前記文字を表した前記文字の画像を抽出する抽出部と、
   を備える、情報処理装置。
2. 前記判定部は、前記属性情報である、前記文字画像の表示態様に基づいて、前記解析対象か否かを判定する、請求項１に記載の情報処理装置。
3. 前記判定部は、前記属性情報である、前記文字画像が前記画像情報に埋め込まれた時刻を示した第１のタイムスタンプに基づいて、前記解析対象か否かを判定する、請求項１または請求項２に記載の情報処理装置。
4. 前記判定部は、前記第１のタイムスタンプと、前記画像情報に埋め込まれた、前記文字画像をテキストデータに変換する要求を行った時刻を示した第２のタイムスタンプと、の比較に基づいて、解析対象か否かを判定する、請求項３に記載の情報処理装置。
5. さらに、抽出した前記文字の画像を、手書きされた文字の画像をテキストデータに変換する文字処理装置に送信する出力部を備える、請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 情報端末と、情報処理装置と、文字処理装置と、を備えるシステムであって、
   前記情報端末は、
   手書き入力を受け付ける受付部と、
   手書き入力された文字を示した文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を送信する送信部と、
   前記画像情報を表示する表示部と、
   前記文字を検索する検索部と、
   を備え、
   前記情報処理装置は、
   前記画像情報を取得する取得部と、
   前記属性情報に基づいて、前記文字画像をテキストデータに変換する解析対象とするか否かを判定する判定部と、
   前記解析対象と判定された前記文字画像に対応する表示領域から、手書きされた前記文字を表した前記文字画像を抽出する抽出部と、
   前記抽出した前記文字画像を文字処理装置に送信する出力部と、
   を備え、
   前記文字処理装置は、
   前記情報処理装置から前記抽出した前記文字画像を受信する受信部と、
   前記文字画像をテキストデータに変換する文字処理部と、
   変換したテキストデータを前記情報処理装置に送信する送信部と、
   を備える、情報処理システム。
7. 文字が手書きされた文字画像と、当該文字画像が表された表示領域に割り当てられた属性を示す属性情報と、を含む画像情報を取得する取得処理と、
   前記属性情報に基づいて、前記文字画像をテキストデータに変換する解析対象とするか否かを判定する判定処理と、
   前記解析対象と判定された前記文字画像に対応する表示領域から、手書きされた前記文字を表した前記文字の画像を抽出する抽出処理と、
   を、情報処理装置に実行させる、情報処理プログラム。

Images