JP7384191B2 - 表示装置、プログラム、領域変更方法 - Google Patents

Description

本発明は、表示装置、プログラム、及び、領域変更方法に関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。表示装置は筆談によるコミュニケーションツールとして利用される場合もある。

ユーザーが入力枠に手書きしなければならないという手書きデータの変換における制限をなくし、入力枠を不要とした表示装置が知られている（例えば、特許文献１参照。）。特許文献１には、手書きオブジェクトの矩形領域を水平方向に推定文字サイズの50%拡大し、垂直方向に推定文字サイズの80%拡大して、近傍矩形領域を形成することで、近傍矩形領域内に次の文字の手書き入力が行われると同じグループとして文字認識を行う手書き入力装置が開示されている。

しかしながら、従来の技術では、入力手段がタッチパネルから離れてからの時間の経過に応じて、ストロークデータが認識グループに含まれるか否かが判断される領域を変更していないため、例えば、ユーザーが文字間の幅を狭めて複数の文字を手書き入力した場合に、１文字目と２文字目のストロークデータを同じ１文字のストロークデータとして誤って認識してしまう、という問題がある。

本発明は、上記課題に鑑み、入力手段がタッチパネルから離れてからの時間の経過に応じて、ストロークデータが認識グループに含まれるか否かが判断される領域を変更することで、ストロークデータをより正確に認識できる、例えば入力される複数の文字を文字毎により正確に認識する、ことができる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、認識グループに含まれる複数のストロークデータを文字認識する表示装置であって、入力手段がタッチパネルに入力したストロークデータを受け付ける入力受付部と、前記入力受付部が受け付けた前記ストロークデータを表示する表示制御部と、前記ストロークデータが前記認識グループに含まれるか否かが判断される領域を、前記入力手段がタッチパネルから離れてから所定時間が経過するか否かで変更する領域変更部と、を有し、前記入力手段がタッチパネルから離れてから所定時間が経過した場合、前記領域変更部は、すでに入力されている前記ストロークデータのうち、現在の認識グループに含まれるストロークデータの外接矩形の右側の領域のみを、前記ストロークデータが前記現在の認識グループに含まれるか否かが判断される領域に決定する。

入力手段がタッチパネルから離れてからの時間の経過に応じて、ストロークデータが認識グループに含まれるか否かが判断される領域を変更することができ、ストロークデータをより正確に認識できる。

認識グループ矩形と近傍矩形の概略を説明する図である。 表示装置の全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 ストロークデータ記憶部に記憶されるストロークデータを説明する図である。 ペンアップから所定時間Ｔが経過していない場合の同一認識グループの一例を示す図である。 ペンアップから所定時間Ｔが経過した場合の同一認識グループの一例を示す図である。 手書き文字と表が混在した手書きデータの一例を示す図である。 ストロークデータが同一認識グループとならない条件を説明する図である。 文字認識部が同一認識グループのストロークデータを決定する手順を説明するフローチャート図である。 図１０のステップＳ１、Ｓ３、Ｓ７で説明した、ストロークデータが同一認識グループとならない条件を満たすか否かを判断するフローチャート図である。 認識結果を表示する操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 表示システムの概略構成図の一例である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う領域変更方法について図面を参照しながら説明する。

＜認識グループ矩形と近傍矩形の概略＞
図１は、認識グループ矩形１０１と近傍矩形１０２の概略を説明する図である。まず、本実施形態において認識グループ矩形１０１は、１つ以上のストロークデータの外接矩形である。また、近傍矩形１０２は、次に手書きされるストロークデータを認識グループに含めるか否かの判断領域である。また、認識グループとは、手書きデータがまとめて一文字以上の文字に文字認識されるストロークデータのグループである。認識グループ矩形１０１とこの認識グループ矩形１０１で生成される近傍矩形１０２に含まれるストロークデータは同一認識グループである。

本実施形態の表示装置は、ペンアップから所定時間Ｔが経過したか否かに応じて、近傍矩形１０２を変更することが特徴の１つとなっている。ペンアップとはディスプレー（タッチパネル）に接触していた入力手段がディスプレーから離れることをいう。

・ペンアップから所定時間Ｔが経過したとは、ユーザーからの手書き入力が所定時間Ｔを超過して検出されない状態である。

・ペンアップから所定時間Ｔが経過していないとは、ユーザーからの手書き入力が次々と（所定時間Ｔ以内に）検出されている状態である。ペンアップから所定時間Ｔが経過していないことを連続筆記中、又は連続して筆記する、と称する場合がある。

図１（ａ）は、ペンアップから所定時間Ｔが経過した場合の近傍矩形１０２の一例を示す。図１（ａ）では「う」という文字が手書きされてから所定時間Ｔが経過した。この場合の近傍矩形１０２は以下のように定義される。

高さ：認識グループ矩形１０１の高さＨ
幅： 認識グループ矩形１０１の高さＨ＋α
つまり、ペンアップから所定時間Ｔが経過した場合、近傍矩形１０２は、日本語の横書きを想定して、高さはすでに手書きされた文字と同じ、幅は次の文字サイズ分だけ右方向に拡大される。αは近傍矩形１０２に余裕をもたせるオフセットである。オフセットとは所定の距離を有するもの（距離０も含む）であり、余裕値、補正値、修正値、追加値、余剰値ともいう。なお、すでに手書きされた文字「う」は、文字認識されていてもストロークデータのままのどちらでもよい。

図１（ｂ）は、ペンアップから所定時間Ｔが経過していない場合の近傍矩形１０２の一例を示す。図１（ａ）では「う」という文字が手書きされたが、まだ、ペンアップから所定時間Ｔが経過していない。このような連続筆記中の近傍矩形１０２は以下のように定義される。

現在の認識グループ矩形１０１に対し以下のように近傍矩形１０２が設定される。
「上：β１」
「左：β２」
「下：認識グループ矩形１０１の幅Ｗ＋β３」
「右：認識グループ矩形１０１の高さＨ＋β４」
β１～β４は、近傍矩形１０２に余裕をもたせるオフセットである。つまり、現在の認識グループ矩形１０１に対し上下左右に認識グループ矩形が拡大された領域が近傍矩形１０２である。

このように近傍矩形１０２を変更することでユーザーが意図したストロークデータを表示装置２が認識することがしやすくなる。ユーザーとしては「う」の右側に文字を足す場合は、「う」と足した文字をまとめて認識したい場合が多い。一方、「う」の下側などの周囲に別の文字を手書きした場合、改行しているため、ユーザーが「う」とは関係のない文字列を手書きする場合が多い。仮に「う」と下側の文字がまとめて文字認識された場合は「う」と下側の文字は、全く関係のない文字列に誤認識されるおそれが高い。つまり、連続筆記中でなければ、認識グループ矩形１０１の右側に近傍矩形１０２を制限することが好ましい。なお、認識グループ矩形１０１の右側とは、ユーザーが表示装置に向かって正対する場合に、ユーザーからみて表示画面に表示される認識グループ矩形１０１の右方向側を示す。なお、左側、上側、下側についても同様である。

しかし、連続筆記中は、ユーザーが筆記中のストロークデータに対しどの位置に次のストロークデータを手書きするかは、文字の書き順によって様々である。例えば「ふ」という文字の三画目は二画目の左側にストロークデータが手書きされるが、三画目も「ふ」の一部として文字認識すべきである。あるいは「ｉ」「ｊ」等のアルファベットが有する上部の点（superscript dot）も書き順によっては、点が一画目の上部に手書きされるが、点も含めて文字認識すべきである。このように文字によっては認識グループ矩形の上や左にもストロークデータが追加される（多くの場合、認識グループ矩形の下や右にストロークデータが追加される）。つまり、連続筆記中の場合、認識グループ矩形１０１の周囲に近傍矩形１０２を広げることが好ましい。

このように、同一認識グループのストロークデータ（まとめて認識される複数のストロークデータ）は、連続筆記中か否かで異なる。本実施形態では、ペンアップからの所定時間Ｔに応じて表示装置が同一認識グループに含めるストロークデータの手書き領域（近傍矩形１０２）を変更するので、近傍矩形１０２を適切に設定できる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ストロークとは、ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作であるをストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。文字には、数字、アルファベット、及び、記号等が含まれる。文字はテキストデータとも言われる。

複数のストロークデータがまとめて認識されるとは、複数のストロークデータの全体が全体として妥当な文字列に認識されることをいう。認識後の文字列は一文字でも複数文字でもよい。

＜装置の構成例＞
図２を用いて、本実施形態に係る表示装置２の全体構成を説明する。図２は、表示装置２の全体構成図を示した図である。図２（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図２（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図２（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。

なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置のハードウェア構成＞
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、ＯＳや表示装置用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。この場合、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、文字認識部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、領域変更部２８、及び、除外部２９を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

入力受付部２１はタッチセンサー２１６に対しペン２５００等の入力手段が接触した位置の座標を検出することで、ストロークデータ（座標点列）の入力を受け付ける。描画データ生成部２２はペン２５００のペン先が接触した座標を入力受付部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

表示制御部２４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレー２２０に表示する。データ記録部２５は、表示装置２に手書きされた手書きデータ、変換された文字列、及び、ＰＣ（Personal Computer）の画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

領域変更部２８は、ストロークデータが認識グループに含まれるか否かが判断される近傍矩形１０２を、入力手段がタッチパネルから離れてから所定時間Ｔが経過するか否かで変更する。

除外部２９は、入力受付部２１が受け付けたストロークデータが所定の条件を満たす場合、近傍矩形１０２に手書きされたストロークデータであっても、認識グループから除外する。

また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはストロークデータ記憶部４１が構築されている。

図５は、ストロークデータ記憶部４１に記憶されるストロークデータを説明する図である。図５（ａ）は、ページデータを示す概念図である。ページデータは、ディスプレー２２０に表示される１ページ分のデータである。ページデータは、図５（ａ）に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ページに対しストローク等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、及び、入力手段によって生じたストローク配列データを識別するためのストローク配列データＩＤが関連付けて記憶されている。なお、図５では、文字認識後のテキストデータ、画像データ、表、図形などは省略されている。

ストローク配列データは、１つのストロークデータがディスプレー２２０に表示されるためのデータである。例えば、ユーザーが入力手段によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ユーザーが入力手段によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、図５（ｂ）に示されているように詳細な情報を示している。図５（ｂ）は、ストローク配列データを示す概念図である。１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、認識グループ、種類、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。

認識グループは、手書きデータがまとめて一文字以上の文字に文字認識されるストロークデータのグループである。種類は、ストロークデータが何の要素（文字の一部、図形の一部等）と判断されたかを示す。種類には英語の筆記体も含まれる。

更に、この座標配列データは、図５（ｃ）に示されているように詳細な情報を示している。図５（ｃ）は、座標配列データを示す概念図である。図５（ｃ）に示されているように、座標配列データは、ディスプレー２２０上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点におけるペン２５００の筆圧の各情報を示している。即ち、図５（ｃ）に示されている１点の集まりが、図５（ｂ）に示されている１つの座標配列データで示されている。例えば、ユーザーが入力手段によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

＜ストロークデータが同一認識グループとなる条件＞
図６、図７を参照して同一認識グループとなる条件を詳細に説明する。領域変更部２８は、ストロークデータの入力を連続で受け付けているか否かで、ストロークデータが認識グループに含まれるか否かが判断される領域を変更する。換言すると、入力手段がタッチパネルから離れてから所定時間が経過するか否かで、ストロークデータが認識グループに含まれるか否かが判断される領域を変更する。

Ａ．ペンアップから所定時間Ｔが経過していない場合（連続筆記中）
図６は、ペンアップから所定時間Ｔが経過していない場合の同一認識グループを示す図である。連続筆記中のストロークデータの外接矩形が認識グループ矩形１０１である。これに対し、近傍矩形１０２の領域は以下のように定義される。
「近傍矩形１０２の上端＝認識グループ矩形１０１の上端からβ１」
「近傍矩形１０２の左端＝認識グループ矩形１０１の左端からβ２」
「近傍矩形１０２の下端＝認識グループ矩形１０１の下端から認識グループ矩形１０１の幅Ｗ＋β３」
「近傍矩形１０２の右端＝認識グループ矩形１０１の右端から認識グループ矩形１０１の高さＨ＋β４」
近傍矩形１０２に含まれるストロークデータは一部がはみ出していても、ストロークデータのうちはみ出し分が所定の割合以下なら、近傍矩形１０２に手書きされたと判断される。また、認識グループ矩形１０１に手書きされたストロークデータは、近傍矩形１０２と見なしてもよいし、そうでなくてもよい。

したがって、認識グループ矩形１０１のストロークデータと近傍矩形１０２に含まれるストロークデータは同一認識グループとなる。

オフセットを、例えば、β１＝β２＝ 1.5 [cm]、β３＝β４＝ 2 [cm] とする。認識グループ矩形の幅Ｗが 1.5 [cm]、高さＨが 0.5 [cm] の場合、近傍矩形１０２の幅と高さは以下のようになる。

幅 ：β２ + (認識グループ矩形１０１の幅Ｗ) + (認識グループ矩形１０１の高さＨ) + β４= 5.5 [cm]
高さ：β１+ (認識グループ矩形１０１の高さＨ) + (認識グループ矩形１０１の幅Ｗ) + β３= 5.5 [cm]
なお、オフセットは、ディスプレー２２０のサイズや画素数、使用用途によって変わる。上記のオフセットは、約４０インチで画素数2880 x 2160のディスプレー２２０に、数人で共有できる手書きデータのサイズを想定した場合の一例である。連続筆記中でない場合も同様である。

認識グループ矩形１０１の「左」、「上」にオフセットβ１，β２によりストロークデータの手書きを受け付ける余裕をもたせるのは、日本語の文字は下又は右方向への筆記が多いが、稀にある左（「ふ」など）又は上方向（ｉ、ｊ等）の筆記を認識するためである。このため、β１、β２だけ左及び上方向に近傍矩形１０２が大きくされている。

認識グループ矩形１０１の「右」にストロークデータの手書きを受け付ける余裕をもたせるのは、漢字の成り立ちの特徴による。例えば「イ」(にんべん)の右にユーザーが連続筆記するケースでは、「イ」の高さが文字サイズと想定でき、右方向に文字サイズ分、近傍矩形１０２を大きくした。

認識グループ矩形１０１の「下」に付加長さが設定されるのは、漢字の成り立ちの特徴による。例えば「宀」(うかんむり)の下にユーザーが連続筆記するケースでは、「宀」の幅が文字サイズと想定でき、下方向に文字サイズ分、近傍矩形１０２を大きくした。

Ｂ．ペンアップから所定時間Ｔが経過した場合
図７は、ペンアップから所定時間Ｔが経過した場合の同一認識グループを示す図である。所定時間Ｔが経過するまでに手書きされたストロークデータの外接矩形が認識グループ矩形１０１である。これに対し、近傍矩形１０２の領域は以下のように定義される。

高さ：認識グループ矩形１０１の高さＨ
幅： 認識グループ矩形１０１の右端から認識グループ矩形１０１の高さＨ＋α
所定時間Ｔの経過後は日本語の横書きの文字サイズを想定して、文字サイズ分だけ右方向に近傍矩形１０２を設ける。領域変更部２８は、認識グループ矩形１０１に対し空白をあけてユーザーが右に書くことを想定して、オフセットαだけ右方向に大きくする。領域変更部２８は、すでに入力されているストロークデータの外接矩形の右側の領域のみを、ストロークデータが認識グループに含まれるか否かが判断される領域に決定する。

認識グループ矩形１０１の「お」と近傍矩形１０２に含まれるストロークデータは同一認識グループとなる。

オフセットを例えば、α＝ 3 [cm] とする。認識グループ矩形の幅が 4 [cm]、高さが 6 [cm] の場合、近傍矩形１０２の幅と高さとは以下となる。

幅 ： (認識グループ矩形１０１の高さＨ) + α＝ 9 [cm]
高さ：(認識グループ矩形１０１の高さＨ) ＝ 6 [cm]
以上のように、領域変更部２８は、入力手段がタッチパネルから離れてから所定時間Ｔが経過するか否かで、認識グループにストロークデータを含めるかどうかを変更できる。

＜同一認識グループとならない条件＞
近傍矩形１０２に手書きれたストロークデータでも同一認識グループに含めたくない場合は少なくない。図８を用いて説明する。図８では、手書きされた文字１１０と表１２０が混在している。ユーザーが文字１１０を手書きしながら表１２０の枠線を手書きした場合、文字１１０の手書き後、所定時間Ｔが経過しないで表１２０の枠線が手書きされる場合があるので、文字１１０だけを表１２０から切り離して表示装置２が文字認識することが困難になる。つまり、表１２０の枠線も「あ」という文字１１０とまとめて文字認識されるおそれがある。

また、ユーザーが表１２０の外に説明文１１１を書いて、表１２０の中の図形１１２などを矢印１１３で指し示すようにストロークデータが書き込まれる場合がある。この場合、「これ」という説明文１１１の手書きの後、所定時間Ｔが経過しても矢印１１３が近傍矩形１０２に含まれるため、「これ」と矢印１１３がまとめて文字認識されるおそれがある。

したがって、図８のような場合は、近傍矩形１０２に含まれるストロークデータであっても同一認識グループに含めないことが好ましい。

そこで、本実施形態の除外部２９は、以下のように、同一認識グループとならない条件を定める。

図９は、ストロークデータが同一認識グループとならない条件を説明する図である。除外部２９は、ストロークデータが以下の条件(i)(ii)のいずれかを満たした場合に、ストロークデータが近傍矩形１０２に含まれても、例外的に該ストロークデータを同一認識グループから除外する。
(i) ストロークデータの高さが閾値ａより大きい
(ii) ストロークデータの幅が閾値ｂより大きい、かつ、高さが閾値ｃより小さい
なお、閾値ａ、ｂ（第一の閾値、第二の閾値の一例）は例えば９〔cm〕、閾値ｃ（第三の閾値の一例）は例えば2.5〔cm〕などでよいが、ディスプレー２２０の大きさや画素数、文字を何人で共有するか等により様々である。

(i)の条件は、文字の最大高さとして閾値ａを設定し、これを超えるストロークデータは図形と判断するための条件である。(ii)の条件は、一般的な文字の最大幅として閾値ｂを超えるストロークデータは図形、又は、英語の筆記体を１つの認識グループに含めるための条件である。

図９の閾値ａ、ｂ、ｃで区切った領域１～４を用いてストロークデータが同一認識グループと判断されるか否かを説明する。

・領域１，２に全体が入るストロークデータは、(i)(ii)を満たさないので日本語文字である。よって、領域１，２に全体が入るストロークデータは、同一認識グループから除外されない。

・領域１，２、３に全体が入るストロークデータは、(i)(ii)を満たさないので日本語文字である。よって、領域１，２、３に全体が入るストロークデータは、同一認識グループから除外されない。これにより、英語の筆記体に対応することができる。つまり、「English」などのように筆記体（一筆）で手書きされたストロークデータがあっても、同一認識グループから除外されない（図形とはみなされない）ので、表示装置２が文字として認識できる。なお、領域１，２、３に全体が入るストロークデータを英語の筆記体として認識することもできる。

・領域２，４に全体が入るストロークデータは、(ii)を満たすので図形（例えば横線）である。よって、領域２，４に全体が入るストロークデータは、同一認識グループから除外される。

・領域１～４に全体が入るストロークデータは、(i)(ii)を満たさないので日本語文字である。よって、領域１～４に全体が入るストロークデータは、同一認識グループから除外されない。この場合も英語の筆記体を認識可能になる。

このように除外部２９は、ストロークデータが(i)(ii)の条件を満たすか否かに応じて、近傍矩形１０２に含まれるストロークデータでも、強制的に同一認識グループでないとみなす。これにより、図形と文字が混在して手書きされるような場合でも、文字と図形を切り分けて文字認識部２３が文字を認識できる。

なお、(i)(ii)以外に、同一認識グループとならない以下のような条件がある。
・ストロークデータが近傍矩形に含まれない場合
・使用中のペン２５００で直前の動作に「文字変換」等、ストローク描画ではない処理が入った場合
・エリア制御など特殊な例で、別エリアへの筆記とみなされた場合
・ペン種が異なる場合

＜動作手順＞
図１０は、文字認識部２３が同一認識グループのストロークデータを決定する手順を説明するフローチャート図である。図１０の処理は表示装置２の起動中、繰り返し実行される。

入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示する。除外部２９は、ストロークデータが同一認識グループとならない条件を満たすか否かを判断する（Ｓ１）。同一認識グループとならない条件を満たさないストロークデータのみが以降の処理の対象となる。ステップＳ１の判断については図１１のフローチャート図で説明する。

領域変更部２８は、ステップＳ１のストロークデータの手書きが終わってペンアップしてから所定時間Ｔが経過した否かを判断する（Ｓ２）。

所定時間Ｔが経過していない状態で（Ｓ２のＹｅｓ）、入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示する。除外部２９は、ステップＳ３のストロークデータが同一認識グループとならない条件を満たすか否かを判断する（Ｓ３）。同一認識グループとならない条件を満たさないストロークデータのみが以降の処理の対象となる。

次に、領域変更部２８は、ステップＳ１のストロークデータに基づいて連続筆記中の近傍矩形１０２を設定し、ステップＳ３で手書きされたストロークデータが、この近傍矩形１０２に含まれるか否かを判断する（Ｓ４）。

ステップＳ３のストロークデータが近傍矩形１０２に含まれる場合（Ｓ４のＹｅｓ）、領域変更部２８は、ステップＳ１とＳ３のストロークデータが同一認識グループであると判断する（Ｓ５）。

ステップＳ３のストロークデータが近傍矩形１０２に含まれない場合（Ｓ４のＮｏ）、領域変更部２８は、ステップＳ１とＳ３のストロークデータが同一認識グループでないと判断する（Ｓ６）。

ステップＳ１のストロークデータの手書きが終わってペンアップしてから所定時間Ｔが経過した状態で（Ｓ２のＮｏ）、入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示する。除外部２９は、ストロークデータが同一認識グループとならない条件を満たすか否かを判断する（Ｓ７）。同一認識グループとならない条件を満たさないストロークデータのみが以降の処理の対象となる。

次に、領域変更部２８は、ステップＳ１のストロークデータに基づいて所定時間Ｔの経過後の近傍矩形１０２を設定し、ステップＳ７で手書きされたストロークデータが、この近傍矩形１０２に含まれるか否かを判断する（Ｓ８）。

ステップＳ７のストロークデータが近傍矩形１０２に含まれる場合（Ｓ８のＹｅｓ）、領域変更部２８は、ステップＳ１とＳ７のストロークデータが同一認識グループであると判断する（Ｓ５）。

ステップＳ７のストロークデータが近傍矩形１０２に含まれない場合（Ｓ８のＮｏ）、領域変更部２８は、ステップＳ１とＳ７のストロークデータが同一認識グループでないと判断する（Ｓ６）。

図１１は、図１０のステップＳ１、Ｓ３、Ｓ７で説明した、ストロークデータが同一認識グループとならない条件を満たすか否かを判断するフローチャート図である。

入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示する（Ｓ１１）。

除外部２９は、ストロークデータの高さが閾値ａより大きいか否かを判断する（Ｓ１２）。

ストロークデータの高さが閾値ａ以下の場合（Ｓ１２のＮｏ）、除外部２９は、ステップＳ１１のストロークデータの幅が閾値ｂより大きく、かつ、ストロークデータの高さが閾値ｃより小さいか否かを判断する（Ｓ１３）。

ステップＳ１２又はステップＳ１３のいずれかの判断がＹｅｓの場合、除外部２９は、ステップＳ１１で手書きされたストロークデータを同一認識グループから除外する（Ｓ１４）。

ステップＳ１３の判断がＮｏの場合、領域変更部２８は、ステップＳ１１で手書きされたストロークデータを同一認識グループの判断対象とする。つまり、ステップＳ１１で手書きされたストロークデータは、図１０の処理で近傍矩形１０２に含まれるかどうかが判断される。

＜文字の認識結果の一例＞
図１２を参照して、手書きデータの認識結果について説明する。図１２は認識結果を表示する操作ガイド５００と操作ガイドが表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４を手書きし、ペンアップすると一定時間の経過で操作ガイド５００が表示される。この一定時間は所定時間Ｔと異なってもよいし、同じでもよい。

操作ガイド５００は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、及び、文字列/予測変換の候補５０８を表示する。なお、選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

手書きデータ５０４はユーザーが手書きした「おは」という文字である。つまり、本実施形態の近傍矩形１０２により「おは」が同一認識グループと判断された。同一認識グループの手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図１２では二文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。中断までに同一認識グループに含まれるストロークデータがまとめて一文字以上に文字認識される。したがって、手書きデータ５０４の文字数は任意である。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「おは」は認識結果の候補である。この例では、文字認識部２３が正しく「おは」を認識している。

変換文字列候補５０７は「おは」のカナ漢字変換の結果（例えば「オハ」「尾は」「尾羽」）又はカナ漢字変換の結果から変換された変換文字列候補（例えば「おは」を含む熟語）である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「おはようのあいさつ」と「尾は黒い」が表示されている。

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図１２の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図１２では「おは」の手書き認識文字列候補５０６が、定義データと部分一致したため、操作コマンドの候補５１０が表示されている。

操作コマンドの候補５１０は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。ボタン５０２は候補表示のページ操作をする。図１２の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると図１２に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

＜主な効果＞
本実施形態の表示装置は、まとめて認識すべき複数のストロークデータが、連続筆記中か否かで異なることに着目して、所定時間Ｔに応じて同一認識グループに含める近傍矩形１０２を変更するので、近傍矩形１０２を適切に設定できる。

また、近傍矩形１０２に含まれるストロークデータであっても同一認識グループとならない条件に適合するストロークデータを同一認識グループから除外するので、ユーザーが文字と図形を混在させて手書きするような状況でも、文字を精度よく認識できる。

本実施例では、サーバー装置１２が文字認識を行う表示システム１９について説明する。

図１３は、表示システム１９の概略構成図の一例である。インターネット等のネットワークを介して表示装置２とサーバー装置１２とが接続されている。

このような表示システム１９の場合、表示装置２は、図４に示した、入力受付部２１、描画データ生成部２２、表示制御部２４、ネットワーク通信部２６、及び操作受付部２７を有する。

一方、サーバー装置１２は、文字認識部２３、データ記録部２５、領域変更部２８、除外部２９、及び、ネットワーク通信部を有する。

表示装置２のネットワーク通信部２６はサーバー装置１２に、ストロークデータを送信する。サーバー装置１２は、図１０，図１１のフローチャート図と同様の処理を行い、認識結果を表示装置２に送信する。

このように、表示システム１９によれば、表示装置２とサーバー装置１２がインタラクティブにテキストデータを表示できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、日本語の手書きを想定して近傍矩形１０２が設定されたが、左から右に筆記する言語でないばあい、筆記方向に応じて近傍矩形１０２が設定される。

また、本実施形態では、ストロークデータが主に日本語に変換されているが、ストロークデータの変換先の言語は他の言語（英語、中国語、ヒンドゥー語、スペイン語、フランス語、アラビア語、ロシア語等）でよい。

また、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

２ 表示装置
１９ 表示システム
２１ 入力受付部
２３ 文字認識部
２８ 領域変更部
２９ 除外部
１０１ 認識グループ矩形
１０２ 近傍矩形

特開２０１９－２２０１５５号公報

Claims (10)

1. 認識グループに含まれる複数のストロークデータを文字認識する表示装置であって、
   入力手段がタッチパネルに入力したストロークデータを受け付ける入力受付部と、
   前記入力受付部が受け付けた前記ストロークデータを表示する表示制御部と、
   前記ストロークデータが前記認識グループに含まれるか否かが判断される領域を、前記入力手段がタッチパネルから離れてから所定時間が経過するか否かで変更する領域変更部と、を有し、
   前記入力手段がタッチパネルから離れてから所定時間が経過した場合、前記領域変更部は、すでに入力されている前記ストロークデータのうち、現在の認識グループに含まれるストロークデータの外接矩形の右側の領域のみを、前記ストロークデータが前記現在の認識グループに含まれるか否かが判断される領域に決定する表示装置。
2. 前記領域変更部は、前記入力受付部が連続して前記ストロークデータの入力を受け付けているか否かで、前記ストロークデータが認識グループに含まれるか否かが判断される領域を変更する請求項１に記載の表示装置。
3. 前記領域変更部は、前記入力手段がタッチパネルから離れてから所定時間が経過するか否かで、前記認識グループに前記ストロークデータを含めるかどうかを変更する請求項１に記載の表示装置。
4. 前記入力手段がタッチパネルから離れてから所定時間が経過していない場合、前記領域変更部は、すでに入力されている前記ストロークデータのうち、前記現在の認識グループに含まれるストロークデータの外接矩形の上側、左側、下側、及び、右側の領域を、前記ストロークデータが前記認識グループに含まれるか否かが判断される領域に決定する請求項１～３のいずれか１項に記載の表示装置。
5. 前記右側の領域は、高さが前記ストロークデータの外接矩形の高さと同じで、幅が前記ストロークデータの外接矩形の高さにオフセットを加えた領域である請求項１に記載の表示装置。
6. 前記ストロークデータの外接矩形の上側の領域の高さは前記外接矩形に対しオフセットだけ高く、左側の領域は前記外接矩形に対しオフセットだけ左側に長く、下側の領域は前記外接矩形に対し前記外接矩形の幅とオフセットだけ下側に長く、右側の領域は前記外接矩形に対し前記外接矩形の高さとオフセットだけ右側に長い請求項４に記載の表示装置。
7. 前記入力受付部が受け付けた前記ストロークデータが所定の条件を満たす場合、前記領域に手書きされたストロークデータを前記現在の認識グループから除外する除外部を有する請求項１～６のいずれか１項に記載の表示装置。
8. 前記条件は、前記入力受付部が受け付けた前記ストロークデータの高さが第一の閾値より大きい、又は、前記入力受付部が受け付けた前記ストロークデータの幅が第二の閾値より大きい、かつ、高さが第三の閾値より小さいことである請求項７に記載の表示装置。
9. 認識グループに含まれる複数のストロークデータを文字認識する表示装置を、
   入力手段がタッチパネルに入力したストロークデータを受け付ける入力受付部と、
   前記入力受付部が受け付けた前記ストロークデータを表示する表示制御部と、
   前記ストロークデータが前記認識グループに含まれるか否かが判断される領域を、前記入力手段がタッチパネルから離れてから所定時間が経過するか否かで変更する領域変更部、として機能させ、
   前記入力手段がタッチパネルから離れてから所定時間が経過した場合、前記領域変更部は、すでに入力されている前記ストロークデータのうち、現在の認識グループに含まれるストロークデータの外接矩形の右側の領域のみを、前記ストロークデータが前記現在の認識グループに含まれるか否かが判断される領域に決定するためのプログラム。
10. 認識グループに含まれる複数のストロークデータを文字認識する表示装置が行う領域変更方法であって、
    入力手段がタッチパネルに入力したストロークデータを受け付けるステップと、
    受け付けた前記ストロークデータを表示するステップと、
    前記ストロークデータが前記認識グループに含まれるか否かが判断される領域を、前記入力手段がタッチパネルから離れてから所定時間が経過するか否かで変更するステップと、
    を有し、
    前記入力手段がタッチパネルから離れてから所定時間が経過した場合、すでに入力されている前記ストロークデータのうち、現在の認識グループに含まれるストロークデータの外接矩形の右側の領域のみを、前記ストロークデータが前記現在の認識グループに含まれるか否かが判断される領域に決定する領域変更方法。

Images