JP7351374B2

JP7351374B2 - 表示装置、表示プログラム、表示方法

Info

Publication number: JP7351374B2
Application number: JP2022089897A
Authority: JP
Inventors: 拓郎吉田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2021-09-07
Filing date: 2022-06-01
Publication date: 2023-09-27
Anticipated expiration: 2042-06-01
Also published as: JP2023038894A

Description

本発明は、表示装置、表示プログラム、表示方法に関する。

従来では、手書き文字入力と手書き図形入力のモード切替を自動的に行う技術が知られている。

上述した従来の表示装置では、ユーザが任意に手書き入力を行った場合に、ユーザの意図しない図形として認識される可能性がある。

本発明は、上記課題に鑑み、ユーザの意図する図形を表示させることを目的とする。

上記課題に鑑み、本発明は、手書きによるストロークデータの入力を受け付ける入力受付部と、前記ストロークデータが、第一の条件を満たす場合に、前記ストロークデータを図形を示すストロークデータであると判定するストローク判定部と、入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定するグループ判定部と、前記グループに含まれるストロークデータに基づいて、前記図形を予測した予測変換候補を出力する図形予測部と、前記図形を予測した結果を表示させる表示制御部と、を有し、前記グループ判定部は、前記第一の条件を満たすストロークデータの入力が完了してから所定時間以内に入力され、且つ、前記第一の条件及び第二の条件を満たすストロークデータを、前記第一の条件を満たすストロークデータと同一のグループのストロークデータとし、前記表示制御部は、前記図形を予測した予測変換候補の一覧をディスプレーに表示させ、前記第一の条件は、前記ストロークデータと対応する表示物から得られた第一の矩形の高さが、第一の高さ閾値より大きい、又は、前記第一の矩形の高さが第二の高さ閾値より小さく、且つ、前記第一の矩形の幅が幅閾値より大きいことであり、前記第二の条件は、前記第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応する表示物が、前記第一の条件を満たすストロークデータと対応する表示物から得られた前記第一の矩形を含む第二の矩形と交差することである、表示装置である。

ユーザの意図する図形を表示させることができる。

第一の実施形態の表示装置の全体構成図の一例である。表示装置のハードウェア構成図の一例である。第一の条件について説明する図である。第一の実施形態の外接矩形と近傍矩形について説明する図である。第二の条件を説明する図である。第一の実施形態の表示装置が有する機能を説明する機能ブロック図の一例である。ストロークデータ記憶部に記憶されるストロークデータを説明する図である。第一の実施形態の表示装置の動作を説明する第一のフローチャートである。第一の実施形態の表示装置の動作を説明する第二のフローチャートである。図形の予測変換候補の表示例を説明する図である。第二の実施形態の表示システムのシステム構成の一例を示す図である。第三の条件について説明する図である。第三の実施形態の外接矩形について説明する図である。第三の実施形態の近傍矩形について説明する図である。第四の条件について説明する第一の図である。第四の条件について説明する第二の図である。第三の実施形態の表示装置が有する機能を説明する機能ブロック図の一例である。第三の実施形態の表示装置の動作を説明する第一のフローチャートである。第三の実施形態の表示装置の動作を説明する第二のフローチャートである。表の予測変換候補の表示例を説明する第一の図である。表の予測変換候補の表示例を説明する第二の図である。

（第一の実施形態）
以下に、図面を参照して、本実施形態について説明する。図１は、第一の実施形態の表示装置の全体構成を説明する図である。図１（ａ）では、表示装置の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図１（ａ）に示されているように、表示装置２は表示装置２の一例としてのディスプレー２２０が設置されている。ユーザＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

また、図１（ｂ）は、壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図１（ｃ）は、机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザは表示装置２を容易に移動できる。

なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

次に、図２を参照して、表示装置２のハードウェア構成を説明する。図２は、表示装置のハードウェア構成の一例を示す図である。

本実施形態の表示装置２は、図示するように、情報処理装置又はコンピュータの構成を有している。図２に示すように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、ＯＳや表示装置用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。この場合、普段は汎用的な情報処理装置として利用されるが、ユーザがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザが手書きすることができる。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザの手等（ペンやユーザの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。

タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図１（ａ）、図１（ｂ）、又は、図１（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザ用で、ユーザは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザ用で、ユーザは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は、隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は、表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

ここで、本実施形態の表示装置２における図形の認識について説明する。本実施形態の表示装置２は、入力手段により手書き入力されたストロークデータが、予め決められた第一の条件を満たす場合に、このストロークデータを、図形の一部となるストロークデータと判定する。

また、本実施形態では、図形の一部と判定されたストロークデータに続いて、所定時間内に入力されたストロークデータが、第一の条件及び予め決められた第二の条件を満たす場合に、この２つのストロークデータを１つの図形に含まれるストロークデータと判定する。

言い換えれば、本実施形態では、第一の条件を満たすストロークデータの入力の完了から所定時間以内に入力されたストロークデータが、第一及び第二の条件を満たす場合に、これらのストロークデータを、図形を形成する１つのグループとして認識する。

そして、本実施形態の表示装置２は、ストロークデータのグループが示す図形の認識を行い、認識結果として、図形の候補の一覧を表示させる。図形の詳細は後述する。

なお、ストロークデータの入力の完了とは、ペンアップを検知することである。ペンアップとはディスプレー（タッチパネル）に接触していた入力手段がディスプレーから離れることをいう。

また、本実施形態では、ユーザがディスプレー２２０に入力手段を押しつけてから連続的に移動させた後、ディスプレー２２０から離すという一連の操作をストロークという。また、入力手段は、タッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、入力手段は、ペン、人の指や手、棒状部材などがある。

ストロークは、ディスプレー２２０に接触することなく、ユーザの動きを追跡することを含む。この場合、例えば、ユーザのジェスチャー、ユーザの手または足によるボタンの押下、または他の方法により、ストロークを開始させてもよいし、マウスやポインティングデバイスを使用してストロークを開始させてもよい。

さらに、同じ又は異なるユーザのジェスチャー、ボタンを離す、または他の方法により、ストロークを終了させてもよいし、マウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

また、本実施形態のストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレー２２０に表示される情報である。ストロークデータは適宜、補間されてよい。

手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザによって、手書きデータが入力されることを示す。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、またはユーザの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、またはユーザによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本実施形態では、手書き入力および手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。

また、本実施形態では、ストロークデータに基づいてディスプレー２２０に表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。

より具体的には、オブジェクトとは、表示装置２に対して入力されたストロークデータに対して、手書き認識を行った結果として得られる表示物である。この表示物は、ストロークデータが示すストローク画像であってもよい。また、ストロークデータに対して手書き認識処理を行った結果として得られた表示物は、ストロークデータと対応するオブジェクトと表現される場合がある。ストロークデータは、オブジェクトを示すストロークデータと表現される場合がある。

ストロークデータを手書き認識によって変換したオブジェクトには、文字列の他、「済」などの決まった文字やマークとして表示されるスタンプ、図形等が含まれてよい。

ここで、図形について説明する。以下の説明における「図形」とは、円形、多角形、星形等のような様々な形状、直線、曲線、表等を含む。言い換えれば、以下の説明における「図形」は、文字の一部又は文字以外のものとして認識されるオブジェクトである。

図３は、第一の条件について説明する図である。

本実施形態では、ストロークデータと対応するオブジェクトに外接する外接矩形の幅と高さが、予め決められた範囲であることを第一の条件とする。言い換えれば、第一の条件を満たすストロークデータとは、ストロークデータと対応するオブジェクトの外接矩形の幅と高さが、予め決められた範囲にあるストロークデータである。

図３では、横軸が外接矩形の幅を示し、縦軸が外接矩形の高さを示す。本実施形態の表示装置２では、例えば、外接矩形の幅がｂ以下であり、高さがａ以下である場合には、このオブジェクトを、日本語文字として認識する。

また、本実施形態の表示装置２は、例えば、外接矩形の幅がｂより大きく、高さがｃより大きくａ以下である場合には、このオブジェクトを、英語筆記体の一部として認識する。

このように、本実施形態では、入力されたストロークデータと対応するオブジェクトの外接矩形の幅と高さに基づき、入力されたストロークデータが示す文字の種類等を認識している。このため、入力されたストロークデータが示す文字の種類等は、言い換えれば、入力されたストロークデータと対応するオブジェクトの外接矩形の幅と高さに基づき認識される。

ここで、本実施形態では、外接矩形の高さがａ（第一の高さ閾値）より大きいこと、又は、外接矩形の幅がｂ（第一の幅閾値）より大きく、且つ、高さがｃ（第二の高さ閾値）より小さいこと、を第一の条件とする。そして、表示装置２は、第一の条件を満たすストロークデータを、図形の一部と判定する。言い換えれば、第一の条件を満たすストロークデータとは、ストロークデータと対応するオブジェクトが、文字の一部又は文字以外のものとして認識されるストロークデータである。

次に、図４を参照して、本実施形態の外接矩形と近傍矩形について説明する。図４は、外接矩形と近傍矩形について説明する図である。図４（ａ）は、外接矩形について説明する図であり、図４（ｂ）は、近傍矩形について説明する図である。

図４（ａ）に示すように、外接矩形４０１は、ディスプレー２２０に表示されたオブジェクトＯｂ００１に外接する矩形である。オブジェクトＯｂ００１とは、オブジェクトＯｂ００１と対応するストロークデータに対して手書き認識処理を行った結果として得られた表示物である。

本実施形態では、外接矩形４０１の幅と高さに、予め設定された固定値αを加算した幅と高さの矩形を、近傍矩形４０２とする。つまり、本実施形態における、入力されたストロークデータと対応するオブジェクトの近傍矩形とは、入力されたオブジェクトの外接矩形に基づき決められる矩形である。

本実施形態の固定値αは、例えば、ディスプレーのサイズや画素数、使用用途等に応じて決められてよい。本実施形態では、例えば、４０インチのディスプレー（画素数２８８０×２１６０）に、数人が手書き入力できる文字のサイズを想定した場合、固定値αを３ｃｍとしてもよい。

この場合、外接矩形４０１の幅が１５ｃｍであり、高さが１３ｃｍである場合、近傍矩形４０２の幅は１８ｃｍとなり、高さは１６ｃｍとなる。

図５は、第二の条件を説明する図である。

本実施形態では、第一の条件を満たすストロークデータの入力の完了から、所定時間以内に入力されたストロークデータが、第一の条件を満たし、且つ、所定時間以内に入力されたストロークデータと対応するオブジェクトが、直前に入力されたストロークデータと対応するオブジェクトの近傍矩形と交差する場合に、所定時間以内に入力されたストロークデータを、直前に入力されたストロークデータと同じグループとする。

つまり、第二の条件とは、ストロークデータと対応するオブジェクトが直前に入力されたストロークデータと対応するオブジェクトの近傍矩形と交差することである。より具体的には、第二の条件とは、第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応するオブジェクトが、第一の条件を満たすストロークデータと対応するオブジェクトの近傍矩形と交差することである。

言い換えれば、第二の条件を満たすストロークデータとは、第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータであって、且つ、このストロークデータと対応するオブジェクトが、第一の条件を満たすストロークデータと対応するオブジェクトの近傍矩形と交差する、ストロークデータである。

図５では、オブジェクトＯｂ００１を示すストロークデータが入力された直後に、オブジェクトＯｂ００２を示すストロークデータが入力され、オブジェクトＯｂ００３を示すストロークデータ、オブジェクトＯｂ００４を示すストロークデータと入力された場合を示している。

このとき、オブジェクトＯｂ００２は、第一の条件を満たす。また、オブジェクトＯｂ００２は、領域５０１において、オブジェクトＯｂ００１の近傍矩形４０２と交差している。したがって、オブジェクトＯｂ００２は、第一の条件及び第二の条件を満たす。このため、表示装置２は、オブジェクトＯｂ００１とオブジェクトＯｂ００２とを１つのグループとして認識する。

図５の例では、同様にして、オブジェクトＯｂ００２とオブジェクトＯｂ００３とが１つのグループとして認識され、さらに、オブジェクトＯｂ００３とオブジェクトＯｂ００２とが１つのグループとして認識さたれ場合を示している。つまり、図５の例では、オブジェクトＯｂ００１からオブジェクトＯｂ００４までの４つのオブジェクトを示すストロークデータが、１つの図形を形成するストロークデータのグループとして認識される。

本実施形態の表示装置２は、このストロークデータのグループに基づき、図形の認識を行い、認識結果となる候補の一覧をディスプレーに表示させる。

次に、図６を参照して、表示装置２の機能について説明する。図６は、第一の実施形態の表示装置が有する機能を説明する機能ブロック図の一例である。

表示装置２は、入力受付部２１、描画データ生成部２２、ストローク判定部２３、グループ判定部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、図形予測部２８、及び、表示制御部２９を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

入力受付部２１はタッチセンサー２１６に対しペン２５００等の入力手段が接触した位置の座標を検出することで、ストロークデータ（座標点列）の入力を受け付ける。描画データ生成部２２はペン２５００のペン先が接触した座標を入力受付部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。

ストローク判定部２３は、ユーザが手書きしたストロークデータ（手書きデータ）が、図形を示すストロークデータであるか否かを判定する。言い換えれば、ストローク判定部２３は、ストロークデータと対応するオブジェクトが第一の条件を満たすか否かを判定する。

グループ判定部２４は、ストロークデータが、直前に入力されたストロークデータと同一グループのストロークデータとなるか否かを判定する。言い換えれば、グループ判定部２４は、ストロークデータと対応するオブジェクトが第二の条件を満たすか否かを判定する。

データ記録部２５は、表示装置２に手書き入力されたストロークデータ、手書き認識により変換されたオブジェクト、及び、ＰＣ（Personal Computer）の画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６は、ＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。操作受付部２７は、表示装置２に対する各種の操作を受け付ける。

図形予測部２８は、グループ判定部２４により１つのグループとされた複数のストロークデータから、描画された図形を予測し、予測した結果を予測変換候補として出力する。図形の予測方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

表示制御部２９は、ストロークデータ、ストロークデータから手書き認識により変換されたオブジェクト、及び、ユーザが操作するための操作メニューなどをディスプレー２２０に表示させる。また、本実施形態の表示制御部２９は、図形予測部２８から出力される予測変換候補をディスプレー２２０に表示させる。

また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはストロークデータ記憶部４１が構築されている。

図７は、ストロークデータ記憶部に記憶されるストロークデータを説明する図である。図７（ａ）は、ページデータを示す概念図である。

ページデータは、ディスプレー２２０に表示される１ページ分のデータである。ページデータは、図７（ａ）に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ページに対し手書き等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、及び、入力手段によって生じたストローク配列データを識別するためのストローク配列データＩＤが関連付けて記憶されている。なお、図７では、文字認識後のテキストデータ、画像データ、図形などは省略されている。

ストローク配列データは、１つのストロークデータがディスプレー２２０に表示されるためのデータである。例えば、ユーザが入力手段によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ユーザが入力手段によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、図７（ｂ）に示すように詳細な情報を示している。図７（ｂ）は、ストローク配列データを示す概念図である。１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、ストロークデータが含まれるグループ、種類、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。

本実施形態のグループは、１つのオブジェクトとして認識されるストロークデータのグループである。種類は、ストロークデータを含むグループの種類を示す。なお、図７（ｂ）の例では、ストロークデータを含むグループの種類は、図形とされているが、グループの種類には、日本語文字、数字、英語、英語の筆記体も含まれる。また、図形には、例えば、表等が含まれてもよい。

更に、この座標配列データは、図７（ｃ）に示されているように詳細な情報を示している。図７（ｃ）は、座標配列データを示す概念図である。図７（ｃ）に示されているように、座標配列データは、ディスプレー２２０上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点におけるペン２５００の筆圧の各情報を示している。即ち、図７（ｃ）に示されている１点の集まりが、図７（ｂ）に示されている１つの座標配列データで示されている。例えば、ユーザが入力手段によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

次に、図８及び図９を参照して、本実施形態の表示装置２の動作について説明する。図８は、第一の実施形態の表示装置の動作を説明する第一のフローチャートである。図８の処理は表示装置２の起動中、繰り返し実行される。

表示装置２において、入力受付部２１は、図形の一部として認識されるストロークデータの入力を受け付ける（Ｓ８０１）。ステップＳ８０１の詳細は後述する。

続いて、ストローク判定部２３は、ステップＳ８０１のストロークデータの入力（手書き）が終わってペンアップしてから所定時間Ｔが経過した否かを判定する（ステップＳ８０２）。

ステップＳ８０２において、所定時間Ｔが経過した場合（ステップＳ８０２でＹｅｓ）、表示装置２は、後述するステップＳ８０７へ進む。

ステップＳ８０２において、所定時間Ｔが経過していない場合（ステップＳ８０２でＮｏ）、入力受付部２１が、図形の一部として認識されるストロークデータの入力を受け付ける（ステップＳ８０３）。ステップＳ８０３の詳細は後述する。

続いて、表示装置２は、グループ判定部２４により、ステップＳ８０３で入力されたストロークデータが、ステップＳ８０１で入力されたストロークデータと対応するオブジェクトの近傍矩形と交わっているか否かを判定する（ステップＳ８０４）。言い換えれば、グループ判定部２４は、ステップＳ８０３で入力されたストロークデータが、第二の条件を満たすか否かを判定している。

ステップＳ８０４において、該当するオブジェクトが近傍矩形と交わっている場合、グループ判定部２４は、ステップＳ８０１で入力されたストロークデータと、ステップＳ８０３で入力されたストロークデータとを、同じグループのストロークデータと認識し（ステップＳ８０５）、ステップＳ８０２へ戻る。

ステップＳ８０４において、該当するオブジェクトが近傍矩形と交わっていない場合、表示装置２は、ステップＳ８０１で入力されたストロークデータと、ステップＳ８０３で入力されたストロークデータとを、同じグループのストロークデータとは認識しない（ステップＳ８０６）。続いて、表示装置２は、図形予測部２８により、グループ内に含まれるストロークデータ群と対応するオブジェクト群に基づき、描画された図形を予測し、表示制御部２９により、予測変換候補をディスプレー２２０に表示させる（ステップＳ８０７）。予測変換候補の表示例の詳細は後述する。

次に、図９を参照して、図８のステップＳ８０１とステップＳ８０３の処理について説明する。図９は、第一の実施形態の表示装置の動作を説明する第二のフローチャートである。本実施形態において、図８のステップＳ８０１で実行される処理と、ステップＳ８０３で実行される処理とは同様である。

表示装置２は、入力受付部２１により、入力手段が接触した座標を検出し、描画データ生成部２２によりストロークデータを生成し、表示制御部２９により、ストロークデータと対応するオブジェクトをディスプレー２２０に表示させる（ステップＳ９０１）。

続いて、表示装置２は、ストローク判定部２３により、ステップＳ９０１で入力されたストロークデータと対応するオブジェクトの外接矩形の高さが、高さａより大きいか否かを判定する（ステップＳ９０２）。言い換えれば、ストローク判定部２３は、ステップＳ９０１で入力されたストロークデータと対応するオブジェクトの外接矩形の高さが、第一の高さ閾値より大きいか否かを判定している。

ステップＳ９０２において、外接矩形の高さが、高さａより大きい場合、ストローク判定部２３は、ステップＳ９０１に入力されたストロークデータは、第一の条件を満たすものとして、図形の一部であるストロークデータと判定し（ステップＳ９０３）、図８のステップＳ８０２又はステップＳ８０３へ進む。

また、ステップＳ９０２において、外接矩形の高さが、高さａ以下である場合、ストローク判定部２３は、外接矩形の高さが高さｃより小さく、且つ、外接矩形の幅がよりも大きいか否かを判定する（ステップＳ９０４）。言い換えれば、ストローク判定部２３は、ステップＳ９０１で入力されたストロークデータと対応するオブジェクトの外接矩形の高さが第二の閾値より大きく、且つ、外接矩形の幅が第一の幅閾値より大きいか否かを判定している。

ステップＳ９０４において、ステップＳ９０１で入力されたストロークデータと対応するオブジェクトの外接矩形が、上述した条件を満たす場合、ストローク判定部２３は、ステップＳ９０３へ進む。ステップＳ９０４において、外接矩形が上述する条件を満たさない場合、表示装置２は、処理を終了する。

このように、表示装置２は、図９に示すように、入力されたストロークデータが、第一の条件を満たすストロークデータであるか否かを判定する処理を行っている。

なお、本実施形態では、入力されたストロークデータが、第一の条件を満たすストロークデータであるか否かを判定する際に、入力されたストロークデータと対応するオブジェクトの外接矩形の高さと幅を用いるものとしたが、これに限定されない。

本実施形態では、例えば、ストロークデータが、第一の条件を満たすストロークデータであるか否かを判定する際に、このストロークデータと対応するオブジェクトから得られる第一の矩形の高さと幅を用いてもよい。

オブジェクトから得られる第一の矩形とは、オブジェクトの外接矩形の高さと幅に対して予め設定された固定値を加算して得られる矩形であってもよく、オブジェクトの外接矩形を含む矩形であってよい。ここで加算される値は、例えば、固定値αよりも小さい値であってよい（図４、図１４参照）。また、第一の矩形は、オブジェクトの外接矩形の高さと幅から予め設定された固定値を減算して得られる矩形であってもよい。

言い換えれば、本実施形態における、第一の条件は、ストロークデータと対応するオブジェクトから得られる第一の矩形の高さが、第一の高さ閾値より大きい、又は、第一の矩形の高さが第二の高さ閾値より小さく、且つ、第一の矩形の幅が幅閾値より大きいことである。

また、本実施形態では、入力されたストロークデータが、第二の条件を満たすストロークデータであるか否かを判定する際に、このストロークデータと対応するオブジェクトの外接矩形から得られる近傍矩形を用いるものとしたが、これに限定されない。

本実施形態では、第一の矩形から得られる第二の矩形を、第二の条件を満たすか否かを判定する際の近傍矩形として、用いてもよい。

第二の矩形は、第一の矩形の高さと幅とに対して予め設定された固定値を加算して得られる矩形であり、第一の矩形を含む。

言い換えれば、本実施形態において、第二の条件とは、第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応するオブジェクトが、第一の条件を満たすストロークデータと対応するオブジェクトの第一の矩形を含む第二の矩形と交差することである。

次に、図１０を参照して、図形の予測変換候補の表示例について説明する。図１０は、図形の予測変換候補の表示例を説明する図である。

図１０では、オブジェクトＯｂ００１を示すストロークデータからオブジェクトＯｂ００４を示すストロークデータまでが１つのグループとされた場合を示している。

この場合、表示装置２は、図形予測部２８により、１つのグループとされたストロークデータ群に基づき、ストロークデータ群が示す図形を予測する。具体的には、図形予測部２８は、１つのグループとされたストロークデータ群と対応するオブジェクト群の外接矩形１０１内に描画された図形の候補を予測する。そして、表示装置２は、表示制御部２９により、予測された図形の候補を、予測変換候補の一覧１０２として、外接矩形１０１の近傍に表示させる。

表示装置２は、一覧１０２から図形が選択されると、外接矩形１０１に描画されたオブジェクトを消去し、選択された図形と対応する画像１０３を表示させる。

図１０の例では、ペン２５００により、一覧１０２から「ひし形」が選択されている。したがって、表示制御部２９は、外接矩形１０１内のオブジェクトＯｂ００１からオブジェクトＯｂ００４を消去し、外接矩形１０１内に、ひし形の画像１０３を描画する。

本実施形態では、このように、図形の一部と判定されたストロークデータのグループが認識されると、このグループ内のストロークデータ群に基づき図形を予測し、予測変換候補の一覧を表示させる。

したがって、本実施形態では、手書き入力で図形を入力する際に、文字認識を行う状態（文字認識モード）から図形認識を行う状態（図形認識モード）に切り替える等といった煩雑な操作が不要である。また、本実施形態では、手書き入力されたストロークデータに基づき、図形の予測変換候補を表示させ、予測変換候補から選択された図形を表示させる。したがって、本実施形態によれば、ユーザの意図しない図形に誤変換されることを抑制し、ユーザの意図する図形を出力させることができる。

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態では、表示装置２と接続されたサーバ装置が図形を予測し、予測変換候補を出力する点が、第一の実施形態と相違する。したがって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１１は、第二の実施形態の表示システムのシステム構成の一例を示す図である。本実施形態の表示システム１９において、表示装置２とサーバ装置１２とは、インターネット等のネットワークを介して接続されている。

このような表示システム１９の場合、表示装置２は、図６に示した、入力受付部２１、描画データ生成部２２、ネットワーク通信部２６、操作受付部２７、表示制御部２９を有する。

一方、サーバ装置１２は、ストローク判定部２３、グループ判定部２４、データ記録部２５、図形予測部２８、及び、ネットワーク通信部を有する。

表示装置２のネットワーク通信部２６はサーバ装置１２に、ストロークデータを送信する。サーバ装置１２は、図８、図９のフローチャートが示す処理を行い、予測変換候補を表示装置２に送信する。

（第三の実施形態）
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態では、図形に含まれる表を認識する点が第一の実施形態と相違する。したがって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

本実施形態では、１つのグループとされたストロークデータ群と対応するオブジェクト群が、表であるか否かを判定するための第三の条件と、第四の条件を設ける。

そして、本実施形態では、１つのグループとされたストロークデータ群と対応するオブジェクト群が第三の条件と第四の条件を満たす場合に、このオブジェクト群が示す図形を表と認識し、表の形式の候補を予測する。

本実施形態では、このように、入力された複数のストロークデータに基づき表を認識することで、ユーザの意図する形式の表を表示させることができる。

図１２は、第三の条件について説明する図である。本実施形態の第三の条件は、同一グループ内に、外接矩形の幅と高さが、予め決められた範囲となるオブジェクトを示すストロークデータが２つ以上存在し、且つ、同一グループに３つ以上のストロークデータが含まれることである。

言い換えれば、第三の条件とは、同一グループ内に、オブジェクトの外接矩形の幅と高さが、予め決められた範囲となるストロークデータが２つ以上存在し、且つ、同一グループに含まれるストロークデータが３つ以上存在することである。

ここで、第三の条件におけるオブジェクトの外接矩形の幅と高さの範囲について説明する。

本実施形態では、オブジェクトの外接矩形の幅に対し、第二の幅閾値ｄを設ける。そして、第三の条件におけるオブジェクト外接矩形の大きさの予め決められた範囲を、以下の２つの範囲とし、この範囲を、図形Ｂの範囲と表現する。
・高さがａ（第一の高さ閾値）より大きく、且つ、幅がｄ（第二の幅閾値）以下の範囲
・高さがｃ（第二の高さ閾値）より小さく、且つ、幅がｂ（第一の幅閾値）より大きい範囲
オブジェクトの外接矩形の範囲が、図形Ｂの範囲となる場合とは、例えば、ストロークデータと対応するオブジェクトが縦方向の線である場合や横方向の線である場合である。言い換えれば、外接矩形の範囲が、図形Ｂの範囲となるオブジェクトは、表の構成要素となり得るオブジェクトである。

また、以下の説明では、高さがａより大きく、且つ、幅がｄより大きい範囲を、図形Ａの範囲と表現する。オブジェクトの外接矩形が図形Ａの範囲となるオブジェクトは、表以外の図形となり得るオブジェクトである。

以下に、図１３及び図１４を参照して、外接矩形の範囲が、図形Ｂの範囲となるオブジェクトの外接矩形と近傍矩形について説明する。図１３は、第三の実施形態の外接矩形について説明する図である。

図１３（ａ）に示すように、外接矩形１３１ａは、ディスプレー２２０に表示されたオブジェクトＯｂ００５に外接する矩形である。オブジェクトＯｂ００５とは、オブジェクトＯｂ００５と対応するストロークデータに対して手書き認識処理を行った結果として得られた表示物である。

また、図１３（ｂ）に示すように、外接矩形１３２ａは、ディスプレー２２０に表示されたオブジェクトＯｂ００６に外接する矩形である。オブジェクトＯｂ００６とは、オブジェクトＯｂ００５と対応するストロークデータに対して手書き認識処理を行った結果として得られた表示物である。

ここで、外接矩形１３１ａは、高さがａ（第一の高さ閾値）より大きく、幅がｄ（第二の幅閾値）以下である。また、外接矩形１３２ａは、高さがｃ（第二の高さ閾値）より小さく、幅がｂ（第一の幅閾値）より小さい。

次に、図１４を参照して、オブジェクトの近傍矩形について説明する。図１４は、第三の実施形態の近傍矩形について説明する図である。

図１４では、オブジェクトＯｂ００７の外接矩形１３３ａと、近傍矩形１３３ｂとを示す。ここで、オブジェクトＯｂ００７の近傍矩形１３３ｂは、オブジェクトＯｂ００７の外接矩形１３３ａの幅と高さのそれぞれに、予め設定された固定値αを加算して得られる矩形である。

本実施形態の固定値αは、例えば、ディスプレー２２０のサイズや画素数、使用用途等に応じて決められてよい。本実施形態では、例えば、４０インチのディスプレー（画素数２８８０×２１６０）に、数人が手書き入力できる文字のサイズを想定した場合、固定値αを３ｃｍとしてもよい。
この場合、外接矩形１３３ａの幅が５ｃｍであり、高さが１３ｃｍである場合、近傍矩形１３３ｂの幅は８ｃｍとなり、高さは１６ｃｍとなる。

本実施形態では、オブジェクトＯｂ００５、オブジェクトＯｂ００６についても同様に、外接矩形１３１ａ、１３２ａの高さと幅のそれぞれに、予め設定された固定値αを加算することで、オブジェクトＯｂ００５、オブジェクトＯｂ００６の近傍矩形が得られる。

このように、本実施形態の第三の条件とは、同一グループとされたストロークデータ群と対応するオブジェクト群が、外接矩形の幅と高さが決められた範囲内となるオブジェクトを２つ以上含み、且つ、３つ以上のオブジェクトを含むことである。

次に、図１５及び図１６を参照して、第四の条件について説明する。本実施形態の第四の条件は、
・第三の条件を満たすオブジェクト群に含まれるオブジェクト同士において、第一のオブジェクトが第二のオブジェクトの近傍矩形と交差すること
・同一グループとされたストロークデータ群と対応するオブジェクト群の外接矩形の高さがａ（第一の高さ閾値）より大きいこと、又は、外接矩形の幅がｂ（第一の幅閾値）より大きく、且つ、高さがｃ（第二の高さ閾値）より小さいこと
である。

つまり、第四の条件は、第三の条件を満たすオブジェクト群に含まれるオブジェクト同士が互いの近傍矩形で交差し、且つ、オブジェクト群の外接矩形の大きさが、図形Ａの範囲又は図形Ｂの範囲となる大きさであることである。なお、図形Ｂの範囲とは、予め決められた第一の範囲であり、図形Ａの範囲とは、予め決められた第二の範囲である。

図１５は、第四の条件について説明する第一の図である。図１５では、オブジェクトＯｂ００５を示すストロークデータが入力された直後に、オブジェクトＯｂ００６を示すストロークデータが入力され、オブジェクトＯｂ００６を示すストロークデータ、オブジェクトＯｂ００７を示すストロークデータと入力された場合を示している。

また、図１５では、オブジェクトＯｂ００７を示すストロークデータが入力された直後から、順次、オブジェクトＯｂ００８、オブジェクトＯｂ００９、オブジェクトＯｂ０１０、オブジェクトＯｂ０１１を示すストロークデータが、各ストロークデータが入力されてから所定時間以内に入力された場合を示している。図１５では、これらのストロークデータが、同一のグループとされているものとして、説明する。

図１５において、近傍矩形１３１ｂは、オブジェクトＯｂ００５の近傍矩形であり、近傍矩形１３２ｂは、オブジェクトＯｂ００６の近傍矩形であり、近傍矩形１３３ｂは、オブジェクトＯｂ００７の近傍矩形である。また、図１５に示す近傍矩形１３４ｂは、オブジェクトＯｂ００８の近傍矩形であり、近傍矩形１３５ｂは、オブジェクトＯｂ００９の近傍矩形である。また、図１５に示す近傍矩形１３６ｂは、オブジェクトＯｂ０１０の近傍矩形であり、近傍矩形１３７ｂは、オブジェクトＯｂ０１１の近傍矩形である。

ここで、オブジェクトＯｂ００５の近傍矩形１３１ｂは、オブジェクトＯｂ００６と領域１５０ａにおいて交差している。また、オブジェクトＯｂ００６の近傍矩形１３２ｂは、オブジェクトＯｂ００７と領域１５０ｂにおいて交差しており、オブジェクトＯｂ００８と領域１５０ｃで交差しており、オブジェクトＯｂ００９と領域１５０ｄで交差している。

また、オブジェクトＯｂ００７の近傍矩形１３３ｂは、オブジェクトＯｂ０１０と領域１５０ｅで交差しており、オブジェクトＯｂ０１１と領域１５０ｆで交差している。また、オブジェクトＯｂ００８の近傍矩形１３４ｂは、領域１５０ｆにおいてオブジェクトＯｂ０１０と交差しており、領域１５０ｈにおいてオブジェクトＯｂ０１０と交差している。

また、オブジェクトＯｂ０９０の近傍矩形１３５ｂは、領域１５０ｉでオブジェクトＯｂ０１０と交差しており、領域１５０ｊでオブジェクトＯｂ０１０と交差している。また、オブジェクトＯｂ０１０の近傍矩形１３７ｂは、領域１５０ｋでオブジェクトＯｂ０５０と交差している。

さらに、図１５に示すオブジェクトＯｂ０５０～オブジェクトＯｂ０１１を含むオブジェクト群の外接矩形１０１Ａの大きさは、高さがａ（第一の高さ閾値）より大きく、幅がｂ（第一の幅閾値）より大きい。つまり、外接矩形１０１Ａの大きさは、図形Ａの範囲である。

図１５の例では、近傍矩形１３１ｂ、１３３ｂ、１３４ｂ、１３５ｂの大きさは、全て、高さがａ（第一の高さ閾値）より大きく、且つ、幅がｄ（第二の幅閾値）以下の範囲である。また、近傍矩形１３２ｂ、１３６ｂ、１３７ｂの大きさは、高さがｃ（第二の高さ閾値）より小さく、且つ、幅がｂ（第一の幅閾値）より大きい範囲である。

つまり、図１５に示すオブジェクトＯｂ００５～オブジェクトＯｂ０１１は、全て、それぞれの近傍矩形の大きさが、図形Ｂの範囲となるオブジェクトである。

したがって、図１５に示すオブジェクトＯｂ０５０～オブジェクトＯｂ０１１を含むオブジェクト群は、近傍矩形の幅と高さが決められた範囲内となるオブジェクトを２つ以上含み、且つ、３つ以上のオブジェクトを含む。つまり、オブジェクトＯｂ０５０～オブジェクトＯｂ０１１を含むオブジェクト群は、第三の条件を満たす。

また、図１５に示すオブジェクトＯｂ０５０～オブジェクトＯｂ０１１を含むオブジェクト群は、第三の条件を満たすオブジェクト群に含まれるオブジェクト同士が互いの近傍矩形で交差し、且つ、オブジェクト群の外接矩形１０１Ａの大きさが、図形Ａ又は図形Ｂに該当する大きさであるから、第四の条件を満たす。

したがって、本実施形態では、図１５に示すオブジェクトＯｂ０５０～オブジェクトＯｂ０１１を示すオブジェクト群が示す図形を表と認識し、表の形式の候補を予測する。

図１６は、第四の条件について説明する第二の図である。図１６では、オブジェクトＯｂ０１２を示すストロークデータが入力された直後に、オブジェクトＯｂ０１３を示すストロークデータが入力され、その直後にオブジェクトＯｂ０１４を示すストロークデータが入力された場合を示している。

また、図１６では、オブジェクトＯｂ０１２を示すストロークデータが入力された直後から、順次、オブジェクトＯｂ０１３、オブジェクトＯｂ０１４を示すストロークデータが、各ストロークデータが入力されてから所定時間以内に入力された場合を示している。図１６では、これらのストロークデータが、同一のグループとされているものとして、説明する。

図１６において、外接矩形１６１ａはオブジェクトＯｂ０１２の外接矩形であり、近傍矩形１６１ｂは、オブジェクトＯｂ０１２の近傍矩形である。また、外接矩形１６２ａは、オブジェクトＯｂ０１３の外接矩形であり、近傍矩形１６２ｂは、オブジェクトＯｂ０１３の近傍矩形である。また、外接矩形１６３ａは、オブジェクトＯｂ０１４の外接矩形であり、近傍矩形１６３ｂは、オブジェクトＯｂ０１４の近傍矩形である。

ここで、オブジェクトＯｂ０１２の近傍矩形１６１ｂは、領域１６０ａ、１６０ｂにおいて、オブジェクトＯｂ０１３と交差している。また、オブジェクトＯｂ０１２の近傍矩形１６１ｂは、領域１６０ｃ、１６０ｄにおいて、オブジェクトＯｂ０１４と交差している。また、オブジェクトＯｂ０１３の近傍矩形１６２ｂは、領域１６０ｅにおいて、オブジェクトＯｂ０１４と交差している。

さらに、図１６に示すオブジェクトＯｂ０１２～オブジェクトＯｂ０１４を含むオブジェクト群の外接矩形１０１Ｂの大きさは、高さがａ（第一の高さ閾値）より大きく、幅がｂ（第一の幅閾値）より大きい。つまり、外接矩形１０１Ｂの大きさは、図形Ａの範囲である。

図１６の例では、近傍矩形１６１ｂの大きさは、高さがａ（第一の高さ閾値）より大きく、幅がｂ（第一の幅閾値）より大きいため、図形Ａの範囲となる。

また、図１６の例では、近傍矩形１６２ｂの大きさは、高さがｃ（第二の高さ閾値）より小さく、且つ、幅がｂ（第一の幅閾値）より大きい範囲となる。また、近傍矩形１６３ｂの大きさは、高さがａ（第一の高さ閾値）より大きく、且つ、幅がｄ（第二の幅閾値）以下の範囲となる。

つまり、オブジェクトＯｂ０１３とオブジェクトＯｂ０１４の近傍矩形１６２ｂ、１６３ｂの大きさは、図形Ｂの範囲となる。

このように、図１６に示すオブジェクトＯｂ０１２～オブジェクトＯｂ０１４を含むオブジェクト群は、近傍矩形が図形Ｂの範囲となるオブジェクトを２つ以上含み、且つ、オブジェクトを３つ以上含む。したがって、オブジェクトＯｂ０１２～オブジェクトＯｂ０１４を含むオブジェクト群は、第三の条件を満たす。

また、図１６に示すオブジェクトＯｂ０１２～オブジェクトＯｂ０１４を含むオブジェクト群は、第三の条件を満たすオブジェクト群に含まれるオブジェクト同士が互いの近傍矩形で交差し、且つ、オブジェクト群の外接矩形１０１Ｂの大きさが、図形Ａ又は図形Ｂに該当する大きさであるから、第四の条件を満たす。

したがって、本実施形態では、図１６に示すオブジェクトＯｂ０１２～オブジェクトＯｂ０１４を示すオブジェクト群が示す図形を表と認識し、表の形式の候補を予測する。

次に、図１７を参照して、本実施形態の表示装置の機能について説明する。図１７は、第三の実施形態の表示装置が有する機能を説明する機能ブロック図の一例である。

本実施形態の表示装置２Ａは、入力受付部２１、描画データ生成部２２、ストローク判定部２３、グループ判定部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、図形予測部２８、表示制御部２９、及び、表形式予測部３０を有する。

本実施形態の表形式予測部３０は、グループ判定部２４により１つのグループとされた複数のストロークデータ（ストロークデータ群）と対応するオブジェクト群が、第三の条件及び第四の条件を満たすか否かを判定する。そして、表形式予測部３０は、オブジェクト群が第三の条件及び第四の条件を満たす場合に、描画された図形を表と判定して表の形式を予測し、予測した結果の予測変換候補として出力する。

次に、図１８及び図１９を参照して、本実施形態の表示装置２Ａの動作について説明する。図１８は、第二の実施形態の表示装置の動作を説明する第一のフローチャートである。図１８の処理は表示装置２Ａの起動中、繰り返し実行される。

図１８のステップＳ１８０１からステップＳ１０６までの処理は、図８のステップＳ８０１からステップＳ８０６までの処理と同様であるから、説明を省略する。

ステップＳ１８０２において、所定時間Ｔが経過した場合（ステップＳ１８０２でＹｅｓ）、又は、ステップＳ１８０６に続いて、表示装置２Ａは、表形式予測部３０により、グループ判定部２４により同一グループと判定さたれストロークデータ群と対応するオブジェクト群が、第三の条件及び第四の条件を満たすか否かを判定する（ステップＳ１８０７）。

ステップＳ１８０７において、オブジェクト群が第三の条件及び第四の条件を満たす場合、表示装置２Ａは、表形式予測部３０により、オブジェクト群に基づき描画された表の形式を予測し、表示制御部２９により、予測変換候補をディスプレー２２０に表示させる（ステップＳ１８０８）。

ステップＳ１８０７において、オブジェクト群が第三の条件及び第四の条件を満たさない場合、表示装置２Ａは、図形予測部２８により、オブジェクト群に基づき描画された図形を予測し、表示制御部２９により、予測変換候補をディスプレー２２０に表示させる（ステップＳ１８０９）。

次に、図１９を参照して、図１８のステップＳ１８０１とステップＳ１８０３の処理について説明する。図１９は、第三の実施形態の表示装置の動作を説明する第二のフローチャートである。本実施形態において、図１８のステップＳ１８０１で実行される処理と、ステップＳ１８０３で実行される処理とは同様である。

図１９のステップＳ１９０１とステップＳ１９０２の処理は、図９のステップＳ９０１とステップＳ９０２の処理と同様であるから、説明を省略する。

ステップＳ１９０２において、オブジェクトの外接矩形の高さが、高さａ（第一の高さ閾値）よりも高い場合、ストローク判定部２３は、オブジェクトの外接矩形の幅が、幅ｄ（第二の幅閾値）より大きいか否かを判定する（ステップＳ１９０３）。

ステップＳ１９０３において、オブジェクトの外接矩形の幅が、幅ｄ（第二の幅閾値）より大きい場合、このオブジェクトを示すストロークデータを、図形Ａの範囲のオブジェクトを示すストロークデータとして、手書き認識を行い（ステップＳ１９０４）、図１８のステップＳ１８０２又はステップＳ１８０４へ進む。なお、このとき、ストローク判定部２３は、図形Ａの範囲のされたストロークデータの数をｎとし、ｎの値をインクリメントさせて、ｎ＝ｎ＋１とする。なお、ｎの初期値は０である。

ステップＳ１９０２において、オブジェクトの外接矩形の高さが、高さａ（第一の高さ閾値）以下である場合、ストローク判定部２３は、オブジェクトの外接矩形の高さが高さｃ（第二の高さ閾値）より低く、且つ、外接矩形の幅が幅ｂ（第一の幅閾値）より大きいか否かを判定する（ステップＳ１９０５）。

ステップＳ１９０５において、オブジェクトの外接矩形の高さが高さｃより低く、且つ、幅が幅ｂより大きい場合、ストローク判定部２３は、このオブジェクトを示すストロークデータを、図形Ｂの範囲のオブジェクトを示すストロークデータとして、手書き認識を行い（ステップＳ１９０６）、図１８のステップＳ１８０２又はステップＳ１８０４へ進む。なお、このとき、ストローク判定部２３は、図形Ｂの範囲のされたストロークデータの数をｍとし、ｍの値をインクリメントさせて、ｍ＝ｍ＋１とする。なお、ｍの初期値は０である。

ステップＳ１９０５において、オブジェクトの外接矩形が、高さが高さｃより低く、且つ、幅が幅ｂより大きい、という条件を満たさない場合、ストローク判定部２３は処理を終了する。

なお、本実施形態のｎの値とｍの値は、図１８のステップＳ１８０７において、オブジェクト群が第三の条件を満たすか否かを判定する際に参照されてよい。この場合、同一グループに含まれるオブジェクト群において、図形Ｂの範囲のオブジェクトの数と対応するｍの値が２以上であり、図形Ａの範囲のオブジェクトと図形Ｂの範囲のオブジェクトの数との合計であるｎ＋ｍの値が３以上であれば、このオブジェクト群は第三の条件を満たすことになる。

なお、本実施形態では、同一グループとされたストロークデータ群と対応するオブジェクト群が、第三の条件を満たすか否かを判定する際に、オブジェクトの外接矩形の代わりに、オブジェクトから得られる第一の矩形を用いてもよい。

言い換えれば、実施形態の第三の条件とは、複数のストロークデータのうち、対応するオブジェクトから得られる第一の矩形の幅と高さが、予め決められた第一の範囲となるストロークデータが２つ以上存在し、且つ、グループに含まれるストロークデータが３つ以上存在することである。

また、本実施形態では、同一グループとされたストロークデータ群と対応するオブジェクト群が、第四の条件を満たすか否かを判定する際に、オブジェクトの近傍矩形の代わりに、オブジェクトの第一の矩形を含む第二の矩形を用いてもよい。

言い換えれば、実施形態の第四の条件とは、第三の条件を満たす複数のオブジェクトに含まれるオブジェクト同士において、一方のオブジェクトが、他方のオブジェクトの第一の矩形を含む第二の矩形内で交差し、且つ、複数のオブジェクトのそれぞれの第一の矩形の大きさが、第一の範囲又は予め決められた第二の範囲となることである。

次に、図２０と図２１を参照して、図形の予測変換候補の表示例について説明する。図２０は、表の予測変換候補の表示例を説明する第一の図である。

図２０では、図１５に示すオブジェクトＯｂ００５を示すストロークデータからオブジェクトＯｂ０１１を示すストロークデータまでが１つのグループとされた場合を示している。

この場合、表示装置２Ａは、表形式予測部３０により、１つのグループとされたストロークデータ群に基づき、ストロークデータ群が示す表の形式を予測する。具体的には、表形式予測部３０は、１つのグループとされたストロークデータ群と対応するオブジェクト群の外接矩形１０１Ａ内に描画された表の形式の候補を予測する。そして、表示装置２Ａは、表示制御部２９により、予測された表の形式の候補を、予測変換候補の一覧１０２Ａとして、外接矩形１０１Ａの近傍に表示させる。

表示装置２Ａは、一覧１０２Ａから表の形式が選択されると、外接矩形１０１Ａに描画されたオブジェクトを消去し、選択された図形と対応する画像１０３Ａを表示させる。

図２０の例では、一覧１０２Ａには、予測された表の形式として、「２行×３列」が表示されており、ペン２５００により、一覧１０２Ａから「２行×３列」が選択されている。したがって、表示制御部２９は、外接矩形１０１Ａ内のオブジェクトＯｂ００５からオブジェクトＯｂ０１１を消去し、外接矩形１０１Ａ内に、「２行×３列」の表の画像１０３Ａを描画する。

図２１は、表の予測変換候補の表示例を説明する第一の図である。図２１では、図１６に示すオブジェクトＯｂ００１２を示すストロークデータからオブジェクトＯｂ０１４を示すストロークデータまでが１つのグループとされた場合を示している。

この場合、表示装置２Ａは、表形式予測部３０により、オブジェクト群の外接矩形１０１Ｂ内に描画された表の形式の候補を予測する。そして、表示装置２Ａは、表示制御部２９により、予測された表の形式の候補を、予測変換候補の一覧１０２Ｂとして、外接矩形１０１Ｂの近傍に表示させる。

表示装置２Ａは、一覧１０２Ｂから表の形式が選択されると、外接矩形１０１Ｂに描画されたオブジェクトを消去し、選択された図形と対応する画像１０３Ｂを表示させる。

図２１の例では、一覧１０２Ｂには、予測された表の形式として、「２行×２列」が表示されており、ペン２５００により、一覧１０２Ｂから「２行×２列」が選択されている。したがって、表示制御部２９は、外接矩形１０１Ｂ内のオブジェクトＯｂ０１２からオブジェクトＯｂ０１４を消去し、外接矩形１０１Ｂ内に、「２行×２列」の表の画像１０３Ｂを描画する。

本実施形態では、このように、図形の一部と判定されたストロークデータを１つのグループとし、グループ内のストロークデータ群と対応するオブジェクト群が表を示すものと判定された場合に、オブジェクト群に基づき表の形式を予測する。なお、本実施形態の表の形式とは、例えば、表に含まれる行数と列数であってもよい。そして、本実施形態では、予測変換候補の一覧を表示させる。

したがって、本実施形態では、手書き入力で表を入力する際に、文字認識を行う状態（文字認識モード）から表認識を行う状態（表認識モード）に切り替える等といった煩雑な操作が不要である。また、本実施形態では、手書き入力されたストロークデータに基づき、表の形式の予測変換候補を表示させ、予測変換候補から選択された形式の表を表示させる。したがって、本実施形態によれば、ユーザの意図しない図形に誤変換されることを抑制し、ユーザの意図する形式の表を出力させることができる。

本発明の実施形態は、コンピュータの能力および機能性に大きな改善をもたらす。これらの改善により、ユーザは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。さらに、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザ体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、日本語の手書きを想定して近傍矩形が設定されたが、左から右に筆記する言語でない場合、筆記方向に応じて近傍矩形が設定される。

また、本実施形態では、ストロークデータが主に日本語に変換されているが、ストロークデータの変換先の言語は他の言語（英語、中国語、ヒンドゥー語、スペイン語、フランス語、アラビア語、ロシア語等）でよい。

また、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。また、表示装置２は、電気泳動方式を用いたものであってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

本発明の態様は、例えば、以下のとおりである。
＜１＞手書きによるストロークデータの入力を受け付ける入力受付部と、
入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定するグループ判定部と、
前記グループに含まれるストロークデータに基づき、前記図形を予測した結果を表示させる表示制御部と、を有する表示装置。
＜２＞前記ストロークデータが、第一の条件を満たす場合に、前記ストロークデータを図形を示すストロークデータであると判定するストローク判定部を有し、
前記グループ判定部は、
前記第一の条件を満たすストロークデータの入力が完了してから所定時間以内に入力され、且つ、前記第一の条件及び第二の条件を満たすストロークデータを、前記第一の条件を満たすストロークデータと同一のグループのストロークデータとする、前記＜１＞記載の表示装置。
＜３＞前記グループに含まれるストロークデータに基づいて、前記図形を予測した予測変換候補を出力する図形予測部を有し、
前記表示制御部は、
前記予測変換候補の一覧をディスプレーに表示させる、前記＜２＞記載の表示装置。
＜４＞前記第一の条件は、
前記ストロークデータと対応する表示物から得られた第一の矩形の高さが、第一の高さ閾値より大きい、又は、前記第一の矩形の高さが第二の高さ閾値より小さく、且つ、前記第一の矩形の幅が幅閾値より大きいことである、前記＜２＞又は＜３＞記載の表示装置。
＜５＞前記第二の条件は、
前記第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応する表示物が、前記第一の条件を満たすストロークデータと対応する表示物から得られた前記第一の矩形を含む第二の矩形と交差することである前記＜２＞乃至＜４＞の何れか一項に記載の表示装置。
＜６＞前記グループに含まれる複数のストロークデータが、第三の条件及び第四の条件を満たす場合に、前記グループに含まれる複数のストロークデータに基づいて、表の形式を予測した予測変換候補を出力する表形式予測部を有し、
前記表示制御部は、
前記予測変換候補の一覧をディスプレーに表示させる、前記＜２＞乃至＜５＞の何れか一項に記載の表示装置。複数
＜７＞前記第三の条件は、前記グループに含まれる複数のストロークデータにおいて、前記ストロークデータと対応する表示物から得られる第一の矩形の幅と高さが、予め決められた第一の範囲となるストロークデータが２つ以上存在し、且つ、前記グループに含まれるストロークデータが３つ以上存在することである、前記＜６＞記載の表示装置。
＜８＞前記第四の条件は、
前記第三の条件を満たす前記複数のストロークデータと対応する複数の表示物において、一方の表示物が、他方の表示物から得られた前記第一の矩形を含む第二の矩形と交差し、且つ、前記複数の表示物のそれぞれから得られた前記第一の矩形の大きさが、前記第一の範囲又は予め決められた第二の範囲となることである、前記＜７＞記載の表示装置。
＜９＞前記第一の矩形は、前記表示物の外接矩形であり、前記第二の矩形は、前記外接矩形の幅と高さに、予め設定された固定値を加算して得られる近傍矩形である、前記＜５＞乃至＜８＞の何れか一項に記載の表示装置。
＜１０＞手書きによるストロークデータの入力を受け付け、
入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定し、
前記グループに含まれるストロークデータに基づき、前記図形を予測した結果を表示させる、処理をコンピュータに実行させる表示プログラム。
＜１１＞表示装置による表示方法であって、前記表示装置が、
手書きによるストロークデータの入力を受け付け、
入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定し、
前記グループに含まれるストロークデータに基づき、前記図形を予測した結果を表示させる、表示方法。

２表示装置
１９表示システム
２１入力受付部
２３ストローク判定部
２４グループ判定部
２８図形予測部
３０表形式予測部

特開昭６０－１３９８９０号公報

Claims

手書きによるストロークデータの入力を受け付ける入力受付部と、
前記ストロークデータが、第一の条件を満たす場合に、前記ストロークデータを図形を示すストロークデータであると判定するストローク判定部と、
入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定するグループ判定部と、
前記グループに含まれるストロークデータに基づいて、前記図形を予測した予測変換候補を出力する図形予測部と、
前記図形を予測した結果を表示させる表示制御部と、を有し、
前記グループ判定部は、
前記第一の条件を満たすストロークデータの入力が完了してから所定時間以内に入力され、且つ、前記第一の条件及び第二の条件を満たすストロークデータを、前記第一の条件を満たすストロークデータと同一のグループのストロークデータとし、
前記表示制御部は、
前記図形を予測した予測変換候補の一覧をディスプレーに表示させ、
前記第一の条件は、
前記ストロークデータと対応する表示物から得られた第一の矩形の高さが、第一の高さ閾値より大きい、又は、前記第一の矩形の高さが第二の高さ閾値より小さく、且つ、前記第一の矩形の幅が幅閾値より大きいことであり、
前記第二の条件は、
前記第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応する表示物が、前記第一の条件を満たすストロークデータと対応する表示物から得られた前記第一の矩形を含む第二の矩形と交差することである、表示装置。
前記グループに含まれる複数のストロークデータが、第三の条件及び第四の条件を満たす場合に、前記グループに含まれる複数のストロークデータに基づいて、表の形式を予測した予測変換候補を出力する表形式予測部を有し、
前記表示制御部は、
前記表の形式を予測した予測変換候補の一覧をディスプレーに表示させ、
前記第三の条件は、
前記グループに含まれる複数のストロークデータにおいて、前記ストロークデータと対応する表示物から得られる第一の矩形の幅と高さが、予め決められた第一の範囲となるストロークデータが２つ以上存在し、且つ、前記グループに含まれるストロークデータが３つ以上存在することであり、
前記第四の条件は、
前記第三の条件を満たす複数のストロークデータと対応する複数の表示物において、一方の表示物が、他方の表示物から得られた前記第一の矩形を含む第二の矩形と交差し、且つ、前記複数の表示物のそれぞれから得られた前記第一の矩形の大きさが、前記第一の範囲又は予め決められた第二の範囲となることである、請求項１記載の表示装置。
前記第一の矩形は、前記表示物の外接矩形であり、前記第二の矩形は、前記外接矩形の幅と高さに、予め設定された固定値を加算して得られる近傍矩形である、請求項１又は２に記載の表示装置。
手書きによるストロークデータの入力を受け付ける処理と、
前記ストロークデータが、第一の条件を満たす場合に、前記ストロークデータを図形を示すストロークデータであると判定する処理と、
入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定する処理と、
前記グループに含まれるストロークデータに基づいて、前記図形を予測した予測変換候補を出力する処理と、
前記図形を予測した結果を表示させる処理と、をコンピュータに実行させ、
前記グループであるか否かを判定する処理は、
前記第一の条件を満たすストロークデータの入力が完了してから所定時間以内に入力され、且つ、前記第一の条件及び第二の条件を満たすストロークデータを、前記第一の条件を満たすストロークデータと同一のグループのストロークデータとする処理であり、
前記表示させる処理において、
前記図形を予測した予測変換候補の一覧をディスプレーに表示させる処理であり、
前記第一の条件は、
前記ストロークデータと対応する表示物から得られた第一の矩形の高さが、第一の高さ閾値より大きい、又は、前記第一の矩形の高さが第二の高さ閾値より小さく、且つ、前記第一の矩形の幅が幅閾値より大きいことであり、
前記第二の条件は、
前記第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応する表示物が、前記第一の条件を満たすストロークデータと対応する表示物から得られた前記第一の矩形を含む第二の矩形と交差することである、表示プログラム。
表示装置による表示方法であって、前記表示装置が、
手書きによるストロークデータの入力を受け付ける手順と、
前記ストロークデータが、第一の条件を満たす場合に、前記ストロークデータを図形を示すストロークデータであると判定する手順と、
入力された複数の前記ストロークデータが、図形を示すストロークデータのグループであるか否かを判定する手順と、
前記グループに含まれるストロークデータに基づいて、前記図形を予測した予測変換候補を出力する手順と、
前記図形を予測した結果を表示させる手順と、を実行し、
前記グループであるか否かを判定する手順は、
前記第一の条件を満たすストロークデータの入力が完了してから所定時間以内に入力され、且つ、前記第一の条件及び第二の条件を満たすストロークデータを、前記第一の条件を満たすストロークデータと同一のグループのストロークデータとする手順であり、
前記表示させる手順は、
前記図形を予測した予測変換候補の一覧をディスプレーに表示させる手順であり、
前記第一の条件は、
前記ストロークデータと対応する表示物から得られた第一の矩形の高さが、第一の高さ閾値より大きい、又は、前記第一の矩形の高さが第二の高さ閾値より小さく、且つ、前記第一の矩形の幅が幅閾値より大きいことであり、
前記第二の条件は、
前記第一の条件を満たすストロークデータの入力後、所定時間以内に入力されたストロークデータと対応する表示物が、前記第一の条件を満たすストロークデータと対応する表示物から得られた前記第一の矩形を含む第二の矩形と交差することである、表示方法。