JPWO2015087379A1 - 手書き文書情報を処理するための電子機器および方法 - Google Patents

Abstract

実施形態によれば、電子機器は、手書きによって入力される第１ストロークに対応する第１ストローク列を、入力可能なストロークの候補として画面上に表示する。第１ストロークが手書きによって入力された後に第２ストロークが手書きによって入力される場合、第１ストローク列の表示の後、電子機器は、前記第１ストロークが表示される第１領域と前記２ストロークが表示される第２領域との間の距離に応じて、前記第１および第２ストロークの組に対応する第２ストローク列、または前記第２ストロークに対応する第３ストローク列のいずれかを、入力可能なストロークの候補として画面上に表示する。

Description

実施形態は、手書き文書情報を処理する技術に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

また最近では、手書き文字列を扱うことが可能な電子機器も開発されている。

特開２００５−２５５６６号公報

しかし、従来では、スムーズな手書き入力操作を実現するための技術については考慮されていないのが現状である。

本発明の一形態の目的は、スムーズな手書き入力操作を実現することができる電子機器および方法を提供することである。

実施形態によれば、電子機器は、表示処理手段と、処理手段とを具備する。前記表示処理手段は、手書きによって入力される第１ストロークを画面上に表示する。前記処理手段は、手書き文書情報から取得される、前記第１ストロークに対応する第１ストローク列を、入力可能なストロークの候補として前記画面上に表示するための処理を実行する。前記第１ストロークの入力の後に第２ストロークが手書きによって入力される場合、前記第１ストローク列の表示の後、前記処理手段は、前記第１ストロークが表示される第１領域と前記２ストロークが表示される第２領域との間の距離に応じて、手書き文書情報から取得される、前記第１ストロークと前記第２ストロークの組に対応する第２ストローク列、または手書き文書情報から取得される、前記第２ストロークに対応する第３ストローク列のいずれかを、入力可能なストロークの候補として前記画面上に表示するための処理を実行する。

図１は実施形態に係る電子機器の外観を示す例示的な斜視図である。 図２は図１の電子機器と外部装置との連携動作を示す例示的な図である。 図３は図１の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図である。 図４は図１の電子機器によって生成される、図３の手書き文書に対応する時系列情報を説明するための例示的な図である。 図５は図１の電子機器のシステム構成を示す例示的なブロック図である。 図６は図１の電子機器によって実行される手書きノートアプリケーションプログラムの機能構成を示す例示的なブロック図である。 図７は図１の電子機器によって表示される候補ストロークの例を説明するための例示的な図である。 図８は図７の状態においてさらにストロークが入力された場合に図１の電子機器によって新たに表示される候補ストロークの例を説明するための例示的な図である。 図９は図１の電子機器によって実行される手書きストローク補完動作を説明するための例示的な図である。 図１０は確定ボタン（キャンセルボタン）がタップされた時に図１の電子機器によって実行される動作を説明するための例示的な図である。 図１１は既に入力されているストロークと新たに入力されたストロークとの間の距離が長い場合に図１の電子機器によって実行される動作を説明するための例示的な図である。 図１２は既に入力されているストロークと新たに入力されたストロークとの間の距離が短い場合に図１の電子機器によって実行される動作を説明するための例示的な図である。 図１３は入力された２つのストローク間の横方向の距離を算出するための動作を説明するための例示的な図である。 図１４は入力された２つのストローク間の縦方向の距離を算出するための動作を説明するための例示的な図である。 図１５は入力された２つのストローク間の横方向の距離を算出するための別の動作を説明するための例示的な図である。 図１６は図１の電子機器によって実行される筆跡補完処理の手順を説明するための例示的なフローチャートである。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペン（スタイラス）または指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器である。タブレットコンピュータ１０は、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わさるように取り付けられている。

タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、センサとが組み込まれている。センサは、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザは、例えば、フラットパネルディスプレイの画面の下側に配置される。タッチパネルは、例えば、フラットパネルディスプレイの画面上に配置される。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えばデジタイザペン（電磁誘導ペン）であってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書きによって入力されるストロークの軌跡がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図表などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係とを示す時系列情報として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報（手書き文書情報）を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、「範囲指定」ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。

さらに、タブレットコンピュータ１０は、筆跡補完（ストローク推薦）機能も有している。この筆跡補完機能は、多くの文字列を手書きによって容易に入力できるようにするために、ユーザの手書き入力操作を補助するための機能である。

図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書き文書）あるいは大容量の時系列情報（手書き文書）を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の手書き文書を読み出すことすができる（ダウンロード）。タブレットコンピュータ１０は、この読み出した手書き文書によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のタッチスクリーンディスプレイ１７の画面に表示することができる。この場合、複数の手書き文書それぞれのページを縮小することによって得られるサムネイルの一覧をタッチスクリーンディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをタッチスクリーンディスプレイ１７の画面上に通常サイズで表示してもよい。

さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、手書き文書をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の手書き文書を読み出すことができる（ダウンロード）。タブレットコンピュータ１０は、この読み出した手書き文書によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のタッチスクリーンディスプレイ１７の画面に表示することができる。

このように、本実施形態では、手書き文書が格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、図形（線図）、表など）と手書き文書との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文字列の例を示している。

手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３の手書き文字列に対応する時系列情報２００を示している。時系列情報２００は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。すなわち、ペン１００の軌跡は等時間間隔でリアルタイムにサンプリングされるので、ストロークの長さが長いほど、あるいはストロークの手書き速度が遅いほど、座標データの数は増加する。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。なお、タイムスタンプ情報Ｔはオプション情報として使用してもよく、各々がタイムスタンプ情報Ｔを有さない複数のストロークデータを上述の時系列情報として使用しても良い。

さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す。
タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種コンピュータプログラムを実行する。これらプログラムには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。この手書きノートアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、および筆跡補完機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図６を参照して、手書きノートアプリケーションプログラム２０２の機能構成について説明する。

手書きノートアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、および筆跡補完処理部３０８等を備える。

手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書（手書きデータ）の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

ペン軌跡表示処理部３０１は、手書きによって入力されるストロークをタッチスクリーンディスプレイ１７の画面上に表示するように構成された表示処理部として機能する。ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信する。そして、この座標列に基づいて、ペン軌跡表示処理部３０１は、ペン１００等を使用した手書き入力操作によって入力される複数のストロークをタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信する。この座標列に基づいて、時系列情報生成部３０２は、上述の複数のストロークに対応する複数のストロークデータ（時系列情報）を生成する。これらストロークデータ、つまり各ストロークの各点に対応する座標および各ストロークのタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

ページ保存処理部３０４は、複数のストロークに対応する複数のストロークデータを含む手書き文書情報を記憶媒体４０２内の手書きノートデータベース４０２Ａに保存する。記憶媒体４０２は、上述したように、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

ページ取得処理部３０５は、記憶媒体４０２から任意の手書き文書情報を読み出す。読み出された手書き文書情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、手書き文書情報を解析し、この解析結果に基づいて、手書き文書情報内の複数のストロークデータによって示される複数のストロークの軌跡を画面上に手書きページとして表示する。

編集処理部３０３は現在表示中の手書き文書（手書きページ）を編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操作に応じて、表示されている複数のストローク内の１以上のストロークを削除または移動等するための編集処理を実行する。さらに、編集処理部３０３は、編集処理の結果を表示中の手書き文書に反映するためにこの手書き文書を更新する。

ユーザは、「消しゴム」ツール等を使用して、表示されている複数のストローク内の任意のストロークを削除することができる。また、ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示されている手書きページ内の任意の部分を範囲指定することができる。

筆跡補完処理部３０８は、上述の筆跡補完機能を実行するように構成された処理部である。筆跡補完処理においては、筆跡補完処理部３０８は、手書きによって入力されるストロークに対応する１以上のストローク列を、過去に入力されたストロークの集合（手書き文書情報）から取得する。そして、筆跡補完処理部３０８は、取得されたストローク列を、入力可能なストロークの候補（候補ストローク）として画面上に表示するための処理を実行する。

換言すれば、筆跡補完処理部３０８は、入力されるストロークと手書き文書情報とに基づいて、ユーザが手書きしようとしているストローク列（手書き文字列）を予測する。そして、筆跡補完処理部３０８は、予測によって得られる幾つかのストローク列を候補ストロークとしてユーザに提示する。

例えば、ストローク（手書き文字列）「ａ」が手書きによって入力された場合には、手書きの語「ａｄｄ」または「ａｃｃｅｓｓ」のような候補がユーザに提示されてもよい。もしユーザによって手書きの語「ａｃｃｅｓｓ」が選択されたならば、この手書きの語「ａｃｃｅｓｓ」が、入力された手書き文字列となる。よって、ユーザは、手書きの語「ａｃｃｅｓｓ」のストローク列を容易に入力することが出来る。

手書き文書情報に格納される手書き文字列の言語はどのような言語であってもよい。利用可能な言語の例は、英語、日本語、中国語、および他の様々な言語を含む。英語の文字列に関しては、ストローク列（手書き文字列）は、ブロック体の文字列に対応するストローク列であってもよいし、筆記体の文字列に対応するストローク列であってもよい。筆記体で手書きされた単語は１つのストロークから構成される場合がある。したがって、筆跡補完処理において手書き文書情報から取得されるストローク列は、必ずしも複数のストロークを含んでいる必要は無く、一つのストロークであってもよい。

入力されたストロークに対応するストローク列の例には、入力されたストロークに類似するストロークを含む複数のストロークや、入力されたストロークに類似するストローク部分を含む１つのストロークがある。例えば、先頭のストローク（または先頭のストローク部分）が、入力されたストロークに類似しているストローク列が手書き文書情報から取得される。

入力されたストロークに対応するストローク列を手書き文書情報から容易に取得できるようにするために、筆跡補完処理部３０８は、手書きノートデータベース４０２Ａに格納されているストロークの集合（手書き文書情報）に基づいて、候補ストロークデータベース４０２Ｂを作成しても良い。

この候補ストロークデータベース４０２Ｂにおいては、例えば、単語のような意味のある文字列単位で、ストローク列（ストロークデータ群）と、このストロークデータ群に対応する文字認識結果（文字列）とが格納されていても良い。

この場合、筆跡補完処理部３０８は、まず、ユーザによって入力されたストロークを文字認識してもよい。そして、筆跡補完処理部３０８は、候補ストロークデータベース４０２Ｂを参照し、この入力されたストロークの文字認識結果（文字列）に前方一致する文字列を見つけ出す。筆跡補完処理部３０８は、見つけ出した文字列に対応するストローク列（ストロークデータ群）を、入力されたストロークに対応するストローク列として候補ストロークデータベース４０２Ｂから取得する。

あるいは、候補ストロークデータベース４０２Ｂにおいては、例えば、単語のような意味のある文字列単位で、ストローク列（ストロークデータ群）と、このストロークデータ群に対応する各ストロークの特徴量とが格納されていても良い。あるストロークの特徴量としては、このストロークの手書き特徴を表すことができる任意の特徴を使用することができる。例えば、特徴量としては、ストロークの形状、ストロークの筆画方向、ストロークの傾斜、等を表す特徴量データを使用しても良い。この場合、筆跡補完処理部３０８は、入力されたストロークの特徴量に類似する特徴量を有するストローク列を候補ストロークデータベース４０２Ｂから取得してもよい。

あるいは、候補ストロークデータベース４０２Ｂにおいては、例えば、単語のような意味のある文字列単位で、ストローク列（ストロークデータ群）と、このストロークデータ群に対応する文字認識結果（文字列）と、このストロークデータ群に対応する各ストロークの特徴量とが格納されていても良い。

筆跡補完処理部３０８は、入力されたストロークと、候補ストロークデータベース４０２Ｂとに基づいて、ユーザが入力しようとしているストローク列を予測する。この予測の処理では、筆跡補完処理部３０８は、入力されたストロークに対応する幾つかのストローク列（手書き文字列等）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これらストローク列を、入力が予測される手書き文字列の候補（候補ストローク）として画面上に表示するための処理を実行する。

図７は、入力されるストロークに対応する候補ストロークの例を示す。
ここでは、編集画面６００上で行われる手書き入力操作によって、手書き文字「ａ」に対応するストローク６１１が入力された場合が想定されている。編集画面６００は、手書き文書（手書きページ）を作成および編集するための画面である。

ストローク６１１が手書きによって入力された場合、筆跡補完処理部３０８は、この入力されたストローク６１１（ここでは手書き文字「ａ」）に対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これらストローク列それぞれを編集画面６００上の候補ストロークリスト５０１上に表示する。

入力されたストローク６１１は「未確定ストローク（または仮ストローク）」として扱われる。「未確定ストローク」は手書きページにまだ反映されていないストロークを意味する。「未確定ストローク」は筆跡補完対象のストロークであり、このストロークに基づき予測される候補ストロークがユーザに提示される。入力されたストローク６１１が「未確定ストローク（仮ストローク）」であることがユーザに分かるように、ストローク６１１は、現在選択されているペン色とは異なる色、例えば赤色、で表示されるようにしても良い。図７では、赤色のストロークは破線で図示されている。

図７においては、候補ストロークリスト５０１上に、４つのストローク列が候補ストロークとして提示された場合が想定されている。ここでは、４つのストローク列は、手書き文字列「ａｂｉｌｉｔｙ」、手書き文字列「ａｃｃｅｓｓ」、手書き文字列「ａｄａｐｔｏｒ」、手書き文字列「ａｄｄ」を含む。

このように、先頭の手書き文字が「ａ」で始まる幾つかのストローク列がユーザに提示される。これらストローク列は、過去にユーザによって手書き入力されたストローク列である。

さらに、筆跡補完処理部３０８は、候補ストロークリスト５０１の近くに、「キャンセル」ボタン５０２を表示しても良い。「キャンセル」ボタン５０２は、入力されたストローク（仮ストローク）を「確定ストローク」にするための確定ボタンとして機能する。「確定ストローク」は、手書きページに反映されたストロークを意味する。「確定ストローク」になったストロークは、筆跡補完の対象から除外される。

図８は、入力されるストロークに対応する候補ストロークの別の例を示す。

ここでは、編集画面６００上の手書き入力操作によって、手書き文字「ａ」に対応するストローク６１１が入力された後に、手書き文字「ｐ」に対応するストローク６１２、６１３がさらに入力された場合が想定されている。この場合、候補ストロークリスト５０１の内容が更新される。

すなわち、筆跡補完処理部３０８は、入力されたストローク６１１、６１２、６１３（手書き文字列「ａｐ」）に対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これらストローク列それぞれを編集画面６００上の候補ストロークリスト５０１上に表示する。

図８では、候補ストロークリスト５０１上に、４つの手書きストローク列、つまり手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」、手書き文字列「ａｐｅｒｔｕｒｅ」、手書き文字列「ａｐｅｘ」、手書き文字列「ａｐｏｌｏｇｙ」が、候補ストロークとして提示された場合が想定されている。

このように、「ａｐ」で始まる幾つかの手書き文字列がユーザに提示される。

ユーザによって候補ストロークリスト５０１上のある候補ストロークが選択された場合、筆跡補完処理部３０８は、選択された候補ストロークに対応するストローク列を編集画面６００上に表示する。換言すれば、筆跡補完処理部３０８は、入力された手書きストロークを、選択された候補ストロークに対応するストローク列で補完する。これにより、ユーザは目的の単語の一部を手書きによって入力するだけで、目的の単語を容易に入力することができる。

また、漢字のように複数のストロークから構成される文字に関しては、ユーザは、これら複数のストロークの一部を手書きによって入力するだけで、この文字を入力することができる。

また筆記体の文字列に関しては、ユーザは、この文字列を構成する一つのストロークの先頭の一部分を手書きによって入力するだけで、この筆記体の文字列を入力することができる。

図９は、入力された手書きストロークを補完する動作を示している。

ここでは、候補ストロークリスト５０１上の手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」が選択された場合が想定されている。手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」がペン１００または指によってタップされと、筆跡補完処理部３０８は、表示処理部（ペン軌跡表示処理部３０１または手書き文書表示処理部３０６）と協同して、手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」を編集画面６００上に表示するための処理を実行する。この場合、入力されたストローク（図８のストローク６１１、６１２、６１３）は手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」で補完される。換言すれば、換言すれば、表示処理部は、入力されたストローク（図８のストローク６１１、６１２、６１３）の代わりに手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」を編集画面６００上に表示する。

そして、手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」は確定ストロークとなり、編集中の手書きページに反映される。つまり、候補ストロークデータベース４０２Ｂから取得された「ａｐｐｌｉｃａｔｉｏｎ」のストロークデータ群が手書きページに加えられる。なお、もし手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」が筆記体で記述されたストローク列である場合には、手書き文字列「ａｐｐｌｉｃａｔｉｏｎ」に対応する１個のストロークデータが手書きページに加えられる。

図１０は、「キャンセル」ボタン５０２がタップされた時に実行される動作を示している。

「キャンセル」ボタン５０２がペン１００または指によってタップされと、筆跡補完処理部３０８は、入力されたストローク（ここでは、ストローク６１１、６１２、６１３）を確定ストロークにする。そして、筆跡補完処理部３０８は、この入力されたストロークを編集中の手書きページに反映する。この場合、ストローク６１１、６１２、６１３に対応する３つのストロークデータが手書きページに加えられる。また、候補ストロークリスト５０１は編集画面上から消える。

ストローク６１１、６１２、６１３は、現在選択されているペン色、例えば黒色で表示されても良い。図１０では、黒色のストロークは実線で図示されている。

この後、さらに、新たなストロークが手書きによって入力されたならば、筆跡補完処理部３０８は、新たな筆跡補完処理を開始する。この新たな筆跡補完処理では、筆跡補完処理部３０８は、この新たに入力されたストロークに対応する幾つかのストローク列を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これらストローク列を示す候補ストロークリスト５０１を編集画面６００上に表示する。

手書きによってメモを書いている最中においては、ユーザは、入力された１以上のストローク（１以上の仮ストローク）を確定ストロークにしたいと考える場合がある。例えば、ユーザは、最初の目的の文字列の入力が完了した時に、つまり次の目的の文字列の手書きを開始する前に、最初の目的の文字列を確定ストロークにしたいと考えるかもしれない。このようにすれば、ユーザは、次の目的の文字列に対応する候補ストロークの提示（推薦）を利用できるからである。

この場合、ユーザは「キャンセル」ボタン５０２をタップすればよい。しかし、手書き入力操作中に「キャンセル」ボタン５０２のタップのような特別な操作を行わなければならないことは、スムーズな手書き入力を妨げる要因となり得る。

そこで、本実施形態では、筆跡補完処理部３０８は、連続して入力される２つのストローク間の距離に応じて、以下の「処理Ａ」、「処理Ｂ」の２つの処理を選択的に実行するように構成されている。

いま、あるストローク（第１ストローク）が手書きによって入力された後にさらにストローク（第２ストローク）が手書きによって入力された場合を想定する。最初に、第１ストロークの入力に応答して、第１ストロークに対応する候補ストロークが表示される。そして、第２ストロークが手書きによって入力された場合、筆跡補完処理部３０８は、これら２つのストローク間の距離、つまり第１ストロークと第２ストロークとの間の距離に基づき、「処理Ａ」、「処理Ｂ」の２つの処理を選択的に実行する。ここで、ストローク間の距離は、第１ストロークが表示される第１領域と、第２ストロークが表示される第２領域との間の距離に相当する。

処理Ａ： 第１ストロークと第２ストロークとの間の距離がある閾距離（第１距離）以下である場合、筆跡補完処理部３０８は、第１ストロークと第２ストロークの組に対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これらストローク列を編集画面６００上の候補ストロークリスト５０１上に表示するための処理を実行する。

処理Ｂ： 第１ストロークと第２ストロークとの間の距離が上述の閾距離よりも長い場合、筆跡補完処理部３０８は、第１ストロークとは無関係に、第２ストロークに対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これらストローク列を編集画面６００上の候補ストロークリスト５０１上に表示するための処理を実行する。この場合、第１ストロークは確定ストロークとなり、手書きページに反映される。

図１１は、既に入力されているストロークと新たに入力されたストロークとの間の距離が閾距離よりも長い場合に筆跡補完処理部３０８によって実行される動作を示している。

ここでは、手書き文字列「ａｐ」に対応するストローク６１１，６１２、６１３が手書きによって入力された後に、筆記体の手書き文字「ｌ」に対応するストローク６１４が手書きによって入力された場合が想定されている。この場合、筆跡補完処理部３０８は、手書き文字列「ａｐ」に対応するストローク列の最後のストロークと手書き文字「ｌ」に対応するストローク６１４との間の距離が、閾距離よりも長いか否かを判定する。

この距離が閾距離よりも長い場合、筆跡補完処理部３０８は、ストローク６１１，６１２、６１３とは無関係に、ストローク６１４に対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これら候補ストロークを編集画面６００上の候補ストロークリスト５０１上に表示する。

図１１においては、候補ストロークリスト５０１上に、４つの手書きストローク列、つまり手書き文字列「ｌａｎｇｕａｇｅ」、手書き文字列「ｌａｙｅｒ」、手書き文字列「ｌｏｃａｌ」、手書き文字列「ｌｏｎｇ」が、候補ストロークとして提示された場合が想定されている。このように、手書き文字列「ａｐ」とは関係なく、先頭の手書き文字が「ｌ」で始まる幾つかの手書き文字列がユーザに提示される。

図１２は、既に入力されているストロークと新たに入力されたストロークとの間の距離が閾距離よりも長くない場合に筆跡補完処理部３０８によって実行される動作を示している。

ここでは、図１１と同様に、手書き文字列「ａｐ」に対応するストローク６１１，６１２、６１３が手書きによって入力された後に、手書き文字「ｌ」に対応するストローク６１４が手書きによって入力された場合が想定されている。この場合、筆跡補完処理部３０８は、手書き文字列「ａｐ」に対応するストローク列の最後のストロークと手書き文字「ｌ」に対応するストローク６１４との間の距離が、閾距離よりも長いか否かを判定する。

この距離が閾距離よりも長くない場合、筆跡補完処理部３０８は、ストローク６１１，６１２、６１３、６１４に対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、これら候補ストロークを編集画面６００上の候補ストロークリスト５０１上に表示する。

図１２においては、候補ストロークリスト５０１上に、２つの手書きストローク列、つまり手書き文字列「ａｐｌｅｎｔｙ」、手書き文字列「ａｐｌｏｍｂ」が、候補ストロークとして提示された場合が想定されている。

次に、ストローク間の距離を算出するための方法について説明する。
上述したように、第１ストロークが手書きによって入力された後に第２ストロークが手書きによって入力された場合、第１ストロークが表示される編集画面上の第１領域と第２ストロークが表示される編集画面上の第２領域との間の距離が、これらストローク間の距離に相当する。

第１領域と第２領域との間の距離としては、第１ストロークの終点と第２ストロークの始点との間の距離を使用しても良い。

第１領域と第２領域との間の距離を評価するための閾距離は、画面（ページ）のサイズ（幅、高さ）に応じて定めてもよい。画面（ページ）の幅はこのページの横方向（Ｘ方向）の長さであり、ページの高さはこのページの縦方向（Ｙ方向）の長さである。例えば、ページの横方向（Ｘ方向）の長さの約半分の距離を、閾距離としてもよい。第１領域と第２領域との間の距離が閾距離（Ｘｔｈ）よりも長いか否かに応じて、上述の処理Ａと処理Ｂが選択的に実行される。

あるいは、閾距離は、第１ストロークの外形のサイズに応じて定められてもよい。例えば、第１ストロークの外形のサイズは、第１ストロークに外接する矩形のサイズであってもよい。この場合、この矩形の幅または高さに応じて閾距離を定めても良い。矩形の幅はこの矩形の横方向（Ｘ方向）の長さであり、矩形の高さはこの矩形の縦方向（Ｙ方向）の長さである。例えば、矩形の横方向（Ｘ方向）の長さの数倍の値を閾距離としてもよいし、この矩形の縦方向（Ｙ方向）の長さに基づいて閾距離を定めても良い。

あるいは、閾距離は、画面（ページ）のサイズと第１ストロークの外形のサイズとの関係に基づいて定められてもよい。例えば、ページの横方向（Ｘ方向）の長さの約半分の距離をデフォルトの閾距離とし、第１ストロークの外形サイズに応じて、このデフォルトの閾距離を増減しても良い。

なお、第１ストロークが、１つの手書き文字を構成する複数のストロークの一つである場合には、この手書き文字の外形のサイズに応じて、閾距離を定めても良い。

さらに、閾距離として、２つの閾距離、つまり第１領域と第２領域との間の横方向の距離に関する閾距離（Ｘｔｈ）と、第１領域と第２領域との間の縦方向の距離に関する閾距離（Ｙｔｈ）とを使用しても良い。この場合、第１領域と第２領域との間の横方向の距離は横方向の閾距離（Ｘｔｈ）と比較され、第１領域と第２領域との間の縦方向の距離は縦方向の閾距離（Ｙｔｈ）と比較される。縦方向の閾距離（Ｙｔｈ）を使用することにより、筆跡補完処理部３０８は、第１ストロークが手書きされた行と異なる行に第２ストロークが手書きされたか否かを判定することが出来る。

閾距離（Ｙｔｈ）としては、閾距離（Ｘｔｈ）よりも小さい値を使用して良い。この場合、筆跡補完処理部３０８は、第１ストロークと第２ストロークとの間の横方向の距離が閾距離（Ｘｔｈ）よりも長い場合、または第１ストロークと第２ストロークとの間の縦方向の距離が、閾距離（Ｘｔｈ）よりも短い閾距離（Ｙｔｈ）よりも長い場合に、第１ストロークと第２ストロークとが互いに離されていると判定する。換言すれば、たとえ第１ストロークと第２ストロークとの間の横方向の距離が閾距離（Ｘｔｈ）以下であっても、第１ストロークと第２ストロークとの間の縦方向の距離が閾距離（Ｙｔｈ）よりも長い場合には、第１ストロークと第２ストロークとが互いに離されていると判定される。第１ストロークと第２ストロークとが互いに離されていると判定された場合、筆跡補完処理部３０８は、第１ストロークとは無関係に、第２ストロークに対応する幾つかのストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得し、これら候補ストロークを編集画面６００上の候補ストロークリスト５０１上に表示する。

閾距離（Ｘｔｈ）は、上述した画面（ページ）のサイズ（例えばページの横方向サイズ）または上述した第１ストロークの外形サイズ（第１ストロークに外接する矩形の横方向または縦方向の長さ）の少なくとも一つを用いて決定してもよい。そして、この決定された閾距離（Ｘｔｈ）よりも短い距離を閾距離（Ｙｔｈ）に決定しても良い。

図１３は、２つのストローク間の横方向の距離を算出するための動作の例を示している。
ここでは、図１１で説明した状況と同様に、手書き文字列「ａｐ」に対応するストローク６１１，６１２、６１３が手書きによって入力された後に、手書き文字「ｌ」に対応するストローク６１４が手書きによって入力された場合が想定されている。ストローク６１３とストローク６１４との間の横方向の距離Ｘ１は、手書き文字列「ａｐ」の最後のストロークの終点座標と手書き文字「ｌ」の始点座標との間の差分を算出することによって得られる。より詳しくは、距離Ｘ１は、ストローク６１３の終点のＸ座標とストローク６１４の始点のＸ座標との間の差分の絶対値である。

図１４は、２つのストローク間の縦方向の距離を算出するための動作の例を示している。
ストローク６１３とストローク６１４との間の横方向の距離Ｙ１は、手書き文字列「ａｐ」の最後のストロークの終点座標と手書き文字「ｌ」の始点座標との間の差分を算出することによって得られる。より詳しくは、距離Ｙ１は、ストローク６１３の終点のＹ座標とストローク６１４の始点のＹ座標との間の差分の絶対値である。

図１５は、２つのストローク間の横方向の距離を算出するための動作の別の例を示している。
ストローク６１３は手書き文字「ｐ」を構成する２つのストロークの内の一つである。この場合、手書き文字「ｐ」に外接する矩形の中心Ｘ座標と手書き文字「ｌ」に外接する矩形の中心Ｘ座標との間の差分の絶対値を、ストローク６１３とストローク６１４との間の横方向の距離Ｘ１として算出しても良い。

さらに、手書き文字「ｐ」に外接する矩形のＸ方向の長さに基づいて、上述の閾距離（Ｘｔｈ）を定めても良い。

図１６のフローチャートは、上述の筆跡補完処理の手順を示す。
ユーザの手書き入力操作によってストロークが入力されると、ペン軌跡表示処理部３０１は、この入力されたストローク（仮ストローク）を画面上に表示する（ステップＳ１１）。筆跡補完処理部３０８は、この入力されたストロークに対応するストロークデータを時系列情報生成部３０２から受信する。

そして、筆跡補完処理部３０８は、この入力されたストロークに対応するストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する（ステップＳ１２）。このステップＳ１２の処理は、入力されたストローク（仮ストローク）と候補ストロークデータベース４０２Ｂとに基づいて、ユーザが入力しようとしている手書きストローク列（手書き文字列）を予測する処理に相当する。そして、筆跡補完処理部３０８は、候補ストロークの一覧、つまり上述の候補ストロークリスト５０１を画面上に表示するための処理を実行する（ステップＳ１３）。候補ストロークリスト５０１には、幾つかの候補ストロークが表示される。

筆跡補完処理部３０８は、ユーザによってある候補ストローク（ストローク列）が選択されたか否かを判定する（ステップＳ１４）。ユーザによってある候補ストローク（ストローク列）が選択されたならば（ステップＳ１４のＹＥＳ）、筆跡補完処理部３０８は、上述の表示処理部と協同して、選択されたストローク列を画面上に表示する（ステップＳ１５）。ステップＳ１５では、表示処理部は、選択されたストローク列を、入力されたストローク（仮ストローク）に代えて表示する。つまり、入力されたストローク（仮ストローク）は、選択されたストローク列に置換される。さらに、選択されたストローク列は確定ストロークとなり、現在作成または編集されている手書きページに反映される。

どの候補ストローク（ストローク列）も選択されずに「キャンセル」ボタン５０２がユーザによってタップされたならば（ステップＳ１６のＹＥＳ）、筆跡補完処理部３０８は、入力されたストローク（仮ストローク）を「確定ストローク列」にする（ステップＳ１７）。ステップＳ１７では、筆跡補完処理部３０８は、候補ストロークリスト５０１を画面から消す。

どの候補ストローク（ストローク列）も選択されずに且つ「キャンセル」ボタン５０２がタップされることなく、ストローク（新仮ストローク）が手書きによってさらに入力されたならば（ステップＳ１８のＹＥＳ）、筆跡補完処理部３０８は、ステップＳ１９に進む。そして、ステップＳ１９において、筆跡補完処理部３０８は、仮ストロークと新仮ストロークとの間の距離を算出する。そして、筆跡補完処理部３０８は、仮ストロークと新仮ストロークとの間の距離が、閾距離よりも長いか否かを判定する。

仮ストロークと新仮ストロークとの間の距離が閾距離よりも長いならば（ステップＳ１９のＹＥＳ）、筆跡補完処理部３０８は、仮ストロークを確定ストロークにする（ステップＳ２０）。ステップＳ２０では、仮ストロークは手書きページに反映される。そして、筆跡補完処理部３０８は、新仮ストロークに対する新たな筆跡補完処理を開始する（ステップＳ２１）。ステップＳ２１では、筆跡補完処理部３０８は、新仮ストロークに対応するストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、候補ストロークの一覧を画面上に表示する。

一方、仮ストロークと新仮ストロークとの間の距離が閾距離よりも長くないならば（ステップＳ１９のＮＯ）、筆跡補完処理部３０８は、ステップＳ１２に進む。そして、ステップＳ１２において、筆跡補完処理部３０８は、仮ストロークと新仮ストロークとを含むストローク列に対応するストローク列（候補ストローク）を候補ストロークデータベース４０２Ｂから取得する。そして、筆跡補完処理部３０８は、候補ストロークの一覧を画面上に表示する（ステップＳ１３）。

以上説明したように、本実施形態においては、あるストローク（第１ストローク）が手書きによって入力された場合、第１ストロークに対応する第１ストローク列が、入力可能なストロークの候補（候補ストローク）として画面上に表示される。そして、第１ストロークの入力の後に第２ストロークが手書きによって入力された場合、第１ストローク列の表示の後、第１ストロークと第２ストロークの組に対応する第２ストローク列、または第２ストロークに対応する第３ストローク列のいずれかが、候補ストロークとして画面上に表示される。第２ストローク列または第３ストローク列のいずれが表示されるかは、第１ストロークが表示される第１領域と２ストロークが表示される第２領域との間の距離に応じて自動的に決定される。

したがって、例えば、第２ストロークが第１ストロークの近くに書かれた場合には第１ストロークと第２ストロークの組に対応する第２ストローク列が候補ストロークとしてユーザに提示される。一方、第２ストロークが第１ストロークからある距離を置いた位置に書かれた場合には、第２ストロークに対応する第３ストローク列が候補ストロークとしてユーザに提示される。

よって、ユーザは、手書き入力操作中に「キャンセル」ボタン５０２をタップするといった特別な操作を行うこと無く、候補ストロークの表示のベースとなるストロークを容易に変更することが出来る。よって、スムーズな手書き入力操作を実現することができる。

なお、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

このコンピュータプログラムがインストールされたコンピュータ内のＣＰＵは上述の筆跡補完処理を実行するように構成されたプロセッサとして機能し得る。このコンピュータ内のＧＰＵはストロークそれぞれを画面上に表示するように構成された表示プロセッサとして機能し得る。

また、本実施形態では、タブレットコンピュータを使用する場合を例示して説明したが、本実施形態の手書き文書処理機能は、通常のデスクトップパーソナルコンピュータに適用することもできる。この場合、手書き入力のための入力デバイスであるタブレット等をデスクトップパーソナルコンピュータに接続すれば良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

実施形態によれば、電子機器は、表示処理手段と、処理手段とを具備する。前記表示処理手段は、手書きによって入力される第１ストロークを画面上に表示する。前記処理手段は、手書き文書情報から取得される、前記第１ストロークに対応する第１ストローク列を、入力可能なストロークの候補として前記画面上に表示するための処理を実行する。前記第１ストロークの入力の後に第２ストロークが手書きによって入力される場合、前記第１ストローク列の表示の後、前記処理手段は、前記第１ストロークが表示される第１領域と前記第２ストロークが表示される第２領域との間の距離に応じて、手書き文書情報から取得される、前記第１ストロークと前記第２ストロークの組に対応する第２ストローク列、または手書き文書情報から取得される、前記第２ストロークに対応する第３ストローク列のいずれかを、入力可能なストロークの候補として前記画面上に表示するための処理を実行する。

Claims (15)

1. 手書きによって入力される第１ストロークを画面上に表示する表示処理手段と、
   手書き文書情報から取得される、前記第１ストロークに対応する第１ストローク列を、入力可能なストロークの候補として前記画面上に表示するための処理を実行する処理手段とを具備し、
   前記第１ストロークの入力の後に第２ストロークが手書きによって入力される場合、前記第１ストローク列の表示の後、前記処理手段は、前記第１ストロークが表示される第１領域と前記２ストロークが表示される第２領域との間の距離に応じて、手書き文書情報から取得される、前記第１ストロークと前記第２ストロークの組に対応する第２ストローク列、または手書き文書情報から取得される、前記第２ストロークに対応する第３ストローク列のいずれかを、入力可能なストロークの候補として前記画面上に表示するための処理を実行する、電子機器。
2. 前記処理手段は、前記距離が第１距離よりも長い場合に前記第３ストローク列を前記画面上に表示するための処理を実行し、前記距離が前記第１距離よりも長くない場合に前記第２ストローク列を前記画面上に表示するための処理を実行する請求項１記載の電子機器。
3. 前記処理手段は、前記第１領域と前記第２領域との間の横方向の距離が第１距離よりも長い場合、または前記第１領域と前記第２領域との間の縦方向の距離が、前記第１距離よりも短い第２距離よりも長い場合に、前記第３ストローク列を前記画面上に表示するための処理を実行する請求項１記載の電子機器。
4. 前記第１距離は、前記画面のサイズまたは前記第１ストロークの外形のサイズの少なくとも一つに応じて定められる請求項２記載の電子機器。
5. 前記第１ストローク列、前記第２ストローク列、および前記第３ストローク列の各々は、１以上のストロークを含む請求項１記載の電子機器。
6. 手書きによって入力される第１ストロークを画面上に表示することと、
   手書き文書情報から取得される、前記第１ストロークに対応する第１ストローク列を、入力可能なストロークの候補として前記画面上に表示するための処理を実行することと、
   前記第１ストロークの入力の後に第２ストロークが手書きによって入力される場合、前記第１ストローク列の表示の後、前記第１ストロークが表示される第１領域と前記２ストロークが表示される第２領域との間の距離に応じて、手書き文書情報から取得される、前記第１ストロークと前記第２ストロークの組に対応する第２ストローク列、または手書き文書情報から取得される、前記第２ストロークに対応する第３ストローク列のいずれかを、入力可能なストロークの候補として前記画面上に表示するための処理を実行することとを具備する方法。
7. 前記第３ストローク列は、前記距離が第１距離よりも長い場合に前記画面上に表示され、前記第２ストローク列は、前記距離が前記第１距離よりも長くない場合に前記画面上に表示される請求項６記載の方法。
8. 前記第３ストローク列は、前記第１領域と前記第２領域との間の横方向の距離が第１距離よりも長い場合、または前記第１領域と前記第２領域との間の縦方向の距離が、前記第１距離よりも短い第２距離よりも長い場合に前記画面上に表示される請求項６記載の方法。
9. 前記第１距離は、前記画面のサイズまたは前記第１ストロークの外形のサイズの少なくとも一つに応じて定められる請求項７記載の方法。
10. 前記第１ストローク列、前記第２ストローク列、および前記第３ストローク列の各々は、１以上のストロークを含む請求項６記載の方法。
11. コンピュータによって実行されるプログラムであって、前記プログラムは、
    手書きによって入力される第１ストロークを画面上に表示することと、
    手書き文書情報から取得される、前記第１ストロークに対応する第１ストローク列を、入力可能なストロークの候補として前記画面上に表示するための処理を実行することと、
    前記第１ストロークの入力の後に第２ストロークが手書きによって入力される場合、前記第１ストローク列の表示の後、前記第１ストロークが表示される第１領域と前記２ストロークが表示される第２領域との間の距離に応じて、手書き文書情報から取得される、前記第１ストロークと前記第２ストロークの組に対応する第２ストローク列、または手書き文書情報から取得される、前記第２ストロークに対応する第３ストローク列のいずれかを、入力可能なストロークの候補として前記画面上に表示するための処理を実行すること
    の機能を実行するように前記コンピュータを制御するプログラム。
12. 前記第３ストローク列は、前記距離が第１距離よりも長い場合に前記画面上に表示され、前記第２ストローク列は、前記距離が前記第１距離よりも長くない場合に前記画面上に表示される請求項１１記載のプログラム。
13. 前記第３ストローク列は、前記第１領域と前記第２領域との間の横方向の距離が第１距離よりも長い場合、または前記第１領域と前記第２領域との間の縦方向の距離が、前記第１距離よりも短い第２距離よりも長い場合に前記画面上に表示される請求項１１記載のプログラム。
14. 前記第１距離は、前記画面のサイズまたは前記第１ストロークの外形のサイズの少なくとも一つに応じて定められる請求項１２記載のプログラム。
15. 前記第１ストローク列、前記第２ストローク列、および前記第３ストローク列の各々は、１以上のストロークを含む請求項１１記載のプログラム。

Images