JP5728592B1 - 電子機器および手書き入力方法 - Google Patents

Abstract

実施形態によれば、第１モードにおいては、電子機器は、画面上の第１オブジェクトの動きに応じて第１センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示可能であり、前記画面上の第２オブジェクトの動きに応じて第２センサから入力されるイベント群に基づいて、前記画面上の前記第２オブジェクトのジェスチャ操作に対応する第１処理を実行可能である。第２モードにおいては、電子機器は、前記画面上の前記第２オブジェクトの動きに応じて前記第２センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示可能である。前記電子機器は、前記第２モードにおいて前記第１センサから第１のイベントが入力されたことに応答して、入力モードを前記第２モードから前記第１モードに切り替える。

Description

本発明の実施形態は、手書き文書を処理する技術に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

最近では、ペンによって文字等を入力するための入力モードと指等のタッチによって文字等を入力するための入力モードとを有する電子機器も開発されている。

特開平１０−２４０４４２号公報

しかし、従来では、画面に対する指等の接触に応じて実行される動作を動的に変更するための技術については考慮されていないのが現状である。

本発明の一形態の目的は、手書き入力を容易に行うことができる電子機器および手書き入力方法を提供することである。

実施形態によれば、電子機器は、処理手段と、設定手段とを具備する。前記処理手段は、入力モードが第１モードである場合、画面上の第１オブジェクトの動きに応じて第１センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示可能であり、前記第１オブジェクトと異なる前記画面上の第２オブジェクトの動きに応じて前記第１センサと異なる第２センサから入力されるイベント群に基づいて前記画面上の前記第２オブジェクトのジェスチャ操作に対応する第１処理を実行可能である。前記処理手段は、前記入力モードが第２モードである場合、前記画面上の前記第２オブジェクトの動きに応じて前記第２センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示可能である。前記設定手段は、ユーザによって行われるユーザインタフェースの操作に応じて前記入力モードを前記第１モードまたは前記第２モードに設定する。前記処理手段は、前記ユーザインタフェースの操作によって前記入力モードが前記第２モードに設定されている状態で、前記画面に対する前記第１オブジェクトの接触に応じて前記第１センサから第１のイベントが入力された場合、前記入力モードを前記第２モードから前記第１入力モードに切り替える。

図１は実施形態に係る電子機器の外観を示す斜視図である。 図２は同実施形態の電子機器と外部装置との連携動作を示す図である。 図３は同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図である。 図４は同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図である。 図５は同実施形態の電子機器のシステム構成を示すブロック図である。 図６は同実施形態の電子機器によって実行される、ペンを用いた手書き入力処理と指ジェスチャに対応する処理を説明するための図である。 図７はタッチ入力モードにおいて同実施形態の電子機器によって実行される手書き入力処理を説明するための図である。 図８は同実施形態の電子機器によって実行される、タッチ入力モードを自動的にオフする動作を説明するための図である。 図９は同実施形態の電子機器によって実行されるタッチ入力モード解除処理の手順を説明するためのフローチャートである。 図１０は同実施形態の電子機器によって表示されるデスクトップ画面を示す図である。 図１１は同実施形態の電子機器によって表示される設定画面を示す図である。 図１２は同実施形態の電子機器によって表示されるノートプレビュー画面を示す図である。 図１３は同実施形態の電子機器によって表示されるページ編集画面を示す図である。 図１４はタッチ入力モードにおいて同実施形態の電子機器によって表示されるページ編集画面を示す図である。 図１５は同実施形態の電子機器によって表示される検索ダイアログを示す図である。 図１６は同実施形態の電子機器によって実行される手書きノートアプリケーションプログラムの機能構成を示すブロック図である。 図１７は同実施形態の電子機器によって実行される手書き入力処理の手順を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えばデジタイザペン（電磁誘導ペン）であってもよい。

ユーザは、ペン１００を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる（ペン入力モード）。手書き入力操作中においては、画面上のペン１００の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数のストロークが画面上に表示される。ペン１００が画面に接触されている間のペン１００の動きの軌跡が１つのストロークに相当する。手書きされた文字、手書きされた図形、手書きされた表、などに対応する多数のストロークの集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報（手書き文書データ）として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。

さらに、本実施形態のタブレットコンピュータ１０は、ペン１００を使用せずに、指で手書き入力操作を行うことが可能なタッチ入力モードも有している。タッチ入力モードが有効な場合、ユーザは、指を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の指の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数のストロークが画面上に表示される。

タッチ入力モードは、画面上の指の動きに応じた手書き入力操作を一時的に可能にするための入力モードとして使用し得る。ユーザがペン１００の持参を忘れた場合でもユーザはタッチ入力モードを有効にすることにより、指で手書き入力操作を行うことが出来る。

さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の手書き部分（手書き文字、手書きマーク、手書き図形、手書き表、等）を削除または移動することができる。またさらに、範囲選択ツールによって選択される手書き文書内の任意の手書き部分を、手書き文書を検索するための検索キーとして指定することもできる。またさらに、範囲選択ツールによって選択される手書き文書内の任意の手書き部分に対して、手書き文字認識／手書き図形認識／手書き表認識のような認識処理を実行することもできる。

本実施形態では、手書き文書は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書データ）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報あるいは大容量の時系列情報を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークをタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報それぞれのページを縮小することによって得られるサムネイルの一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。

さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。

このように、本実施形態では、時系列情報が保存される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きによって入力された場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２１、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

さらに、本実施形態では、上述したように、手書き文書データは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。この手書きノートアプリケーションプログラム２０２は、上述の手書き文書データを作成および表示する機能、手書き文書データを編集する機能、所望の手書き部分を含む手書き文書データや、ある手書き文書データ内の所望の手書き部分を検索するための手書き文書検索機能を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。タッチパネル１７Ｂ、ＬＣＤ１７Ａおよびデジタイザ１７Ｃは互いに重ね合わされている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン（デジタイザペン）１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

図６は、タブレットコンピュータ１０によって実行される、ペン１００を用いた手書き入力処理と指ジェスチャに対応する処理を示す。
ここでは、タッチスクリーンディスプレイ１７の画面内のほとんど全てのエリアが手書き入力エリアとして機能する場合を想定する。

タッチ入力モードがオフ（無効）の場合、換言すれば、現在の入力モードがデフォルトの入力モード（ペン入力モード）である場合、手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７の画面上のペン１００の動きの軌跡に対応する線（手書きストローク）をタッチスクリーンディスプレイ１７の画面上に描画する。

タッチ入力モードがオフ（無効）の場合、画面上の指の動きは手書きストロークの描画には使用されない。画面上の指の動きは、手書きストロークの描画とは異なる処理を実行するために使用される。

画面上の指の動きが、あるジェスチャに対応することが検出された場合には、手書きノートアプリケーションプログラム２０２は、この検出されたジェスチャに対応する処理を実行する。例えば、指よるスワイプジェスチャが検出された場合には、手書きノートアプリケーションプログラム２０２は、手書きページを捲る（ページ送りまたはページ戻し）処理を実行する。画面上の指の接触位置が右方向に移動するスワイプジェスチャ（右スワイプジェスチャ）が検出された場合には、手書きノートアプリケーションプログラム２０２は、手書きページを次のページに送る処理を実行する。もし現在表示されている手書きページが手書き文書（手書きノート）の最終ページであれば、手書きノートアプリケーションプログラム２０２は、手書きノートに新しい手書きページを追加する処理を実行してもよい。一方、画面上の指の接触位置が左方向に移動するスワイプジェスチャ（左スワイプジェスチャ）が検出された場合には、手書きノートアプリケーションプログラム２０２は、手書きページを前のページに戻す処理を実行する。

このように、タッチ入力モードがオフ、つまり現在の手書き入力モードがペン入力モードの場合には、手書きノートアプリケーションプログラム２０２は、デジタイザ１７Ｃから入力されるイベント群を手書き入力処理（手書きストロークの表示）のために使用し、タッチパネル１７Ｂから入力されるイベント群を、ジェスチャ（指ジェスチャ）に対応する処理の実行のために使用する。

手書き入力処理においては、手書きノートアプリケーションプログラム２０２は、画面上の第１オブジェクト（ペン１００）の動きに応じてデジタイザ１７Ｃから入力されるイベント群に基づき、手書きストロークを画面上に表示可能である。換言すれば、デジタイザ１７Ｃを使用して検出される画面上の第１オブジェクト（ペン１００）の動きに応じて手書きストロークが画面上に表示される。タッチパネル１７Ｂから入力されるイベント群は手書き入力処理には使用されないので、たとえユーザの掌または指が画面に接触しても、意図しない線が手書きされてしまうことはない。タッチパネル１７Ｂから入力されるイベント群は、手書き入力操作中のジェスチャ操作の検出のために使用される。

ジェスチャ操作に関しては、手書きノートアプリケーションプログラム２０２は、画面上の第２オブジェクト（指）の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づいて、画面上の第２オブジェクト（指）のジェスチャ操作に対応する処理を実行可能である。換言すれば、手書きノートアプリケーションプログラム２０２は、タッチパネル１７Ｂから入力されるイベント群に基づいて、画面上の第２オブジェクト（指）の動きが予め決められた複数のジェスチャ操作のいずれに合致するかを判定する。そして、手書きノートアプリケーションプログラム２０２は、合致するジェスチャ操作に対応する処理を実行する。

このように、ペン入力モードは、画面上の第１オブジェクト（ペン１００）の動きに応じてデジタイザ１７Ｃから入力されるイベント群に基づいて手書きストロークを画面上に表示可能で、且つ画面上の第２オブジェクト（指）の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づいて画面上の第２オブジェクト（指）のジェスチャ操作に対応する処理を実行可能な入力モードである。

したがって、タッチ入力モードがオフ（無効）の場合には、ユーザは、ペン１００を使用して文字、図形などを手書き入力しながら、指を使用してページ捲り等の操作を行うことができる。よって、ユーザは複数のページを含む手書き文書の閲覧および編集等を容易に行うことができる。

なお、タッチパネル１７Ｂは静電ペン等の画面に対する接触を検出することも出来る。したがって、上述の第２オブジェクトは指のみならず、ペン１００とは異なるペン（静電ペン）であってもよい。

図７は、タッチ入力モードにおける手書き入力処理を示す。
タッチ入力モードがオン（有効）の場合、つまり現在の入力モードがタッチ力モードである場合においては、手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７の画面上の指の動きの軌跡に対応する線をタッチスクリーンディスプレイ１７の画面上に描画する。指ジェスチャの検出と検出された指ジェスチャに対応する処理の実行は行われない。

より詳しくは、タッチ入力モードがオンの場合には、手書きノートアプリケーションプログラム２０２は、タッチパネル１７Ｂから入力されるイベント群に基づいてジェスチャ操作に対応する処理を実行する代わりに、タッチパネル１７Ｂによって検出される画面上の第２オブジェクト（指）の動きに応じて手書きストロークを画面上に表示する。換言すれば、手書きノートアプリケーションプログラム２０２は、画面上の第２オブジェクト（指）の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づいて手書きストロークを画面上に表示する。タッチパネル１７Ｂからの入力イベント群は手書き入力のために使用されるため、指ジェスチャの検出と検出された指ジェスチャに対応する処理の実行は行われない。

このように、タッチ入力モードは、画面上の第２オブジェクト（指）の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づいて、手書きストロークを画面上に表示可能な入力モードである。

ユーザは、タッチ入力モードをオンすることによって、指で手書き操作を行うことが出来る。しかし、ユーザは、タッチ入力モードをオンにした状態で手書きノートアプリケーションプログラム２０２を使用した後、タッチ入力モードを無効にするのを忘れてしまう場合がある。この場合、ユーザがペン１００を使用して手書き入力操作を行っても手書きすることができない。またもしユーザがページ捲り等を意図して指でスワイプジェスチャの操作を行うと、画面上に意図しない線が書かれてしまう。

そこで、本実施態の手書きノートアプリケーションプログラム２０２は、タッチ入力モードが有効である期間中にデジタイザ１７Ｃからのイベントが入力されたことに応答して、タッチ入力モードを自動的にオフ（無効）にする機能を有している。

図８は、タッチ入力モードを自動的にオフする動作を示す。
タッチ入力モードが有効な期間中にデジタイザ１７Ｃからの入力イベントを受け取ると、手書きノートアプリケーションプログラム２０２は、タッチ入力モードを自動的にオフする。

より詳しくは、手書きノートアプリケーションプログラム２０２は、入力モードがタッチ入力モードである期間中に、デジタイザ１７Ｃを使用して画面に対する第１オブジェクト（ペン１００）の接触が検出されたことに応答して、タッチ入力モードをオフする。これによって入力モードはタッチ入力モードからペン入力モードに切り替えられる。以降は、タッチパネル１７Ｂからの入力イベントは、手書き入力のためではなく、指ジェスチェに対応する処理の実行のために使用される。

したがって、ユーザは、タッチ入力モードをオフするための明示的な操作を行わずとも、ペン１００を使用した手書き入力操作を正常に開始することが出来る。よって、たとえユーザがタッチ入力モードを無効にするのを忘れていた場合であっても、ペン１００による手書き入力ができない、あるいは指でスワイプジェスチャしたときに意図しない線が書かれてしまうという不具合の発生を防止することが出来る。

図９のフローチャートは、手書きノートアプリケーションプログラム２０２によって実行されるタッチ入力モード解除処理の手順を示す。
手書きノートアプリケーションプログラム２０２は、現在の入力モードがタッチ入力モードであるならば（ステップＳ１１のＹＥＳ）、ペン１００からの入力イベントがあるか否か、つまり画面に対するペン１００の接触に応じてデジタイザ１７Ｃからイベントが入力されたかを検出する（ステップＳ１２）。デジタイザ１７Ｃからのイベントが入力されたならば、つまりデジタイザ１７Ｃから入力されるイベントの受信が検出されたならば（ステップＳ１２）、手書きノートアプリケーションプログラム２０２は、タッチ入力モードをオフ（無効）し、これによって入力モードをタッチ入力モードからペン入力モードに切り替える。

タッチ入力モードをオフするためのイベントとしては、画面内の任意の場所に対するペン１００の接触に応じたデジタイザ１７Ｃからのイベントを使用し得る。あるいは、ステップＳ１２においては、画面内の手書き入力エリアに対するペン１００の接触に起因するイベントのみを、タッチ入力モードをオフするためのイベントとして使用しても良い。

ユーザは画面内の手書き入力エリアに手書きする。このため、画面内の手書き入力エリアに対するペン１００の接触に起因するイベントのみをタッチ入力モードをオフするためのイベントとして使用するという上述の構成は、ペン１００を使用して手書き入力操作を行いたいというユーザの意思を検出することができるという点で有用である。

次に、手書きノートアプリケーションプログラム２０２によってユーザに提示される幾つかの代表的な画面の例を説明する。

図１０は、手書きノートアプリケーションプログラム２０２によって表示されるデスクトップ画面を示す。デスクトップ画面は複数の手書き文書データを扱うための基本画面である。以下では、手書き文書データを手書きノートと称する。

デスクトップ画面は、デスクトップ画面領域７０とドロア画面領域７１とを含む。デスクトップ画面領域７０は作業中の複数の手書きノートに対応する複数のノートアイコン８０１〜８０５を表示するテンポラリ領域である。ノートアイコン８０１〜８０５の各々は、対応する手書きノート内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、さらに、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノート（ギャラリー）アイコン７７３、タグ（ラベル）アイコン７７４を表示する。

ペンアイコン７７１は、表示画面をデスクトップ画面からページ編集画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は現在の日付を示すアイコンである。スクラップノートアイコン７７３は、他のアプリケーションプログラムからまたは外部ファイルから取り込んだデータ（スクラップデータまたはギャラリーデータと称する）を閲覧するためのＧＵＩである。タグアイコン７７４は、任意の手書きノート内の任意のページにラベル（タグ）を貼り付けるためのＧＵＩである。

ドロア画面領域７１は、作成済みの全ての手書きノートを格納するためのストレージ領域を閲覧するための表示領域である。ドロア画面領域７１は、全ての手書きノート内の幾つかの手書きノートに対応するノートアイコン８０Ａ，８０Ｂ，８０Ｃを表示する。ノートアイコン８０Ａ，８０Ｂ，８０Ｃの各々は、対応する手書きノート内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム２０２は、指を使用してユーザによって行われるドロア画面領域７１上のジェスチャ（例えばスワイプジェスチャ等）を検出することができる。このジェスチャ（例えばスワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、ドロア画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、ドロア画面領域７１に任意の手書きノートそれぞれに対応するノートアイコンを表示することができる。

さらに、手書きノートアプリケーションプログラム２０２は、ペン１００または指を使用してユーザによって行われるドロア画面領域７１のノートアイコン上のジェスチャ（例えばタップジェスチャ等）を検出することができる。ドロア画面領域７１上のあるノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム２０２は、このノートアイコンに対応する手書きノートを選択し、そして、デスクトップ画面の代わりに、図１２に示すノートプレビュー画面を表示する。図１２のノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。

さらに、手書きノートアプリケーションプログラム２０２は、ペン１００または指を使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えばタップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、中央部に位置するノートアイコンに対応する手書きノートを選択し、そして、デスクトップ画面の代わりに、図１２に示すノートプレビュー画面を表示する。

さらに、デスクトップ画面はメニューを表示することができる。このメニューは、リストノートボタン８１Ａ、ノート追加ボタン８１Ｂ、ノート削除ボタン８１Ｃ、検索ボタン８１Ｄ、設定ボタン８１Ｅを備える。リストノートボタン８１Ａは手書きノートの一覧を表示するためのボタンである。ノート追加ボタン８１Ｂは、新しい手書きノートを作成（追加）するためのボタンである。ノート削除ボタン８１Ｃは手書きノートを削除するためのボタンである。検索ボタン８１Ｄは検索画面（検索ダイアログ）を開くためのボタンである。設定ボタン８１Ｅは設定画面を開くためのボタンである。

図１１は、設定ボタン８１Ｅがペン１００または指でタップされた際に開かれる設定画面を示す。
この設定画面は様々な設定項目を表示する。これら設定項目には、上述のタッチ入力モードをオン（有効）またはオフ（無効）にするための設定項目が含まれる。タッチ入力モードの初期値はオフ（無効）である。タッチ入力モードに対応するボタン９０を含むこの設定画面はタッチ入力モードをオン又はオフするためのユーザインタフェース、つまり入力モードをペン入力モード（タッチ入力モード＝オフ）またはタッチ入力モードに設定するためのユーザインタフェースである。タッチ入力モードに対応するボタン９０がペン１００または指でタップされると、タッチ入力モードがオンされる。もし既にタッチ入力モードがオンされている状態でボタン９０がペン１００または指でタップされると、タッチ入力モードはオフされる。

図１２は上述のノートプレビュー画面を示す。
ノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。ここでは、ノートアイコン８０１に対応する手書きノートが選択された場合を想定する。この場合、手書きノートアプリケーションプログラム２０２は、この手書きノートに含まれる複数のページ９０１，９０２，９０３，９０４，９０５を、これらページ９０１，９０２，９０３，９０４，９０５それぞれの少なくとも一部分が視認可能で且つこれらページ９０１，９０２，９０３，９０４，９０５が重なった形態で表示する。

ノートプレビュー画面は、さらに、上述のペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。

ノートプレビュー画面は、さらに、メニューを表示することができる。このメニューは、デスクトップボタン８２Ａ、リストページボタン８２Ｂ、ページ追加ボタン８２Ｃ、編集ボタン８２Ｄ、ページ削除ボタン８２Ｅ、ラベルボタン８２Ｆ、および検索ボタン８２Ｇを備える。デスクトップボタン８２Ａは、デスクトップ画面を表示するためのボタンである。リストページボタン８２Ｂは、現在選択されている手書きノート内のページの一覧を表示するためのボタンである。ページ追加ボタン８２Ｃは、新しいページを作成（追加）するためのボタンである。編集ボタン８２Ｄはページ編集画面を表示するためのボタンである。ページ削除ボタン８２Ｅは、ページを削除するためのボタンである。ラベルボタン８２Ｆは、使用可能なラベルの種類の一覧を表示するためのボタンである。検索ボタン８２Ｇは検索画面を表示するためのボタンである。

手書きノートアプリケーションプログラム２０２はユーザによって行われるノートプレビュー画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、あるいは編集ボタン８２Ｄ上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上のページを選択し、そしてノートプレビュー画面の代わりに、図１３に示すページ編集画面を表示する。

図１３のページ編集画面は、手書き入力可能な画面である。このページ編集画面は、ページ（手書きページ）の新規作成、および既存のページの閲覧および編集のために使用される。図１２のノートプレビュー画面上のページ９０１が選択された場合には、図１３に示すように、ページ編集画面は、ページ９０１の内容を表示する。

このページ編集画面において、破線で囲まれた矩形の領域５００は手書き可能な手書き入力エリアである。ここでは、タッチ入力モードがオフである場合を想定する。

手書き入力エリア５００においては、デジタイザ１７Ｃからの入力イベント群は手書きストロークの表示（描画）のために使用され、タップ等のジェスチャを示すイベントとしては使用されない。タッチパネル１７Ｂからの入力イベントは、手書き入力エリア５００への手書きストロークの表示（描画）には使用されず、タップ、スワイプ等のジェスチャを示すイベントとして使用される。

ページ編集画面において、手書き入力エリア５００以外の領域においては、デジタイザ１７Ｃからの入力イベントはタップ等のジェスチャを示すイベントとしても使用され得る。

ページ編集画面は、さらに、ユーザによって予め登録された３種類のペン５０１〜５０３と、範囲選択ペン５０４、消しゴムペン５０５とを含むクイックセレクトメニューを表示する。ここでは、黒ペン５０１、赤ペン５０２、マーカー５０３がユーザによって予め登録されている場合が想定されている。ユーザは、ペン１００または指でクイックセレクトメニュー内のあるペン（ボタン）をタップすることにより、使用するペンの種類を切り替えることが出来る。例えば、黒ペン５０１がユーザによるペン１００または指を使用したタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がページ編集画面上で行われると、手書きノートアプリケーションプログラム２０２は、ペン１００の動きに合わせて黒色のストローク（軌跡）をページ編集画面上に表示する。

クイックセレクトメニュー内の上述の３種類のペンは、ペン１００のサイドボタンの操作によっても切り替えることが出来る。クイックセレクトメニュー内の上述の３種類のペンの各々には、よく使うペンの色やペンの太さの組み合わせを設定することができる。

ページ編集画面は、さらに、メニューボタン５１１、ページ戻しボタン５１２、ページ送りボタン５１３を表示する。メニューボタン５１１はメニューを表示するためのボタンである。

このメニューは、例えば、ノートプレビュー画面に戻るためのボタン、新規ページを追加するためのボタン、検索画面を開くための検索ボタンを備えていてもよい。さらに、このメニューは、エクスポートまたはインポートのためのサブメニューを備えていても良い。エクスポートのためのサブメニューとしては、ページ編集画面上に表示されている手書きページを認識して電子文書ファイル、プレゼンテーションファイル等に変換する機能をユーザに選択させるためのメニューを使用しても良い。

さらに、メニューは、手書きページをテキストに変換して電子メールによって送信する処理を起動するためのボタンを備えていても良い。またさらに、メニューは、クイックセレクトメニュー内の３種類のペンの各々の色（描画される線の色）および太さ（描画される線の太さ）を変更可能なペン設定画面を呼び出すためのボタンを備えていても良い。

図１４は、タッチ入力モードがオンされた場合に対応するページ編集画面を示す。
図１４のページ編集画面と図１３のページ編集画面の違いは、図１４のページ編集画面においては、「タッチ入力モード」と読めるメッセージを含むインジケータ５２１が表示される点である。

タッチ入力モードがオンされた場合、手書き入力エリア５００においては、タッチパネル１７Ｂからの入力イベント群は、手書き入力エリア５００への手書きストロークの表示（描画）に使用され、タップ、スワイプ等のジェスチャを示すイベントとしては使用されない。このため、ユーザは、手書き入力エリア５００上の指ジェスチャ（左スワイプ／右スワイプ）を使用できなくなる。しかし、ユーザは、指でページ戻しボタン５１２またはページ送りボタン５１３をタップすることによって、ページ捲りを行うことができる。

また、ユーザは、指でクイックセレクトメニュー、メニューボタン５１１等を操作することも出来る。

タッチ入力モードが有効である期間中に手書き入力エリア５００にペン１００が接触されると、手書きノートアプリケーションプログラム２０２は、タッチ入力モードをオフする。タッチ入力モードがオフされた後は、手書き入力エリア５００においては、タッチパネル１７Ｂからの入力イベントは、手書き入力エリア５００への手書きストロークの表示（描画）には使用されず、タップ、スワイプ等のジェスチャを示すイベントとして使用される。デジタイザ１７Ｃからの入力イベント群は手書きストロークの表示（描画）のために使用される。

このように、タッチ入力モードが有効な場合に、ユーザがペン１００で手書き入力エリア５００に手書きを開始すると、タッチ入力モードは自動的にオフされる。つまり、入力モードはタッチ入力モードからペン入力モードに自動的に戻される。したがって、ユーザはタッチ入力モードをオフする操作を行うことなく、ペン１００で手書き入力エリア５００に手書きすることができ、また手書き入力エリア５００上で指ジャスチャを行うことによってページ捲り操作等を実行する事ができる。

なお、タッチ入力モードが有効である期間中にも、ペン１００でクイックセレクトメニュー、メニューボタン５１１等の操作を行えるようにしてもよい。またペン１００がクイックセレクトメニュー、メニューボタン５１１に接触したことに応答してタッチ入力モードをオフするようにしてもよい。

図１５は、検索画面（検索ダイアログ）の例を示す。図１５では、ノートプレビュー画面上に検索画面（検索ダイアログ）が開かれた場合が想定されている。

検索画面は、検索キー入力領域５３０、筆跡検索ボタン５３１、テキスト検索ボタン５３２、デリートボタン５３３、検索実行ボタン５３４を表示する。筆跡検索ボタン５３１は筆跡検索を選択するためのボタンである。テキスト検索ボタン５３２はテキスト検索を選択するためのボタンである。検索実行ボタン５３４は、検索処理の実行を要求するためのボタンである。

筆跡検索においては、検索キー入力領域５３０は、検索キーとすべき文字列、図形、表などを手書きするための入力領域として使用される。図１５においては、検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力された場合が例示されている。ユーザは、手書き文字列に限らず、手書き図形、手書き表などを検索キー入力領域５３０にペン１００で手書きすることができる。

タッチ入力モードがオンの場合には、ユーザは、検索キー入力領域５３０に指で文字などを手書きすることもできる。タッチ入力モードがオンである場合に、ユーザがペン１００で検索キー入力領域５３０に手書きを開始すると、タッチ入力モードは自動的にオフされる。したがって、ユーザはタッチ入力モードをオフする操作を行うことなく、ペン１００で検索キー入力領域５３０に手書きすることができる。

検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力された状態で検索実行ボタン４３４がユーザによって選択されると、手書き文字列「Ｄｅｔｅｒｍｉｎｅ」のストローク群（クエリーストローク群）を用いて、このクエリーストローク群に対応するストローク群を含む手書きノートを検索するための筆跡検索が実行される。筆跡検索では、ストローク間のマッチングによって、１以上のクエリーストロークに類似する１以上のストロークが検索される。複数のクエリーストロークとある別の複数のストロークとの間の類似度の算出においては、ＤＰ（Dynamic Programming）マッチングを使用してもよい。

テキスト検索においては、例えばソフトウェアキーボードが画面上に表示される。ユーザは、ソフトウェアキーボードを操作することによって任意のテキスト（文字列）を検索キーとして検索キー入力領域５３０に入力することができる。検索キー入力領域５３０にテキストが検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、このテキスト（クエリーテキスト）に対応するストロークデータ群を含む手書きノートを検索するためのテキスト検索が実行される。

筆跡検索／テキスト検索は、全ての手書きノートを対象に実行することも出来るし、選択された手書きノートのみを対象に実行することも出来る。筆跡検索／テキスト検索が実行されると、検索結果画面が表示される。検索結果画面においては、クエリーストローク群（またはクエリーテキスト）に対応するストローク群を含む手書きページの一覧が表示される。ヒットワード（クエリーストローク群またはクエリーテキストに対応するストローク群）は強調表示される。

次に、図１６を参照して、手書きノートアプリケーションプログラム２０２の機能構成について説明する。

手書きノートアプリケーションプログラム２０２は、手書き文書データを扱うことが可能なＷＹＳＩＷＹＧアプリケーションである。この手書きノートアプリケーションプログラム２０２は、例えば、ペン設定部３００Ａ、タッチ入力モード設定部３００Ｂ、表示処理部３０１、時系列情報生成部３０２、検索／認識部３０３、ページ保存処理部３０６、ページ取得処理部３０７、およびインポート部３０８等を備える。

上述したタッチパネル１７Ｂは、「タッチ（接触）」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上にオブジェクト（指）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（指）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（指）が離されたことを示すイベントである。

上述したデジタイザ１７Ｃも、「タッチ（接触）」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上にオブジェクト（ペン１００）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（ペン１００）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（ペン１００）が離されたことを示すイベントである。

手書きノートアプリケーションプログラム２０２は手書きページデータの作成、閲覧、編集を行うためのページ編集画面をタッチスクリーンディスプレイ１７上に表示する。ペン設定部３００Ａは、ユーザインタフェース（例えば、上述の複数のペンアイコン、またはペンスタイルの詳細を設定するためのメニュー画面、等）を表示し、ユーザによって行われるこのユーザインタフェースの操作に応じてストロークの描画の形態を設定する。

タッチ入力モード設定部３００Ｂは、図１１で説明した設定画面を表示し、ユーザによって行われる設定画面上の操作に応じてタッチ入力モードを有効または無効にする。換言すれば、タッチ入力モード設定部３００Ｂは、ユーザによって行われる設定画面上の操作に応じて、入力モードをタッチ入力モードまたはペン入力モードに設定する。

表示処理部３０１および時系列情報生成部３０２は、デジタイザ１７Ｃによって発生される「タッチ（接触）」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ（接触）」イベントには、ペン１００の接触位置の座標が含まれている。「移動（スライド）」イベントには、ペン１００の移動先の接触位置の座標が含まれている。したがって、表示処理部３０１および時系列情報生成部３０２は、デジタイザ１７Ｃから接触位置の動きの軌跡に対応する座標列を受信することができる。

同様に、表示処理部３０１および時系列情報生成部３０２は、タッチパネル１７Ｂによって発生される「タッチ（接触）」、「移動（スライド）」または「リリース」のイベントを受信することができる。「タッチ（接触）」イベントには、指の接触位置の座標が含まれている。「移動（スライド）」イベントには、指の移動先の接触位置の座標が含まれている。したがって、表示処理部３０１および時系列情報生成部３０２は、タッチパネル１７Ｂから接触位置の動きの軌跡に対応する座標列を受信することができる。

表示処理部３０１はペン入力モード（タッチ入力モード＝オフ）またはタッチ入力モード（タッチ入力モード＝オン）で動作するように構成された処理部として機能する。

タッチ入力モードがオフ（無効）の場合、換言すれば、現在の入力モードがデフォルトの入力モード（ペン入力モード）である場合、表示処理部３０１は、ページ編集画面上のペン１００の動きに応じてデジタイザ１７Ｃから入力されるイベント群に基づき、手書きストロークをページ編集画面上に表示可能である。すなわち、ペン入力モードでは、ページ編集画面上のペン１００の動きの軌跡に対応する線がページ編集画面上に描画される。さらに、ペン入力モードでは、表示処理部３０１は、ページ編集画面上の指の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づき、ページ編集画面上の指のジェスチャを検出可能である。ページ編集画面上の指のジェスチャが検出された場合には、表示処理部３０１は、検出されたジェスチャに対応する処理を実行することができる。

タッチ入力モードがオン（有効）の場合、表示処理部３０１は、タッチパネル１７Ｂから入力されるイベント群に基づいてジェスチャ操作に対応する処理を実行する代わりに、タッチパネル１７Ｂから入力されるイベント群に基づいて手書きストロークをページ編集画面上に表示可能である。すなわち、ページ編集画面上の指の動きの軌跡に対応する線がページ編集画面上に描画される。

さらに、表示処理部３０１は、インポート部３０８によって外部アプリケーション／外部ファイルからインポートされる様々なコンテンツデータ（画像データ、音声データ、テキストデータ、ドロー系アプリケーションによって作成されたデータ）をページ編集画面上に表示することができる。

またさらに、表示処理部３０１は、モード切替え部３０１Ａを備える。モード切替え部３０１Ａは、タッチ入力モードがオンである期間中にデジタイザ１７Ｃからイベントが入力されたことに応答して、タッチ入力モードを自動的にオフして入力モードをタッチ入力モードからペン入力モードに切り替える。デジタイザ１７Ｃからのこのイベントは、例えば、ページ編集画面に対するペン１００の接触（例えば、手書き入力エリア５００に対するペン１００の接触）に応じてデジタイザ１７Ｃから入力されるイベント、または検索キー入力領域５３０に対するペン１００の接触に応じてデジタイザ１７Ｃから入力されるイベントである。このイベントの入力に応答して、モード切替え部３０１Ａは、上述したようにタッチ入力モードを自動的にオフする。タッチ入力モードがオフされると、表示処理部３０１はペン入力モードで動作する。

時系列情報生成部３０２は、タッチ入力モードがオフの場合、タッチデジタイザ１７Ｃから出力される上述の座標列（入力イベント群）を受信し、この座標列に基づいて、図４で詳述したような構造を有する時系列情報（座標データ系列）を含む手書きデータを生成する。時系列情報生成部３０２は、生成された手書きデータを作業メモリ４０１に一時保存する。一方、タッチ入力モードがオンの場合、時系列情報生成部３０２は、タッチパネル１７Ｂから出力される上述の座標列（入力イベント群）を受信し、この座標列に基づいて、図４で詳述したような構造を有する時系列情報（座標データ系列）を含む手書きデータを生成する。

検索／認識処理部３０３は、手書きページデータ中の手書き文字列をテキスト（文字コード列）に変換する筆跡認識処理、手書きページデータ中の画像内に含まれる文字列をテキスト（文字コード列）に変換する文字認識処理（ＯＣＲ）を実行する。さらに、検索／認識処理部３０３は、上述の筆跡検索およびテキスト検索を実行することができる。

ページ保存処理部３０６は、作成中の手書きページ上の複数の手書きストロークに対応する複数のストロークデータを含む手書きページデータを記憶媒体４０２に保存する。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスであってもよいし、サーバコンピュータ２のストレージデバイスであってもよい。

ページ取得処理部３０７は、記憶媒体４０２から任意の手書きページデータを取得する。この取得された手書きページデータは表示処理部３０１に送られる。表示処理部３０１は、手書きページデータに含まれる複数のストロークデータに対応する複数のストロークを画面上に表示する。

図１７のフローチャートは、手書きノートアプリケーションプログラム２０２によって実行される手書き入力処理の手順を示す。
手書きノートアプリケーションプログラム２０２は、タッチ入力モードがオンまたはオフのいずれに設定されているかを判定する（ステップＳ２１）。

タッチ入力モードがオフならば、つまり現在の手書き入力モードがペン入力モードであるならば（ステップＳ２１のＮＯ）、手書きノートアプリケーションプログラム２０２は、ステップＳ２２に進む。

ステップＳ２２においては、手書きノートアプリケーションプログラム２０２は、デジタイザ１７Ｃ（第１センサ）を用いて検出されるタッチスクリーンディスプレイ１７の画面上のペン１００（第１オブジェクト）の動きに応じて手書きストロークをタッチスクリーンディスプレイ１７の画面上に表示する。換言すれば、手書きノートアプリケーションプログラム２０２は、画面上のペン１００の動きに応じてデジタイザ１７Ｃから入力されるイベント群に基づき手書きストロークを画面上に表示する。

ステップＳ２２においては、さらに、手書きノートアプリケーションプログラム２０２は、タッチパネル１７Ｂ（第２センサ）を用いて検出される画面上の指（第２オブジェクト）のジェスチャ操作に対応する処理を実行する。換言すれば、手書きノートアプリケーションプログラム２０２は、画面上の指の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づいて、画面上の指のジェスチャ操作に対応する処理を実行する。

このように、ペン入力モードにおいては、タッチパネル１７Ｂから入力されるイベント群は、指ジェスチャに対応する処理を実行するために用いられる。

タッチ入力モードがオンならば、つまり現在の手書き入力モードがタッチ入力モードであるならば（ステップＳ２１のＹＥＳ）、手書きノートアプリケーションプログラム２０２は、ステップＳ２３に進む。

ステップＳ２３においては、手書きノートアプリケーションプログラム２０２は、タッチパネル１７Ｂから入力されるイベント群を、指ジェスチャに対応する処理の実行のためではなく、手書き入力のために使用する。すなわち、手書きノートアプリケーションプログラム２０２は、タッチパネル１７Ｂ（第２センサ）を用いて検出されるタッチスクリーンディスプレイ１７の画面上の指（第２オブジェクト）の動きに応じて手書きストロークをタッチスクリーンディスプレイ１７の画面上に表示する。換言すれば、手書きノートアプリケーションプログラム２０２は、画面上の指の動きに応じてタッチパネル１７Ｂから入力されるイベント群に基づいて、手書きストロークを画面上に表示する。これにより、画面上の指の動きの軌跡に対応する線がタッチスクリーンディスプレイ１７の画面上に描画される。指ジェスチャの検出と検出された指ジェスチャに対応する処理の実行は行われない。

このように、タッチ入力モードにおいては、タッチパネル１７Ｂから入力されるイベント群は、指ジェスチャに対応する処理の実行ではなく、手書き入力のためにつまり手書きストロークの表示のために使用される。

タッチ入力モードがオンの期間中、手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７の画面にペン１００が接触されたかを検出、つまりデジタイザ１７Ｃからイベントが入力されるかを検出する（ステップＳ２４）。デジタイザ１７Ｃからのイベントの入力が検出されたならば（ステップＳ２４のＹＥＳ）、手書きノートアプリケーションプログラム２０２は、タッチ入力モードをオフし、これによって入力モードをタッチ入力モードからペン入力モードに切り替える（ステップＳ２５）。以降は、タッチパネル１７Ｂからの入力イベント群は、手書き入力のためではなく、指ジェスチェに対応する処理の実行のために使用される。手書きノートアプリケーションプログラム２０２は、デジタイザ１７Ｃから入力されるイベント群に基づいて手書きストロークを画面上に表示する。

以上説明したように、本実施形態においては、タッチ入力モードがオフの場合、つまり現在の入力モードがペン入力モードである場合には、画面上の第１オブジェクト（ペン１００）の動きに応じて第１センサ（デジタイザ１７Ｃ）から入力されるイベント群に基づき手書きストロークを画面上に表示できると共に、画面上の第２オブジェクト（指）の動きに応じて第２センサ（タッチパネル１７Ｂ）から入力されるイベント群に基づいてジェスチャ操作に対応する処理を実行することができる。一方、タッチ入力モードがオンの場合、つまり入力モードがタッチ入力モードである場合には、第２センサ（タッチパネル１７Ｂ）から入力されるイベント群は、ジェスチャ操作に対応する処理の実行ではなく、手書きストロークを画面上に表示するために使用され得る。よって、ユーザは、タッチ入力モードをオンにすることにより、第２オブジェクト（指）で手書き入力を行うことが可能となる。

さらに、タッチ入力モードである期間中にデジタイザ１７Ｃ（第１センサ）からイベントが入力されたことに応答して、タッチ入力モードが自動的にオフされる。したがって、ユーザは、タッチ入力モードをオフするための明示的な操作を行わずとも、ペン１００を画面に接触させるだけで、つまりペン１００を使用した手書き入力操作を開始するだけで、ペン１００を使用した手書き入力を行うことが出来る。よって、たとえユーザがタッチ入力モードを無効にするのを忘れていた場合であっても、ペン１００による手書き入力ができない、あるいは指でスワイプジェスチャしたときに意図しない線が書かれてしまうという不具合の発生を防止することが出来る。このように、第２センサ（タッチパネル１７Ｂ）から入力されるイベント群に応じて実行される動作を動的に変更し、さらに、タッチ入力モードの使用中にこのタッチ入力モードを動的に無効にする仕組みを提供することにより、手書き入力を容易に行うことが可能となる。

なお、タッチパネル１７Ｂは静電ペンの画面に対する接触を検出することもできるので、ユーザは、指の代わりに、ペン１００と異なる静電ペンを使用することもできる。

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (16)

1. 入力モードが第１モードである場合、画面上の第１オブジェクトの動きに応じて第１センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示可能であり、前記第１オブジェクトと異なる前記画面上の第２オブジェクトの動きに応じて前記第１センサと異なる第２センサから入力されるイベント群に基づいて前記画面上の前記第２オブジェクトのジェスチャ操作に対応する第１処理を実行可能な処理手段であって、前記入力モードが第２モードである場合、前記画面上の前記第２オブジェクトの動きに応じて前記第２センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示可能な処理手段と、
   ユーザによって行われるユーザインタフェースの操作に応じて前記入力モードを前記第１モードまたは前記第２モードに設定する設定手段とを具備し、
   前記処理手段は、
   前記ユーザインタフェースの操作によって前記入力モードが前記第２モードに設定されている状態で、前記画面に対する前記第１オブジェクトの接触に応じて前記第１センサから第１のイベントが入力された場合、前記入力モードを前記第２モードから前記第１モードに切り替える電子機器。
2. 前記第１のイベントは、前記画面内の手書き入力エリアに対する前記第１オブジェクトの接触に応じて前記第１センサから入力されるイベントを含む請求項１記載の電子機器。
3. 前記第１処理は前記画面上の手書きのページを捲る処理を含む請求項１記載の電子機器。
4. 検索画面上の検索キー入力領域に検索キーとして入力される第１の手書きストロークを使用して、前記第１の手書きストロークに対応する第２の手書きストロークを含む手書き文書を検索する検索手段をさらに具備し、
   前記第１のイベントは、前記検索キー入力領域に対する前記第１オブジェクトの接触に応じて前記第１センサから入力されるイベントを含む請求項１記載の電子機器。
5. 前記処理手段は、前記画面上にページ捲りボタンを表示し、前記入力モードが前記第２モードである期間中に、前記ページ捲りボタンに対する前記第２オブジェクトの接触に応じて前記第２センサから入力されるイベントを受信した場合、前記画面上の手書きページを捲る処理を実行する請求項１記載の電子機器。
6. 前記第１オブジェクトはペンであり、前記第２オブジェクトは指である請求項１記載の電子機器。
7. 前記第１センサはデジタイザである請求項１記載の電子機器。
8. 前記第２センサはタッチパネルである請求項１記載の電子機器。
9. ユーザによって行われるユーザインタフェースの操作に応じて入力モードを第１モードまたは第２モードに設定し、
   前記入力モードが前記第１モードである場合、画面上の第１オブジェクトの動きに応じて第１センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示すると共に、前記第１オブジェクトと異なる前記画面上の第２オブジェクトの動きに応じて前記第１センサと異なる第２センサから入力されるイベント群に基づいて前記画面上の前記第２オブジェクトのジェスチャ操作に対応する第１処理を実行し、
   前記入力モードが前記第２モードである場合、前記画面上の前記第２オブジェクトの動きに応じて前記第２センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示し、
   前記ユーザインタフェースの操作によって前記入力モードが前記第２モードに設定されている状態で、前記画面に対する前記第１オブジェクトの接触に応じて前記第１センサから第１のイベントが入力された場合、前記入力モードを前記第２モードから前記第１モードに切り替える手書き入力方法。
10. 前記第１のイベントは、前記画面内の手書き入力エリアに対する前記第１オブジェクトの接触に応じて前記第１センサから入力されるイベントを含む請求項９記載の手書き入力方法。
11. 前記第１処理は前記画面上の手書きのページを捲る処理を含む請求項９記載の手書き入力方法。
12. 検索画面上の検索キー入力領域に検索キーとして入力される第１の手書きストロークを使用して、前記第１の手書きストロークに対応する第２の手書きストロークを含む手書き文書を検索することをさらに具備し、
    前記第１のイベントは、前記検索キー入力領域に対する前記第１オブジェクトの接触に応じて前記第１センサから入力されるイベントを含む請求項９記載の手書き入力方法。
13. コンピュータによって実行されるプログラムであって、
    ユーザによって行われるユーザインタフェースの操作に応じて入力モードを第１モードまたは第２モードに設定することと、
    前記入力モードが前記第１モードである場合、画面上の第１オブジェクトの動きに応じて第１センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示すると共に、前記第１オブジェクトと異なる前記画面上の第２オブジェクトの動きに応じて前記第１センサと異なる第２センサから入力されるイベント群に基づいて前記画面上の前記第２オブジェクトのジェスチャ操作に対応する第１処理を実行することと、
    前記入力モードが前記第２モードである場合、前記画面上の前記第２オブジェクトの動きに応じて前記第２センサから入力されるイベント群に基づいて手書きストロークを前記画面上に表示することと、
    前記ユーザインタフェースの操作によって前記入力モードが前記第２モードに設定されている状態で、前記画面に対する前記第１オブジェクトの接触に応じて前記第１センサから第１のイベントが入力された場合、前記入力モードを前記第２モードから前記第１モードに切り替えることとを前記コンピュータに実行させるためのプログラム。
14. 前記第１のイベントは、前記画面内の手書き入力エリアに対する前記第１オブジェクトの接触に応じて前記第１センサから入力されるイベントを含む請求項１３記載のプログラム。
15. 前記第１処理は前記画面上の手書きのページを捲る処理を含む請求項１３記載のプログラム。
16. 前記プログラムは、検索画面上の検索キー入力領域に検索キーとして入力される第１の手書きストロークを使用して、前記第１の手書きストロークに対応する第２の手書きストロークを含む手書き文書を検索することを前記コンピュータにさらに実行させ、
    前記第１のイベントは、前記検索キー入力領域に対する前記第１オブジェクトの接触に応じて前記第１センサから入力されるイベントを含む請求項１３記載のプログラム。

Images