JP7564699B2 - 手書きデータ生成装置、手書きデータ再生装置、及びデジタルインクのデータ構造 - Google Patents

Description

本発明は手書きデータ生成装置、手書きデータ再生装置、及びデジタルインクのデータ構造に関し、特に、触覚フィードバックを用いる手書きデータ生成装置、手書きデータ再生装置、及びデジタルインクのデータ構造に関する。

タッチスクリーン上に表示されているテキストの選択、テキスト内のカーソルの挿入若しくは位置決めといった操作を行うと、触覚に作用するフィードバックを与えるように構成されたタブレット端末が知られている。特許文献１には、そのようなタブレット端末の一例が開示されている。

特開２０１２－１１８９９３号公報

本発明の目的の一つは、ストロークデータに応じた触覚フィードバックを生成する手書きデータ生成装置、手書きデータ再生装置、及びデジタルインクのデータ構造を提供することにある。

本発明による手書きデータ生成装置は、プロセッサを備える手書きデータ生成装置であって、前記プロセッサは、手書き入力に応じて生成されるストロークデータの少なくとも一部に対して触覚フィードバックを関連付け、前記ストロークデータ及び前記触覚フィードバックを示すハプティクスデータを含むデジタルインクを生成する、手書きデータ生成装置である。

本発明による手書きデータ再生装置は、ディスプレイ及びプロセッサを備える手書きデータ再生装置であって、前記プロセッサは、ストロークデータ、及び、触覚フィードバックを示すハプティクスデータを含むデジタルインクを取得し、前記ストロークデータを前記ディスプレイに表示するために、前記ストロークデータを再生し、前記ストロークデータの再生時に、前記ハプティクスデータによって示される前記触覚フィードバックを再生するように力覚発生装置を制御する、手書きデータ再生装置である。

本発明によるデジタルインクのデータ構造は、ディスプレイ、記憶部、及びプロセッサを含むコンピュータに用いられ、前記記憶部に記憶されるデジタルインクのデータ構造であって、ストロークデータと、前記ストロークデータのうちの対象ストロークデータに触覚フィードバックを対応付けるハプティクスデータと、を含み、前記ストロークデータを前記ディスプレイに表示するために前記ストロークデータを再生するとともに、前記ストロークデータの再生時に、前記ハプティクスデータによって示される前記触覚フィードバックを再生するように力覚発生装置を制御する際に、前記触覚フィードバックの内容を前記プロセッサが前記記憶部から取得する処理に用いられる、デジタルインクのデータ構造である。

本発明によれば、ストロークデータに応じた触覚フィードバックを生成することが可能となる。

本発明の第１の実施の形態によるタブレット端末１ａ，１ｂの外観を示す図である。 図１に示したタブレット端末１ａ，１ｂの内部構成を示す図である。 図１に示したタブレット端末１ａによって生成されるデジタルインクＤＩＮＫのデータ構造を示す図である。 図４に示したストロークデータ群１０２の例を示す図である。 図４に示したハプティクス効果定義データ１２１の例を示す図である。 図４に示したハプティクスデータ１０５の例を示す図である。 図１に示したタブレット端末１ａが行う触覚フィードバック付与処理を示すフロー図である。 図１に示したタブレット端末１ｂが行う触覚フィードバック再生処理を示すフロー図である。 図８に示したストロークデータ再生処理の詳細を示すフロー図である。 本発明の第２の実施の形態による部分ハプティクスデータＰＨＤの構造を示す図である。 本発明の第２の実施の形態によるストロークデータ再生処理の詳細を示す図である。 本発明の第３の実施の形態によるストロークデータ群１０２の例を示す図である。 本発明の第３の実施の形態によるタブレット端末１ａが行うストロークデータ生成処理を示すフロー図である。 筆圧値とハプティクスデータとを対応付ける対応テーブルを示す図である。 本発明の第３の実施の形態によるタブレット端末１ｂが行う触覚フィードバック再生処理を示すフロー図である。 図１５のステップＳ５３において設定される触覚フィードバック再生領域を説明する図である。

以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。

図１は、本発明の第１の実施の形態によるタブレット端末１ａ，１ｂの外観を示す図である。また、図２は、タブレット端末１ａ，１ｂの内部構成を示す図である。

図２から理解されるように、コンピュータであるタブレット端末１ａ，１ｂは同じ構成を有する装置であり、通信ネットワーク２を介して接続されている。本実施の形態においては、タブレット端末１ａはデジタルインクＤＩＮＫを生成するための「手書きデータ生成装置」であり、生成したデジタルインクＤＩＮＫを、通信ネットワーク２を介してタブレット端末１ｂに供給するよう構成される。また、タブレット端末１ｂはデジタルインクＤＩＮＫを再生するための「手書きデータ再生装置」であり、タブレット端末１ａから供給されたデジタルインクＤＩＮＫを再生するよう構成される。なお、タブレット端末１ａ，１ｂのそれぞれが「手書きデータ生成装置」と「手書きデータ再生装置」の両方の機能を有していてもよいのは勿論である。また、タブレット端末以外のコンピュータ、例えばパーソナルコンピュータやスマートフォンに、「手書きデータ生成装置」及び「手書きデータ再生装置」の機能を実装することも可能である。

図２に示すように、タブレット端末１ａ，１ｂはそれぞれ、ホストプロセッサ１０、記憶部１１、ディスプレイ１２、センサ１３、センサコントローラ１４、力覚発生装置１５、及び通信部１６を有して構成される。以下、タブレット端末１ａに着目して詳細に説明するが、タブレット端末１ｂについても同様である。尚、タブレット端末１ａは、ディスプレイ１２を設けること無く、電子ペンＰや指などの指示体のタッチを受けるタッチ面を設ける構成であってもよい。

ホストプロセッサ１０は、ディスプレイ１２及び力覚発生装置１５を含むタブレット端末１ａの全体を制御する中央処理装置であり、記憶部１１に記憶されるプログラムを実行することにより、タブレット端末１ａのオペーレーティングシステムや、描画ソフトウェアなどの各種アプリケーションなどを実行する役割を果たす。記憶部１１は、任意のデータを記憶可能に構成された記憶装置であり、ＤＲＡＭ(Dynamic Random Access Memory)などの主記憶装置と、ハードディスクなどの補助記憶装置とを含む。

ディスプレイ１２は、ホストプロセッサ１０の制御に応じて任意のデータを表示する表示装置であり、例えば、液晶ディスプレイ又は有機ＥＬディスプレイである。センサ１３は、それぞれセンサコントローラ１４に接続された複数のセンサ電極によって構成されるセンサパターンであり、ディスプレイ１２の表示面の内側に配置される。これにより、タブレット端末１ａでは、ディスプレイ１２の表示面がタッチ面となる。ただし、ディスプレイ１２の表示面とは別の位置にタッチ面を設けることとしてもよく、その場合、センサ１３はそのタッチ面の内側に配置される。

センサコントローラ１４は、センサ１３を介して、図１に示した電子ペンＰや指などの指示体のタッチ面上における位置を検出するとともに、電子ペンＰとの間で通信を行う機能を有する集積回路である。センサコントローラ１４は、例えば静電容量方式によって指の位置検出を行い、例えばアクティブ静電方式によって電子ペンＰの位置検出及び電子ペンＰとの通信を行う。尚、電磁誘導方式によって電子ペンＰの位置検出及び電子ペンＰとの通信を行う構成であってもよい。センサコントローラ１４は、指又は電子ペンＰの位置を検出した場合、及び、電子ペンＰとの通信によって電子ペンＰからデータを受信した場合、逐次、これらの位置又はデータをホストプロセッサ１０に供給するよう構成される。ホストプロセッサ１０は、こうして供給された位置及びデータに基づいて、デジタルインクＤＩＮＫの生成及び描画、カーソルの移動などの処理を実行する。

アクティブ静電方式について、簡単に説明する。以下では、センサコントローラ１４から電子ペンＰに対して送信される信号を「アップリンク信号」と称し、電子ペンＰからセンサコントローラ１４に対して送信される信号を「ダウンリンク信号」と称する。

センサコントローラ１４は、センサ１３を用い、原則として一定の時間間隔で周期的にアップリンク信号の送信を行う。こうして送信されるアップリンク信号には、電子ペンＰに対する命令であるコマンドが含まれる。

電子ペンＰは、ペン先に設けられたペン先電極と、このペン先電極を介してアップリンク信号の受信及びダウンリンク信号の送信を行う制御部と、ペン先に加わる圧力の値（筆圧値）を検出する筆圧検出部と、電子ペンＰの筐体側面に加わる圧力の値（グリップ力値）を検出するグリップ力検出部と、電子ペンＰの動作に必要な電力を供給する電源と、電子ペンＰを一意に識別するためのペンＩＤなどの各種データを記憶する記憶部とを有して構成される。

電子ペンＰの制御部は、アップリンク信号を受信したことに応じて、ダウンリンク信号を送信するよう構成される。こうして送信されるダウンリンク信号は、センサコントローラ１４と電子ペンＰとがまだ互いを検出していない場合には、無変調の搬送波信号であるバースト信号のみを含む信号となる。一方、センサコントローラ１４と電子ペンＰとが互いを検出済みである場合には、より短いバースト信号と、アップリンク信号内に含まれるコマンドに応じたデータによって変調されてなるデータ信号とを含む信号となる。データ信号により送信されるデータには、上述した筆圧値、グリップ力値、ペンＩＤなどが含まれ得る。

センサコントローラ１４は、まだ電子ペンＰを検出していない段階では、センサ１３に含まれるすべてのセンサ電極を用いてバースト信号を受信することにより、タッチ面の全体で電子ペンＰの位置検出を試みる（グローバルスキャン）。その結果として電子ペンＰの位置を検出した後には、検出した位置の近傍にある１以上のセンサ電極のみを用いてバースト信号を受信することにより電子ペンＰの位置を更新していく（ローカルスキャン）とともに、データ信号を受信して復調することにより電子ペンＰが送信したデータを受信する。

ここで、電子ペンＰは、ペン軸方向に並置された複数のペン先電極を有し、各ペン先電極からバースト信号を送信するように構成されてもよい。この場合、センサコントローラ１４は、各ペン先電極から送信されたバースト信号を区別して受信することによりそれぞれの位置を導出し、その結果に基づいて電子ペンＰの傾きを示すチルト角を取得するよう構成される。チルト角も、他のデータと同様にホストプロセッサ１０に供給され、デジタルインクＤＩＮＫの生成及び描画などの処理のために使用される。なお、電子ペンＰ内にジャイロを設け、その出力値から電子ペンＰのチルト角を算出することとしてもよい。この場合、電子ペンＰからセンサコントローラ１４に対してジャイロの出力値を供給し、チルト角の算出はセンサコントローラ１４内で行うこととしてもよいし、電子ペンＰ内でチルト角を算出し、電子ペンＰからセンサコントローラ１４に対してチルト角の算出結果を供給することとしてもよい。

図２に示した各構成の説明に戻る。力覚発生装置１５はユーザに対して触覚フィードバックを与えるための装置であり、例えば入力電流の波形に応じて振動するバイブレータや、入力電流の波形により固さを制御可能な磁性流体によって構成され得る。典型的な例では、力覚発生装置１５はタブレット端末１ａの筐体内部に配置され、タッチ面を含む筐体の表面に振動を与えるように構成される。

通信部１６は、ホストプロセッサ１０を通信ネットワーク２に接続するための通信装置である。本実施の形態における通信部１６は、タブレット端末１ａとタブレット端末１ｂの間でデジタルインクＤＩＮＫの送受信を行うために使用される。

図３は、タブレット端末１ａによって生成されるデジタルインクＤＩＮＫのデータ構造を示す図である。同図に示すように、デジタルインクＤＩＮＫは、インクデータ１００とメタデータ１２０とを含んで構成される。このうちインクデータ１００は、それぞれ手書き入力の結果（すなわち、指示体の軌跡）を示す複数のストロークデータＳＴ（図４を参照）を含むストロークデータ群１０２と、各ストロークデータＳＴを描画するために使用されるコンテキストデータ１０１とを含んで構成される。

コンテキストデータ１０１は、ブラシ属性データ１０３と、タイムスタンプ１０４と、ハプティクスデータ１０５とを含んで構成される。ブラシ属性データ１０３は、描画色１０７、透明度１０８、電子ペンＰの先端形状１０９などのストロークデータＳＴを描画するために必要となるデータ（ブラシ属性）を、ブラシＩＤ１０６に対応付けて格納するデータである。タイムスタンプ１０４は、当該デジタルインクＤＩＮＫに含まれる最初のストロークデータＳＴの入力が開始された時刻を、所定時刻（例えば１９７０年１月１日０時０分０秒）からの経過時間により表すデータである。ハプティクスデータ１０５は、１以上のストロークデータＳＴに触覚フィードバックを対応付けるデータであり、領域ＩＤ１１０に対応付けて、タイムスタンプ１１１、対象ストロークデータ特定データ１１２、触覚フィードバック特定データ１１３を含んで構成される。これらハプティクスデータ１０５を構成する各データについては、後ほど詳細に説明する。

図４は、ストロークデータ群１０２の例を示す図である。同図に示すように、ストロークデータ群１０２に含まれる各ストロークデータＳＴは、＜ｔｒａｃｅ＞タグと＜／ｔｒａｃｅ＞タグの間に複数の位置データＰＤを含む構造を有している。各位置データＰＤは、図４に示すように、Ｘ座標、Ｙ座標、チルト角Ｔｉｌｔ、筆圧値Ｆ１、及びグリップ力値Ｆ２を含んで構成される。また、ストロークデータＳＴは、属性として、ブラシ属性参照値ｂｒｕｓｈＲｅｆ及びタイムオフセットｔｉｍｅＯｆｆｓｅｔを含んで構成される。ブラシ属性参照値ｂｒｕｓｈＲｅｆには、上述したブラシＩＤ１０６が設定される。各ストロークデータＳＴの描画は、このブラシＩＤ１０６に対応付けてブラシ属性データ１０３内に格納される各ブラシ属性に従って行われる。また、タイムオフセットｔｉｍｅＯｆｆｓｅｔには、当該ストロークデータＳＴの入力開始時刻を、コンテキストデータ１０１内のタイムスタンプ１０４により表される時刻からの経過時間により表すデータが設定される。

ここで、センサコントローラ１４による位置の検出及びデータの取得は、通常、一定の時間間隔で行われる。したがって、ホストプロセッサ１０は、ストロークデータＳＴに含まれる座標の変化量から、指示体の移動速度、及び、指示体の停止時間の長さを導出することができる。こうして導出された移動速度又は停止時間の長さは、ストロークデータＳＴを描画するために使用され得る。

図３に戻り、メタデータ１２０はインクデータ１００に付加される情報であり、ハプティクス効果定義データ１２１を含んで構成される。ハプティクス効果定義データ１２１は触覚フィードバックの具体的な内容（すなわち、力覚発生装置１５において発生する力覚の内容）を定義するデータであり、定義ＩＤ１２２に対応付けて、力覚発生装置１５への入力波形を規定するｗａｖｅファイル１２３（波形データ）又はそのパス情報を含んで構成される。タブレット端末１ｂが触覚フィードバックを再生する際には、このｗａｖｅファイル１２３に従う電流を力覚発生装置１５に供給することにより、触覚フィードバックの再生が実現される。

図５は、ハプティクス効果定義データ１２１の例を示す図である。同図に示す「ＨＥ１」「ＨＥ２」「ＨＥ３」はそれぞれ定義ＩＤ１２２である。同図のハプティクス効果定義データ１２１は、このうち「ＨＥ２」「ＨＥ３」に対応付けて、ｗａｖｅファイル１２３（ｗａｖｅ－ｆｉｌｅ ２０、ｗａｖｅ－ｆｉｌｅ ３０）を含んでいる。「ＨＥ１」については、「Ｎｏ ｈａｐｔｉｃｓ（ハプティクスなし）」という記述を含んでいるが、この記述は、触覚フィードバックを付与しないことを表している。このように、ハプティクス効果定義データ１２１には、触覚フィードバックの非付与を定義することも可能である。

図６は、ハプティクスデータ１０５の例を示す図である。同図に示したハプティクスデータ１０５は、図１に示したデジタルインク（父から子への手紙を示すデジタルインク）に対応するものである。

図６を参照すると、ハプティクスデータ１０５は、互いに異なる領域ＩＤ１１０を含む１以上の部分ハプティクスデータＰＨＤにより構成される。各部分ハプティクスデータＰＨＤはそれぞれ、領域ＩＤ１１０の他、タイムスタンプ１１１、対象ストロークデータ特定データ１１２、及び触覚フィードバック特定データ１１３を含んで構成される。

領域ＩＤ１１０は、ユーザが触覚フィードバックの付与対象として指定した領域（以下、「ハプティクス付与領域」と称する）に付与される通番である。図１及び図６には、ユーザにより４つのハプティクス付与領域Ｄ１～Ｄ４が指定された例を示している。詳細は後述するが、ユーザは、電子ペンＰなどの指示体を用いて１以上のストロークデータＳＴを囲むストロークデータＳＴ（図１には破線で例示している）を入力することにより、各ハプティクス付与領域を指定する。

対象ストロークデータ特定データ１１２は、対応するハプティクス付与領域内に含まれる１以上のストロークデータＳＴを特定するデータであり、当該デジタルインクＤＩＮＫ内におけるストロークデータＳＴの通番により記述される。以下では、対象ストロークデータ特定データ１１２により特定された１以上のストロークデータＳＴのそれぞれを「対象ストロークデータＳＴ」と称する。例えば、図１に示すハプティクス付与領域Ｄ１であれば、「大好きなＥｍｍａちゃん」という文字列を示す一連のストロークデータＳＴと、ハートマークを構成する一連のストロークデータＳＴと、ハートマークの背景となっている色付きの丸印（図面では灰色になっているが、実際には有彩色によって記述されている）を示す一連のストロークデータＳＴとのそれぞれが対象ストロークデータＳＴとなる。また、図１に示すハプティクス付与領域Ｄ２であれば、さくらんぼ（葉っぱ及び彩色部分を含む）を構成する一連のストロークデータＳＴのそれぞれが対象ストロークデータＳＴとなる。

触覚フィードバック特定データ１１３は、対象ストロークデータＳＴの再生時に再生する触覚フィードバックの内容を定義するデータであり、図３に示した定義ＩＤ１２２を用いて記述される。例えば、ハプティクス付与領域Ｄ１であれば、触覚フィードバック特定データ１１３に「ＨＥ３」と記述されているので、定義ＩＤ１２２「ＨＥ３」に対応する「ｗａｖｅ－ｆｉｌｅ ３０」（図５を参照）がハプティクス付与領域Ｄ１のための触覚フィードバックの内容となる。

タイムスタンプ１１１は、対応する触覚フィードバックの再生開始タイミングを示すタイミング情報であり、対応する１以上の対象ストロークデータのうちの最先のもの（すななわち、図４に示したタイムオフセットｔｉｍｅＯｆｆｓｅｔにより示される時刻が最も早いもの）の入力開始時刻により記述される。一例では、対応する１以上の対象ストロークデータのうちの最先のものに設定されているタイムオフセットｔｉｍｅＯｆｆｓｅｔがそのままタイムスタンプ１１１に設定される。タイムスタンプ１１１は、各ハプティクス付与領域の順序（ｏｒｄｅｒ）を定める役割も果たす。

以下、タブレット端末１ａ，１ｂが行う処理を示すフロー図を参照しながら、手書きデータ生成装置としてのタブレット端末１ａが行う処理、及び、手書きデータ再生装置としてのタブレット端末１ｂが行う処理について、さらに詳しく説明する。

図７は、タブレット端末１ａが行う触覚フィードバック付与処理を示すフロー図である。なお、同図に示す処理は、タブレット端末１ａのホストプロセッサ１０によって実行される処理であり、触覚フィードバックの付与対象となるデジタルインクＤＩＮＫの表示中に実行される。

図７に示すように、タブレット端末１ａはまず、ユーザ操作に応じて、触覚フィードバック付与モードにエントリする（ステップＳ１）。触覚フィードバック付与モードにエントリしたタブレット端末１ａは、上述したハプティクス付与領域のユーザによる指定を待機する。この指定は、上述したように、電子ペンＰなどの指示体を用いて１以上のストロークデータＳＴを囲むストロークデータＳＴを入力することにより実行される。

タブレット端末１ａは、指示体により入力されたストロークデータＳＴが閉領域を構成したことにより、ハプティクス付与領域の指定を受け付ける（ステップＳ２）。そして、指定されたハプティクス付与領域に基づき、触覚フィードバック付与の対象となる１以上の対象ストロークデータＳＴを決定する（ステップＳ３）。具体的には、指定されたハプティクス付与領域内に全体が含まれるストロークデータＳＴを対象ストロークデータＳＴとして決定してもよいし、指定されたハプティクス付与領域内に一部が含まれるストロークデータＳＴを対象ストロークデータＳＴとして決定してもよい。

次にタブレット端末１ａは、決定した１以上の対象ストロークデータのうち最先のもののタイムオフセットｔｉｍｅＯｆｆｓｅｔ（図４を参照）を取得するとともに（ステップＳ４）、付与する触覚フィードバックの選択を受け付ける（ステップＳ５）。ステップＳ５の選択は、図５に示したハプティクス効果定義データ１２１に格納されている複数の定義ＩＤ１２２のうちの１つを選択することによって行われる。ただし、ここで複数の定義ＩＤ１２２を選択できるようにすることも可能である。この点については、後ほど第２の実施の形態で詳しく説明する。

次にタブレット端末１ａは、図６に示した部分ハプティクスデータＰＨＤを生成する。具体的に説明すると、タブレット端末１ａはまず、ステップＳ２で受け付けたハプティクス付与領域に領域ＩＤ１１０を付与し、部分ハプティクスデータＰＨＤ内に設定する。そして、この領域ＩＤ１１０に対応付けて、部分ハプティクスデータＰＨＤ内に、タイムスタンプ１１１、対象ストロークデータ特定データ１１２、及び、触覚フィードバック特定データ１１３を設定する。タイムスタンプ１１１には、ステップＳ４で取得したタイムオフセットｔｉｍｅＯｆｆｓｅｔが設定される。対象ストロークデータ特定データ１１２には、ステップＳ３で決定した１以上の対象ストロークデータＳＴそれぞれの通番が設定される。触覚フィードバック特定データ１１３には、ステップＳ５で受け付けた定義ＩＤ１２２が設定される。

部分ハプティクスデータＰＨＤの生成を完了したタブレット端末１ａは、終了を示すユーザ操作の有無に基づき、ハプティクス付与領域の指定が終了したか否かを判定する（ステップＳ７）。終了していないと判定した場合、タブレット端末１ａは、ステップＳ２に戻って次のハプティクス付与領域の指定を受け付ける。一方、終了したと判定した場合、タブレット端末１ａは、それまでに生成した１以上の部分ハプティクスデータＰＨＤを含むデジタルインクＤＩＮＫを生成する（ステップＳ８）。以上の処理により、デジタルインクＤＩＮＫへの触覚フィードバックの付与が完了する。ここまでの説明から理解されるように、以上の触覚フィードバック付与処理は、デジタルインクＤＩＮＫを書いたユーザによって実行され得る。

図８は、タブレット端末１ｂが行う触覚フィードバック再生処理を示すフロー図である。なお、同図に示す処理は、タブレット端末１ｂのホストプロセッサ１０によって実行される処理である。

初めに、タブレット端末１ｂは、ハプティクスデータ１０５を含むデジタルインクＤＩＮＫをタブレット端末１ａから取得し、自身のディスプレイ１２に表示する（ステップＳ１０）。続いてタブレット端末１ｂは、ユーザによりＰＬＡＹ＿ＡＬＬボタンが押下されたか、或いは、デジタルインクの表示領域が押下されたかを判定する（ステップＳ１１）。

ここで、ＰＬＡＹ＿ＡＬＬボタンは、表示中のデジタルインクＤＩＮＫ内のストロークデータＳＴをすべて再生する、というユーザ指示をタブレット端末１ｂに入力するためのボタンである。一例では、タブレット端末１ｂはディスプレイ１２上にデジタルインクＤＩＮＫとともにＰＬＡＹ＿ＡＬＬボタンを表示し、このＰＬＡＹ＿ＡＬＬボタンが指示体によってタップされた場合に、ＰＬＡＹ＿ＡＬＬボタンが押下されたと判定する。デジタルインクＤＩＮＫの表示領域の押下についても同様であり、タブレット端末１ｂは、デジタルインクＤＩＮＫの表示領域内の位置が指示体によってタップされた場合に、デジタルインクＤＩＮＫの表示領域が押下されたと判定する。

ステップＳ１１においてＰＬＡＹ＿ＡＬＬボタンが押下されたと判定した場合、タブレット端末１ｂはまず、図２に示した記憶部１１に現在時刻を記憶する（ステップＳ１２）。そして、デジタルインクＤＩＮＫ内の全ストロークデータＳＴを再生の対象として、ストロークデータ再生処理を開始する（ステップＳ１３）。

図９は、ストロークデータ再生処理の詳細を示すフロー図である。ストロークデータ再生処理を開始したタブレット端末１ｂは、いずれかのストロークデータＳＴの再生開始タイミングが到来したか否かを判定する（ステップＳ３０）。具体的には、再生の対象となっている各ストロークデータＳＴのタイムオフセットｔｉｍｅＯｆｆｓｅｔと、ステップＳ１２において記憶部１１に記憶した時刻からの経過時間とを比較し、後者が前者を越えたストロークデータＳＴが発生した場合に、そのストロークデータＳＴの再生開始タイミングが到来したと判定する。あるストロークデータＳＴの再生開始タイミングが到来したと判定したタブレット端末１ｂは、そのストロークデータＳＴの再生を開始する（ステップＳ３１）。

ここで、個々のストロークデータＳＴの再生は、当該ストロークデータＳＴに含まれる各座標を上述した一定の時間間隔（センサコントローラ１４による位置検出の時間間隔）でプロットしていくとともに、その間を補間する曲線（例えば、キャットマル－ロム曲線）を描画していくことによって実行される。このとき、タブレット端末１ｂは、曲線の描画のために、上述したチルト角Ｔｉｌｔ、筆圧値Ｆ１、グリップ力値Ｆ２、指示体の移動速度、指示体の停止時間の長さ、各種のブラシ属性（ストロークデータＳＴの描画色１０７、ストロークデータＳＴの描画色１０７、ストロークデータＳＴの透明度１０８、電子ペンＰの先端形状１０９など）のうちの１つ以上を用い得る。例えば、筆圧値Ｆ１及び指示体の移動速度に応じた線幅、並びに、描画色１０７に応じた線色で、曲線の描画を行い得る。こうして実行されるストロークデータＳＴの再生は、当該ストロークデータＳＴに含まれるすべての座標のプロット及び対応する曲線の描画が完了した時点で終了する。

ステップＳ３０においていずれのストロークデータＳＴの再生開始タイミングも到来していないと判定した場合、または、ステップＳ３１が終了した場合、タブレット端末１ｂは、いずれかの触覚フィードバックの再生開始タイミングが到来したか否かを判定する（ステップＳ３２）。具体的には、デジタルインクＤＩＮＫ内に含まれる各部分ハプティクスデータＰＨＤのタイムスタンプ１１１と、ステップＳ１２において記憶部１１に記憶した時刻からの経過時間とを比較し、後者が前者を越えた部分ハプティクスデータＰＨＤが発生した場合に、その部分ハプティクスデータＰＨＤに含まれる触覚フィードバックの再生開始タイミングが到来したと判定する。ある触覚フィードバックの再生開始タイミングが到来したと判定したタブレット端末１ｂはまず、再生中の触覚フィードバックがあれば、力覚発生装置１５への電流の供給を中止することによってその再生を終了する（ステップＳ３３）。そして、再生開始タイミングが到来した触覚フィードバック（具体的には、ｗａｖｅファイル）に基づいて力覚発生装置１５への電流の供給を開始することにより、触覚フィードバックの再生を開始する（ステップＳ３４）。

ステップＳ３１においていずれの触覚フィードバックの再生開始タイミングも到来していないと判定した場合、及び、ステップＳ３４が終了した場合、タブレット端末１ｂは、再生中の触覚フィードバックの再生終了タイミングが到来したか否かを判定する（ステップＳ３５）。具体的には、再生中の触覚フィードバックに対応する部分ハプティクスデータＰＨＤに含まれるすべてのストロークデータＳＴの再生が完了した場合に、再生中の触覚フィードバックの再生終了タイミングが到来したと判定する。再生中の触覚フィードバックの再生終了タイミングが到来したと判定したタブレット端末１ｂは、力覚発生装置１５への電流の供給を中止することにより、触覚フィードバックの再生を終了する（ステップＳ３６）。

ステップＳ３５において再生中の触覚フィードバックの再生終了タイミングがまだ到来していないと判定した場合、及び、ステップＳ３６が終了した場合、タブレット端末１ｂは、再生対象の全ストロークデータＳＴの再生が完了したか否かを判定する（ステップＳ３７）。そして完了したと判定した場合にはストロークデータ再生処理及び触覚フィードバック再生処理を終了し、完了していないと判定した場合にはステップＳ３０に戻って処理を繰り返す。

図８に戻る。ステップＳ１１においてデジタルインクＤＩＮＫの表示領域が押下されたと判定した場合、タブレット端末１ｂはまず、押下された位置に対応するストロークデータＳＴを取得する（ステップＳ２０）。具体的には、押下された位置を通過するストロークデータＳＴを取得することとしてもよいし、押下された位置を通過するストロークデータＳＴがなければ、押下された位置に最も近いストロークデータＳＴを取得することとしてもよい。

次にタブレット端末１ｂは、ステップＳ２０で取得したストロークデータＳＴを示す対象ストロークデータ特定データ１１２を含む部分ハプティクスデータＰＨＤがあるか否かを判定する（ステップＳ２１）。ここでないと判定した場合、タブレット端末１ｂは、触覚フィードバック再生処理を終了する。一方、あると判定した場合には、タブレット端末１ｂは、その部分ハプティクスデータＰＨＤを取得し（ステップＳ２２）、記憶部１１に現在時刻から、取得した部分ハプティクスデータＰＨＤのタイムスタンプ１１１により示される時間だけ遡った時刻を記憶する（ステップＳ２３）。これは、ユーザがデジタルインクＤＩＮＫの表示領域をタップした後、直ちに、対応するストロークデータＳＴ及び対応する触覚フィードバックの再生を開始できるようにするためである。そして、取得した部分ハプティクスデータＰＨＤ内の全ストロークデータＳＴを再生の対象として、ストロークデータ再生処理を開始する（ステップＳ２４）。

ここで開始されるストロークデータ再生処理の詳細は、図９を参照して説明したストロークデータ再生処理と同様である。ただし、ステップＳ３０，Ｓ３２の判定は、ステップＳ１２において記憶部１１に記憶した時刻に代え、ステップＳ２３において記憶部１１に記憶した時刻に基づいて実行される。また、ステップＳ３０で再生開始タイミングの判定対象となるストロークデータＳＴ、及び、ステップＳ３２で再生開始タイミングの判定対象となる触覚フィードバックは、ステップＳ２２で取得した部分ハプティクスデータＰＨＤに含まれるもののみとなる。

以上説明したように、本実施の形態によるタブレット端末１ａ，１ｂ及びデジタルインクＤＩＮＫによれば、１以上の対象ストロークデータＳＴに対して付与する触覚フィードバックをデジタルインクＤＩＮＫ内に設定できるので、テキストを書いた人が再生時の触覚フィードバックを意図的に設定可能となる。

次に、本発明の第２の実施の形態によるタブレット端末１ａ，１ｂについて説明する。本実施の形態によるタブレット端末１ａ，１ｂは、生成する部分ハプティクスデータＰＨＤの構造、及び、ストロークデータ再生処理の具体的内容の点で第１の実施の形態によるタブレット端末１ａ，１ｂと異なり、その他の点では第１の実施の形態によるタブレット端末１ａ，１ｂと同様である。以下、第１の実施の形態によるタブレット端末１ａ，１ｂとの相違点に着目して説明する。

図１０は、本実施の形態による部分ハプティクスデータＰＨＤの構造を示す図である。同図に示すように、本実施の形態による部分ハプティクスデータＰＨＤは、筆圧値Ｆ１（具体的には、筆圧値Ｆ１の範囲１１４）に対応付けて触覚フィードバック特定データ１１３を格納している点で、図６に示した第１の実施の形態による部分ハプティクスデータＰＨＤと相違する。このような部分ハプティクスデータＰＨＤを生成するため、本実施の形態によるタブレット端末１ａは、図７のステップＳ５において、ユーザが筆圧値Ｆ１の範囲１１４ごとに定義ＩＤ１２２を選択できるように構成される。

図１１は、本実施の形態によるストロークデータ再生処理の詳細を示す図である。図９と比較すると理解されるように、本実施の形態では、ステップＳ３２の否定判定の後に、触覚フィードバックの変更タイミングの到来を判定する処理（ステップＳ３２ａ）が追加されている。

ステップＳ３２ａについて具体的に説明すると、本実施の形態によるタブレット端末１ｂは、ステップＳ３２で否定的な判定結果を得た後、現在再生中の位置データＰＤに含まれる筆圧値Ｆ１と、現在再生中の触覚フィードバックに対応する部分ハプティクスデータＰＨＤに含まれる筆圧値Ｆ１の範囲１１４とに基づき、再生する触覚フィードバックを変更するタイミングが到来したか否かの判定を行う。そして、到来したと判定した場合に、ステップＳ３２で肯定的な判定結果を得た場合と同様、ステップＳ３３，Ｓ３４を実行する。ステップＳ３４では、現在再生中の位置データＰＤに含まれる筆圧値Ｆ１に対応する触覚フィードバックが再生される。到来していないと判定した場合には、ステップＳ３５に処理を進める。

以上説明したように、本実施の形態によるタブレット端末１ａ，１ｂ及びデジタルインクＤＩＮＫによれば、部分ハプティクスデータＰＨＤ内において筆圧値Ｆ１と触覚フィードバック特定データ１１３とを対応付け、筆圧値Ｆ１に基づいて触覚フィードバックの変更タイミングを判定しているので、筆圧値Ｆ１の変化に応じて触覚フィードバックを変更することが可能になる。したがって、デジタルインクを再生するユーザは、デジタルインクを書いたユーザの筆圧をリアルに感じながら、再生されるデジタルインクを視聴することが可能になる。

なお、本実施の形態では筆圧値Ｆ１に応じて触覚フィードバックを変更する例を説明したが、その他の基準に基づいて触覚フィードバックを変更することとしてもよいのは勿論である。例えば、上述したチルト角Ｔｉｌｔ、グリップ力値Ｆ２、指示体の移動速度、指示体の停止時間の長さ、各種のブラシ属性（ストロークデータＳＴの描画色１０７、ストロークデータＳＴの描画色１０７、ストロークデータＳＴの透明度１０８、電子ペンＰの先端形状１０９など）や、これらに筆圧値Ｆ１を加えたものの中から選択される２つ以上のデータの組み合わせに応じて、触覚フィードバックを変更することとしてもよい。この場合においても、具体的な部分ハプティクスデータＰＨＤの構造及びストロークデータ再生処理は、本実施の形態で説明したものと同様でよい。ただし、ブラシ属性を触覚フィードバック変更の基準として用いる場合のステップＳ３２ａでは、現在再生中の位置データＰＤに含まれる筆圧値Ｆ１に代え、現在再生中のストロークデータＳＴのブラシ属性に基づき、再生する触覚フィードバックを変更するタイミングが到来したか否かの判定が行われる。

また、第１及び第２の実施の形態では、手書きデータ再生装置であるタブレット端末１ｂ内に１つの力覚発生装置１５を設ける例を説明したが、例えば、ディスプレイ１２を複数の領域に分けてその領域ごとに力覚発生装置１５を設け、再生中のストロークデータＳＴを含む領域の力覚発生装置１５を駆動することによって、触覚フィードバックを再生することとしてもよい。こうすれば、表示面の全体ではなく一部のみに対して、局所的に触覚フィードバックを与えることが可能になる。

また、力覚発生装置１５をタブレット端末１ｂとは別体の装置に設けることとしてもよい。例えば、タブレット端末１ｂにマイクを接続し、歌詞を示すデジタルインクの再生に合わせて音楽を再生することによりタブレット端末１ｂをカラオケ装置として使用する場合、力覚発生装置１５をマイク内に配置することで、音楽の進行状況に合わせた触覚フィードバックを、マイクを持つ手に与えることが可能になる。他にも、スマートブレスレット、スマートフィンガー、スマートリング（指輪）、スマートグラス（メガネ）、心拍センサ及び呼吸センサを内蔵するスマートシャツ、スマートウオッチ、ブルートゥース（登録商標）キートラッカー、スマートシューズ、スマートソックス、スマートパンツ、スマートベルト、ＳＧＰＳ（Simultaneous Global Positioning System）／ＧＰＲＳ（General Packet Radio Service）によるベビーコントローラーなど、各種の装置に力覚発生装置１５を設けることが可能である。

また、部分ハプティクスデータＰＨＤ内に、ハプティクス付与領域を定義する座標データを配置することとしてもよい。こうすれば、そのハプティクス付与領域が押下されたことを契機として、図８に示したステップＳ２２以降の処理を実行することが可能になる。

また、第１及び第２の実施の形態では、ユーザにより指定されたハプティクス付与領域に基づき、触覚フィードバック付与の対象となる１以上の対象ストロークデータＳＴを決定していたが、他の方法で１以上の対象ストロークデータＳＴを決定することとしてもよい。例えば、デジタルインクＤＩＮＫに対してセマンティック・セグメンテーション処理を行い、その結果に基づいて得られる領域（一例では、意味上の段落に相当する１以上のストロークデータを含む領域）をハプティクス付与領域として決定し、該ハプティクス付与領域に基づいて１以上の対象ストロークデータＳＴを決定することとしてもよい。

次に、本発明の第３の実施の形態によるタブレット端末１ａ，１ｂについて説明する。本実施の形態によるタブレット端末１ａ，１ｂは、コンテキストデータ１０１内ではなく各ストロークデータＳＴの位置データＰＤ内にハプティクスデータが配置される点、及び、通信部１６がブルートゥース（登録商標）などの近距離無線通信にも対応しており、電子ペンＰと近距離無線通信によって通信可能に構成される点で第１の実施の形態によるタブレット端末１ａ，１ｂと異なり、その他の点では第１の実施の形態によるタブレット端末１ａ，１ｂと同様である。以下、第１の実施の形態によるタブレット端末１ａ，１ｂとの相違点に着目して説明する。

図１２は、本実施の形態によるストロークデータ群１０２の例を示す図である。図４に示した例と比較すると理解されるように、本実施の形態によるストロークデータＳＴは、各位置データＰＤ内にハプティクスデータＨＥＰが含まれる点で、第１の実施の形態によるストロークデータＳＴと相違する。本実施の形態によるハプティクスデータＨＥＰは触覚フィードバックの内容を示すデータであり、例えば、触覚フィードバックの再生強度（以下、「ハプティクス強度」と称する）によって記述される。以下では、ハプティクスデータＨＥＰはハプティクス強度であるとして説明を続ける。

本実施の形態によるタブレット端末１ｂの通信部１６（図２を参照）は、ブルートゥース（登録商標）などの近距離無線通信による通信を実行可能に構成される。また、電子ペンＰも同様に、近距離無線通信による通信を実行可能に構成される。本実施の形態による電子ペンＰはさらに、上述した力覚発生装置１５と同様の力覚発生装置を内蔵している。詳しくは後述するが、本実施の形態によるタブレット端末１ｂは、電子ペンＰ内の力覚発生装置に触覚フィードバックを発生させるために、近距離無線通信を用いて電子ペンＰを制御するよう構成される。

図１３は、本実施の形態によるタブレット端末１ａが行うストロークデータ生成処理を示すフロー図である。なお、同図に示す処理は、タブレット端末１ａのホストプロセッサ１０によって実行される処理である。

図１３に示すように、タブレット端末１ａはまず、センサコントローラ１４から電子ペンＰの位置及びデータが供給されたか否かを判定する（ステップＳ４０）。タブレット端末１ａは、電子ペンＰの位置及びデータが供給されるまでステップＳ４０を繰り返し実行する。

ステップＳ４０において電子ペンＰの位置及びデータが供給されたと判定したタブレット端末１ａは次に、ペンダウンが発生したか否かを判定する（ステップＳ４１）。この判定においてタブレット端末１ａは、センサコントローラ１４から供給されたデータに含まれる筆圧値Ｆ１が０から０より大きい値に変化した場合にペンダウンが発生したと判定する。ペンダウンが発生したと判定したタブレット端末１ａは、ストロークデータＳＴの生成開始処理を実行する（ステップＳ４２）。具体的には、図１２に示したストロークデータＳＴのヘッダ部分（＜ｔｒａｃｅ＞タグ）を生成する。

ステップＳ４１でペンダウンが発生していないと判定した場合、又は、ステップＳ４２を完了した場合、タブレット端末１ａは、ペンアップが発生したか否かを判定する（ステップＳ４３）。この判定においてタブレット端末１ａは、センサコントローラ１４から供給されたデータに含まれる筆圧値Ｆ１が０より大きい値から０に変化した場合にペンアップが発生したと判定する。ペンアップが発生したと判定したタブレット端末１ａは、ストロークデータＳＴの生成終了処理を実行する（ステップＳ４２）。具体的には、図１２に示したストロークデータＳＴのフッタ部分（＜／ｔｒａｃｅ＞タグ）を生成し、ステップＳ４０に戻る。

ステップＳ４３でペンアップが発生していないと判定したタブレット端末１ａは、供給されたデータに含まれる筆圧値Ｆ１に対応するハプティクスデータＨＥＰを取得する（ステップＳ４５）。

図１４は、筆圧値Ｆ１と、ハプティクス強度であるハプティクスデータＨＥＰとを対応付ける対応テーブルを示す図である。タブレット端末１ａはこの対応テーブルを予め記憶しており、ステップＳ４５の処理では、この対応テーブルに従ってハプティクスデータＨＥＰを取得する。

図１３に戻る。ハプティクスデータＨＥＰを取得したタブレット端末１ａは、取得したハプティクスデータＨＥＰを含む位置データＰＤを生成中のストロークデータＳＴに追加し、処理をステップＳ４０に戻す。以上の処理により、ペンダウンとペンアップの間に、位置データＰＤ内にハプティクスデータＨＥＰを含むストロークデータＳＴが生成されることになる。

図１５は、本実施の形態によるタブレット端末１ｂが行う触覚フィードバック再生処理を示すフロー図である。なお、同図に示す処理は、タブレット端末１ｂのホストプロセッサ１０によって実行される処理である。この例によるホストプロセッサ１０は、ユーザによる位置データＰＤの指定を受け付けたことに応じ、電子ペンＰ内又はタブレット端末１ｂ内の力覚発生装置を用いて、指定された位置データＰＤに含まれるハプティクスデータＨＥＰによって示される触覚フィードバックを再生するよう構成される。

具体的に説明すると、タブレット端末１ｂは、まず初めに１以上のストロークデータＳＴの描画を行う（ステップＳ５０）。これにより、タブレット端末１ｂのディスプレイ１２上に１以上のストロークデータＳＴが表示されることになる。

次にタブレット端末１ｂは、ユーザによって、触覚フィードバック再生モードにエントリするためのモード設定操作がなされたか否かを判定する（ステップＳ５１）。この操作は、例えば、タブレット端末１ｂがディスプレイ１２上に表示したボタンのクリック又はタップである。タブレット端末１ｂは、モード設定操作がなされたと判定するまでステップＳ５１の処理を繰り返し、モード設定操作がなされたと判定した場合に、触覚フィードバック再生モードにエントリし、かつ、触覚フィードバックの再生方法を決定する（ステップＳ５２）。

触覚フィードバックの再生方法は、例えば、電子ペンＰ内の力覚発生装置に触覚フィードバックを再生させる方法、又は、タブレット端末１ｂ内の力覚発生装置１５に触覚フィードバックを再生させる方法のいずれかである。例えばモード設定操作が電子ペンＰによって行われた場合であれば、タブレット端末１ｂは、電子ペンＰが送信するダウンリンク信号の内容から当該電子ペンＰが力覚発生装置を内蔵しているか否かを判定し、内蔵していると判定した場合には電子ペンＰ内の力覚発生装置に触覚フィードバックを再生させると決定し、内蔵していないと判定した場合にはタブレット端末１ｂ内の力覚発生装置１５に触覚フィードバックを再生させると決定すればよい。また、例えばモード設定操作が指によって行われた場合、タブレット端末１ｂは、タブレット端末１ｂ内の力覚発生装置１５に触覚フィードバックを再生させると決定すればよい。

続いてタブレット端末１ｂは、ステップＳ５０で描画したストロークデータＳＴの描画領域及びその周囲に触覚フィードバック再生領域を設定する（ステップＳ５３）。

図１６は、ステップＳ５３において設定される触覚フィードバック再生領域を説明する図である。図１６（ａ）に示す曲線２００は、ストロークデータＳＴ内に含まれる複数の座標から得られる近似曲線（具体的には、ベジエ曲線、キャットマル－ロム曲線など）を表している。また、図１６（ａ）に示す円２０１は、ストロークデータＳＴ内に含まれる各座標の位置と、その位置における筆圧値Ｆ１の大きさを表している。

ステップＳ５０において行ストロークデータＳＴを描画する際、タブレット端末１ｂは、各座標における円２０１の包絡線２０２，２０３を求める。そして図１６（ｂ）に示すように、包絡線２０２，２０３に挟まれた領域をストロークデータＳＴの描画領域２１０として取得する。タブレット端末１ｂはこの描画領域２１０内を所与の色によって塗りつぶすことによってストロークデータＳＴを描画し、その結果として、ユーザによるストロークデータＳＴの視認が可能になる。

こうしてストロークデータＳＴを描画したタブレット端末１ｂは、ステップＳ５３において、描画領域２１０及びその周囲（両側）に、ユーザには見えない触覚フィードバック再生領域２１１を設定する。具体的な例を挙げると、タブレット端末１ｂは、上述した各円２０１の半径を所定の割合（例えば５％）で大きくしてなる円を仮想的に設定してそれらの包絡線２０２ａ，２０３ａを求め、包絡線２０２ａ，２０３ａによって挟まれた領域を触覚フィードバック再生領域２１１とすればよい。こうすることで、タブレット端末１ｂは、描画領域２１０よりも少し広い領域で触覚フィードバックを再生することが可能になる。このような効果が必要とされない場合においては、タブレット端末１ｂは、描画領域２１０を触覚フィードバック再生領域２１１として設定すればよい。

図１５に戻る。触覚フィードバック再生領域を設定したタブレット端末１ｂは、ユーザによって、触覚フィードバック再生モードを解除するためのモード解除操作がなされたか否かを判定する（ステップＳ５４）。この操作も、例えば、タブレット端末１ｂがディスプレイ１２上に表示したボタンのクリック又はタップであってよい。ステップＳ５４においてモード解除操作がなされたと判定したタブレット端末１ｂは、処理をステップＳ５１に戻す。一方、モード解除操作がなされていないと判定した場合、タブレット端末１ｂは次に、センサコントローラ１４から指示体の位置が供給されたか否かを判定する（ステップＳ５５）。

ステップＳ５５において供給されていないと判定したタブレット端末１ｂは、ステップＳ５４に戻って処理を続ける。一方、供給されたと判定したタブレット端末１ｂは、供給された位置がステップＳ５３で設定した触覚フィードバック再生領域内の位置であるか否かを判定する（ステップＳ５６）。触覚フィードバック再生領域内の位置でないと判定したタブレット端末１ｂは、ステップＳ５４に戻って処理を続ける。一方、触覚フィードバック再生領域内の位置であると判定したタブレット端末１ｂは、供給された位置に基づき、再生対象のハプティクスデータＨＥＰを決定する（ステップＳ５７）。具体的には、表示中のストロークデータＳＴに含まれる１以上の位置データＰＤのうち、供給された位置に最も近い座標を含む位置データＰＤを決定し、その中に含まれるハプティクスデータＨＥＰを再生対象として決定すればよい。

続いてタブレット端末１ｂは、ステップＳ５２で決定した再生方法が電子ペンＰ内の力覚発生装置に触覚フィードバックを再生させる方法、又は、タブレット端末１ｂ内の力覚発生装置１５に触覚フィードバックを再生させる方法のいずれであったかを判定する（ステップＳ５８）。そして、前者であると判定した場合には、ステップＳ５７で決定したハプティクスデータＨＥＰを近距離無線通信により電子ペンＰに対して送信し（ステップＳ５９）、後者であると判定した場合には、ステップＳ５７で決定したハプティクスデータＨＥＰに基づく電流を力覚発生装置１５に供給する（ステップＳ６０）。これにより、ユーザが電子ペンＰ又は指で触れた位置に対応する触覚フィードバックが、電子ペンＰ又はタブレット端末１ｂのいずれかにより再生されることになる。

ここで、タブレット端末１ｂがステップＳ５９又はステップＳ６０を実行した結果として力覚発生装置に供給される電流の波形は、電子ペンＰ内又はタブレット端末１ｂ内に予め設定しておけばよい。ただし、図１３に示したストロークデータ生成処理においてユーザによる波形データの指定を受け付け、その波形データを示す情報をハプティクスデータＨＥＰ内に含めることとしてもよい。この場合、ステップＳ５９において、対応するｗａｖｅファイルを電子ペンＰに対して送信することとしてもよい。

以上説明したように、本実施の形態によるタブレット端末１ａ，１ｂ、電子ペンＰ、及びデジタルインクＤＩＮＫによれば、各ストロークデータＳＴの位置データＰＤ内にハプティクスデータＨＥＰを配置し、ユーザによる位置データＰＤの指定を受け付けたことに応じて、指定された位置データＰＤに含まれるハプティクスデータＨＥＰによって示される触覚フィードバックを再生しているので、表示中のストロークデータＳＴをユーザが電子ペンＰ又は指でなぞった場合に、その電子ペンＰ又は指の触れている位置に対応するストロークデータＳＴの部分を書いたときのユーザの筆圧値に応じた触覚フィードバックを再生することが可能になる。

また、本実施の形態によるタブレット端末１ａ，１ｂ、電子ペンＰ、及びデジタルインクＤＩＮＫによれば、ストロークデータＳＴの位置データＰＤ内にハプティクスデータＨＥＰを配置しているので、図３に示したハプティクスデータ１０５やハプティクス効果定義データ１２１に対応していない電子ペンやタブレット端末においても、触覚フィードバックを再生することが可能になる。

なお、本実施の形態では、表示中のストロークデータＳＴをユーザが電子ペンＰ又は指でなぞった場合に触覚フィードバックを再生する例を説明したが、ストロークデータＳＴの再生時に触覚フィードバックを再生することとしてもよい。具体的には、ストロークデータＳＴ内の各位置データＰＤに対応するストロークデータＳＴの部分を再生するときに、その位置データＰＤに含まれるハプティクスデータＨＥＰによって示される触覚フィードバックを再生することとすればよい。こうすることで、デジタルインクを再生するユーザは、第２の実施の形態と同様に、デジタルインクを書いたユーザの筆圧をリアルに感じながら、再生されるデジタルインクを視聴することが可能になる。

また、本実施の形態では、図１３のステップＳ４５において、筆圧値Ｆ１からハプティクスデータＨＥＰを求めていたが、タブレット端末１ａは、上述したグリップ力値Ｆ２、指示体の移動速度、チルト角、ジャイロの出力値などの他の値からハプティクスデータＨＥＰを求めることとしてもよい。また、心拍数や血中酸素濃度を測定する装置をユーザに取り付け、測定結果をタブレット端末１ａに供給することにより、心拍数や血中酸素濃度からハプティクスデータＨＥＰを求めることとしてもよい。この場合、図１４の左側の欄には、ハプティクスデータＨＥＰを求めるために参照する値の組み合わせを配置することとすればよい。

また、図１５に示した処理によれば、センサコントローラ１４からホストプロセッサ１０に位置が供給される都度、電子ペンＰに対してハプティクスデータＨＥＰが送信されることになるが、タブレット端末１ｂは、ハプティクスデータＨＥＰの内容に変化があった場合にのみ、電子ペンＰに対してハプティクスデータＨＥＰを送信することとし、電子ペンＰは、新たなハプティクスデータＨＥＰが送信されてくるまでの間、それまでに受信したハプティクスデータＨＥＰに基づいて触覚フィードバックを再生し続けることとしてもよい。こうすれば、タブレット端末１ｂと電子ペンＰとの間の通信量を低減することができる。

また、本実施の形態では、タブレット端末１ｂ内で筆圧値Ｆ１などの値をハプティクスデータＨＥＰに変換し、タブレット端末１ｂから電子ペンＰに対してハプティクスデータＨＥＰを送信する例を説明したが、電子ペンＰ内で筆圧値Ｆ１などの値をハプティクスデータＨＥＰに変換することとし、タブレット端末１ｂから電子ペンＰに対しては筆圧値Ｆ１などの値を送信することとしてもよい。この場合、図１４に示した対応テーブルを電子ペンＰ内に予め配置しておくことが好ましい。

また、本実施の形態では、電子ペンＰによる入力に従って生成されるストロークデータＳＴを取り上げて説明したが、他の種類の指示体による入力に従って生成されるストロークデータＳＴに対しても本発明は適用可能である。例えば、空中で操作するエアマウスの移動速度に基づいてハプティクスデータＨＥＰを決定し、決定したハプティクスデータＨＥＰを位置データＰＤ内に配置すれば、触覚フィードバックを再生するユーザは、エアマウスの移動速度をリアルに体感することが可能になる。同様に、スプレータイプの電子ペンのグリップ力値に基づいてハプティクスデータＨＥＰを決定し、決定したハプティクスデータＨＥＰを位置データＰＤ内に配置すれば、触覚フィードバックを再生するユーザは、スプレーの発射強度をリアルに体感することが可能になる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

１ａ，１ｂ タブレット端末
２ 通信ネットワーク
１０ ホストプロセッサ
１１ 記憶部
１２ ディスプレイ
１３ センサ
１４ センサコントローラ
１５ 力覚発生装置
１６ 通信部
１００ インクデータ
１０１ コンテキストデータ
１０２ ストロークデータ群
１０３ ブラシ属性データ
１０４ タイムスタンプ
１０５，ＨＥＰ ハプティクスデータ
１０６ ブラシＩＤ
１０７ 描画色
１０８ 透明度
１０９ 電子ペンＰの先端形状
１１０ 領域ＩＤ
１１１ タイムスタンプ
１１２ 対象ストロークデータ特定データ
１１３ 触覚フィードバック特定データ
１１４ 筆圧値Ｆ１の範囲
１２０ メタデータ
１２１ ハプティクス効果定義データ
１２２ 定義ＩＤ
１２３ ｗａｖｅファイル
２００ 軌跡を表す曲線
２０１ 筆圧値を表す円
２０２，２０３，２０２ａ，２０３ａ 包絡線
２１０ 描画領域
２１１ 触覚フィードバック再生領域
ｂｒｕｓｈＲｅｆ ブラシ属性参照値
Ｄ１～Ｄ４ ハプティクス付与領域
ＤＩＮＫ デジタルインク
Ｆ１ 筆圧値
Ｆ２ グリップ力値
Ｐ 電子ペン
ＰＤ 位置データ
ＰＨＤ 部分ハプティクスデータ
ＳＴ ストロークデータ
Ｔｉｌｔ チルト角
ｔｉｍｅＯｆｆｓｅｔ タイムオフセット

Claims (26)

1. プロセッサを備える手書きデータ生成装置であって、
   前記プロセッサは、
   手書き入力に応じて生成されるストロークデータのうち触覚フィードバックを関連付ける対象である対象ストロークデータを決定し、
   前記対象ストロークデータに関連付ける触覚フィードバックを示すハプティクスデータを生成し、
   前記ストロークデータ及び前記ハプティクスデータを含むデジタルインクを生成する、
   手書きデータ生成装置。
2. 前記プロセッサは、触覚フィードバックを関連付ける対象となるハプティクス領域に基づいて、前記対象ストロークデータを決定する、
   請求項１に記載の手書きデータ生成装置。
3. 前記プロセッサは、指示体により入力されたストロークデータが閉領域を構成したことにより、前記ハプティクス領域の指定を受け付ける、
   請求項２に記載の手書きデータ生成装置。
4. 前記プロセッサは、前記ストロークデータに対してセマンティック・セグメンテーション処理を行うことにより、前記ハプティクス領域を決定する、
   請求項２に記載の手書きデータ生成装置。
5. 前記ストロークデータは、筆圧値を含み、
   前記ハプティクスデータは、前記筆圧値と、前記触覚フィードバックを生成するための波形データとを対応付けるデータである、
   請求項１に記載の手書きデータ生成装置。
6. 前記ストロークデータは、チルト角を含み、
   前記ハプティクスデータは、前記チルト角と、前記触覚フィードバックを生成するための波形データとを対応付けるデータである、
   請求項１に記載の手書きデータ生成装置。
7. 前記ストロークデータは、グリップ力値を含み、
   前記ハプティクスデータは、前記グリップ力値と、前記触覚フィードバックを生成するための波形データとを対応付けるデータである、
   請求項１に記載の手書きデータ生成装置。
8. 前記ストロークデータは、一定の時間間隔で検出された複数の座標を含み、
   前記ハプティクスデータは、前記座標の変化量により示される指示体の移動速度と、前記触覚フィードバックを生成するための波形データとを対応付けるデータである、
   請求項１に記載の手書きデータ生成装置。
9. 前記ストロークデータは、一定の時間間隔で検出された複数の座標を含み、
   前記ハプティクスデータは、前記座標の変化量により示される指示体の停止時間の長さと、前記触覚フィードバックを生成するための波形データとを対応付けるデータである、
   請求項１に記載の手書きデータ生成装置。
10. 前記ストロークデータは、ブラシ属性を含み、
    前記ハプティクスデータは、前記ブラシ属性と、前記触覚フィードバックを生成するための波形データとを対応付けるデータである、
    請求項１に記載の手書きデータ生成装置。
11. 前記ストロークデータは、複数の位置データを含み、
    前記プロセッサは、前記位置データに前記ハプティクスデータを関連付けることによって、前記ストロークデータの少なくとも一部に対して触覚フィードバックを関連付ける、
    請求項１に記載の手書きデータ生成装置。
12. 前記プロセッサは、電子ペンの位置を検出するセンサコントローラから位置の供給を受ける都度、前記ハプティクスデータを決定し、供給された前記位置及び決定した前記ハプティクスデータを含む前記位置データを生成する、
    請求項１１に記載の手書きデータ生成装置。
13. 前記プロセッサは、前記センサコントローラから供給される筆圧値に基づいて前記ハプティクスデータを決定する、
    請求項１２に記載の手書きデータ生成装置。
14. ディスプレイ及びプロセッサを備える手書きデータ再生装置であって、
    前記プロセッサは、
    ストロークデータ、及び、触覚フィードバックを示すハプティクスデータを含むデジタルインクを取得し、
    前記ストロークデータを前記ディスプレイに表示するために、前記ストロークデータを再生し、
    前記ストロークデータの再生時に、前記ハプティクスデータによって示される前記触覚フィードバックを再生するように力覚発生装置を制御し、
    前記ハプティクスデータは、前記ストロークデータのうち対象ストロークデータに関連付けられた触覚フィードバックを示すデータであり、
    前記プロセッサは、前記対象ストロークデータの再生時に、該対象ストロークデータに関連付けられた触覚フィードバックであり、前記ハプティクスデータによって示される前記触覚フィードバックを再生するように力覚発生装置を制御する、
    手書きデータ再生装置。
15. 前記ハプティクスデータは、前記触覚フィードバックの再生開始タイミングを示すタイミング情報を含み、
    前記プロセッサは、
    前記ディスプレイに前記ストロークデータを再生している間、前記タイミング情報に基づいて前記触覚フィードバックの再生開始タイミングの到来を判定し、
    前記再生開始タイミングが到来したと判定した場合に、前記触覚フィードバックの再生を開始する、
    請求項１４に記載の手書きデータ再生装置。
16. 前記ハプティクスデータは、前記触覚フィードバックの再生開始タイミングを示すタイミング情報を含み、
    前記プロセッサは、
    ユーザ操作に応じて前記ハプティクスデータを取得し、
    取得した前記ハプティクスデータに対応する前記ストロークデータを再生している間、前記取得したハプティクスデータに含まれるタイミング情報に基づいて前記触覚フィードバックの再生開始タイミングの到来を判定し、
    前記再生開始タイミングが到来したと判定した場合に、前記触覚フィードバックの再生を開始する、
    請求項１４に記載の手書きデータ再生装置。
17. 前記プロセッサは、ユーザにより押下された前記ディスプレイ上の位置に対応する前記ストロークデータに基づき、前記ハプティクスデータを取得する、
    請求項１６に記載の手書きデータ再生装置。
18. 前記ストロークデータは、筆圧値を含む位置データを含み、
    前記ハプティクスデータは、前記筆圧値と、前記触覚フィードバックを生成するための波形データとを対応付けるデータであり、
    前記プロセッサは、再生中の前記位置データに含まれる前記筆圧値、及び、前記ハプティクスデータに含まれる前記筆圧値に基づき、再生する前記触覚フィードバックの内容を変更する、
    請求項１４に記載の手書きデータ再生装置。
19. 前記ストロークデータは、ブラシ属性を含み、
    前記ハプティクスデータは、前記ブラシ属性と、前記触覚フィードバックを生成するための波形データとを対応付けるデータであり、
    前記プロセッサは、再生中の前記ストロークデータの前記ブラシ属性、及び、前記ハプティクスデータに含まれる前記ブラシ属性に基づき、再生する前記触覚フィードバックの内容を変更する、
    請求項１４に記載の手書きデータ再生装置。
20. 前記ストロークデータは、座標を含む位置データを含み、
    前記ハプティクスデータは、前記位置データに含まれるデータである、
    請求項１４に記載の手書きデータ再生装置。
21. 前記プロセッサは、前記位置データに対応する前記ストロークデータの部分を再生するときに、前記位置データに含まれるハプティクスデータによって示される前記触覚フィードバックを再生するように力覚発生装置を制御する、
    請求項２０に記載の手書きデータ再生装置。
22. 前記プロセッサは、ユーザによる前記位置データの指定を受け付けたことに応じて、前記指定された位置データに含まれるハプティクスデータによって示される前記触覚フィードバックを再生するように力覚発生装置を制御する、
    請求項２０に記載の手書きデータ再生装置。
23. 前記プロセッサは、
    前記ディスプレイに表示した前記ストロークデータの描画領域及び該描画領域の周囲に触覚フィードバック再生領域を設け、
    ユーザが前記触覚フィードバック再生領域内の位置を指定したことに応じて、ユーザによる前記位置データの指定を受け付ける、
    請求項２２に記載の手書きデータ再生装置。
24. 前記力覚発生装置は、前記手書きデータ再生装置内に設けられる、
    請求項１４乃至２３のいずれか一項に記載の手書きデータ再生装置。
25. 前記力覚発生装置は、前記手書きデータ再生装置とは別体の装置内に設けられる、
    請求項１４乃至２３のいずれか一項に記載の手書きデータ再生装置。
26. 前記別体の装置は、電子ペンである、
    請求項２５に記載の手書きデータ再生装置。

Images