JP6973791B2 - 手書き装置および手書き通信システム - Google Patents

Description

本発明は、電話機能とドットパターン読み取り機能を有するペン型デバイスに関する。

また本発明は、ウェアラブルデバイスと連動して用いるペン型デバイスに関する。

本発明者は、ドットパターンを用いた画期的な発明を数多く行っている。

これらの発明には、ドットパターンを読み取るスキャナと携帯電話とを接続して、スキャナでドットパターンを読み取り、携帯電話から、ドットパターンに対応した情報を出力する技術も存在している。また、スキャナが内蔵された携帯電話も存在している（特許文献１）。

国際公開WO2004/029871号公報

しかし、電話機能を有するスキャナについては開示されていいない。

また近年は、アップルウォッチやGOOGLE GLASS（登録商標）等、ウェアラブルデバイスも普及しつつある。

本発明はこのような点に鑑みてなされたものであり、電話機能とドットパターン読み取り機能を有するペン型デバイスを提供することを技術的課題とする。

また、ウェアラブルデバイスと連動することにより、種々の操作をウェアラブルデバイスに実行させるペン型デバイスを提供することを技術的課題とする。

さらに、教育分野でE-ラーニングが世界的に普及しているが、現状では教員の講義をビデオに収録して配信するのが主流である。ビデオ収録は、収録場所、カメラマンの手配から編集まで相当なコストを要する。また、教員と生徒のコミュニケーションは、殆どが共通の教材（デジタルコンテンツを含む）で会話を中心に行われている。一部は、添削なども実施されているが、インタラクティブに直ちに対応できるものではない。理想的には、教員が手書きで容易に授業を配信し、生徒の問題回答や質問に、直ちに音声と手書きによる指導ができることが望ましい。また、ビジネス分野においても、電話会議やTV会議が普及しているが、図や写真、イラスト等を共有して、会議を進めていくには、カメラで撮影した画像を基に、参加者が会話だけではなく、手書きで理解を深めるには、タッチパネルやペンタブなどの精度、利便性、コストに大きな課題がある。さらに、ソーシャルネットワークによるチェットは、凄まじい勢いで普及しており、手書きによるチャットへの期待は大きいが、現状では、廉価で使いやすいシステムが存在していない。

（１）本発明にかかる手書き装置は、ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、音声情報を取得する音声取得手段と、前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力する、ことを特徴とする。

（２）本発明にかかる手書き装置は、ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを通信装置に送信する送信手段と、を備え、前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力し、前記通信装置は、音声情報を取得する、ことを特徴とする。

（３）さらに、前記軌跡情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を、前記手書き装置または前記通信装置に、さらに備えてもよい。

（４）さらに、前記通信装置は、第三者が使用する相手方通信装置であってもよい。

（５）さらに、前記通信装置は、自己が使用する通信装置であって、前記送信手段は、前記通信装置を経由して、第三者が使用する相手方通信装置に前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを送信してもよい。

（６）さらに、前記軌跡情報で、前記相手方通信装置を特定してもよい。

（７）さらに、前記軌跡情報および前記音声情報の少なくともいずれかを記憶する記憶手段を、前記手書き装置または前記通信装置のいずれかに、さらに備え、前記通信装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記軌跡情報の少なくともいずれかをファイルにして送信してもよい。

（８）さらに、内蔵されるか、または外部に接続されるかのいずれかである、少なくとも前記軌跡情報を表示する表示手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。

（９）さらに、前記表示手段は、前記軌跡情報に前記音声情報を同期させて出力してもよい。

（１０）さらに、受信した音声情報を出力する音声出力手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。

（１１）さらに、前記相手方通信装置からの音声情報を受信する音声受信装置を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。

（１２）さらに、請求項４〜６のいずれかに記載の前記相手先通信装置からの軌跡情報を受信する軌跡受信装置を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。

（１３）さらに、前記軌跡情報に対して、前記手書き装置でさらに描いた軌跡情報を、請求項４〜６のいずれかに記載の前記相手方通信装置または前記通信装置に送信してもよい。

（１４）さらに、前記通信装置は、スマホまたはPCであってもよい。

（１５）さらに、前記相手方通信装置は、スマホまたはPCであってもよい。

（１６）本発明にかかる音声・手書き通信システムは、ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡情報および/またはコード値を出力する解析手段と、前記軌跡情報またはコード値の少なくともいずれかを、通信装置に送信する送信手段と、を備え、前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記軌跡情報に該領域特定コードを含めて出力する、手書き装置と、音声情報を取得する前記通信装置と、からなることを特徴とする。

（１７）さらに、前記前記手書き装置または前記通信装置の少なくともいずれかに、前記軌跡情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。

（１８）さらに、前記通信装置は、自己が使用する通信装置であって、前記送信手段は、前記通信装置を経由して、第三者が使用する相手方通信装置に前記音声情報および、前記軌跡情報またはコード値の少なくともいずれかを送信してもよい。

（１９）さらに、前記軌跡情報で前記相手方通信装置を特定してもよい。

（２０）さらに、前記前記手書き装置または前記通信装置の少なくともいずれかに、前記軌跡情報および前記音声情報の少なくともいずれかを記憶する記憶手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備え、前記通信装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記軌跡情報の少なくともいずれかをファイルにして送信してもよい。

（２１）さらに、前記内蔵されるか、または外部に接続されるかのいずれかである、少なくとも前記軌跡情報を表示する表示手段を、前記手書き装置または前記通信装置の少なくともいずれかに、さらに備えてもよい。

（２２）さらに、前記表示手段は、前記軌跡情報に前記音声情報を同期させて出力してもよい。

（２３）さらに、前記受信した音声情報を出力する音声出力手段を、前記通信装置に、
さらに備えてもよい。

（２４）さらに、前記相手方通信装置からの音声情報を受信する音声受信手段を、前記通信装置に、さらに備えてもよい。

（２５）さらに、前記相手方通信装置からの軌跡情報を受信する軌跡受信手段を、前記通信装置に、さらに備えてもよい。

（２６）さらに、前記軌跡情報に対して、前記手書き装置でさらに描いた軌跡情報を、前記通信装置を経由して相手方通信装置に送信してもよい。

（２７）さらに、前記通信装置は、スマホまたはPCであってもよい。

（２８）さらに、前記相手方通信装置は、スマホまたはPCであってもよい。

本発明によれば、ボタンを押下する等の煩雑な操作無しに電話をかけることが可能となる、という効果を有する。

また、ウェアラブルデバイスとペン型デバイスを連動することにより、ハンズフリーで電話等の操作を行うことが可能となる、という効果を有する。
さらに、音声情報と軌跡情報を同時に相手方に送信することのできる、利便性に優れたペン型デバイスを提供することにより、大きな発明の効果がある。

（１）一時記憶してファイル形式で相手方に音声情報と軌跡情報を送信する場合。
下記のいずれも、軌跡情報を実時間で、音声と共に同期を取って再生する場合、ペン型デバイスまたは、自己のスマートフォン（スマホ）、パーソナルコンピュータ（PC）、ウェラブルコンピュータ等のいずれかで時間経過を示す情報を軌跡情報に付加する必要がある。

（１−１）ペン型デバイス内部に、相手方スマホ、PC（ウェラブルコンピュータ含む、他も同様）への送信機能がある場合。
●音声取得手段、記憶手段、同期手段（後に、軌跡情報を実時間で、音声と共に同期を取って、再生する必要がなければ無用、他も同様）をペン型デバイスに搭載し、音声情報と軌跡情報をペン型デバイスに記録し、後に、音声情報と軌跡情報をファイルとして、相手方スマホ、PCに送信する。

（１−２）ペン型デバイス内部に、相手方スマホ、PCへの送信機能がなく、自己のスマホ、PCに軌跡情報、取得した音声情報（スマホの音声取得・記録手段を使用する場合無用）を送信して記録し、その後、軌跡情報、音声情報をファイルとして、自己のスマホ、PCから相手方スマホ、PCに送信する場合。
●ペン型デバイスには、音声取得手段、記憶手段がなく、自己のスマホ、PCの音声取得手段、記憶手段で音声記録し、ペン型デバイスから軌跡情報をリアルタイムで自己のスマホ、PCに送信して記録する。
●ペン型デバイスには、軌跡情報記憶手段のみ搭載されており、スマホ、PCの音声取得手段、記憶手段で音声記録する。この際、自己のスマホ、PCで音声情報と軌跡情報の同期を取るために、ペン型デバイスまたは自己のスマホ、PCのいずれかで時間経過を示す情報を軌跡情報に付加すればよいが、音声情報と軌跡情報の同期の精度を確保するには、自己のスマホ、PCで同期を取ったほうがよい。軌跡情報の送信は、殆どリアルタイムで実施できるため、ディレーは殆ど生じない。また、ペン型デバイスよりスマホ、PCの方が、圧倒的に処理速度が速いことから、スマホ、PC側に複雑な処理を実施させるのが望ましい。
ペン型デバイスから、軌跡情報をファイルとして、スマホ、PCに送信して記録する。軌跡を描いている最中に、同期させて音声情報を記録しなくていい場合は、後に、軌跡情報をファイルとして送信して記録し、スマホ、PCで、軌跡情報を閲覧して重ねて音声を記録してもよい。
●ペン型デバイスには、音声取得手段、記憶手段が搭載されており、音声情報と軌跡情報をペンに記録し、後に、音声情報と軌跡情報をファイルとして、自己のスマホ、PCに送信して記録する。この際、ペン型デバイスで音声情報と軌跡情報の同期を取るために、時間経過を示す情報を軌跡情報に付加するのが望ましい。

（２）リアルタイムで、相手方に音声情報と軌跡情報を送信する場合。
下記のいずれも、軌跡情報を実時間で、音声と共に同期を取って再生する場合、ペン型デバイスまたは、相手方スマホ、PCで時間経過を示す情報を軌跡情報に付加する必要がある。

（２−１）ペン型デバイス内部に、相手方スマホ、PCへの送信機能がある場合。
●リアルタイムで音声情報と軌跡情報をペン型デバイスから相手方スマホ、PCに送信し、記録する。速度の異なる通信手段を用いて音声情報と軌跡情報を送信する場合、相手方スマホ、PCで、両者にディレーが生じるため、ペン型デバイスで音声情報と軌跡情報の同期を取るために、時間経過を示す情報を軌跡情報に付加するのが望ましい。両者の通信手段の速度が十分速い場合は、問題ない。
●ペン型デバイス内部に音声出力手段を設け、相手方スマホ、PCからの音声情報をリアルタイムで受信し、会話ができる。
●ディスプレイをペン型デバイスに搭載するか、または、ペン型デバイスの外部装置としてディスプレイを設け、軌跡情報を閲覧しながら音声情報を送信できる。特に、ディスプレイとして、ウオッチ型やメガネ型ウェラブルコンピュータ等を使用すると、片手が書き込み媒体、片手がペン型デバイスを使用できるため、移動中にも使用ができ利便性が向上する。
●相手方スマホ、PCと軌跡情報を共有して、閲覧している軌跡情報に双方が手書きを加え、互いに送受信できる。同時に会話もできる。作業中に図面・写真や文書による指示をディスプレイに表示し、その上から描くことにより、言葉だけは伝わらない高度なコミュニケーションが可能となる。

（２−２）（１）で示した様々なペン型デバイスで軌跡情報や音声情報（スマホ、PCの音声取得機能を使用する場合は無用）を自己のスマホ、PCを経由して、相手方スマホ、PCに送信する場合
●自己のスマホ、PCから相手方スマホ、PCに、音声情報と軌跡情報をリアルタイムで送信する。
●自己のスマホ、PCと相手方スマホ、PCとで軌跡情報を共有して、閲覧している軌跡情報に双方が手書きを加え、互いに送受信できる。同時に会話もできる。現状のスマホ、PCでも同様なことがタッチパネルを使用して可能であるが、手書きの精度や、画面サイズを気にすることなく、書き込みができ、紙媒体の一覧性の方が明らかに優位であり、しかも、手書きした紙媒体と、音声も含めたデジタルデータが記録できるため、紙媒体を保存する分野では極めて有効である。

本発明の第一の実施形態に係るペン型デバイスの斜視図である。 本発明の第一の実施形態に係るペン型デバイスの内部構造を示すブロック図である。 本発明の第一の実施形態に係るペン型デバイスの使用状態を示す説明図である。 本発明の第一の実施形態に係るペン型デバイスの変形例を示す斜視図である。 ペン型デバイスとともに用いるペーパーコントローラを示す説明図である。 本発明の第二の実施形態に係るペン型デバイスの使用状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いてメール送信を行う状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いて電話発信を行う状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いて電話発信を行う、他の状態を示す説明図である。 本発明の第二の実施形態に係るペン型デバイスとリストウォッチ型ウェアラブルデバイスを用いてスマートフォンから発信を行う状態を示す説明図である。 本発明の第二の実施形態の変形例であり、メガネ型のウェアラブルデバイスを使用した状態を示す説明図である。 本発明の第二の実施形態の変形例であり、イヤホン型のウェアラブルデバイスを使用した状態を示す説明図である。 ペン型デバイスを用いた電話発信の動作を示すフローチャートである。 本発明の第三の実施形態に係る手書き装置の使用状態について説明する図である。 本発明の第三の実施形態に係る手書き装置の内部構造を示すブロック図である。 本発明の第三の実施形態に係る手書き装置の使用状態について説明する図である。 本発明の第三の実施形態に係る手書き装置の内部構造を示すブロック図である。 本発明の第三の実施形態において用いるドットパターン印刷用付箋について説明する図である。 本発明の第三の実施形態の実施例１−１における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例１−２における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例１−３における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例２−１における動作を説明するフローチャートである。 本発明の第三の実施形態の実施例２−２における動作を説明するフローチャートである。 本発明の第三の実施形態において用いるスマートノートについて説明する図である。 軌跡情報の同期について説明する図である。

以下、図面を参照しながら、本発明の実施形態について説明する。
＜第１の実施形態＞
図１および図２は、本発明にかかるペン型デバイスについて説明する図である。

第１の実施形態におけるペン型デバイスは、ドットパターン読み取り機能および電話機能を備えている。

図２に示すように、ペン型デバイスは、ペン本体を備える。ペン本体は、図示はしないが、ＣＰＵやメモリ等から構成される。

ペン本体のメモリに記憶されたプログラムやデータをＣＰＵが読み込むことで、取得手段と、制御手段と、認識手段とが機能する。

取得手段は、相手先に電話発信を行う際に、手書きで入力された情報に基づいて、通話相手を特定する特定情報（電話番号等）を取得する。制御手段は、相手からの電話を受信した際に、通話の開始を制御する。認識手段は、ユーザによって手書き入力された内容や、マイクを通して音声入力された内容を認識する。

ペン本体の入力部として、ドットパターンを撮影する撮像手段、マイク等の音声取得手段、ペン先等の指示手段、および、通話相手からの着信を受け付ける受信手段のそれぞれが、ペン本体に接続されている。

撮像手段は、ユーザが手書き入力を行った際のドットパターンを撮像する。すなわち、手書き入力は、ドットパターンが印刷された用紙に対して行われる。

ここで、本発明に特有の構成であるドット技術について説明する。

本発明において「ドットパターン」とは、複数のドットの配置アルゴリズムにより情報ないしは数値を符号化したものである。

情報ないしは数値をどのようにドットパターンにより符号化するかのアルゴリズムについては、日本国特許第3706385号、日本国特許第3858051号、日本国特許第3771252号、日本国特許第4834872号、日本国特許第4899199号、等に詳細に開示されたドットパターンを用いることができる。代表的なドットパターンの規格を挙げると、Grid Onput（登録商標）、アノトパターン、等が考えられる。

また、本発明の時点においてドットパターンの規格は市場にいくつか存在するが、本発明においては現時点で存在するドットパターンの他に、将来開発されるドットパターンを含めた、あらゆるドットパターンを用いることが可能である。

また、ドットパターンは通常のデザインと重畳可能な、目に見えない（または見えにくい）、不可視パターンであることが好ましい。ただし、いわゆるステルスインクを用いて印刷する場合はQRコード（登録商標）等の通常は目に見えるパターンを用いてもよい。

また、ドットパターンの規格は座標値とコード値を１つのフォーマットによりパターン化することができる規格であることが好ましい。前述のGrid Onput（登録商標）は座標値とコード値を１つのフォーマットによりパターン化することが可能である。

ペン本体の出力部には、ＩＲ−ＬＥＤ等の赤外線照射手段と、スピーカ等の音声出力手段と、通話相手に発信する発信手段とのそれぞれが、ペン本体に接続されている。

図３は、ペン型デバイスの使用状態を説明する図である。

ユーザが、ペン型デバイスを用いて、ドットパターンが印刷された用紙に、通話したい相手（通話相手）の電話番号を手書きする。すると、撮像手段がドットパターンを撮影し、認識手段が、その軌跡を認識する。そして、取得手段は、その認識結果を取得する。発信手段は、その認識結果に基づいて、通話相手への発信を行う。例えば、ユーザが「０８０−××××−××××」と手書き入力すると、「０８０−××××−××××」に発信が行われる。

また、ペン型デバイスは、通話相手からの着信を受信することも可能である。この場合、受信手段が通話相手からの着信を受信し、制御手段が通話の開始を制御する。

このように、ドットパターン読み取り用のペンに電話機能を設けることにより、ボタンを押して電話番号を入力するという煩雑な操作を行うことなく、電話をかけることが可能となる。本ペン型デバイスは、通常の手書き用ペンとしてももちろん使用可能であるため、手書きペンを日常的に使用する者には、特に利便性が高まる。

なお、ペン型デバイスは、上述の実施例に限られない。例えば、以下のように変形することも可能である。
（１）ペン型デバイスにディスプレイを設ける
図４は、ペン型デバイスにディスプレイを設けた状態を示す図である。

これによりユーザは、手書きした電話番号をディスプレイで確認することが可能になる。また、通話相手からの着信を受信する際に、通話相手の電話番号が表示されるため、誰からの着信であるかがすぐに分かる。
（２）光学文字認識（OCR）による文字入力
上述の実施例では、ドットパターンを用いて文字入力を行ったが、これに限らず、光学文字認識を用いて文字入力を行ってもよい。

この場合、ペン型デバイスには、光学文字認識センサが内蔵されている。ユーザが電話番号を手書きした後に、あるいは手書きしながら、光学文字認識センサで、手書きの電話番号をスキャンすると、認識手段が、そのスキャン画像を認識する。そして、取得手段は、その認識結果を取得する。発信手段は、認識結果に基づいて、通話相手への発信を行う。

これによれば、ドットパターンが印刷された用紙のような専用の用紙を用いる必要がなく、通常の用紙を用いて手書き入力を行うことが可能になる。
（３）ペーパーコントローラを用いる
本発明では、電話番号の入力の際に、ペーパーコントローラを用いることも可能である。

ペーパーコントローラとは、種々の操作指示を行うコントローラを模した印刷媒体である。印刷媒体には、文字や図形等が描かれたアイコンと、アイコンに対応した情報がコード化されたドットパターンとが重畳印刷されている。ユーザがペン型デバイスでアイコンをタッチすると、アイコンの内容に対応した処理が行われる。

図５は、本実施例で用いられるペーパーコントローラについて説明する図である。このペーパーコントローラは、例えば手帳に設けることができる。ペーパーコントローラには、「通話」「終話」「メール送信」等のアイコンが印刷されている。ユーザは、発信を行うときには、アドレス帳（図８参照）の中の電話番号をタッチしてから、「通話」をタッチする。すると、光学認識センサにより電話番号が認識され、タッチした電話番号への発信が行われる。

なお、ペーパーコントローラに英数字のアイコンを設け、アイコンをタッチして電話番号を入力するようにしてもよい。
（４）音声認識を用いる
本発明では、音声認識を用いて電話番号を入力することも可能である。

ペン型デバイスには、上記認識手段として、音声認識手段が設けられている。ユーザがマイクに向かって電話番号を発声すると、音声認識手段により音声が解析されて、その電話番号に発信が行われる。

なお、上述の実施例では、電話番号の発信について説明したが、本発明はこれに限らず、電子メールの送信、その他各種ＳＮＳやアプリを用いたメッセージの送信に用いてもよいことは勿論である。このことは、以下に説明する第二の実施形態においても同様である。
＜第二の実施形態＞
次に、本発明の第二の実施形態について説明する。

第二の実施形態は、ウェアラブルデバイスとペン型デバイスを用いるものである。

本実施形態で用いるペン型デバイスは、基本的な構造は第一の実施形態と同様であるが、ウェアラブルデバイス用の入力情報を特定する特定手段と、入力された情報をウェアラブルデバイスに送信するための送信手段を備えている点が異なる。また、通話機能（発信手段、受信手段）は有していなくても構わない。

図６は、ペン型デバイスで手書きした内容がリストウォッチ型ウェアラブルデバイス（以下「リストウォッチ」と記載する）に表示される状態を示す図である。

ユーザがペン型デバイスを用いて、手書き入力を行う。すると、撮像手段がドットパターンを撮影し、認識手段が、その軌跡を認識する。特定手段は、その認識結果によって、入力情報を特定する。そして送信手段は、入力情報をウェアラブルデバイスに送信する。

図６では、ユーザは「ａｐｐｌｅ」という文字を手書きしている。この文字が認識され、入力情報として特定されると、送信手段は、リストウォッチに、「ａｐｐｌｅ」の情報を送信する。すると、リストウォッチの文字盤（ディスプレイ）に、「ａｐｐｌｅ」の手書き文字が表示される。

なお、表示される文字は手書き文字ではなく、ＯＣＲにより変換されたテキストデータであってもよい。

図７は、リストウォッチからメール送信が行われる状態について示す図である。

ユーザは、手帳にメッセージ（例えば「こんにちわ」）を書き込み、送信先のアドレスを指定する。それからペーパーコントローラの「メール送信」をタッチする。すると、リストウォッチからメール送信が行われる。

ここで、送信先のメールアドレスは、スマートフォンやタブレット（以下「スマートフォン等」）から指定することができる。この場合、スマートフォン等のアドレス帳を開き、ペーパーコントローラの「上へ」「下へ」のアイコンをタッチして、メールアドレスを指定する。

また、手帳からメールアドレスを指定することもできる。この場合、送信先のメールアドレスをタッチすると、光学認識センサによりメールアドレスが認識され、タッチしたメールアドレスへの送信が行われる。

図８は、リストウォッチから電話発信が行われる状態について示す図である。

ユーザは、アドレス帳の中の電話番号をタッチしてから、ペーパーコントローラの「通話」をタッチする。すると、光学認識センサにより電話番号が認識され、リストウォッチから、タッチした電話番号への発信が行われる。

なお、電話番号を指定する場合には、図７の場合と同様に、スマートフォン等から指定してもよい。スマートフォン等のアドレス帳を開き、ペーパーコントローラの「上へ」「下へ」のアイコンをタッチして、電話番号を指定する。

図９は、リストウォッチは通話機能を有しておらず、ペン型デバイスのみが通話機能を有している状態について説明する図である。

ユーザは、図８と同様の方法で送信先の電話番号を指定して、ペーパーコントローラの「通話」をタッチする。すると、光学認識センサにより電話番号が認識され、ペン型デバイスから、タッチした電話番号への発信が行われる。

このとき、リストウォッチのディスプレイには、発信先の電話番号や、ペン型デバイスから発信が行われていることを示す絵が表示される。

これにより、ユーザは、発信が行われていることを正確に認識することができる。

図１０は、スマートフォンから発信を行う場合について説明する図である。

本実施例においては、ペン型デバイスやリストウォッチの通話機能は使用せず、スマートフォンから発信を行う。

この場合も、電話番号の入力方法は、図８および９で説明した方法と同様である。ペーパーコントローラの「発信」がタッチされると、スマートフォンから発信が行われる。それと同時に、リストウォッチのディスプレイに、発信先の電話番号や、スマートフォンから発信が行われていることを示す絵が表示される。

図１１、１２は、ウェアラブルデバイスの他の形態について説明する図である。

図１１は、メガネ型のウェアラブルデバイスを使用した場合である。図１２は、イヤホン型のウェアラブルデバイスを使用した場合である。

どちらのウェアラブルデバイスにおいても、ペン型デバイスおよびペーパーコントローラの使い方は、上述したリストウォッチと同様である。

メガネ型のウェアラブルデバイスでは、電話発信が行われると、発信先の電話番号等を、メガネを通して視認することができる。イヤホン型のウェアラブルデバイスでは、ペン型デバイスと無線で接続されることにより、イヤホンを通して通話することが可能となる。

なお、メガネ型のウェアラブルデバイスにイヤホン型のウェアラブルデバイスが接続されている構造としてもよい。この場合、骨伝導のマイクやスピーカを用いてもよい。

このように、ペン型デバイスとウェアラブルデバイスを連動して使用することにより、ハンズフリーで通話を行うことが可能となり、利便性が非常に高まる。

なお、本実施形態では、電話発信およびメール送信について説明したが、本発明はこれに限らず、他のあらゆる操作にも適用可能であることはもちろんである。

また、第一および第二の実施形態では、ドットパターンが印刷された用紙に手書き入力を行ったが、本発明はこれに限らず、磁気ボードにドットパターンを形成した入力ボード等、他の媒体を用いてもよい。また、ペンとしては、通常のボールペンの他、消えるボールペンを用いてもよい。

図１３は、電話発信の動作を示すフローチャートである。

ユーザが、ペン型デバイスを用いて、ドットパターンが印刷された用紙に、相手先の電話番号を手書きする。すると、撮像手段がドットパターンを撮影し、認識手段が、その軌跡を認識する（ステップＳ１３１）。例えば、図３に示すように、ユーザが「０８０−ＸＸＸＸ−ＸＸＸＸ」と手書きすると、認識手段は、その軌跡を認識する。次に、取得手段は、認識した軌跡から、電話番号を特定する（ステップＳ１３２）。図３の例では、相手先の電話番号が「０８０−ＸＸＸＸ−ＸＸＸＸ」であることを特定する。次に、発信手段により、特定された電話番号への発信が行われる（ステップＳ１３３）。図３の例では、「０８０−ＸＸＸＸ−ＸＸＸＸ」への発信が行われる。次に、制御手段は、相手先が電話に出たこと、つまり、相手先の電話番号に接続がされたことを認識し（ステップＳ１３４）、通話が開始される（ステップＳ１３５）。

＜第三の実施形態＞
次に、本発明の第三の実施形態について説明する。

図１４および１６は、第三の実施形態について説明する図である。第三の実施形態は、ペン型デバイスを用いて、通話と同時にドットパターン印刷用紙に手書きした絵、文字等の軌跡情報の送信も行うものである。

図１５および図１７は、第三の実施形態に用いられるペン型デバイスについて説明する図である。

図１５は、手書きペンとしての機能のみを有しているペン型デバイスであり、ドットパターン撮像手段、制御手段、解析手段、記憶手段、同期手段、送信手段を備えている。なお、記憶手段、同期手段は有していなくても構わない。

図１７は、相手方のスマホ等と直接送受信が可能なペン型デバイスであり、ドットパターン撮像手段、音声取得手段、音声情報受信手段、軌跡受信手段、解析手段、制御手段、同期手段、音声出力手段、送信手段を備えている。さらに、表示装置が、無線または有線で接続されている。表示装置の一例としては、薄型のディスプレイがある。ディスプレイを接続することにより、スマホやPCを用いなくても、相手方から送信された手書きの絵や文字を見ることが可能となる。なお、図４で示したように、表示装置は、ペン型デバイス本体に備えられていてもよい。

第三の実施形態には、さらに複数の実施例が考えられる。以下、説明する。
＜実施例１＞
実施例１では、ペン型デバイス、または、自己のスマートフォン（スマホ）、パーソナルコンピュータ（PC）のいずれかに音声情報と軌跡情報を記録し、その後、相手先のスマホ、PCに音声情報と軌跡情報を送信する場合を説明する。
（実施例１−１）
本実施例では、自己のスマホ、PCに音声情報と軌跡情報を記録する。スマホの音声記録装置を使用して音声情報を記録し、ペン型デバイスからリアルタイムで自己のスマホ、PCに軌跡情報を送信して記録する。

これによれば、ペン型デバイスに音声取得装置および記録装置を設ける必要がなく、コストを低減し、ペン型デバイスのサイズをコンパクトにできる効果がある。
（実施例１−２）
本実施例では、ペン型デバイスに音声情報と軌跡情報を記録する。この場合、後に、自己のスマホ、ＰＣにペン型デバイスを接続し、当該情報を送信する必要がある。

これによれば、スマホやPCに接続することなく、手書きしながら、音声情報をペン型デバイスに記録することができる。そのため、スマホ、ペン型デバイスを携帯・接続しなくても、子供の学習利用や、作業現場での利用が可能であり、利便性が極めて高い。
（実施例１−３）
本実施例では、ペン型デバイスに軌跡情報を記録し、音声情報のみを自己のスマホ、PCに記録して、後に軌跡情報を自己のスマホ、PCに送信する。

これによれば、音声情報を同時に記録する必要がないため、音声取得装置が必要なく、コストを低減し、ペンのサイズをコンパクトにできる効果がある。

また、軌跡情報と同時に音声情報を記録しない場合、実施例１−２と同様な効果がある。この場合、後に、自己のスマホやPCで、軌跡情報を再生しながら、音声情報を記録してもよい。

実施例１−１〜１−３において、軌跡情報を音声情報と同期を取って再生するために、時間経過を示す情報を軌跡情報に含めてもよい。

（ドットパターン印刷用付箋）
次に、上記実施例１−１〜１−３を実現するために用いるドットパターン印刷用紙について、図１８を用いて説明する。

同図のドットパターン印刷用紙は、付箋として構成されており、以下「ドットパターン印刷付箋」と呼ぶ。

ドットパターン印刷付箋は、書き込み領域とアイコン領域から構成されている。

書き込み領域は、ユーザが文書や図を描くための領域である。書き込み領域に手書きされた軌跡情報は、ペンまたは自己のスマホ、PCに記録される。一時停止状態で手書き入力を行った場合には、その位置から挿入ができる。

アイコン領域は、ユーザが種々の操作を行うためのアイコンが印刷された領域である。本実施例では、７個のアイコンが印刷されている。アイコンの機能は、左から、消去、録音、再生、一時停止、色、送信、ページ番号である。ユーザがペン型デバイスでアイコンをタッチすると、アイコンに割り当てられた操作が実行される。

「消去」アイコンは、音声情報の消去を行うためのアイコンである。録音中、再生中または、再生終了後２秒以内にタッチすると、スマホに「消去する場合は、再度ゴミ箱をタッチすると音声全部が消去されます。」というメッセージが表示される。または、ペン型デバイスに音声情報が記録された場合は、同様のメッセージが音声再生される。３秒以内に再度タッチすると、音声情報が消去される。3秒以上タッチしないと、待機状態になる。本機能は、スマホ、PCに音声情報が記録される場合、同様なアイコンを設けてタッチパネルやマウスで操作してもよい。なお、他の軌跡情報関連の機能も、スマホ、PCに記録される場合、スマホ、PCに同様なアイコンを設けて、タッチパネルやマウス操作でスマホやPCで操作してもよい。

「録音」アイコンは、自己のスマホ、PCまたは、手書きペンに録音を開始するためのアイコンである。録音中に再度タッチすると、録音は終了する。録音中に、他のアイコンをタッチすると、録音は終了され、タッチしたアイコンの操作処理が実行される。既に音声ファイルが存在する場合は、追加して音声ファイルが生成される。他のアイコンをタッチすると、タッチしたアイコンの操作処理が実行されるが、その操作状況がリアルタイムで送信される。

「再生」アイコンは、音声および軌跡情報の再生を行うためのアイコンである。一時停止中は、一時停止状態から実時間再生する。終了時（全軌跡データが表示されている状態）は先頭から実時間再生する。ただし、再生ボタンを押してから１秒以内に再度タッチすると、２倍速、さらに、１秒以内に再度タッチすると、４倍速とする。

「一時停止」アイコンは、一時停止を行うためのアイコンである。一時停止中にタッチすると、一時停止位置から、その前のスピードで再生される。一時停止中に、他のアイコンのタッチや書き込みを開始すると、一時停止状態は解除され、タッチしたアイコンの処理または書き込みが実行される。

「色」アイコンは、ペン型デバイスで描かれた軌跡の色を決定するためのアイコンである。左が黒、右が赤である。その他、図示しないが、軌跡の太さを設定する機能があってもよい。

「送信」アイコンは、相手先のスマホ、PCに、当該ページに手書きされた軌跡情報と音声情報を送信するためのアイコンである。送信先のアドレスは、自己のスマホで設定する。

「ページ番号」アイコンは、ドットパターン印刷付箋が、複数のページが束になって提供される場合に、各ページ番号（１〜１００）を示すアイコンである。本アイコンをタッチすると、当該ページの全軌跡データを表示する。軌跡情報には、当該ページを特定する領域特定コードが含まれていることにより、ページ番号と連動して様々な処理が可能となる。

なお、本実施例の再生・一時停止・挿入機能を実行するためには、時間経過情報が軌跡情報に付加されていなければならない。

一般の付箋は、簡単な文書や図を描いて、自分のメモとして使用したり、相手に情報を伝えたりすることができる。しかし、付箋の多くは面積が小さいため、詳細な情報を伝えることができない。ドットパターン印刷付箋では、音声情報を加えることができるため、メモの説明を詳しく伝えることができる。さらに、一般の付箋は使い捨てであり、情報を整理して保存することが困難であったが、ドットパターン印刷付箋では、軌跡情報をデジタル化してスマホやPCに記録することにより、過去に記載した情報を容易に記録・整理・活用できる。なお、本実施例は、付箋である必要もなく、手帳などに同様な機能を搭載してもよいことは勿論である。

次に、図１９〜図２１を用いて、実施例１における、ペン型デバイス（ペン）、自己のスマホ・PC、相手方のスマホ・PCの動作について説明する。

なお、同図では、「自己のスマホ」「相手先のスマホ」と記載したが、自己のＰＣ、ウェラブルコンピュータ、相手先のＰＣ、ウェラブルコンピュータ、にも適用されることは勿論である。

図１９は、実施例１−１における動作を説明するフローチャートである。

ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。

ペンにおいて、撮像手段がドットパターンを撮像し、認識手段が、その軌跡を認識して、軌跡情報を取得する。ペンは、取得した軌跡情報を無線または有線で自己のスマホに送信する（ステップＳ１６０１）。すると、自己のスマホは、軌跡情報を受信して（ステップＳ１６０２）、記録装置に記録する（ステップＳ１６０４）。

一方、ユーザの音声は、自己のスマホの記録装置に記録される（ステップＳ１６０５）。

自己のスマホは、記録した音声情報と軌跡情報を相手先のスマホに送信する（ステップＳ１６０７）。

相手先のスマホは、音声情報と軌跡情報を受信する（ステップＳ１６０８）。そして、スピーカから音声情報を出力し、ディスプレイに軌跡情報を表示する（ステップＳ１６０９）。後に音声情報と軌跡情報を矛盾なく再生するには、同期（ステップＳ１６０３）が必要となる。同期に関しては、後に詳しく説明する。

図２０は、実施例１−２における動作を説明するフローチャートである。

ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。

ペンにおいて、撮像手段がドットパターンを撮像し、認識手段がその軌跡を認識して、軌跡情報を取得する。そして、ペンに内蔵された記録装置に軌跡情報を記録する（ステップＳ１７０１）。また、ユーザが発声した音声情報を取得して、記録装置に記録する（ステップＳ１７０２）。そして、記録した音声情報と軌跡情報を自己のスマホに送信する（ステップＳ１７０７）。

自己のスマホは、音声情報と軌跡情報を受信する（ステップＳ１７０６）と、相手先のスマホに送信する（ステップＳ１７０８）。

相手先のスマホは、音声情報と軌跡情報を受信する（ステップＳ１７０８）。そして、スピーカから音声情報を出力し、ディスプレイに軌跡情報を表示する（ステップＳ１７０９）。後に音声情報と軌跡情報を矛盾なく再生するには、同期（ステップＳ１７０１）が必要となる。同期に関しては、後に詳しく説明する。

図２１は、実施例１−３における動作を説明するフローチャートである。

ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。ここでは、ペンと自己のスマホが接続していない状態であり、軌跡情報のみを記録すればよい。後に軌跡情報を実時間で再生する場合は、手書きの時間経過を示す情報を図２５に示すように座標情報と共に軌跡情報に記録する必要がある。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。

ペンにおいて、撮像手段がドットパターンを撮像し、認識手段がその軌跡を認識して、軌跡情報を取得する。そして、ペンに内蔵された記録装置に軌跡情報を記録する（ステップＳ１８０１）。そして、記録した軌跡情報を自己のスマホに送信する（ステップＳ１８０２）。

自己のスマホは、軌跡情報を受信して（ステップＳ１８０３）、記録装置に記録する（ステップＳ１８０５）。さらに、ユーザが発声した音声情報を取得して、記録装置に記録する（ステップＳ１８０７）。そして、記録した音声情報と軌跡情報を相手先のスマホに送信する（ステップＳ１８０８）。

相手先のスマホは、音声情報と軌跡情報を受信する（ステップＳ１８０９）。そして、スピーカから音声情報を出力し、ディスプレイに軌跡情報を表示する（ステップＳ１８１０）。
＜実施例２＞
次に、図２２〜図２３を用いて、実施例２における、ペン型デバイス（ペン）、自己のスマホ・PC、相手方のスマホ・PCの動作について説明する。

実施例２では、ペン型デバイスから直接、または、自己のスマホ、PCを経由して、相手方のスマホ、PCに音声情報と軌跡情報をリアルタイムで送受信する場合を説明する。
（実施例２−１）
図１９は、実施例２−１における動作を説明するフローチャートである。

本実施例では、ペン型デバイスから軌跡情報のみを自己のスマホ、PCを経由して、相手方スマホ、PCにリアルタイムで送信する。自己のスマホ、PCで軌跡情報を受信した際には、図22のように、同期用の経過時間を示す情報を軌跡情報に記録するのが望ましい。

これによれば、自己のスマホ、PCの音声取得手段、音声出力手段を使用するため、ペンには、音声関連の装置や記憶装置を設ける必要がなく、コストを低減し、ペンのサイズをコンパクトにできる効果がある。
（実施例２−２）
図２０は、実施例２−２における動作を説明するフローチャートである。

本実施例では、ペン型デバイスから、直接、相手方のスマホ、PCに音声情報と軌跡情報を送信する。この場合、ペン型デバイス内部には、音声取得手段と音声出力手段を設け、相手方のスマホ、PCからの音声情報をリアルタイムで受信し、会話ができる。

これによれば、自己のスマホ、PCが必要なく、子供の学習利用や、作業現場での利用が可能であり、利便性が極めて高い。さらに、ディスプレイをペン型デバイスに搭載するか、または、ペン型デバイスの外部装置としてディスプレイを設ければ、軌跡情報を共有して閲覧しながら音声情報を送受信できる。

実施例２−１、２−２において、軌跡情報を音声情報と同期（ステップＳ１８７）を取って再生するために、時間経過を示す情報を軌跡情報に含めてもよい。ここで、軌跡を描きながら、その軌跡の履歴に合わせて音声を発声する場合、音声と軌跡上のポイントが一致しなければ、説明に矛盾が生じる。特に、相手方スマホに音声情報と軌跡情報を異なる通信手段で送信する場合、その通信速度によりディレーが生じる。そこで、相手方スマホでは、音声情報と軌跡情報が同期するように出力させるために、図２２に示すように、同期用の時間経過情報を軌跡情報に記録する。元々、音声情報は実時間で再生されるため、所定の方法で開始点の時間情報を一致させれば、相手方スマホで音声情報と軌跡情報間でディレーのない出力が可能となる。音声情報と軌跡情報を異なる通信手段の速度が両者とも十分速ければ、同期を取る必要はない。ただし、自己および相手方のスマホで、音声情報と軌跡情報を記録して、後に、ディレー無く再生する際には、同期を取ることが必須である。
（ドットパターン印刷用付箋）
次に、上記実施例２−１〜２−２を実現するために用いるドットパターン印刷用紙について説明する。

同図のドットパターン印刷用紙は、上記実施例１−１〜１−３と同様、ドットパターン印刷用付箋として構成されている。

本実施例におけるドットパターン印刷用付箋は、外観は上記実施例１−１〜１−３で用いるもの、すなわち図１５と同様であるが、一部、本実施例に特有の機能を有している。

以下、実施例１−１〜１−３と異なる機能についてのみ説明する。

本実施例の「消去」アイコンを音声情報の再生中または、再生終了後２秒以内にタッチすると、スマホに「消去する場合は、再度ゴミ箱をタッチすると音声全部が消去されます。」とメッセージを表示する。または、ペン型デバイスに音声情報が記録された場合は、同様のメッセージが音声再生される。3秒以内に、再度、タッチすると音声情報が消去される。3秒以上、タッチしないと、待機状態になる。自己のスマホ、PCに同様なアイコンを設けてタッチパネルやマウスで操作してもよい。他の軌跡情報関連の機能も、自己のスマホ、PCに記録される場合、同様なアイコンを設けて、タッチパネルやマウス操作でスマホやPCで操作してもよい。もちろん、相手方スマホ、PCでも同様な操作ができるようにしてもよい。

「録音」アイコンをタッチすると、相手方のスマホ、PCに音声情報を送信する際に、経由する自己のスマホ、PCか、録音機能付きペンで録音を開始する。録音中に再度タッチすると、録音は終了する。録音中に、他のアイコンをタッチすると、録音は終了され、タッチしたアイコンの操作処理が実行される。既に音声ファイルが存在する場合は、追加して音声ファイルが生成される。他のアイコンをタッチすると、タッチしたアイコンの操作処理が実行されるが、その操作状況がリアルタイムで送信される。なお、録音しなくても、相手方のスマホ、PCに音声情報が自動的に送信される。

「送信」アイコンをタッチすると、相手先スマホ、PCに、当該ページに手書きされた軌跡情報と音声情報が送信される。送信先のアドレス、電話番号は、ペン型デバイスか自己のスマホで設定する。ペン型デバイスで直接送信する場合は、専用のドットが重畳印刷されたペーパーキーボードやアドレス帳をタッチすることにより設定する。ペーパーキーボードやアドレス帳は、例えば、図５、図８〜図１０、および対応する明細書の説明中で示したものである。

また、ユーザが書き込み領域に図や文字等の書き込みを行うと、手書きされた軌跡情報が、ペン型デバイスから直接か、または自己のスマホ、PCを経由して、相手方スマホ、PCに送信され双方に記録される。
なお、本実施例では、相手方のスマホ、PCに情報を送信するためにドットパターン印刷付箋を使用している。しかし、これに限らず、簡単な文書や図を描いて、自分のメモとして、または、相手方が、受信したドットパターン印刷付箋の音声情報や軌跡情報をデジタル化してスマホやPCに記録することにより、過去の情報を容易に記録・整理・活用できる。なお、本実施例は、ドットパターン印刷付箋である必要もなく、手帳などに同様な機能を搭載してもよいことは勿論である。

次に、図２２〜図２３を用いて、実施例２における、ペン型デバイス、自己のスマホ・PC、相手方のスマホ・PCの動作について説明する。

図２２は、実施例２−１における動作を説明するフローチャートである。

ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。

ペンにおいて、撮像手段がドットパターンを撮像し、認識手段が、その軌跡を認識して、軌跡情報を取得する。ペンは、取得した軌跡情報を無線または有線で自己のスマホに送信する（ステップＳ１９０１）。すると、自己のスマホは、軌跡情報を受信して（ステップＳ１９０４）、相手先のスマホに送信する（ステップＳ１９０６）。相手先のスマホは、軌跡情報を受信する（ステップＳ１９６）。

一方、自己のスマホは、ユーザの音声情報を取得する。そして、音声情報を相手先のスマホに送信する（ステップＳ１９０３）。相手先のスマホは、音声情報を受信する（ステップＳ１９０７）。

相手先のスマホは、受信した音声情報をスピーカから出力し、受信した軌跡情報をディスプレイに表示する（ステップＳ１９０９）。

図２３は、実施例２−２における動作を説明するフローチャートである。

ユーザは、ペンを用いて、ドットパターン印刷用付箋等に手書き入力を行う。また、それと同時に、あるいはその直前または直後に、音声を発声する。例えば、ドットパターン印刷用付箋に地図を描き、音声で、「○○線○○駅南口改札を出て、直進します。２つめの交差点を左折し、２ブロック直進して、２つめの交差点を右折して、１つめの交差点を左折すると、右手に自宅が見えます。」と説明する。

ペンにおいて、撮像手段がドットパターンを撮像し、認識手段が、その軌跡を認識して、軌跡情報を取得する。ペンは、取得した軌跡情報を無線または有線で相手先のスマホに送信する（ステップＳ２００２）。すると、相手先のスマホは、軌跡情報を受信する（ステップＳ２００５）。また、ユーザが発声した音声情報を取得して、相手先のスマホに送信する（ステップＳ２００４）。すると、相手先のスマホは、軌跡情報を受信する（ステップＳ２００６）。

相手先のスマホは、受信した音声情報をスピーカから出力し、受信した軌跡情報をディスプレイに表示する。
＜実施例３＞（スマートノート）
次に、上記実施例１−１〜１−３、２−１〜２−２を実現するために用いるドットパターン印刷用紙の他の例について、図２４を用いて説明する。

同図のドットパターン印刷用紙は、ノートとして構成されており、以下「スマートノート」と呼ぶ。本実施例は、教育関連の講義・練習ノートや一般人が使用する手帳・ノートとして、軌跡情報、音声情報の記録機能および、自己または相手方スマホ、PCに送信された情報を再生・閲覧する機能を説明している。軌跡情報、音声情報の送受信方法には、前述したドットパターン印刷用付箋の実施例と同様であり、同様な送信アイコンを設けてもよい。なお、スマートノートに配置されたアイコンは、スマホ、PCの操作画面に同様なアイコンを配置して、タッチパネルやマウスで操作してもよい。

スマートノートは、書き込み領域とアイコン領域から構成されている。

書き込み領域は、ユーザが文書や図を描くための領域である。

アイコン領域は、ユーザが種々の操作を行うためのアイコンが印刷された領域である。本実施例では、スマートノートの上部と下部にアイコン領域が形成されている。アイコンの機能は、上部は左から、消去、開始、終了、再生、倍速、一時停止、戻る、送る、制御バー、リンク用、下部は左から、大きさ、色、消しゴム、消去表示、表示、ＭＰ４、ＪＰＥＧ、リンク、リンク消去である。

「消去」アイコンは、当該ページの軌跡情報を全消去するためのアイコンである。ディスプレイに確認画面が出て、指でタッチするか、ペンの○ボタンを押して消去する。本来は、安全のため、指タッチのみにしたいが、教室でタブレットから離れているところで、データを消去したい場合があるので、ペンでの削除操作も有効にする。但し、タブレットで確認が表示された場合にのみ、ペンの○ボタンによる消去を有効とする。さらに、消去した軌跡情報をスマホ、PCで復旧できるようにする。

「開始」アイコンは、音声録音を開始するためのアイコンである。再度録音アイコンか終了アイコンをタッチすると、録音が終了する。他のアイコンをタッチすると、録音を終了し、そのアイコン操作が実施される。音声ファイル・軌跡ファイルはいくつでも作成することができる。

「終了」アイコンは、操作を終了するためのアイコンである。音声録音中にタッチすると、録音が終了される。録音中以外で終了アイコンをタッチすると表示範囲の最終の軌跡情報を表示する。

「再生」アイコンは、操作を再生するためのアイコンである。本アイコンをタッチすると、現在の状態（一時停止状態含む）から実時間再生される。軌跡が描かれていない空隙時間は、全て飛ばす（設定画面で飛ばさないモードも設定可能とする）。ただし、録音再生時の実時間再生では、空隙時間は飛ばさない。表示範囲の最後の画像が表示されている場合は、先頭から実時間再生する。一時停止中（ストローク移動後も含む）や高速再生時には、その位置から実時間再生する。さらにタッチすると、２倍、４倍、８倍、１６倍の速度で再生される。

「倍速」アイコンは、倍速で再生するためのアイコンである。本アイコンをタッチすると、先頭から４倍速で高速再生される。軌跡が描かれていない空隙時間は、全て飛ばす。さらに、タッチすると、８倍、１６倍の速度で再生される。

「一時停止」アイコンは、一時停止をするためのアイコンである。一時停止中（ストローク移動後も含む）は、一時停止位置から、一時停止前の速度で再生する。一時停止して他のページをタッチしても、一時停止状態は保存される。なお、一時停止中にも書き込みが可能であり、その軌跡情報は、その位置から挿入され、再生時に反映される。一時停止中に他のページに移動して戻った場合は、一時停止時の画面を表示する。書き込み中に、一時停止をタッチし、実時間再生を行うと、書き終えた位置から再生される。

「戻る」アイコンは、軌跡情報の表示中に、１ストローク戻すためのアイコンである。

「送る」アイコンは、軌跡情報の表示中に、１ストローク送るためのアイコンである。

「制御バー」アイコンは、表示範囲を制御するためのアイコンであり、さらに、左から、左向きの三角形が描かれたアイコン（以下「左端のアイコン」）、時間経過バー、右向きの三角形が描かれたアイコン（以下「右端のアイコン」）、とから構成されている。左端のアイコンをタッチすると、表示範囲の先頭状態が表示される。表示範囲が初期状態の場合、問題や講義内容、説明書などが背景にある場合は、当該背景が表示される。時間経過バーをタッチすると、タッチした位置までの画像が表示される。タッチしてペン型デバイスを当接させた状態のまま、時間経過バー上でペン型デバイスを移動させていくと、次々と移動位置までの軌跡情報が表示される。なお、再生中に他のページに移動し、戻った場合は、表示範囲の最後の画像が表示される。一時停止中に他のページに移動して戻った場合は、一時停止時の画面を表示する。

「リンク用」アイコンは、画像や動画がリンク設定されているアイコンである。本アイコンをタッチすると、リンク設定された画像・動画を表示する。当該画像・動画にも上書き・録音できる。リンク用アイコンは、シールなどで構成し、追加してノートに貼り付けるようにしてもよい。

「大きさ」アイコンは、ペンおよび消しゴムの大きさを決定・変更するためのアイコンである。ペンおよび消しゴムの大きさはページ毎に記録されない。最後に使用した情報が保存される。但し、消しゴムの場合は、他のページに移動した場合は、ペンが自動設定され、前回に使用したペン情報が採用される。

「色」アイコンは、ペンおよび消しゴムの色を決定・変更するためのアイコンである。ペンおよび消しゴムの色はページ毎に記録されない。最後に使用した情報が保存される。但し、消しゴムの場合は、他のページに移動した場合は、ペンが自動設定され、前回に使用したペン情報が採用される。

「消しゴム」アイコンは、手書き中に軌跡や領域を消去するためのアイコンである。大きさはペンの太さで選択する。大きさを選択しなければ、前回消しゴムで使用した大きさとなる。消している最中は黄色の円が表示されるが、なぞった軌跡情報は表示されない。

「消去表示」アイコンは、消去した軌跡や領域を表示するためのアイコンである。消去した軌跡はそのまま表示され、なぞった消しゴム跡は黄色半透明で表示される。なお、消しゴム状態から、ペンを選択した場合は、以前に選択されたペンの色、サイズが選択される。

「表示」アイコンは、非表示を解除し、全ての軌跡情報を表示するためのアイコンである。

「非表示」アイコンは、現在、表示されている軌跡情報を非表示とし、その範囲以外が表示範囲となる反転表示機能のためのアイコンである。表示範囲となった範囲のみ再生・挿入・追加操作ができる。後半を表示させる場合は、先頭から再生し所定の位置で一時停止し、OFFにして再生すればよい。前半を表示させる場合は、前半を非表示にして、後半のみを表示させた後にOFFにすればよい。表示範囲はページ毎に保存される。

「ＭＰＥＧ４」アイコンは、動画ファイルを生成するためのアイコンである。本アイコンをタッチすると設定画面が現れ、スマホ、PCのどこのホルダーに記録するかを設定し、下記（１）〜（３）のいずれかを選択する。タッチパネルやマウスで実行・中止を選択するか、または、ペン○ボタンで記録開始する。記録を開始すると、スマートノート画面に戻り、動画が記録される。なお、動画記録中に、記録を終了する際には、再度、MP4アイコンをタッチする。その場合、終了するまでの動画ファイルが生成される。動画はMP4以外のフォーマットを使用してもよい。
（１）軌跡、録音、再生等の全ての操作を実時間で動画化する。
（２）当該ページの軌跡、音声情報を全て動画化する。
（３）表示範囲の軌跡、音声情報のみを動画化する。
表示範囲にまたがる音声情報は録音先頭から再生させ、表示範囲に入ったら、動画記録する。MP4等の一般的な動画にした場合、本スマートノートのアプリが搭載されなくても、どのスマホ、PCでも閲覧することができ利便性が高まる。

「ＪＰＥＧ」アイコンは、表示中の軌跡情報を記録するためのアイコンである。本アイコンをタッチすると、記録先ホルダーが表示され、どこに記録するかを設定する。指タッチで実行・中止を選択するか、または、ペン○ボタンで記録する。

「リンク」アイコンは、リンク設定を実施するためのアイコンである。リンク設定とは、上述したリンク用アイコンに印刷されたドットパターンと、画像・動画とを関連づける処理である。処理は、スマホ、PCで全て実施する。

「リンク消去」アイコンは、リンク画像の表示を消去するためのアイコンである。

＜実施例4＞
実施例４は、手書きペンの送信データフォーマットについて説明するものである。

手書きペンと自己のスマホ、PCとの無線通信や、相手方スマホ、PCとの無線通信には、Bluetooth（登録商標）、BLE、WIFI、RF、各種電話回線等、様々な方式がある。

手書きを実現するには、フレームレートとして、文字では１秒間に１００回以上、図や絵などでは、１秒間に１５０回以上の座標値からなる軌跡情報が必要とされる。昨今、スマホに標準搭載されているBluetooth（登録商標） 4.0規格の一部であるBLEによる、データ送受信が広く使用されている。BLEは極めて高い省電力性を有するが、最大で1Mbpsのデータ通信ししかできないため、軌跡情報の送信は最小限に抑える必要がある。

本発明では、ペンを書き込み領域にタッチした瞬間のみ、撮像したドットパターンをドットコード解析して、１つのフォーマットに定義されたコード値とXY座標を読み取り、下記に示す書き込み領域を特定する領域特定コードと共に軌跡情報を出力（8Byte）する。これにより、軌跡情報を書き込み領域/ページ毎に容易に管理することができ、所定の書き込み領域/ページを指定して、手書きされた当該軌跡情報のみを表示・編集・送信することが可能となる。さらに、軌跡情報を最小限に抑えるため、ペンを書き込み領域にタッチした後は、同一書き込み領域/ページでストロークを描いていることから、領域特定コードやステータスコードを出力する必要はない。そこで、XY座標値による軌跡情報のみを出力（4Byte）して大幅に送信情報量の低減を実現している。これにより、BLEによる必要なフレームレートの軌跡情報の送信が可能となった。なお、ステータスコードは、ペンダウン/ペンアップや、書き込み領域か否か、手書きペンのボタン情報、エラー情報等、様々な情報が出力される。

（１） XY座標
8byte:ペンダウン時の送信フォーマット
0 0Xff：ヘッダー(1)
1 0xFD：ヘッダー(2)、送信時にデータの区切りを示すためのヘッダー。ペンをタッチした瞬間に1回だけ読み取るため、送信時のデータの区切りの誤認がないように、2byteを使用する。
2 ステータスコード
3 領域特定コード(1):8bit
4 領域特定コード(2) :8bit
領域特定コード16bit、約6500書き込み領域/ページを指定できる。XY座標値は、1bitで2mmを定義できることから、現状では、XY座標は各8bitであり、 512×512mm四方の領域が１つの書き込み領域となっている。ポストイットのように、書き込み領域が小さい場合は、XY座標値の範囲を小さくして、領域特定コードを増やすことができる。64×64mm四方の書き込み領域であれば、XY座標は、各5bit、合計10bitで定義できる。その結果、6bitを領域特定コードに加えることができ、22bitで、約420万書き込み領域/ページを指定できる。
5 X座標：8bit
6 Y座標：8bit
7 小数点以下のXY座標：小数点以下のbit(4bit×2)、XY座標値は、1bitで2mmを定義されているため、精度が低いことから、補間計算により2mm/16=0.125mmまで精度を確保している。

4byte:ペンダウン中の送信フォーマット
0 0Xff：送信時にデータの区切りを示すためのヘッダー。万一、へッダーを誤認識しても、１秒間に100回以上を送信しているので、次回のヘッダーを読み取れば、1個分のデータが欠落しても問題ないため、1byteのみとしている。
1 X座標：8bit
2 Y座標：8bit
3 小数点以下のXY座標：小数点以下のbit(4bit×2)

下記は、実施例１，２で示したドットパターン印刷付箋や、実施例３で示したスマートノートなどのアイコンに重畳して形成されたドットパターンをペンで読み取った際に出力されるコード値のフォーマットである。下記のアイコンに対応するオペレーションコードは32bitを有しており、約40億種類までの操作指示やコンテンツに対応付けすることができる。
（２） コード値（8バイト送信）
0 0xFF：ヘッダー(1)
1 0Xfd：ヘッダー(2)、送信時にデータの区切りを示すためのヘッダー。ペンをタッチした瞬間に1回だけ読み取るため、送信時のデータの区切りの誤認がないように、2byteを使用する。
2 ステータスバイト
3 オペレーションコード(1)
4 オペレーションコード(2)
5 オペレーションコード(3)
6 オペレーションコード(4)
7 回転角（2度単位：±1度）0〜179（0度±1度〜358度±1度）
0度（回転コード0）は359度以上〜1度未満、2度（回転コード1）は1度以上〜3度未満、358度（回転コード179）は357度以上〜359度未満となり、2度毎に回転コードを送信する。ペンでタッチして、紐付けされたコンテンツを出力する場合、ペンを回転させて音声やコンテンツを変化させたり、画像を360度閲覧する時等、回転角によって異なる情報取得・出力を可能にする。

なお、上述した実施例は、一例であり、要旨を変更しない範囲で種々変更できることは勿論である。また、各実施例は、自由に組合せ、かつ、選択的に使用できるものである。

本発明にかかるペン型デバイスは、電話操作が苦手な障害者や高齢者にとっても容易に利用可能なものであるため、福祉分野への産業上の利用可能性が考えられる。

もちろん、あらゆる人々、あらゆる分野への利用可能性がある。

Claims (32)

1. ドットパターンが形成された媒体上で軌跡を描くための手書き装置であって、
   座標値およびコード値、またはコード値が定義された前記ドットパターンを撮像する撮像手段と、
   前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡を含む情報および/またはコード値を出力する解析手段と、
   前記情報およびコード値の少なくともいずれかを情報処理装置に送信する送信手段と、を備え、
   前記ドットパターンが形成された媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、
   前記解析手段は、前記手書き装置が前記書き込み領域にタッチされペンダウン状態となったときに、前記情報に前記領域特定コードを含めて出力し、該領域特定コードを取得した後、ペンダウン状態が解除されるまでの間は、該領域特定コードを除いて前記情報を出力する、手書き装置。
   
2. 音声情報を取得する音声取得手段をさらに備え、
   前記送信手段は、前記音声情報、前記情報およびコード値の少なくともいずれかを前記情報処理装置に送信する、
   請求項１に記載の手書き装置。
   
3. 前記情報処理装置は音声情報を取得する、請求項１に記載の手書き装置。
   
4. 前記手書き装置または前記情報処理装置は、前記情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段を
   さらに備える、請求項２または３に記載の手書き装置。
   
5. 前記情報処理装置は、第三者が使用する相手方情報処理装置である、
   請求項１〜４のいずれかに記載の手書き装置。
   
6. 前記情報処理装置は、自己が使用する情報処理装置であって、
   前記送信手段は、前記情報処理装置を経由して、第三者が使用する相手方情報処理装置に前記情報およびコード値の少なくともいずれかを送信する、
   請求項１〜５のいずれかに記載の手書き装置。
   
7. 前記情報で、前記相手方情報処理装置を特定する、
   請求項５または６に記載の手書き装置。
   
8. 前記情報を記憶する記憶手段を、前記手書き装置または前記情報処理装置のいずれかに、
   さらに備え、
   前記情報処理装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記情報をファイルにして送信する、請求項１〜７のいずれかに記載の手書き装置。
   
9. 前記記憶手段は、さらに音声情報を記憶し、
   前記情報処理装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記情報の少なくともいずれかを前記ファイルにして送信する、
   請求項８に記載の手書き装置。
   
10. 内蔵されるかまたは外部に接続され、少なくとも前記情報を表示する表示手段を、前記手書き装置および前記情報処理装置の少なくともいずれかに、
    さらに備える、請求項１〜９のいずれかに記載の手書き装置。
    
11. 前記表示手段は、前記情報に音声情報を同期させて出力する、
    請求項１０に記載の手書き装置。
    
12. 受信した音声情報を出力する音声出力手段を、前記手書き装置および前記情報処理装置の少なくともいずれかに、
    さらに備える、請求項１〜１１のいずれかに記載の手書き装置。
    
13. 前記相手方情報処理装置からの音声情報を受信する音声受信装置を、前記手書き装置または前記情報処理装置の少なくともいずれかに、
    さらに備える、請求項５〜７のいずれかに記載の手書き装置。
    
14. 前記相手方情報処理装置からの情報を受信する情報受信装置を、前記手書き装置または前記情報処理装置の少なくともいずれかに、
    さらに備える、請求項５〜７、１３のいずれかに記載の手書き装置。
    
15. 受信した前記情報に対して、前記手書き装置でさらに描いた情報を、前記相手方情報処理装置または前記情報処理装置に送信する、
    請求項１４に記載の手書き装置。
    
16. 前記情報処理装置は、スマホまたはPCである、請求項１〜１５のいずれかに記載の手書き装置。
    
17. 前記相手方情報処理装置は、スマホまたはPCである、請求項５〜７のいずれかに記載の手書き装置。
    
18. 座標値およびコード値、またはコード値が定義されたドットパターンを撮像する撮像手段と、
    前記撮像手段により撮像された前記ドットパターンをコード解析することにより、少なくとも前記座標値から求まる座標情報の履歴からなる軌跡を含む情報および/またはコード値を出力する解析手段と、
    前記情報およびコード値の少なくともいずれかを、情報処理装置に送信する送信手段と、を備え、
    前記ドットパターンが形成された媒体上で軌跡を描くための手書き装置と、
    前記情報処理装置と、
    からなる、手書き通信システムであって、
    前記媒体の書き込み領域には、前記座標値およびコード値が定義され、該コード値には該書き込み領域を特定する領域特定コードを有し、前記解析手段は、前記手書き装置が前記書き込み領域にタッチされペンダウン状態となったときに、前記情報に該領域特定コードを含めて出力し、該領域特定コードを取得した後、ペンダウン状態が解除されるまでの間は、該領域特定コードを除いて前記情報を出力する、
    手書き通信システム。
    
19. 前記情報処理装置は、さらに音声情報を取得する、
    請求項１８に記載の手書き通信システム。
    
20. 前記手書き装置または前記情報処理装置の少なくともいずれかは、前記情報に時間経過を定義する情報を付加して前記音声情報と同期を取る同期手段をさらに備える、請求項１９に記載の手書き通信システム。
    
21. 前記情報処理装置は、自己が使用する情報処理装置であって、
    前記送信手段は、前記情報処理装置を経由して、第三者が使用する相手方情報処理装置に前記情報およびコード値の少なくともいずれかを送信する、
    請求項１８〜２０のいずれかに記載の手書き通信システム。
    
22. 前記情報で前記相手方情報処理装置を特定する、請求項２１に記載の手書き通信システム。
    
23. 前記手書き装置または前記情報処理装置の少なくともいずれかは、前記情報を記憶する記憶手段をさらに備え、
    前記情報処理装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記情報をファイルにして送信する、請求項１８〜２２のいずれかに記載の手書き通信システム。
    
24. 前記記憶手段は、さらに音声情報を記憶し、
    前記情報処理装置に備えられた送信手段または前記送信手段は、前記記憶手段に記憶された前記音声情報および前記情報の少なくともいずれかを前記ファイルにして送信する、
    請求項２３に記載の手書き通信システム。
    
25. 内蔵されるかまたは外部に接続される、少なくとも前記情報を表示する表示手段を、前記手書き装置および前記情報処理装置の少なくともいずれかに、
    さらに備える、請求項１８〜２４のいずれかに記載の手書き通信システム。
    
26. 前記表示手段は、前記情報に音声情報を同期させて出力する、
    請求項２５に記載の手書き通信システム。
    
27. 前記情報処理装置は、受信した音声情報を出力する音声出力手段をさらに備える、請求項１８〜２６のいずれかに記載の手書き通信システム。
    
28. 前記情報処理装置は、前記相手方情報処理装置からの音声情報を受信する音声受信手段を
    さらに備える、請求項２１または２２に記載の手書き通信システム。
    
29. 前記情報処理装置は、前記相手方情報処理装置からの情報を受信する情報受信手段をさらに備える、請求項２１、２２、２８のいずれかに記載の手書き通信システム。
    
30. 前記手書き装置は、受信した前記情報に対して、該手書き装置でさらに描いた情報を、前記情報処理装置を経由して前記相手方情報処理装置に送信する、
    請求項２９に記載の手書き通信システム。
    
31. 前記情報処理装置は、スマホまたはPCである、請求項１８〜３０のいずれかに記載の手書き通信システム。
    
32. 前記相手方情報処理装置は、スマホまたはPCである、請求項２１または２２に記載の手書き通信システム。

Images