JP7257126B2 - 情報表示装置、電子ペン、表示制御方法、及び表示制御プログラム - Google Patents

Description

本発明は、情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムに関する。

従来、手書き入力を受け付けるタッチパネルを備える情報表示装置が普及している。このような情報表示装置は、指示体としてのペン又は指による手書き入力をタッチパネルが受け付けて、文字や図形を表す手書きの軌跡を表示する（例えば、特許文献１参照）。

特開２０１７－１５２０１８号公報

しかしながら、従来の情報表示装置において手書きの軌跡の表示態様を変更する場合、手書き入力の前又は後において、その手書きの軌跡の表示態様を変更するための入力操作をユーザが指示体により行う必要があり、操作が煩雑であるという問題がある。

また、表示態様を変更するための入力操作を受け付けるためのＧＵＩ（ウィンドウ、アイコン、ボタン等）を情報表示装置が表示する場合、このようなＧＵＩにより情報表示装置の限られた表示面積の一部が占有され、手書き入力の操作性がさらに悪化しうる。

そこで、本発明は、手書きの軌跡の表示態様を変更する際の操作性を向上させた情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムを提供することを目的とする。

第１の態様に係る情報表示装置は、指示体による手書き入力を受け付けるタッチパネルと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示部と、音声コマンドを含む音声入力を受け付ける音声入力部と、手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部が表示する文字又は図形の表示態様を変更するコントローラとを備える。前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。

第２の態様に係る電子ペンは、前記指示体として機能する。

第３の態様に係る表示制御方法は、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に用いる方法である。前記表示制御方法は、手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップとを備える。前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。

第４の態様に係る表示制御プログラムは、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に、手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップとを実行させる。前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。

本発明の一態様によれば、手書きの軌跡の表示態様を変更する際の操作性を向上させた情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムを提供できる。

一実施形態に係る情報表示装置の外観図である。 一実施形態に係る情報表示装置の機能構成を示すブロック図である。 一実施形態に係る電子ペンの外観図である。 一実施形態に係る電子ペンの機能構成を示すブロック図である。 一実施形態に係る手書き入力画面の一例を示す図である。 一実施形態に係る手書きの軌跡の表示態様を段階的に変更する一例を示す図である。 一実施形態に係る手書きの軌跡の表示態様を変更する一例を示す図である。 一実施形態に係る手書きの軌跡の表示態様を変更する他の例を示す図である。 一実施形態に係る手書き入力状態を示す図である。 一実施形態に係る情報表示装置及び電子ペンの動作フローの一例を示す図である。 一実施形態に係る情報表示装置及び電子ペンの動作フローの他の例を示す図である。

図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（情報表示装置の構成）
一実施形態に係る情報表示装置は、例えばスマートフォン端末又はタブレット端末のような端末とすることができる。しかしながら、情報表示装置はそのような端末に限定されるものではなく、例えば、パーソナルコンピュータ、電子黒板、又は車載情報表示装置等であってもよい。

図１は、一実施形態に係る情報表示装置１００の外観図である。

図１に示すように、情報表示装置１００は、タッチスクリーンディスプレイ１１０と、マイク１２０と、スピーカ１３０と、カメラ１４０とを有する。

タッチスクリーンディスプレイ１１０は、その表示面が情報表示装置１００の筐体１０１から露出して設けられる。タッチスクリーンディスプレイ１１０は、タッチパネル１１１と、表示部（ディスプレイ）１１２とを有する。

タッチパネル１１１は、情報表示装置１００への操作入力（タッチ入力）を受け付ける。タッチパネル１１１は、指示体としてのユーザの指又は電子ペン等のタッチを検出する。タッチを検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。タッチパネル１１１は、ユーザのタッチ入力を検出して、このタッチ入力で指示される位置の座標（タッチ座標）のデータをコントローラ１８０に出力する。

表示部１１２は、映像出力を行う。表示部１１２は、文字（記号を含む）、画像、図形等のオブジェクトを画面上に表示する。表示部１１２には、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが用いられる。

一実施形態に係るタッチスクリーンディスプレイ１１０において、表示部１１２はタッチパネル１１１と重なるように設けられており、表示部１１２の表示領域はタッチパネル１１１と重複している。しかしながら、表示部１１２及びタッチパネル１１１が互いに重なるように設けられることに代えて、表示部１１２及びタッチパネル１１１を並べて配置されてもよいし、離して配置されてもよい。

マイク１２０は、情報表示装置１００への音声入力を受け付ける。マイク１２０は、周囲の音声を集音する。

スピーカ１３０は、音声出力を行う。スピーカ１３０は、電話の音声や各種プログラムの情報等を音声で出力する。

カメラ１４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。カメラ１４０は、タッチスクリーンディスプレイ１１０に面している物体を撮影するインカメラである。情報表示装置１００は、さらに、タッチスクリーンディスプレイ１１０の反対側の面に面している物体を撮影するアウトカメラを備えていてもよい。

図２は、一実施形態に係る情報表示装置１００の機能構成を示すブロック図である。

図２に示すように、情報表示装置１００は、タッチパネル１１１と、表示部１１２と、音声入力部１２１と、音声出力部１３１と、カメラ１４０と、センサ１５０と、記憶部１６０と、通信インターフェイス１７０と、コントローラ１８０とを有する。

タッチパネル１１１は、検出された指示体でのタッチ操作に対応する信号をコントローラ１８０に入力する。また、タッチパネル１１１は、後述する手書き入力アプリケーションの実行中において、電子ペンによる手書き入力を受け付ける。

表示部１１２は、コントローラ１８０から入力された信号に基づいて、文字、画像、図形等のオブジェクトを画面上に表示する。また、表示部１１２は、手書き入力アプリケーションの実行中において、タッチパネル１１１が入力を受け付けた手書きの軌跡（例えば、文字や図形）を表示する。

音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１８０に入力する。音声入力部１２１は、上記のマイク１２０を含む。また、音声入力部１２１は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線又は有線で接続される。入力インターフェイスに接続されるマイクは、例えば情報表示装置１００に接続可能なイヤホン等に備えられるマイクである。一実施形態において、外部のマイクは、電子ペンに設けられている。

音声出力部１３１は、コントローラ１８０から入力された信号に基づいて、音声を出力する。音声出力部１３１は、上記のスピーカ１３０を含む。また、音声出力部１３１は、外部のスピーカを接続可能な出力インターフェイスであってもよい。外部のスピーカは無線又は有線で接続される。出力インターフェイスに接続されるスピーカは、例えば情報表示装置に接続可能なイヤホン等に備えられるスピーカである。

カメラ１４０は、撮像した画像を電子信号に変換してコントローラ１８０に入力する。

センサ１５０は、情報表示装置１００に加わる加速度又は振動を検出し、検出結果に対応する検出信号をコントローラ１８０に出力する。センサ１５０は、加速度センサを含む。加速度センサは、情報表示装置１００に加わる加速度の方向及び大きさを検出する。

記憶部１６０は、プログラム及びデータを記憶する。記憶部１６０は、コントローラ１８０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１６０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。

また、記憶部１６０は、複数の種類の記憶媒体を含んでよい。記憶部１６０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

記憶部１６０に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。

記憶部１６０に記憶されるプログラムには、手書き入力アプリケーションが含まれる。手書き入力アプリケーションは、電子ペンによる手書き入力をタッチパネル１１１が受け付けて、手書きの軌跡（例えば、文字や図形）を表示部１１２に表示させるアプリケーションである。

一実施形態において、手書き入力アプリケーションは、音声入力部１２１により取得された音声データに対する音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部１６０に予め登録されている。

通信インターフェイス１７０は、無線により通信する。通信インターフェイス１７０によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラー通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。

コントローラ１８０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。また、コントローラ１８０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等を含み、表示部１１２に各種の画像を描画する。コントローラ１８０は、情報表示装置１００の動作を統括的に制御して各種の機能を実現する。

コントローラ１８０は、自機が外部機器と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ１８０は、通信インターフェイス１７０を介して外部機器と通信する。接続される外部機器は、例えば上記のイヤホンや、ヘッドセット、マイク付きの車載スピーカ、電子ペンである。但し、無線接続の通信規格、外部機器はともにこれらに限定されない。以下において、接続される外部機器が電子ペンである一例について説明する。

コントローラ１８０は、タッチパネル１１１が検出したタッチ操作等に応じて入力される信号に基づいて、各種制御を実行する。例えば、コントローラ１８０は、入力された信号に応じた出力を音声出力部１３１や表示部１１２等によって行う。また、コントローラ１８０は、情報表示装置１００の機能の実行や設定の変更を行う。

コントローラ１８０は、手書き入力アプリケーションの実行中において、ユーザがタッチパネル１１１を利用して手書き入力（タッチ入力）をすると、タッチ位置に対応するタッチ座標データをタッチパネル１１１から取得する。

ユーザは、電子ペンや指でタッチパネル１１１を操作する。タッチパネル１１１を用いた入力としては、タップ（短押し）、スライド（ドラッグ）、フリック、ロングタッチ（長押し）等がある。これらを「タッチ入力」又は単に「入力」と呼ばれることがある。

タッチパネル１１１をタッチしていない状態からタッチする状態に変化することをタッチオン（ペンダウン）といい、タッチパネル１１１をタッチしている状態からタッチしていない状態に変化することをタッチオフ（ペンアップ）という。継続的なタッチ入力であるスライドやフリックによる入力に対しては、タッチパネル１１１は、現在のタッチ位置に対応するタッチ座標データを短周期で出力してもよい。

タッチパネル１１１は、タッチオン（ペンダウン）からタッチオフ（ペンアップ）までの一連のタッチ位置に対応するタッチ座標データをコントローラ１８０に出力する。コントローラ１８０は、一連のタッチ座標データが示す手書きの軌跡を表示部１１２に表示させる。

（電子ペンの構成）
図３は、一実施形態に係る電子ペン２００の外観図である。

図３に示すように、電子ペン２００は、筐体２０１と、クリップ部２０２と、芯体２０３と、操作部２１０とを有する。

筐体２０１は、筒状に構成されている。クリップ部２０２は、電子ペン２００（筐体２０１）の上端側に設けられている。芯体２０３及び操作部２１０は、電子ペン２００（筐体２０１）の下端側に設けられている。操作部２１０は、指により押下されるボタンである。

図４は、一実施形態に係る電子ペン２００の機能構成を示すブロック図である。

図４に示すように、電子ペン２００は、操作部２１０と、マイク２２０と、スピーカ２３０と、センサ２４０と、記憶部２５０と、通信インターフェイス２６０と、コントローラ２７０とを有する。

操作部２１０は、検出された押下操作に対応する信号をコントローラ２７０に入力する。

マイク２２０は、周囲の音声を集音する。マイク２２０は、電子ペン２００への音声入力を受け付け、入力を受け付けた音声に対応する信号をコントローラ２７０に入力する。

スピーカ２３０は、音声出力を行う。スピーカ２３０は、電話の音声や各種プログラムの情報等を音声で出力する。スピーカ２３０は、コントローラ２７０から入力された信号に基づいて、音声を出力する。

センサ２４０は、電子ペン２００に加わる加速度、又は筆圧を検出し、検出結果に対応する検出信号をコントローラ２７０に出力する。センサ２４０は、加速度センサを含む。加速度センサは、電子ペン２００に加わる加速度の方向及び大きさを検出する。センサ２４０は、さらに、情報表示装置１００の角度及び角速度を検出するジャイロセンサを含んでいてもよい。

センサ２４０は、さらに筆圧センサを含む。筆圧センサは、芯体２０３（すなわち、ペン先）に加わる圧力を検出し、検出結果に対応する信号をコントローラ２７０に出力する。

記憶部２５０は、プログラム及びデータを記憶する。記憶部２５０は、コントローラ２７０の処理結果を一時的に記憶する作業領域としても利用される。記憶部２５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。

また、記憶部２５０は、複数の種類の記憶媒体を含んでよい。記憶部２５０は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部２５０は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

通信インターフェイス２６０は、無線により通信する。通信インターフェイス２６０によってサポートされる無線通信規格には、例えば、上記のセルラー通信規格や近距離無線の通信規格等がある。

コントローラ２７０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。コントローラ２７０は、電子ペン２００の動作を統括的に制御して各種の機能を実現する。

コントローラ２７０は、自機が情報表示装置１００と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ２７０は、通信インターフェイス２６０を介して情報表示装置１００と通信する。

コントローラ２７０は、操作部２１０が検出した押下操作等に応じて入力される信号に基づいて、各種制御を実行する。また、コントローラ２７０は、自機が情報表示装置１００と接続されている場合において、センサ２４０の検出結果に応じたデータを情報表示装置１００に送信する。

一実施形態において、コントローラ２７０は、音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部２５０に予め登録されていてもよい。

（手書き入力の動作）
図５は、手書き入力画面の一例を示す図である。情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションの実行中に、図５に示すような手書き入力画面をタッチスクリーンディスプレイ１１０（表示部１１２）に表示させる。

図５に示すように、手書き入力画面は、手書き入力領域Ｒ１と、ツールパレット領域Ｐ１と、カラーパレット領域Ｐ２とを有する。

手書き入力領域Ｒ１は、手書きの軌跡を表示する領域である。図５において、ユーザが電子ペン２００を用いて手書き入力を行う一例を示している。一般的に、ユーザは、例えばメモをとるために、電子ペン２００により文字を手書き入力領域Ｒ１に入力する。文字には、数字や記号も含まれる。或いは、ユーザは、例えばイラストを描画するために、電子ペン２００により図形を手書き入力領域Ｒ１に入力する。図形には、曲線や直線、円、多角形等が含まれる。

ツールパレット領域Ｐ１は、手書きの軌跡の太さ（線幅）を変更するためのボタンＢ１１乃至Ｂ１３と、直前の手書き入力をキャンセルする（元に戻す）ためのボタンＢ１４と、削除する箇所を指示体により指定する操作を行うための消しゴムボタンＢ１５とを表示する領域である。一方、カラーパレット領域Ｐ２は、黒、赤、青、緑、黄等の各色に対応するカラーボタンＢ２１乃至Ｂ２５を表示する領域である。

ユーザは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内のボタンを用いて、手書きの軌跡（文字や図形等）の線色及び線幅を選択したり、描画した図形又はその一部を構成する面（閉曲線）を所望の色で塗りつぶしたりする。このため、手書きの軌跡の表示態様（属性）を変化させる度に、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２等を用いて表示態様を選択及び変更する操作が必要になる。

一実施形態において、このような表示態様の変更を音声により可能にする。具体的には、一実施形態に係る情報表示装置１００において、音声入力部１２１は、音声コマンドを含む音声入力を受け付ける。

音声入力部１２１は、電子ペン２００のマイク２２０に入力される音声に応じた音声コマンドを含む音声データを電子ペン２００から取得することにより、音声入力を受け付けてもよい。電子ペン２００のマイク２２０を利用することにより、ユーザにより近い位置で音声を集音できる。また、情報表示装置１００が適切なマイクを有していない場合であっても、電子ペン２００のマイク２２０を用いて音声入力が可能になる。

電子ペン２００のマイク２２０を利用する場合、音声コマンドを認識する音声認識処理を情報表示装置１００のコントローラ１８０で行ってもよいし、音声認識処理を電子ペン２００のコントローラ２７０で行ってもよい。

或いは、音声入力部１２１は、情報表示装置１００のマイク１２０に入力される音声に応じた音声コマンドを含む音声データを取得することにより、音声入力を受け付けてもよい。すなわち、電子ペン２００のマイク２２０を用いることなく音声入力を行う。この場合、音声コマンドを認識する音声認識処理を情報表示装置１００のコントローラ１８０で行う。

音声コマンドは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内の各ボタンに対応するコマンドが定義されていてもよい。

例えば、ボタンＢ１１に対応する音声コマンドは「一番細い線に」、ボタンＢ１３に対応する音声コマンドは「一番太い線に」といったように、直接的なコマンドであってもよい。或いは、「もっと線を太く」という相対的な音声コマンドにより、ボタンＢ１１に対応する線幅からボタンＢ１２に対応する線幅に変更したり、ボタンＢ１２に対応する線幅からボタンＢ１３に対応する線幅に変更したり、ボタンＢ１３に対応する線幅からより太い線幅に変更してもよい。すなわち、情報表示装置１００のコントローラ１８０は、相対的な音声コマンドに基づいて、選択済みの表示態様を、選択済みの表示態様と同種の表示態様であって、かつ選択済みの表示態様とは別の表示態様に変更してもよい。

ボタンＢ１４に対応する音声コマンドは、「元に戻す」であってもよい。ボタンＢ１５に対応する音声コマンドは「消しゴム」であってもよい。

ボタンＢ２１乃至Ｂ２５については、対応する色を指定する音声コマンドとすることができる。例えば、「ペンを青に」、「ペンを赤に」といった音声コマンドであってもよい。或いは、「ペンを徐々に赤に」といった音声コマンドにより選択済みの色から赤色へのグラデーションを指定してもよい。或いは、「ペンを青から徐々に赤に」といった複数色の指定を含む音声コマンドにより青色から赤色へのグラデーションを指定してもよい。すなわち、情報表示装置１００のコントローラ１８０は、一または複数の同種の表示態様の指定、およびその他所定の音声コマンド（上記の例では、「徐々に」が該当する）を含む音声コマンドに基づいて、選択済みの表示態様または指定された表示態様から、同種の別の表示態様へ段階的に表示態様を変更してもよい。

コントローラ１８０は、手書き入力状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。ここで、表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。

これにより、手書きの軌跡の表示態様を変更する際に、ユーザは音声を発すればよく、当該変更のための入力操作を指示体により行う必要がないため、操作性を向上させることができる。

また、表示態様の変更を音声により可能にすることで、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２を不要とすることができるため、その分だけ手書き入力領域Ｒ１の面積を広げることができる。

さらに、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２に含まれていない高度な操作を音声により行うことも可能である。そのような高度な操作の例を図６乃至図８に示す。

図６は、手書きの軌跡の表示態様を段階的に変更する一例を示す図である。図６に示すように、手書き入力状態（具体的には、タッチ状態）において、「黄色からグリーンのグラデーションの線」という音声コマンドＣ１の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ１を認識し、手書きの軌跡の線色を黄色からグリーンに段階的に変更する。

図７は、手書きの軌跡の表示態様を変更する一例を示す図である。図７に示すように、手書きの軌跡Ｌ１が描画される。手書き入力状態において、「直線」という音声コマンドＣ２の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ２を認識し、手書きの軌跡Ｌ１を直線Ｌ２に変更する。

図８は、手書きの軌跡の表示態様を変更する他の例を示す図である。図８に示すように、手書きの軌跡Ｌ３が描画される。手書き入力状態において、「直角」という音声コマンドＣ３の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ３を認識し、手書きの軌跡Ｌ３を直角の線Ｌ４に変更する。

（手書き入力状態）
図９は、一実施形態に係る手書き入力状態を示す図である。

図９に示すように、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面に電子ペン２００がタッチしているタッチ状態を含む。

コントローラ１８０は、タッチ状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。これにより、手書き入力の最中に発された音声により手書きの軌跡の表示態様を変更できる。

例えば、タッチ状態において「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその色を赤に変更する。

また、タッチ状態において「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を一番太い線に変更する。

或いは、タッチ状態において、「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階太い線に変更する。その後、ペンアップ前に再度「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅をもう１段階太い線に変更する。このように、音声コマンドの入力を繰り返し受け付けると、コントローラ１８０は、手書きの軌跡を段階的に変更する。

その後、ペンアップ前に再度「もっと細く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階細い線に変更する。

これにより、手書き入力中に手書きの軌跡の線幅を段階的に変更できる。ここで、段階的な変更の際に、線幅を急激に変更するのではなく、線幅を徐々に変更してもよい。

或いは、タッチ状態において、線色が青であるときに、「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、青が強めの紫色）。

その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色をもう１段階赤に近づける（例えば、普通の紫色）。

その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、赤が強めの紫色）。

これにより、手書き入力中に手書きの軌跡の線色を段階的に変更できる。ここで、段階的な変更の際に、線色を急激に変更するのではなく、線色を徐々に変更し、青から赤へのグラデーションで描画してもよい。

或いは、文字入力中に、タッチ状態において「ここ大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、その前後の一定時間又は一定長の手書きの軌跡の色を赤に変更する又はハイライト（マーカ）を付してもよい。このような音声コマンドは、手書き入力中に前後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。

或いは、文字入力中に、タッチ状態において「ここまで大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、ペンダウンのタイミングｔ２から音声コマンドを認識したタイミングまでの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直前の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。

或いは、文字入力中に、タッチ状態において「ここから大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、音声コマンドを認識したタイミングからペンアップのタイミングｔ３までの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。

但し、「ここから大事」という音声コマンドの入力後、ペンアップ前に「ここまで大事」という音声コマンドが入力された場合、「ここから大事」という音声コマンドを認識したタイミングから「ここまで大事」という音声コマンドを認識したタイミングまでの手書きの軌跡を赤に変更する又はハイライトを付してもよい。

手書き入力状態は、タッチ状態の直後の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面から電子ペン２００が離れたタイミング（すなわち、ペンアップのタイミング）ｔ３から所定時間が経過するまでの間の非タッチ状態を含んでもよい。これにより、ペンアップの直後に発された音声により手書きの軌跡の表示態様を変更できる。

例えば、ペンアップの直後に、「元に戻す」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除してもよい。

或いは、ペンアップの直後に、「消しゴム」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除するモードを設定し、削除箇所を電子ペン２００が指定するためのマーク（又は消しゴムアイコン）を表示し、電子ペン２００により指定された箇所を削除してもよい。

或いは、ペンアップの直後に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の色を赤に変更する。

また、ペンアップの直後に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の線幅を一番太い線に変更する。

手書き入力状態は、タッチ状態の直前の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、表示面に電子ペン２００がタッチするタイミング（すなわち、ペンダウンのタイミング）ｔ２から所定時間前までの非タッチ状態を含んでもよい。これにより、ペンアップの直前に発された音声により手書きの軌跡の表示態様を変更できる。

例えば、ペンダウンの直前に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の色を赤にする。

また、ペンアップの直前に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の線幅を一番太い線にする。

（動作フローの一例）
図１０は、情報表示装置１００及び電子ペン２００の動作フローの一例を示す図である。なお、情報表示装置１００と電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。

図１０に示すように、ステップＳ１０１において、情報表示装置１００のコントローラ１８０は、音声認識処理を開始する。音声認識処理を開始することにより、手書き入力状態において所定の音声コマンドを認識可能になる。

情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されたことに応じて音声認識処理を開始してもよい。これにより、適切なタイミングで音声認識処理を開始できる。

或いは、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。ユーザは、音声コマンドに対応する音声を発する前に電子ペン２００の操作部２１０を押下する。これにより、より適切なタイミングで音声認識処理を開始できる。

情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。或いは、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つタッチパネル１１１がタッチ入力（ペンダウン）を検出したことに応じて、音声認識処理を開始してもよい。これにより、ユーザが電子ペン２００の操作部２１０を押下しなくても、適切なタイミングで音声認識処理を開始できる。

ステップＳ１０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。

ステップＳ１０３において、電子ペン２００のコントローラ２７０は、電子ペン２００のマイク２２０から入力された音声データを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００に送信する。情報表示装置１００の音声入力部１２１は、電子ペン２００から音声データを取得することにより音声入力を受け付け、この音声データを情報表示装置１００のコントローラ１８０に出力する。

ステップＳ１０４において、情報表示装置１００のコントローラ１８０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。

音声コマンドが含まれている場合、ステップＳ１０５において、情報表示装置１００のコントローラ１８０は、当該音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。

なお、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが終了されたことに応じて、音声認識処理を終了する。

或いは、情報表示装置１００のコントローラ１８０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、コントローラ１８０は、操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。

或いは、情報表示装置１００のコントローラ１８０は、タッチ状態において音声認識を有効としてもよい。この場合、情報表示装置１００のコントローラ１８０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。或いは、情報表示装置１００のコントローラ１８０は、タッチパネル１１１がペンアップを検出したことに応じて、音声認識処理を終了してもよい。

図１１は、情報表示装置１００及び電子ペン２００の動作フローの他の例を示す図である。なお、情報表示装置１００と電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。ここでは、図１０に示す動作との相違点について主として説明する。

図１１に示すように、ステップＳ２０１において、電子ペン２００のコントローラ２７０は、音声認識処理を開始する。

電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されたことを情報表示装置１００から通知された際に、音声認識処理を開始してもよい。或いは、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。

ステップＳ２０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。

ステップＳ２０３において、電子ペン２００のコントローラ２７０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。

音声コマンドが含まれている場合、ステップＳ２０４において、電子ペン２００のコントローラ２７０は、当該音声コマンドに対応するデータを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００に送信する。情報表示装置１００の音声入力部１２１は、電子ペン２００から音声コマンドに対応するデータを取得することにより音声入力を受け付け、音声コマンドに対応するデータを情報表示装置１００のコントローラ１８０に出力する。

ステップＳ２０５において、情報表示装置１００のコントローラ１８０は、音声入力部１２１から入力された音声コマンドに対応するデータに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。

なお、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが終了されたことを情報表示装置１００から通知された際に、音声認識処理を終了してもよい。

或いは、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。

或いは、電子ペン２００のコントローラ２７０は、タッチ状態において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。

（その他の実施形態）
上記の実施形態において、電子ペン２００が情報表示装置１００に収納可能である場合について特に触れなかったが、情報表示装置１００に電子ペン２００の収納部が設けられ、電子ペン２００が情報表示装置１００に収納可能であってもよい。

情報表示装置１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１００ ：情報表示装置
１０１ ：筐体
１１０ ：タッチスクリーンディスプレイ
１１１ ：タッチパネル
１１２ ：表示部
１２０ ：マイク
１２１ ：音声入力部
１３０ ：スピーカ
１３１ ：音声出力部
１４０ ：カメラ
１５０ ：センサ
１６０ ：記憶部
１７０ ：通信インターフェイス
１８０ ：コントローラ
２００ ：電子ペン
２０１ ：筐体
２０２ ：クリップ部
２０３ ：芯体
２１０ ：操作部
２２０ ：マイク
２３０ ：スピーカ
２４０ ：センサ
２５０ ：記憶部
２６０ ：通信インターフェイス
２７０ ：コントローラ

Claims (15)

1. 指示体による手書き入力を受け付けるタッチパネルと、
   前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示面を有する表示部と、
   音声コマンドを含む音声入力を受け付ける音声入力部と、
   前記指示体が前記タッチパネルを離れた後、前記表示面に前記指示体がタッチするタイミングから所定時間前までに前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部が表示する文字又は図形の表示態様を変更するコントローラと、を備え、
   前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
   情報表示装置。
2. 前記指示体は、マイクを有しており且つ前記情報表示装置と通信可能な電子ペンであり、
   前記音声入力部は、前記マイクに入力される音声に応じた音声コマンドを含む音声データを前記電子ペンから取得することにより、前記音声入力を受け付ける
   請求項１に記載の情報表示装置。
3. 前記コントローラは、前記表示面から前記指示体が離れたタイミングから所定時間が経過するまでに受け付けた音声コマンドに応じて、前記手書きの文字又は図形を削除する
   請求項１に記載の情報表示装置。
4. 前記コントローラは、手書き入力アプリケーションが起動されたことに応じて、前記音声入力部が受け付けた音声入力に含まれる音声コマンドを認識するための音声認識処理を開始する
   請求項１乃至３のいずれか１項に記載の情報表示装置。
5. 前記コントローラは、前記手書き入力アプリケーションが終了されたことに応じて、前記音声認識処理を終了する
   請求項４に記載の情報表示装置。
6. 前記指示体は、操作部を有しており且つ前記情報表示装置と通信可能な電子ペンであり、
   前記コントローラは、前記手書き入力アプリケーションが起動されており、且つ前記操作部に対して第１の操作がなされたことに応じて、前記音声認識処理を開始する
   請求項４又は５に記載の情報表示装置。
7. 前記コントローラは、前記操作部に対して第２の操作がなされたことに応じて、前記音声認識処理を終了する
   請求項６に記載の情報表示装置。
8. 前記指示体は、筆圧センサを有しており且つ前記情報表示装置と通信可能な電子ペンであり、
   前記コントローラは、前記手書き入力アプリケーションが起動されており、且つ前記筆圧センサが圧力を検出したことに応じて、前記音声認識処理を開始する
   請求項４又は５に記載の情報表示装置。
9. 前記コントローラは、前記筆圧センサが圧力を検出しなくなったことに応じて、前記音声認識処理を終了する
   請求項８に記載の情報表示装置。
10. 請求項１乃至９のいずれか１項に記載の指示体として機能する
    電子ペン。
11. 筆圧センサを有する電子ペンによる手書き入力を受け付けるタッチパネルと、
    前記電子ペンから前記筆圧センサが検出した圧力を受信する通信インターフェイスと、
    前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示部と、
    音声コマンドを含む音声入力を受け付ける音声入力部と、
    前記電子ペンが前記タッチパネルを離れた後、手書き入力アプリケーションが起動されており、且つ前記筆圧センサが検出した圧力に応じて音声認識処理を開始し、当該音声認識処理を受け付けた音声コマンドに応じて、前記表示部が表示する文字又は図形の表示態様を変更するコントローラ
    と、を備え、
    前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
    情報表示装置。
12. 指示体による手書き入力を受け付けるタッチパネルと表示面を有する表示部を備える情報表示装置に用いる表示制御方法であって、
    前記指示体が前記タッチパネルを離れた後、前記表示面に前記指示体がタッチするタイミングから所定時間前までに音声コマンドを含む音声入力を受け付ける音声入力ステップと、
    前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、
    前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップと、を備え、
    前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
    表示制御方法。
13. 指示体による手書き入力を受け付けるタッチパネルと表示面を有する表示部を備える情報表示装置に、
    手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、
    前記音声入力に含まれる前記音声コマンドを認識するための音声認識処理を行うステップと、
    前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、
    前記音声認識処理を行うステップで認識した前記音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップと、を実行させ、
    前記音声認識処理を行うステップは、
    手書き入力アプリケーションが起動されたことに応じて、前記音声認識処理を開始するステップと、
    前記手書き入力アプリケーションが終了されたことに応じて、前記音声認識処理を終了するステップと、を含み、
    前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
    表示制御プログラム。
14. 筆圧センサを有する電子ペンによる手書き入力を受け付けるタッチパネルと、前記電子ペンから前記筆圧センサが検出した圧力を受信する通信インターフェイスと、前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示部と、を有する情報表示装置に用いる表示制御方法であって、
    音声コマンドを含む音声入力を受け付ける音声入力ステップと、
    前記音声入力に含まれる前記音声コマンドを認識するための音声認識処理を行うステップと、
    前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、
    前記音声認識処理を行うステップで認識した前記音声コマンドに応じて、前記表示ステップで表示する手書きの文字又は図形の表示態様を制御する制御ステップと、を備え、
    前記音声認識処理を行うステップは、前記電子ペンが前記タッチパネルから離れた後、手書き入力アプリケーションが起動されており、且つ前記筆圧センサが圧力を検出したことに応じて、前記音声認識処理を開始するステップを含み、
    前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
    表示制御方法。
15. 指示体による手書き入力を受け付けるタッチパネルと表示面を有する表示部を備える情報表示装置に、
    前記指示体が前記タッチパネルを離れた後、前記表示面に前記指示体がタッチするタイミングから所定時間前までに音声コマンドを含む音声入力を受け付ける音声入力ステップと、
    前記タッチパネルが受け付けた手書きの文字又は図形を表示する表示ステップと、
    前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの文字又は図形の表示態様を変更する変更ステップと、を実行させ、
    前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
    プログラム。

Images