WO2020090317A1

WO2020090317A1 - 情報表示装置、電子機器、電子ペン、システム、方法、及びプログラム

Info

Publication number: WO2020090317A1
Application number: PCT/JP2019/038499
Authority: WO
Inventors: 英俊八谷; 矢島　孝之; 征新谷; 和田　淳; 克明大西
Original assignee: 京セラ株式会社
Priority date: 2018-10-29
Filing date: 2019-09-30
Publication date: 2020-05-07
Also published as: US20210382684A1

Abstract

指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に用いる表示制御方法は、手書き入力状態において、音声コマンドを含む音声入力を受け付けることと、前記タッチパネルが受け付けた手書きの軌跡を表示することと、前記音声入力を受け付けることにおいて入力を受け付けた音声コマンドに応じて、前記軌跡を表示することにおいて手書きの軌跡の表示態様を制御することと、を含む。

Description

情報表示装置、電子機器、電子ペン、システム、方法、及びプログラム

　本発明は、情報表示装置、電子機器、電子ペン、システム、方法、及びプログラムに関する。

　従来、手書き入力を受け付けるタッチパネルを備える情報表示装置が普及している。このような情報表示装置は、指示体としてのペン又は指による手書き入力をタッチパネルが受け付けて、文字や図形を表す手書きの軌跡を表示する（例えば、特許文献１参照）。

　指示体として電子ペンが用いられる場合、情報表示装置は、ペン入力アプリケーションを起動させた後、電子ペンによる手書き入力をタッチパネルが受け付けて、文字や図形を表す手書きの軌跡を表示する。

　また、近年、スマートフォン等の電子機器が音声認識及び他言語への翻訳を行い、翻訳結果を提示する技術が実用化されている。

　このような技術において、マイク及びスピーカを有する電子機器は、第１の言語の音声をマイクにより集音し、この音声データを第１の言語とは異なる第２の言語のデータに変換（翻訳）し、変換して得られたデータをスピーカにより出力する（例えば、特許文献２参照）。

特開２０１７－１５２０１８号公報特開２０１８－６０１６５号公報

　第１の態様に係る情報表示装置は、指示体による手書き入力を受け付けるタッチパネルと、前記タッチパネルが受け付けた手書きの軌跡を表示する表示部と、音声コマンドを含む音声入力を受け付ける音声入力部と、手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部における手書きの軌跡の表示態様を制御するコントローラとを備える。

　第２の態様に係る電子ペンは、前記指示体として機能する。

　第３の態様に係る表示制御方法は、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に用いる方法である。前記表示制御方法は、手書き入力状態において、音声コマンドを含む音声入力を受け付けることと、前記タッチパネルが受け付けた手書きの軌跡を表示することと、前記音声入力を受け付けることにおいて入力を受け付けた音声コマンドに応じて、前記軌跡をすることにおいて手書きの軌跡の表示態様を制御することとを含む。

　第４の態様に係るプログラムは、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に、手書き入力状態において、音声コマンドを含む音声入力を受け付けることと、前記タッチパネルが受け付けた手書きの軌跡を表示することと、前記音声入力を受け付けることにおいて入力を受け付けた音声コマンドに応じて、前記軌跡を表示することにおいて手書きの軌跡の表示態様を制御することとを実行させる。

　第５の態様に係るペン入力システムは、電子ペンと、前記電子ペンによる手書き入力を受け付けるタッチパネルを有する情報表示装置とを備える。前記電子ペンは、加速度又は筆圧を検出するための第１センサと、前記第１センサの検出結果に応じたデータを前記情報表示装置に送信する送信部とを有する。前記情報表示装置は、前記電子ペンから前記データを受信する受信部と、前記受信部が受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動するプロセッサとを有する。

　第６の態様に係る情報表示装置は、電子ペンによる手書き入力を受け付けるタッチパネルと、前記電子ペンから、前記電子ペンに加わる加速度、又は筆圧の検出結果に応じたデータを受信する受信部と、前記受信部が受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動するプロセッサとを備える。

　第７の態様に係る電子ペンは、情報表示装置が有するタッチパネルに対する手書き入力に用いられる。前記電子ペンは、前記電子ペンに加わる加速度、又は筆圧を検出するためのセンサと、前記センサの検出結果に応じたデータを前記情報表示装置に送信する送信部とを備える。前記データは、前記手書き入力を行うためのアプリケーションを前記情報表示装置に起動させるために用いられる。

　第８の態様に係る制御方法は、電子ペンによる手書き入力を受け付けるタッチパネルを有する情報表示装置の制御方法である。前記制御方法は、前記電子ペンから、前記電子ペンに加わる加速度、又は筆圧の検出結果に応じたデータを受信することと、前記受信することにおいて受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動することとを含む。

　第９の態様に係るプログラムは、電子ペンによる手書き入力を受け付けるタッチパネルを有する情報表示装置に、前記電子ペンから、前記電子ペンに加わる加速度、又は筆圧の検出結果に応じたデータを受信することと、前記受信することにおいて受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動することとを実行させる。

　第１０の態様に係る電子機器は、音声の入出力が可能な外部機器を制御する電子機器である。前記電子機器は、音声入力部と、音声出力部と、前記外部機器との無線接続を設定する通信インターフェイスと、前記通信インターフェイスを介して前記外部機器と通信するプロセッサとを備える。前記プロセッサは、前記音声入力部により得られた第１の言語の音声データを第２の言語の音声データに変換するとともに、該第２の言語の音声データを前記通信インターフェイスを介して前記外部機器に送信する第１の処理と、前記外部機器により得られた前記第２の言語の音声データを前記通信インターフェイスを介して前記外部機器から受信し、該第２の言語の音声データを前記第１の言語の音声データに変換するとともに、該第１の言語の音声データに対応する音声を前記音声出力部に出力させる第２の処理と、を実行する。

　第１１の態様に係る電子ペンは、前記外部機器として機能する電子ペンである。

　第１２の態様に係る方法は、音声入力部と音声出力部とを有する電子機器に用いられる方法である。前記方法は、音声の入出力が可能な外部機器との無線接続を設定することと、前記無線接続を介して外部機器を制御することと、前記音声入力部により得られた第１の言語の音声データを第２の言語の音声データに変換するとともに、該第２の言語の音声データを前記無線接続を介して前記外部機器に送信することと、前記外部機器により得られた前記第２の言語の音声データを前記無線接続を介して前記外部機器から受信することと、前記受信された第２の言語の音声データを前記第１の言語の音声データに変換するとともに、該第１の言語の音声データに対応する音声を前記音声出力部に出力させることとを含む。

　第１３の態様に係るプログラムは、音声入力部と音声出力部とを有する電子機器に、音声の入出力が可能な外部機器との無線接続を設定することと、前記無線接続を介して外部機器を制御することと、前記音声入力部により得られた第１の言語の音声データを第２の言語の音声データに変換するとともに、該第２の言語の音声データを前記無線接続を介して前記外部機器に送信することと、前記外部機器により得られた前記第２の言語の音声データを前記無線接続を介して前記外部機器から受信することと、前記受信された第２の言語の音声データを前記第１の言語の音声データに変換するとともに、該第１の言語の音声データに対応する音声を前記音声出力部に出力させることとを実行させる。

第１実施形態に係る情報表示装置の外観図である。第１実施形態に係る情報表示装置の機能構成を示すブロック図である。第１実施形態に係る電子ペンの外観図である。第１実施形態に係る電子ペンの機能構成を示すブロック図である。第１実施形態に係る手書き入力画面の一例を示す図である。第１実施形態に係る手書きの軌跡の表示態様を段階的に変更する一例を示す図である。第１実施形態に係る手書きの軌跡の表示態様を変更する一例を示す図である。第１実施形態に係る手書きの軌跡の表示態様を変更する他の例を示す図である。第１実施形態に係る手書き入力状態を示す図である。第１実施形態に係る情報表示装置及び電子ペンの動作フローの一例を示す図である。第１実施形態に係る情報表示装置及び電子ペンの動作フローの他の例を示す図である。第２実施形態に係るペン入力システムの動作を示すフロー図である。第２実施形態に係る起動モーションの一例を示す図である。第２実施形態に係る起動モーションの一例を示す図である。第２実施形態に係る起動モーションの一例を示す図である。第３実施形態に係る電子機器の外観図である。第３実施形態に係る電子機器の機能構成を示すブロック図である。第３実施形態に係る電子ペンの機能構成を示すブロック図である。第３実施形態に係る電子機器及び電子ペンの動作を示すフロー図である。

　図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

　［第１実施形態］
　従来の情報表示装置において手書きの軌跡の表示態様を変更する場合、手書き入力の前又は後において、その手書きの軌跡の表示態様を変更するための入力操作をユーザが指示体により行う必要があり、操作が煩雑であるという問題がある。

　また、表示態様を変更するための入力操作を受け付けるためのＧＵＩ（ウィンドウ、アイコン、ボタン等）を情報表示装置が表示する場合、このようなＧＵＩにより情報表示装置の限られた表示面積の一部が占有され、手書き入力の操作性がさらに悪化しうる。

　そこで、第１実施形態は、手書きの軌跡の表示態様を変更する際の操作性を向上させることを可能とする。

　（情報表示装置の構成）
　第１実施形態に係る情報表示装置は、例えばスマートフォン端末又はタブレット端末のような端末とすることができる。しかしながら、情報表示装置はそのような端末に限定されるものではなく、例えば、パーソナルコンピュータ、電子黒板、又は車載情報表示装置等であってもよい。

　図１は、第１実施形態に係る情報表示装置１００Ａの外観図である。

　図１に示すように、情報表示装置１００Ａは、タッチスクリーンディスプレイ１１０と、マイク１２０と、スピーカ１３０と、カメラ１４０とを有する。

　タッチスクリーンディスプレイ１１０は、その表示面が情報表示装置１００Ａの筐体１０１から露出して設けられる。タッチスクリーンディスプレイ１１０は、タッチパネル１１１と、表示部（ディスプレイ）１１２とを有する。

　タッチパネル１１１は、情報表示装置１００Ａへの操作入力（タッチ入力）を受け付ける。タッチパネル１１１は、指示体としてのユーザの指又は電子ペン等のタッチを検出する。タッチを検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。タッチパネル１１１は、ユーザのタッチ入力を検出して、このタッチ入力で指示される位置の座標（タッチ座標）のデータをコントローラ１８０に出力する。

　表示部１１２は、映像出力を行う。表示部１１２は、文字（記号を含む）、画像、図形等のオブジェクトを画面上に表示する。表示部１１２には、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが用いられる。

　第１実施形態に係るタッチスクリーンディスプレイ１１０において、表示部１１２はタッチパネル１１１と重なるように設けられており、表示部１１２の表示領域はタッチパネル１１１と重複している。しかしながら、表示部１１２及びタッチパネル１１１が互いに重なるように設けられることに代えて、表示部１１２及びタッチパネル１１１を並べて配置されてもよいし、離して配置されてもよい。

　マイク１２０は、情報表示装置１００Ａへの音声入力を受け付ける。マイク１２０は、周囲の音声を集音する。

　スピーカ１３０は、音声出力を行う。スピーカ１３０は、電話の音声や各種プログラムの情報等を音声で出力する。

　カメラ１４０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。カメラ１４０は、タッチスクリーンディスプレイ１１０に面している物体を撮影するインカメラである。情報表示装置１００Ａは、さらに、タッチスクリーンディスプレイ１１０の反対側の面に面している物体を撮影するアウトカメラを備えていてもよい。

　図２は、第１実施形態に係る情報表示装置１００Ａの機能構成を示すブロック図である。

　図２に示すように、情報表示装置１００Ａは、タッチパネル１１１と、表示部１１２と、音声入力部１２１と、音声出力部１３１と、カメラ１４０と、センサ１５０と、記憶部１６０と、通信インターフェイス１７０と、コントローラ１８０とを有する。

　タッチパネル１１１は、検出された指示体でのタッチ操作に対応する信号をコントローラ１８０に入力する。また、タッチパネル１１１は、後述する手書き入力アプリケーションの実行中において、電子ペンによる手書き入力を受け付ける。

　表示部１１２は、コントローラ１８０から入力された信号に基づいて、文字、画像、図形等のオブジェクトを画面上に表示する。また、表示部１１２は、手書き入力アプリケーションの実行中において、タッチパネル１１１が入力を受け付けた手書きの軌跡（例えば、文字や図形）を表示する。

　音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１８０に入力する。音声入力部１２１は、上記のマイク１２０を含む。また、音声入力部１２１は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線又は有線で接続される。入力インターフェイスに接続されるマイクは、例えば情報表示装置１００Ａに接続可能なイヤホン等に備えられるマイクである。第１実施形態において、外部のマイクは、電子ペンに設けられている。

　音声出力部１３１は、コントローラ１８０から入力された信号に基づいて、音声を出力する。音声出力部１３１は、上記のスピーカ１３０を含む。また、音声出力部１３１は、外部のスピーカを接続可能な出力インターフェイスであってもよい。外部のスピーカは無線又は有線で接続される。出力インターフェイスに接続されるスピーカは、例えば情報表示装置に接続可能なイヤホン等に備えられるスピーカである。

　カメラ１４０は、撮像した画像を電子信号に変換してコントローラ１８０に入力する。

　センサ１５０は、情報表示装置１００Ａに加わる加速度又は振動を検出し、検出結果に対応する検出信号をコントローラ１８０に出力する。センサ１５０は、加速度センサを含む。加速度センサは、情報表示装置１００Ａに加わる加速度の方向及び大きさを検出する。

　記憶部１６０は、プログラム及びデータを記憶する。記憶部１６０は、コントローラ１８０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１６０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。

　また、記憶部１６０は、複数の種類の記憶媒体を含んでよい。記憶部１６０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１６０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

　記憶部１６０に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。

　記憶部１６０に記憶されるプログラムには、手書き入力アプリケーションが含まれる。手書き入力アプリケーションは、電子ペンによる手書き入力をタッチパネル１１１が受け付けて、手書きの軌跡（例えば、文字や図形）を表示部１１２に表示させるアプリケーションである。

　第１実施形態において、手書き入力アプリケーションは、音声入力部１２１により取得された音声データに対する音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部１６０に予め登録されている。

　通信インターフェイス１７０は、無線により通信する。通信インターフェイス１７０によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラー通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ　Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。

　コントローラ１８０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。また、コントローラ１８０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）等を含み、表示部１１２に各種の画像を描画する。コントローラ１８０は、情報表示装置１００Ａの動作を統括的に制御して各種の機能を実現する。

　コントローラ１８０は、自機が外部機器と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ１８０は、通信インターフェイス１７０を介して外部機器と通信する。接続される外部機器は、例えば上記のイヤホンや、ヘッドセット、マイク付きの車載スピーカ、電子ペンである。但し、無線接続の通信規格、外部機器はともにこれらに限定されない。以下において、接続される外部機器が電子ペンである一例について説明する。

　コントローラ１８０は、タッチパネル１１１が検出したタッチ操作等に応じて入力される信号に基づいて、各種制御を実行する。例えば、コントローラ１８０は、入力された信号に応じた出力を音声出力部１３１や表示部１１２等によって行う。また、コントローラ１８０は、情報表示装置１００Ａの機能の実行や設定の変更を行う。

　コントローラ１８０は、手書き入力アプリケーションの実行中において、ユーザがタッチパネル１１１を利用して手書き入力（タッチ入力）をすると、タッチ位置に対応するタッチ座標データをタッチパネル１１１から取得する。

　ユーザは、電子ペンや指でタッチパネル１１１を操作する。タッチパネル１１１を用いた入力としては、タップ（短押し）、スライド（ドラッグ）、フリック、ロングタッチ（長押し）等がある。これらを「タッチ入力」又は単に「入力」と呼ばれることがある。

　タッチパネル１１１をタッチしていない状態からタッチする状態に変化することをタッチオン（ペンダウン）といい、タッチパネル１１１をタッチしている状態からタッチしていない状態に変化することをタッチオフ（ペンアップ）という。継続的なタッチ入力であるスライドやフリックによる入力に対しては、タッチパネル１１１は、現在のタッチ位置に対応するタッチ座標データを短周期で出力してもよい。

　タッチパネル１１１は、タッチオン（ペンダウン）からタッチオフ（ペンアップ）までの一連のタッチ位置に対応するタッチ座標データをコントローラ１８０に出力する。コントローラ１８０は、一連のタッチ座標データが示す手書きの軌跡を表示部１１２に表示させる。

　（電子ペンの構成）
　図３は、第１実施形態に係る電子ペン２００の外観図である。

　図３に示すように、電子ペン２００は、筐体２０１と、クリップ部２０２と、芯体２０３と、操作部２１０とを有する。

　筐体２０１は、筒状に構成されている。クリップ部２０２は、電子ペン２００（筐体２０１）の上端側に設けられている。芯体２０３及び操作部２１０は、電子ペン２００（筐体２０１）の下端側に設けられている。操作部２１０は、指により押下されるボタンである。

　図４は、第１実施形態に係る電子ペン２００の機能構成を示すブロック図である。

　図４に示すように、電子ペン２００は、操作部２１０と、マイク２２０と、スピーカ２３０と、センサ２４０と、記憶部２５０と、通信インターフェイス２６０と、コントローラ２７０とを有する。

　操作部２１０は、検出された押下操作に対応する信号をコントローラ２７０に入力する。

　マイク２２０は、周囲の音声を集音する。マイク２２０は、電子ペン２００への音声入力を受け付け、入力を受け付けた音声に対応する信号をコントローラ２７０に入力する。

　スピーカ２３０は、音声出力を行う。スピーカ２３０は、電話の音声や各種プログラムの情報等を音声で出力する。スピーカ２３０は、コントローラ２７０から入力された信号に基づいて、音声を出力する。

　センサ２４０は、電子ペン２００に加わる加速度、又は筆圧を検出し、検出結果に対応する検出信号をコントローラ２７０に出力する。センサ２４０は、加速度センサを含む。加速度センサは、電子ペン２００に加わる加速度の方向及び大きさを検出する。センサ２４０は、さらに、情報表示装置１００Ａの角度及び角速度を検出するジャイロセンサを含んでいてもよい。

　センサ２４０は、さらに筆圧センサを含む。筆圧センサは、芯体２０３（すなわち、ペン先）に加わる圧力を検出し、検出結果に対応する信号をコントローラ２７０に出力する。

　記憶部２５０は、プログラム及びデータを記憶する。記憶部２５０は、コントローラ２７０の処理結果を一時的に記憶する作業領域としても利用される。記憶部２５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。

　また、記憶部２５０は、複数の種類の記憶媒体を含んでよい。記憶部２５０は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部２５０は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

　通信インターフェイス２６０は、無線により通信する。通信インターフェイス２６０によってサポートされる無線通信規格には、例えば、上記のセルラー通信規格や近距離無線の通信規格等がある。

　コントローラ２７０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。コントローラ２７０は、電子ペン２００の動作を統括的に制御して各種の機能を実現する。

　コントローラ２７０は、自機が情報表示装置１００Ａと接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ２７０は、通信インターフェイス２６０を介して情報表示装置１００Ａと通信する。

　コントローラ２７０は、操作部２１０が検出した押下操作等に応じて入力される信号に基づいて、各種制御を実行する。また、コントローラ２７０は、自機が情報表示装置１００Ａと接続されている場合において、センサ２４０の検出結果に応じたデータを情報表示装置１００Ａに送信する。

　第１実施形態において、コントローラ２７０は、音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部２５０に予め登録されていてもよい。

　（手書き入力の動作）
　図５は、手書き入力画面の一例を示す図である。情報表示装置１００Ａのコントローラ１８０は、手書き入力アプリケーションの実行中に、図５に示すような手書き入力画面をタッチスクリーンディスプレイ１１０（表示部１１２）に表示させる。

　図５に示すように、手書き入力画面は、手書き入力領域Ｒ１と、ツールパレット領域Ｐ１と、カラーパレット領域Ｐ２とを有する。

　手書き入力領域Ｒ１は、手書きの軌跡を表示する領域である。図５において、ユーザが電子ペン２００を用いて手書き入力を行う一例を示している。一般的に、ユーザは、例えばメモをとるために、電子ペン２００により文字を手書き入力領域Ｒ１に入力する。文字には、数字や記号も含まれる。或いは、ユーザは、例えばイラストを描画するために、電子ペン２００により図形を手書き入力領域Ｒ１に入力する。図形には、曲線や直線、円、多角形等が含まれる。

　ツールパレット領域Ｐ１は、手書きの軌跡の太さ（線幅）を変更するためのボタンＢ１１乃至Ｂ１３と、直前の手書き入力をキャンセルする（元に戻す）ためのボタンＢ１４と、削除する箇所を指示体により指定する操作を行うための消しゴムボタンＢ１５とを表示する領域である。一方、カラーパレット領域Ｐ２は、黒、赤、青、緑、黄等の各色に対応するカラーボタンＢ２１乃至Ｂ２５を表示する領域である。

　ユーザは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内のボタンを用いて、手書きの軌跡（文字や図形等）の線色及び線幅を選択したり、描画した図形又はその一部を構成する面（閉曲線）を所望の色で塗りつぶしたりする。このため、手書きの軌跡の表示態様（属性）を変化させる度に、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２等を用いて表示態様を選択及び変更する操作が必要になる。

　第１実施形態において、このような表示態様の変更を音声により可能にする。具体的には、第１実施形態に係る情報表示装置１００Ａにおいて、音声入力部１２１は、音声コマンドを含む音声入力を受け付ける。

　音声入力部１２１は、電子ペン２００のマイク２２０に入力される音声に応じた音声コマンドを含む音声データを電子ペン２００から取得することにより、音声入力を受け付けてもよい。電子ペン２００のマイク２２０を利用することにより、ユーザにより近い位置で音声を集音できる。また、情報表示装置１００Ａが適切なマイクを有していない場合であっても、電子ペン２００のマイク２２０を用いて音声入力が可能になる。

　電子ペン２００のマイク２２０を利用する場合、音声コマンドを認識する音声認識処理を情報表示装置１００Ａのコントローラ１８０で行ってもよいし、音声認識処理を電子ペン２００のコントローラ２７０で行ってもよい。

　或いは、音声入力部１２１は、情報表示装置１００Ａのマイク１２０に入力される音声に応じた音声コマンドを含む音声データを取得することにより、音声入力を受け付けてもよい。すなわち、電子ペン２００のマイク２２０を用いることなく音声入力を行う。この場合、音声コマンドを認識する音声認識処理を情報表示装置１００Ａのコントローラ１８０で行う。

　音声コマンドは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内の各ボタンに対応するコマンドが定義されていてもよい。

　例えば、ボタンＢ１１に対応する音声コマンドは「一番細い線に」、ボタンＢ１３に対応する音声コマンドは「一番太い線に」といったように、直接的なコマンドであってもよい。或いは、「もっと線を太く」という相対的な音声コマンドにより、ボタンＢ１１に対応する線幅からボタンＢ１２に対応する線幅に変更したり、ボタンＢ１２に対応する線幅からボタンＢ１３に対応する線幅に変更したり、ボタンＢ１３に対応する線幅からより太い線幅に変更してもよい。すなわち、情報表示装置１００Ａのコントローラ１８０は、相対的な音声コマンドに基づいて、選択済みの表示態様を、選択済みの表示態様と同種の表示態様であって、かつ選択済みの表示態様とは別の表示態様に変更してもよい。

　ボタンＢ１４に対応する音声コマンドは、「元に戻す」であってもよい。ボタンＢ１５に対応する音声コマンドは「消しゴム」であってもよい。

　ボタンＢ２１乃至Ｂ２５については、対応する色を指定する音声コマンドとすることができる。例えば、「ペンを青に」、「ペンを赤に」といった音声コマンドであってもよい。或いは、「ペンを徐々に赤に」といった音声コマンドにより選択済みの色から赤色へのグラデーションを指定してもよい。或いは、「ペンを青から徐々に赤に」といった複数色の指定を含む音声コマンドにより青色から赤色へのグラデーションを指定してもよい。すなわち、情報表示装置１００Ａのコントローラ１８０は、一または複数の同種の表示態様の指定、およびその他所定の音声コマンド（上記の例では、「徐々に」が該当する）を含む音声コマンドに基づいて、選択済みの表示態様または指定された表示態様から、同種の別の表示態様へ段階的に表示態様を変更してもよい。

　コントローラ１８０は、手書き入力状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。ここで、表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。

　これにより、手書きの軌跡の表示態様を変更する際に、ユーザは音声を発すればよく、当該変更のための入力操作を指示体により行う必要がないため、操作性を向上させることができる。

　また、表示態様の変更を音声により可能にすることで、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２を不要とすることができるため、その分だけ手書き入力領域Ｒ１の面積を広げることができる。

　さらに、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２に含まれていない高度な操作を音声により行うことも可能である。そのような高度な操作の例を図６乃至図８に示す。

　図６は、手書きの軌跡の表示態様を段階的に変更する一例を示す図である。図６に示すように、手書き入力状態（具体的には、タッチ状態）において、「黄色からグリーンのグラデーションの線」という音声コマンドＣ１の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ１を認識し、手書きの軌跡の線色を黄色からグリーンに段階的に変更する。

　図７は、手書きの軌跡の表示態様を変更する一例を示す図である。図７に示すように、手書きの軌跡Ｌ１が描画される。手書き入力状態において、「直線」という音声コマンドＣ２の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ２を認識し、手書きの軌跡Ｌ１を直線Ｌ２に変更する。

　図８は、手書きの軌跡の表示態様を変更する他の例を示す図である。図８に示すように、手書きの軌跡Ｌ３が描画される。手書き入力状態において、「直角」という音声コマンドＣ３の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ３を認識し、手書きの軌跡Ｌ３を直角の線Ｌ４に変更する。

　（手書き入力状態）
　図９は、第１実施形態に係る手書き入力状態を示す図である。

　図９に示すように、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面に電子ペン２００がタッチしているタッチ状態を含む。

　コントローラ１８０は、タッチ状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。これにより、手書き入力の最中に発された音声により手書きの軌跡の表示態様を変更できる。

　例えば、タッチ状態において「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその色を赤に変更する。

　また、タッチ状態において「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を一番太い線に変更する。

　或いは、タッチ状態において、「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階太い線に変更する。その後、ペンアップ前に再度「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅をもう１段階太い線に変更する。このように、音声コマンドの入力を繰り返し受け付けると、コントローラ１８０は、手書きの軌跡を段階的に変更する。

　その後、ペンアップ前に再度「もっと細く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階細い線に変更する。

　これにより、手書き入力中に手書きの軌跡の線幅を段階的に変更できる。ここで、段階的な変更の際に、線幅を急激に変更するのではなく、線幅を徐々に変更してもよい。

　或いは、タッチ状態において、線色が青であるときに、「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、青が強めの紫色）。

　その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色をもう１段階赤に近づける（例えば、普通の紫色）。

　その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、赤が強めの紫色）。

　これにより、手書き入力中に手書きの軌跡の線色を段階的に変更できる。ここで、段階的な変更の際に、線色を急激に変更するのではなく、線色を徐々に変更し、青から赤へのグラデーションで描画してもよい。

　或いは、文字入力中に、タッチ状態において「ここ大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、その前後の一定時間又は一定長の手書きの軌跡の色を赤に変更する又はハイライト（マーカ）を付してもよい。このような音声コマンドは、手書き入力中に前後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。

　或いは、文字入力中に、タッチ状態において「ここまで大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、ペンダウンのタイミングｔ２から音声コマンドを認識したタイミングまでの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直前の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。

　或いは、文字入力中に、タッチ状態において「ここから大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、音声コマンドを認識したタイミングからペンアップのタイミングｔ３までの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。

　但し、「ここから大事」という音声コマンドの入力後、ペンアップ前に「ここまで大事」という音声コマンドが入力された場合、「ここから大事」という音声コマンドを認識したタイミングから「ここまで大事」という音声コマンドを認識したタイミングまでの手書きの軌跡を赤に変更する又はハイライトを付してもよい。

　手書き入力状態は、タッチ状態の直後の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面から電子ペン２００が離れたタイミング（すなわち、ペンアップのタイミング）ｔ３から所定時間が経過するまでの間の非タッチ状態を含んでもよい。これにより、ペンアップの直後に発された音声により手書きの軌跡の表示態様を変更できる。

　例えば、ペンアップの直後に、「元に戻す」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除してもよい。

　或いは、ペンアップの直後に、「消しゴム」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除するモードを設定し、削除箇所を電子ペン２００が指定するためのマーク（又は消しゴムアイコン）を表示し、電子ペン２００により指定された箇所を削除してもよい。

　或いは、ペンアップの直後に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の色を赤に変更する。

　また、ペンアップの直後に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の線幅を一番太い線に変更する。

　手書き入力状態は、タッチ状態の直前の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、表示面に電子ペン２００がタッチするタイミング（すなわち、ペンダウンのタイミング）ｔ２から所定時間前までの非タッチ状態を含んでもよい。これにより、ペンアップの直前に発された音声により手書きの軌跡の表示態様を変更できる。

　例えば、ペンダウンの直前に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の色を赤にする。

　また、ペンアップの直前に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の線幅を一番太い線にする。

　（動作フローの一例）
　図１０は、情報表示装置１００Ａ及び電子ペン２００の動作フローの一例を示す図である。なお、情報表示装置１００Ａと電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。

　図１０に示すように、ステップＳ１１０１において、情報表示装置１００Ａのコントローラ１８０は、音声認識処理を開始する。音声認識処理を開始することにより、手書き入力状態において所定の音声コマンドを認識可能になる。

　情報表示装置１００Ａのコントローラ１８０は、手書き入力アプリケーションが起動されたことに応じて音声認識処理を開始してもよい。これにより、適切なタイミングで音声認識処理を開始できる。

　或いは、情報表示装置１００Ａのコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。ユーザは、音声コマンドに対応する音声を発する前に電子ペン２００の操作部２１０を押下する。これにより、より適切なタイミングで音声認識処理を開始できる。

　情報表示装置１００Ａのコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。或いは、情報表示装置１００Ａのコントローラ１８０は、手書き入力アプリケーションが起動されており、且つタッチパネル１１１がタッチ入力（ペンダウン）を検出したことに応じて、音声認識処理を開始してもよい。これにより、ユーザが電子ペン２００の操作部２１０を押下しなくても、適切なタイミングで音声認識処理を開始できる。

　ステップＳ１１０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。

　ステップＳ１１０３において、電子ペン２００のコントローラ２７０は、電子ペン２００のマイク２２０から入力された音声データを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００Ａに送信する。情報表示装置１００Ａの音声入力部１２１は、電子ペン２００から音声データを取得することにより音声入力を受け付け、この音声データを情報表示装置１００Ａのコントローラ１８０に出力する。

　ステップＳ１１０４において、情報表示装置１００Ａのコントローラ１８０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。

　音声コマンドが含まれている場合、ステップＳ１１０５において、情報表示装置１００Ａのコントローラ１８０は、当該音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。

　なお、情報表示装置１００Ａのコントローラ１８０は、手書き入力アプリケーションが終了されたことに応じて、音声認識処理を終了する。

　或いは、情報表示装置１００Ａのコントローラ１８０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、コントローラ１８０は、操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。

　或いは、情報表示装置１００Ａのコントローラ１８０は、タッチ状態において音声認識を有効としてもよい。この場合、情報表示装置１００Ａのコントローラ１８０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。或いは、情報表示装置１００Ａのコントローラ１８０は、タッチパネル１１１がペンアップを検出したことに応じて、音声認識処理を終了してもよい。

　図１１は、情報表示装置１００Ａ及び電子ペン２００の動作フローの他の例を示す図である。なお、情報表示装置１００Ａと電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。ここでは、図１０に示す動作との相違点について主として説明する。

　図１１に示すように、ステップＳ１２０１において、電子ペン２００のコントローラ２７０は、音声認識処理を開始する。

　電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されたことを情報表示装置１００Ａから通知された際に、音声認識処理を開始してもよい。或いは、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。

　ステップＳ１２０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。

　ステップＳ１２０３において、電子ペン２００のコントローラ２７０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。

　音声コマンドが含まれている場合、ステップＳ１２０４において、電子ペン２００のコントローラ２７０は、当該音声コマンドに対応するデータを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００Ａに送信する。情報表示装置１００Ａの音声入力部１２１は、電子ペン２００から音声コマンドに対応するデータを取得することにより音声入力を受け付け、音声コマンドに対応するデータを情報表示装置１００Ａのコントローラ１８０に出力する。

　ステップＳ１２０５において、情報表示装置１００Ａのコントローラ１８０は、音声入力部１２１から入力された音声コマンドに対応するデータに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。

　なお、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが終了されたことを情報表示装置１００Ａから通知された際に、音声認識処理を終了してもよい。

　或いは、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。

　或いは、電子ペン２００のコントローラ２７０は、タッチ状態において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。

　［第２実施形態］
　第２実施形態について、第１実施形態との相違点を主として説明する。

　ペン入力アプリケーションを起動する際に、ユーザは、例えば、情報表示装置の画面ロック状態を個人認証により解除した後、ペン入力アプリケーションを表すアイコンを複数のアイコンの中から表示画面上で選択及びタップする。

　しかしながら、このようなペン入力アプリケーションの起動方法は操作が煩雑であって、ペン入力アプリケーションを速やかに起動することが難しい。

　そこで、第２実施形態は、ペン入力アプリケーションを速やかに起動可能とする。

　以下において、第２実施形態に係る情報表示装置１００Ａの構成について、図１及び図２を参照して説明する。

　第２実施形態に係る情報表示装置１００Ａにおいて、タッチスクリーンディスプレイ１１０により検出された接触の位置、接触が行われた時間、接触が行われた位置の経時変化に基づいて、ジェスチャの種類を判別する。ジェスチャは、タッチスクリーンディスプレイ１１０に対して行われる操作である。情報表示装置１００Ａによって判別されるジェスチャには、タッチ、リリース、タップ等が含まれる。

　タッチは、タッチスクリーンディスプレイ１１０に指が触れるジェスチャである。情報表示装置１００Ａは、タッチスクリーンディスプレイ１１０に指が接触するジェスチャをタッチとして判別する。

　リリースは、指がタッチスクリーンディスプレイ１１０から離れるジェスチャである。情報表示装置１００Ａは、指がタッチスクリーンディスプレイ１１０から離れるジェスチャをリリースとして判別する。

　タップは、タッチに続いてリリースをするジェスチャである。情報表示装置１００Ａは、タッチに続いてリリースをするジェスチャをタップとして判別する。

　タッチパネル１１１は、検出された指示体での接触操作に対応する信号をコントローラ１８０に入力する。また、タッチパネル１１１は、後述するペン入力アプリケーションの実行中において、電子ペンによる手書き入力を受け付ける。

　表示部１１２は、コントローラ１８０から入力された信号に基づいて、文字、画像、図形等のオブジェクトを画面上に表示する。また、表示部１１２は、ペン入力アプリケーションの実行中において、タッチパネル１１１が入力を受け付けた手書きの軌跡（例えば、文字や図形）を表示する。

　センサ１５０は、さらに振動センサを含んでいてもよい。振動センサは、情報表示装置１００Ａに加わる振動を検出する。

　記憶部１６０に記憶されるプログラムには、ペン入力アプリケーションが含まれる。ペン入力アプリケーションは、電子ペンによる手書き入力をタッチパネル１１１が受け付けて、手書きの軌跡（例えば、文字や図形）を表示部１１２に表示させるアプリケーションである。

　（ペン入力システムの動作）
　第２実施形態において、情報表示装置１００Ａ及び電子ペン２００はペン入力システムを構成する。図１２は、第２実施形態に係るペン入力システムの動作を示すフロー図である。まず、ペン入力アプリケーションを起動するための動作について説明する。

　図１２に示すように、情報表示装置１００Ａ及び電子ペン２００は、無線接続（例えば、近距離無線通信の無線接続）を設定している。

　情報表示装置１００Ａのコントローラ１８０は、電子ペン２００との無線接続が設定されている場合に、加速度又は振動を検出するようにセンサ１５０を制御する。情報表示装置１００Ａのコントローラ１８０は、電子ペン２００との無線接続が設定されている場合に、指示体の接触を検出するようにタッチパネル１１１を制御してもよい。

　電子ペン２００のコントローラ２７０は、情報表示装置１００Ａとの無線接続が設定されている場合に、加速度又は筆圧を検出するようにセンサ２４０を制御する。

　また、情報表示装置１００Ａは、画面ロック状態にある。画面ロック状態は、情報表示装置１００Ａの画面（表示部１１２）が消灯した状態である。なお、画面ロック状態から復帰する際に、パスワード入力等の個人認証を必要としてもよい。

　ステップＳ２１０１において、電子ペン２００のコントローラ２７０は、センサ２４０の検出信号に基づいて、ペン入力アプリケーションを起動するための起動モーションを検出する。

　起動モーションは、図１３に示すように、電子ペン２００の上部を情報表示装置１００Ａの上部に接触させるというモーションであってもよい。

　起動モーションは、図１４に示すように、電子ペン２００の上部を情報表示装置１００Ａのタッチスクリーンディスプレイ１１０に接触させるというモーションであってもよい。

　起動モーションは、図１５に示すように、電子ペン２００の芯体２０３を情報表示装置１００Ａに接触させるというモーションであってもよい。

　起動モーションは、１回の接触に限らず、電子ペン２００を情報表示装置１００Ａに連続的に所定回数（例えば、２回）接触させるというモーションであってもよい。

　電子ペン２００において、センサ２４０（加速度センサ）が水平方向及び／又は垂直方向の加速度を検出することにより、コントローラ２７０が起動モーションを検出できる。或いは、センサ２４０（筆圧センサ）が筆圧を検出することにより、コントローラ２７０が起動モーションを検出してもよい。

　起動モーションは、電子ペン２００を情報表示装置１００Ａに接触させるものであるため、情報表示装置１００Ａに振動（衝撃）が生じ、ある一定の加速度が発生する。

　ステップＳ２１０２において、情報表示装置１００Ａのコントローラ１８０は、センサ１５０（加速度センサ、振動センサ）の検出信号に基づいて、情報表示装置１００Ａに加速度又は振動が加えられたことを検出する。或いは、情報表示装置１００Ａのコントローラ１８０は、タッチパネル１１１の検出信号に基づいて、タッチパネル１１１に電子ペン２００が接触したことを検出してもよい。

　ステップＳ２１０３において、電子ペン２００のコントローラ２７０は、ステップＳ１０１で起動モーションを検出したことに応じて、ペン入力アプリケーションを起動させるペン入力アプリケーション起動コマンドを生成する。第２実施形態において、電子ペン２００のコントローラ２７０は、ペン入力アプリケーション起動コマンドを生成する起動コマンド生成部として機能する。

　ステップＳ２１０４において、電子ペン２００のコントローラ２７０は、ステップＳ２１０３で生成されたペン入力アプリケーション起動コマンドを、通信インターフェイス２６０を介して情報表示装置１００Ａに送信する。第２実施形態において、電子ペン２００の通信インターフェイス２６０及びコントローラ２７０は、ペン入力アプリケーション起動コマンドを送信する送信部として機能する。

　情報表示装置１００Ａのコントローラ１８０は、通信インターフェイス１７０を介してペン入力アプリケーション起動コマンドを受信する。第２実施形態において、情報表示装置１００Ａの通信インターフェイス１７０及びコントローラ１８０は、ペン入力アプリケーション起動コマンドを受信する受信部として機能する。

　ステップＳ２１０５において、情報表示装置１００Ａのコントローラ１８０は、ステップＳ２１０４でペン入力アプリケーション起動コマンドを受信したことに応じて、電子ペン２００が情報表示装置１００Ａに接触したか否かを判定する。本フローにおいては、情報表示装置１００Ａのコントローラ１８０は、起動モーションに対応する加速度、振動、又は接触をステップＳ２１０２で検出しているため、電子ペン２００が情報表示装置１００Ａに接触したと判定する。すなわち、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーション起動コマンド、および、センサ１５０の検出信号に基づいて検出された加速度又は振動の双方に基づいて、電子ペン２００が情報表示装置１００Ａに接触したと判定することができる。

　なお、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーション起動コマンドを受信する前の一定期間内において起動モーションに対応する加速度、振動、又は接触を検出していない場合、電子ペン２００から受信したペン入力アプリケーション起動コマンドを無効とみなして破棄又は無視する。

　電子ペン２００が情報表示装置１００Ａに接触したと判定された場合、ステップＳ２１０６において、情報表示装置１００Ａのコントローラ１８０は、画面ロック状態を解除するとともに、ペン入力アプリケーションを起動する。すなわち、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーション起動コマンド、および、センサ１５０の検出信号に基づいて検出された加速度又は振動の双方に基づいて、ペン入力アプリケーションを起動することができる。

　情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーションを実行することにより、電子ペン２００による手書き入力を受け付けるようにタッチパネル１１１を制御する。また、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーションを実行することにより、タッチパネル１１１が入力を受け付けた手書きの軌跡（例えば、文字や図形）を表示するように表示部１１２を制御する。

　次に、ペン入力アプリケーションを終了するための動作について説明する。

　ステップＳ２１０７において、電子ペン２００のコントローラ２７０は、センサ２４０の検出信号に基づいて、ペン入力アプリケーションを終了するための終了モーションを検出する。

　ペン入力アプリケーションの実行中は、図１４や図１５に示すようなモーションは手書き入力動作として認識される懸念がある。このため、終了モーションは、図１３に示すように、電子ペン２００の上部を情報表示装置１００Ａの上部に接触させるというモーションであってもよい。但し、終了モーションは、電子ペン２００を情報表示装置１００Ａの上部に接触させるモーションに限らず、タッチスクリーンディスプレイ１１０の範囲外の任意の箇所に電子ペン２００を接触させるモーションであってもよい。また、終了モーションは、１回の接触に限らず、情報表示装置１００Ａに電子ペン２００を連続的に所定回数（例えば、２回）接触させるというモーションであってもよい。

　電子ペン２００において、センサ２４０（加速度センサ）が水平方向及び／又は垂直方向の加速度を検出することにより、コントローラ２７０が終了モーションを検出できる。

　終了モーションは、電子ペン２００を情報表示装置１００Ａに接触させるものであるため、情報表示装置１００Ａに振動（衝撃）が生じ、ある一定の加速度が発生する。

　ステップＳ２１０８において、情報表示装置１００Ａのコントローラ１８０は、センサ１５０（加速度センサ、振動センサ）の検出信号に基づいて、情報表示装置１００Ａに加速度又は振動が加えられたことを検出する。

　ステップＳ２１０９において、電子ペン２００のコントローラ２７０は、ステップＳ２１０７で終了モーションを検出したことに応じて、ペン入力アプリケーションを終了させるペン入力アプリケーション終了コマンドを生成する。第２実施形態において、電子ペン２００のコントローラ２７０は、ペン入力アプリケーション終了コマンドを生成する終了コマンド生成部として機能する。

　ステップＳ２１１０において、電子ペン２００のコントローラ２７０は、ステップＳ２１０９で生成されたペン入力アプリケーション終了コマンドを、通信インターフェイス２６０を介して情報表示装置１００Ａに送信する。情報表示装置１００Ａのコントローラ１８０は、通信インターフェイス１７０を介してペン入力アプリケーション終了コマンドを受信する。

　ステップＳ２１１１において、情報表示装置１００Ａのコントローラ１８０は、ステップＳ２１１０でペン入力アプリケーション終了コマンドを受信したことに応じて、電子ペン２００が情報表示装置１００Ａに接触したか否かを判定する。本フローにおいては、情報表示装置１００Ａのコントローラ１８０は、終了モーションに対応する加速度又は振動をステップＳ２１０８で検出しているため、電子ペン２００が情報表示装置１００Ａに接触したと判定する。すなわち、情報表示装置のコントローラ１００は、ペン入力アプリケーション終了コマンド、および、センサ１５０の検出信号に基づいて検出された加速度又は振動の双方に基づいて、電子ペン２００が情報表示装置１００Ａに接触したと判定することができる。

　なお、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーション終了コマンドを受信する前の一定期間内において終了モーションに対応する加速度又は振動を検出していない場合、電子ペン２００から受信したペン入力アプリケーション終了コマンドを無効とみなして破棄又は無視する。

　電子ペン２００が情報表示装置１００Ａに接触したと判定された場合、ステップＳ２１１２において、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーションを終了する。すなわち、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーション終了コマンド、および、センサ１５０の検出信号に基づいて検出された加速度又は振動の双方に基づいて、ペン入力アプリケーションを終了することができる。ここで、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーションの実行中に入力された手書きの軌跡（文字や図形）を自動的に記憶部１６０に保存させてもよい。また、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーションを終了するとともに、画面ロック状態に戻してもよい。

　以上説明したように、第２実施形態に係るペン入力システムにおいて、電子ペン２００は、加速度又は筆圧を検出するためのセンサ２４０と、センサ２４０の検出結果に応じたデータを情報表示装置１００Ａに送信する手段とを有する。情報表示装置１００Ａは、電子ペン２００から、センサ２４０の検出結果に応じたデータを受信する手段と、受信されたデータに基づいてペン入力アプリケーションを起動するコントローラ１８０とを有する。

　これにより、電子ペン２００に加わる加速度、又は筆圧に基づいて情報表示装置１００Ａ側でペン入力アプリケーションが起動されるため、複数のアイコンの中からペン入力アプリケーションのアイコンを選択してタップする操作を不要とし、電子ペン２００のモーションによってペン入力アプリケーションを起動できるため、ペン入力アプリケーションを速やかに起動できる。

　第２実施形態において、情報表示装置１００Ａのコントローラ１８０は、画面ロック状態を解除するとともに、ペン入力アプリケーションを起動する。これにより、画面ロック状態を解除するための入力操作（個人認証を含む）を不要とし、ペン入力アプリケーションをより速やかに起動できる。

　第２実施形態において、電子ペン２００は、センサ２４０の検出結果に基づいて、ペン入力アプリケーションを起動させる起動コマンドを生成し、生成された起動コマンドを情報表示装置１００Ａに送信する。これにより、センサ２４０の検出結果をそのまま電子ペン２００から情報表示装置１００Ａに提供する場合に比べて、効率的にペン入力アプリケーションを起動できる。

　但し、電子ペン２００の処理能力が低い場合は、センサ２４０の検出結果（検出データ）をそのまま電子ペン２００から情報表示装置１００Ａに提供し、ステップＳ２１０１及びＳ２１０７におけるモーションの検出を情報表示装置１００Ａ側で行ってもよい。

　第２実施形態において、情報表示装置１００Ａは、情報表示装置１００Ａに加わる加速度又は振動を検出するためのセンサ１５０を有する。情報表示装置１００Ａのコントローラ１８０は、センサ１５０の検出結果に基づいて、電子ペン２００が情報表示装置１００Ａに接触したと判定される場合に、ペン入力アプリケーションを起動する。或いは、情報表示装置１００Ａのコントローラ１８０は、タッチパネル１１１の検出結果に基づいて、電子ペン２００が情報表示装置１００Ａに接触したと判定される場合に、ペン入力アプリケーションを起動してもよい。

　第２実施形態において、情報表示装置１００Ａのコントローラ１８０は、ペン入力アプリケーションを起動した後、センサ１５０の検出結果に基づいて、電子ペン２００が情報表示装置１００Ａにおけるタッチスクリーンディスプレイ１１０（タッチパネル１１１）以外の箇所、例えば、情報表示装置１００Ａの筐体１０１の縁部分に接触したと判定される場合に、ペン入力アプリケーションを終了する。

　電子ペン２００側のモーション検出のみに基づいてペン入力アプリケーションを起動又は終了することとすると、ユーザが意図しないタイミングでペン入力アプリケーションが起動又は終了する誤動作が生じうる。ユーザが電子ペン２００を情報表示装置１００Ａに接触させるように動かしたことを条件としてペン入力アプリケーションを起動又は終了することにより、そのような誤動作の発生を抑制できる。

　［第２実施形態の変形例］
　第２実施形態において、情報表示装置１００Ａのセンサ１５０は、さらに照度センサを含んでいてもよい。照度センサは、受光素子を含み、受光素子に入射した光の量を検出する。情報表示装置１００Ａのコントローラ１８０は、電子ペン２００が情報表示装置１００Ａに接触したか否かの判定（図１２のステップＳ２１０５）に加えて、照度センサが一定の明るさを検出しているか否かを判定してもよい。

　そして、情報表示装置１００Ａのコントローラ１８０は、電子ペン２００が情報表示装置１００Ａに接触したと判定され、且つ照度センサが一定の明るさを検出している場合に、ペン入力アプリケーションを起動してもよい。これにより、情報表示装置１００Ａが鞄の中やポケットの中にあるときにペン入力アプリケーションが誤って起動することを抑制できる。

　第２実施形態において、情報表示装置１００Ａのコントローラ１８０は、電子ペン２００が情報表示装置１００Ａに接触したか否かの判定（図１２のステップＳ２１０５）に加えて、カメラ１４０の撮像による顔認識結果に基づいて、ユーザが表示部１１２（タッチスクリーンディスプレイ１１０）を注視しているかを判定してもよい。

　そして、情報表示装置１００Ａのコントローラ１８０は、電子ペン２００が情報表示装置１００Ａに接触したと判定され、且つユーザが表示部１１２（タッチスクリーンディスプレイ１１０）を注視していると判定された場合に、ペン入力アプリケーションを起動してもよい。これにより、誤動作をさらに抑制できる。

　第２実施形態において、画面ロック状態において、起動モーションによりペン入力アプリケーションを起動する一例について説明した。しかしながら、画面ロック状態が解除された直後の状態（すなわち、ホーム画面）において、起動モーションによりペン入力アプリケーションを起動してもよい。

［第３実施形態］
　第３実施形態について、第１実施形態及び第２実施形態との相違点を主として説明する。

　電子機器を介して第１のユーザと第２のユーザとが異言語間の会話を行う場合、下記のようなやり取りがなされることが多い。

　まず、第１のユーザが電子機器を自身の口元に近づけて音声を発した後、第１のユーザが電子機器を第２のユーザに手渡して、電子機器による翻訳結果を第２のユーザに提示する。

　次に、第２のユーザが電子機器を自身の口元に近づけて音声を発した後、第２のユーザが電子機器を第１のユーザに手渡して、電子機器による翻訳結果を第１のユーザに提示する。

　このようなやり取りを繰り返すことで異言語間の会話が可能になるものの、電子機器の手渡しに起因する会話のタイムラグが生じ、円滑な会話を行うことが難しいという問題がある。

　そこで、第３実施形態は、異言語間の会話を円滑化することを目的とする。

　（電子機器の構成）
　以下において、第３実施形態に係る電子機器１００Ｂの構成について説明する。

　第３実施形態に係る電子機器は、例えばスマートフォン端末又はタブレット端末のような端末とすることができる。しかしながら、電子機器はそのような端末に限定されるものではなく、例えばパーソナルコンピュータ、ウェアラブルデバイス、又は車載電子機器等であってもよい。

　図１６は、第３実施形態に係る電子機器１００Ｂの外観図である。

　図１６に示すように、電子機器１００Ｂは、タッチスクリーンディスプレイ１１０と、マイク１２０と、スピーカ１３０と、カメラ１４０とを有する。

　タッチスクリーンディスプレイ１１０は、その表示面が電子機器１００Ｂの筐体１０１から露出して設けられる。タッチスクリーンディスプレイ１１０は、タッチパネル１１１と、表示部（ディスプレイ）１１２とを有する。

　タッチパネル１１１は、電子機器１００Ｂへの操作入力を受け付ける。タッチパネル１１１は、指示体としてのユーザの指又は入力ペン等の接触を検出する。接触を検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。

　第３実施形態に係るタッチスクリーンディスプレイ１１０において、表示部１１２はタッチパネル１１１と重なるように設けられており、表示部１１２の表示領域はタッチパネル１１１と重複している。しかしながら、表示部１１２及びタッチパネル１１１が互いに重なるように設けられることに代えて、表示部１１２及びタッチパネル１１１を並べて配置されてもよいし、離して配置されてもよい。

　電子機器１００Ｂは、タッチスクリーンディスプレイ１１０により検出された接触の位置、接触が行われた時間、接触が行われた位置の経時変化に基づいて、ジェスチャの種類を判別する。ジェスチャは、タッチスクリーンディスプレイ１１０に対して行われる操作である。電子機器１００Ｂによって判別されるジェスチャには、タッチ、リリース、タップ等が含まれる。

　タッチは、タッチスクリーンディスプレイ１１０に指が触れるジェスチャである。電子機器１００Ｂは、タッチスクリーンディスプレイ１１０に指が接触するジェスチャをタッチとして判別する。

　リリースは、指がタッチスクリーンディスプレイ１１０から離れるジェスチャである。電子機器１００Ｂは、指がタッチスクリーンディスプレイ１１０から離れるジェスチャをリリースとして判別する。

　タップは、タッチに続いてリリースをするジェスチャである。電子機器１００Ｂは、タッチに続いてリリースをするジェスチャをタップとして判別する。

　マイク１２０は、電子機器１００Ｂへの音声入力を受け付ける。マイク１２０は、周囲の音声を集音する。

　カメラ１４０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。カメラ１４０は、タッチスクリーンディスプレイ１１０に面している物体を撮影するインカメラである。電子機器１００Ｂは、さらに、タッチスクリーンディスプレイ１１０の反対側の面に面している物体を撮影するアウトカメラを備えていてもよい。

　図１７は、第３実施形態に係る電子機器１００Ｂの機能構成を示すブロック図である。

　図１７に示すように、電子機器１００Ｂは、タッチパネル１１１と、表示部１１２と、音声入力部１２１と、音声出力部１３１と、カメラ１４０と、記憶部１５０と、通信インターフェイス１６０と、コントローラ１７０とを有する。

　タッチパネル１１１は、検出された指示体での接触操作に対応する信号をコントローラ１７０に入力する。

　表示部１１２は、コントローラ１７０から入力された信号に基づいて、文字、画像、図形等のオブジェクトを画面上に表示する。

　音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１７０に入力する。音声入力部１２１は、上記のマイク１２０を含む。また、音声入力部１２１は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線又は有線で接続される。入力インターフェイスに接続されるマイクは、例えば電子機器１００Ｂに接続可能なイヤホン等に備えられるマイクである。

　音声出力部１３１は、コントローラ１７０から入力された信号に基づいて、音声を出力する。音声出力部１３１は、上記のスピーカ１３０を含む。また、音声出力部１３１は、外部のスピーカを接続可能な出力インターフェイスであってもよい。外部のスピーカは無線又は有線で接続される。出力インターフェイスに接続されるスピーカは、例えば電子機器に接続可能なイヤホン等に備えられるスピーカである。

　カメラ１４０は、撮像した画像を電子信号に変換してコントローラ１７０に入力する。

　記憶部１５０は、プログラム及びデータを記憶する。記憶部１５０は、コントローラ１７０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。

　また、記憶部１５０は、複数の種類の記憶媒体を含んでよい。記憶部１５０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１５０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ
　Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

　記憶部１５０に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。

　記憶部１５０に記憶されるプログラムには、音声翻訳アプリケーションが含まれる。音声翻訳アプリケーションは、音声認識処理及び他言語への翻訳処理を行い、翻訳結果を提示するアプリケーションである。また、記憶部１５０は、音声翻訳アプリケーションが音声認識処理及び翻訳処理を行うためのデータベースを記憶する。音声翻訳アプリケーションは、外部のサーバと連携して音声認識処理及び翻訳処理を行ってもよい。

　通信インターフェイス１６０は、無線により通信する。通信インターフェイス１６０によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラー通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ　Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。

　コントローラ１７０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。コントローラ１７０は、電子機器１００Ｂの動作を統括的に制御して各種の機能を実現する。

　コントローラ１７０は、自機が外部機器と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ１７０は、通信インターフェイス１６０を介して外部機器と通信する。接続される外部機器は、例えば上記のイヤホンや、ヘッドセット、マイク付きの車載スピーカ、マイク及びスピーカ付きの入力ペン（電子ペン）である。但し、無線接続の通信規格、外部機器はともにこれらに限定されない。以下において、接続される外部機器が電子ペンである一例について説明する。

　コントローラ１７０は、タッチパネル１１１が検出した接触操作等に応じて入力される信号に基づいて、各種制御を実行する。例えば、コントローラ１７０は、入力された信号に応じた出力を音声出力部１３１や表示部１１２等によって行う。また、コントローラ１７０は、電子機器１００Ｂの機能の実行や設定の変更を行う。

　コントローラ１７０は、自機が外部機器と接続されている場合において、音声翻訳アプリケーションにより第１の処理及び第２の処理を実行する。

　第１の処理は、音声入力部１２１により得られた第１の言語の音声データを第２の言語の音声データに変換（翻訳）するとともに、該第２の言語の音声データを通信インターフェイス１６０を介して外部機器に送信する処理である。第１の処理は、第２の言語の音声データに対応する音声を外部機器に出力させる処理を含んでもよい。

　第２の処理は、外部機器により得られた第２の言語の音声データを通信インターフェイス１６０を介して電子ペン２００から受信し、該第２の言語の音声データを第１の言語の音声データに変換（翻訳）するとともに、該第１の言語の音声データに対応する音声を音声出力部１３１に出力させる処理である。

　ここで、第１の言語及び第２の言語は、互いに異なる言語であればどのような言語であってもよいが、例えば、第１の言語は日本語であり、第２の言語は英語である。コントローラ１７０は、タッチパネル１１１が受け付けた操作入力に応じて第１の言語及び第２の言語を設定してもよい。例えば、コントローラ１７０は、第１の言語及び第２の言語の選択肢を表示部１１２に表示させ、これらの選択肢の中から第１の言語及び第２の言語を選択する操作入力をタッチパネル１１１が受け付けると、選択された第１の言語及び第２の言語を設定する。

　或いは、コントローラ１７０は、制御プログラム（オペレーティングシステム）にデフォルトの言語として登録された言語を第１の言語として自動で設定してもよい。この場合、コントローラ１７０は、操作入力に応じて第２の言語を設定すればよい。

　（電子ペンの構成）
　第３実施形態に係る電子ペン２００は、電子機器１００Ｂのタッチパネル１１１に対する入力操作に利用可能な入力ペンである。

　図１８は、第３実施形態に係る電子ペン２００の機能構成を示すブロック図である。

　図１８に示すように、電子ペン２００は、操作部２１０と、マイク２２０と、スピーカ２３０と、記憶部２４０と、通信インターフェイス２５０と、コントローラ２６０とを有する。

　操作部２１０は、検出された押下操作に対応する信号をコントローラ２６０に入力する。

　マイク２２０は、周囲の音声を集音する。マイク２２０は、電子ペン２００への音声入力を受け付け、入力を受け付けた音声に対応する信号をコントローラ２６０に入力する。

　スピーカ２３０は、音声出力を行う。スピーカ２３０は、電話の音声や各種プログラムの情報等を音声で出力する。スピーカ２３０は、コントローラ２６０から入力された信号に基づいて、音声を出力する。

　記憶部２４０は、プログラム及びデータを記憶する。記憶部２４０は、コントローラ２６０の処理結果を一時的に記憶する作業領域としても利用される。記憶部２４０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。

　また、記憶部２４０は、複数の種類の記憶媒体を含んでよい。記憶部２４０は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部２４０は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

　通信インターフェイス２５０は、無線により通信する。通信インターフェイス２５０によってサポートされる無線通信規格には、例えば、上記のセルラー通信規格や近距離無線の通信規格等がある。

　コントローラ２６０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。コントローラ２６０は、電子ペン２００の動作を統括的に制御して各種の機能を実現する。

　コントローラ２６０は、自機が電子機器１００Ｂと接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ２６０は、通信インターフェイス２５０を介して電子機器１００Ｂと通信する。

　コントローラ２６０は、操作部２１０が検出した押下操作等に応じて入力される信号に基づいて、各種制御を実行する。コントローラ２６０は、自機が電子機器１００Ｂと接続されている場合において、通信インターフェイス２５０を介して音声データを電子機器１００Ｂと送受信する。

　コントローラ２６０は、通信インターフェイス２５０を介して第２の言語の音声データを電子機器１００Ｂから受信すると、受信した音声データをスピーカ２３０に出力させる。また、コントローラ２６０は、マイク２２０により得られた第２の言語の音声データを、通信インターフェイス２５０を介して電子機器１００Ｂに送信する。

　（電子機器及び電子ペンの動作）
　図１９は、第３実施形態に係る電子機器１００Ｂ及び電子ペン２００の動作を示すフロー図である。本動作フローは、電子機器１００Ｂが電子ペン２００との無線接続（例えば、近距離無線通信の無線接続）を設定しており、且つ電子機器１００Ｂが音声翻訳アプリケーションを起動することにより開始される。本動作フローにおいて、電子機器１００Ｂがマスタとなり、スレーブとしての電子ペン２００を制御する。

　また、本動作フローにおいて、電子機器１００Ｂは第１のユーザにより把持されており、電子機器１００Ｂは第２のユーザにより把持されている。

　図１９に示すように、ステップＳ３１０１において、電子機器１００Ｂの音声入力部１２１は、第１のユーザから第１の言語の音声の入力を受け付け、入力を受け付けた音声に対応する信号（音声データ）をコントローラ１７０に出力する。

　ステップＳ３１０２において、電子機器１００Ｂのコントローラ１７０は、音声入力部１２１から入力された第１の言語の音声データを第２の言語の音声データに変換する。

　ステップＳ３１０３において、電子機器１００Ｂのコントローラ１７０は、第１の言語の音声データを変換して得られた第２の言語の音声データを、通信インターフェイス１６０を介して電子ペン２００に送信する。ここで、電子機器１００Ｂのコントローラ１７０は、第１の言語の音声データを変換して得られた第２の言語の音声データを音声出力部１３１に出力させない。

　電子ペン２００のコントローラ２６０は、電子機器１００Ｂから通信インターフェイス２５０を介して第２の言語の音声データを受信する。

　ステップＳ３１０４において、電子ペン２００のコントローラ２６０は、電子機器１００Ｂから受信した第２の言語の音声データをスピーカ２３０に出力することにより、当該音声データに対応する音声をスピーカ２３０に出力させる。

　ステップＳ３１０５において、電子ペン２００のマイク２２０は、第２のユーザから第２の言語の音声の入力を受け付け、入力を受け付けた音声に対応する信号（音声データ）をコントローラ２６０に出力する。

　ステップＳ３１０６において、電子ペン２００のコントローラ２６０は、マイク２２０から入力された第２の言語の音声データを、通信インターフェイス２５０を介して電子機器１００Ｂに送信する。

　電子機器１００Ｂのコントローラ１７０は、電子ペン２００から通信インターフェイス１６０を介して第２の言語の音声データを受信する。

　ステップＳ３１０７において、電子機器１００Ｂのコントローラ１７０は、電子ペン２００から受信した第２の言語の音声データを第１の言語の音声データに変換する。

　ステップＳ３１０８において、電子機器１００Ｂのコントローラ１７０は、第２の言語の音声データを変換して得られた第１の言語の音声データを音声出力部１３１に出力することにより、当該音声データに対応する音声を音声出力部１３１に出力させる。ここで、電子機器１００Ｂのコントローラ１７０は、第２の言語の音声データを変換して得られた第１の言語の音声データを電子ペン２００に送信しない。

　その後、ステップＳ３１０９乃至Ｓ３１１６のように、ステップＳ３１０１乃至Ｓ３１０８の手順が繰り返されることにより、電子機器１００Ｂ及び電子ペン２００を介して、第１のユーザと第２のユーザとが異言語間の会話が行われる。なお、本動作フローでは、第１のユーザが先に音声を発するシナリオを想定しているが、第２のユーザが先に音声を発するシナリオにおいてはステップＳ５から動作が開始される。

　このような電子機器１００Ｂ及び電子ペン２００の動作によれば、電子機器１００Ｂを介して第１のユーザと第２のユーザとが異言語間の会話を行う際に、電子ペン２００が第２のユーザの近傍にある状態を維持できるため、従来のように第１のユーザと第２のユーザとの間で電子機器１００Ｂを頻繁に手渡す必要がない。よって、電子機器１００Ｂの手渡しに起因する会話のタイムラグが抑制され、円滑な会話を行うことが可能である。

　また、電子ペン２００は電子機器１００Ｂのタッチパネル１１１に対する入力操作に利用可能であるため、第１のユーザは、電子ペン２００を電子機器１００Ｂと一緒に持ち歩くことが想定される。電子ペン２００を上記の動作に用いることにより、ユーザの利便性を高めることができる。

　［その他の実施形態］
　上記の実施形態において、電子ペン２００が情報表示装置１００Ａ又は電子機器１００Ｂに収納可能である場合について特に触れなかったが、情報表示装置１００Ａ又は電子機器１００Ｂに電子ペン２００の収納部が設けられ、電子ペン２００が情報表示装置１００Ａ又は電子機器１００Ｂに収納可能であってもよい。

　情報表示装置１００Ａ又は電子機器１００Ｂが行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

　本願は、日本国特許出願第２０１８－２０３３１６号（２０１８年１０月２９日出願）、日本国特許出願第２０１８－２０３３１５号（２０１８年１０月２９日出願）、日本国特許出願第２０１８－２０３３１３号（２０１８年１０月２９日出願）、日本国特許出願第２０１８－２０３３１１号（２０１８年１０月２９日出願）、及び日本国特許出願第２０１８－２０３３１７号（２０１８年１０月２９日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims

　指示体による手書き入力を受け付けるタッチパネルと、
　前記タッチパネルが受け付けた手書きの軌跡を表示する表示部と、
　音声コマンドを含む音声入力を受け付ける音声入力部と、
　手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部における手書きの軌跡の表示態様を制御するコントローラと、を備える
　情報表示装置。
　前記コントローラは、
　前記手書き入力状態において前記音声入力部が入力を受け付けた前記音声コマンドに応じて、前記表示部における前記手書きの軌跡の表示態様を段階的に変更する
　請求項１に記載の情報表示装置。
　前記コントローラは、
　前記手書き入力状態において前記音声入力部が前記音声コマンドの入力を繰り返し受け付けると、前記手書きの軌跡の表示態様を段階的に変更する
　請求項２に記載の情報表示装置。
　前記表示部は、前記手書きの軌跡として文字又は図形を表示し、
　前記コントローラは、
　前記手書き入力状態において前記音声入力部が入力を受け付けた前記音声コマンドに応じて、前記表示部が表示する文字又は図形の表示態様を変更し、
　前記表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む
　請求項１に記載の情報表示装置。
　前記指示体は、マイクを有しており且つ前記情報表示装置と通信可能な電子ペンであり、
　前記音声入力部は、前記マイクに入力される音声に応じた音声コマンドを含む音声データを前記電子ペンから取得することにより、前記音声入力を受け付ける
　請求項１乃至４のいずれか１項に記載の情報表示装置。
　前記表示部は、情報を表示する表示面を有し、
　前記タッチパネルは、前記表示面に対する前記指示体のタッチを検知し、
　前記手書き入力状態は、前記表示面に前記指示体がタッチしているタッチ状態を含む
　請求項１乃至５のいずれか１項に記載の情報表示装置。
　前記手書き入力状態は、前記表示面から前記指示体が離れたタイミングから所定時間が経過するまでの間の非タッチ状態をさらに含む
　請求項６に記載の情報表示装置。
　前記手書き入力状態は、前記表示面に前記指示体がタッチするタイミングから所定時間前までの非タッチ状態をさらに含む
　請求項６又は７に記載の情報表示装置。
　前記コントローラは、前記手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部における手書きの軌跡を削除する
　請求項１乃至８のいずれか１項に記載の情報表示装置。
　前記コントローラは、前記手書き入力状態において、
　　前記音声入力部が受け付けた前記音声入力に含まれる音声コマンドを認識し、
　　所定の音声コマンドを認識したことに応じて、前記表示部における前記手書きの軌跡の表示態様を変更する
　請求項１乃至９のいずれか１項に記載の情報表示装置。
　前記コントローラは、手書き入力アプリケーションが起動されたことに応じて、前記音声入力部が受け付けた音声入力に含まれる音声コマンドを認識するための音声認識処理を開始する
　請求項１０に記載の情報表示装置。
　前記コントローラは、前記手書き入力アプリケーションが終了されたことに応じて、前記音声認識処理を終了する
　請求項１１に記載の情報表示装置。
　前記指示体は、操作部を有しており且つ前記情報表示装置と通信可能な電子ペンであり、
　前記コントローラは、前記手書き入力アプリケーションが起動されており、且つ前記操作部に対して第１の操作がなされたことに応じて、前記音声認識処理を開始する
　請求項１１又は１２に記載の情報表示装置。
　前記コントローラは、前記操作部に対して第２の操作がなされたことに応じて、前記音声認識処理を終了する
　請求項１３に記載の情報表示装置。
　前記指示体は、筆圧センサを有しており且つ前記情報表示装置と通信可能な電子ペンであり、
　前記コントローラは、前記手書き入力アプリケーションが起動されており、且つ前記筆圧センサが圧力を検出したことに応じて、前記音声認識処理を開始する
　請求項１１又は１２に記載の情報表示装置。
　前記コントローラは、前記筆圧センサが圧力を検出しなくなったことに応じて、前記音声認識処理を終了する
　請求項１５に記載の情報表示装置。
　請求項１乃至１６のいずれか１項に記載の指示体として機能する
　電子ペン。
　指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に用いる表示制御方法であって、
　手書き入力状態において、音声コマンドを含む音声入力を受け付けることと、
　前記タッチパネルが受け付けた手書きの軌跡を表示することと、
　前記音声入力を受け付けることにおいて入力を受け付けた音声コマンドに応じて、前記軌跡を表示することにおいて手書きの軌跡の表示態様を制御することと、を含む
　表示制御方法。
　指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に、
　手書き入力状態において、音声コマンドを含む音声入力を受け付けることと、
　前記タッチパネルが受け付けた手書きの軌跡を表示することと、
　前記音声入力を受け付けることにおいて入力を受け付けた音声コマンドに応じて、前記軌跡を表示することにおいて手書きの軌跡の表示態様を制御することと、を実行させる
　表示制御プログラム。
　電子ペンと、
　前記電子ペンによる手書き入力を受け付けるタッチパネルを有する情報表示装置と、を備え、
　前記電子ペンは、
　加速度又は筆圧を検出するための第１センサと、
　前記第１センサの検出結果に応じたデータを前記情報表示装置に送信する送信部と、を有し、
　前記情報表示装置は、
　前記電子ペンから前記データを受信する受信部と、
　前記受信部が受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動するプロセッサと、を有する
　ペン入力システム。
　前記情報表示装置が画面ロック状態にあるときに前記受信部が前記データを受信した場合、前記プロセッサは、前記受信部が受信する前記データに基づいて、前記画面ロック状態を解除するとともに、前記アプリケーションを起動する
　請求項２０に記載のペン入力システム。
　前記電子ペンは、
　前記第１センサの検出結果に基づいて、前記アプリケーションを起動させる起動コマンドを生成する起動コマンド生成部をさらに有し、
　前記送信部は、前記起動コマンド生成部により生成された前記起動コマンドを前記データとして前記情報表示装置に送信する
　請求項２０又は２１に記載のペン入力システム。
　前記情報表示装置は、前記情報表示装置に加わる加速度又は振動を検出するための第２センサをさらに有し、
　前記プロセッサは、前記受信部が受信する前記データと、前記第２センサの検出結果とに基づいて、前記電子ペンが前記情報表示装置に接触したと判定される場合に、前記アプリケーションを起動する
　請求項２０乃至２２のいずれか１項に記載のペン入力システム。
　前記プロセッサは、前記受信部が受信する前記データと、前記タッチパネルの検出結果とに基づいて、前記電子ペンが前記情報表示装置に接触したと判定される場合に、前記アプリケーションを起動する
　請求項２０乃至２２のいずれか１項に記載のペン入力システム。
　前記情報表示装置は、自機の周囲の明るさを検出するための照度センサをさらに有し、
　前記プロセッサは、前記電子ペンが前記情報表示装置に接触したと判定され、且つ前記照度センサが一定の明るさを検出している場合に、前記アプリケーションを起動する
　請求項２３又は２４に記載のペン入力システム。
　前記アプリケーションを起動した後、前記プロセッサは、前記受信部が受信する前記データに基づいて、前記アプリケーションを終了する
　請求項２０に記載のペン入力システム。
　前記電子ペンは、
　前記第１センサの検出結果に基づいて、前記アプリケーションを終了させる終了コマンドを生成する終了コマンド生成部をさらに有し、
　前記送信部は、前記終了コマンド生成部により生成された前記終了コマンドを前記データとして前記情報表示装置に送信する
　請求項２６に記載のペン入力システム。
　前記情報表示装置は、前記情報表示装置に加わる加速度又は振動を検出するための第２センサをさらに有し、
　前記アプリケーションを起動した後、前記プロセッサは、前記受信部が受信する前記データと、前記第２センサの検出結果とに基づいて、前記電子ペンが前記情報表示装置における前記タッチパネル以外の箇所に接触したと判定される場合に、前記アプリケーションを終了する
　請求項２６又は２７に記載のペン入力システム。
　電子ペンによる手書き入力を受け付けるタッチパネルと、
　前記電子ペンから、前記電子ペンに加わる加速度、又は筆圧の検出結果に応じたデータを受信する受信部と、
　前記受信部が受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動するプロセッサと、を備える
　情報表示装置。
　情報表示装置が有するタッチパネルに対する手書き入力に用いられる電子ペンであって、
　前記電子ペンに加わる加速度、又は筆圧を検出するためのセンサと、
　前記センサの検出結果に応じたデータを前記情報表示装置に送信する送信部と、を備え、
　前記データは、前記手書き入力を行うためのアプリケーションを前記情報表示装置に起動させるために用いられる
　電子ペン。
　電子ペンによる手書き入力を受け付けるタッチパネルを有する情報表示装置の制御方法であって、
　前記電子ペンから、前記電子ペンに加わる加速度、又は筆圧の検出結果に応じたデータを受信することと、
　前記受信することにおいて受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動することと、を含む
　制御方法。
　電子ペンによる手書き入力を受け付けるタッチパネルを有する情報表示装置に、
　前記電子ペンから、前記電子ペンに加わる加速度、又は筆圧の検出結果に応じたデータを受信することと、
　前記受信することにおいて受信する前記データに基づいて、前記電子ペンによる前記手書き入力を行うためのアプリケーションを起動することと、を実行させる
　プログラム。
　音声の入出力が可能な外部機器を制御する電子機器であって、
　音声入力部と、
　音声出力部と、
　前記外部機器との無線接続を設定する通信インターフェイスと、
　前記通信インターフェイスを介して前記外部機器と通信するプロセッサと、を備え、
　前記プロセッサは、
　前記音声入力部により得られた第１の言語の音声データを第２の言語の音声データに変換するとともに、該第２の言語の音声データを前記通信インターフェイスを介して前記外部機器に送信する第１の処理と、
　前記外部機器により得られた前記第２の言語の音声データを前記通信インターフェイスを介して前記外部機器から受信し、該第２の言語の音声データを前記第１の言語の音声データに変換するとともに、該第１の言語の音声データに対応する音声を前記音声出力部に出力させる第２の処理と、を実行する
　電子機器。
　前記第１の処理は、前記第２の言語の音声データに対応する音声を前記外部機器に出力させる処理を含む
　請求項３３に記載の電子機器。
　タッチパネルをさらに備え、
　前記外部機器は、前記タッチパネルに対する入力操作に利用可能な電子ペンである
　請求項３３又は３４に記載の電子機器。
　前記プロセッサは、
　前記第１の処理において、前記第１の言語の音声データを変換して得られた前記第２の言語の音声データに対応する音声を、前記音声出力部に出力させることなく、前記第２の言語の音声データを前記外部機器に送信し、
　前記第２の処理において、前記第２の言語の音声データを変換して得られた前記第１の言語の音声データを前記外部機器に送信することなく、前記第１の言語の音声データに対応する音声を前記音声出力部に出力させる
　請求項３３又は３４に記載の電子機器。
　請求項３３に記載の外部機器として機能する
　電子ペン。
　音声入力部と音声出力部とを有する電子機器に用いられる方法であって、
　音声の入出力が可能な外部機器との無線接続を設定することと、
　前記無線接続を介して外部機器を制御することと、
　前記音声入力部により得られた第１の言語の音声データを第２の言語の音声データに変換するとともに、該第２の言語の音声データを前記無線接続を介して前記外部機器に送信することと、
　前記外部機器により得られた前記第２の言語の音声データを前記無線接続を介して前記外部機器から受信することと、
　前記受信された第２の言語の音声データを前記第１の言語の音声データに変換するとともに、該第１の言語の音声データに対応する音声を前記音声出力部に出力させることと、を含む
　方法。
　音声入力部と音声出力部とを有する電子機器に、
　音声の入出力が可能な外部機器との無線接続を設定することと、
　前記無線接続を介して外部機器を制御することと、
　前記音声入力部により得られた第１の言語の音声データを第２の言語の音声データに変換するとともに、該第２の言語の音声データを前記無線接続を介して前記外部機器に送信することと、
　前記外部機器により得られた前記第２の言語の音声データを前記無線接続を介して前記外部機器から受信することと、
　前記受信された第２の言語の音声データを前記第１の言語の音声データに変換するとともに、該第１の言語の音声データに対応する音声を前記音声出力部に出力させることと、を実行させる
　プログラム。