JPWO2020039479A1 - 端末装置、プログラム、方法、及びシステム - Google Patents

Abstract

【課題】あらかじめ端末装置における処理を開始し、実際に端末装置に操作入力がなされてから処理が完了するまでの時間をより短縮しうる、端末装置を提供する。【解決手段】ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、前記ユーザの意思を検出可能なセンサ装置から、前記ユーザの意思情報を受信する外部通信インターフェイスと、前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサと、を含む端末装置である。【選択図】 図１

Description

本開示は、検出されたユーザの意思を利用した端末装置、プログラム、方法、及びシステムに関する。

ヒトは、外部から刺激を受けると、感覚受容器でその刺激を知覚し、判断し、なすべきことをデザインし、最終的に末梢の筋肉を収縮させ動作する。そして、一般的に、この刺激から動作まで何ら負荷のない状況でさえ２００ミリ秒の時間を要することが知られていた（非特許文献１）。例えばスマートフォンに代表されるような端末装置の操作においては、端末装置以外からも様々な刺激を受けそれによる判断が必要とされる状況下で操作されるため、ディスプレイから何らかの刺激を受けて指示入力を与えるまでに、２００ミリ秒以上の時間を要することが容易に考えられる。

また、入力インターフェイスにおいては、筋肉を収縮させ動作を開始してからも、手指やマウスの移動、位置決め、タッチ（クリック）などの各タスクをこなす必要があり、全てを完結させるのに２００ミリ秒〜１２００ミリ秒もの時間を要することが知られている（非特許文献２）

一方、従来より、ユーザの脳波を検出して、測定された脳波に基づいてユーザの意図を測り、様々な機器を操作し得ることが知られていた。たとえば、特許文献１には、ユーザの脳波によりユーザの注意領域及び注意度を測定し、電動車椅子の移動方向や速度を制御することが記載されている。

特開２０１５−１５６９１２号公報

川村仁視ら「『反応時間の筋電図学的研究』 Ｉ」 愛知工業大学研究報告 Ｎｏ．７，３３〜４３頁，１９７２年３月３０日発行 駒崎雅信「タッチスクリーンにおける人のポインティング特性に関する研究」 電気通信大学博士論文，２００８年９月

そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、ユーザが端末装置に対して操作することをデザインしてから動作が完了するまでの時間を利用して、あらかじめ端末装置における処理を開始し、実際に端末装置に操作入力がなされてから処理が完了するまでの時間をより短縮しうる、端末装置、プログラム、方法、及びシステムを提供する。

本開示の一態様によれば、「ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、有線又は無線により接続され、かつ前記ユーザの意思を検出可能なセンサ装置から、少なくとも一つの操作入力をする前記ユーザの意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、前記指示命令に基づいて、前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサと、を含む端末装置」が提供される。

本開示の一態様によれば、「ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、有線又は無線により接続され、かつ前記ユーザの意思を検出可能なセンサ装置から、少なくとも一つの操作入力をする前記ユーザの意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータを、前記指示命令に基づいて、前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサ、として機能させるプログラム」が提供される。

本開示の一態様によれば、「ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、有線又は無線により接続され、かつ前記ユーザの意思を検出可能なセンサ装置から、少なくとも一つの操作入力をする前記ユーザの意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータにおいて、前記プロセッサが前記指示命令を実行することによりなされる方法であって、前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定する段階と、前記特定された操作入力に対応する処理を開始する段階と、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をする段階と、を含む方法」が提供される。

本開示の一態様によれば、「いずれかの端末装置と、前記端末装置に有線又は無線により接続され、かつ前記端末装置の入力インターフェイスに一又は複数の操作入力をするユーザの意思を検出可能なセンサ装置と、を含む、システム」が提供される。

本開示の一態様によれば、「ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、有線又は無線により接続され、かつ一又は複数の電極で検出された前記ユーザの意思を示す信号を受信する外部通信インターフェイスと、所定の指示命令を記憶するとともに、前記信号と前記ユーザの意思との対応関係を記憶するメモリと、前記指示命令に基づいて、前記入力インターフェイスにより前記操作入力を受け付ける前に、受信した前記信号と前記メモリに記憶された前記対応関係とから前記ユーザの意思情報を生成し、生成された前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサと、を含む端末装置」が提供される。

本開示の様々な実施形態によれば、ユーザが端末装置に対して操作することをデザインしてから動作が完了するまでの時間を利用して、あらかじめ端末装置における処理を開始し、実際に端末装置に操作入力がなされてから処理が完了するまでの時間をより短縮しうる、端末装置、プログラム、方法、及びシステムを提供することができる。

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

図１は、本開示の様々な実施形態に係るシステムにおける処理を概念的に示す図である。 図２は、本開示の第１実施形態に係るシステムにおける処理を概念的に示す図である。 図３は、本開示の第１実施形態に係るシステム１の構成の例を示すブロック図である。 図４は、本開示の第１実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図５は、本開示の第１実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。 図６は、本開示の第１実施形態にかかる端末装置１００において実行される処理フローを示す図である。 図７は、本開示の第２実施形態に係るシステムにおける処理を概念的に示す図である。 図８は、本開示の第２実施形態に係る端末装置１００のメモリ１１３に記憶されるアイコンテーブルを概念的に示す図である。 図９は、本開示の第２実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。 図１０は、本開示の第２実施形態にかかる端末装置１００において実行される処理フローを示す図である。 図１１Ａは、本開示の第２実施形態にかかるタッチセンサ１１５による操作入力の受け付けを概念的に示す図である。 図１１Ｂは、本開示の第２実施形態にかかるタッチセンサ１１５による操作入力の受け付けを概念的に示す図である。

添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

＜本開示に係るシステムの概要＞
図１は、本開示の様々な実施形態に係るシステムにおける処理を概念的に示す図である。図１によると、当該システムでは、ユーザ１１に取り付けた脳波センサ装置２００により検出した脳波に基づいて、ユーザ１１の操作入力をするという意思を検出し、その検出結果に応じて、実際にユーザが入力インターフェイス（タッチセンサ１１５）に操作入力するよりも前に、ユーザ１１が入力しようとする操作に対応する処理を開始し、実際に操作入力が行われた場合には、既に開始された処理内容をそのまま利用して、順次処理をする。

その一例としては、ユーザ１１に取り付けた脳波センサ装置２００で、タッチセンサ１１５を通じてスタートアイコンを押下するというユーザ１１の意思を検出すると、タッチセンサ１１５に実際に操作入力するよりも前に、前もってサーバー装置３００との通信を開始し、必要な情報の送受信を行う。そして、実際にユーザ１１の指示体１２（指）によりタッチセンサ１１５に操作入力がされると、あらかじめ送受信された情報の続きから、引き続き送受信を行う。このようにすることで、操作入力をするという判断を脳がなして実際に末梢の筋肉を収縮させ動作するまでの時間を有効に活用し、動作が完了したと知覚してから処理が完了するまでの時間を短縮させることが可能となる。

なお、本開示においては、「処理」の例として、ユーザ１１の操作入力によりサーバー装置３００との間で情報の送受信をする場合を挙げた。しかし、これに限らず、一定の時間を要する処理であれば、いかなる処理に対しても本開示に係るシステムを適用することが可能である。たとえば、他の例としては、ディスプレイ画面の描画処理、ユーザ等の認証処理、各アプリケーションの起動処理などが挙げられる。

＜第１実施形態＞
１．本開示の第１実施形態に係るシステム１の構成
図２は、本開示の第１実施形態に係るシステムにおける処理を概念的に示す図である。図２によると、ユーザ１１に取り付けた脳波センサ装置２００で、タッチセンサ１１５に対する画面のタッチ、又はハードキー１１６に対する押下をするというユーザ１１の意思を検出すると、実際に操作入力されるよりも前に、前もってサーバー装置３００との通信を開始し、必要な情報の送受信を行う。そして、実際にユーザ１１の指示体１２（指）によりタッチセンサ１１５にタッチがされるか、又はハードキー１１６が押下されると、あらかじめ送受信された情報の続きから、引き続き送受信を行う。このようにすることで、操作入力をするという判断を脳がなして実際に末梢の筋肉を収縮させて動作するまでの時間を有効に活用し、動作が完了したことを知覚してから処理が完了するまでの時間を短縮させることが可能となる。

図３は、本開示の第１実施形態に係るシステム１の構成の例を示すブロック図である。図３を参照すると、システム１は、端末装置１００と、当該端末装置１００と有線又は無線により通信可能に接続された脳波センサ装置２００とを含む。端末装置１００及び脳波センサ装置２００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。

端末装置１００は、一例としては、スマートフォンに代表される無線通信可能な携帯型の端末装置が挙げられる。しかし、それ以外にも、携帯型ゲーム機、フィーチャーフォン、携帯情報端末、ＰＤＡ、ラップトップパソコン、デスクトップパソコン、据え置き型ゲーム機、音楽プレイヤー、複合機やレーザープリンターなどの印刷装置、工作機械や製造機械などの操作装置、カーナビゲーションシステムや自動車などの車載装置など、他の装置や他のモジュールなどと情報の入出力が可能で、ユーザによる操作入力が可能な装置であれば、本実施形態に係るシステム１を好適に適用することが可能である。

図３によると、端末装置１００は、ディスプレイ１１１、プロセッサ１１２、メモリ１１３、タッチセンサ１１５及びハードキー１１６を含む入力インターフェイス１１４、並びにアンテナに接続された無線通信処理回路１１８及びＩ／Ｏポート１１９を含む外部通信インターフェイス１１７を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

ディスプレイ１１１は、プロセッサ１１２の指示に応じて、メモリ１１３に記憶された画像情報を読み出して各種表示を行う表示部として機能する。具体的には、ディスプレイ１１１は、例えば、図２の例においては、ゲームアプリケーションを起動した直後の画面において、ユーザからのスタート操作を受け付けるタイトル画面を表示する。また、特に図示はしないが、タイトル画面でタッチセンサ１１５又はハードキー１１６に対する操作入力を受け付けた場合には、当該ゲームアプリケーションのスタート画面を表示する。ディスプレイ１１１は、例えば液晶ディスプレイから構成される。

プロセッサ１１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ１１２は、メモリ１１３に記憶された指示命令、すなわち本実施形態に係るゲームアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムを処理する。具体的には、プロセッサ１１２は、脳波センサ装置２００から受信した「操作入力をする」というユーザの意思を示す意思情報に基づいて、入力インターフェイス１１４によりユーザの操作入力を実際に受け付ける前に、意思情報により特定される操作情報に対応する処理を実行する。また、プロセッサ１１２は、実際に入力インターフェイス１１４によりユーザの操作入力を受け付けると、当該操作入力により特定される操作情報に対応する処理を行う。このとき、プロセッサ１１２は、既に意思情報に基づいて処理を開始している場合には、既に処理された情報をそのまま利用して処理を行う。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成されても良い。また、画像処理を担うＧＰＵ等、他の種類のプロセッサを適宜組み合わせてもよい。

メモリ１１３は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）を含み、記憶部として機能する。ＲＯＭは、本実施形態に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本実施形態においては、特に図示はしないが、各操作入力（タッチ、長押し、スワイプ、ハードキーの押下）に対応づけて、各操作入力が検出されると実行される処理内容が記憶されている。また、必要に応じて、メモリ１１３には、例えばアイコンテーブルが記憶される。

入力インターフェイス１１４は、タッチセンサ１１５及びハードキー１１６を含み、ユーザからの様々な操作入力を受け付けるための入力部として機能する。タッチセンサ１１５は、ディスプレイ１１１に表示されたアイコンの操作や、ユーザによる文字列の入力など、ユーザからの各種操作入力の受け付けに利用される。タッチセンサ１１５は、ディスプレイ１１１を被覆するように配置され、ディスプレイ１１１の表示する画像データに対応して、指示体１２（ユーザの指やスタイラス等）の近接座標や接触座標の情報を出力する。タッチセンサ方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。本実施形態においては、ユーザの指示体１２の近接も検出するため、静電容量結合方式のタッチセンサ１１５を用いるのが好ましい。ハードキー１１６には公知のものを適宜利用することができる。

外部通信インターフェイス１１７は、無線通信処理回路１１８、及び当該無線通信処理装置に接続されたアンテナ、並びにＩ／Ｏポート１１９を含み、通信部として機能する。外部通信インターフェイス１１７は、遠隔に設置され、ネットワークを介して接続されたサーバー装置３００と、様々なアプリケーションの実行に必要なプログラムや、ユーザ情報、描画情報などの送受信を行う。特に本実施形態では、操作入力をするユーザの意思情報を脳波センサ装置から受信する。

無線通信処理回路１１８及びアンテナは、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。

Ｉ／Ｏポート１１９は、有線により接続された外部装置のＩ／Ｏポートと接続される。Ｉ／Ｏポート１１９は、シリアルポート、パラレルポート、ＵＳＢ等、所望の接続形式を採用することが可能である。

なお、本実施形態においては、脳波センサ装置２００との間で意思情報を含む様々な情報の送受信を行うが、この送受信は、無線通信処理回路１１８を介した無線通信と、Ｉ／Ｏポート１１９を介した有線通信とのいずれで行ってもよい。本実施形態にかかる端末装置１００を使用する場合、間隔受容器でその刺激を知覚し（ディスプレイ１１１上に表示された情報を認識し）、判断し、操作入力を決定し、最終的に末梢の筋肉を収縮させて動作（タッチセンサ１１５への操作入力）させるまでに２００ミリ秒以上の時間を要する。したがって、この時間を考慮して、脳波センサ装置２００との間の通信方式は、通信速度が早ければ早いほど好ましいが、一定以上の通信速度が確保できればよく、通信の安定性や速度の観点から適宜選択することが可能である。

また、図３によると、脳波センサ装置２００は、一又は複数の電極Ｅ１〜Ｅｎを含む脳波センサ２１１、メモリ２１２、プロセッサ２１３、外部通信インターフェイス２１４を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

脳波センサ２１１は、一又は複数の電極Ｅ１〜Ｅｎを含む。脳は、一般に大脳皮質が知覚、随意運動、思考、推理などの各機能をつかさどり、さらに大脳皮質の中でも各部位ごとに果たす役割が異なることが知られている。たとえば、端末装置１００の操作入力を指で行うには、眼窩前頭皮質、運動連合野、一次運動野の働きが必要となる。したがって、電極Ｅ１〜Ｅｎは、これらの活動部位に対応する頭皮上の位置に配置される。なお、電極Ｅ１〜Ｅｎの配置及び個数は、あらかじめ脳波センサ装置２００を用いて、ユーザの脳波のサンプリングを行い、入力インターフェイス１１４への操作を行うときに観測されるピークが最も強く検出される電極を適宜選択することで決定することも可能である。各電極Ｅ１〜Ｅｎから出力されるアナログ信号は適宜デジタル信号に変換されてその後の処理に用いられる。

メモリ２１２は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ等を含み、記憶部として機能する。ＲＯＭは、本実施形態に係る脳波センサ２１１の制御や端末装置１００への情報の送受信を実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ２１３により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本実施形態においては、メモリ２１２には、例えば操作特定テーブル（図４）が記憶される。

プロセッサ２１３は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ２１２に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ２１３は、メモリ２１２に記憶された指示命令を実行するためのプログラムを処理する。具体的には、プロセッサ２１３は、脳波センサ２１１から出力された脳波信号と、操作特定テーブルを参照し、あらかじめサンプリングされた脳波信号の特徴点との一致点を判定し、ユーザがどのような操作内容の入力を行おうとしていたのかを判定する。

外部通信インターフェイス２１４は、端末装置１００との情報の送受信のために用いられる通信部として機能する。したがって、外部通信インターフェイス２１４は、端末装置１００の外部通信インターフェイス１１７に対応して、無線通信処理回路１１８、当該無線通信処理装置に接続されたアンテナ、並びにＩ／Ｏポート１１９を適宜含む。

２．メモリ２１２に記憶された情報
図４は、本開示の第１実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を行う時の脳波信号の特徴点が記憶され、ユーザがどのような操作内容の入力を行おうとしていたのかの判定に用いられる。図４によると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが各種操作入力を入力インターフェイス１１４に対して行う時の脳波をサンプリングし、そこから得られた波形から各操作入力時の特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた操作入力の内容を示す情報である。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図４の操作特定テーブルに記憶された各特徴点とを比較し、「Ｔ１」の特徴点情報と一致した場合には、操作内容情報として「タッチ」入力が特定される。そして、脳波センサ装置２００からは、「タッチ」入力に対応する操作入力ＩＤ情報「Ｏ１」が意思情報として端末装置１００に出力される。

３．各装置間で実行される処理シーケンス
図５は、本開示の第１実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。具体的には、図５は、図２に示す「格闘ゲームＡ」のゲームアプリケーションを端末装置１００において起動しタイトル画面が表示されたときに行う操作入力の例であって、脳波センサ装置２００においてユーザの操作入力を行うという意思を検出し、その検出に基づいて生成された意思情報を脳波センサ装置２００が送信することによって開始される割り込み処理のシーケンスを示す。なお、図５は、図２のタイトル画面での操作入力をすることで行われるサーバー装置３００との情報の送受信の例を挙げた。しかし、これは単なる一例である。つまり、ユーザに知覚させる状況は、タイトル画面に限らず他の状況であってもよい。また、サーバー装置３００が関わらない処理を行ってもよいし、他のサーバー装置や他の端末装置が関わる処理を行ってもよい。

図５において、初期画面が表示されると、それを知覚したユーザは、スタートアイコン又は設定アイコンのいずれのアイコンに対して操作入力を行うかの判断を行う。そして、ユーザは、その判断の結果、スタートアイコンをタッチしてスタート画面に移行させるという意思決定を行う。この間、脳波センサ装置２００のプロセッサ２１３は、電極Ｅ１〜Ｅｎを有する脳波センサ２１１から出力される波形が有する特徴点を随時監視する（Ｓ１１）。プロセッサ２１３は、得られた特徴点を、その都度、図４に示す操作特定テーブルを参照し、あらかじめサンプリングされたユーザの操作入力が有する特徴点との一致を判定する。一致がなかった場合には、プロセッサ２１３は再び波形の監視処理に戻る。

一方、特徴点の一致があった場合には、プロセッサ２１３は、一致した特徴点と対応付けられた操作内容情報を参照しユーザが操作入力しようとした内容を特定する。本実施形態においては、上記のとおり、タッチセンサ１１５のタッチという操作入力をする意思決定が行われているので、操作入力ＩＤ情報が「Ｏ１」の特徴点と一致する。したがって、プロセッサ２１３は、操作入力ＩＤ情報として「Ｏ１」を少なくとも含む意思情報を生成し、当該意思情報（Ｔ１１）を、外部通信インターフェイス２１４を介して端末装置１００に送信するよう制御する。

次に、端末装置１００は、スタート画面におけるタッチセンサ１１５へのタッチにあらかじめ対応付けられた処理を開始する（Ｓ１２）。本実施形態においては、まず、端末装置１００は、サーバー装置３００へ、メモリ１１３に記憶されたユーザ情報（Ｔ１２）を送信する。そして、これを受信したサーバー装置３００は、ユーザの認証処理を行い（Ｓ１３）、「格闘ゲームＡ」のゲームアプリケーションの正当なユーザであると認証がされると、サーバー装置３００に記憶された当該ユーザのゲームデータ（Ｔ１３）を端末装置１００に送信する。

端末装置１００は、サーバー装置３００から送信されたゲームデータを順次受信する（Ｓ１４）。ゲームデータの受信が完了すると、端末装置１００は、受信したゲームデータや、メモリ１１３に記憶されたスタート画面の描画情報を利用して、ディスプレイ１１１にスタート画面を表示するための描画処理を開始する（Ｓ１５）。

次に、入力インターフェイス１１４からタッチ検出の割り込みを受信すると（Ｓ１６）、端末装置１００は、タッチ検出に対応付けられた処理を行う（Ｓ１７）。このとき、Ｔ１１で送信されたタッチセンサ１１５へのタッチという意思情報と、実際の操作入力とが一致する場合には、Ｓ１２以降により既に開始した処理の結果をそのまま利用して、Ｓ１７の処理を行う。

なお、本実施形態では、入力インターフェイス１１４でのタッチ検出の割り込みをＳ１５の後に受信した場合について説明した。しかし、当該割り込みはＳ１２以降のどのタイミングでも受信し得る。したがって、例えば割り込みをＳ１４の後に受信した場合には、Ｓ１７の処理をゲームデータの受信の途中から再開するようにしてもよい。

また、本実施形態では、タイトル画面において、「タッチセンサ１１５をタッチする」という意思情報を受信する場合について説明した。しかし、例えば、ハードキー１１６を押下する」という意思情報を受信した場合でも、同様の処理を行うことが可能である。

４．端末装置１００で実行される処理フロー
図６は、本開示の第１実施形態にかかる端末装置１００において実行される処理フローを示す図である。具体的には、当該処理フローは、脳波センサ装置２００から意思情報を受信することによって開始される割り込み処理に関する。

図６によると、プロセッサ１１２が、外部通信インターフェイス１１７を介して、脳波センサ装置２００から意思情報を受信したと判断することによって開始される（Ｓ１０１）。そして、当該意思情報から、ユーザがこれから行おうとしている操作入力が、タッチセンサ１１５へのタッチであると特定する。そして、タイトル画面において当該タッチ操作に対応付けられた処理を実行する。つまり、本実施形態においては、ユーザが入力インターフェイスへの実際の操作入力をする前に、脳波センサ装置２００から意思情報を受信することにより操作情報を特定し、この特定された操作情報に対応する処理をあらかじめ開始する。

具体的には、まず、プロセッサ１１２は、サーバー装置３００にメモリ１１３に記憶されたユーザ情報を送信するよう、外部通信インターフェイス１１７を制御する（Ｓ１０２）。そして、プロセッサ１１２は、サーバー装置３００においてユーザの認証が行われゲームアプリケーションの実行に必要なゲームデータの受信を開始するよう制御する（Ｓ１０３）。次に、プロセッサ１１２は、受信したゲームデータと、メモリ１１３に記憶された描画情報に基づいて、順次、次の画面（スタート画面）の描画を開始する。

ここで、入力インターフェイス１１４がユーザによるタッチセンサ１１５への実際の操作入力を受け付けると、入力インターフェイス１１４は、この操作入力の割り込み信号を送信する。プロセッサ１１２は、当該割り込み信号を受信すると（Ｓ１０４）、タッチセンサ１１５で検出された操作情報を特定する。本実施形態においては、タイトル画面において、タッチセンサ１１５が「タッチ」操作を検出した場合について説明する。

このとき、プロセッサ１１２は、特定された操作情報が、意思情報を受信することにより特定された操作情報と一致するか否かを判断する。その結果、いずれもが、タッチセンサ１１５に対する「タッチ」操作である場合には、プロセッサ１１２は、Ｓ１０３において受信されたゲームデータについて、未取得のゲームデータが存在するか否かを判断する（Ｓ１０５）。未取得のゲームデータが存在する場合には、プロセッサ１１２は、未取得のゲームデータをサーバー装置から受信するよう外部通信インターフェイス１１７を制御する（Ｓ１０６）。そして、プロセッサ１１２は、あらかじめ意思情報に基づいて受信されたゲームデータと、実際に操作入力されることにより受信されたゲームデータの両方を利用して、次画面（スタート画面）の描画をし、次画面へとディスプレイ１１１の表示を遷移させる（Ｓ１０７）。

一方、入力インターフェイス１１４で割り込みを受信しなかった場合には、実際にはタッチセンサ１１５への操作入力がなされなかったものとして、プロセッサ１１２は、あらかじめ意思情報により受信されたゲームデータ等をメモリ１１３から消去する（Ｓ１０８）。

なお、本実施形態では、タイトル画面において、「タッチセンサ１１５をタッチする」という意思情報を受信する場合について説明した。しかし、例えば、ハードキー１１６を押下する」という意思情報を受信した場合でも、同様の処理を行うことが可能である。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作入力に対する意思を検出することで、ユーザが端末装置１００に対して操作することをデザインしてから動作が完了するまでの時間を利用して、あらかじめ端末装置１００における処理を開始し、実際に端末装置に操作入力がなされてから処理が完了するまでの時間をより短縮することが可能となる。

＜第２実施形態＞
第１実施形態では、タイトル画面において、ユーザがタッチセンサ１１５をタッチ又はハードキー１１６を押下することによって、スタート画面に移行する場合について説明した。つまり、脳波センサ装置２００によってタッチセンサ１１５へのタッチ又はハードキー１１６への押下という意思情報を受信する場合について説明した。第２実施形態においては、タイトル画面に複数のアイコンを表示し、いずれのアイコンに対する操作入力であるのかを区別して、それに応じた処理をする場合について説明する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。

図７は、本開示の第２実施形態に係るシステムにおける処理を概念的に示す図である。ユーザ１１に取り付けた脳波センサ装置２００で、タッチセンサ１１５を通じてスタートアイコンを押下するというユーザ１１の意思を検出すると、タッチセンサ１１５に実際に操作入力するよりも前に、前もってサーバー装置３００との通信を開始し、必要な情報の送受信を行う。そして、実際にユーザ１１の指示体１２（指）によりタッチセンサ１１５に操作入力がされると、あらかじめ送受信された情報の続きから、引き続き送受信を行う。このようにすることで、操作入力をするという判断を脳がなして実際に末梢の筋肉を収縮させ動作するまでの時間を有効に活用し、動作が完了したと知覚してから処理が完了するまでの時間を短縮させることが可能となる。

なお、本実施形態においては、ディスプレイ１１１は、図７に示す通り、タイトル画面に、ユーザに操作入力をさせるための様々なアイコン（スタートアイコン及び設定アイコン）を表示する。また、メモリ１１３は、これらのアイコンンと処理内容とが対応付けられたアイコンテーブルを記憶する。

図８は、本開示の第２実施形態に係る端末装置１００のメモリ１１３に記憶されるアイコンテーブルを概念的に示す図である。具体的には、当該テーブルには、ディスプレイ１１１に表示される各アイコンと、対応して配置されたタッチセンサ１１５を介して行った各アイコンに対する操作入力によりなされる処理が記憶されている。図８によると、各アイコンＩＤ情報に対応付けて、描画データ情報、配置座標情報、処理情報がそれぞれ記憶されている。描画データ情報は、アイコンがディスプレイに表示されるときの形状、色彩、大きさなどを決定する情報である。配置座標情報は、アイコンのディスプレイ上の配置座標を決定する情報である。処理情報は、当該アイコンに対する操作入力がなされることにより開始される処理内容を特定する情報である。一例としては、アイコンＩＤ情報が「Ｉ１」のアイコンに対して操作入力がなされると、「ユーザ情報をサーバー装置３００に送信し、サーバー装置３００から受信したゲームデータ情報とメモリ１１３に記憶された画像データ等に基づいてスタート画面をディスプレイ１１１に描画する」という処理を行う。

図９は、本開示の第２実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。具体的には、図９は、図７に示す「格闘ゲームＡ」のゲームアプリケーションを端末装置１００において起動しタイトル画面が表示されたときに行う操作入力の例であって、脳波センサ装置２００においてユーザの操作入力を行うという意思を検出し、その検出に基づいて生成された意思情報を脳波センサ装置２００が送信することによって開始される割り込み処理のシーケンスを示す。なお、図９は、図７のタイトル画面での操作入力をすることで行われるサーバー装置３００との情報の送受信の例を挙げた。しかし、これは単なる一例である。つまり、ユーザに知覚させる状況は、初期画面に限らず他の状況であってもよい。また、サーバー装置３００が関わらない処理を行ってもよいし、他のサーバー装置や他の端末装置が関わる処理を行ってもよい。

図９において、初期画面が表示されると、それを知覚したユーザは、スタートアイコン又は設定アイコンのいずれのアイコンに対して操作入力を行うかの判断を行う。そして、ユーザは、その判断の結果、スタートアイコンをタッチしてスタート画面に移行させるという意思決定を行う。この間、脳波センサ装置２００のプロセッサ２１３は、電極Ｅ１〜Ｅｎを有する脳波センサ２１１から出力される波形が有する特徴点を随時監視する（Ｓ２１）。プロセッサ２１３は、得られた特徴点を、その都度、図４に示す操作特定テーブルを参照し、あらかじめサンプリングされたユーザの操作入力が有する特徴点との一致を判定する。一致がなかった場合には、プロセッサ２１３は再び波形の監視処理に戻る。

一方、特徴点の一致があった場合には、プロセッサ２１３は、一致した特徴点と対応付けられた操作内容情報を参照しユーザが操作入力しようとした内容を特定する。本実施形態においては、上記のとおり、スタートアイコンのタッチという操作入力をする意思決定が行われているので、操作入力ＩＤ情報が「Ｏ１」の特徴点と一致する。したがって、プロセッサ２１３は、操作入力ＩＤ情報として「Ｏ１」を少なくとも含む意思情報を生成し、当該意思情報（Ｔ２１）を、外部通信インターフェイス２１４を介して端末装置１００に送信するよう制御する。

ここで、ユーザのタッチセンサ１１５に対する操作入力は、まず指示体１２（例えば、指）の移動を行い、位置決めをし、タッチをするというステップを経て行われる。したがって、通常、指示体１２の移動が完了した段階で、ある程度ユーザがタッチセンサ１１５に対して操作入力を行いたい位置上に指示体１２が存在している。本実施形態では、この状態を利用して、タッチセンサ１１５によって指示体１２の近接座標を検出し、これからユーザがタッチしようとする位置を特定する（Ｓ２２）。次に、端末装置１００は、アイコンテーブル（図８）を参照し、特定された位置（近接座標）の対応する座標に配置されたアイコンを特定する。そして、端末装置１００は、特定されたアイコンに対応づけられた処理を開始する（Ｓ２３）。

まず、端末装置１００は、サーバー装置３００へ、メモリ１１３に記憶されたユーザ情報（Ｔ２２）を送信する。そして、これを受信したサーバー装置３００は、ユーザの認証処理を行い（Ｓ２４）、「格闘ゲームＡ」のゲームアプリケーションの正当なユーザであると認証がされると、サーバー装置３００に記憶された当該ユーザのゲームデータ（Ｔ２３）を端末装置１００に送信する。

端末装置１００は、サーバー装置３００から送信されたゲームデータを順次受信する（Ｓ２５）。ゲームデータの受信が完了すると、端末装置１００は、受信したゲームデータや、メモリ１１３に記憶されたスタート画面の描画情報を利用して、ディスプレイ１１１にスタート画面を表示するための描画処理を開始する（Ｓ２６）。

次に、入力インターフェイス１１４からタッチ検出の割り込みを受信すると（Ｓ２７）、アイコンテーブル（図８）を参照し、入力インターフェイス１１４で検出された接触座標に対応する座標に配置されたアイコンを特定する。そして、端末装置１００は、特定されたアイコンに対応付けられた処理を行う（Ｓ２８）。このとき、近接座標から特定された処理と、接触座標から特定された処理とが一致する場合には、Ｓ２３以降により既に開始した処理の結果をそのまま利用して、Ｓ２８の処理を行う。

なお、本実施形態では、入力インターフェイス１１４でのタッチ検出の割り込みをＳ２６の後に受信した場合について説明した。しかし、当該割り込みはＳ２３以降のどのタイミングでも受信し得る。したがって、例えば割り込みをＳ２５の後に受信した場合には、Ｓ２８の処理をゲームデータの受信の途中から再開するようにしてもよい。

図１０は、本開示の第２実施形態にかかる端末装置１００において実行される処理フローを示すである。具体的には、当該処理フローは、脳波センサ装置２００から意思情報を受信することによって開始される割り込み処理に関する。

図１０によると、プロセッサ１１２が、外部通信インターフェイス１１７を介して、脳波センサ装置２００から意思情報を受信したと判断することによって開始される（Ｓ２０１）。ここで、ユーザのタッチセンサ１１５に対する操作入力は、まず指示体１２（例えば、指）の移動を行い、位置決めをし、タッチをするというステップを経て行われる。したがって、通常、指示体１２の移動が完了した段階で、ある程度ユーザがタッチセンサ１１５に対して操作入力を行いたい位置上に指示体１２が存在している。したがって、プロセッサ１１２は、当該意思情報を受信すると、タッチセンサ１１５を制御して、ユーザの指示体１２（指）の近接座標の検出を行う（Ｓ２０２）。

ここで、図１１Ａ及び図１１Ｂは、本開示の第２実施形態にかかるタッチセンサ１１５による操作入力の受け付けを概念的に示す図である。具体的には、図１１Ａは、意思情報を受信したときのユーザの指示体１２とタッチセンサ１１５との位置関係を示す図である。また、図１１Ｂは、図１１Ａの位置関係にある場合のタッチセンサ１１５で検出される静電容量値（図１１Ａの領域１３の範囲）の一例を示す図である。図１１Ａによると、タッチセンサ１１５から距離ｄだけ離れた位置に指示体１２が存在している。このとき、図１１Ｂによると、指示体１２が近接することで、ｘ軸電極及びｙ軸電極間で形成される静電容量が変化する。その変化量の相対値が静電容量値として図１１Ｂには示されている。図１１Ｂの例においては、静電容量値として最も高い「８３」を検出した座標位置（ｘ１，ｙ１）が、図１１Ａの場合における指示体１２の近接位置として検出される。

再び図１０に戻り、プロセッサ１１２はメモリ１１３に記憶されたアイコンテーブル（図８）を参照して、当該近接座標に対応する座標に配置にアイコンが存在するか否かを判断する（Ｓ２０３）。そして、アイコンがなければ、脳波による事前の処理を必要としない操作入力であるとして、本処理フローを終了する。一方で、アイコンが存在する場合には、プロセッサ１１２は、アイコンテーブルの処理情報を参照して、操作情報を特定する。本実施形態においては、図７に示されたスタートアイコン（アイコンＩＤ情報＝「Ｉ１」）に対する操作入力の意思情報を受信した場合について説明する。したがって、近接座標が配置座標「Ｃ１」の範囲内にある場合には、アイコンＩＤ情報が「Ｉ１」のアイコンに対する操作であると操作情報を特定する。そして、処理内容が「Ｐ１」（ユーザ情報をサーバー装置３００に送信し、サーバー装置３００から受信したゲームデータ情報とメモリ１１３に記憶された画像データ等に基づいてスタート画面をディスプレイ１１１に描画する）の処理を実行する。つまり、本実施形態においては、ユーザが入力インターフェイスへの実際の操作入力をする前に、脳波センサ装置２００から意思情報を受信することにより操作情報を特定し、この特定された操作情報に対応する処理をあらかじめ開始する。

具体的には、まず、プロセッサ１１２は、サーバー装置３００にメモリ１１３に記憶されたユーザ情報を送信するよう、外部通信インターフェイス１１７を制御する（Ｓ２０４）。そして、プロセッサ１１２は、サーバー装置３００においてユーザの認証が行われゲームアプリケーションの実行に必要なゲームデータの受信を開始するよう制御する（Ｓ２０５）。次に、プロセッサ１１２は、受信したゲームデータと、メモリ１１３に記憶された描画情報に基づいて、順次、次の画面（スタート画面）の描画を開始する。

ここで、入力インターフェイス１１４がユーザによるタッチセンサ１１５への実際の操作入力を受け付けると、入力インターフェイス１１４は、この操作入力がなされた接触座標を含む割り込み信号を送信する。プロセッサ１１２は、当該割り込み信号を受信すると（Ｓ２０６）、実際に操作入力がなされた接触座標に基づいて、アイコンテーブル（図８）を参照して、操作情報を特定する。本実施形態においては、図７に示されたスタートアイコン（アイコンＩＤ情報＝「Ｉ１」）に対する操作入力が実際に行われた場合について説明する。したがって、操作入力がなされた接触座標が配置座標「Ｃ１」の範囲内にある場合には、アイコンＩＤ情報が「Ｉ１」のアイコンに対する操作であると操作情報を特定する。

このとき、プロセッサ１１２は、特定された操作情報が、意思情報を受信することにより特定された操作情報と一致するか否かを判断する（Ｓ２０７）。その結果、いずれもが、アイコンＩＤ情報が「Ｉ１」のアイコンに対する操作である場合には、プロセッサ１１２は、Ｓ２０５において受信されたゲームデータについて、未取得のゲームデータが存在するか否かを判断する（Ｓ２０８）。未取得のゲームデータが存在する場合には、プロセッサ１１２は、未取得のゲームデータをサーバー装置から受信するよう外部通信インターフェイス１１７を制御する（Ｓ２０９）。そして、プロセッサ１１２は、あらかじめ意思情報に基づいて受信されたゲームデータと、実際に操作入力されることにより受信されたゲームデータの両方を利用して、次画面（スタート画面）の描画をし、次画面へとディスプレイ１１１の表示を遷移させる（Ｓ２１０）。

一方、入力インターフェイス１１４への操作入力により特定される操作情報と、意思情報を受信することにより特定される操作情報とが一致しなかった場合、プロセッサ１１２は、検出された接触座標に基づいて、入力インターフェイス１１４への操作入力が他のアイコンへの操作入力であるか否かを判断する（Ｓ２１１）。そして、他のアイコンへの操作入力であると判断された場合には、プロセッサ１１２は、あらかじめ意思情報により受信されたゲームデータ等をメモリ１１３から消去し（Ｓ２１２）、他のアイコンに対応付けられた処理を実行する（Ｓ２１３）。

また、他のアイコンへの操作入力でなかった場合には、プロセッサ１１２は、あらかじめ意思情報により受信されたゲームデータ等をメモリ１１３から消去し（Ｓ２１４）、特段の処理を開始することなくディスプレイ１１１に現在の画像をそのまま表示し続ける（Ｓ２１５）。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作入力に対する意思を検出することで、ユーザが端末装置１００に対して操作することをデザインしてから動作が完了するまでの時間を利用して、あらかじめ端末装置１００における処理を開始し、実際に端末装置に操作入力がなされてから処理が完了するまでの時間をより短縮することが可能となる。

＜第３実施形態＞
第１及び第２実施形態では、脳波センサ装置２００において、ユーザの脳波を検出し、あらかじめサンプリングされたユーザの脳波と検出された脳波とを比較して、ユーザの意思情報を特定する場合について説明した。第３実施形態においては、電極Ｅ１〜Ｅｎによって検出されたユーザの脳波をＡ／Ｄ変換等の処理を行った信号を端末装置１００に送信し、端末装置１００のプロセッサ１１２においてユーザの意思情報を特定する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１又は第２実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。

本実施形態においては、上記のとおり、端末装置１００のプロセッサ１１２においてユーザの意思情報を特定するため、図４に示す操作特定テーブルは端末装置１００のメモリ１１３に記憶される。そして、図４のＳ１１及びＳ１２の間に、第１実施形態では意思情報（Ｔ１１）の受信がなされるが、本実施形態においては、脳波センサ２１１によって検出された脳波信号を受信する。そして、脳波信号を受信すると、プロセッサ１１２は、メモリ１１３に記憶された操作特定テーブルを参照して、ユーザの意思情報を特定する。そして、特定されたユーザの意思情報に基づいて、第１又は第２実施形態と同様に、当該意思情報に基づく処理を行う。以降の処理は、第１実施形態と同様である。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作入力に対する意思を検出することで、ユーザが端末装置１００に対して操作することをデザインしてから動作が完了するまでの時間を利用して、あらかじめ端末装置１００における処理を開始し、実際に端末装置に操作入力がなされてから処理が完了するまでの時間をより短縮することが可能となる。また、より高速処理が可能な端末装置１００のプロセッサによって意思情報の生成を行うため、さらに処理を早めることが可能となる。

＜その他＞
第２実施形態においては、ユーザがこれから操作入力を行おうとする操作情報を、近接座標を検出することにより特定した。しかし、あらかじめ、図７のスタートアイコンをタッチしたときの脳波のサンプリング、図７の設定アイコンをタッチしたときの脳波のサンプリングなどを行い、「タッチ」だけではなく「何に対するタッチか」までも区別可能に操作特定テーブルを形成しておけば、近接座標を検出する必要はない。つまり、図４の操作特定テーブルの操作内容情報として、「ＸＸに対するタッチ」、「ＸＸに対する長押し」などのように操作入力する位置も特定可能にした場合、図９のＳ１０２及びＳ１０３を省略した処理をプロセッサ１１２は実行することが可能である。

また、第１〜第３実施形態においては、脳波センサ装置２００を用いる場合について説明した。しかし、本開示においては、ユーザの意思情報が検出されれば良いので、脳波に限らず様々な信号を用いて実施することが可能である。一例としては、ユーザの意思を脳から筋肉に伝達し、筋肉が動くときに検出される電気信号が検出可能なセンサ装置を利用することも可能である。

なお、各実施形態で説明した各要素を適宜組み合わせるか、それらを置き換えてシステムを構成することも可能である。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバー装置を含む各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行可能である。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納可能である。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現可能である。

１００ 端末装置
２００ 脳波センサ装置
３００ サーバー装置

Claims (11)

1. ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、
   有線又は無線により接続され、かつ前記ユーザの意思を検出可能なセンサ装置から、少なくとも一つの操作入力をする前記ユーザの意思情報を受信する外部通信インターフェイスと、
   所定の指示命令を記憶するように構成されたメモリと、
   前記指示命令に基づいて、前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサと、
   を含む端末装置。
2. 前記プロセッサは、前記意思情報に基づく前記特定された操作入力と、前記入力インターフェイスにより受け付けられた操作入力とが一致する場合には、前記意思情報に基づいて既に処理された前記情報を利用する、請求項１に記載の端末装置。
3. 前記外部通信インターフェイスは、遠隔に設置されたサーバー装置との間で所定の情報の送受信を行い、
   前記処理は、前記サーバー装置との間で前記所定の情報の送受信を行う処理である、
   請求項１又は２に記載の端末装置。
4. 前記入力インターフェイスは、前記ユーザの指示体の近接座標及び接触座標を検出する、請求項１〜３のいずれか一項に記載の端末装置。
5. 前記意思情報は、前記入力インターフェイスに前記ユーザの指示体を接触させるという意思に関連する情報である、請求項４に記載の端末装置。
6. 前記意思情報に基づく前記特定された操作入力は、前記意思情報を受信したときに前記入力インターフェイスで検出された前記指示体の近接座標に基づいて特定され、
   前記入力インターフェイスにより受け付けられた操作入力は、前記入力インターフェイスで検出された前記指示体の接触座標に基づいて特定される、
   請求項４又は５に記載の端末装置。
7. 前記センサ装置は、前記ユーザの脳波を検出するための一又は複数の電極を含む、請求項１〜６のいずれか一項に記載の端末装置。
8. ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、有線又は無線により接続され、かつ前記ユーザの意思を検出可能なセンサ装置から、少なくとも一つの操作入力をする前記ユーザの意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータを、
   前記指示命令に基づいて、前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサ、
   として機能させるプログラム。
9. ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、有線又は無線により接続され、かつ前記ユーザの意思を検出可能なセンサ装置から、少なくとも一つの操作入力をする前記ユーザの意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる方法であって、
   前記入力インターフェイスが少なくとも一つの操作入力を受け付ける前に、前記外部通信インターフェイスが受信した前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定する段階と、
   前記特定された操作入力に対応する処理を開始する段階と、
   前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をする段階と、
   を含む方法。
10. 請求項１〜７のいずれか一項に記載の端末装置と、
    前記端末装置に有線又は無線により接続され、かつ前記端末装置の入力インターフェイスに一又は複数の操作入力をするユーザの意思を検出可能なセンサ装置と、
    を含む、システム。
11. ユーザによる一又は複数の操作入力を受け付ける入力インターフェイスと、
    有線又は無線により接続され、かつ一又は複数の電極で検出された前記ユーザの意思を示す信号を受信する外部通信インターフェイスと、
    所定の指示命令を記憶するとともに、前記信号と前記ユーザの意思との対応関係を記憶するメモリと、
    前記指示命令に基づいて、前記入力インターフェイスにより前記操作入力を受け付ける前に、受信した前記信号と前記メモリに記憶された前記対応関係とから前記ユーザの意思情報を生成し、生成された前記意思情報に基づいてこれから前記ユーザが行おうとする操作入力を特定し、前記特定された操作入力に対応する処理を開始し、前記入力インターフェイスにより操作入力が受け付けられると、前記意思情報に基づいて既に処理された情報を利用して、前記入力インターフェイスにより受け付けられた操作入力に対応する処理をするように構成されたプロセッサと、
    を含む端末装置。

Images