JP2024044604A - 情報処理システム、情報処理装置、プログラム、および、制御方法 - Google Patents

Abstract

【課題】振動部から音声を提示して、利便性を向上する。【解決手段】入力デバイスは、振動部を備え、情報処理装置は、タッチセンサおよび表示部、を備え、タッチセンサと表示部が重畳し、情報処理装置または入力デバイスのコントローラは、タッチセンサへの入力デバイスの入力動作を監視し、音声出力要求を検出するとき、音声モードを有効にし、入力動作を検出するとき記振動モードを有効にし、音声モードは、振動部に音声を提示させる駆動モードであり、振動モードは、タッチセンサへの入力デバイスの接触に応じて振動部を振動させる駆動モードである。【選択図】図２

Description

本発明は、情報処理システム、情報処理装置、プログラム、および、制御方法、例えば、触覚提示機能を備える入力デバイスの制御に関する。

デジタルペンは、電子ペン、スマートペン、スタイラス、などとも呼ばれる入力デバイスである。デジタルペンは、情報処理装置への手書きの文字や図形などの表示および記録に用いられることがある。例えば、デジタルペン対応のタブレット端末またはパーソナルコンピュータ（ＰＣ：Personal Computer）は、メモ記録にしばしば用いられることがある。そこで、使用感向上のため、触覚フィードバック機能（haptics feedback）を有するデジタルペンが提案されている。触覚フィードバック機能を有するデジタルペンは、ハプティックペンとも呼ばれる。

例えば、特許文献１には、第１の端部を有するスタイラス本体を含み、第１の端部は、ユーザによって使用されるときに、第１の機能および第２の機能を提供するために構成される対話型スタイラスについて記載されている。対話型スタイラスは、第１の端部と対話型ディスプレイ装置の電極マトリックスとを容量結合させるように、第１の端部を駆動させるように構成されたコントローラをさらに含む。容量結合は、第１の機能に関連し、第２の機能は、明示的なユーザ入力無しに、第１の機能を使用するユーザの意図を自動的に感知することに応じて、無効にされる。対話型スタイラスは、スタイラス本体に含まれ、かつ、第２の機能に関連する触覚アクチュエータをさらに有し、第２の機能を無効にすることは、触覚アクチュエータの動作を阻止することを含む。

特表２０１７－５３７３９５号公報

他方、情報処理装置は、ネットワークを経由してウェブサーバから各種の情報を取得するために用いられることがある。ウェブサーバから提供される情報は、音声を伴う動画像としての形式を有するケースが増えている。会議、講演、事業所など、静寂な環境で情報処理装置を用いるユーザは、なるべく放音せずに提供される情報を確認したいと考えることがある。ヘッドホン、イヤホンなどの音声デバイスを用いて、周囲への放音を避けることも考えられる。
しかしながら、ユーザは音声デバイスを必ずしも所持しているとは限らない。音声デバイスを所持していても、必要となる時点で情報処理装置本体と接続していないこともある。そのため、ユーザにとり利便性の向上につながらないことがあった。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様に係る情報処理システムは、情報処理装置と入力デバイスを備え、前記入力デバイスは、振動部を備え、前記情報処理装置は、タッチセンサおよび表示部、を備え、前記タッチセンサと前記表示部が重畳した情報処理システムであって、前記情報処理装置または前記入力デバイスのコントローラは、前記タッチセンサへの前記入力デバイスの入力動作を監視し、音声出力要求を検出するとき、音声モードを有効にし、前記入力動作を検出するとき、振動モードを有効にし、前記音声モードは、前記振動部に音声を提示させる駆動モードであり、前記振動モードは、前記タッチセンサへの前記入力デバイスの接触に応じて前記振動部を振動させる駆動モードである。

上記の情報処理システムにおいて、前記コントローラは、前記入力デバイスに対する音声設定を前記音声出力要求として検出してもよい。

上記の情報処理システムにおいて、一定時間以上継続して前記入力動作が検出されず、かつ、前記振動部に音声信号が供給されないとき、前記音声モードを無効にしてもよい。

上記の情報処理システムにおいて、前記コントローラは、前記入力動作を検出せず、音声出力要求を検出するとき、前記音声モードを有効にし、前記入力動作を検出するとき、前記音声モードを無効にしてもよい。

上記の情報処理システムにおいて、前記入力デバイスは、接触を検出する接触検出部を備え、前記コントローラは、前記接触が検出されるとき、前記音声モードの有効性を切り替えてもよい。

本発明の第２態様に係る情報処理装置は、コントローラ、タッチセンサおよび表示部、を備え、前記タッチセンサと前記表示部が重畳した情報処理装置であって、前記コントローラは、前記タッチセンサへの入力デバイスの入力動作を監視し、音声出力要求を検出するとき、音声モードを有効にし、前記入力動作を検出するとき、振動モードを有効にし、前記音声モードは、前記入力デバイスの振動部に音声を提示させる駆動モードであり、前記振動モードは、前記タッチセンサへの前記入力デバイスの接触に応じて前記振動部を振動させる駆動モードである。

本発明の第３態様に係るプログラムは、コンピュータに上記の情報処理装置として機能させるためのプログラムである。

本発明の第４態様に係る制御方法は、情報処理装置と入力デバイスを備え、前記入力デバイスは、振動部を備え、前記情報処理装置は、タッチセンサおよび表示部、を備え、前記タッチセンサと前記表示部が重畳した情報処理システムにおける制御方法であって、前記情報処理装置または前記入力デバイスのコントローラは、前記タッチセンサへの前記入力デバイスの入力動作を監視するステップと、音声出力要求を検出するとき、音声モードを有効にし、前記入力動作を検出するとき、振動モードを有効にするステップと、を実行し、前記音声モードは、前記振動部に音声を提示させる駆動モードであり、前記振動モードは、前記タッチセンサへの前記入力デバイスの接触に応じて前記振動部を振動させる駆動モードである制御方法である。

本発明の実施形態によれば、振動部から音声が提示されるので、利便性を向上することができる。

本実施形態に係る情報処理システムの外観構成例を示す斜視図である。 本実施形態に係る情報処理システムの概略構成例を示すブロック図である。 本実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 本実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。 本実施形態に係る駆動モードの制御方法の一例を示すフローチャートである。 本実施形態に係る駆動モードの制御方法の他の例を示すフローチャートである。 本実施形態に係る情報処理システムの機能構成の他の例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。まず、本実施形態に係る情報処理システムＳ１の外観構成例について説明する。以下の説明では、情報処理装置１がタブレット端末であり、入力デバイス３０が触覚提示機能を有するデジタルペンである場合を主とする。デジタルペンは、ペン形状の操作媒体である。本願では、デジタルペンを、単に「ペン」と呼ぶことがある。図１は、本実施形態に係る情報処理システムＳ１の外観構成例を示す斜視図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。

情報処理装置１は、幅および高さよりも厚みが薄い平板状の形状を有する。情報処理装置１は、筐体ＣＳ１を有し、筐体ＣＳ１の一方の主面（以下の説明では、「表面」と呼ぶことがある）にタッチスクリーン２０を有する。タッチスクリーン２０は、筐体ＣＳ１の表面を覆う。タッチスクリーン２０の外周は、筐体ＣＳ１に囲まれるように支持される。筐体ＣＳ１には、情報処理装置１のその他の部材が収容される。

入力デバイス３０は、ユーザに把持され、タッチスクリーン２０の表面に接近または接触しながら移動されることで、文字、記号、図形などのデータ入力または編集に用いられる。タッチスクリーン２０は、表示部２１と、タッチセンサ２２（後述）を備える。表示部２１は、その表面に設置される表示画面ＤＦに各種情報を視認可能に表示する。タッチセンサ２２は、表示部２１の表面に重ねて配置される。タッチセンサ２２は、その表面への入力デバイス３０の入力動作を検出する。情報処理装置１は、入力動作の有無を監視し、入力動作を検出するとき、入力動作に基づくデータ入力または編集を実行する。情報処理装置１は、例えば、タッチセンサ２２に接触した接触位置の軌跡を表示画面ＤＦに表示させる。

入力デバイス３０は、振動部５５（後述）を備える。情報処理装置１は、振動部５５の駆動モードを制御する。駆動モードには、少なくとも音声モードと振動モードがある。音声モードは、振動部５５に音声を再生させる駆動モードである。振動モードは、タッチセンサ２２への入力デバイス３０の接触に応じて振動部５５を振動させる駆動モードである。情報処理装置１は、音声出力要求を検出するとき、音声モードを有効にし、入力動作を検出するとき振動モードを有効にする。ここで、「有効にする」とは、実行可能または使用可能にすること、つまり、イネーブル（enable）を指す。逆に、「無効にする」とは、実行不能または使用不能な状態にすること、つまり、ディスエーブル（disable）を指す。

情報処理装置１は、音声出力要求として、例えば、入力デバイス３０に対する音声再生設定または音声再生指示を検出する。音声モードが有効なとき、情報処理装置１は、音声信号を含む駆動信号を振動部５５に出力する。振動部５５は、入力される駆動信号に従って音声を提示する。振動モードが有効なとき、情報処理装置１は、振動信号を含む駆動信号を振動部５５に出力する。振動部５５は、入力される駆動信号に従って振動する。この振動が触覚刺激としてユーザに提示される。

次に、本実施形態に係る情報処理システムＳ１の概略構成例について説明する。図２は、本実施形態に係る情報処理システムＳ１の概略構成例を示すブロック図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。
情報処理装置１は、制御部１０と、タッチセンサ２２と、無線通信部２９とを備える。タッチセンサ２２は、入力デバイス３０の入力動作として、表示画面ＤＦへの接触または一定距離内への接近（ホバリング）を検出するとともに、その位置を特定する。タッチセンサ２２は、検出した接触または接近、および、その位置を示す検出情報を含む入力データを生成し、生成した入力データを制御部１０に出力する。タッチセンサ２２は、入力デバイス３０と接触した位置である接触位置における圧力を接触圧力として検出し、検出した接触圧力の情報を入力データに含めて制御部１０に出力してもよい。タッチセンサ２２は、入力デバイス３０の長手方向の表示画面ＤＦに対してなす角度をペン角度として検出してもよい。タッチセンサ２２は、検出したペン角度の情報を入力データに含めて制御部１０に出力してもよい。表示画面ＤＦへの接近の検出、ペン角度の検出については、後述する。

制御部１０は、情報処理装置１の機能全体を制御する。制御部１０は、表示処理部１０２と、音声設定部１０３と、音声処理部１０４と、振動制御部１１０とを備える。
音声設定部１０３は、例えば、表示部２１の表示画面ＤＦ（図１）として音声設定画面（図示せず）を表示させる。音声設定画面は、音声を提示させるための提示用デバイスと音量を設定するための画面である。音声設定画面は、自部に接続され、音声を提示可能とする提示可能デバイスを表し、提示可能デバイスごとに音量調整量を指示するための画面部品が配置される。音量調整量は、音声信号に対する利得に相当する。

音声設定部１０３は、例えば、タッチセンサ２２からの入力データに基づいて提示可能デバイスのいずれかを提示用デバイスとして選択し、提示用デバイスに対する音量調整量を設定する。音声設定部１０３は、選択した提示用デバイスと音量調整量を示す音声設定情報を音声処理部１０４と振動制御部１１０に出力する。提示可能デバイスとして、スピーカ２６（後述）と入力デバイス３０が含まれる。以下の説明では、入力デバイス３０が提示用デバイスとして選択される場合を主とする。

音声設定部１０３の機能は、例えば、オペレーティングシステム（ＯＳ：Operating System）のデバイス設定ＡＰＩ（Application Programming Interface）関数を実行して実現されうる。音声設定部１０３の機能は、アプリケーションプログラム（application program、本願では、「アプリ」と呼ぶことがある）に従って当該ＡＰＩ関数を呼び出して実現されてもよい。また、本願では、プログラムの実行とは、プログラムに記述された各種の指令で指示される処理を実行するとの意味を含む。

音声処理部１０４は、音声の提示が指示されるとき、音声信号を取得する。音声の提示は、例えば、タッチセンサ２２からの音声再生ボタンの押下を示す入力データにより指示されうる。音声処理部１０４は、次のいずれかの手法を用いて音声信号を取得してもよい：情報処理装置１の外部からの音声信号の入力、予め記憶された音声信号の読み取り、音声信号の合成、等。音声処理部１０４は、音声設定部１０３に係るアプリの機能の一部として実現されてもよい。当該アプリは、例えば、音声通話アプリ、録音再生アプリ、音声合成アプリ、音声配信アプリなどのいずれであってもよい。

音声処理部１０４には、音声設定部１０３から音声設定情報が入力される。音声処理部１０４は、音声設定情報で指示される音量調整量で取得した音声信号の音量を調整する。音声処理部１０４は、音量調整後の音声信号を、音声設定情報で指示される提示用デバイスに出力する。提示用デバイスとして入力デバイス３０が指示される場合には、音声処理部１０４は、音量調整後の音声信号を振動制御部１１０に出力する。

表示処理部１０２は、タッチセンサ２２からの入力データで指示される入力動作に従ってデータ入力または編集を行う。表示処理部１０２は、例えば、一定時間ごとに入力される入力データで指示される接触位置を特定し、接触位置の時系列を形成する。表示処理部１０２は、形成した接触位置の時系列に基づいて移動軌跡を生成し表示部２１に表示させる。

振動制御部１１０は、タッチセンサ２２からの入力動作を示す入力データの入力の有無と音声設定部１０３からの音声設定情報の入力の有無を監視する。振動制御部１１０は、入力データと音声設定情報に基づいて入力デバイス３０の振動部５５の駆動モードを制御する。

振動制御部１１０は、入力デバイス３０のタッチセンサ２２への接近または接触に係る入力データが入力されるとき、入力動作を検出したと判定することができる。振動制御部１１０は、入力動作を検出するとき、振動部５５の駆動モードを振動モードと定める。
振動制御部１１０は、提示用デバイスとしての入力デバイス３０または入力デバイス３０への音量を示す音声設定情報が入力されるとき、振動部５５の駆動モードとして音声出力要求がなされたと判定することができる。音声設定情報の入力により、音声再生に対する意図が示されるためである。

振動制御部１１０は、入力動作が検出されず、かつ、音声出力要求を検出するとき、振動部５５の駆動モードを音声モードに定める。但し、入力動作がその時点まで一定時間（例えば、３０秒～３分）以上検出されず、かつ、振動部５５に音声信号を出力しない場合には、振動制御部１１０は、駆動モードを音声モードから振動モードに変更してもよい。

振動制御部１１０は、入力動作を検出するとき、振動部５５を振動させるための振動信号を取得する。振動制御部１１０は、予め設定された基準波形を示す振動信号を読み出してもよいし、外部機器から振動信号を入力してもよい。振動制御部１１０は、入力データに示される接触位置の移動速度が高いほど、大きくなるように振動信号の振幅を調整してもよい。また、振動制御部１１０は、入力デバイス３０のタッチセンサ２２への接触圧力が高いほど、大きくなるように振動信号の振幅を調整してもよい。

振動制御部１１０は、定めた駆動モードに応じて、振動部５５を駆動させるための駆動信号を定める。駆動モードが音声モードであるとき、振動制御部１１０は、音声処理部１０４から入力される音声信号を駆動信号として選択する。駆動モードが振動モードであるとき、振動制御部１１０は、自部で生成する振動信号を駆動信号として選択する。
振動制御部１１０は、選択した駆動信号を入力デバイス３０に無線通信部２９を経由して送信する。送信した駆動信号は、振動部５５に供給される。
無線通信部２９は、所定の通信方式を用いて、入力デバイス３０と無線で各種のデータを送受信する。

次に、入力デバイス３０の概略構成例について説明する。入力デバイス３０は、無線通信部３１と、デバイス制御部５０と、振動部５５とを備える。
無線通信部３１は、所定の通信方式を用いて、情報処理装置１と無線で各種のデータを送受信する。
デバイス制御部５０は、入力デバイス３０の機能を統括的に制御する。デバイス制御部５０は、例えば、情報処理装置１から無線通信部３１を用いて駆動信号を受信する。デバイス制御部５０は、受信した駆動信号を振動部５５に出力する。
振動部５５は、デバイス制御部５０から入力される駆動信号に従って振動する。振動部５５の振動は音波を発生させ、音として提示する。

一般に、人間の可聴帯域は２０Ｈｚ－２０ｋＨｚ程度であり、５００Ｈｚ－２ｋＨｚ帯域に対する感度が他の周波数帯域に対する感度より高い。より低い周波数帯域では、周波数が低くなるほど感度が低下する。これに対し、人間の触覚は、１０－１００Ｈｚ帯域に対する感度が他の周波数帯域に対する感度より高い。より高い周波数帯域では、周波数が高くなるほど感度が低下する。５００Ｈｚ以上の周波数では、ほとんど振動が知覚されない。駆動信号をなす振動信号は、約２００Ｈｚ以下の低域成分が主となる。音声信号は、約２００Ｈｚ以上の高域成分が主となる。

次に、本実施形態に係る情報処理システムＳ１のハードウェア構成例について説明する。図３は、本実施形態に係る情報処理システムＳ１のハードウェア構成例を示すブロック図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。情報処理装置１は、プロセッサ１１と、メインメモリ１２と、フラッシュメモリ１３と、タッチスクリーン２０と、オーディオシステム２４と、マイクロホン２５と、スピーカ２６と、ベースバンドチップ２７と、第２通信部２８と、無線通信部２９とを備える。

プロセッサ１１は、情報処理装置１全体の機能を制御する。プロセッサ１１として、例えば、１個以上のＣＰＵ（Central Processing Unit）が適用される。プロセッサ１１は、所定のプログラムを実行し、メインメモリ１２と、その他のハードウェアと協働し、制御部１０としての機能を奏する。
メインメモリ１２は、プロセッサ１１の作業領域、即ち、実行プログラム、各種設定データの読み込み領域、プログラムの実行により取得した処理データの書き込み領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップを含んで構成される。実行プログラムには、ＯＳ、周辺機器等を制御するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、などが含まれる。

フラッシュメモリ１３には、予めＯＳ、各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、および、各種データを記憶させておく。
表示部２１は、プロセッサ１１から出力される表示データに基づく各種の表示画面を表示する。表示部２１は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどのいずれであってもよい。

タッチセンサ２２は、接触検出部２２１と、デバイス検出部２２２とを備える。
接触検出部２２１は、表示画面ＤＦに接触した物体（本願では、主に入力デバイス３０）と、その接触位置を検出する。接触検出部２２１は、表示画面ＤＦに接触した物体の接触圧力を検出する。接触検出部２２１は、例えば、静電容量圧力センサである。接触検出部２２１は、接触した物体の傾き、即ち、ペン角度を検出してもよい。接触検出部２２１が３軸の圧力センサである場合には、個々の軸方向の圧力に対する方向余弦を用いてペン角度を特定することができる。

デバイス検出部２２２は、接触には至っていないが、自部に接近した入力デバイス３０とその位置を接近位置として検出する。デバイス検出部２２２は、例えば、電磁誘導センサを備える。電磁誘導センサは、接近により、共振回路ＬＣ１（後述）に生じる交流の誘導磁場を検出する。電磁誘導センサは、その共振周波数における検出した磁場の大きさが一定値を超える位置が存在するか否かにより、入力デバイス３０の接近の有無を検出することができる。電子誘導センサは、検出した磁場の大きさが一定値を超える位置を入力デバイス３０の接近位置として特定することができる。

オーディオシステム２４は、音声信号に対する処理、入力、出力、記録、再生、符号化、および、復号などの処理を行う。オーディオシステム２４は、例えば、オーディオＩＣ（Integrated Circuit）を備える。オーディオシステム２４には、マイクロホン２５とスピーカ２６が接続されている。オーディオシステム２４には、プロセッサ１１、マイクロホン２５またはベースバンドチップ２７から音声信号が入力されうる。オーディオシステム２４は、自部に記録した音声信号を読み出す。オーディオシステム２４は、取得した音声信号をスピーカ２６またはプロセッサ１１に出力することができる。プロセッサ１１に出力された音声信号は、ベースバンドチップ２７を経由して第２通信部２８に、または、無線通信部２９を経由して入力デバイス３０に出力されうる。入力デバイス３０には、その音声信号で伝達される音声成分と上記の振動信号で伝達される振動成分とを合成した駆動信号が入力されることがある。

マイクロホン２５は、自部に到来する音を収音し、収音された音の音声信号をオーディオシステム２４に出力する。
スピーカ２６は、オーディオシステム２４から入力される音声信号に基づいて音を提示する。

ベースバンドチップ２７は、第２通信部２８を用いた通信を制御するための専用ＩＣである。ベースバンドチップ２７は、例えば、４Ｇ（第４世代無線通信システム）、５Ｇ（第５世代無線通信システム）などの公衆無線通信システム、ＩＥＥＥ８０２．１１に規定された構内無線通信ネットワークなどを用いた通信を実現する。ベースバンドチップ２７は、プロセッサ１１からの制御に従い、第２通信部２８を用いて通信ネットワークを経由した他の機器と各種のデータを送受信可能に接続し、各種のデータを送受信する。

第２通信部２８は、無線通信ネットワークと接続するための無線通信モジュールである。第２通信部２８は、電波を送受信するアンテナを備える。
無線通信部２９は、入力デバイス３０と無線データを送受信するための無線通信モジュールである。無線通信部２９は、通信方式として、例えば、ＩＥＥＥ８０２．１５．１に規定された無線ＰＡＮ（Personal Area Network）方式を用いることができる。

入力デバイス３０は、径よりも長さの方が大きい細長の形状を有する操作媒体である。入力デバイス３０は、無線通信部３１と、ＭＣＵ３２と、接触検出部３６と、振動部５５と、共振回路ＬＣ１とを備える。
無線通信部３１は、情報処理装置１の無線通信部２９と無線データを送受信するための無線通信モジュールである。

ＭＣＵ（Micro Controller Unit）３２は、入力デバイス３０の機能を統括的に制御する。ＭＣＵ３２は、プロセッサと、ＲＯＭやＲＡＭなどのメモリと、各種の入出力インタフェースを備える。ＭＣＵ３２は、情報処理装置１とは独立に稼働する。ＭＣＵ３２は、所定のプログラムを実行して、上記のデバイス制御部５０としての機能を奏する。
ＭＣＵ３２は、情報処理装置１から無線通信部３１を経由して入力される駆動信号を振動部５５に出力する。

振動部５５は、ＤＡＣ３３と、アンプ３４と、振動発生器３５とを備える。
ＤＡＣ（Digital-to-Analog Converter）３３は、ＭＣＵ３２から入力されるディジタルの駆動信号をアナログの駆動信号に変換する。ＤＡＣ３３は、変換されたアナログの駆動信号をアンプ３４に出力する。
アンプ（amplifier）３４は、ＤＡＣ３３から入力される駆動信号の振幅を調整し、振幅を調整した駆動信号を振動発生器３５に出力する。
振動発生器３５は、アンプ３４から入力される駆動信号に従って振動を発生するアクチュエータである。振動発生器３５は、例えば、ピエゾ素子などの圧電振動子を備える。

接触検出部３６は、自部への接触を検出する圧力センサを備える。接触検出部３６は、振動発生器３５から一定距離以上離れた位置に設置される。接触検出部３６が検出できる圧力の周波数帯域は、振動信号の周波数帯域と異なっていてもよい。接触検出部３６は、検出した圧力が一定値以上か否かにより、接触の有無を判定してもよい。接触検出部３６は、検出した接触の検出を示す接触検出信号をＭＣＵ３２と無線通信部３１を経由して情報処理装置１に出力する。

共振回路ＬＣ１は、一定の共振周波数で共振する電流を生ずる電気回路である。共振回路ＬＣ１は、例えば、コイルとキャパシタを直列に接続して構成される。共振回路ＬＣ１は、自身が発生した交流電流により、その共振周波数で極性が変動する磁場を発生させる。発生した磁場によりタッチセンサ２２のデバイス検出部２２２により入力デバイス３０の接近が検出される。

次に、本実施形態に係る情報処理システムＳ１の機能構成例について説明する。
図４は、本実施形態に係る情報処理システムＳ１の機能構成例を示すブロック図である。図４の例では、図２、図３との差異点を主として説明する。図２、図３との共通点につては、共通の符号を付し、特に断らない限り、上記の説明を援用する。

情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。
情報処理装置１は、制御部１０と、タッチスクリーン２０と、無線通信部２９と、記憶部４０とを備える。記憶部４０は、各種のデータを記憶する。記憶部４０は、例えば、メインメモリ１２とフラッシュメモリ１３により実現される。
制御部１０は、入力処理部１０１と、表示処理部１０２と、音声設定部１０３と、音声処理部１０４と、振動制御部１１０とを備える。
入力デバイス３０は、無線通信部３１と、接触検出部３６と、デバイス制御部５０と、振動部５５と、を備える。

入力処理部１０１は、タッチセンサ２２からの入力を制御する。入力処理部１０１の機能は、例えば、プロセッサ１１によるタッチセンサ２２のデバイスドライバの実行により提供される。入力処理部１０１は、タッチセンサ２２から入力される入力データをＯＳの指令に従って振動制御部１１０に出力する。

振動制御部１１０は、上記のように入力デバイス３０の駆動モードを制御する。
振動制御部１１０は、入力デバイス３０の接触検出部３６から接触検出信号が入力される都度、音声モードの有効性を逐次に切り替えてもよい。例えば、接触検出信号が入力されるとき、振動制御部１１０は、その時点における駆動モードが振動モードである場合には、振動モードから音声モードに変更し、その時点における駆動モードが音声モードである場合には、音声モードから振動モードに変更する。これにより、ユーザは、入力デバイス３０を他の物体に接触させることにより音声を提示させるか否かを切り替えることができる。

ユーザは、他の物体として、筐体、棚体など平板で空間を取り囲む構成を有する物体に入力デバイス３０を押し当て、その物体に入力デバイス３０に生ずる音声を共鳴させることができる。共鳴した音声は、十分な音量で放音する。
また、ユーザは、他の物体としてユーザ自身の頭部に押し当て、入力デバイス３０に生ずる音声を頭部の内部に伝搬させることができる（骨伝導）。伝搬した音はユーザの内耳に到達することで、骨導音として聴取される。

振動制御部１１０は、予め記憶部４０に記憶された振動信号を読み出し、接触圧力または接触位置の移動速度に応じて振幅を調整してもよい。また、振動制御部１１０は、図４に例示されるように方位角推定部１１１と振動信号生成部１１２を備えてもよい。
方位角推定部１１１は、タッチセンサ２２からの入力データに基づいて表示画面ＤＦ上の入力デバイス３０の接触位置の移動方向と入力デバイス３０の長手方向とのなす角度を方位角として推定する。方位角推定部１１１は、例えば、直前の時刻における接触位置から、その時点の接触位置への変位の方向を入力デバイス３０の移動方向として定めることができる。方位角推定部１１１は、入力データに示されるペン角度を、その時点における入力デバイス３０の長手方向の向きとして定めることができる。方位角推定部１１１は、定めた方位角を振動信号生成部１１２に通知する。

振動信号生成部１１２は、方位角推定部１１１から通知された方位角に応じた振動波形を示す振動信号を生成する。記憶部４０には、予め基準波形情報と合成テーブルを記憶させておく。基準波形情報は、予め定めた複数の基準方位角のそれぞれに対する基準波形を示す情報である。基準方位角は、０°から１８０°の間に３個以上設定されていればよい。合成テーブルは、基準方位角ごとの基準波形に対する方位角に対する合成比を示すデータテーブルである。
振動信号生成部１１２は、合成テーブルを参照して、通知された方位角に対する合成比を基準方位角ごとに定める。振動信号生成部１１２は、定めた合成比を重み係数とする、基準方位角間での振動波形の加重和を振動信号として生成することができる。

次に、本実施形態に係る駆動モードの制御方法について説明する。図５は、本実施形態に係る駆動モードの制御方法の一例を示すフローチャートである。但し、情報処理装置１の起動直後の初期状態では、入力デバイス３０の駆動モードを振動モードとし、振動信号に従って振動部５５を振動させる。

（ステップＳ１０２）振動制御部１１０は、入力デバイス３０の駆動モードを振動モードと定める。入力デバイス３０の振動部５５には、振動信号が供給され、振動提示を実行する。
（ステップＳ１０４）振動制御部１１０は、タッチセンサ２２からの入力データを監視し、音声出力要求を待ち受ける。音声出力要求が検出されるとき（ステップＳ１０４ ＹＥＳ）、ステップＳ１０６の処理に進む。音声出力要求が検出されないとき（ステップＳ１０４ ＮＯ）、ステップＳ１０２の処理に戻る。

（ステップＳ１０６）振動制御部１１０は、タッチセンサ２２からの入力データで伝達される入力動作を待ち受ける。入力動作が検出されるとき（ステップＳ１０６ ＹＥＳ）、ステップＳ１０２に戻る。入力動作が検出されないとき（ステップＳ１０６ ＮＯ）、ステップＳ１０８の処理に進む。

（ステップＳ１０８）振動制御部１１０は、音声モード停止条件を満足するか否かを判定する。振動制御部１１０は、例えば、その時点までの一定時間継続して音声処理部１０４から音声信号が入力されない、または、入力動作が検出されない場合には、音声モード停止条件を満たすと判定する。それ以外の場合には、振動制御部１１０は、音声モード停止条件を満たさないと判定することができる。音声モード停止条件が満足されない場合（ステップＳ１０８ ＮＯ）、ステップＳ１１０の処理に進む。音声モード停止条件が満足される場合（ステップＳ１０８ ＹＥＳ）、ステップＳ１０２の処理に戻る。

（ステップＳ１１０）振動制御部１１０は、入力デバイス３０の駆動モードを音声モードと定める。入力デバイス３０の振動部５５には、音声信号が供給され、音声を提示する。その後、ステップＳ１０６の処理に戻る。

上記の例は、音声モードの有効性の判定に関し、入力デバイス３０の駆動モードが音声モードと振動モードのいずれか一方に排他的に定める場合を主としたが、音声モードは、駆動モードと重複して適用されてもよい。その場合、振動制御部１１０は、入力デバイス３０の駆動モードとしての振動モードを常に有効と設定し、振動モードから音声モードへの変更に代え、音声モードの適用（有効化）を判定し、音声モードから振動モードへの変更に代え、音声モードの停止（無効化）を判定してもよい。

即ち、振動制御部１１０は、図６に例示されるように、音声出力要求が検出されないとき（ステップＳ１０４ ＮＯ）、入力動作が検出されるとき（ステップＳ１０６ ＹＥＳ）、または、音声モード停止条件が満足される場合（ステップＳ１０８ ＹＥＳ）には、ステップＳ１０４の処理に戻る。
音声モードと振動モードをいずれも適用する場合には、振動制御部１１０は、取得した振動信号と音声信号とを合成して得られた信号を駆動信号として生成し、生成した駆動信号を入力デバイス３０に出力する。

なお、上記の例は、図４に示されるように、情報処理装置１が振動信号生成部１１２を備え、振動信号に基づく駆動信号を入力デバイス３０に出力する場合を主としたが、これには限られない。情報処理装置１の振動制御部１１０と入力デバイス３０のデバイス制御部５０が、情報処理システムＳ１全体としての振動制御部の処理を分担してもよい。即ち、デバイス制御部５０は、上記の振動制御部１１０の処理の全部または一部を実行し、振動制御部１１０は、その全部または一部の処理を実行しなくてもよい。但し、デバイス制御部５０には、その全部または一部の処理に用いるパラメータ、その他のデータを予め設定しておき、情報処理装置１からの提供を受ける。

図７に例示されるように、入力デバイス３０のデバイス制御部５０は、振動制御部５１０を備えてもよい。情報処理装置１の振動制御部１１０は、方位角推定部１１１の機能を有し、その他の機能が省略されてもよい。制御部１０は、タッチスクリーン２０から入力される入力データと、方位角を示すデバイス制御情報を入力デバイス３０に出力する。振動制御部１１０は、タッチセンサ２２から入力データから接触位置と接触圧力の一方または両方の情報を特定し、特定した情報をデバイス制御情報に含めて出力してもよい。音声処理部１０４は、音声信号の出力先を入力デバイス３０とする。

振動制御部５１０は、上記の振動制御部１１０と同様の処理を実行する。例えば、振動制御部５１０は、情報処理装置１から入力される入力データに基づいて入力デバイス３０の駆動モードを制御する。振動制御部５１０は、駆動モードの判定に用いる情報として、入力データから入力操作、音声出力要求などの有無を検出する。
振動制御部５１０は、接触検出部３６から接触検出信号の入力の都度、音声モードの有効性を逐次に切り替えてもよいし、入力された接触検出信号を情報処理装置１に出力しなくてもよい。
振動制御部５１０は、判定した駆動モードに応じて生成した振動信号と音声信号の一方を、または両方から合成された信号を駆動信号として振動部５５に出力する。

図７の例では、振動制御部５１０では、方位角推定処理が省略される。振動制御部５１０は、予め自部に設定された基準波形情報と合成テーブルを参照し、情報処理装置１から入力されるデバイス制御情報で通知される方位角に基づいて振動信号を生成してもよい。また、振動制御部５１０は、デバイス制御情報から特定される接触位置と接触圧力の一方または両方の情報に基づいて、生成した振動信号の振幅を調整してもよい。

情報処理装置１の制御部１０では、方位角推定部１１１が省略されてもよい。その場合には、振動制御部５１０に基準波形情報と合成テーブルが設定され、情報処理装置１から入力される入力データに基づいて方位角推定処理を行う。振動制御部５１０は、得られた方位角を振動信号の生成に用いる。

なお、上記の例では、情報処理装置１が取得される音声信号に基づく音声を提示する場合を主としたが、これには限られない。デバイス制御部５０は、情報処理装置１からの供給を受けずに、音声信号を取得してもよい。デバイス制御部５０には、例えば、設定された警告音の音声信号を予め設定しておき、情報処理装置１の制御部１０から音声提示指令が入力されるとき、設定した音声信号を読み出す。音声提示指令は、例えば、情報処理装置１のハードウェア、動作環境、その他の異常発生時に発行されうる。デバイス制御部５０は、音声提示指令を音声出力要求として判定することができる。デバイス制御部５０は、音声モードを有効化するとき、読み出した音声信号を駆動信号として、または、振動信号と合成して得られた信号を駆動信号として振動部５５に出力する。

また、上記の例では、情報処理装置１がタブレット端末装置である場合を主としたが、これには限られない。情報処理装置１は、多機能携帯電話機（いわゆる、スマートフォンを含む）、パーソナルコンピュータ、など、タッチスクリーンを用いて情報入力その他の形態の情報通信機器であってもよい。

以上に説明したように、本実施形態に係る情報処理システムＳ１は、情報処理装置１と入力デバイス３０を備える。入力デバイス３０は、振動部５５を備える。情報処理装置１は、タッチセンサ２２および表示部２１、を備え、タッチセンサ２２と表示部２１が重畳している。情報処理装置１または入力デバイス３０のコントローラ（例えば、情報処理装置１のプロセッサ１１、入力デバイス３０のＭＣＵ３２）は、タッチセンサへの入力デバイス３０の入力動作を監視し、振動部５５の駆動モードを制御する。駆動モードとして音声モードと振動モードを有し、音声モードは、振動部５５に音声を提示させる駆動モードであり、振動モードは、タッチセンサ２２への入力デバイス３０の接触に応じて振動部５５を振動させる駆動モードである。コントローラは、音声出力要求を検出するとき、音声モードを有効にし、入力動作を検出するとき、振動モードを有効にする。
この構成により、入力デバイス３０への接触に応じて入力デバイス３０を振動させる振動部５５に音声の提示が要求される場合に音声信号が供給される。振動部５５は、供給される音声信号に基づく音声を提示することができる。そのため、入力デバイス３０の使用時における音声の受聴の利便性を向上することができる。

コントローラは、入力デバイス３０に対する音声設定を音声出力要求として検出してもよい。
この構成により、特段の操作を行わずに、ユーザの意図に応じて入力デバイス３０からの音声を提示させることができる。

コントローラは、一定時間以上継続して入力動作が検出されず、かつ振動部５５に音声信号が供給されないとき、音声モードを無効にしてもよい。
この構成により、入力動作も音声信号の供給もない場合には、音声モードが無効にされる。振動モードを優先して適用することができるので、以降の入力動作に対する応答性を確保することができる。

コントローラは、入力動作を検出せず、音声出力要求を検出するとき、音声モードを有効にし、入力動作を検出するとき、音声モードを無効にしてもよい。
この構成により、音声出力要求による音声の提示と、入力動作による振動の提示が排他的に切り替えることができる。音声と振動が同時に提示されないため、両者の混合による音声に対する雑音、接触に伴わない振動に対する違和感を回避することができる。

入力デバイス３０は、接触を検出する接触検出部３６を備え、コントローラは、接触が検出されるとき、音声モードの有効性を切り替えてもよい。
この構成により、入力デバイス３０に対する接触により、音声の提示の有無が切り替わる。そのため、ユーザは、入力デバイス３０の他の物体または自身に接触させることにより、音声の提示の要否を簡便に操作することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

Ｓ１…情報処理システム、１…情報処理装置、１０…制御部、１１…プロセッサ、１２…メインメモリ、１３…フラッシュメモリ、２０…タッチスクリーン、２１…表示部、２２…タッチセンサ、２４…オーディオシステム、２５…マイクロホン、２６…スピーカ、２７…ベースバンドチップ、２８…第２通信部、２９…無線通信部、３０…入力デバイス、３１…無線通信部、３２…ＭＣＵ、３３…ＤＡＣ、３４…アンプ、３５…振動発生器、３６…接触検出部、４０…記憶部、５０…デバイス制御部、５５…振動部、１０１…入力処理部、１０２…表示処理部、１０３…音声設定部、１０４…音声処理部、１１０…振動制御部、１１１…方位角推定部、１１２…振動信号生成部、２２１…接触検出部、２２２…デバイス検出部

Claims (8)

1. 情報処理装置と入力デバイスを備え、
   前記入力デバイスは、振動部を備え、
   前記情報処理装置は、タッチセンサおよび表示部、を備え、
   前記タッチセンサと前記表示部が重畳した情報処理システムであって、
   前記情報処理装置または前記入力デバイスのコントローラは、
   前記タッチセンサへの前記入力デバイスの入力動作を監視し、
   音声出力要求を検出するとき、音声モードを有効にし、
   前記入力動作を検出するとき、振動モードを有効にし、
   前記音声モードは、前記振動部に音声を提示させる駆動モードであり、
   前記振動モードは、前記タッチセンサへの前記入力デバイスの接触に応じて前記振動部を振動させる駆動モードである
   情報処理システム。
2. 前記コントローラは、
   前記入力デバイスに対する音声設定を前記音声出力要求として検出する
   請求項１に記載の情報処理システム。
3. 前記コントローラは、
   一定時間以上継続して前記入力動作が検出されず、かつ、前記振動部に音声信号が供給されないとき、
   前記音声モードを無効にする
   請求項１に記載の情報処理システム。
4. 前記コントローラは、
   前記入力動作を検出せず、音声出力要求を検出するとき、前記音声モードを有効にし、
   前記入力動作を検出するとき、前記音声モードを無効にする
   請求項１に記載の情報処理システム。
5. 前記入力デバイスは、接触を検出する接触検出部を備え、
   前記コントローラは、
   前記接触が検出されるとき、前記音声モードの有効性を切り替える
   請求項１に記載の情報処理システム。
6. コントローラ、タッチセンサおよび表示部、を備え、
   前記タッチセンサと前記表示部が重畳した情報処理装置であって、
   前記コントローラは、
   前記タッチセンサへの入力デバイスの入力動作を監視し、
   音声出力要求を検出するとき、音声モードを有効にし、
   前記入力動作を検出するとき、振動モードを有効にし、
   前記音声モードは、前記入力デバイスの振動部に音声を提示させる駆動モードであり、
   前記振動モードは、前記タッチセンサへの前記入力デバイスの接触に応じて前記振動部を振動させる駆動モードである
   情報処理装置。
7. コンピュータに
   請求項６に記載の情報処理装置として機能させるためのプログラム。
8. 情報処理装置と入力デバイスを備え、
   前記入力デバイスは、振動部を備え、
   前記情報処理装置は、タッチセンサおよび表示部、を備え、
   前記タッチセンサと前記表示部が重畳した情報処理システムにおける制御方法であって、
   前記情報処理装置または前記入力デバイスのコントローラは、
   前記タッチセンサへの前記入力デバイスの入力動作を監視するステップと、
   音声出力要求を検出するとき、音声モードを有効にし、
   前記入力動作を検出するとき、振動モードを有効にするステップと、を実行し
   前記音声モードは、前記振動部に音声を提示させる駆動モードであり、
   前記振動モードは、前記タッチセンサへの前記入力デバイスの接触に応じて前記振動部を振動させる駆動モードである
   制御方法。

Images