JP7474363B1 - 情報処理システム - Google Patents

Abstract

【課題】経済的かつ違和感なく音を提示する。【解決手段】情報処理装置は、タッチセンサにより検出された入力デバイスの入力動作に基づく図形をディスプレイに表示させるホストシステムを備え、ホストシステムまたは入力デバイスのコントローラは、音声信号を取得し、入力デバイスは、音声信号を含む駆動信号に従って振動する振動発生器を備える。本実施形態は、情報処理装置と入力デバイスとを備える情報処理システムとしても実現することができる。【選択図】図２

Description

本願は、情報処理システム、特に入力デバイスの制御に関する。

ハプティックペン（haptic pen）は、触覚フィードバック機能（haptics feedback）の提供に用いられるデジタルペンである。デジタルペンは、手書き文字などの描画処理および記録に用いられる入力デバイスである。デジタルペンは、電子ペン、スマートペン、スタイラス、などとも呼ばれる。触覚フィードバックは、文字等を表示するタッチパネルへの接触に応じて振動子を振動させて実現される。また、触覚フィードバック機能に対する制御によりユーザビリティの改善が図られている。

例えば、特許文献１には、対話型ディスプレイ装置と共に使用するための対話型スタイラスについて記載されている。対話型スタイラスは、第１の端部を有するスタイラス本体を含み、第１の端部は、ユーザによって使用されるときに、第１の機能および第２の機能を提供するために構成される。対話型スタイラスは、第１の端部と対話型ディスプレイ装置の電極マトリックスとを容量結合させるように、第１の端部を駆動させるように構成されたコントローラをさらに含む。容量結合は、第１の機能に関連し、第２の機能は、明示的なユーザ入力無しに、第１の機能を使用するユーザの意図を自動的に感知することに応じて、無効にされる。対話型スタイラスは、スタイラス本体に含まれ、かつ、第２の機能に関連する触覚アクチュエータをさらに有し、第２の機能を無効にすることは、触覚アクチュエータの動作を阻止することを含む。

特表２０１７－５３７３９５号公報

ハプティックペンには、サウンドフィードバック機能を有するものがある。サウンドフィードバック機能では、主に筆記動作に応じた筆記音を合成して提示される。提示される音の周波数帯域は、可聴帯域を含み、振動の周波数帯域とは異なる。サウンドフィードバック機能の実現において、振動子とは別個に内蔵されるスピーカが用いるとコストの増加を招く。再生音源として、ホストシステム本体に備わるスピーカを用いることも考えられる。スピーカは、必ずしもタッチセンサと入力デバイスとが接触される箇所に設置されるとは限らない。現実に音が発生する位置が、音の発生が期待される位置と異なるため、却って違和感を生じかねない。

本願は上記の課題を解決するためになされたものであり、本発明の一態様に係る情報処理システムは、情報処理装置と入力デバイスを備え、前記情報処理装置は、タッチセンサにより検出された入力デバイスの入力動作に基づく図形をディスプレイに表示させるホストシステムを備え、前記ホストシステムまたは前記入力デバイスのコントローラは、音声信号を取得し、前記入力デバイスは、前記音声信号を含む駆動信号に従って振動する振動発生器を備える。

上記の情報処理システムにおいて、前記ホストシステムまたは前記入力デバイスのコントローラは、前記入力動作による前記タッチセンサへの接触状態に基づいて筆記音を示す筆記音信号を生成し、前記筆記音信号を前記音声信号として前記振動発生器に出力し、前記ホストシステムが音源から音声信号である音源信号を取得するとき、前記筆記音信号の出力を停止してもよい。

上記の情報処理システムにおいて、前記ホストシステムまたは前記入力デバイスのコントローラは、前記入力デバイスが前記タッチセンサに接触しながら停止しているとき、前記音源信号を前記振動発生器に出力し、前記筆記音信号の前記振動発生器への出力を停止する。

上記の情報処理システムにおいて、前記ホストシステムまたは前記入力デバイスのコントローラは、マイクロホンにより収音される周囲音の音量に応じて、前記音声信号の出力特性を制御してもよい。

上記の情報処理システムにおいて、前記ホストシステムまたは前記入力デバイスのコントローラは、前記周囲音の音量が大きいほど、前記音源信号の音量を大きくしてもよい。

上記の情報処理システムにおいて、前記ホストシステムまたは前記入力デバイスのコントローラは、前記周囲音の音量が所定の基準音量を超えるとき、前記筆記音信号の出力を停止してもよい。

上記の情報処理システムにおいて、前記情報処理装置は、前記タッチセンサおよび前記ディスプレイ、を備え、前記ホストシステムまたは前記入力デバイスのコントローラは、前記タッチセンサへの接触状態に基づいて振動信号を生成し、前記振動信号と前記音声信号とを合成して前記駆動信号を生成するミキサと、を備えてもよい。

上記の情報処理システムにおいて、前記音声信号は、３００Ｈｚ以上の周波数成分を有し、前記振動信号は、５００Ｈｚ以下の周波数成分を有してもよい。

上記の情報処理システムにおいて、前記ホストシステムは、前記音源信号を生成する音源としての機能を有してもよい。

本願の実施形態によれば、経済的かつ違和感なく音を提示することができる。

本実施形態に係る情報処理システムの概略構成例を示すブロック図である。 本実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 本実施形態に係る情報処理システムの第１機能構成例を示すブロック図である。 本実施形態に係る振動発生器の出力特性の一例を示す図である。 本実施形態に係る振動部の第１駆動例を示す図である。 本実施形態に係る振動部の第２駆動例を示す図である。 本実施形態に係る音声出力制御を例示するフローチャートである。 本実施形態に係る情報処理システムの第２機能構成例を示すブロック図である。

以下、本願の実施形態について、図面を参照して説明する。まず、本実施形態に係る情報処理システムＳ１の構成例について説明する。以下の説明では、情報処理装置１がタブレット端末であり、入力デバイス３０が触覚提示機能を有するデジタルペンである場合を主とする。デジタルペンは、ペン形状の操作媒体であり、筆記デバイスとして構成される。本願では、デジタルペンを、単に「ペン」と呼ぶことがある。

図１は、本実施形態に係る情報処理システムＳ１の概略構成例を示すブロック図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。
情報処理装置１は、音源を備え、音源は、入力デバイス３０に音声信号を出力する。入力デバイス３０は、音声信号を駆動信号として適用し、駆動信号に従って振動する振動部５５を備える。

情報処理装置１は、タッチスクリーン２０を有し、筐体の表面の大部分を覆う。タッチスクリーンは、ディスプレイ２１の表示面とタッチセンサ２２の検出面を重畳してなる。筐体には、情報処理装置１のその他の部材が収容される。
入力デバイス３０は、ユーザに把持され、タッチスクリーン２０の表面に接近または接触しながら移動されることで、文字、記号、図形などのデータ入力または編集に用いられる。ディスプレイ２１は、その表面に各種情報を含む表示画面を視認可能に表示する。タッチセンサ２２は、その表面への入力デバイス３０の入力動作を検出する。情報処理装置１は、入力動作の有無を監視し、入力動作を検出した位置を特定し、入力動作に基づくデータ入力または編集を実行する。情報処理装置１は、例えば、タッチセンサ２２に接触した接触位置の軌跡、または、その軌跡から導出される図形を表示画面に表示させる（筆記入力、描画入力とも呼ばれることがある）。情報処理装置１は、検出される接触状態に応じて入力デバイス３０への音声信号の出力特性を制御してもよい。

タッチセンサ２２は、入力デバイス３０の入力動作として、表示画面への接触または一定距離内への接近（ホバリング）を検出するとともに、その位置を特定する。タッチセンサ２２は、検出した接触または接近、および、その位置を示す検出情報を含む入力データを生成し、生成した入力データを情報処理装置１のホストシステム１０に出力する。タッチセンサ２２は、入力デバイス３０と接触した位置である接触位置における圧力を接触圧力として検出し、検出した接触圧力の情報を入力データに含めてホストシステム１０に出力してもよい。タッチセンサ２２は、入力デバイス３０の長手方向の表示画面に対してなす角度をペン角度として検出してもよい。タッチセンサ２２は、検出したペン角度の情報を入力データに含めてホストシステム１０に出力してもよい。

ホストシステム１０は、情報処理装置１の機能全体を制御するコンピュータシステムである。ホストシステム１０は、表示処理部１０２と、デバイス設定部１０３と、音声処理部１０４と、振動制御部１１０とを備える。
デバイス設定部１０３は、例えば、ディスプレイ２１への表示画面としてデバイス設定画面（図示せず）を表示させる。デバイス設定画面は、情報処理装置１と有線または無線で接続されるデバイスの機能を設定するための画面である。デバイス設定画面には、例えば、音声提示を可能とする音声提示可能デバイスに対する音声提示の要否、音量、などの設定、振動提示を可能とする振動提示可能デバイスに対する振動提示の要否、などの設定に用いられる。デバイス設定画面において、音声提示可能デバイスに対しては、音量を指示するための画面部品が配置されてもよい。音量は、音声信号に対する振幅もしくは振幅基準値に対する利得に対応する。本実施形態に係る入力デバイス３０は、音声提示可能デバイスと触覚提示可能デバイスのいずれにも属する。音声提示可能デバイスとして、スピーカ、イヤホン、ヘッドホンなどが含まれる。

デバイス設定部１０３は、音声提示可能デバイスごとの音声提示の要否とは別個に音声提示モードを設定してもよい。音声提示モードには、例えば、通常モード、消音モードなどがある。通常モードは、取得した音声信号に基づいて音声を提示する動作モードである。消音モードは、取得した音声信号に基づく音声を提示しない動作態様である。消音モードは、マナーモードとも呼ばれる。

デバイス設定部１０３は、振動提示可能デバイスごとの振動提示の要否とは別個に振動提示モードを設定してもよい。振動提示モードには、例えば、振動モード、静止モードなどがある。振動モードは、取得した振動信号に基づいて振動を提示する動作モードである。静止モードは、取得した振動信号に基づく振動を提示しない動作態様である。振動モード、静止モードは、それぞれバイブレーションモード、サイレントモード、などとも呼ばれる。

デバイス設定部１０３は、例えば、タッチセンサ２２からの入力データに基づいて自装置に接続される音声提示可能デバイスに対し音声提示の要否を設定し、音声を提示させる音声提示用デバイスに対する音量を設定する。デバイス設定部１０３は、音声を提示させる音声提示用デバイスと音量を示す音声設定情報を音声処理部１０４に出力する。デバイス設定部１０３は、タッチセンサ２２からの入力データに基づいて音声提示モードを設定し、音声設定情報に音声提示モードの情報を含めてもよい。

デバイス設定部１０３は、タッチセンサ２２からの入力データに基づいて自装置に接続される振動提示可能デバイスに対し振動提示の要否を設定し、振動を提示させる振動提示用デバイスを示す振動設定情報を振動制御部１１０に出力する。
デバイス設定部１０３は、タッチセンサ２２からの入力データに基づいて振動提示モードを設定し、振動提示情報に振動提示モードの情報を含めてもよい。

デバイス設定部１０３の機能は、例えば、オペレーティングシステム（ＯＳ：Operating System）のデバイス設定ＡＰＩ（Application Programming Interface）関数を実行して実現されうる。デバイス設定部１０３の機能は、実行されるアプリケーションプログラム（application program、本願では、「アプリ」と呼ぶことがある）に従って当該ＡＰＩ関数を呼び出して実現されてもよい。なお、本願では、プログラムの実行とは、プログラムに記述された各種の指令で指示される処理を実行するとの意味を含む。

音声処理部１０４は、音声の提示が指示されるとき、音声信号を取得する。音声処理部１０４は、例えば、入力デバイス３０から入力される入力データ、実行中のアプリに含まれる指令、などにより、音声の提示、提示対象とする音声信号が指示されうる。当該アプリは、例えば、音声通話アプリ、録音再生アプリ、音声合成アプリ、音声配信アプリなどのいずれであってもよい。音声処理部１０４は、次のいずれかの手法で音声信号を取得してもよい。音声処理部１０４は、例えば、情報処理装置１の外部から音声信号を入力してもよいし、予めホストシステムの記憶媒体に記憶された音声信号を読み取ってもよいし、テキスト情報から発話音声を表す音声信号を合成してもよい。

ホストシステム１０は、かかるアプリの実行により、音源として機能する。本願では。音声処理部１０４により取得される音声信号を「音源信号」と呼び、筆記動作に応じて生成される音声信号を「筆記音信号」と呼んで区別することがある。筆記動作とは、ディスプレイ２１による図形の提示を主目的として入力デバイス３０をタッチセンサ２２に接触させながら動作させることを指し、単に筆記、描画などとも呼ばれる。

音声処理部１０４は、取得した音源信号を音声提示用デバイスに出力する。本実施形態では、入力デバイス３０は音源信号の出力先である音声提示用デバイスとなりうる。なお、音声設定情報において消音モード（マナーモード）が指示される場合には、音声処理部１０４は、次に消音モードの解除が指示されるまで、または、通常モードが指示されるまで音源信号の出力を停止する。

なお、デバイス設定部１０３は、マイクロホン２５から入力される音声信号の音量を周囲音量として定めてもよい。マイクロホン２５から入力される音声信号は、必ずしも音声提示用デバイスへの出力対象である音源信号として指示されない。デバイス設定部１０３は、入力デバイス３０が振動提示用デバイスまたは音声提示用デバイスとして設定されている場合、定めた周囲音量を示す音響環境情報を入力デバイス３０に出力してもよい。後述するように、入力デバイス３０との入出力において、無線通信部２９が用いられる。

表示処理部１０２は、タッチセンサ２２からの入力データで指示される入力動作に従ってデータ入力または編集を行う。この入力動作に基づくデータ入力または編集が、描画処理に相当する。表示処理部１０２は、例えば、一定時間ごとに入力される入力データで指示される接触位置を特定し、接触位置の時系列を形成する。表示処理部１０２は、形成した接触位置の時系列に基づいて移動軌跡を生成しディスプレイ２１に表示させる。

振動制御部１１０は、タッチセンサ２２からの入力動作を示す入力データに基づいて振動部５５による振動制御に用いる振動制御情報をデバイス設定部１０３から入力される振動設定情報で指示される振動提示用デバイスに提供する。本実施形態では、入力デバイス３０は振動信号の出力先である振動提示用デバイスとなりうる。以下の説明では、入力デバイス３０が振動提示用デバイスとして設定されていることを前提とすることがある。
なお、振動設定情報において静止モード（サイレントモード）が指示される場合には、振動制御部１１０は、次に静止モードの解除が指示されるまで、または、振動モードが指示されるまで振動制御情報の出力を停止する。振動制御部１１０の機能は、例えば、入力デバイス３０のデバイスドライバを実行して実現されてもよい。

振動制御部１１０は、タッチセンサ２２への接触を示す入力データから、接触位置の情報と接触圧力の情報の一方または両方を振動制御情報として検出する。振動制御部１１０は、検出した振動制御情報を振動提示用デバイスに出力する。振動制御部１１０は、入力データから表示画面上の入力デバイス３０の接触位置の移動方向と入力デバイス３０の長手方向とのなす角度を方位角として推定してもよい。振動制御部１１０は、例えば、直前の時刻における接触位置から、その時点の接触位置への変位の方向を入力デバイス３０の移動方向として定めることができる。振動制御部１１０は、入力データに示されるペン角度を、その時点における入力デバイス３０の長手方向の向きとして定めることができる。振動制御部１１０は、推定した方位角を示す情報を振動制御情報に含めて入力デバイス３０に出力してもよい。
無線通信部２９は、所定の通信方式を用いて、入力デバイス３０と無線で各種のデータを送受信する。

次に、入力デバイス３０の概略構成例について説明する。入力デバイス３０は、無線通信部３１と、デバイス制御部５０と、振動部５５とを備える。
無線通信部３１は、所定の通信方式を用いて、情報処理装置１と無線で各種のデータを送受信する。

デバイス制御部５０は、入力デバイス３０の機能を制御する。デバイス制御部５０には、例えば、情報処理装置１から無線通信部３１を用いて音源信号、音声設定情報、振動設定情報および振動制御情報が入力されうる。デバイス制御部５０は、音声設定情報、振動設定情報および振動制御情報の一部または全部に基づいて振動部５５を振動させるための駆動信号を合成する。デバイス制御部５０は、合成した駆動信号を振動部５５に出力する。駆動信号の合成および制御については、後述する。

振動部５５は、デバイス制御部５０から入力される駆動信号に従って振動する。駆動信号には、音声信号と振動信号の一方または両方の成分が含まれる。振動部５５の振動のうち音声信号に基づく音声成分は音波を発生させ、音として提示される。振動部５５の振動のうち振動信号に基づく振動成分が、振動として提示される。

一般に、人間の可聴帯域は２０Ｈｚ～２０ｋＨｚ程度であり、５００Ｈｚ～２ｋＨｚ帯域に対する感度が他の周波数帯域に対する感度より高い。より低い周波数帯域では、感度が低下する。これに対し、人間の触覚は、１０～１００Ｈｚ帯域に対する感度が他の周波数帯域に対する感度より高い。より高い周波数帯域では、感度が低下する。５００Ｈｚを超える周波数では、ほとんど振動が知覚されなくなる。振動信号は、約２００Ｈｚ以下の低域成分が主となる。これに対し、音声信号は、約５００Ｈｚ以上の高域成分が主となる。

次に、本実施形態に係る情報処理システムＳ１のハードウェア構成例について説明する。図２は、本実施形態に係る情報処理システムＳ１のハードウェア構成例を示すブロック図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。情報処理装置１は、プロセッサ１１と、メインメモリ１２と、フラッシュメモリ１３と、タッチスクリーン２０と、オーディオシステム２４と、マイクロホン２５と、ベースバンドチップ２７と、第２通信部２８と、無線通信部２９とを備える。

プロセッサ１１は、情報処理装置１全体の機能を制御する。プロセッサ１１として、例えば、１個以上のＣＰＵ（Central Processing Unit）が用いられる。プロセッサ１１は、所定のプログラムを実行し、メインメモリ１２と、その他のハードウェアと協働し、ホストシステム１０としての機能を奏する。
メインメモリ１２は、プロセッサ１１の作業領域、即ち、実行プログラム、各種設定データの読み込み領域、プログラムの実行により取得した処理データの書き込み領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップを含んで構成される。実行プログラムには、ＯＳ、周辺機器等を制御するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、などが含まれる。

フラッシュメモリ１３には、予めＯＳ、各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、および、各種データを記憶させておく。
ディスプレイ２１は、プロセッサ１１から出力される表示データに基づく各種の表示画面を表示する。ディスプレイ２１は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどのいずれであってもよい。

タッチセンサ２２は、接触検出部２２１と、デバイス検出部２２２とを備える。
接触検出部２２１は、表示画面に接触した物体（本願では、主に入力デバイス３０）と、その接触位置を検出する。接触検出部２２１は、表示画面に接触した物体の接触圧力を検出する。接触検出部２２１は、例えば、静電容量圧力センサである。接触検出部２２１は、接触した物体の傾き、即ち、ペン角度を検出してもよい。接触検出部２２１が３軸の圧力センサである場合には、個々の軸方向の圧力に対する方向余弦を用いてペン角度を特定することができる。

デバイス検出部２２２は、接触には至っていないが、自部に接近した入力デバイス３０とその位置を接近位置として検出する。デバイス検出部２２２は、例えば、電磁誘導センサを備える。電磁誘導センサは、接近により、共振回路ＬＣ１に生じる交流の誘導磁場を検出する。共振回路ＬＣ１は、入力デバイス３０に備わる。電磁誘導センサは、その共振周波数における検出した磁場の大きさが一定値を超える位置が存在するか否かにより、入力デバイス３０の接近の有無を検出することができる。電磁誘導センサは、検出した磁場の大きさが一定値を超える位置を入力デバイス３０の接近位置として特定することができる。

オーディオシステム２４は、音声信号に対する処理、入力、出力、記録、再生、符号化、および、復号などの処理を行う。オーディオシステム２４は、例えば、オーディオＩＣ（Integrated Circuit）を備える。オーディオシステム２４には、マイクロホン２５が接続されている。オーディオシステム２４には、音声提示可能デバイス、例えば、入力デバイス３０に接続される。

オーディオシステム２４には、プロセッサ１１、マイクロホン２５またはベースバンドチップ２７から音声信号が入力されうる。オーディオシステム２４は、自部に記録した音声信号を読み出す。オーディオシステム２４は、プロセッサ１１に出力する。音声提示可
プロセッサ１１に出力された音声信号は、ベースバンドチップ２７を経由して第２通信部２８に通信ネットワークを用いて接続される他機器、または、無線通信部２９を経由して入力デバイス３０に音源信号として出力されることがある。

マイクロホン２５は、自部の周囲から到来する周囲音を収音し、周囲音の音声信号をオーディオシステム２４に出力する。
ベースバンドチップ２７は、第２通信部２８を用いた通信を制御するための専用ＩＣである。ベースバンドチップ２７は、例えば、４Ｇ（第４世代無線通信システム）、５Ｇ（第５世代無線通信システム）などの公衆無線通信システム、ＩＥＥＥ８０２．１１に規定された構内無線通信ネットワークなどを用いた通信を実現する。ベースバンドチップ２７は、プロセッサ１１からの制御に従い、第２通信部２８を用いて通信ネットワークを経由した他の機器と各種のデータを送受信可能に接続し、各種のデータを送受信する。

第２通信部２８は、無線通信ネットワークと接続するための無線通信モジュールである。第２通信部２８は、電波を送受信するアンテナを備える。
無線通信部２９は、入力デバイス３０と無線データを送受信するための無線通信モジュールである。無線通信部２９は、通信方式として、例えば、ＩＥＥＥ８０２．１５．１に規定された無線ＰＡＮ（Personal Area Network）方式を用いることができる。

入力デバイス３０は、径よりも長さの方が大きい細長の形状を有する操作媒体である。入力デバイス３０は、無線通信部３１と、ＭＣＵ３２と、振動部５５と、共振回路ＬＣ１とを備える。
無線通信部３１は、情報処理装置１の無線通信部２９と無線データを送受信するための無線通信モジュールである。

ＭＣＵ（Micro Controller Unit）３２は、入力デバイス３０の機能を統括的に制御する。ＭＣＵ３２は、プロセッサと、ＲＯＭやＲＡＭなどのメモリと、各種の入出力インタフェースを備える。ＭＣＵ３２は、情報処理装置１とは独立に稼働する。ＭＣＵ３２は、所定のプログラムを実行して、上記のデバイス制御部５０としての機能を奏する。
ＭＣＵ３２には、情報処理装置１から無線通信部３１を用いて音声設定情報と振動制御情報が入力される。ＭＣＵ３２は、音声設定情報と振動制御情報の一方または両方を用いて駆動信号を合成する。ＭＣＵ３２は、合成した駆動信号を振動部５５に出力する。

振動部５５は、ＤＡＣ３３と、アンプ３４と、振動発生器３５とを備える。
ＤＡＣ（Digital-to-Analog Converter）３３は、ＭＣＵ３２から入力されるディジタルの駆動信号をアナログの駆動信号に変換する。ＤＡＣ３３は、変換されたアナログの駆動信号をアンプ３４に出力する。
アンプ（amplifier）３４は、ＤＡＣ３３から入力される駆動信号の振幅を調整し、振幅を調整した駆動信号を振動発生器３５に出力する。
振動発生器３５は、アンプ３４から入力される駆動信号に従って振動を発生するアクチュエータである。振動発生器３５は、例えば、ピエゾ素子などの圧電振動部を備える。

共振回路ＬＣ１は、一定の共振周波数で共振する電流を生ずる電気回路である。共振回路ＬＣ１は、例えば、コイルとキャパシタを直列に接続して構成される。共振回路ＬＣ１は、自身が発生した交流電流により、その共振周波数で極性が変動する磁場を発生させる。発生した磁場によりタッチセンサ２２のデバイス検出部２２２により入力デバイス３０の接近が検出される。

次に、本実施形態に係る情報処理システムＳ１の機能構成例について説明する。
図３は、本実施形態に係る情報処理システムＳ１の機能構成例を示すブロック図である。図３の例では、図１、図２との差異点を主として説明する。図１、図２との共通点につては、共通の符号を付し、特に断らない限り、上記の説明を援用する。

情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。
情報処理装置１は、ホストシステム１０と、タッチスクリーン２０と、無線通信部２９と、記憶部４０とを備える。記憶部４０は、例えば、フラッシュメモリ１３により実現される。
ホストシステム１０は、入力処理部１０１と、表示処理部１０２と、デバイス設定部１０３と、音声処理部１０４と、振動制御部１１０とを備える。
入力デバイス３０は、無線通信部３１と、デバイス制御部５０と、振動部５５と、を備える。

入力処理部１０１は、タッチセンサ２２からの入力データの入力を制御する。入力処理部１０１の機能は、例えば、プロセッサ１１がタッチセンサ２２のデバイスドライバを実行して実現される。入力処理部１０１は、タッチセンサ２２から入力される入力データをＯＳの指令に従って振動制御部１１０に出力する。

入力デバイス３０は、デバイス制御部５０において駆動制御部５１０を備える。
駆動制御部５１０は、上記のように無線通信部３１を用いて入力される音源信号、音声設定情報、振動設定情報および振動制御情報の一部または全部に基づいて振動部５５の駆動を制御する。駆動制御部５１０は、筆記音信号と振動信号の一方または両方を成分として含む駆動信号を取得し、取得した駆動信号を振動部５５に出力する。

駆動制御部５１０は、振動設定情報で振動モードが指示される場合、自部において生成される振動信号を駆動信号に含める。その場合、入力デバイス３０から振動が提示される。振動設定情報で静止モードが指示される場合、自部において生成される振動信号を駆動信号に含めない。その場合、入力デバイス３０から振動が提示されない。

駆動制御部５１０は、振動モードを示す振動設定情報と振動制御情報が入力されるとき振動信号を生成する。振動制御情報によりタッチセンサ２２への接触が通知される。振動信号を生成する際、駆動制御部５１０は、予め自部に設定された基準振動波形情報を参照し振動成分を示す振動信号を生成する。基準振動波形情報は、基準となる振動波形を示す情報である。

また、駆動制御部５１０は通常モードを示す音声設定情報が入力されるとき筆記音信号を生成する音源としての機能を有する。予め設定された基準音声波形情報を参照し、音声設定情報に基づいて音声成分を示す筆記音信号を生成する。これにより筆記に伴う振動ならびに音声が提示される。駆動制御部５１０は、情報処理装置１から音源信号が入力されるとき、筆記音信号の生成を停止してもよい。そのため、情報処理装置１から音源信号が提供される場合には、音源信号に係る音声の提示を優先し、筆記音の提示が停止される。

駆動制御部５１０は、振動制御情報で指示されるタッチセンサ２２への接触状態に基づいて駆動信号の出力特性を制御してもよい。例えば、接触状態として接触位置の情報が含まれる場合、駆動制御部５１０は、接触位置の移動速度が高いほど生成した筆記音信号と振動信号の振幅を大きくする。駆動制御部５１０は、移動速度がゼロとなるとき、筆記音信号と振動信号の振幅をゼロとし、駆動信号の出力を停止する。駆動制御部５１０は、接触状態として接触圧力の情報が含まれる場合、接触圧力が高いほど生成した筆記音信号と振動信号の振幅を大きくしてもよい。

次に、本実施形態に係る振動発生器３５の出力特性の一例を示す。図４は、本実施形態に係る振動発生器３５の出力特性の一例を示す図である。図４の横軸、縦軸は、それぞれ周波数（Ｈｚ）と振幅（Ｇｍｒｓ：実効加速度）を示す。振幅として、周波数ごとの一定の駆動電力に対して振動発生器３５に生ずる実効加速度の振幅が示される。振幅の値が大きいほど振動部５５が高い効率で振動することを示す。振幅は、概ね１００Ｈｚにおいて極大となる。１００Ｈｚよりも低い周波数帯域では、周波数が低いほど振幅が小さくなり、より周波数が高い高域では、周波数が高いほど振幅が小さくなる。但し、高域における振幅の低下は、低域よりも緩やかである。このことは、主に音声として知覚され、振動として知覚されない高域を主成分として含む音声の提示が可能であることを示す。駆動制御部５１０は、主に高域の出力特性の振幅を調整して音声成分の出力特性を制御することができる。

次に、音声信号の制御方法の例について説明する。駆動制御部５１０は、音声設定情報で通常モードが指示される場合、自部に入力される音源信号または自部において生成される筆記音信号を駆動信号に含める。その場合、音源信号に係る音声または筆記音が入力デバイス３０から提示される。駆動制御部５１０は、音声設定情報で消音モードが指示される場合、音源信号または筆記音信号を駆動信号に含めない。その場合、音源信号に係る音声または筆記音は入力デバイス３０から提示されない。

駆動制御部５１０は、音声設定情報で入力デバイス３０に対する音量（ペン音量）の情報が含まれる場合、その音量に従って音声信号である音源信号または筆記音信号の振幅を調整する。駆動制御部５１０は、図５に例示されるように、可変アンプを備え、音量に対応する利得を可変アンプに設定してもよい。可変アンプには、音源信号または筆記音信号が入力され、振幅調整後の音源信号または筆記音信号が出力される。駆動制御部５１０は、周囲音量と利得との関係を示す音声制御テーブルを予め設定しておき、音声制御テーブルを参照して音響環境情報に示される周囲音量に対応する利得を特定してもよい。駆動制御部５１０は、特定した利得を用いて音源信号または筆記音信号の音量を調整する。

駆動制御部５１０は、音声設定情報が入力されない場合、または、通常モードを示す音声設定情報が入力される場合であっても、振動制御情報に基づいて音声提示の要否を判定してもよい。
駆動制御部５１０は、例えば、振動制御情報に基づいて、タッチセンサ２２に接触しながら停止しているか否かを判定する。駆動制御部５１０は、接触圧力が所定の接触判定圧力よりも高く、かつ、移動速度が所定の静止判定速度よりも低いとき、タッチセンサ２２に接触しながら停止していると判定することができる。駆動制御部５１０は、タッチセンサ２２に接触しながら停止しているか否かに応じて、情報処理装置１から自部に入力される音源信号を駆動信号に含めるか否かを制御することができる。よって、タッチセンサ２２に接触しながら停止している場合には、情報処理装置１から入力される音源信号に基づく音声が提示される。この場合には、筆記動作が停止しているため、駆動制御部５１０は、振動制御情報に基づく筆記信号の成分ならびに振動信号の成分をゼロとし、筆記音と振動の提示を停止させることができる。

駆動制御部５１０は、自部に入力される音響環境情報に周囲音量を示す情報が含まれる場合には、その周囲音量に基づいて音源信号の出力特性を制御してもよい。例えば、駆動制御部５１０は、周囲音量が大きいほど、入力される音源信号の音量を増加させてもよい。これにより、情報処理装置１により提示が指示される音源信号に係る音声が周囲音に妨害されずに聴取される。これに対し、周囲音量が所定の基準音量よりも大きい場合、駆動制御部５１０は、筆記音信号の出力を停止する。

筆記動作に応じた駆動信号を生成するには、駆動制御部５１０に予め基準波形信号と制御テーブル（図示せず）を設定しておく。基準波形信号には、基準振動波形信号と基準音声波形信号が含まれる。基準振動波形信号と基準音声波形信号は、それぞれ振動成分の時系列と音声成分の時系列を示す。駆動制御部５１０には、図６に例示されるように、音声信号と振動信号のそれぞれに対する可変アンプと、ミキサ（加算器）と、両者共通の可変アンプを備える。制御テーブルには、周囲音量と利得との対応関係と、移動速度と接触圧力のセットと共通の可変アンプに対する利得との対応関係を示す情報を予め設定しておく。

駆動制御部５１０は、駆動信号を生成する際、設定された基準音声波形信号と基準振動波形信号を読み取り、それぞれ対応する可変アンプに供給する。駆動制御部５１０は、制御テーブルを参照し、音響環境情報で通知される周囲音量に対応する利得を定め、定めた利得を音声信号に対応する可変アンプに設定する。振動信号に対する可変アンプには、予め一定の利得が設定されてもよい。可変アンプによる振幅調整後の音声信号と振動信号がミキサに供給され、ミキサからは両者が合成された駆動信号が共通の可変アンプに入力される。

駆動制御部５１０は、振動制御情報で通知される接触状態に基づいて接触位置の移動速度と接触圧力を特定する。駆動制御部５１０は、制御テーブルを参照し、特定した移動速度と接触圧力のセットに対応する利得を定め、定めた利得を共通の可変アンプに設定する。共通の可変アンプからは、設定された利得で振幅が調整された駆動信号が振動部５５に出力される。

なお、基準音声波形信号は、必ずしも筆記の際に筆記具と紙その他の筆記媒体との摩擦により生ずる摩擦音には限られず、警告音、その他の通知音を示すものでもよい。なお、駆動制御部５１０は、情報処理装置１からの音源信号の入力に代え、独自に音源信号を生成してもよい。駆動制御部５１０は、情報処理装置１の音声処理部１０４の制御に従って音源信号を生成してもよい。

駆動制御部５１０は、独自に振動信号を合成してもよい。駆動制御部５１０は、例えば、振動制御情報が方位角の情報を有する場合には、方位角に対応する振動信号を処理対象の振動信号として合成してもよい。その場合、駆動制御部５１０には、予め基準波形情報と合成テーブルを記憶させておく。基準波形情報は、予め定めた複数の基準方位角のそれぞれに対する基準波形を示す情報である。基準方位角は、０°から１８０°の間に３個以上設定されていればよい。合成テーブルは、基準方位角ごとの基準波形に対する方位角に対する合成比を示すデータテーブルである。駆動制御部５１０は、合成テーブルを参照して、通知された方位角に対する合成比を基準方位角ごとに定める。駆動制御部５１０は、定めた合成比を重み係数とする、基準方位角間での振動波形の加重和を振動信号として生成することができる。

次に、本実施形態に係る音声出力制御の例について説明する。図７は、本実施形態に係る音声出力制御を例示するフローチャートである。
（ステップＳ１０２）入力デバイス３０の駆動制御部５１０は、情報処理装置１から入力される音声設定情報を待ち受け、音声設定情報に含まれる音量の情報を監視する。駆動制御部５１０は、設定される音量が変更したか否かを判定する。変更したと判定するとき（ステップＳ１０２ ＹＥＳ）、ステップＳ１０４の処理に進む。変更していないと判定するとき（ステップＳ１０２ ＮＯ）、ステップＳ１０６の処理に進む。
（ステップＳ１０４）駆動制御部５１０は、音声信号に対する音量を音声設定情報で通知された音量に変更する。

（ステップＳ１０６）駆動制御部５１０は、音声設定情報に含まれる音声提示モードが消音モードであるか否かを判定する。音声提示モードが消音モードであるとき（ステップＳ１０６ ＹＥＳ）、ステップＳ１１６の処理に進む。消音モードではないとき（ステップＳ１０６ ＮＯ）、ステップＳ１０８の処理に進む。

（ステップＳ１０８）駆動制御部５１０は、情報処理装置１から音源信号が入力されるか否かに基づき、音源信号に基づく音声を提示するか、振動制御信号に基づく筆記音を提示するかを判定する。音源信号に基づく音声を提示する場合（ステップＳ１０８ ＹＥＳ）、ステップＳ１１０の処理に進む。筆記音を提示する場合（ステップＳ１０８ ＮＯ）、ステップＳ１１２の処理に進む。

（ステップＳ１１０）駆動制御部５１０は、情報処理装置１から入力される音響環境情報で指示される周囲音量が多いほど音量が多くなるように音源信号の振幅を調整する。
（ステップＳ１１２）駆動制御部５１０は、音響環境情報で指示される周囲音量が所定の基準音量を超えるか否かを判定する。周囲音量が基準音量を超える場合（ステップＳ１１２ ＹＥＳ）、ステップＳ１１６の処理に進む。周囲音量が基準音量以下になる場合（ステップＳ１１２ ＮＯ）、ステップＳ１１４の処理に進む。

（ステップＳ１１４）駆動制御部５１０は、音声信号である音源信号または筆記音信号を駆動信号に含めて振動部５５に出力する（ペン音声出力）。
（ステップＳ１１６）駆動制御部５１０は、音源信号または筆記音信号を含めずに駆動信号を振動部５５に出力する（ペン音声出力停止）。その後、ステップＳ１０２の処理に戻る。

上記の例は、入力デバイス３０が駆動制御部５１０を備え、情報処理装置１から入力される音源信号、音声設定情報、振動設定情報および振動制御情報の一部または全部に基づいて駆動信号を生成する場合を前提としているが、これには限られない。
図８に例示されるように、情報処理装置１のホストシステム１０は、振動制御部１１０に代え、駆動制御部１１２を備えてもよい。

駆動制御部１１２は、振動制御部１１０と同様の機能を備え、タッチセンサ２２からの入力データに基づいて振動制御情報を取得する。駆動制御部１１２は、音声処理部１０４から音源信号を取得し、デバイス設定部１０３から音声設定情報と振動設定情報を取得してもよい。駆動制御部１１２は、駆動制御部５１０と同様の手法を用いて取得した音源信号、音声設定情報、振動設定情報および振動制御情報の一部または全部に基づいて駆動信号を生成する。駆動制御部１１２は、生成した駆動信号を入力デバイス３０に無線通信部２９を用いて出力する。入力デバイス３０において、デバイス制御部５０は、情報処理装置１から無線通信部３１を用いて入力される駆動信号を振動部５５に出力する。この例では、入力デバイス３０において、駆動制御部５１０が省略されてもよい。

また、上記の例では、情報処理装置１がタブレット端末装置である場合を主としたが、これには限られない。情報処理装置１は、多機能携帯電話機（いわゆる、スマートフォンを含む）、パーソナルコンピュータなど、入力デバイス３０を用いて情報入力を可能とする、その他の形態の情報通信機器であってもよい。また、情報処理装置１は、音源として音源信号を生成するための専用のハードウェアを備えていてもよい。
また、ディスプレイ２１とタッチセンサ２２の一方または両方は、情報処理装置１の他の部材と有線または無線で接続できれば、情報処理装置１とは別体であってもよい。

以上に説明したように、本実施形態に係る情報処理システムＳ１は、情報処理装置１と入力デバイス３０を備える。情報処理装置１は、タッチセンサ２２により検出された入力デバイス３０の入力動作に基づく図形をディスプレイ２１に表示させるホストシステム１０を備える。ホストシステム１０または入力デバイス３０のコントローラ（例えば、ＭＣＵ３２）は、音声信号を取得し、入力デバイス３０は、音声信号を含む駆動信号に従って振動する振動発生器３５を備える。
情報処理装置１は、タッチセンサ２２とディスプレイ２１を備え、ホストシステム１０または入力デバイス３０のコントローラは、タッチセンサへの接触状態に基づいて振動信号を生成し、振動信号と音声信号とを合成して駆動信号を生成するミキサを備えてもよい。

また、音声信号は、３００Ｈｚ以上の周波数成分を有し、振動信号は５００Ｈｚ以下の周波数成分を有してもよい。
また、ホストシステム１０は、音源信号を生成する音源としての機能を有してもよい。
この構成により、音声信号により振動発生器３５に振動を発生させ、入力動作によりディスプレイ２１に図形を表示させるための入力デバイス３０に伝達させることができる。新たに音声提示用デバイスを備えなくても、音声の発生源として予想される入力デバイス３０から音声を提示させることができる。そのため、経済的かつ違和感なく音声の提示を実現することができる。

ホストシステム１０または入力デバイス３０のコントローラは、入力動作によるタッチセンサ２２への接触状態に基づいて筆記音を示す筆記音信号を生成し、筆記音信号を音声信号として振動発生器３５に出力し、ホストシステム１０が音源から音声信号である音源信号を取得するとき、筆記音信号の出力を停止してもよい。
この構成により、音源からの音声信号が入力デバイス３０に出力されるとき、筆記音信号の出力が停止される。そのため、音源からの音声により筆記音が聴取できなくなるとき、無用な筆記音の提示が停止され、音源からの音声の提示を優先することができる。

ホストシステム１０または入力デバイス３０のコントローラは、入力デバイス３０がタッチセンサ２２に接触しながら停止しているとき、音源信号を振動発生器３５に出力し、筆記音信号の振動発生器３５への出力を停止してもよい。
この構成により、入力デバイス３０をタッチセンサ２２に接触しながら停止しているとき、音源信号に基づく振動発生器３５による振動をタッチセンサ２２に伝達し、振動面の面積を増加させることができる。そのため、入力動作による筆記音が生じないとき、音源に係る音声が効率的に提示される。

ホストシステム１０または入力デバイス３０のコントローラは、マイクロホン２５により収音される周囲音の音量に応じて、音声信号の出力特性を制御してもよい。
この構成により、周囲音の音量に応じて、入力デバイス３０からの音量が調整される。

ホストシステム１０または入力デバイス３０のコントローラは、周囲音の音量が大きいほど、音源信号の音量を大きくしてもよい。
この構成により、周囲音の音量が大きいほど音源信号の音量が大きくなるので、周囲音に妨げられずに音源に係る音声が聴取される。
ホストシステム１０または入力デバイス３０のコントローラは、周囲音の音量が所定の基準音量を超えるとき、筆記音信号の出力を停止してもよい。
この構成により、周囲音の音量が基準音量を超える大きな音量になるとき、筆記音の提示が停止される。周囲音により筆記音が聴取できなくなるとき、無用な筆記音の提示が停止される。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

Ｓ１…情報処理システム、１…情報処理装置、１０…ホストシステム、１１…プロセッサ、１２…メインメモリ、１３…フラッシュメモリ、２０…タッチスクリーン、２１…ディスプレイ、２２…タッチセンサ、２４…オーディオシステム、２５…マイクロホン、２７…ベースバンドチップ、２８…第２通信部、２９…無線通信部、３０…入力デバイス、３１…無線通信部、３２…ＭＣＵ、３３…ＤＡＣ、３４…アンプ、３５…振動発生器、４０…記憶部、５０…デバイス制御部、５５…振動部、１０１…入力処理部、１０２…表示処理部、１０３…デバイス設定部、１０４…音声処理部、１１０…振動制御部、１１２、５１０…駆動制御部、２２１…接触検出部、２２２…デバイス検出部

Claims (8)

1. 情報処理装置と入力デバイスを備え、
   前記情報処理装置は、
   タッチセンサにより検出された入力デバイスの入力動作に基づく図形をディスプレイに表示させるホストシステムを備え、
   前記ホストシステムまたは前記入力デバイスのコントローラは、
   音声信号を取得し、
   前記入力デバイスは、
   前記音声信号を含む駆動信号に従って振動する振動発生器を備え、
   前記ホストシステムまたは前記入力デバイスのコントローラは、
   前記入力動作による前記タッチセンサへの接触状態に基づいて筆記音を示す筆記音信号を生成し、前記筆記音信号を前記音声信号として前記振動発生器に出力し、
   前記ホストシステムが音源から音声信号である音源信号を取得するとき、前記筆記音信号の出力を停止する
   情報処理システム。
2. 前記情報処理装置は、前記タッチセンサおよび前記ディスプレイ、を備え、
   前記ホストシステムまたは前記入力デバイスのコントローラは、
   前記タッチセンサへの接触状態に基づいて振動信号を生成し、
   前記振動信号と前記音声信号とを合成して前記駆動信号を生成するミキサと、を備える
   請求項１に記載の情報処理システム。
3. 前記音声信号は、３００Ｈｚ以上の周波数成分を有し、
   前記振動信号は、５００Ｈｚ以下の周波数成分を有する
   請求項２に記載の情報処理システム。
4. 前記ホストシステムまたは前記入力デバイスのコントローラは、
   前記入力デバイスが前記タッチセンサに接触しながら停止しているとき、前記音源信号を前記振動発生器に出力し、前記筆記音信号の前記振動発生器への出力を停止する
   請求項１に記載の情報処理システム。
5. 前記ホストシステムまたは前記入力デバイスのコントローラは、
   マイクロホンにより収音される周囲音の音量に応じて、前記音声信号の出力特性を制御する
   請求項１に記載の情報処理システム。
6. 前記ホストシステムまたは前記入力デバイスのコントローラは、
   前記周囲音の音量が大きいほど、前記音源信号の音量を大きくする
   請求項５に記載の情報処理システム。
7. 前記ホストシステムまたは前記入力デバイスのコントローラは、
   前記周囲音の音量が所定の基準音量を超えるとき、前記筆記音信号の出力を停止する
   請求項５に記載の情報処理システム。
8. 前記ホストシステムは、前記音源信号を生成する音源としての機能を有する
   請求項１に記載の情報処理システム。

Images