JP4643698B2 - マイクロフォンを備えるタブレット・コンピュータおよび制御方法 - Google Patents

Description

本発明は、マイクロフォンを備えるコンパーチブル型のタブレット・コンピュータに関し、さらに詳細にはタブレット・コンピュータの使用モードに応じてマイクロフォンが収集した音声信号の処理を制御する技術に関する。

パーソナル・コンピュータ（以後ＰＣという。）の中で、ディスプレイに対してペン入力で操作できる薄型のものをタブレットＰＣという。タブレットＰＣは、キーボードを使用しないでペン入力で操作することにより、ノートブック型コンピュータ（以後ノートＰＣという。）と同等の機能を提供する。タブレットＰＣには、大きく分けてコンバーチブル型とピュアタブレット型の２種類がある。コンバーチブル型は、キーボードを搭載したノートＰＣのディスプレイの方向を変えて、タブレットＰＣとしても利用できる構造のものである。ピュアタブレット型は、キーボードを搭載せずペン入力による操作のみを行う構造のものである。

タブレットＰＣの中には、マイクロフォンが収集したユーザの音声信号をディジタル・データに変換し、音声認識を行った後にさまざまな用途に利用するものがある。通常音声の入力環境には雑音が存在するので、音声認識の精度を高めるためには、雑音から目的となる音声を分離または雑音に対して強調する必要がある。ここに、マイクロフォン・アレーを構成する複数のマイクロフォンで音声を収集して、音源の方向とマイクロフォン間の距離に基づいて各マイクロフォンが受信する音声信号の位相差を利用して目的音を強調し雑音を抑圧するビーム・フォーミングという技術が知られている。

ビーム・フォーミングでは、マイクロフォン・アレーに対する特定の方向からの目的音に対する感度を増大させ、それ以外の方向からの雑音に対する感度を低下させるように音声信号を処理する。特許文献１は、複数のマイクロフォンで音響信号を集音し、この音響信号に含まれている目的信号を強調し、かつ雑音信号を抑圧した音響信号を得る技術を開示する。
特開２００３−２２３１９８号公報

コンパーチブル型のタブレットＰＣでは、キーボード入力で使用する場合（以下、ＰＣ使用モードという。）とペン入力で使用する場合（以下、タブレット使用モードという。）とでは、マイクロフォンに対するユーザの口の位置が異なる。したがって、ＰＣ使用モードでユーザの口から発せられた音声が強調されるようにビーム・フォーミングの感度方向を設定しても、タブレット使用モードでは強調されないで逆に抑圧されることがある。そしてユーザは、ＰＣ使用モードからタブレット使用モードに変更したあとに音声が認識されなくなると装置が故障したと誤解することがある。ユーザがビーム・フォーミングの機能を停止すれば、タブレットＰＣとしては強調処理のない雑音が混入した音声を利用することはできるため利便性が向上するが、使用モードの変更のたびにビーム・フォーミングの機能を操作することには煩雑さを伴う。

そこで本発明の目的は、ＰＣ使用モードからタブレット使用モードに変更されたときに、ユーザの介在を必要とすることなくマイクロフォンから収集した音声信号の利用を継続することができる、コンパーチブル型のタブレット・コンピュータを提供することにある。さらに本発明の目的は、そのようなタブレット・コンピュータにおける音声信号の制御方法およびコンピュータ・プログラムを提供することにある。

本発明にかかるコンパーチブル型のタブレット・コンピュータは、マイクロフォン・アレーを構成する複数のマイクロフォンを備えている。タブレット・コンピュータは、複数のマイクロフォンから収集された音声信号を、強調空間を形成して強調処理する音声強調モードと強調空間を形成しないで処理する非処理モードで動作することできる。タブレット・コンピュータをＰＣ使用モードにおいて強調モードで動作させるときには、ＰＣ使用モードにおいて想定されるユーザの口が強調空間に入り、かつ不要な雑音が入らないように強調空間の指向軸の方向および指向範囲角の大きさが最適に設定される。ユーザがタブレット・コンピュータのディスプレイ筐体を操作してＰＣ使用モードからタブレット使用モードに設定を変更すると、タブレット・コンピュータはそれを検出する。

タブレット使用モードでユーザの口が強調空間に入らないことがあると、タブレット・コンピュータはマイクロフォンが収集した音声信号を利用できない。タブレット・コンピュータは、使用モードの変更を検出するとマイクロフォンが収集した音声信号をタブレット使用モードで使用できるように強調空間を処理して動作する。その結果使用モードが変更されても、タブレット・コンピュータは、ユーザの介在を必要とすることなくマイクロフォンから収集した音声の利用を継続することができる。

強調空間を処理してタブレット使用モードで音声信号の利用ができるように動作する１つの方法では、強調空間を消滅させるためにタブレット・コンピュータが音声強調モードから非処理モードに移行する。その結果、タブレット・コンピュータは強調処理をしないため、マイクロフォンの性能に応じた方向から収集された音響を利用することができる。その音響には雑音も含まれるが、ユーザの口が抑圧空間に入って音声信号をまったく利用できない状態よりは利便性が高い。また、タブレット使用モードからＰＣ使用モードに変更されたときには、タブレット・コンピュータはそれを検出して非処理モードから音声強調モードに移行する。そして、ユーザの口が強調空間の中に入り、タブレット・コンピュータは雑音が抑圧され目的音が強調された音声信号を利用することができる。

強調空間を処理してタブレット使用モードで音声信号の利用ができるように動作する他の方法では、タブレット・コンピュータがタブレット使用モードでも音声強調モードを維持する。しかし、タブレット・コンピュータはタブレット使用モードに変更された後において、強調空間の指向軸および指向範囲角またはそのいずれか一方をＰＣ使用モードのときの値とは異なる値に設定する。その結果、ユーザの口は強調空間の中に入るようになり、タブレット・コンピュータは音声信号の利用を継続することができる。タブレット使用モードでは、通常はユーザが表示画面の下側に位置するので、表示画面の方向を検出することでユーザの口が強調空間に入るように指向軸をユーザの口の方向に向けることができる。

タブレット・コンピュータは筐体の傾斜角によりユーザの口の位置と指向軸の関係が変化する。したがって、タブレット・コンピュータの傾斜角を検出し、傾斜角に応じて指向軸の方向を変化させるようにしてユーザの口が強調空間に入るようにしてもよい。タブレット・コンピュータをユーザが抱えてタブレット使用モードで使用するときには、タブレット・コンピュータに揺れが生ずることがある。タブレット・コンピュータの筐体が揺れる場合は、指向軸とユーザの口の位置が揺動に応じて変化する。この場合、強調空間の指向範囲角の大きさをＰＣ使用モードのときの値より大きくすることで、揺れていてもユーザの口が強調空間の中に入るようにすることができる。

本発明により、ＰＣ使用モードからタブレット使用モードに変更されたときに、ユーザの介在を必要とすることなくマイクロフォンから収集した音声信号の利用を継続することができる、コンパーチブル型のタブレット・コンピュータを提供することができた。さらに本発明により、そのようなタブレット・コンピュータにおける音声信号の制御方法およびコンピュータ・プログラムを提供することができた。

［タブレットＰＣの構成］
以下、本発明において好適とされる実施の形態について、図面を参照して説明する。図１は、本発明の実施形態にかかるタブレットＰＣ１０の外観を示す斜視図である。タブレットＰＣ１０はコンバーチブル型であり、いずれも略直方体であるシステム筐体１１およびディスプレイ筐体１３を備える。システム筐体１１はキーボードおよびポインティング・デバイスを備えた入力部１５を備え、ディスプレイ筐体１３はタッチパネル入力部を液晶ディスプレイ（ＬＣＤ）の上に重ねて画面の表示とタッチペンによる入力を可能にした入力表示パネル１７を備える。

さらに、システム筐体１１およびディスプレイ筐体１３は、それぞれの端部の中央で連結部２１によって連結されている。連結部２１は、これらの筐体を互いに開閉する方向に回動自在に支持している。さらに、システム筐体１１からディスプレイ筐体１３を開いた状態で、ディスプレイ筐体１３を連結部２１を中心にして少なくとも１８０度回転させることが可能である。タブレットＰＣ１０は、図１（Ａ）に示すＰＣ使用モードでは、通常のノートＰＣのように、キーボードおよびマウスで構成される入力部１５に対して操作して使用することができる。さらに、図１（Ｂ）に示すようにディスプレイ筐体１３を回転させて、図１（Ｃ）に示すようにシステム筐体１１の上にディスプレイ筐体１３を重ねるように折り畳み、入力表示パネル１７が表を向くようにすれば、図１（Ｄ）に示すタブレット使用モードとなる。タブレット使用モードでは、タブレットＰＣ１０を入力表示パネル１７に対してタッチペンや指で指示して使用することができる。

ディスプレイ筐体１３は、入力表示パネル１７の周辺部に４つの縁辺１２ａ、１２ｂ、１２ｃ、１２ｄを含んでいる。縁辺１２ａには、表示方向回転ボタン２３が設けられている。ユーザが表示方向回転ボタン２３を１回押すごとに、所定の方向に入力表示パネル１７に表示される画面の方向が９０度ずつ回転する。回転の方向は、設定された時計方向、反時計方向、あるいはいずれかの選択された方向とすることができる。さらに１８０度回転させるときは、９０度ずつ回転させないで、１回で１８０度回転させるようにしてもよい。

縁辺１２ａには、さらに２個の無指向性のマイクロフォン１９ａ、１９ｂが設けられている。マイクロフォン１９ａ、１９ｂは、ビーム・フォーミングの技術により、ディスプレイ筐体１３の前面に音の強調空間を形成するための、マイクロフォン・アレーを構成する。本実施の形態においては、マイクロフォンの数を２個にしているが３個以上のマイクロフォンでマイクロフォン・アレーを構成するようにしてもよい。

［ハードウエア構成］
図２は、タブレットＰＣ１０のハードウエアの概略構成を示すブロック図である。ＣＰＵ５１は、タブレットＰＣ１０の中枢機能を担う演算処理装置で、ＯＳ、ＢＩＯＳ、デバイス・ドライバ、あるいはアプリケーション・プログラムなどを実行する。ＣＰＵ５１は、ノース・ブリッジ５５およびサウス・ブリッジ６１を中心に構成されるチップ・セットにさまざまなバスを経由して接続された各デバイスを制御する。ノース・ブリッジ５５は、メイン・メモリ５３へのアクセス動作を制御するためのメモリ・コントローラ機能や、バス間のデータ転送速度の差を吸収するためのデータ・バッファ機能などを含んだ構成となっている。

メイン・メモリ５３は、ＣＰＵ５１が実行するプログラムの読み込み領域、処理データを書き込む作業領域として利用される揮発性のＲＡＭである。ビデオ・コントローラ５７は、ビデオ・チップおよびＶＲＡＭ（いずれも図示せず）を有し、ＣＰＵ５１からの描画命令を受けて描画すべきイメージを生成しＶＲＡＭに書き込み、ＶＲＡＭから読み出されたイメージを描画データとしてディスプレイ１７ｂに送る。同時にビデオ・コントローラ５７は、表示方向回転ボタン２３の操作に対応して、ディスプレイ１７ｂに表示される画面の方向を９０度ずつ反時計方向に回転させる機能を実行することができる。

ノース・ブリッジ５５には、サウス・ブリッジ６１が接続されている。サウス・ブリッジ６１は、ノース・ブリッジ５５とＬＰＣバス６５との間のブリッジとしての機能を備えている。サウス・ブリッジ６１は、シリアルＡＴＡインターフェースおよびＵＳＢインターフェース（図示せず）としての機能も含み、シリアルＡＴＡインターフェースを介してハードディスク・ドライブ（ＨＤＤ）６３に接続され、ＵＳＢインターフェースを介してオーディオ・コントローラ５９に接続される。ＨＤＤ６３には、タブレットＰＣ１０が本発明を実行するために必要なプログラムが格納されている。なお、プログラムは、ＨＤＤ６３以外の不揮発性のメモリに格納してもよい。

オーディオ・コントローラ５９には、マイクロフォン１９ａ、１９ｂが接続されている。ＬＰＣバス６５には、エンベデッド・コントローラ（ＥＣ）６７、ボタン・コントローラ７１およびＩ／Ｏコントローラ７３が接続されている。ＥＣ６７は、８〜１６ビットのＣＰＵ、ＲＯＭ、ＲＡＭなどで構成されたマイクロ・コンピュータであり、さらに複数チャネルのＡ／Ｄ入力端子、Ｄ／Ａ出力端子、タイマー、およびデジタル入出力端子を備えている。ＥＣ６７は、タブレッドＰＣ１０の動作環境の管理にかかるプログラムをＣＰＵ５１とは独立して実行することができる。ＥＣ６７には、加速度センサ６９およびモード・スイッチ２５が接続されている。

加速度センサ６９は、タブレットＰＣ１０に外部から加えられた加速度を測定し、それに対応したアナログ電圧をＥＣ６７のＡ／Ｄ入力端子に出力する。ＥＣ６７は、加速度センサ６９から入力された電圧をＡ／Ｄ変換して加速度値を得る。得られた加速度値はＥＣ６７のＲＡＭに記憶され、加速度値を必要とするアプリケーション・プログラムを実行するＣＰＵ５１により定期的に読み取られる。モード・スイッチ２５は、タブレットＰＣ１０が図１（Ｄ）のように完全にタブレット使用モードに設定されたことを検出してタブレット信号を生成し、完全なタブレット使用モードからＰＣ使用モードへの変化を検出したときはＰＣ信号を生成してＥＣ６７に通知する。ＥＣ６７は、モード・スイッチ２５からタブレット信号またはＰＣ信号を受け取ったときはＣＰＵ５１に割り込みをかけて、後に説明する制御プログラムに通知する。

ボタン・コントローラ７１には、表示方向回転ボタン２３が接続されている。ボタン・コントローラ７１は表示方向回転ボタン２３からの入力を検知してビデオ・コントローラ５７に通知する。ビデオ・コントローラ５７は、その通知に基づいてディスプレイ１７ｂに表示する表示画面の方向を変化させる。Ｉ／Ｏコントローラ７３は、ＰＣ使用モードで使用される入力部１５、およびタブレット使用モードで使用されるタッチパネル入力部１７ａが接続される。なお、タッチパネル入力部１７ａとディスプレイ１７ｂは、図１の入力表示パネル１７を構成する。

なお、図１および図２は本実施の形態を説明するために、本実施の形態に関連する主要なハードウエアの構成および接続関係を簡略化して記載したに過ぎないものである。ここまでの説明で言及した以外にも、タブレットＰＣ１０を構成するには多くのデバイスが使われる。しかしそれらは当業者には周知であるので、ここでは詳しく言及しない。図で記載した複数のブロックを１個の集積回路もしくは装置としたり、逆に１個のブロックを複数の集積回路もしくは装置に分割して構成したりすることも、当業者が任意に選択することができる範囲においては本発明の範囲に含まれる。また、各々のデバイスの間を接続するバスおよびインターフェースなどの種類はあくまで一例に過ぎず、それら以外の接続であっても当業者が任意に選択することができる範囲においては本発明の範囲に含まれる。

［ソフトウエア構成］
図３は、本実施の形態に関連するソフトウエアの構成について示す概略ブロック図である。図３に示されたソフトウエアは、ＨＤＤ６３に格納されており、ＣＰＵ５１が実行するときにメイン・メモリ５３に読み込まれる。制御プログラム１０１、音声処理プログラム１０３、および音声利用プログラム１０５はＯＳ１０７上で動作し、ＯＳ１０７のＡＰＩを通じて他のプログラムとデータ交換をしたり、ハードウエアを制御したりしてユーザの目的とする作業をするプログラムである。制御プログラム１０１は、モード・スイッチ２５から受け取ったＰＣ信号またはタブレット信号に応じて、ＰＣ使用モードまたはタブレット使用モードのいずれでも音声利用プログラム１０５が音声データを利用できるように音声処理プログラム１０３を制御する。なお、この制御方法については後に説明する。

制御プログラム１０１は、ＥＣ６７から加速度センサ６９が検出した加速度値を定期的に受け取り、タブレット使用モードのときにシステム筐体１１が水平状態から傾斜している傾斜角を計算し保持する。傾斜角は入力表示パネル１７の平面上で直角に交わる２つの軸方向についてそれぞれ計算される。制御プログラム１０１は、時間的に変化する傾斜角の大きさからシステム筐体１１が揺動しているか否かを判断する。制御プログラム１０１は、ビデオ・ドライバ１１１を通じてディスプレイ１７ｂに表示されている現在の表示画面の方向に関する情報を受け取る。

音声処理プログラム１０３は、マイクロフォン・アレー技術を利用して目的音を強調し、指向性雑音である非目的音を抑圧するためのプログラムである。音声処理プログラム１０３は、オーディオ・ドライバ１１３から、マイクロフォン１９ａ、１９ｂが収集した音声信号を受け取り、受け取った音声信号に対してマイクロフォン１９ａ、１９ｂ間の間隔と音源の方向に起因する両信号間の位相差に基づいて演算処理を施すことによりマイクロフォン１９ａ、１９ｂの前面に、音声信号の強調空間と抑圧空間を形成する。音声処理プログラム１０３による音声処理技術はビーム・フォーミングといわれる。

マイクロフォン・アレー技術を利用したビーム・フォーミングには、Delay and Sum、減算型ビーム・フォーミング、適応型ビーム・フォーミング、またGriffiths-Jim型ビーム・フォーミングなどのさまざま技術が紹介されているが、本発明においては特にそれらを限定する必要はない。また、ディスプレイ筐体１３の前面に強調空間と抑圧空間を形成するために音声処理プログラム１０３の演算機能を組み込んだオーディオ・コントローラを採用してハードウエア・レベルで処理してもよい。さらに、強調空間と抑圧空間を形成して目的音と指向性雑音を分離するためのビーム・フォーミングとは異なる他の周知の音声強調技術を採用してもよい。

音声処理プログラム１０３は、アプリケーション層で動作する制御プログラム１０１および音声利用プログラム１０５に対するインターフェースを備えている。音声利用プログラム１０５は、マイクロフォン１９ａ、１９ｂが収集したユーザの音声信号を利用してコンピュータ・ネットワークを通じてリアルタイムに文字ベースの会話を行なうチャット、ＩＰフォン、またはテキスト入力などの作業を行うプログラムである。音声利用プログラム１０５は、音声処理プログラム１０３が実行されているときは、音声処理プログラム１０３から強調処理された音声データを受け取り、音声処理プログラム１０３が実行されていないときは、無指向性のマイクロフォン１９ａ、１９ｂが収集した音声信号からオーディオ・コントローラ５９により生成された音声データをオーディオ・ドライバ１１３から受け取る。

ボタン・ドライバ１０９は、ボタン・コントローラ７１を制御して表示方向回転ボタン２３などの操作ボタンの信号をＯＳ１０７に転送する。ビデオ・ドライバ１１１は、ビデオ・コントローラ５７を制御してディスプレイ１７ｂに表示する画像信号を処理する。ビデオ・ドライバ１１１は、ＯＳ１０７からディスプレイ１７ｂの画面の表示方向を変更するイベントを受け取ると、ビデオ・コントローラ５７を制御して表示方向を変更する。

ビデオ・ドライバ１１１が表示画面の方向を変更したときに、ＯＳ１０７は制御プログラム１０１に画面設定が変わったことを通知する。これを受けて制御プログラム１０１はＯＳ１０７に画面の設定情報を問い合わせ、新しい画面の表示方法に関する情報を得る。オーディオ・ドライバ１１３は、制御プログラム１０１からの指示に基づいて、オーディオ・コントローラ５９を制御して、ディジタル・データに変換された音声信号を音声処理プログラム１０３または音声利用プログラム１０５に転送する。中間ドライバ１１５は、制御プログラム１０１がＥＣ６７と通信をするためのプログラムである。

［強調空間］
図４は、音声処理プログラム１０３によりディスプレイ筐体１３の前面に形成される強調空間の様子を説明する図である。図４（Ａ）は斜視図で、図４（Ｂ）はシステム筐体１１に対して垂直に開いたディスプレイ筐体１３を上から見た平面図である。強調空間２００は、音声処理プログラム１０３がマイクロフォン１９ａ、１９ｂが収集した音声信号に対応する音声データに演算処理を施すことにより、ディスプレイ筐体１３の周囲に存在する音源からの音響を強調する空間として定義される。

強調空間２００は、ディスプレイ筐体１３の近辺では、ディスプレイ筐体１３の平面から左右方向に扇形のように広がりかつ上下方向に筒状に延びている。言い換えると、円柱を、それぞれ中心軸に平行で中心軸に対して所定の角度を形成する２つの平面で切り取った形状となっている。強調空間２００の中心軸２０１（以後、指向軸という。）は、ディスプレイ筐体１３の表面に垂直な平面で、強調空間２００を左右に均等に分割する。強調空間２００の左右方向の広がりを示す指向範囲角θは、タブレットＰＣ１０がＰＣ使用モードのときには６０度に設定され、指向軸２０１はディスプレイ筐体１３の表面に垂直な方向に設定される。なお、ディスプレイ筐体１３の表面は、ほぼ入力表示パネル１７の表面に相当する。

強調空間２００のディスプレイ筐体１３からの距離（扇形の半径の長さ）および高さ方向の範囲は、マイクロフォン１９ａ、１９ｂとオーディオ・コントローラ５９の能力に依存する。タブレットＰＣ１０の周囲の空間の中で、位置２０３、２０５などの強調空間２００以外の空間は抑圧空間として定義される。抑圧空間に存在する音源からの音響信号は、音声処理プログラム１０３により抑制またはキャンセルされるように処理される。ユーザがタブレットＰＣ１０をＰＣ使用モードで使用するときには、ディスプレイ筐体１３の前面に顔をおいてマイクロフォン１９ａ、１９ｂに話しかけることが通常なので、音源となるユーザの口は強調空間２００の中に存在する。その結果、ユーザの音声は強調され抑圧空間に存在する音源からの雑音は抑圧される。

このような強調空間の指向軸の方向および指向範囲角θの大きさは、ＰＣ使用モードでユーザの口が確実に強調空間に入り、かつ、必要以上に強調空間が大きくなって雑音が混入することがないような最適な値として設定されている。しかし、タブレットＰＣ１０がタブレット使用モードで使用されるときには、図４に示した強調空間２００の構成では不都合が生ずる。ユーザがタブレットＰＣ１０をタブレット使用モードで使用するときには、図１（Ｄ）のようにディスプレイ筐体１３を折り畳んだ後に、一方の手でシステム筐体１１を保持し、他方の手でタッチペン操作をする。このとき、通常はユーザの体が縁辺１２ｂまたは１２ｄの側に位置する。

この場合、図４（Ａ）から明らかなようにユーザの口は抑制空間に入ってしまう。抑制空間に口をおいたユーザがマイクロフォン１９ａ、１９ｂに向かって話しかけると、音声利用プログラム１０５に音声データが伝わりにくくなり、ユーザは音声システムが故障したと認識することがある。このときユーザは音声処理プログラム１０３のユーザ・インターフェース用のウインドウ画面を操作して音声処理プログラム１０３の実行を停止することができる。

音声処理プログラム１０３が実行を停止すると音声データはオーディオ・ドライバ１１３から直接音声利用プログラム１０５に転送されるようにオーディオ・ドライバ１１３は構成されている。このことは強調空間２００と抑圧空間がともに消滅したことに相当する。そして、音声利用プログラム１０５は、強調処理のされない音声データを利用することができる。本明細書では、音声処理プログラム１０３が実行されて強調処理の施された音声データを音声利用プログラム１０５が利用している状態を音声強調モードといい、音声処理プログラム１０３の実行が停止されて音声利用プログラム１０５が強調処理のされない音声データを利用している状態を非処理モードということにする。

本発明では、タブレットＰＣ１０がＰＣ使用モードで、かつ音声強調モードで動作している状態でタブレット使用モードに変更されたときに、ユーザの操作を介在しないで継続して音声利用プログラム１０５に音声データが供給され音声の利用を継続することができる。それを実現する第１の方法では、タブレット使用モードに変更されたことを検出して、自動的に音声強調モードから非処理モードに動作モードを変更する。第２の方法では、音声強調モードを維持しつつ、指向軸の向きおよび指向範囲角の大きさまたはいずれか一方を変更することで、ユーザが抑圧空間に入らないようにする。いずれの方法でも、ＰＣ使用モードのときの生成した強調空間に変更処理を加える。

［第１の実施例］
図５はタブレットＰＣ１０が、ＰＣ使用モードからタブレット使用モードに変更されたときに、音声強調モードから非処理モードに移行する手順を示すフローチャートである。ブロック３０１では、タブレットＰＣ１０のディスプレイ筐体１３が、図１（Ａ）に示すようなＰＣ使用モードに設定されている。ＥＣ６７は、ＰＣ信号を制御プログラム１０にすでに送っているので、制御プログラム１０１は、タブレットＰＣ１０が現在ＰＣ使用モードに設定されていることを認識する。音声処理プログラム１０３および音声利用プログラム１０５は、あらかじめメイン・メモリ５３に読み出されている。

ブロック３０３では、ＰＣ使用モードに設定されていることを認識した制御プログラム１０１が音声処理プログラム１０３を実行させる。音声処理プログラム１０３は、図４に示した指向軸２０１がディスプレイ筐体１３の表面に垂直で指向範囲角θが６０度の強調空間２００を形成する。そして、ユーザにより音声利用プログラム１０５が実行されると、マイクロフォン１９ａ、１９ｂで収集された音声データがオーディオ・ドライバ１１３および音声処理プログラム１０３を経由して強調処理された後に音声利用プログラム１０５に供給される。

ブロック３０５では、制御プログラム１０１が、ユーザがタブレットＰＣ１０を図１（Ｄ）に示したタブレット使用モードに変更したか否かをＥＣ６７からのタブレット信号に基づいて判断している。ブロック３０７では、制御プログラム１０１がＥＣ６７からタブレット信号を受け取ると、音声処理プログラム１０３の実行を停止させる。ブロック３０７では、制御プログラム１０１がオーディオ・ドライバ１１３に音声処理プログラム１０３を停止したことを通知すると、それ以降オーディオ・ドライバ１１３は、音声データを音声利用プログラム１０５に直接転送する。なお、オーディオ・ドライバ１１３から音声利用プログラム１０５に音声データを直接転送する方法に制御プログラム１０１を介在させないで、ＯＳ１０７が音声処理プログラム１０３の実行状態を監視してオーディオ・ドライバ１１３からの音声データの転送先を制御するようにしてもよい。そして、ブロック３０９ではタブレットＰＣ１０が非処理モードで動作する。

非処理モードでは、強調空間と抑圧空間が形成されないため、無指向性のマイクロフォン１９ａ、１９ｂが収集した音声信号に対して雑音から目的音を強調する強調処理は行われないが、ユーザの口が抑圧空間に入ることがないため、音声利用プログラム１０５は音声データの利用を継続することができる。ブロック３１１では、制御プログラム１０１が、ユーザがタブレットＰＣ１０を図１（Ａ）に示したＰＣ使用モードに変更したか否かをＥＣ６７からのＰＣ信号に基づいて判断している。制御プログラム１０１は、ＥＣ６７からＰＣ信号を受け取るとブロック３０３に移行して、ＰＣ使用モードに対応するように音声処理プログラム１０３を実行させる。この手順によれば、ユーザはユーザ・インターフェース用のウインドウ画面の操作を行う煩雑さから解放される。

［第２の実施例］
図６は、タブレットＰＣ１０が、ＰＣ使用モードからタブレット使用モードに変更されたときに、音声強調モードを維持しつつ、指向軸２０１の向きおよび指向範囲角θの大きさまたはいずれか一方を変更する手順を示すフローチャートである。図７は、指向軸２０１の向きまたは指向範囲角θの大きさを変化させるときの様子を示す図である。図７では、いずれもユーザ５０１が、ディスプレイ筐体１３の縁辺１２ｂまたは縁辺１２ｄの側に位置している。また、図７（Ａ）〜（Ｃ）では、説明をわかりやすくするために指向範囲角θを狭く表記しているが、実際の指向範囲角θはＰＣ使用モードに採用されている６０度である。

図６のブロック４０１から４０１までは図５のブロック３０１から３０５までの手順と同じなので説明を省略する。ブロック４０７では、ＥＣ６７からタブレット信号を受け取った制御プログラム１０１は、現在入力表示パネル１７に表示されている画面の上下方向と縁辺の関係を認識する。画面の上下方向に関するデータは、画面の方向が変更されるたびにビデオ・ドライバ１１１から制御プログラム１０１に転送されている。制御プログラム１０１は、画面の下側にユーザ５０１が存在することを前提に判断する。

ブロック４０９で制御プログラム１０１は、画面の上側が縁辺１２ｂまたは１２ｄに位置すると認識したときに、強調空間２００の指向軸２０３の方向を変更する必要があると判断してブロック４１１に移行する。制御プログラム１０１は、画面の上側が縁辺１２ａまたは１２ｃに位置すると判断したときは、指向軸２０３の方向を変更しないで、ＰＣ使用モードにおける指向軸２０３の方向と指向範囲角θ（６０度）を維持する。図４（Ａ）に示したように、ユーザが縁辺１２ａまたは縁辺１２ｃのいずれかの側に位置するときには、ユーザの口はＰＣ使用モードでの強調空間２００の中に入るので、音声利用プログラム１０５には強調処理された音声データが供給される。

タブレット使用モードでは、多くの場合、ユーザが片手でシステム筐体１１をわずかに傾斜させながら保持して使用する。ブロック４１１において制御プログラム１０１は音声処理プログラム１０３に指示し、ユーザがシステム筐体１１を保持するときにシステム筐体１１を傾斜させる標準的な角度に基づいて、図７（Ａ）に示すように強調空間２００ａの指向軸がユーザの顔を向くように変更させる。音声処理プログラム１０３は、ディスプレイパネル１３の表面に対する指向軸２０１の角度αを９０度より小さくなるように画面の下側方向に所定の角度まで傾斜させる。なお、強調空間２００ａないし２００ｃの指向範囲角は６０度である。このように表示画面の方向に基づいて指向軸２０１の方向をユーザが存在すると想定した方向に向けることで、ユーザの口が抑圧空間に入ることがなくなり、音声処理プログラム１０３は、音声利用プログラム１０５に対する音声データの供給を継続することができる。

ブロック４１３では、制御プログラム１０１が、ユーザがタブレットＰＣ１０を図１（Ａ）に示したＰＣ使用モードに変更したか否かをＥＣ６７からのＰＣ信号に基づいて判断している。制御プログラム１０１は、ＥＣ６７からＰＣ信号を受け取ると、ブロック４０３に移行して、ＰＣ使用モードに対応するように音声処理プログラム１０３を実行させる。

ブロック４１３で、制御プログラム１０１が、タブレット使用モードが継続していると認識した場合は、ブロック４１５、４１９または４２１に移行する。制御プログラム１０１は、定期的にＥＣ６７からシステム筐体１１関する加速度情報を受け取っており、その時点でのシステム筐体１１の姿勢または水平に対する傾斜角を認識している。ブロック４１５では、ブロック４１１で指向軸２０１の方向を変更したときのシステム筐体１１の標準的な傾斜角から、システム筐体１１が縁辺１２ｂ方向または縁辺１２ｃ方向に傾斜したか否かを制御プログラム１０１が判断する。

たとえば、図７（Ｂ）のようにユーザがタブレットＰＣ１０を水平な机上面においた場合には、ブロック４１１で設定した指向軸２０１の方向では、ユーザの口が抑圧空間に入る可能性がある。また、図７（Ｃ）のようにユーザがさらにタブレットＰＣ１０を傾斜させたときには、再度指向軸２０１の方向を変更しないとユーザの口が抑圧空間に入る可能性がでてくる。制御プログラム１０１は、ブロック４１５で所定の角度以上システム筐体１１が傾斜したと判断したときはブロック４１７に移行して音声処理プログラム１０３に指示し、指向軸２０１がディスプレイ筐体１３の表面に対する角度αを傾斜角に応じた角度だけ変化させてブロック４１３に移行する。

指向軸２０１を変化させる方向は、矢印Ａで示したシステム筐体１１の傾斜方向とは逆の矢印Ｂの方向とする。ディスプレイ筐体１３が垂直に近い状態になったときは、角度αはブロック４１１で設定した値より大きくなる。制御プログラム１０１がブロック４１５でシステム筐体１１が所定の角度以上傾斜していないと判断している場合は、ブロック４１３に移行する。ブロック４１９では、表示方向回転ボタン２３が操作されると、ビデオ・ドライバ１１１がＣＰＵ５１に割り込みをかけて制御プログラム１０１に現在の表示画面の上下方向に関する情報を伝えブロック４０７に移行する。ブロック４０７では、画面の上下方向が縁辺１２ｂまたは縁辺１２ｄの方向に位置づけられるように変化したときは、ブロック４０９で指向軸の方向を変更する。

ブロック４２１では、制御プログラム１０１が定期的に観測した加速度情報に基づいてシステム筐体１１が揺れているか否かを判断する。制御プログラム１０１は、システム筐体１１が図７（Ｄ）に示すように矢印Ｃ方向に揺れていると判断したときは、ブロック４２３に移行して指向範囲角θを６０度より大きくするように音声処理プログラム１０３に指示して、システム筐体１１が揺れてもユーザの口が強調空間の中に入るようにする。ブロック４２１で制御プログラム１０１がシステム筐体１１に揺れがないと判断したときは、その時点まで指向範囲角θが６０度以上に広がっていればそれを６０度に戻してブロック４１３に移行する。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。

本発明の実施の形態にかかるタブレットＰＣの外観を示す斜視図である。 本実施の形態にかかるタブレットＰＣのハードウエアの概略構成を示すブロック図である。 本実施の形態に関連するソフトウエアの構成を示すブロック図である。 音声処理プログラムによりディスプレイ筐体の前面に形成される強調空間の様子を説明する図である。 タブレットＰＣが、ＰＣ使用モードからタブレット使用モードに変更されたときに、音声強調モードから音声未処理モードに移行する手順を示すフローチャートである。 タブレットＰＣが、ＰＣ使用モードからタブレット使用モードに変更されたときに、音声強調モードを維持しつつ、指向軸の向きおよび指向範囲角の大きさまたはいずれか一方を変更する手順を示すフローチャートである。 指向軸の向きまたは指向範囲角の大きさを変化させるときの様子を示す図である。

符号の説明

１０…タブレットＰＣ
１１…システム筐体
１２ａ、１２ｂ、１２ｃ、１２ｄ…縁辺
１３…ディスプレイ筐体
１７…入力表示パネル
１７ａ…タッチパネル入力部
１７ｂ…ディスプレイ
２３…表示方向回転ボタン
２００、２００ａ、２００ｂ、２００ｃ、２００ｄ…強調空間
２０１…指向軸
θ…指向範囲角
２０３、２０５…抑圧空間

Claims (17)

1. マイクロフォン・アレーを構成する複数のマイクロフォンを備え、該複数のマイクロフォンが収集した音声信号を、強調空間を形成して処理する音声強調モードまたは強調空間を形成しないで処理する非処理モードで動作することが可能なコンパーチブル型のタブレット・コンピュータにおいて、音声信号を制御する方法であって、
   ＰＣ使用モードにおいて前記タブレット・コンピュータを前記音声強調モードで動作させるステップと、
   前記ＰＣ使用モードからタブレット使用モードに変更されたことを前記タブレット・コンピュータが検出するステップと、
   前記検出するステップに応答して前記複数のマイクロフォンが収集した音声信号を前記タブレット使用モードで利用できるように前記強調空間を処理して前記タブレット・コンピュータが動作するステップと
   を有する制御方法。
2. 前記動作するステップが、前記音声強調モードから前記非処理モードに移行するステップを含む請求項１に記載の制御方法。
3. 前記タブレット使用モードから前記ＰＣ使用モードに変更されたことを前記タブレット・コンピュータが検出するステップを有し、
   前記動作するステップが、前記検出するステップに応答して前記非処理モードから前記音声強調モードに移行するステップを含む請求項２に記載の制御方法。
4. 前記動作するステップが、前記強調空間の指向軸および指向範囲角またはそのいずれか一方を前記ＰＣ使用モードのときの値とは異なる値に設定するステップを含む請求項１に記載の制御方法。
5. 前記タブレット使用モードにおける表示画面の方向を前記タブレット・コンピュータが検出するステップを有し、
   前記動作するステップが、前記表示画面の方向に応じて前記指向軸の方向を変化させるステップを含む請求項４に記載の制御方法。
6. 前記タブレット・コンピュータの傾斜角を前記タブレット・コンピュータが検出するステップを有し、
   前記動作するステップが、前記傾斜角に応じて前記指向軸の方向を変化させるステップを含む請求項４または請求項５に記載の制御方法。
7. 前記タブレット・コンピュータの揺動を前記タブレット・コンピュータが検出するステップを有し、
   前記動作するステップが、前記揺動に応答して前記強調空間の指向範囲角の大きさを前記ＰＣ使用モードのときの値より大きくするステップを含む請求項４ないし請求項６のいずれかに記載の制御方法。
8. コンパーチブル型のタブレット・コンピュータであって、
   マイクロフォン・アレーを構成する複数のマイクロフォンと、
   前記複数のマイクロフォンが収集した音声信号から音声データ生成する音声データ生成手段と、
   前記音声データ生成手段から受け取った音声データを、強調空間を形成して処理する音声処理手段と、
   ＰＣ使用モードまたはタブレット使用モードの設定を検出するモード検出手段と、
   前記音声データ生成手段または前記音声処理手段から音声データを受け取って利用する音声利用手段と、
   前記音声利用手段が前記ＰＣ使用モードにおいて前記音声処理手段から音声データを受け取っているときに、前記モード検出手段が前記タブレット使用モードを検出したことに応答して前記音声利用手段が音声データ生成手段または前記音声処理手段から音声データを受け取るように前記音声処理手段を制御する制御手段と
   を有するタブレット・コンピュータ。
9. 前記制御手段は、前記モード検出手段が前記タブレット使用モードを検出したことに応答して前記音声データ生成手段から前記音声利用手段に音声データを供給させる請求項８に記載のタブレット・コンピュータ。
10. 前記制御手段は、前記モード検出手段が前記ＰＣ使用モードを検出したことに応答して前記音声処理手段から前記音声利用手段に音声データを供給させる請求項９に記載のタブレット・コンピュータ。
11. 前記制御手段は、前記強調空間の指向軸および指向範囲角またはそのいずれか一方を前記ＰＣ使用モードのときの値とは異なる値に設定するように前記音声処理手段を制御する請求項８に記載のタブレット・コンピュータ。
12. 前記タブレット・コンピュータのディスプレイに表示された画面の表示方向を検出する表示方向検出手段を有し、
    前記制御手段は、前記表示方向検出手段から受け取った画面の方向を示す情報に応じて前記指向軸の方向を変化させる請求項１１に記載のタブレット・コンピュータ。
13. 前記タブレット・コンピュータの傾斜角を測定する傾斜角測定手段を有し、
    前記制御手段は、前記傾斜角測定手段から受け取った傾斜角情報に応じて前記指向軸の方向を変化させる請求項１１または請求項１２に記載のタブレット・コンピュータ。
14. 前記制御手段は、前記傾斜角測定手段から定期的に受け取った傾斜角情報に基づいて検出した前記タブレット・コンピュータの揺動に応じて前記指向範囲角の大きさを前記ＰＣ使用モードのときの値より大きくする請求項１３に記載のタブレット・コンピュータ。
15. マイクロフォンが収集した音声信号に対して強調処理をする音声強調モードと強調処理をしない非処理モードで動作することが可能なコンパーチブル型のタブレット・コンピュータに、
    ＰＣ使用モードにおいて前記マイクロフォンが収集した音声信号に対して強調処理をする機能と、
    前記ＰＣ使用モードからタブレット使用モードに変更されたことを検出する機能と、
    前記タブレット使用モードに変更されたことに応答して前記マイクロフォンが収集した音声信号を前記タブレット使用モードで利用できるように前記強調処理の内容に変更を加えて動作する機能と
    を実現させるコンピュータ・プログラム。
16. 前記動作する機能が前記強調処理を停止して前記マイクロフォンが収集した音声信号を利用する機能を含む請求項１５に記載のコンピュータ・プログラム。
17. 前記動作する機能が前記強調処理をする空間的な方向が前記ＰＣ使用モードのときとは異なる方向となるように動作する機能を含む請求項１５に記載のコンピュータ・プログラム。

Images