JP4778362B2 - 情報処理装置及びそのプログラム - Google Patents

Description

本発明は、入力に応じた処理を実行する情報処理装置に関するものであり、特に身体の所定部位の変位の検出結果及び音声入力に応じた処理を実行する情報処理装置及びそのプログラムに関するものである。

近年、工場等における作業現場においても、情報処理装置を有効に活用したいという要求がある。ここで、情報処理装置に所望の処理を実行させるには、実行させたい処理を特定するための情報を入力する必要がある。この入力を、以下、処理要求入力という。しかし、作業現場等は、マウスやキーボード等の一般的な情報入力手段の使用に適しない環境であるため、ごく簡易な操作で処理要求入力が可能な情報処理装置の開発が望まれている。
これに対し、従来、音声認識技術（音声解析技術）を利用し、音声により処理要求入力が可能なカーナビゲーション装置等の情報処理装置が知られている。
また、特許文献１には、処理要求入力を行うユーザの口元を継続的に撮像しながら口元の画像の変化を監視し、口元の画像に変化があった時が音声入力のタイミングであるとして、そのタイミングを起点に、マイクから入力された音声に対して音声認識処理（音声解析処理）を実行する技術が示されている。
特開平１１−３３８４９０号公報

しかしながら、そもそも音声認識処理は、その処理を行う演算部にかかる演算負荷が高い上、実行対象となる処理の候補の数が多い場合、それらの候補各々を特定するために、数多くのパターンの音声を識別できる複雑な（高度な）音声認識を行う構成とすると、音声認識処理を行う演算部の演算負荷が非常に高くなるという問題点があった。例えば、「はい」や「いいえ」等のごく少数の単純な音声のみを識別するための音声認識処理は軽負荷であるが、所定の値を設定するための連続的な数値情報を音声認識するような場合には、認識すべき音声のパターンが膨大な数となり、非常に演算負荷の高い処理となる。
特に、工場等における作業現場等の環境では、運転中の設備の音や他の作業者の声等、高レベルのノイズ音が存在するため、複雑な音声認識を行うこと自体が困難になるという問題点もあった。
ここで、特許文献１に示される技術によれば、ユーザの口元が動き始めるまでは音声認識処理を休止させて演算部の負荷を低減できるものの、音声認識処理の開始後は、上述した問題点がやはり残る。
従って、本発明は上記事情に鑑みてなされたものであり、その目的とするところは、ごく簡易な操作で実行させたい処理を特定できるとともに、その特定のための処理の負荷（演算負荷）を極力小さく抑えることができる情報処理装置及びそのプログラムを提供することにある。

上記目的を達成するために本発明は、身体の所定部位の変位を検出する変位検出手段及び音声入力手段を備え、これらを通じて得られる情報に応じた処理を実行する情報処理装置或いはそのような情報処理装置（コンピュータ）に実行させる情報処理プログラムとして構成されるものである。より具体的には、予め定められた複数の所定の分類情報と予め定められた複数の音声（以下、特定音声という）を識別する特定音声識別情報との組合せ、及びその組合せに応じて実行する処理に関する情報を予め記憶しておき、前記変位検出手段の検出結果に基づいて前記分類情報のいずれかを選択する（分類情報選択処理）とともに、前記音声入力手段を通じて得られる入力音声から前記特定音声を認識し（音声認識処理）、選択された前記分類情報と認識された前記特定音声との組合せに応じた処理を、前述の予め記憶した情報を参照することによって特定し、これにより特定された処理（以下、特定処理という）を実行するものである。
このように、身体の所定部位の変位の検出結果と特定音声の認識結果との組合せにより処理を特定するので、キーボード等の入力手段を用いなくても、身体の所定部位特を動かす操作（例えば、利用者が袖（手首付近）の部分を胸の部分に装着された検出部の前で動かす等）と、特定音声の発声との組合せによる簡易な操作により、実行したい処理を特定できる。
また、身体の所定部位の変位と特定音声との組合せで処理を特定するので、変位及び特定音声の各々の種類は比較的少なくても、数多くの組合せを作ることができ、変位検出及び音声認識各々は比較的簡易な処理とすることができる。その結果、実行したい処理を特定する処理の負荷（演算負荷）を小さく抑えることができる。
特に、前記分類情報選択処理により前記分類情報が選択された場合に、前記特定音声の認識を開始するものであるので、まずは音声認識よりも処理負荷が軽い変位検出処理及びその検出結果に基づく分類情報の選択処理のみを実行させておき、これにより前記分類情報が選択されるまでは、相対的に処理負荷が高い音声認識処理を休止させることができるので、処理負荷を一層小さく抑えることができる。
なお、当該情報処理装置を作業現場等で移動する作業者が用いる場合を考慮すれば、前記変位検出手段及び前記音声入力手段が身体に装着可能に構成されていることが望ましい。

また、所定の表示手段を設け、前記分類情報選択手段により前記分類情報が選択された場合に、その分類情報との組合せ対象となり得る前記特定音声識別情報を予め記憶した情報の中から特定し、その特定した特定音声識別情報の候補やその関連情報を前記表示手段に表示させる第１の表示制御を行うものが考えられる。
これにより、利用者は、身体の所定部位の変位の種類（変位の方向や変位量等）によって概ねどのよな処理が特定され得るかさえ覚えておけば、各分類情報に対応する変位の種類と特定音声との全ての組合せを覚えていなくても、表示内容を参照しながら、実行させたい処理に対応した特定音声を発する（発声する）ことができる。
また、表示手段を設けた場合に、前記分類情報選択処理による選択が可能な前記分類情報の候補に関する情報を前記表示手段に表示させる第２の表示制御を行うものも考えられる。
これにより、利用者は、表示された分類情報の候補に関する情報を確認しながら身体の所定部位を変位させて、分類情報の選択操作を行うことができる。

また、前記変位検出手段により検出される前記身体の所定部位の変位方向と変位量若しくは変位回数とに基づいて前記特定処理（特定処理実行手段により実行される処理）に用いられる数値情報を検知する処理（数値情報検知処理）を行うものが考えられる。
これにより、マウスやキーボード等の入力手段を用いる必要がなく、また、音声認識によって数値情報を入力（認識）する場合に比べ、処理負荷を大幅に低減することができる。
さらにこの場合、その数値情報を利用者が確認できるよう、前記数値情報検知処理により検知された前記数値情報を所定の表示手段に表示させることが望ましい。
なお、前記表示手段も、前記変位検出手段及び前記音声入力手段と同様の理由で、身体に装着可能に構成されていることが望ましい。例えば、ＨＭＤ(Head Mounted Display)等である。
また、前記変位検出手段としては、例えば、次の（１）〜（４）に示すものが考えられる。
（１）身体の所定位置に固定装着された検出部により該検出部の近傍で動かされる身体の所定部位（手若しくは腕の一部等）の変位を検出するもの。
（２）身体の所定部位に装着された複数の近接センサによりその近接センサの近傍を経由して動かされる身体の所定部位の変位を検出するもの。
（３）身体の所定部位に装着された加速度検出手段によりその所定部位の変位を検出するもの。
（４）身体の所定部位に装着された磁性体を検出する磁力検出手段によりその所定部位の変位を検出するもの。

本発明によれば、身体の所定部位の変位の検出結果（即ち、これに基づき選択される分類情報）と特定音声の認識結果との組合せにより実行する処理を特定するので、キーボード等の入力手段を用いなくても、身体の所定部位を動かす操作と、特定音声の発声との組合せによる簡易な操作により、実行したい処理を特定できる。また、身体の特定部位の変位と特定音声との組合せで処理を特定するので、身体の特定部位の変位及び特定音声の各々の種類は比較的少なくても、数多くの組合せを作ることができ、身体の特定部位を動かす操作を単純化できるとともに、音声認識は比較的簡易な処理として演算負荷を抑えることができる。
特に、前記変位検出手段の検出結果に基づき前記分類情報が選択された場合に、前記特定音声の認識を開始するものとすれば、前記分類情報が選択されるまでは、相対的に処理負荷が高い音声認識処理を休止させることができるので、処理負荷を一層小さく抑えることができる。

以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
ここに、図１は本発明の一実施形態に係る情報処理装置Ａの概略構成図、図２は情報処理装置Ａが備える変位センサの構成を表すブロック図、図３は情報処置装置Ａによる実行内容特定処理の手順を示すフローチャート、図４は情報処理装置Ａにおける画面表示例を表す図、図５は情報処理装置Ａが予め記憶する分類・音声組合せ情報のデータ構成の一例を表す図、図６は情報処理装置Ａが備える変位センサの第１実施例を表す概略構成図、図７は情報処理装置Ａが備える変位センサの第２実施例を表す概略構成図、図８は情報処理装置Ａが備える変位センサの第３実施例を表す概略構成図である。

まず、図１に示す概略構成図を参照しつつ、本発明の一実施形態に係る情報処理装置Ａの構成について説明する。
図１に示すように、情報処理装置Ａは、その本体がＣＰＵ（演算手段）及びその周辺装置を備えた可搬型（携帯型）のパーソナルコンピュータ（計算機）であるモバイルＰＣ（５）であり、これに、身体装着型の表示手段であるＨＭＤ１（Head Mounted Display）と、身体の一部である手首近傍部分（利用者が着用する作業服の袖部分）の変位を検出する変位センサ２と、音声入力手段であるマイクロホン３ａ、３ｂと、身体装着型の音声出力手段であるヘッドホン４とが接続されて構成されている。
また、情報処理装置Ａは、マンマシンインターフェースに関する構成要素のうち、ＨＭＤ１（表示手段）、マイクロホン３ａ、３ｂ及びヘッドホン４が、利用者（作業者）がかぶるヘルメット４１に取り付けられることにより、作業現場等における作業者の身体に装着可能に、即ち、いわゆるウェアラブルに構成されている。
さらに、マンマシンインターフェースに関する残りの構成要素である変位センサ２が利用者の着用する作業服の胸部部分に装着されるよう構成され、さらに、この変位センサ２の前面に摺動させて変位させることにより、変位センサ２によってその変位が読み取られる変位パッド６が、利用者の着用する作業服の袖部分に装着されている。
図１に示す例では、ヘルメット４１の側面下部に、当該ヘルメット４１をかぶる作業者の耳に近接するようにスピーカが内蔵されたヘッドホン４が取り付けられ、さらにヘッドホン４には、ヘルメット４１をかぶる作業者の片目の斜め前方に位置するように、ＨＭＤ１がアーム部４２を介して支持されている。
これにより、作業者は、作業を行いながらＨＭＤ１の表示内容を見ることができる。

また、マイクロホン３ａ、３ｂは、ヘッドホン４１に設けられたアーム部４３により、ヘルメット４１をかぶる作業者の口元に近接する位置に支持されている。但し、その一方のマイクロホン３ａは、作業者の口元に向けて取り付けられ、他方のマイクロホン３ｂは、その反対方向に向けて取り付けられている。ここで、口元に向けられるマイクロホン３ａは、向けられた方向に対して指向性を有する。
このような配置により、作業者が発する声は、マイクロホン３ａ、３ｂの両方に入力（集音）されるが、マイクロホン３ａの方により効率的に（高い強度で）入力（集音）される。同時に、マイクロホン３ａ、３ｂは近接しているので、周囲にある設備の運転音等の雑音についてはほぼ同等のレベルで入力される。従って、マイクロホン３ａによる入力音声信号からマイクロホン３ｂによる入力音声信号を差し引いた差分音声信号は、雑音の混入が少なく作業者が発する音声がよりクリアに再現された音声信号となる。この差分音声信号を後述する音声認識処理の対象として用いることにより、より精度の高い音声認識が可能となる。以下、マイクロホン３（３ａと３ｂの総称）による入力音声信号といえば、その差分音声信号のことをいうものとする。
一方、モバイルＰＣ５は、作業者のベルトに装着、或いはポケットに収納される等により、作業者の身体に装着され携帯される。

次に、図２に示すブロック図を用いて、変位センサ２について説明する。
図２に示すように、変位センサ２は、赤外線やレーザ光等を出射する光源２１と、その光源２１から出射された光（赤外線やレーザ光）が変位パッド６で反射された反射光を集光するレンズ２２と、集光された光を受光して電気信号に変換する受光素子２３と、受光素子２３から出力される信号に基づいて変位パッド６の変位方向及び変位量を検出し、検出した変位方向及び変位量を表す信号を出力する変位検出部２４と、この変位検出２４で検出された変位方向及び変位量を赤外線信号等の無線信号によりモバイルＰＣ（５）へ送信する無線機２５とを備えている。変位方向及び変位量は、例えば、Ｘ−Ｙ座標の変化（Δｘ、Δｙ）等として検出される。
ここで、変位センサ２の前面において変位パッド６を変位（移動）させると、変位パッド６表面の模様等の変位センサ２に対する相対位置が変位し、この変位によって変位パッド６からの反射光の強度が変化する。そして、変位検出部２４は、反射光の変化に応じて変化する受光素子２３からの電気信号の変化に基づいて、変位パッド６の変位値（変位量）を検出する。これは、赤外線やレーザ光を用いた光学式マウスと同様のしくみである。
このような構成により、利用者が、胸部に固定装着された変位センサ２（検出部の一例）の前（近傍）で手首近傍部分（腕の一部）を動かすことにより、変位パッド６も同様に動き、その変位パッド６の変位（＝手首近傍部分の変位）が、変位センサ２により検出され、検出値がモバイルＰＣ（５）に伝送される。変位パッド６は、袖部分の他、利用者の手に装着されるもの、例えば、作業手袋の手の甲の部分に装着されたものや、手の甲に貼り付けられるシールのようなもの等も考えられる。これにより、変位センサ２は、利用者の手の変位（ここでは、変位量と変位方向）を検出するセンサとなる。

情報処理装置Ａは、モバイルＰＣ５（処理特定手段及び特定処理実行手段の一例）により、変位センサ２により検出された利用者の手首近傍部分（変位パッド６）の変位情報と、マイクロホン３により入力された入力音声（音声情報）に基づく音声認識の結果とに基づいて、利用者（作業者）が要求する処理を特定し、特定した処理を実行するものである。以下、利用者が要求する処理を特定する処理のことを、実行内容特定処理という。
ここで、モバイルＰＣ５が備えるハードディスク等の記憶部には、各種の処理を分類するために用いる予め定められた複数の所定の分類情報ｄ１と、予め定められた複数の特定の音声（以下、特定音声という）各々を識別する特定音声識別情報ｄ２との組合せ、及びその組合せに応じて実行する処理を識別する情報（以下、処理特定情報ｄ３という）が予め記憶されている。この情報を、以下、分類・音声組合せ情報Ｄという。
図５は、分類・音声組合せ情報Ｄのデータ構成の一例を表す図である。
図５に示す例では、「マイク関係」、「○×関係」、「データ参照」及び「数値入力」等の情報（「分類：」の後に続く情報）が、前述の分類情報ｄ１の一例である。
また、「１」、「２」、「３」及び「４」等の情報（「音声：」の後に続く情報）が、特定音声「イチ」、「ニー」、「サン」、「ヨン」各々を識別する特定音声識別情報ｄ２の一例である。
さらに、「録音」、「マイク入力音量補正」、「装置Ａ図面検索・表示」等の情報（「処理：」の後に続く情報）が、前記処理特定情報ｄ３の一例である。
図４に示す例では、例えば、分類情報＝「マイク関係」と、特定音声＝「１」（イチ）との組合せに対し、マイクロホン３（３ａ、３ｂ）による入力音声をモバイルＰＣ５の記憶部に記憶させる（録音する）録音処理が対応付けられている。
同様に、分類情報＝「マイク関係」と、特定音声＝「４」（ヨン）と、分類情報＝「数値入力」と、特定音声＝「１」（イチ）との組合せに対し、マイクロホン３の入力音声補正処理（マイク入力音量補正やマイク低音強調補正など）が対応付けられている。このように、１つの分類情報と１つの特定音声との１対１の組合せのみでなく、その１対１の組合せの更なる組合せによって処理を特定することも可能である。このため、図５に示す分類・音声組合せ情報Ｄは、上記１対１の組合せごとの階層構造となっており、丸印の数が階層の深さを表している。
ここで、処理特定情報ｄ３における「〜（数値）」は、当該処理特定情報ｄ３に対応する処理が、変位センサ２の検出結果により認識される数値情報を用いる（引数とする）ことを表す。その詳細については後述する。
さらに、分類・音声組合せ情報Ｄには、特定音声識別情報ｄ２各々に対応付けられた表示情報ｄ４が含まれる。図５の例では、分類ｄ１「マイク関係」と組合せを構成する特定音声識別情報「１」に対し、「録音」という表示情報ｄ４が対応付けられている。また、分類情報ｄ１「数値入力」と組合せを構成する特定音声識別情報「１」に対し、「入力音量補正」という表示情報ｄ４が対応付けられている。この表示情報ｄ４は、音声認識処理を行う際のＨＭＤ１へのメニュー表示の情報として用いられるものであるが、詳しくは後述する。

以下、図３に示すフローチャート及び図４に示すＨＭＤ１への画面表示例を参照しながら、モバイルＰＣ５が予めその記憶部に記憶されたプログラムを実行することにより行う上記実行内容特定処理の手順について説明する。なお、以下に示すＳ１、Ｓ２、…は、処理手順（ステップ）の識別符号を表す。
情報処理装置Ａは、モバイルＰＣ５が所定のプログラム（情報処理プログラム）を実行することにより、変位センサ２を通じて得られる利用者の手首近傍部分（即ち、袖部分の変位パッド６）の変位情報に基づいて所定の分類情報ｄ１を選択する（Ｓ５）とともに、マイクロホン３各々を通じて得られる入力音声に基づく音声認識処理（Ｓ９）を行い、分類・音声組合せ情報Ｄ（図５）を参照することにより、選択された分類情報と認識された特定音声との組合せに応じた処理を特定する実行内容特定処理を実行する（Ｓ１９、処理特定手段の一例）。以下、これについて詳説する。
モバイルＰＣ５では、まず、これから行う分類情報の選択処理において選択対象となり得る分類情報の候補（選択候補）の初期設定がなされる（Ｓ１）。ここでは、分類・音声組合せ情報Ｄ（図５）における第１層（丸印１つ）の特定情報ｄ１が候補として初期設定される。図５に示す例では、「マイク関係」、「○×関係」、「データ参照」及び「△□関係」が、分類情報ｄ１の候補として設定される。
次に、その時点で設定されている分類情報ｄ１の候補が、「数値入力」であるか否かが判別される（Ｓ２）。
ここで、分類情報ｄ１の候補が、「数値入力」でないと判別された場合は、処理がステップＳ３へ移行され、「数値入力」であると判別された場合は、処理がステップＳ１１へ移行される。

ステップＳ２において、その時点で設定されている分類情報ｄ１の候補が、「数値入力」ではないと判別された場合は、その分類情報ｄ１の候補が、ＨＭＤ１に選択メニューとして一覧表示される（Ｓ３）。即ち、後述するステップＳ５での分類情報選択処理による選択が可能な分類情報ｄ１の候補に関する情報をＨＭＤ１に表示させる（第２の表示制御の一例）。
図４（ａ）は、図５に示した分類・音声組合せ情報Ｄ１に基づき初期設定された分類情報ｄ１の候補が、ＨＭＤ１に一覧表示された分類情報選択メニューｇ１の例を表す。
次に、モバイルＰＣ（５）により、変位センサ２から変位情報が取得され（Ｓ４）、さらにその変位情報に基づいて、分類情報選択メニューｇ１に表示された分類情報ｄ１の候補の中からいずれかの分類情報ｄ１を選択する処理（Ｓ５）が、いずれかの分類情報ｄ１が選択されるまで実行される（Ｓ６）。
図４（ａ）に示す例では、変位センサ２により、左・右・上・下の各方向へ所定量以上変位したことを表す変位情報が検出された場合に、検出された変位方向に応じて、「マイク関係」（左）、「○×関係」（右）、「データ参照」（上）、「△□関係」（下）のいずれかの分類情報ｄ１が選択されることを表している。

そして、ステップＳ４〜Ｓ６の処理により、いずれかの分類情報ｄ１が選択されたことが確認された場合には、分類・音声組合せ情報Ｄを参照することにより、ステップＳ３の処理で選択された分類情報ｄ１との組合せ対象となり得る特定音声の候補が抽出（特定）され（Ｓ７）、抽出された特定音声に関する情報が、音声メニューｇ２としてＨＭＤ１に一覧表示（リスト表示）される（Ｓ８、第１の表示制御の一例）。
例えば、図５に示す分類・音声組合せ情報Ｄによれば、ステップＳ５で分類情報ｄ１として「マイク関係」が選択された場合、この「マイク関係」に対応付けられた特定音声識別情報ｄ２として「１」、「２」、「３」、「４」が抽出される（Ｓ７）。
さらに、抽出された特定音声識別情報ｄ２各々と、その各々に関連づけられた前記表示情報ｄ４各々とを組合せた情報が、音声メニューｇ２としてＨＭＤ１に一覧表示される（Ｓ８）。なお、利用者が認識できる情報であれば、特定音声識別情報ｄ２又は表示情報ｄ４のいずれか一方の情報のみを表示させるものであってもよい。
図４（ｂ）は、初期設定された分類情報ｄ１の候補の中から「マイク関係」が選択され、分類・音声組合せ情報Ｄにおいて、その分類情報ｄ１「マイク関係」に対応付けられた特定音声識別情報ｄ２の候補「１」、「２」、「３」、「４」各々と、その各々に対応付けられた表示情報ｄ４「録音」、「再生」、「停止」、「マイク調整」各々とを組み合わせた情報が、音声メニューｇ２として表示された画面例を表す。

次に、モバイルＰＣ（５）において音声認識処理プログラムが起動され、マイクロホン３を通じて音声を入力するとともに、その入力音声について音声認識処理が開始される（Ｓ９）。そして、ステップＳ７で抽出された特定音声の候補のいずれかが認識されるまでその音声認識処理が継続される（Ｓ９、Ｓ１０）。
このように、まずは比較的処理負荷が軽い変位センサ２の変位情報に基づく分類情報の選択処理（Ｓ４、Ｓ５）のみを実行させておき、これにより分類情報ｄ１が選択された場合に、特定音声の認識が開始（Ｓ９）されるので、分類情報ｄ１が選択されるまでは、相対的に処理負荷が高い音声認識処理を休止させることができ、処理負荷を一層小さく抑えることができる。

ステップＳ９、Ｓ１０の処理により、特定音声が認識された場合、分類・音声組合せ情報Ｄが参照され、ステップＳ５で選択された分類情報ｄ１と、ステップＳ９で認識された特定音声との組合せによって処理が確定したか否か、即ち、その組合せによって特定される処理が存在するか否かが判別される（Ｓ１７）。
図５に示した分類・音声組合せ情報Ｄによれば、分類情報ｄ１と特定音声識別情報ｄ２との組合せにより特定される処理特定情報ｄ３の内容が「未確定」以外であれば、その内容に対応する処理が確定したと判別され、「未確定」であれば処理は確定しないと判別される。
例えば、ステップＳ５で分類情報ｄ１「マイク関係」が選択され、ステップＳ９で特定音声「１」（イチ）が認識された場合、その組合せに対応する処理特定情報ｄ３は「録音」であるので、録音処理が確定したと判別される。
一方、ステップＳ５で分類情報ｄ１「マイク関係」が選択され、ステップＳ９で特定音声「４」（ヨン）が認識された場合、その組合せに対応する処理特定情報ｄ３は「未確定」であるので、処理は確定しないと判別される。

そして、ステップＳ１７において、処理が確定しないと判別された場合は、分類・音声組合せ情報Ｄが参照され、ステップＳ５で選択された分類情報ｄ１と、ステップＳ９で認識された特定音声との組合せに対し、さらに組合せ対象となり得る分類情報ｄ１の候補が抽出され、その候補が、次に行う分類情報ｄ１の選択処理による選択対象となり得る候補として設定（更新）される（Ｓ１８）。
例えば、図５に示す分類・音声組合せ情報Ｄによれば、初期設定（Ｓ１）後のステップＳ５の処理により分類情報ｄ１「マイク関係」が選択され、さらにステップＳ９の処理により特定音声「４」（ヨン）が認識された場合には、それらの組合せに対応する分類情報ｄ１として「数値入力」が新たな候補として設定（更新）される。
さらに、ステップＳ２に処理が戻され、２階層目以降（２回目以降）の分類情報ｄ１と特定音声（特定音声識別情報ｄ２）との組合せを特定するために前述した処理が繰り返される。

また、ステップＳ２において、分類情報ｄ１の候補が「数値入力」であると判別された場合、ステップＳ７、Ｓ８と同様に、分類・音声組合せ情報Ｄを参照することによりその分類情報ｄ１「数値入力」との組合せ対象となり得る特定音声の候補の抽出（特定）（Ｓ１１）がなされ、さらに抽出された特定音声に関する情報（特定音声識別情報ｄ２とその表示情報ｄ４とを併せた情報）が、音声メニューｇ３３としてＨＭＤ１に一覧表示（リスト表示）される（Ｓ１２）。
例えば、図５に示す分類・音声組合せ情報Ｄによれば、初期設定（Ｓ１）後のステップＳ５の処理により分類情報ｄ１「マイク関係」が選択され、さらにステップＳ９の処理により特定音声「４」（ヨン）が認識された後、ステップＳ１８の処理により分類情報ｄ１の候補として「数値入力」が設定（更新）されていれば、特定音声及びその表示情報ｄ４の候補として「１」及び「入力音量補正」と、「２」及び「低音強調補正」と、…が設定される。図４（ｃ）に、ステップＳ１２で表示される音声メニューｇ３３の一例を示す。

次に、変位センサ２から変位情報が取得され（Ｓ１３）、その変位情報から得られる利用者の手首近傍部分の変位方向と変位量若しくは変位回数とに基づいて、後述するステップＳ２０の処理（前記特定処理実行手段の処理に相当）により実行される処理に用いられる数値情報を検知する数値情報検知処理、及び検知された数値情報をＨＭＤ１に表示させる処理（第３の表示制御の一例）が行われる（Ｓ１４）。
このステップＳ１４の処理では、例えば、図４（ｃ）に示すように、前述した音声メニューｇ３３を含む数値入力画面ｇ３がＨＭＤ１に表示される。この数値入力画面ｇ３には、ステップＳ１２で表示される音声メニューｇ３３と併せて、数値入力バー画像ｇ３１及び検知された数値情報ｇ３２がＨＭＤ１に表示される。そして、変位センサ２により、利用者の手首近傍部分（の変位パッド６）が左方向へ変位したことが検出されると、その左方向への変位量に応じて数値情報が加算処理され、逆に、右方向へ変位したことが検出されると、その右方向への変位量に応じて数値情報が減算処理される。さらに、その加算或いは減算により求まる数値情報が、数値入力バー画像ｇ３１としてバーグラフ表示されるとともに、その数値情報ｇ３２（図４（ｃ）では「３５％」）が数値表示される。
このような数値入力処理の他、変位センサ２により、利用者の手首近傍部分（の変位パッド６）が左方向或いは右方向へ所定量以上変位したことが１回検出されるごとに、予め定められた値（例えば、５％ずつ）だけ数値情報を加算或いは減算することにより、変位方向と変位回数とに基づいて数値情報を検知することも考えられる。これにより、利用者は微妙な操作をする煩わしさから解放され、より簡易に数値入力が可能となる。

さらに、数値情報の検知処理（Ｓ１３、Ｓ１４）がなされる際に、ステップＳ９及びＳ１０の処理と同様に、モバイルＰＣ（５）において音声認識処理プログラムが起動され、マイクロホン３を通じて音声を入力するとともに、その入力音声について音声認識処理が開始され（Ｓ１５）、ステップＳ１１で抽出された特定音声の候補のいずれかが認識されるまで、数値情報の検知処理（Ｓ１３、Ｓ１４）及び音声認識処理（Ｓ１５）が継続される（Ｓ１６）。
そして、ステップＳ１３〜Ｓ１６の処理により、ステップＳ１１で抽出された特定音声の候補のいずれかが認識されると、ステップＳ１７に処理が移行される。ステップＳ１７では、前述したように、分類・音声組合せ情報Ｄが参照され、ステップＳ５で選択された分類情報ｄ１と、ステップＳ９及びＳ１５の各々で認識された特定音声との組合せによって処理が確定したか否か、即ち、その組合せによって特定される処理が存在するか否かが判別される（Ｓ１７）。
例えば、図５に示した分類・音声組合せ情報Ｄによれば、ステップＳ５で分類情報ｄ１「マイク関係」が選択され、ステップＳ９及びＳ１５の各々で特定音声「４」（ヨン）及び「１」（イチ）が認識された場合には、これらの組合せに対応する前記処理特定情報ｄ３は「マイク入力音量補正（数値）」である（「未確定」ではない）ので、処理が確定したと判別される。

以上のようにして、ステップＳ１７において処理が確定したと判別された場合は、その確定した処理が利用者により要求された処理として特定（Ｓ１９）されるとともに、その特定された処理が実行され（Ｓ２０）、その後、ステップＳ１に処理が戻されて前述したのと同様の処理が繰り返される。なお、ステップＳ２０では、特定された処理が、変位センサ２による変位情報に基づいて検知される数値情報を用いる処理（分類・音声組合せ情報Ｄにおいて処理特定情報ｄ３が「〜（数値）」である処理）である場合は、ステップＳ１４で検知された数値情報が用いられる。
例えば、特定された処理が、図５に示す「マイク入力音量補正（数値）」である場合は、前記マイクロホン３から入力される音声信号の音量を、ステップＳ１４で検知された数値情報（補正率）に従って補正する処理が実行される。
また、図５に示した分類・音声組合せ情報Ｄが設定されている場合に、１回目のステップＳ５で分類情報ｄ１「データ参照」が選択され、１回目のステップＳ９で特定音声「１」（イチ）が認識され、さらに２回目のステップＳ５で分類情報ｄ１「装置Ａ」が選択され、２回目のステップＳ９で特定音声「２」（ニー）が認識された場合には、これらの組合せに対応する前記処理特定情報ｄ３として「装置Ｂ図面検索・表示」がステップＳ１９において特定される。この場合、ステップＳ２０において、ある装置Ｂの図面情報が、モバイルＰＣ５の記憶部や、モバイルＰＣ５と通信可能なサーバ装置に予め記憶された所定のデータベースから検索して読み出され、その図面情報をＨＭＤ１に表示させる処理が実行される。
以上の処理により、キーボード等の入力手段を用いなくても、身体の所定部位特を動かす操作と、特定音声の発声との組合せによる簡易な操作により、実行したい処理を特定できる。また、手首近傍部分の変位と特定音声との組合せで処理を特定するので、手首近傍部分の変位及び特定音声の各々の種類は比較的少なくても、数多くの組合せを作ることができ、身体（腕）を動かす操作を単純化できるとともに、音声認識は比較的簡易な処理として演算負荷を抑えることができる。特に、マウス操作等でよく行われる入力確定のためのダブルクリック操作等を腕の動きで行うことは難しいが、音声と組み合わせれば、そのような難しい操作を行わずに済む。

以上に示した実施形態では、身体の一部の変位を検出する変位センサ２として、変位パッド６の変位方向及び変位量を検出するセンサを示したが、これに限るものではない。以下、図６〜図８を参照しつつ、変位センサの他の実施例について説明する。
図６は、第１実施例に係る変位センサ２ａの概略構成を表す図である。
変位センサ２ａは、身体の一部である手や腕に装着される加速度センサ２１ａと、その加速度センサ２１ａにより検出された加速度情報（腕や手の変位の加速度を表す情報）を赤外線信号等の無線信号によりモバイルＰＣ（５）へ送信する無線機２２ａとを備えて構成されている。ここで、加速度センサ２１ａは、例えば１軸（図６中のＸ軸）方向の加速度を検出するものであり、利用者の手や腕の変位の加速度を検出するものである。
例えば、加速度センサ２１ａが装着された腕等が、その加速度検出軸Ｘに沿う方向（図６ではほぼ鉛直方向）において、正方向（図６では上方向）又は負方向（図６では下方向）に振られると、その加速度情報（加速方向（正負）と加速の大きさ）が無線機２２ａを通じてモバイルＰＣ（５）に伝送される。
これに対し、モバイルＰＣ（５）は、加速度センサ２１ａにより、加速度検出軸Ｘにおける正方向又は負方向のいずれかの方向への所定の設定加速度（絶対値）以上の加速度が検出されたことを検知すると、その加速度の向き（即ち、変位の向き）に基づいて前記分類情報ｄ１を選択する（前述のステップＳ５に相当）とともに、マイクロホン３各々を通じて得られる入力音声に基づく音声認識処理（前述のＳ９に相当）を行い、分類・音声組合せ情報Ｄ（図５）を参照することにより、選択された分類情報と認識された特定音声との組合せに応じた処理を特定する実行内容特定処理を実行する（前述のステップＳ１９に相当、処理特定手段の一例）。
このような変位センサ２ａは、腕や手を微妙に動かすこと（変位量を検出すること）が難しい場合に適用すれば好適である。

一方、図７は、第２実施例に係る変位センサ２ｂの概略構成を表す図である。
変位センサ２ｂは、利用者の身体の所定部位（例えば、作業服の胸の部分等）に装着され、利用者の腕や手の部分等に装着された検出対象物６’が近接したか否かを検出する２つの近接センサ２１ｂ、２２ｂと、その近接センサ２１ｂ、２２ｂにより検出された検出情報（検出対象物６’が近接したか否かのＯＮ／ＯＦＦ情報）を赤外線信号等の無線信号によりモバイルＰＣ（５）へ送信する無線機２３ｂとを備えて構成されている。ここで、近接センサ２１ｂ、２２ｂとしては、例えば、発光部と受光部とを備え、その前方近傍にリフレクタが近接したか否かを検出する光学式の近接センサや、近傍の磁力を検出することにより所定の磁性体が近接したか否かを検出する磁気式の近接センサなど、各種の近接センサが考えられる。なお、近接センサ２１ｂ、２２ｂが上記光学式の近接センサである場合、検出対象物６’はリフレクタであり、近接センサ２１ｂ、２２ｂが上記磁気式の近接センサである場合、検出対象物６’は磁性体である。
そして、検出対象物６’が装着された腕等が、近接センサ２１ｂ、２２ｂの一方の近傍から他方の近傍へ移動されると、モバイルＰＣ（５）により、近接センサ２１ｂ、２２ｂの検出状態（ＯＮ／ＯＦＦ）の変化が、時間差をおいて検出される。ここで、モバイルＰＣ（５）は、２つの近接センサ２１ｂ、２２ｂのいずれの検出状態が先に変化したかに基づいて、利用者の腕等（即ち、検出対象物６’）の変位の向き（図７の例では、下方向又は上方向）を判別する。さらに、モバイルＰＣ（５）は、判別した変位の向きに基づいて前記分類情報ｄ１を選択する（前述のステップＳ５に相当）とともに、マイクロホン３各々を通じて得られる入力音声に基づく音声認識処理（前述のＳ９に相当）を行い、分類・音声組合せ情報Ｄ（図５）を参照することにより、選択された分類情報と認識された特定音声との組合せに応じた処理を特定する実行内容特定処理を実行する（前述のステップＳ１９に相当、処理特定手段の一例）。
このように、変位センサ２ｂは、利用者の胸の部分等（身体の所定部位）に装着された複数の近接センサ２１ｂ、２２ｂにより、その近接センサ２１ｂ、２２ｂの近傍を経由して動かされる身体の所定部位（腕や手等）の変位を検出するものである。このような変位センサ２ｂは、構成部品が非常にシンプル（安価）であり、腕や手を微妙に動かすこと（変位量を検出すること）が難しい場合に適用すれば好適である。

一方、図８は、第３実施例に係る変位センサ２ｃの概略構成を表す図である。
変位センサ２ｃは、身体の一部である手や腕に装着される加速度センサ２１ｃと、その加速度センサ２１ｃにより検出された加速度情報（腕や手の変位の加速度を表す情報）を赤外線信号等の無線信号によりモバイルＰＣ（５）へ送信する無線機２２ｃとを備えて構成されている。ここで、加速度センサ２１ｃは、例えば２軸（図８中のＸ軸及びＹ軸）方向の加速度を検出するものであり、その検出情報により、利用者の手や腕の回転変位の方向（変位方向の一例）を検出するためのものである。
例えば、加速度センサ２１ｃが装着された腕等が、その加速度検出軸であるＸ軸及びＹ軸に直交する方向を回転軸として、正転方向（図８におけるＭ１方向）又は反転方向（図８におけるＭ２方向）に回転されると、加速度センサ２１ｃにより検出される重力の加速度情報（Ｘ軸及びＹ軸方向それぞれの加速方向（正負）と加速の大きさ）が無線機２２ｃを通じてモバイルＰＣ（５）に伝送される。
これに対し、モバイルＰＣ（５）は、加速度センサ２１ｃにより検出される重力の加速度が、Ｙ軸の負方向からＸ軸の正方向へ変化したことを検知した場合、加速度センサ２１ｃが装着された腕等がＭ１方向に回転されたと判別し、同加速度が、Ｙ軸の負方向からＸ軸の負方向へ変化したことを検知した場合、加速度センサ２１ｃが装着された腕等がＭ２方向に回転されたと判別する。
そして、モバイルＰＣ（５）は、その判別結果である回転方向（変位の向きの一例）に基づいて前記分類情報ｄ１を選択する（前述のステップＳ５に相当）とともに、マイクロホン３各々を通じて得られる入力音声に基づく音声認識処理（前述のＳ９に相当）を行い、分類・音声組合せ情報Ｄ（図５）を参照することにより、選択された分類情報と認識された特定音声との組合せに応じた処理を特定する実行内容特定処理を実行する（前述のステップＳ１９に相当、処理特定手段の一例）。
このような変位センサ２ｃは、腕や手を捻る（回転させる）というごく小さな動作による変位（回転変位の方向）を検出できるため、腕や手を大きく振ることが難しい場合に適用すれば好適である。

また、利用者の身体の一部の変位を検出する変位センサとしては、以上に示したものの他、例えば、人の手足の動きを検出する周知の磁気式モーションキャプチャの技術を利用したセンサを採用することが考えられる。この場合、利用者の身体の胴体部等（例えば、胸部や腰部など）に装着された磁力検出センサ（磁気検出センサ）により、利用者の腕や手等に装着された磁性体（永久磁石等のマーカ）の移動方向（変位の向き）を検出する。
このような磁力検出センサにより、身体の一部の変位を検出する構成とすれば、その変位の検出対象となる部位（腕や手等）が、センサから比較的離れた位置で変位するような場合であってもその変位を検出できる。
また、変位センサは、利用者の身体の一部に装着されるものの他、それ以外の位置（例えば、現場装置の近傍等）に設置され、その変位センサの検出情報が無線信号等によってモバイルＰＣ（５）に伝送されるよう構成されたものも考えられる。

本発明は、情報処理装置に利用可能である。

本発明の一実施形態に係る情報処理装置Ａの概略構成図。 情報処理装置Ａが備える変位センサの構成を表すブロック図。 情報処置装置Ａによる実行内容特定処理の手順を示すフローチャート。 情報処理装置Ａにおける画面表示例を表す図。 情報処理装置Ａが予め記憶する分類・音声組合せ情報のデータ構成の一例を表す図。 情報処理装置Ａが備える変位センサの第１実施例を表す概略構成図。 情報処理装置Ａが備える変位センサの第２実施例を表す概略構成図。 情報処理装置Ａが備える変位センサの第３実施例を表す概略構成図。

符号の説明

１…ＨＭＤ（Head Mounted Display）
２、２ａ、２ｂ、２ｃ…変位センサ
３（３ａ、３ｂ）…マイクロホン
４…ヘッドホン
５…モバイルＰＣ
６…変位パッド
６’…検出対象物
２１ａ、２１ｃ…加速度センサ
２１ｂ、２２ｂ…近接センサ
２２ａ、２２ｃ、２３ｂ…無線機
Ａ…本発明の実施形態に係る情報処理装置
Ｄ…分類・音声組合せ情報
Ｓ１、Ｓ２、・・・…処理手順（ステップ）

Claims (12)

1. 身体の所定部位の変位を検出する変位検出手段と、
   音声入力手段と、
   前記変位検出手段を通じて得られる情報と前記音声入力手段を通じて得られる情報とに基づいて実行する処理を特定する処理特定手段と、
   前記処理特定手段により特定された処理を実行する特定処理実行手段と、
   を具備してなる情報処理装置であって、
   予め定められた複数の所定の分類情報と予め定められた複数の特定音声を識別する特定音声識別情報との組合せ及びその組合せに応じて実行する処理に関する情報を記憶する組合せ情報記憶手段と、
   前記変位検出手段の検出結果に基づいて前記分類情報のいずれかを選択する分類情報選択手段と、
   前記音声入力手段を通じて得られる入力音声から前記特定音声を認識する音声認識手段と、を具備し、
   前記処理特定手段が、前記組合せ情報記憶手段の記憶情報を参照することにより、前記分類情報選択手段により選択された前記分類情報と前記音声認識手段により認識された前記特定音声との組合せに応じた処理を特定してなる情報処理装置において、
   前記音声認識手段が、前記分類情報選択手段により前記分類情報が選択された場合に前記特定音声の認識を開始するものであることを特徴とする情報処理装置。
2. 前記分類情報選択手段により前記分類情報が選択された場合に、該分類情報との組合せ対象となり得る前記特定音声識別情報を前記組合せ情報記憶手段の記憶情報から特定し、特定した前記特定音声識別情報の候補及び／若しくはその関連情報を所定の表示手段に表示させる第１の表示制御手段を具備してなる請求項１に記載の情報処理装置。
3. 前記分類情報選択手段による選択が可能な前記分類情報の候補に関する情報を所定の表示手段に表示させる第２の表示制御手段を具備してなる請求項１あるいは２のいずれかに記載の情報処理装置。
4. 前記変位検出手段により検出される前記身体の所定部位の変位方向と変位量若しくは変位回数とに基づいて前記特定処理実行手段により実行される処理に用いられる数値情報を検知する数値情報検知手段を具備してなる請求項１〜３のいずれかに記載の情報処理装置。
5. 前記数値情報検知手段により検知された前記数値情報を所定の表示手段に表示させる第３の表示制御手段を具備してなる請求項４に記載の情報処理装置。
6. 前記変位検出手段及び前記音声入力手段が身体に装着可能に構成されてなる請求項１〜５のいずれかに記載の情報処理装置。
7. 前記変位検出手段が、身体の所定位置に固定装着された検出部により該検出部の近傍で動かされる身体の所定部位の変位を検出するものである請求項６に記載の情報処理装置。
8. 前記変位検出手段が、身体の所定部位に装着された複数の近接センサにより該近接センサの近傍を経由して動かされる身体の所定部位の変位を検出するものである請求項６に記載の情報処理装置。
9. 前記変位検出手段が、身体の所定部位に装着された加速度検出手段により該所定部位の変位を検出するものである請求項６に記載の情報処理装置。
10. 前記変位検出手段が、身体の所定部位に装着された磁性体を検出する磁力検出手段により該所定部位の変位を検出するものである請求項６に記載の情報処理装置。
11. 前記表示手段が身体に装着可能に構成されてなる請求項２〜１０のいずれかに記載の情報処理装置。
12. 音声入力手段及び身体の所定部位の変位を検出する変位検出手段を有する情報処理装置が備えるコンピュータに、前記音声入力手段及び変位検出手段を通じて得られる情報に応じた処理を実行させるための情報処理プログラムであって、
    予め定められた複数の所定の分類情報と予め定められた複数の特定音声を識別する特定音声識別情報との組合せ及びその組合せに応じて実行する処理に関する情報が所定の記憶手段に記憶されている場合において、
    前記変位検出手段の検出結果に基づいて前記分類情報のいずれかを選択する分類情報選択処理と、
    前記音声入力手段を通じて得られる入力音声から前記特定音声を認識する音声認識処理と、
    前記記憶手段の記憶情報を参照することにより、前記分類情報選択処理により選択された前記分類情報と前記音声認識処理により認識された前記特定音声との組合せに応じた処理を特定する処理特定処理と、
    前記音声認識処理時に、前記分類情報選択処理により前記分類情報が選択された場合に前記特定音声の認識を開始し、前記処理特定処理により特定された処理を実行する特定処理実行処理と、
    をコンピュータに実行させるための情報処理プログラム。

Images