JPH07191800A

JPH07191800A - 空間動作インターフェイス

Info

Publication number: JPH07191800A
Application number: JP34722293A
Authority: JP
Inventors: Tatsuhiro Yonekura; 達広米倉
Original assignee: Azbil Corp
Current assignee: Azbil Corp
Priority date: 1993-12-27
Filing date: 1993-12-27
Publication date: 1995-07-28

Abstract

(57)【要約】【目的】煩わしい操作を必要とせずに、３次元空間情
報を入力できるようにすることを目的とする。【構成】各マイク１〜４で検出した音圧差により音源
定位処理部５が音源の位置を割り出し、これを３次元空
間内の位置情報として出力する。そして、各マイク１〜
４で検出した音声を音声認識処理部６で識別し、この結
果により指動作制御部７がメカニカルハンド９の指の動
作状態を制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、３次元空間における
動作とのマンマシーンインターフェイスのための空間動
作インターフェイスに関する。

【０００２】

【従来の技術】コンピュータなどに３次元情報を入力し
ようとする場合、例えば、コンピュータにより仮想的に
作られた３次元空間内のポインタを移動させる場合、２
次元情報を入力することのできるマウス，デジタイザな
どの自然な拡張を目的とした装置が用いられる。また、
机や椅子，その机の上に本などのものが置かれた状態な
どが仮想現実として作り出された３次元の仮想空間内
に、人間の手と同様の機能を有したポインタであるメカ
ニカルハンドを採り入れれば、このメカニカルハンドを
操ることで、仮想空間内の机の上の本を持ち上げるなど
のことが可能となる。このように、仮想的に作り出され
た３次元環境などとの対話処理として、仮想空間内のメ
カニカルハンドを用いると、ユーザインターフェイスが
飛躍的に向上する。

【０００３】このメカニカルハンドの仮想空間中の動き
を操作する方法として、メカニカルハンドの動作の種類
に対応するスイッチを操作する方法や、この仮想空間を
作り出しているコンピュータのキーボードより操作指令
を入力する方法がある。これらは、メカニカルハンドの
動作を、コマンドとしてコンピュータに入力することに
より、仮想空間内のメカニカルハンドを動作させるもの
である。例えば、キーボードの所定のキー入力、例え
ば、「Ｎ」の入力で、メカニカルハンドが拳を作った状
態となり、「Ｏ」の入力で、手を広げた状態となる等で
ある。

【０００４】

【発明が解決しようとする課題】従来は、以上のように
構成されていたので、操作が非常に煩わしく、操作ミス
を犯しやすいという問題があった。すなわち、操作対象
のメカニカルハンドの３次元空間内での移動位置の指示
は１次元毎に行わなければならず、また、更に、メカニ
カルハンドの指や手首の動作の指示を加えると、単純な
動作を指示するために何回もの信号オペレーションを行
わなければならない。これでは、人が自分の手を用いた
簡単な動作をこのメカニカルハンドに再現させるだけで
も、操作が非常に煩わしくなり、また、入力するコマン
ドを覚えておかなければならないので、操作ミスを発生
させる可能性も高い。

【０００５】この発明は、以上のような問題点を解消す
るために成されたものであり、煩わしい操作を必要とせ
ずに、３次元空間情報を入力できるようにすることを目
的とする。

【０００６】

【課題を解決するための手段】この発明の空間動作イン
ターフェイスは、音を検出する４個以上の音検出手段
と、音検出手段それぞれを所定の間隔に固定する固定手
段と、音検出手段それぞれが検出した音情報の差により
音源の位置を求める音源定位処理手段と、音検出手段が
検出した音声情報を特定の種類に判別する音声認識処理
手段とを有することを特徴とする。

【０００７】

【作用】音源定位処理手段により、音源の３次元空間に
おける位置が検出され、音声認識手段により、音源が発
した音声を判別認識するので、３次元空間における位置
と、判別した数だけの状態を作り出せる。

【０００８】

【実施例】以下この発明の１実施例を図を参照して説明
する。実施例１．図１はこの発明の１実施例である空間動作イ
ンターフェイスの構成を示す構成図である。同図におい
て、１は音源定位の基準となるマイク、２はマイク１と
２０ｃｍ離れたところに支持棒２ａを介して取り付けら
れているマイク、３はマイク１と２０ｃｍ離れたところ
に支持棒２ａと直交する支持棒３ａを介して取り付けら
れているマイク、４はマイク１と２０ｃｍ離れたところ
に支持棒２ａ，３ａに直交する支持棒４ａに取り付けら
れているマイクであり、これらでマイク部を形成してい
る。

【０００９】そして、５はある位置から発生した音のマ
イク１〜４が検出したそれぞれの音圧差により、その音
の位置を割り出す音源定位処理部、６は６種類の音声
「あ」，「い」，「う」，「え」，「お」，「ん」の認
識を行う音声認識処理部、７は音声認識処理部６の音声
の認識結果により対応する信号を出力する指動作制御部
であり、以上の構成によりこの実施例の空間動作インタ
ーフェイスを構成する。一方、８は仮想的に３次元空間
を作り出すコンピュータであり、その仮想的に作り出さ
れた３次元空間はコンピュータ８のモニターに映し出さ
れる。そして９は、空間動作インターフェイスからの信
号によりその仮想空間内で動作を行う人間の手を模倣し
たメカニカルハンドである。

【００１０】次に、この実施例の空間動作インターフェ
イスの動作について説明する。まず、この空間動作イン
ターフェイスは、各マイク１〜４で検出した音圧差によ
り音源定位処理部５が音源の位置を割り出し、これを３
次元空間内の位置情報として出力する。そして、この出
力された位置情報によりコンピュータ８は仮想空間内の
メカニカルハンド９の移動の制御を行う。

【００１１】音源定位処理部５は、マイク１が検出した
音の音圧を基準として、その音の発せられた音源の位置
を決定する。音圧は音源からの距離の２乗に反比例する
ので、マイク２〜４それぞれが検出した音圧と、マイク
１が検出した音圧との差を用いて、図２に示すような３
次元直交座標系でとらえたときの音源の座標を割り出
す。コンピュータ８では、音源定位処理部５が割だした
音源の座標により、３次元仮想空間内のメカニカルハン
ド９の移動方向を決める。

【００１２】例えば、音源の座標と３次元仮想空間内の
メカニカルハンド９の移動状態とは以下に示すように対
応する。図２において、座標（０，０，０）に音源があ
るとき、仮想空間におけるメカニカルハンド９は移動し
ない。また、座標（０，−１，０）に音源があるとき、
仮想空間におけるメカニカルハンド９は手前に向かって
移動（後進）し、座標（−１，０，０）に音源があると
きメカニカルハンド９は左に移動し、座標（１，０，
０）に音源があるときメカニカルハンド９は右に移動
し、座標（０，−１，０）に音源があるときメカニカル
ハンド９は前に移動（前進）する。

【００１３】以上示したように、この空間動作インター
フェイスは、４つのマイク１〜４を用いた直交座標系に
おける音源の位置により、３次元仮想空間内のメカニカ
ルハンド９に対して３次元空間内における移動情報を提
供するものである。人間が、このマイク部を手に持っ
て、声を出しながらこのマイク部を移動させることによ
り、コンピュータ８のモニター内に映し出されている３
次元仮想空間内のメカニカルハンド９の位置を自由に動
かすことができる。

【００１４】そしてこの実施例では、この声を「あ」，
「い」，「う」，「え」，「お」，「ん」と変えること
により、メカニカルハンド９の指の動作を制御できるよ
うにしたものである。この実施例の空間動作インターフ
ェイスでは、各マイク１〜４で検出した音声を、音声認
識部６により識別し、この結果を用いて指動作制御部７
がコンピュータ８のモニタ内に映し出されているメカニ
カルハンド９に指の動作を行わせるようするものであ
る。

【００１５】まず、「あ」の音声を発すると、これをマ
イク１〜４それぞれが検出し、次いで音声認識部６に入
力する。音声認識部６は、これを「あ」の音声が入力さ
れたと認識し、このことを指動作制御部７に伝える。こ
のことにより、指動作制御部７は、入力された音声
「あ」に対応するメカニカルハンド９の指の動作を指示
するための信号を出力する。そして、メカニカルハンド
９は、この信号により以下の表１に示すように、５本の
指全てを伸ばす動作を行う。他の音声が入力された場合
も同様に、メカニカルハンド９は下記表１に示す対応動
作を行う。

【００１６】

【００１７】以上説明したように、この実施例１によれ
ば、仮想的に作り出した３次元空間内のメカニカルハン
ドの移動や指の動作を音声によって制御することが可能
となる。なお、上記実施例では、メカニカルハンド９の
指の動作を６種類としたが、これに限るものではなく、
音声認識部６（図１）の音声識別可能な数だけ動作の種
類を増やしても良い。

【００１８】実施例２．図３はこの発明の実施例２の空
間動作インターフェイスの構成を示す構成図である。同
図において、１０はマイク１〜４より入力した音声の音
量の増加や減少を検出する音量増減判定部、１１は音量
増減判定部１０が音量の増減変化を検出したとき対応す
る信号を出力する前後動作制御部であり、他は図１と同
様である。この実施例２では、５本の指の動作に加え、
図５（ａ）に示すように、メカニカルハンド９の手首９
ａを支点とした前後に倒れる動きを可能とするものであ
る。

【００１９】この実施例では、マイク１〜４より入力し
た音声の音量の増減を音量増減判定部１０が検出し、音
量に変化がない場合と、音量が増加した場合と、音量が
減少した場合とを判定する。ここで、音量増減判定部１
０は、マイク１〜４が検出した音声が途切れるときや、
音声を出し始めたときの入力では、これが音量が減少し
たもしくは増加したとは判定しない。音量増減判定部１
０は、マイク１〜４が検出した音量が所定の範囲の変化
量となっているとき、音量が変化したものと判定する。

【００２０】そして、音量増減判定部１０の音量変化の
判定結果により、前後動作制御部１１がメカニカルハン
ド９の前後の動作に対応した信号を出力する。まず、音
量増減判定部１０が音量が増加したと判断したときに前
後動作制御部１１が出力する信号により、メカニカルハ
ンド９は前に倒れる動作を行う。また、音量増減判定部
１０が音量が減少したと判断したときに前後動作制御部
１１が出力する信号により、メカニカルハンド９は後に
倒れる動作を行う。そして、音量増減判定部１０が音量
変化を検出していないときは、前後動作制御部１１は何
も信号を出力せず、従ってメカニカルハンド９は現状を
維持する。以上のことにより、この実施例２では、実施
例１の動作に加えてメカニカルハンド９を手首９ａを支
点として前後に倒れる動作をさせることが可能となる。

【００２１】実施例３．図３はこの発明の実施例３の空
間動作インターフェイスの構成を示す構成図である。同
図において、１２はマイク１〜４から入力した音声の音
程変化を検出する音程変化判定部、１３は音程変化判定
部１２の判定結果に対応する信号を出力する左右動作制
御部であり、他は図３と同様である。この実施例では、
図５（ｂ）に示すように、実施例２において可能な動作
に加えて、メカニカルハンド９を手首９ａを支点として
左右に動作させることを可能とするものである。この実
施例では、マイク１〜４より入力した音声の音程の変化
を音程変化判定部１２が検出し、音程に変化がない場合
と、音程が上昇した場合と、音程が降下した場合とを判
定する。音程変化判定部１２は、マイク１〜４が検出し
た音程が所定の範囲の変化量となっているとき、音程が
変化したものと判定する。

【００２２】そして、音程変化判定部１２の判定結果に
より、左右動作制御部１３がその判定結果に対応する信
号を出力し、これによりメカニカルハンド９が動作す
る。まず、音程変化判定部１２が音程が上昇したと判断
したときに左右動作制御部１３が出力する信号により、
メカニカルハンド９は横方向小指側へ倒れる動作を行
う。また、音程変化判定部１２が音程が降下したと判断
したときに左右動作制御部１３が出力する信号により、
メカニカルハンド９を横方向親指側へ倒れる動作を行
う。そして、音程変化判定部１２が音程変化を検出して
いないときは、左右動作制御部１３は何も信号を出力せ
ず、従ってメカニカルハンド９は現状を維持する。以上
のことにより、この実施例３では、実施例２の動作に加
えてメカニカルハンド９を手首９ａを支点として左右に
倒れる動作が可能となる。

【００２３】なお、実施例２では、音声認識と音量増減
判定とを組み合わせ、実施例３では音声認識と音量増減
判定と音程変化判定とを組み合わせるようにしている
が、これに限るものではなく、それぞれを単独で用いる
ようにしても良く、３次元情報を入力する対象に対応し
て組み合わせてもよい。例えば、実施例２において、メ
カニカルハンド９のの手首９ａを支点とした前後に倒れ
る動きを、音程変化判定により行うようにしても良い。
また、上記実施例では仮想的に作り出された３次元空間
内のメカニカルハンドの動作制御を対象としていたがこ
れに限るものではない。工業用に用いられているロボッ
トアームの動作制御のためのインターフェイスに用いて
も良く、また、バックホウやパワーショベルなどの掘削
機などのバケット部，アーム部の動作制御のためのイン
ターフェイスとして用いるようにしても同様の効果を奏
するものである。

【００２４】

【発明の効果】以上説明したように、この発明の空間動
作インターフェイスは、異なる位置に配置された４個以
上の音検出手段が検出した音情報の差により、音源定位
処理手段がその音源の位置を求め、音検出手段が検出し
た音声情報を音声認識処理手段が特定の種類に判別する
ようにした。このことにより、空間動作インターフェイ
スに対する音源の位置を変えることで位置を変化させる
情報を入力でき、「あ」と「う」など異なる音声を発す
ることで、色々な動作をさせる情報を入力できる。

【００２５】また、音検出手段が検出した音情報の音量
の増減を判断するようにしたので、空間動作インターフ
ェイスに対する音源の位置を変えることで位置を変化さ
せる情報を入力でき、発する音量を増減させることで、
３つの異なる状態の動作をせせる情報を入力できる。そ
して、音検出手段が検出した音情報の音程の変化を判断
するようにしたので、空間動作インターフェイスに対す
る音源の位置を変えることで位置を変化させる情報を入
力でき、発する音程の高低を変化させることで、３つの
異なる状態の動作をせせる情報を入力できる。従って、
キー入力などの動作をすることが無く、音声を発するだ
けで３次元情報を入力できるので、煩わしい操作を必要
とせず操作ミスを低減できるという効果がある。

【図面の簡単な説明】

【図１】この発明の１実施例である空間動作インターフ
ェイスの構成を示す構成図である。

【図２】この発明の１実施例のマイク部で構成される３
次元直交座標系を示す斜視図である。

【図３】この発明の第２の実施例である空間動作インタ
ーフェイスの構成を示す構成図である。

【図４】この発明の第３の実施例である空間動作インタ
ーフェイスの構成を示す構成図である。

【図５】メカニカルハンド９の動作を示す平面図と側面
図である。

【符号の説明】

１，２，３，４マイク１ａ，２ａ，３ａ，４ａ支持棒５音源定位処理部６音声認識処理部７指動作制御部８コンピュータ９メカニカルハンド

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ１０Ｌ 3/00

Claims

【特許請求の範囲】

【請求項１】３次元空間における移動などの動作を入
力する空間動作インターフェイスにおいて、音を検出する４個以上の音検出手段と、前記音検出手段それぞれを所定の間隔に固定する固定手
段と、前記音検出手段それぞれが検出した音情報の差により音
源の位置を求める音源定位処理手段と、前記音検出手段が検出した音声情報を特定の種類に判別
する音声認識処理手段とを有することを特徴とする空間
動作インターフェイス。