JPH08241098A - メディア認識制御システム - Google Patents

Abstract

(57)【要約】 【目的】 あるメディアを用いた制御機能とあるメディ
アの入力機能とを、ユーザの操作を要することなく、選
択的に実行できるようにする。 【構成】 初期状態では、音声制御インターフェース１
２が主処理部１１に接続されている。音声制御インター
フェース１２がマイク２からの音声コマンドを認識し、
これに応じた制御信号を主処理部１１に送る。主処理部
１１は、この制御信号が音声データの入力を指示すると
き、インターフェース選択制御部１６によってインター
フェース選択部１５を制御し、音声制御インターフェー
ス１２から音声入力インターフェース１３に切り換え
る。その後、音声制御インターフェース１２が音声コマ
ンドを認識すると、音声制御インターフェース１２はイ
ンターフェース選択制御部１６によってインターフェー
ス選択部１５を制御し、音声入力インターフェース１３
から音声制御インターフェース１２に切り換える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声や映像など情報内
容を伝達，記録する態様としてのメディアを利用して情
報処理を行なうメディア認識処理システムに関する。

【０００２】

【従来の技術】近年、パーソナルコンピュータなどの情
報処理装置が扱うことのできるメディアが各種提案され
ている。一般に、各メディアは、夫々装置の制御を目的
としたヒューマンインタフェースとして利用される場合
（以下、これを制御用メディアという）と、装置へのデ
ータ入力そのものを目的として利用される場合（以下、
これを入力データ用メディアという）とがある。

【０００３】例えば、音声メディアを考えたとき、前者
の利用の例が音声でコマンドを与え情報処理装置の制御
を行なう音声制御システムであり、後者の例が音声の再
生、加工などを目的として情報処理装置に記録する音声
入力システムである。

【０００４】図９は音声制御機能を備えた従来の音声制
御システムの一例を示す構成図である。

【０００５】同図において、マイクロホン９２で収録さ
れた音声信号は、音声制御インターフェース９３に入力
される。音声制御インターフェース９３は、音声信号を
認識し、認識内容に応じた制御信号を生成する機能を有
している。この制御信号は情報処理装置９１に送信さ
れ、情報処理装置９１は制御信号に応じて制御される。

【０００６】ところで、従来の音声制御インタフェース
では、予め語句とそれに対応する音声が登録されてお
り、入力された音声と登録されている音声とが比較され
て認識が行なわれるものである。そのため、音声制御イ
ンターフェース９３を用いたシステムでは、システム上
で使用するコマンドや認識したい語句とそれに対応した
音声が登録されており、登録されたコマンドや語句の範
囲内で音声制御が行なわれる。

【０００７】図１０は音声入力機能を備えた従来の音声
入力システムの一例を示す構成図である。

【０００８】同図において、マイクロホン１０２で得ら
れる音声信号が音声入力インターフェース１０３に供給
される。音声入力インターフェース１０３は、音声信号
を情報処理装置１０１に入力できるディジタルデータに
変換する機能を有しており、このディジタル音声データ
は情報処理装置１０１に送られる。このように、音声入
力システムでは、音声入力インターフェース１０３を介
して音声を入力する。

【０００９】一方、上記のような制御システムと入力シ
ステムを同じメディアを用いて実現するシステムも考案
されている。しかしながら、制御用メディアと入力デー
タ用メディアが同じメディアである場合には、システム
に入力されたメディアが制御のためのコマンドか、入力
して記録するためのデータなのかが区別がつかないので
問題になる。例えば、音声メディアを考えたとき、図９
に示した音声制御機能と図１０に示した音声入力機能を
備えたシステムにおいては、操作者の発生した音声が制
御用メディアなのか、入力データ用メディアなのかが区
別できず問題となる。

【００１０】この問題を解決する方法としては、特開昭
６０−１２２４３０号公報に示されるように、スイッチ
により音声メディアを区別する方法が知られている。

【００１１】これを図１１で説明すると、マイクロホン
１１２からのアナログ音声信号は、入力選択部１１３に
より、音声制御インターフェース９３と音声入力インタ
ーフェース１０３とのいずれかに入力されて、情報処理
装置１１１に供給されるが、このとき、入力選択部１１
３の制御はユーザが入力選択スイッチ１１４を操作する
ことにより行なわれる。即ち、入力される音声メディア
が制御用のものか入力音声用のものかが、ユーザの入力
選択スイッチ１１４の操作によって決められるのであ
る。

【００１２】

【発明が解決しようとする課題】ところが、このように
入力メディアが制御用のものか入力音声用のものかを区
別するために、ユーザがスイッチやキーなどを手動操作
することになると、折角メディアの入力を人手によらず
にできるようにしながら、スイッチやキー操作という人
手の操作を必要とすることになり、システムの利点を半
減してしまうことになる。

【００１３】本発明の目的は、かかる問題を解消し、入
力メディアを制御用とするか入力データ用とするかの選
択操作の手間を省き、使い勝手が向上したメディア認識
制御システムを提供することにある。

【００１４】例えば、音声メディアであれば、音声入力
だけで操作可能な、音声制御機能と音声入力機能を備え
たシステムを提供することである。

【００１５】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、少なくともあるメディアを認識し認識
内容に応じた制御を行なうメディア認識制御手段と、該
メディアを入力データとして入力するメディア入力手段
とを備えたシステムであって、該メディアの入力が認識
制御用であるか、入力用であるかを該メディア認識制御
手段により認識し、その認識結果に応じて、自動的に、
該メディア認識制御手段と該メディア入力手段とのいず
れか一方の選択を行なう選択手段を設ける。

【００１６】

【作用】主処理部に対して有効となるメディア認識制御
手段と該メディア入力手段との選択を、メディア認識制
御手段によるメディアの認識結果に基づいて行ない、シ
ステム自体が選択制御をするため、従来のようなかかる
選択のためのスイッチやキーなどの操作が一切不要とな
り、メディアの入力のみでシステムの運用が可能とな
る。

【００１７】

【実施例】以下、本発明の実施例を図面を参照して説明
する。

【００１８】図１は音声制御ボイスメールシステムとし
ての本発明によるメディア認識制御システムの第１の実
施例を示す外観図である。

【００１９】なお、この実施例では、メディアとして音
声メディアを使用したものである。ここでいう音声と
は、人間の発声する声に限らず、手をたたく音や指を鳴
らす音のほか、楽器の音などの音波信号全般を含むもの
とする。

【００２０】同図において、クライアントの個数は任意
であるが、ここでは、２つのクライアント１，２がネッ
トワークを介して接続されているものとする。これらク
ライアント１，２は、本体１にマイクロホン２，スピー
カ３，表示装置４などが設けられ、また、図示しない
が、メール記憶用のメモリも備えており、マイクロホン
２からの音声の入力により、クライアントの制御や他の
クライアンとに送るメールの入力などを行なうことがで
きるし、また、他のクライアントからネットワークを介
して送られてきたメールを一旦記録し、必要なときに、
マイクロホン２からの制御用音声の入力により、このメ
ールを取り出してスピーカ３から再生できるようになっ
ている。

【００２１】このようにして、この実施例による音声制
御ボイスメールシステムは、互いにネットワークで接続
されたクライアントＰＣ間でボイスメールのやり取りを
行なうものであり、音声で制御可能なボイスメール機能
を実現している。

【００２２】なお、表示装置４は、液晶パネルやＣＲＴ
などの情報処理装置用に一般的に使用されているもので
よい。また、マイクロホン２やスピーカ３は小型なもの
であればよい。

【００２３】図２は図１におけるクライアントＰＣの一
具体例の機能構成を示すブロック図であって、１１は主
処理部、１２は音声制御インターフェース、１３は音声
入力インターフェース、１４はネットワークインターフ
ェース部、１５はインターフェース選択部、１６はイン
ターフェース選択制御部、１７は音声出力インターフェ
ースであり、図１に対応する部分には同一符号を付けて
いる。

【００２４】同図において、マイクロホン２から入力さ
れる音声信号を認識してシステム制御信号を生成する音
声制御インタフェース１２と、この音声信号からデジタ
ル音声データを生成する音声入力インタフェース１３
と、クライアントをネットワークに接続するネットワー
クインタフェース１４と、音声制御インタフェース１２
からのシステム制御信号と音声入力インタフェース１３
からのデジタル音声データとのいずれかを選択して主処
理部１１に供給するインタフェース選択部１５と、この
インタフェース選択部１５を制御するインタフェース選
択制御部１６と、主処理部１１からの音声データをスピ
ーカ３に出力する音声出力インタフェース１７とから構
成される。

【００２５】主処理部１１は、ＣＰＵ(Central Process
ing Unit)や上記のメモリ，表示制御部などから構成さ
れ、システムの基本的な処理を実行する。なお、この主
処理部１１としては、パーソナルコンピュータなどの情
報処理装置を用いることができる。音声出力インタフェ
ース１７は、主処理部１１からの音声データをスピーカ
３で再生できる音声信号に変換する。インタフェース選
択部１５は、音声制御と音声入力との各インタフェース
と、主処理部１１の接続や切断を行なう。このインタフ
ェース選択部１５の制御は、インタフェース選択制御部
１６によって行なわれる。

【００２６】図３は図２のインタフェース選択部１５と
インタフェース選択制御部１６との一具体例を各インタ
ーフェース１２，１３及び主処理部１１とともに示した
構成図であって、１５ａ，１５ｂはアクティブＨｉｇｈ
の３ステートゲート、１６ａは２入力のアンドゲート、
１６ｂは２入力のオア回路、１１ａは音声制御アクティ
ブ信号線、１１ｂは音声入力アクティブ信号線、１２ａ
はインタフェースコントロール信号線である。

【００２７】同図において、主処理部１１は、音声制御
アクティブ信号１１ｂを介して、任意に音声制御インタ
フェース１３をアクティブにすることが可能である。な
お、ここでいうアクティブとは、主処理部１１と接続さ
れた状態のことをいう。

【００２８】また、音声制御インタフェース１２は、イ
ンタフェースコントロール信号１２ａを介して、任意に
自身をアクティブにすることができ、さらに、任意に音
声入力インタフェース１３と主処理部１１との接続を切
ることができる。

【００２９】以上のような構成を有する音声制御ボイス
メールシステムの動作を図４と図５を用いて説明する。

【００３０】図４はボイスメール録音送信時のユーザの
音声入力手順とこれに対応するボイスメールシステムの
処理，音声制御インタフェース１２，音声入力インタフ
ェース１３と主処理部１１との接続状態、並びに、イン
タフェースコントロール信号１２ａ，音声制御アクティ
ブ信号１１ａ，音声入力アクティブ信号１１ｂの状態を
示す図である。

【００３１】また、図５はボイスメール受信再生時にお
けるユーザの音声入力手順とこれに対応するボイスメー
ルシステムの処理，音声制御インタフェース１２，音声
入力インタフェース１３と主処理部１１との接続状態を
示した図である。

【００３２】なお、これらの図中、音声入力の「」で囲
まれた部分はシステムのコマンドを示し、“ ”で囲ま
れた部分はユーザが入力するメール内容、つまり、音声
データを示す。

【００３３】また、接続状態はインターフェース１２，
１３が、インターフェース選択部１５により、主処理部
１１と接続されているかどうかを示し、ＯＮのときには
接続され、ＯＦＦのときには接続されていないことを示
している。信号出力は、インターフェースコントロール
信号線１２ａにＨｉｇｈのコントロール信号が出力され
ているかどうか、音声入力アクティブ信号線１１ａ，音
声制御アクティブ信号線１１ｂにＨｉｇｈのアクティブ
信号が出力されているかどうかを示している。

【００３４】この実施例では、起動した最初の状態で
は、音声制御インタフェース１２がアクティブの状態に
なる。このため、ユーザはシステム立ち上げ後から、即
音声のみによる制御を行なうことができる。そして、通
常、ボイスメールシステムの起動前では、主処理部１１
から音声制御アクティプ信号線１１ｂ，インターフェー
ス選択制御部１６のオア回路１６ａを介してＨｉｇｈの
アクティブ信号がインターフェース選択部１５の３ステ
ートゲート１５ａをオンにすることにより、音声制御イ
ンタフェース１２のみがインターフェース選択部１５を
介して主処理部１１に接続されてアクティブになってい
る。

【００３５】図４において、この状態で（１）「ボイス
メール送信開始」コマンドを表わす音声マイクロホン２
より入力すると、ボイスメールシステムが起動する。次
に、（２）「送信先入力」コマンドを表わす音声を入力
すると、システムは送信先のアドレス番号の入力待ち状
態になる。その後、（３）「＊＊番」と送信先の番号を
入力し、これを表示装置４で認識した後、（４）「メー
ル録音開始」のコマンドを表わす音声を入力すると、音
声制御インターフェース１２はこのコマンドを認識して
これに応じて制御信号を生成し、インターフェース選択
部１５を介して主処理部１１に送る。

【００３６】以上のコマンドは、音声制御インターフェ
ース１２で認識されて制御信号が生成され、インターフ
ェース選択部１５を介して主処理部１１に送られ、主処
理部１１は表示装置４を制御して各コマンドを表示させ
たり、メモリの制御などの各制御を行なう。

【００３７】主処理部１１は、音声制御インターフェー
ス１２から「メール録音開始」コマンドに対する制御信
号を受け取ると、図示しないメモリを録音開始状態とす
るとともに、音声制御アクティブ信号線１１ｂへのアク
ティブ信号の出力を停止し、音声入力アクティブ信号線
１１ａにＨｉｇｈのアクティブ信号を出力する。このア
クティブ信号はインターフェース選択制御部１６のアン
ドゲート１６ｂに供給される。このアンドゲート１６ｂ
には、また、インターフェースコントロール信号線１２
ａを介して音声制御インターフェース１２に接続され、
その制御用メディアの認識によってＨｉｇｈのコントロ
ール信号が反転されて供給されるようになっているが、
このときには、このコントロール信号が出力されていな
いため、アンドゲート１６ｂの出力はＨｉｇｈである。
このため、インターフェース選択部１５の３ステートゲ
ート１５ｂはオンとなり、音声入力インターフェース１
３がインターフェース選択部１５を介して主処理部１１
に接続される。これにより、システムは音声入力機能を
アクティブにし、同時に、音声制御インタフェース１２
は主処理部１１との接続を切断される。

【００３８】このようにして、システムは、音声入力イ
ンタフェース１３に入力される音声信号を音声データと
して主処理部１１内のメモリに記録を開始する。

【００３９】ユーザは、マイクロホン２から、メール内
容（５）“＊＊＊＊の件ですが……以上です。”という
メッセージを入力する。これによってメール内容の録音
が終了し、（６）「メール録音終了」コマンドを表わす
音声を入力すると、この音声で音声制御インタフェース
１２が「メール録音終了」コマンドを認識し、インター
フェースコントロール信号線１２ａにＨｉｇｈのコント
ロール信号を出力する。これにより、インタフェース選
択制御部１６は、３ステータゲート１５ｂをオフにして
音声入力インタフェース１３と主処理部１１を切断する
とともに、３ステータゲート１５ａをオンにして音声制
御インタフェース１２と主処理部１１を接続する。これ
と同時に、システムの録音状態を一時停止状態にする。

【００４０】そして、「メール録音終了」コマンドを認
識したシステムは、（７）録音終了確認処理に入る。こ
の状態では、表示装置４にメールの録音を終了するかど
うかを問うメッセージが表示され、音声入力として「は
い」あるいは「いいえ」の入力を受け付ける。入力音声
が「いいえ」ならば、入力した「メール録音終了」の音
声はメールの内容だったとみなして、（５）の録音状態
に復帰する。「はい」ならば、システムの録音状態は終
了する。

【００４１】なお、（７）の状態で、予め定めた時間が
経過しても、音声の入力がない場合は、メール録音の終
了とみなして次の処理を実行するようにしてもよい。

【００４２】また、「メール録音終了」のコマンドが入
力されなくても、音声入力が途絶えてから予め定めた時
間が経過したら、（７）の録音終了確認処理を行なうよ
うにしてもよい。

【００４３】さらに、以上説明した確認処理は、例えば
メールの録音開始時にも行なうようにしてもよいし、勿
論、任意の処理の前後に行なうようにしてもよい。

【００４４】このように、確認処理を適宜行なうことに
より、誤認識による操作ミスが減少する。

【００４５】その後、録音したメール内容の確認を行な
うために、（８）「内容確認」コマンドを用いて録音し
たメールの再生を行なうことができる。但し、これは必
ずしも必要ではない。メールの再生は、主処理部１１内
で録音した音声データを読み出し、音声出力インタフェ
ース１７を通してスピーカ３に供給する。このとき、録
音内容が好ましいものでないときには、送信を中止する
ことができるし、メールをさらに追加する必要があると
きには、（４）に戻って再録音を選択できるようにして
もよい。

【００４６】録音したメールの内容確認後、（９）「送
信実行」コマンドを入力すると、録音されたメールが主
処理部１１のメモリから読み出され、ネットワークイン
ターフェース部１４，ネットワークを介して送信され
る。メールの送信完了後、（１０）「メール送信終了」
コマンドを入力することにより、ボイスメールシステム
の動作が終了する。

【００４７】次に、図５により、受信したボイスメール
の再生動作を説明する。このボイスメールは、他のクラ
イアントからネットワークを介して送られてきたもの
を、ネットワークインターフェース部１４から取り込
み、主処理部１１のメモリに記録したものであり、その
再生は、ユーザの希望するときに、以下のように音声を
入力することによって行なうことができる。

【００４８】まず、（１）「受信メール再生開始」コマ
ンドを表わす音声を入力することにより、このコマンド
を音声制御インターフェース１２が認識し、その制御信
号がインターフェース選択部１５を介して主処理部１１
に供給されることにより、ボイスメールシステムが起動
する。このとき、音声制御インタフェース１２のみがア
クティブになっているのは、先に説明したメール録音送
信時と同様である。

【００４９】次に、（２）「受信メール一覧」コマンド
を表わす音声を入力すると、これが音声制御インターフ
ェース１２で認識されて主処理部１１が動作し、受信し
たメールの一覧が表示装置４に表示される。ユーザがそ
の中から再生したいメール番号を選択し、そのメール番
号を（３）「＊＊番」と入力すると、これが音声制御イ
ンターフェース１２で認識されて主処理部１１が動作
し、表示装置４にそのメール番号が表示される。

【００５０】これをユーザが確認して、（４）「メール
再生開始」コマンドを表わす音声を入力すると、（５）
これが音声制御インターフェース１２で認識されて主処
理部１１が動作し、メモリから該当するメールが再生さ
れる。メールの内容は音声出力インターフェース１７を
介してスピーカ３に供給され、これによってメールの内
容の音声が出力される。また、このコマンドにより、主
処理部１１はインターフェース選択部１５の３ステート
ゲート１５ａ，１５ｂをオフにし、２つのインターフェ
ース１２，１３を主処理部１１から切断する。

【００５１】メール再生終了後、（６）「受信メール再
生終了」コマンドを表わす音声を入力すると、これが音
声制御インターフェース１２で認識されて制御信号が生
成され、この制御信号によって主処理部１１がボイスメ
ールシステムの再生動作を終了する。これと同時に、主
処理部１１はインターフェース選択部１５の３ステート
ゲート１５ａをオンにし、音声制御インターフェース１
２を主処理部１１に接続する。

【００５２】このボイスメール受信再生時では、入力音
声データを記録する必要がないので、音声入力インタフ
ェース１３は主処理部１１から切断されたままである。

【００５３】以上説明したように、この実施例では、制
御用音声メディアとしてのコマンドの入力時には、音声
制御インタフェース１２を主処理部１１に接続し、音声
制御機能のみをアクティブにして音声認識とシステム制
御を行なう。また、入力データ用音声メディアとしての
ボイスメールの録音時には、音声入力インタフェース１
３を主処理部１１と接続し、音声入力機能をアクティブ
にして音声データを記録する。

【００５４】このように、この実施例では、ユーザが入
力する音声信号が制御用音声メディア（コマンド）であ
るか、あるいは入力データ用音声メディア（ボイスメー
ル内容）であるかに応じてインタフェース１２，１３を
切り換える。従って、ユーザは、音声入力をするだけ
で、ボイスメールシステムを操作することができる。

【００５５】また、受信メールの再生中では、音声制御
インターフェース１２が主処理部１１から切断されて音
声制御がアクティブでないので、スピーカ３から出力さ
れるボイスメール中に「メール録音終了」コマンドや
「受信メール再生終了」コマンド以外の制御コマンドが
含まれ、これがマイクロホン２から入力されても、主処
理部１１はこれに応答せず、システムは誤動作すること
がないし、このような誤動作のことを考えないでボイス
メールの作成を行なうことができる。

【００５６】なお、この実施例では、音声入力と主処理
部の制御とに従ってインタフェースを選択するようにし
ているが、どちらか一方のみの制御に従ってインタフェ
ースの選択を行なってもよい。

【００５７】また、音声制御インタフェースや音声入力
インタフェースは１系統に限らず、複数系統設けるよう
にしてもよい。このようにすると、例えば、音声入力の
条件（例えば、制御コマンドの種類など）毎に、その認
識精度や認識速度が最適となるような音声制御インター
フェースを設け、入力制御コマンドに対して最も適した
音声制御インタフェースを選択することにより、そのコ
マンドの認識精度や速度が高まり、音声認識システムの
性能がより向上することになる。

【００５８】また、この実施例は、ボイスメールシステ
ムに限らず、ビデオメールやテレビ会議システムなど、
音声入力可能な情報処理装置などを利用したその他のシ
ステム全般に適用可能である。

【００５９】また、この実施例では、音声メディアを扱
ったが、音声以外のメディアによる制御システムについ
ても、当然適用することができる。

【００６０】例えば、情報処理学会研究報告ヒューマン
インタフェース３９−７に示されている、ユーザの身振
り手振りを認識して情報処理装置の制御などを行なうジ
ェスチャー制御は、メディアとして映像メディアを用い
た制御である。このジェスチャー制御をこの第１の実施
例の音声制御の代わりに使用し、ビデオメールシステム
とすることができる。これに適用した本発明の第２の実
施例を図面を用いて説明する。

【００６１】図６は、このようにジェスチャーのみの制
御によって操作可能なビデオメールシステムとしての、
本発明によるメディア認識制御システムの第２の実施例
でのクライアントＰＣを示すブロック図であって、９は
ビデオカメラ、１１’は主処理部、１８はジェスチャー
制御インターフェース、１９はデータ入力インターフェ
ース、１５’はインターフェース選択部であり、図２に
対応する部分には同一符号を付けている。

【００６２】図６において、各クライアントは、マイク
ロホン２と、映像を入力するためのビデオカメラ９、ビ
デオカメラ９から入力される映像信号からジェスチャー
を認識してシステム制御信号を生成するジェスチャー制
御インタフェース１８と、映像信号と音声信号からディ
ジタルデータを生成するデータ入力インタフェース１９
と、クライアントをネットワークに接続するネットワー
クインタフェース１４と、ジェスチャー制御インタフェ
ース１８からのシステム制御信号とデータ入力インタフ
ェース１９からのディジタルデータとを主処理部１１に
入力するかどうかを制御するインタフェース選択部１
５’と、このインタフェース選択部１５’を制御するイ
ンタフェース選択制御部１６とから構成される。

【００６３】主処理部１１は、ＣＰＵ(Central Process
ing Unit)と、メモリと、表示制御部などから構成さ
れ、システムの基本的な処理を実行する。なお、この主
処理部１１としては、パーソナルコンピュータなどの情
報処理装置を用いてもよい。

【００６４】インタフェース選択部１５’は、ジェスチ
ャー制御インターフェース１８，データ入力インタフェ
ース１９と主処理部１１との接続，切断を行なうもので
あり、この制御はインタフェース選択制御部１６によっ
て行なわれる。インタフェース選択部１５’の構成は、
データ入力が映像と音声の両方であって、音声制御の代
わりにジェスチャー制御インタフェースが接続されてい
る点を除けば、図３に示した音声制御ボイスメールシス
テムにおけるインタフェース選択部１５と同様である。
インタフェース選択制御部１６は、扱うデータが映像信
号か音声信号かの違いがあるだけで、図２の音声制御ボ
イスメールシステムにおける図３のインタフェース選択
制御部１６と同様である。

【００６５】かかる構成の実施例は、音声コマンドがジ
ェスチャーコマンド、音声入力が映像入力に入れ替わっ
た形で音声制御ビデオメールシステムと同様の動作をす
る。これにより、このジェスチャー制御ビデオメールシ
ステムは、入力されるユーザの動きがジェスチャーによ
る制御コマンドなのか、ビデオメールの内容なのかに応
じてインタフェース１８，１９を切り換える。このた
め、ビデオメールの内容にメール終了コマンド以外のジ
ェスチャーコマンドと同じ動作が存在したとしても、ジ
ェスチャー制御機能はアクティブではないので、誤動作
などの問題なくビデオメールの作成を行なうことができ
る。また、メール終了コマンドと同じ動作の入力を行な
うときには、終了確認処理を実行することで、誤動作を
防ぐ事ができる。従って、ユーザは、ジェスチャー入力
をするだけで、ビデオメールシステムを操作することが
できる。

【００６６】以上の各実施例は、単一のメディアを用い
て制御を行なうものであったが、複数のメディアを組み
合わせて制御するようにしてもよい。例えば、図２で示
した第１の実施例の音声と図６で示した第２の実施例の
映像を組み合わせた制御インタフェースが考えられる。
制御コマンドは特定のジェスチャーと言葉を組み合わせ
たものになり、両者を同時にシステムに入力することで
認識される。

【００６７】図７は、このような音声制御機能とジェス
チャー制御機能とを備えた音声ジェスチャー制御システ
ムとしての、本発明によるメディア認識制御システムの
第３の実施例でのクライアントＰＣを示すブロック図で
あって、２０は制御信号同期化部、１５”はインターフ
ェース選択部であり、図２及び図６に対応する部分には
同一符号を付けている。

【００６８】同図において、各クライアントは、音声制
御インタフェース１２と、ジェスチャー制御インタフェ
ース１８と、ネットワークインタフェース１４と、表示
装置４と、主処理部１１とに加え、マイクロホン２から
の音声信号とビデオカメラ９からの映像信号をディジタ
ル化して主処理部１１で扱える形式に変換するデータ入
力インタフェース１９と、インタフェース選択部１５”
と、制御信号同期化部２０とから構成されている。

【００６９】インタフェース選択部１５”は、各インタ
フェース１２，１８，１９と主処理部１１との接続、切
断を行なう。

【００７０】インタフェース選択制御部１６は図３に示
したインタフェース選択制御部１６と同様の構成をなし
ており、初期状態では、データ入力インタフェース１９
と主処理部１１との間を切断し、制御信号同期化部２０
と主処理部１１とを接続するように、インタフェース選
択部１５”を制御する。データ入力の開始を指示するコ
マンド入力があると、インタフェース選択部１５”を制
御して、データ入力インタフェース１９と主処理部１１
とを接続し、制御信号同期化部２０と主処理部１１との
間を切断する。逆に、データ入力の終了を指示するコマ
ンド入力があると、インタフェース選択部１５”を制御
して、データ入力インタフェース１９と主処理部１１と
の間を切断し、制御信号同期化部２０と主処理部１１と
を接続する。

【００７１】制御信号同期化部２０は、音声制御インタ
フェース１２とジェスチャー制御インタフェース１８が
夫々入力メディアを認識して生成される制御信号の同期
をとるものである。このように同期をとることにより、
操作者からの音声とジェスチャーの入力に対し、音声コ
マンドとジェスチャーコマンドが夫々認識されるまでの
時間差が吸収され、音声とジェスチャーが同時に入力さ
れたものとして制御が実行される。

【００７２】もし、音声制御インタフェース１２とジェ
スチャー制御インタフェース１８からの制御信号の同期
をとらなければ、操作者が音声とジェスチャーを同時に
入力したつもりでいても、これら音声制御インタフェー
ス１２とジェスチャー制御インタフェース１８が認識を
完了して制御信号を生成する処理に時間差が生じたと
き、システムは夫々が別の独立したコマンド入力とみな
し、誤動作を引き起こす原因となる。

【００７３】図８は図７における制御信号同期化部２０
の一具体例を示すブロック図であって、１５"ａ，１５"
ｂ，１５"ｃ，１５"ｄは３ステートゲート、２０ａ，２
０ｂはデータを一時保持するレジスタ、２０ｃはデータ
入力開始とデータ入力終了のコマンド及びその確認をデ
コードするコマンドデコーダであり、図７，図３に対応
する部分には同一符号を付けている。

【００７４】同図において、音声制御インタフェース１
２で生成された制御データはレジスタ２０ａに書き込ま
れ、同様に、ジェスチャー制御インタフェース１８で生
成された制御データはレジスタ２０ｂに書き込まれる。
このとき、各制御インタフェース１２，１８の動作は非
同期であり、マイクロホン２やビデオカメラ９からの入
力が認識され次第、それに応じた制御データを生成し、
レジスタ２０ａ，２０ｂに書き込む。

【００７５】これらレジスタ２０ａ，２０ｂにともに制
御データが書き込まれると、もしくは、これらレジスタ
２０ａ，２０ｂのどちらかに制御データの書込みがなさ
れてから一定時間経過すると、インタフェース選択部１
５"にこれら制御データが送信される。

【００７６】また、そのときの制御データであるレジス
タ２０ａ，２０ｂの内容が、データ入力の開始を指示す
るコマンドであれば、コマンドデコーダ２０ｃはインタ
フェースコントロール信号線１２ａにＬｏｗを出力し、
３ステートゲート１５"ｃ，１５"ｄをオンにしてデータ
入力インターフェース１９を主処理部１１’に接続し、
そのまま次にデータ入力の終了を指示するコマンドが入
力されて確認されるまで、その状態を維持する。そし
て、データ入力終了コマンドが入力されて確認される
と、コマンドデコーダ２０ｃはインタフェースコントロ
ール信号線１２ａにＨｉｇｈを出力する。これにより、
３ステートゲート１５"ｃ，１５"ｄをオフしてデータ入
力インターフェース１９は主処理部１１’から切断さ
れ、３ステートゲート１５"ａ，１５"ｂをオンにして制
御信号同期化部２０を主処理部１１’に接続する。

【００７７】以上述べた構成を有する音声ジェスチャー
制御システムの動作は、音声制御インタフェース１２
と、ジェスチャー制御インタフェース１８と、制御信号
同期化部２０とをまとめて１つの制御インタフェースと
みなして、単一メディアによる制御インタフェースを有
する図２，図６に示した実施例と同様に動作させること
ができる。

【００７８】このように、この第３の実施例では、前記
した各実施例と同様の効果を、音声と映像（ジェスチャ
ー）という複数のメディアを組み合わせたコマンドを用
いて得ることができる。また、複数のメディアを組み合
わせることにより、単一のメディアによる場合に比べ
て、認識の確実性がより向上する効果がある。

【００７９】さらに、各メディア制御インタフェースを
同期させる制御信号同期化部２０を備えることにより、
複数のメディアからなる制御コマンドをより入力しやす
くする効果を得ることができる。

【００８０】さらに、例えば、ビデオメールシステムで
あれば、手を振る動作をしながら音声で「さようなら」
という音声を入力することをメール入力終了のコマンド
にするなどして、コマンドを生活習慣に馴染んだ挨拶な
どに対応付けることにより、システムの利用が通常の会
話のように行なえ、よりユーザに親しみやすく使い勝手
の良いシステムとすることができる。

【００８１】なお、上記実施例では、メディアとして、
マイクロホンとカメラから入力する音声と映像（ジェス
チャー）としたが、これら以外のメディア、例えば、位
置情報や照度情報、温度情報、圧力情報、速度情報、加
速度情報などを用いることもできる。

【００８２】例えば、位置情報をメディアとする場合に
は、位置情報を位置センサーを用いて得るようにし、所
定の位置に立って音声コマンドを入力することを制御コ
マンドの入力とするなどの方法がある。

【００８３】また、加速度情報をメディアとする場合、
例えば、移動するシステム機器を対象に、加速度情報を
加速度センサーを用いて得るようにし、加速度がゼロの
ときは使用できるが、加速度がゼロでないときは使用で
きないようなコマンドを用いることもできる。このよう
なものとしては、例えば、車載用のメールシステムがあ
り、車の発進時や停車するときなど運転手が特に運転に
集中しなければならないときには受信メールを再生でき
ないようにして、車の安全も考慮したシステムの利用を
図ることができる。

【００８４】

【発明の効果】以上説明したように、本発明によれば、
入力されるメディアがシステム制御用コマンドであるか
入力データであるかを区別できるため、コマンドと入力
データの誤認から生じるシステムの誤動作を防ぐことが
できるし、単一のメディアによりシステムの制御ができ
るので、システムの使い勝手が向上される。

【００８５】特に、メディアが音声の場合には、コマン
ド入力を行なうための音声入力と、それ以外の音声入力
を区別することが可能なため、コマンドではない入力を
コマンドと認識してしまう誤動作を防ぐことができる。
さらに、音声入力のみによりシステムの制御を行なうこ
とができるため、音声制御システムの使い勝手が向上さ
れる。また、従来技術で必要とした手操作を一切必要と
しない音声制御ボイスメールシステムを実現することが
可能になる。

【００８６】また、本発明によるジェスチャー制御ビデ
オメールシステムにおいても、手操作を一切必要としな
いジェスチャー制御ボイスメールシステムを実現するこ
とが可能になる。

【００８７】さらに、音声ジェスチャー制御システムに
おいては、音声とジェスチャーを組み合わせた入力によ
り、普段の挨拶などの動作と言葉をコマンドに設定する
ことができ、使い勝手が向上してよりユーザに親しみや
すいシステムを提供することができる。

【図面の簡単な説明】

【図１】本発明によるメディア認識制御システムの第１
の実施例を示す外観図である。

【図２】図１におけるクライアントＰＣの一具体例を示
すブロック図である。

【図３】図２におけるインターフェース選択部とインタ
ーフェース選択制御部の一具体例を示す構成図である。

【図４】第１の実施例の送信ボイスメール録音手順を示
す図である。

【図５】第１の実施例の受信ボイスメール再生手順を示
す図である。

【図６】本発明によるメディア認識制御システムの第２
の実施例におけるクライアントＰＣの一具体例を示すブ
ロック図である。

【図７】本発明によるメディア認識制御システムの第３
の実施例におけるクライアントＰＣの一具体例を示すブ
ロック図である。

【図８】図７における制御信号同期化部とインターフェ
ース選択部とインターフェース選択制御部の一具体例を
示す構成図である。

【図９】従来のメディア認識制御システムの一例を示す
ブロック図である。

【図１０】従来のメディア認識制御システムの他の例を
示すブロック図である。

【図１１】従来のメディア認識制御システムのさらに他
の例を示すブロック図である。

【符号の説明】

１ 本体 ２ マイクロホン ３ スピーカ ４ 表示装置 ９ ビデオカメラ １１，１１’，１１” 主処理部 １２ 音声制御インタフェース １３ 音声入力インタフェース １４ ネットワークインタフェース １５，１５’，１５” インタフェース選択部 １６ インタフェース選択制御部 １７ 音声出力インタフェース １８ ジェスチャー制御インターフェース １９ データ入力インターフェース ２０ 制御信号同期化部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 17/00 9168−5Ｌ Ｇ０６Ｆ 15/20 Ｚ (72)発明者 河原 哲也 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所システム開発研究所内 (72)発明者 藤崎 一博 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 少なくともあるメディアを認識し、認識
   内容に応じた制御を行なうメディア認識制御手段と、該
   メディアをデータとして入力するメディア入力手段とを
   備えたシステムにおいて、 該メディアの入力が認識制御用であるか、入力用である
   かを該メディア認識制御手段により認識し、その認識結
   果に応じて、自動的に、該メディア認識制御手段と該メ
   ディア入力手段とのいずれか一方の選択を行なう選択手
   段を設けたことを特徴とするメディア認識制御システ
   ム。
2. 【請求項２】 請求項１において、 前記メディア認識制御手段の認識結果の確認をユーザに
   求める確認処理手段を備えたことを特徴とするメディア
   認識制御システム。
3. 【請求項３】 請求項２において、 前記確認処理手段は、前記認識結果を表示する表示装置
   を備えたことを特徴とするメディア認識制御システム。
4. 【請求項４】 請求項１，２または３において、 前記メディアが音声メディアであって、前記メディア入
   力手段として音声入力手段を、前記メディア認識制御手
   段として音声認識制御手段を夫々備えたことを特徴とす
   るメディア認識制御システム。
5. 【請求項５】 請求項１，２または３において、 前記メディアが映像メディアであり、前記メディア入力
   手段として映像入力手段を、前記メディア認識手段とし
   てジェスチャー認識制御手段を夫々備えたことを特徴と
   するメディア認識制御システム。
6. 【請求項６】 請求項１，２または３において、 前記メディアが複数であって、各メディアに対応したメ
   ディア認識制御手段を夫々備え、 認識制御用のメディア入力は、各メディアを組み合わせ
   たものであることを特徴とするメディア認識制御システ
   ム。
7. 【請求項７】 請求項６において、 前記夫々のメディア認識制御手段を同期させる手段を備
   えたことを特徴とするメディア認識制御システム。
8. 【請求項８】 請求項１〜７のいずれか１つにおいて、 前記メディアが音声メディアと映像メディアであり、前
   記認識制御用のメディアは日常生活で用いられる挨拶で
   あることを特徴とするメディア認識制御システム。
9. 【請求項９】 請求項１〜８のいずれか１つにおいて、 初期状態で前記メディア認識制御手段がアクティブであ
   ることを特徴とするメディア認識制御システム。
10. 【請求項１０】 請求項１〜９のいずれか１つにおい
    て、 ボイスメールであることを特徴とするメディア認識制御
    システム。
11. 【請求項１１】 請求項１〜９のいずれか１つにおい
    て、 ビデオメールであることを特徴とするメディア認識制御
    システム。
12. 【請求項１２】 請求項１〜９のいずれか１つにおい
    て、 テレビ会議装置であることを特徴とするメディア認識制
    御システム。