JP4200607B2 - 情報処理装置および方法、並びにプログラム格納媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びにプログラム格納媒体に関し、特に、音声を認識する情報処理装置および方法、並びにプログラム格納媒体に関する。
【０００２】
【従来の技術】
パーソナルコンピュータなどの情報処理装置は、インターネットなどを介して、電子メールを所定の相手に送信することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、電子メールなどを送信するたびに、所定の画面で、通信相手を特定するデータであるアドレスを設定しなければならず、面倒であった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、簡単に、通信相手を特定するデータが設定できるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータを生成し、生成した前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルを記録媒体に記録させる記録手段と、シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声を認識する認識手段と、前記記録手段により前記ファイルが記録されたときに起動した静止画閲覧プログラムによって実現される、前記記録手段により生成された前記静止画像を前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示させ、前記認識手段により認識された音声を表す単語または文を、前記静止画像の隣に表示させる静止画像表示制御手段と、前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに起動した電子メールプログラムによって実現される、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウを表示させ、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに前記記録手段により格納された、前記認識手段により認識された単語または文を表示させ、前記記録手段により記録された前記ファイルを添付した前記メッセージを生成する生成手段と、音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声を前記認識手段がさらに認識する場合、呼び名として登録されている単語とメールの言葉からなる音声が前記認識手段により認識されたことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像を表示させ、前記アイコンを強調表示させる表示制御手段と、前記アイコンが強調表示された後に表示されたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、前記認識手段により認識された前記呼び名として登録されている単語に対応付けて登録されているメールアドレスをメッセージの送信先として設定する設定手段とを備える。
【０００７】
請求項２に記載の情報処理方法は、シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータを生成し、生成した前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルを記録媒体に記録させ、シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声を認識し、前記ファイルを記録したときに静止画閲覧プログラムを起動させ、生成した前記静止画像を前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示させ、認識した音声を表す単語または文を、前記静止画像の隣に表示させ、前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに電子メールプログラムを起動させ、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウを表示させ、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに格納した、認識した単語または文を表示させ、前記ファイルを添付した前記メッセージを生成し、音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声をさらに認識する場合、呼び名として登録されている単語とメールの言葉からなる音声を認識したことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像を表示させ、前記アイコンを強調表示させ、前記アイコンを強調表示させた後に表示させたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、認識した前記呼び名として登録されている単語に対応付けて登録しているメールアドレスをメッセージの送信先として設定するするステップを含む。
【０００８】
請求項３に記載のプログラム格納媒体のプログラムは、シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータを生成し、生成した前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルを記録媒体に記録させ、シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声を認識し、前記ファイルを記録したときに静止画閲覧プログラムを起動させ、生成した前記静止画像を前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示させ、認識した音声を表す単語または文を、前記静止画像の隣に表示させ、前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに電子メールプログラムを起動させ、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウを表示させ、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに格納した、認識した単語または文を表示させ、前記ファイルを添付した前記メッセージを生成し、音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声をさらに認識する場合、呼び名として登録されている単語とメールの言葉からなる音声を認識したことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像を表示させ、前記アイコンを強調表示させ、前記アイコンを強調表示させた後に表示させたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、認識した前記呼び名として登録されている単語に対応付けて登録しているメールアドレスをメッセージの送信先として設定するするステップを含む処理をコンピュータに実行させる。
【０００９】
本発明においては、シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータが生成され、生成された前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルが記録媒体に記録される。また、シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声が認識され、前記ファイルを記録したときに静止画閲覧プログラムが起動し、生成された前記静止画像が前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示され、認識された音声を表す単語または文が、前記静止画像の隣に表示される。さらに、前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに電子メールプログラムが起動し、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウが表示され、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに格納された、認識された単語または文が表示され、前記ファイルを添付した前記メッセージが生成される。音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声がさらに認識される場合、呼び名として登録されている単語とメールの言葉からなる音声を認識したことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像が表示され、前記アイコンが強調表示され、前記アイコンが強調表示された後に表示されたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、認識された前記呼び名として登録されている単語に対応付けて登録しているメールアドレスがメッセージの送信先として設定される。
【００１０】
【発明の実施の形態】
以下、本発明に係る情報処理装置の一実施の形態を図面を参照して説明する。
【００１１】
図１乃至図６は、本発明を適用した携帯型パーソナルコンピュータの構成例を表している。このパーソナルコンピュータ１は、ミニノート型のパーソナルコンピュータとされ、基本的に、本体２と、本体２に対して開閉自在とされている表示部３により構成されている。図１は、表示部３を本体２に対して開いた状態を示す外観斜視図、図２は、図１の平面図、図３は、表示部３を本体２に対して閉塞した状態を示す左側側面図、図４は、表示部３を本体２に対して１８０度開いた状態を示す右側側面図、図５は、図３の正面図、図６は、図４の底面図である。
【００１２】
本体２には、各種の文字や記号などを入力するとき操作されるキーボード４、マウスカーソルを移動させるときなどに操作されるスティック式ポインティングデバイス５が、その上面に設けられている。また、本体２の上面には、音を出力するスピーカ８と、表示部３に設けられているCCDビデオカメラ２３で撮像するとき操作されるシャッタボタン１０がさらに設けられている。
【００１３】
表示部３の上端部には、ツメ１３が設けられており、図３に示すように、表示部３を本体２に対して閉塞した状態において、ツメ１３に対向する位置における本体２には、ツメ１３が嵌合する孔部６が設けられている。本体２の前面には、スライドレバー７が前面に平行に移動可能に設けられており、スライドレバー７は孔部６に嵌合したツメ１３と係合してロックし、またロック解除することができるようになっている。ロックを解除することにより、表示部３を本体２に対して回動することができる。ツメ１３の隣りには、マイクロホン２４が取り付けられている。このマイクロホン２４は、図６にも示すように、背面からの音も収音できるようになされている。
【００１４】
本体２の正面にはまた、プログラマブルパワーキー（PPK）９が設けられている。本体２の右側面には、図４に示すように、排気孔１１が設けられており、本体２の前面下部には、図５に示すように、吸気孔１４が設けられている。さらに、排気孔１１の右側には、PCMCIA（Personal Computer Memory Card International Association）カード（ＰＣカード）を挿入するためのスロット１２が設けられている。
【００１５】
表示部３の正面には、画像を表示するLCD（Liquid Crystal Display）２１が設けられており、その上端部には、撮像部２２が、表示部３に対して回動自在に設けられている。すなわち、この撮像部２２は、LCD２１と同一の方向と、その逆の方向（背面の方向）との間の１８０度の範囲の任意の位置に回動することができるようになされている。撮像部２２には、CCDビデオカメラ２３が取り付けられている。
【００１６】
表示部３の下側の本体側には、電源ランプPL、電池ランプBL、メッセージランプML、その他のLEDよりなるランプが設けられている。なお、図３に示す符号４０は、本体２の左側面に設けられた電源スイッチであり、図５に示す符号２５は、CCDビデオカメラ２３のフォーカスを調整する調整リングである。さらに、図６に示す符号２６は、本体２内に増設メモリを取り付けるための開口部を被覆する蓋であり、符号４１は、蓋２６のロックツメを外すためのピンを挿入する小孔である。
【００１７】
図７は、パーソナルコンピュータ１の内部の構成を表している。内部バス５１には、図７に示すように、CPU（Central Processing Unit）５２、必要に応じて挿入されるＰＣカード５３、RAM（Random Access Memory）５４、およびグラフィックチップ８１が接続されている。この内部バス５１は、外部バス５５に接続されており、外部バス５５には、ハードディスクドライブ（HDD）５６、Ｉ／Ｏ（入出力）コントローラ５７、キーボードコントローラ５８、スティック式ポインティングデバイスコントローラ５９、サウンドチップ６０、LCDコントローラ８３、モデム５０などが接続されている。
【００１８】
CPU５２は、各機能を統括するコントローラであり、ＰＣカード５３は、オプションの機能を付加するとき適宜装着される。
【００１９】
RAM５４の中には、起動が完了した時点において、電子メールプログラム（アプリケーションプログラム）５４Ａ、オートパイロットプログラム（アプリケーションプログラム）５４Ｂ、そしてＯＳ（基本プログラム）５４Ｃが、HDD５６から転送され、記憶される。
【００２０】
電子メールプログラム５４Ａは、電話回線のような通信回線などからネットワーク経由で通信文を授受するプログラムである。電子メールプログラム５４Ａは、特定機能としての着信メール取得機能を有している。この着信メール取得機能は、メールサーバ９３に対して、そのメールボックス９３Ａ内に自分（利用者）宛のメールが着信しているかどうかを確認して、自分宛のメールがあれば取得する処理を実行する。
【００２１】
オートパイロットプログラム５４Ｂは、予め設定された複数の処理（またはプログラム）などを、予め設定された順序で順次起動して、処理するプログラムである。
【００２２】
ＯＳ５４Ｃは、Windows９８（商標）に代表される、コンピュータの基本的な動作を制御するものである。
【００２３】
一方、外部バス５５側のハードディスクドライブ（HDD）５６には、電子メールプログラム５６Ａ、オートパイロットプログラム５６Ｂ、ＯＳ５６Ｃが記憶されている。ハードディスクドライブ５６内のＯＳ５６Ｃ、オートパイロットプログラム５６Ｂ、および電子メールプログラム５６Ａは、起動（ブートアップ）処理の過程で、RAM５４内に順次転送され、格納される。
【００２４】
Ｉ／Ｏコントローラ５７は、マイクロコントローラ６１を有し、このマイクロコントローラ６１には、Ｉ／Ｏインタフェース６２が設けられている。このマイクロコントローラ６１は、Ｉ／Ｏインタフェース６２、CPU６３、RAM６４、ROM６９が相互に接続されて構成されている。このRAM６４は、キー入力ステイタスレジスタ６５、LED（発光ダイオード）制御レジスタ６６、設定時刻レジスタ６７、レジスタ６８を有している。設定時刻レジスタ６７は、ユーザが予め設定した時刻（起動条件）になると起動シーケンス制御部７６の動作を開始させる際に利用される。レジスタ６８は、予め設定された操作キーの組み合わせ（起動条件）と、起動すべきアプリケーションプログラムの対応を記憶するもので、その記憶された操作キーの組み合わせがユーザにより入力されると、その記憶されたアプリケーションプログラム（例えば電子メール）が起動されることになる。
【００２５】
キー入力ステイタスレジスタ６５は、ワンタッチ操作用のプログラマブルパワーキー（PPK）９が押されると、操作キーフラグが格納されるようになっている。LED制御レジスタ６６は、レジスタ６８に記憶されたアプリケーションプログラム（電子メール）の立ち上げ状態を表示するメッセージランプMLの点灯を制御するものである。設定時刻レジスタ６７は、所定の時刻を任意に設定することができるものである。
【００２６】
なお、このマイクロコントローラ６１には、バックアップ用のバッテリ７４が接続されており、各レジスタ６５，６６，６７の値は、本体２の電源がオフとされている状態においても保持されるようになっている。
【００２７】
マイクロコントローラ６１内のROM６９の中には、ウェイクアッププログラム７０、キー入力監視プログラム７１、LED制御プログラム７２が予め格納されている。このROM６９は、例えばEEPROM（electrically erasable and programmable read only memory）で構成されている。このEEPROMはフラッシュメモリとも呼ばれている。さらにマイクロコントローラ６１には、常時現在時刻をカウントするRTC（Real-Time Clock）７５が接続されている。
【００２８】
ROM６９の中のウェイクアッププログラム７０は、RTC７５から供給される現在時刻データに基づいて、設定時刻レジスタ６７に予め設定された時刻になったかどうかをチェックして、設定された時刻になると、所定の処理（またはプログラム）などの起動をするプログラムである。キー入力監視プログラム７１は、PPK９が利用者により押されたかどうかを常時監視するプログラムである。LED制御プログラム７２は、メッセージランプMLの点灯を制御するプログラムである。
【００２９】
ROM６９には、さらにBIOS（Basic Input Output System）７３が書き込まれている。このBIOS７３は、電源投入時にＯＳ５６Ｃを起動したり、起動した後、各種アプリケーションソフトウェアと周辺機器（ディスプレイ、キーボード、ハードディスクドライブなど）の間でデータを授受する等の機能を有する。
【００３０】
外部バス５５に接続されているキーボードコントローラ５８は、キーボード４からの入力をコントロールする。スティック式ポインティングデバイスコントローラ５９は、スティック式ポインティングデバイス５の入力を制御する。
【００３１】
サウンドチップ６０は、マイクロホン２４からの入力を取り込み、あるいは内蔵スピーカ８に対して音声信号を供給する。
【００３２】
モデム５０は、公衆電話回線９０、インターネットサービスプロバイダ９１を介して、インターネットなどの通信ネットワーク９２やメールサーバ９３などに接続することができる。
【００３３】
内部バス５１に接続されているグラフィックチップ８１には、CCDビデオカメラ２３で取り込んだ画像データが、処理部８２で処理された後、ＺＶ（Ｚｏｏｍｅｄ Ｖｉｄｅｏ）ポートを介して入力されるようになされている。グラフィックチップ８１は、処理部８２を介してCCDビデオカメラ２３より入力されたビデオデータを、内蔵するVRAM８１に記憶し、適宜、これを読み出して、LCDコントローラ８３に出力する。LCDコントローラ８３は、グラフィックチップ８１より供給された画像データをLCD２１に出力し、表示させる。バックライト８４は、LCD２１を後方から照明するようになされている。
【００３４】
電源スイッチ４０は、電源をオンまたはオフするとき操作される。半押しスイッチ８５は、シャッタボタン１０が半押し状態にされたときオンされ、全押しスイッチ８６は、シャッタボタン１０が全押し状態にされたときオンされる。反転スイッチ８７は、撮像部２２が１８０度回転されたとき（CCDビデオカメラ２３がLCD２１の反対側を撮像する方向に回転されたとき）、オンされるようになされている。
【００３５】
ドライブ８８は、外部バス５５に接続されている。ドライブ８８は、磁気ディスク３５１（フロッピディスクを含む）、光ディスク３５２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３５３（ＭＤ(Mini-Disc)を含む）、または半導体メモリ３５４などが装着され、装着された磁気ディスク３５１、光ディスク３５２、光磁気ディスク３５３、または半導体メモリ３５４などに記録されているプログラムまたはデータを、外部バス５５または内部バス５１を介して、HDD５６またはRAM５４に供給する。
【００３６】
ドライブ８８は、外部バス５５または内部バス５１を介して、モデム５０、HDD５６、またはRAM５４から供給されたプログラムまたはデータなどを、装着された磁気ディスク３５１、光ディスク３５２、光磁気ディスク３５３、または半導体メモリ３５４などに記録させる。
【００３７】
図８は、音声認識に係るプログラムをパーソナルコンピュータ１が起動させたときの、所定のプログラムによる機能ブロックを示す図である。音声認識エンジン１０１は、読み仮名辞書データベース１１１に予め記憶されている漢字に対する読み、またはエンジン用認識単語・文法データベース１１２に予め記憶されている認識単語、若しくは文法を基に、マイクロホン２４から入力された使用者の音声に対応するデータを入力し、使用者が喋った言葉に対応するテキストなどの所定の方式のデータを生成して、音声コマンダ１０２に供給する。
【００３８】
音声認識エンジン１０１は、音声コマンダ１０２から認識単語、若しくは文法などのデータを受信して、読み仮名辞書データベース１１１またはエンジン用認識単語・文法データベース１１２に記憶させる。
【００３９】
音声コマンダ１０２は、使用者が喋った所定の言葉に対応する単語（テキストなど）などのデータが音声認識エンジン１０１から供給されたとき、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５を起動させ、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５に所定コマンド（使用者が喋った言葉に対応する）を送信する。
【００４０】
音声コマンダ１０２は、使用者が喋った他の所定の言葉に対応する単語（テキストなど）などのデータが音声認識エンジン１０１から供給されたとき、ランチャ設定データベース１１３に記憶されている起動に関する設定に基づき、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７を起動させ、電子メールプログラム５４Ａにメールアドレスなどの所定のデータを供給する。
【００４１】
また、音声コマンダ１０２は、グラフィカルなユーザインターフェースを有し、使用者により、グラフィカルなユーザインターフェースを介して種々の設定がなされ、使用者により設定された内容を分類して、アプリケーションプログラム（電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７）の起動に関する設定をランチャ設定データベース１１３に、漢字の読み、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のコマンドなどに関する設定を辞書設定データベース１１４に、音声認識する単語または文法に関する設定を認識単語・文法データベース１１５にそれぞれ記憶させる。
【００４２】
音声コマンダ１０２は、所定のタイミングで、例えば、音声認識エンジン１０１に音声を認識させるとき、認識単語・文法データベース１１５に記憶している認識単語のデータおよび文法のデータを、音声認識エンジン１０１に送信する。
【００４３】
音声認識エンジン１０１は、ＯＳ５４Ｃを起動するとき入力される使用者を判別するデータに基づいて、その使用者用の読み仮名辞書データベース１１１およびエンジン用認識単語・文法データベース１１２を利用する。音声コマンダ１０２は、ＯＳ５４Ｃを起動するとき入力される使用者を判別するデータに基づいて、その使用者用のランチャ設定データベース１１３、辞書設定データベース１１４、および認識単語・文法データベース１１５を利用する。
【００４４】
仮名辞書データベース１１１、エンジン用認識単語・文法データベース１１２、ランチャ設定データベース１１３、辞書設定データベース１１４、および認識単語・文法データベース１１５は、パーソナルコンピュータ１の使用者毎に生成され、HDD５６に記録される。
【００４５】
静止画撮影プログラム１０３は、CCDビデオカメラ２３から入力された画像を、シャッタボタン１０などの操作に対応した信号に基づき、静止画像のデータを生成して、所定のファイルとしてHDD５６に記録する。
【００４６】
静止画閲覧プログラム１０４は、静止画撮影プログラム１０３が記録させた静止画像のファイルを選択し、または使用者に選択させ、選択された静止画像をLCD２１に表示させる。電子ペットプログラム１０５は、LCD２１に仮想的なペットを表示させ、使用者の操作に対応して、仮想的なペットに指示などを与える。
【００４７】
ワードプロセッサプログラム１０６は、文字または図形などから成る文書を編集するためのプログラムである。表計算プログラム１０７は、所定の形式の表に配置された数値に所定の演算を実行する、または配置された数値に対応するグラフを描写するなどの機能を有する。
【００４８】
図９は、音声コマンダ１０２のより詳細な機能を説明する図である。ＵＩ（ユーザインターフェース）処理部１２３は、アプリケーション通信部１２１、エンジン通信部１２２、音声ランチャ制御部１２４、ユーザ辞書制御部１２５、または認識テスト処理部１２６から所定のデータを入力するとともに、キーボード４またはスティック式ポインティングデバイス５などから所定の信号を入力して、マイクロフォン２４を介して入力された音声の大きさまたは音声認識の結果などを、所定のウィンドウに表示させる。ＵＩ処理部１２３は、所定のプログラムを起動させるとき、アプリケーション通信部１２１、または音声ランチャ制御部１２４から入力されたデータを基に、所定の画像をLCD２１に表示させる。
【００４９】
ＵＩ処理部１２３は、キーボード４またはステッィク式ポインティングデバイス５などの操作に対応した信号を基に、ＵＩ処理部１２３自身の状態を変化させ、所定のデータをアプリケーション通信部１２１、エンジン通信部１２２、音声ランチャ制御部１２４、ユーザ辞書制御部１２５、または認識テスト処理部１２６に供給する。
【００５０】
また、ＵＩ処理部１２３は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５の状態、並びにエンジン通信部１２２を介して音声認識エンジン１０１から供給された、使用者が喋った所定の言葉に対応する所定のテキストなどのデータを基に、アプリケーション通信部１２１または音声ランチャ制御部１２４に、コマンドを送信または所定のプログラムの起動をさせるか否かを決定し、アプリケーション通信部１２１または音声ランチャ制御部１２４にコマンドを送信させ、または所定のプログラムの起動させる。
【００５１】
アプリケーション通信部１２１は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５を起動させ、起動している静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５と通信を行い、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５からそれぞれの状態を示すデータを受信する。
【００５２】
アプリケーション通信部１２１は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５の状態を示すデータなどをエンジン通信部１２２またはＵＩ処理部１２３に供給するとともに、エンジン通信部１２２またはＵＩ処理部１２３から、使用者が喋った所定の言葉に対応する所定のテキストなどのデータ、または使用者のキーボード４などへの操作に対応するデータなどを受信する。
【００５３】
また、アプリケーション通信部１２１は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５の状態、並びにエンジン通信部１２２を介して音声認識エンジン１０１から供給された、使用者が喋った所定の言葉に対応する所定のテキストなどのデータを基に、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかを起動させ、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかに所定のコマンドを供給する。
【００５４】
静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５のいずれもが、フォーカスがあてられていないとき（いずれもアクティブでないとき）、音声コマンダ１０２は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれかを対象としたコマンドを実行できない。
【００５５】
静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５のいずれかが、フォーカスがあてられているとき（いずれかがアクティブであるとき）、音声コマンダ１０２は、アクティブである、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれかを対象としたコマンドを実行することができる。
【００５６】
このような静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれかの特定のプログラムを対象としたコマンドをローカルなコマンドと称する。
【００５７】
なお、音声コマンダ１０２がローカルなコマンドを送信するプログラムを特定する方法は、フォーカスに限らず、他の状態またはデータを参照するようにしてもよい。
【００５８】
エンジン通信部１２２は、所定の方式を基づいて、認識単語・文法データベース１１５から認識単語のデータおよび文法のデータを読み出して、そのデータを音声認識エンジン１０１に送信するとともに、音声認識エンジン１０１から供給された使用者が喋った所定の言葉に対応する所定のテキストなどのデータを受信する。
【００５９】
エンジン通信部１２２は、例えば、図１０に例を示すMicrosoft Speech API（商標）（以下、SAPIと称する）に規定された方式で、音声認識エンジン１０１に認識単語・文法データベース１１５に記憶されている認識単語のデータおよび文法のデータを送信する。図１０に示すデータの例には、音声認識の対象が<Global>および<SVCommand>から構成され、<Global>が更に(ChangeWin)，(VoiceCommand)から構成され、<SVCommand>が「ヘルプ」、「前へ」などのコマンドの他、<SendMail>で表されるメールのコマンドも含むことが記述されている。また、図１０に示すデータの例には、「ヘルプ」というコマンドのコード番号が１０２であり、「パパ」という読みを有する単語に「daddy@test.company.co.jp」という文字列が関連していることなどが示されている。
【００６０】
音声認識エンジン１０１は、エンジン通信部１２２から受信したデータを、所定の方式のデータに変換して、読み仮名辞書データベース１１１またはエンジン用認識単語・文法データベース１１２に記憶させ、読み仮名辞書データベース１１１またはエンジン用認識単語・文法データベース１１２に記憶しているデータに基づき、音声認識の処理を実行する。
【００６１】
音声認識エンジン１０１は、エンジン通信部１２２に、使用者が喋った所定の言葉に対応する、コード番号（例えば、１０２など）、認識した単語または文（例えば、”パパにメール”など）、および認識した単語に関連する文字列（例えば、”daddy@test.company.co.jp”）のデータを送信する。
【００６２】
例えば、使用者がマイクロフォン２４に向かって「パパにメール」という音声を入力して、音声認識エンジン１０１が正しく音声を認識したとき、音声認識エンジン１０１は、7fffffff（１６進数）、”パパにメール”、および”daddy@test.company.co.jp”をエンジン通信部１２２に送信する。
【００６３】
エンジン通信部１２２は、音声認識エンジン１０１から受信したデータを基に、受信したデータをアプリケーション通信部１２１、ＵＩ処理部１２３、音声ランチャ制御部１２４、ユーザ辞書制御部１２５、または認識テスト処理部１２６のいずれに送信するかを判断し、その判断に基づいて、音声認識エンジン１０１から受信したデータを所定の方式に変換して、選択されたアプリケーション通信部１２１、ＵＩ処理部１２３、音声ランチャ制御部１２４、ユーザ辞書制御部１２５、または認識テスト処理部１２６のいずれかに変換したデータを供給する。
【００６４】
音声ランチャ制御部１２４は、グラフィカルなユーザインターフェースを表示させて使用者により入力された、アプリケーションプログラム（電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７）の起動に関する設定をランチャ設定データベース１１３に保存させるとともに、その設定に基づき、認識単語・文法データベース１１５に記憶されている音声認識する単語または文法に関する設定を更新させる。
【００６５】
音声ランチャ制御部１２４は、エンジン通信部１２２からランチャに関するデータを受信したとき、ランチャ設定データベース１１３に記憶されている起動に関する設定に基づき、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７のいずれかを起動させ、電子メールプログラム５４Ａにメールアドレスなどを供給する。
【００６６】
音声コマンダ１０２は、フォーカスの状態にかかわらず（いずれのプログラムがアクティブであっても）、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７のいずれかを起動させるコマンドを実行することができる。
【００６７】
このような、フォーカスの状態などにかかわらず、常に実行することができる、例えば、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７のいずれかを起動させるコマンドをグローバルなコマンドと称する。
【００６８】
ユーザ辞書制御部１２５は、グラフィカルなユーザインターフェースを表示させ使用者により入力された、認識する音声に関する設定を辞書設定データベース１１４に記憶させるとともに、その設定に基づき、認識単語・文法データベース１１５に記憶されている音声認識する単語または文法に関する設定を更新させる。
【００６９】
認識テスト処理部１２６は、使用者によりテストを実行する旨がユーザ辞書制御部１２５に入力されたとき、グラフィカルなユーザインターフェースを表示させて、辞書設定データベース１１４に記憶され、選択されている所定の１の単語と、エンジン通信部１２２を介して、音声認識エンジン１０１から供給された、音声を認識した結果を示す単語とが一致するか否かを判定し、その判定の結果を表示する。
【００７０】
また、認識テスト処理部１２６は、使用者によりテストを実行する旨がユーザ辞書制御部１２５に入力されたとき、グラフィカルなユーザインターフェースを表示させて、エンジン通信部１２２を介して、音声認識エンジン１０１から供給された、音声を認識した結果を示す単語が、辞書設定データベース１１４に記憶され、選択されている所定の１以上の単語に含まれるか否かを判定し、その判定の結果を表示する。
【００７１】
図１１は、所定の入力に対応した、ＵＩ処理部１２３の状態の遷移を説明する状態遷移図である。図１１において、（）で囲まれた文は、状態の遷移の条件（例えば、プログラムの起動、エンジン起動完了など）を示し、［］で囲まれた文は、状態の遷移に伴って実行される処理（例えば、起動中の旨表示、認識単語・文法設定など）を示す。
【００７２】
音声コマンダ１０２が起動されると、ＵＩ処理部１２３は、LCD２１に起動中を示す画像を表示させるとともに、図１２に示す音声コマンダ１０２のウィンドウを表示させ、音声認識エンジン１０１の起動を待つ状態１に遷移する。
【００７３】
音声コマンダウィンドウ１５１は、レベルゲージ１６１、認識結果表示部１６２、表示切り換えボタン１６３、ランチャ設定ボタン１６４、辞書管理ボタン１６５、ヘルプボタン１６６、最小化ボタン１６７、閉じるボタン１６８、認識状態表示部１６９、および音声入力モード切り換えボタン１７０を有する。
【００７４】
レベルゲージ１６１は、マイクロフォン２４を介して入力された使用者の音声のレベル（マイクロフォン２４が出力する信号の振幅）を表示する。認識結果表示部１６２は、エンジン通信部１２２から供給された認識された音声に対応する単語または文を表示する。
【００７５】
表示切り換えボタン１６３は、音声コマンダウィンドウ１５１を図示せぬ小型のウィンドウに切り換えるとき、操作される。ランチャ設定ボタン１６４は、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７の起動に関する設定をするとき、操作される。
【００７６】
辞書管理ボタン１６５は、認識する音声に関する設定を辞書設定データベース１１４に記憶させるとき、操作される。ヘルプボタン１６６は、オンラインヘルプをLCD２１に表示させるとき、操作される。最小化ボタン１６７は、音声コマンダウィンドウ１５１をLCD２１から消去し、例えば、タスクトレイ上に所定のアイコンを表示させるとき、操作される。閉じるボタン１６８は、音声コマンダ１０２を終了させるとき、操作される。
【００７７】
認識状態表示部１６９は、音声認識エンジン１０１の状態またはローカルコマンドが使用できるか否か（所定のプログラムがアクティブであるか否か）などを表示する。音声入力モード切り換えボタン１７０は、常時認識モードと通常の認識モードとを切り換えるときに、操作される。
【００７８】
状態１において、音声認識エンジン１０１の起動が失敗したとき、ＵＩ処理部１２３は終了する。
【００７９】
状態１において、音声認識エンジン１０１の起動が成功したとき、ＵＩ処理部１２３は、ユーザの操作を待つ状態２に遷移する。
【００８０】
状態２において、閉じるボタン１６８がクリックされたとき、ＵＩ処理部１２３は、音声コマンダ１０２を終了させる。状態２において、使用者が音声認識に割り当てているキー（例えば、キーボード４のコントロールキーなど。以下、認識キーと称する）が押圧されたとき、ＵＩ処理部１２３は、音声入力可能な状態３に遷移する。
【００８１】
状態２から状態３に遷移するとき、ＵＩ処理部１２３は、アプリケーション通信部１２１から静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５の内、アクティブであるプログラムを示すデータを受信し、アクティブであるプログラムの名称を音声コマンダウィンドウ１５１の認識状態表示部１６９に表示させる。静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれもアクティブでないとき、ＵＩ処理部１２３は、音声コマンダウィンドウ１５１の認識状態表示部１６９にその旨（例えば、”Global Command”など）を表示させる。
【００８２】
状態３において、使用者がマイクロフォン２４から入力させた音声に対応する信号が音声認識エンジン１０１に供給され、音声認識エンジン１０１に供給された音声に対応する信号のレベルに対応するデータが、エンジン通信部１２２を介して、ＵＩ処理部１２３に供給される。状態３において、ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【００８３】
また、状態３において、音声認識エンジン１０１が音声を認識したとき、ＵＩ処理部１２３は、音声認識エンジン１０１から認識した単語または文などのデータを受信し、音声コマンダウィンドウ１５１の認識結果表示部１６２に認識した単語または文を表示させる。
【００８４】
状態３において、使用者が認識キーの押圧を続けると、ＵＩ処理部１２３は、状態３における処理を繰り返す。
【００８５】
状態３において、使用者が認識キーを離したとき、ＵＩ処理部１２３は、アプリケーション通信部１２１または音声ランチャ制御部１２４に、音声認識エンジン１０１から供給された、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータに対応する、所定の動作（例えば、電子メールプログラム５４Ａの起動など）を要求する。
【００８６】
このとき、アプリケーション通信部１２１は、ＵＩ処理部１２３からの要求に対応して、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかを起動させ、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかに所定のコマンドを送信する。
【００８７】
このとき、音声ランチャ制御部１２４は、ＵＩ処理部１２３からの要求に対応して、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、若しくは表計算プログラム１０７のいずれかを起動させ、または電子メールプログラム５４Ａに所定のデータ（例えば、メールアドレスなど）を供給する。
【００８８】
アプリケーション通信部１２１または音声ランチャ制御部１２４が所定のプログラムに対して、所定の動作を完了させたとき、アプリケーション通信部１２１または音声ランチャ制御部１２４はＵＩ処理部１２３にその旨を通知し、ＵＩ処理部１２３は、動作の対象となる所定のプログラムに応じて、動作の対象となる所定のプログラムを使用者に認識させる画像（後述する）をLCD２１に表示させる。
【００８９】
LCD２１に動作の対象となる所定のプログラム認識させる画像が表示されるので、使用者は、音声の認識の結果、および音声コマンダ１０２の動作を知ることができる。
【００９０】
状態３から状態２に遷移するとき、ＵＩ処理部１２３は、認識状態表示部１６９の表示を消去する。
【００９１】
状態２において、音声入力モード切り換えボタン１７０がクリックされたとき、ＵＩ処理部１２３は、常時認識モードである状態４に遷移する。
【００９２】
状態２から状態４に遷移するとき、ＵＩ処理部１２３は、アプリケーション通信部１２１から静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５の内、アクティブであるプログラムを示すデータを受信し、アクティブであるプログラムの名称を認識状態表示部１６９に表示させる。静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれもアクティブでないとき、ＵＩ処理部１２３は、音声コマンダウィンドウ１５１の認識状態表示部１６９にその旨（例えば、”Global Command”など）を表示させる。
【００９３】
状態４において、使用者がマイクロフォン２４から入力させた音声に対応する信号が音声認識エンジン１０１に供給され、音声認識エンジン１０１に供給された音声に対応する信号のレベルに対応するデータが、エンジン通信部１２２を介して、ＵＩ処理部１２３に供給される。状態４において、ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【００９４】
また、状態４において、音声認識エンジン１０１が音声を認識したとき、ＵＩ処理部１２３は、音声認識エンジン１０１から認識した単語または文などのデータを受信し、音声コマンダウィンドウ１５１の認識結果表示部１６２に認識した単語または文を表示させる。
【００９５】
状態４において、ＵＩ処理部１２３が、音声認識エンジン１０１から認識した単語または文などのデータを受信したとき、ＵＩ処理部１２３は、アプリケーション通信部１２１または音声ランチャ制御部１２４に、音声認識エンジン１０１から供給された、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータに対応する、所定の動作を要求する。
【００９６】
このとき、アプリケーション通信部１２１は、ＵＩ処理部１２３からの要求に対応して、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかを起動させ、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかに所定のコマンドを送信する。
【００９７】
このとき、音声ランチャ制御部１２４は、ＵＩ処理部１２３からの要求に対応して、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、若しくは表計算プログラム１０７のいずれかを起動させ、または電子メールプログラム５４Ａに所定のデータ（例えば、メールアドレスなど）を供給する。
【００９８】
アプリケーション通信部１２１または音声ランチャ制御部１２４が所定のプログラムに対して、所定の動作を完了させたとき、アプリケーション通信部１２１または音声ランチャ制御部１２４はＵＩ処理部１２３にその旨を通知し、ＵＩ処理部１２３は、動作の対象となる所定のプログラムに応じて、動作の対象となる所定のプログラムを使用者に認識させる画像（後述する）をLCD２１に表示させる。
【００９９】
状態４においては、音声コマンダ２は、認識キーに対する操作に係わらず、音声認識エンジンが所定の音声を認識したとき、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかを起動させ、若しくは静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかに所定のコマンドを送信し、または電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、若しくは表計算プログラム１０７のいずれかを起動させ、若しくは電子メールプログラム５４Ａに所定のデータを供給する。
【０１００】
状態４において、音声入力モード切り換えボタン１７０がクリックされたとき、ＵＩ処理部１２３は、状態２に遷移する。
【０１０１】
状態２において、静止画撮影プログラム１０３に静止画像を撮影する操作が加えられたとき（例えば、シャッタボタン１０が押圧されたなど）、ＵＩ処理部１２３は、静止画像に添付するコメントを入力する状態５に遷移する。
【０１０２】
状態５において、使用者がマイクロフォン２４から入力させた音声に対応する信号が音声認識エンジン１０１に供給され、音声認識エンジン１０１に供給された音声に対応する信号のレベルに対応するデータが、エンジン通信部１２２を介して、ＵＩ処理部１２３に供給される。状態５において、ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【０１０３】
また、状態５において、音声認識エンジン１０１が音声を認識したとき、ＵＩ処理部１２３は、音声認識エンジン１０１から認識した単語または文などのデータを受信し、LCD２１に表示されている、コメントを添付する画像に対応する所定のダイアログなどに認識した単語または文を表示させる。
【０１０４】
状態５において、ＵＩ処理部１２３は、アプリケーション通信部１２１に、音声認識エンジン１０１から供給された、認識した単語または文を送信する。アプリケーション通信部１２１は、静止画撮影プログラム１０３に認識した単語または文を送信し、静止画撮影プログラム１０３に認識した単語または文を画像のコメントとして保存させる。
【０１０５】
状態５において、アプリケーション通信部１２１を介して、静止画撮影プログラム１０３からコメントの入力を終了させる操作（例えば、シャッタボタン１０が離されたなど）を示すデータがＵＩ処理部１２３に入力されたとき、ＵＩ処理部１２３は、状態２に遷移する。
【０１０６】
状態２において、音声コマンダウィンドウ１５１の辞書管理ボタン１６５がクリックされると、ＵＩ処理部１２３は、辞書を設定する状態６に遷移し、ユーザ辞書制御部１２５に辞書の設定の処理を要求する。
【０１０７】
状態６において、ユーザ辞書制御部１２５は、辞書設定用のダイアログをLCD２１に表示させ、辞書設定用のダイアログへの操作に基づき、辞書設定データベース１１４および認識単語・文法データベース１１５に記憶されている設定を更新する。
【０１０８】
状態６において、辞書設定用のダイアログに配置されているテストボタンがクリックされると、ＵＩ処理部１２３は、音声認識テストを実行するする状態８に遷移し、認識テスト処理部１２６に音声認識テストの処理を要求する。
【０１０９】
認識テスト処理部１２６は、音声認識テストのダイアログをLCD２１に表示させ、エンジン通信部１２２を介して、音声認識エンジン１０１から供給された、音声を認識した単語が、辞書設定データベース１１４に登録されている単語と一致するか否かを判定する音声認識のテストを実行し、その結果を表示する。
【０１１０】
または、認識テスト処理部１２６は、音声認識テストのダイアログをLCD２１に表示させ、エンジン通信部１２２を介して、音声認識エンジン１０１から供給された認識した単語が、辞書設定データベース１１４に登録されている単語に含まれているか否かを判定する音声認識のテストを実行し、その結果を表示する。
【０１１１】
状態８において、音声認識テストのダイアログに配置されているテストボタンがクリックされると、ＵＩ処理部１２３は、状態６に遷移する。
【０１１２】
状態６において、辞書設定用のダイアログに配置されている閉じるボタンがクリックされると、ＵＩ処理部１２３は、状態２に遷移する。
【０１１３】
状態２において、音声コマンダウィンドウ１５１のランチャ設定ボタン１６４がクリックされると、ＵＩ処理部１２３は、音声ランチャ制御部１２４の電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、または表計算プログラム１０７を起動する設定を行う状態７に遷移し、音声ランチャ制御部１２４にプログラムの起動の設定の処理を要求する。
【０１１４】
状態７において、音声ランチャ制御部１２４は、ランチャ設定用のダイアログをLCD２１に表示させ、ランチャ設定用のダイアログへの操作に基づき、ランチャ設定データベース１１３に記憶されている設定を更新する。
【０１１５】
状態７において、ランチャ設定用のダイアログに配置されているテストボタンがクリックされると、ＵＩ処理部１２３は、音声認識テストを実行する状態９に遷移し、認識テスト処理部１２６に音声認識テストの処理を要求する。
【０１１６】
認識テスト処理部１２６は、音声認識テストのダイアログをLCD２１に表示させ、エンジン通信部１２２を介して、音声認識エンジン１０１から供給された認識した単語または文に、ランチャ設定データベース１１３に登録されている単語が含まれ、認識した単語または文が設定されている文法に一致するか否かを判定する音声認識のテストを実行し、その結果を表示する。
【０１１７】
状態９において、音声認識テストのダイアログに配置されているテストボタンがクリックされると、ＵＩ処理部１２３は、状態７に遷移する。
【０１１８】
状態７において、ランチャ設定用のダイアログに配置されている閉じるボタンがクリックされると、ＵＩ処理部１２３は、状態２に遷移する。
【０１１９】
図１３は、所定の入力に対応した、エンジン通信部１２２の状態の遷移を説明する状態遷移図である。図１３において、（）で囲まれた文は、状態の遷移の条件（例えば、プログラムの起動、起動の終了通知など）を示し、［］で囲まれた文は、状態の遷移に伴って実行される処理（例えば、処理結果通知、認識結果転送など）を示す。
【０１２０】
音声コマンダ１０２が起動されると、エンジン通信部１２２は、音声認識エンジン１０１を起動し、音声認識エンジン１０１の起動を待つ状態１１に遷移する。状態１１において、初期化に失敗すると、エンジン通信部１２２は、その結果をＵＩ処理部１２３に送信する。初期化に失敗した旨を受信したＵＩ処理部１２３は、音声コマンダ１０２を終了させるので、初期化に失敗したとき、エンジン通信部１２２は、終了する。
【０１２１】
状態１１において、音声認識エンジン１０１の起動の結果をＵＩ処理部１２３に通知したとき、エンジン通信部１２２は、イベント待ちの状態１２に遷移する。
【０１２２】
使用者が認識キー（例えば、コントロールキー）を押圧すると、ＵＩ処理部１２３がその旨のデータをエンジン通信部１２２に送信するので、状態１１において、エンジン通信部１２２は、使用者が認識キーを押圧した旨のデータを受信したとき、アプリケーション通信部１２１から静止画撮影プログラム１０３、静止画閲覧プログラム１０４、および電子ペットプログラム１０５の内、アクティブであるプログラムを示すデータを受信し、そのデータに対応した単語および文法を示すデータを認識単語・文法データベース１１５から読み出す。
【０１２３】
エンジン通信部１２２は、アクティブであるプログラムに対応した単語および文法を示すデータ、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のコマンドなどに関するデータを適宜変換して、音声認識エンジン１０１に送信して、音声認識エンジン１０１から音声認識の結果を示すデータを受信できる状態１３に遷移する。
【０１２４】
状態１３において、エンジン通信部１２２は、使用者がマイクロフォン２４から入力させた音声に対応する信号を受信した音声認識エンジン１０１が生成する、信号のレベルに対応するデータを受信して、ＵＩ処理部１２３に供給する。ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【０１２５】
使用者がマイクロフォン２４に向かって音声を発すると、音声認識エンジン１０１が、それを検知して、音声を検出した旨のデータをエンジン通信部１２２に送信する。状態１３において、エンジン通信部１２２は、音声を検出した旨のデータを受信すると、そのデータをＵＩ処理部１２３に転送するとともに、状態１４に遷移する。
【０１２６】
状態１４において、エンジン通信部１２２は、使用者がマイクロフォン２４から入力させた音声に対応する信号を受信した音声認識エンジン１０１が生成する、信号のレベルに対応するデータを受信して、ＵＩ処理部１２３に供給する。ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【０１２７】
状態１４において、エンジン通信部１２２は、音声認識エンジン１０１から認識した単語または文などのデータを受信したとき、そのデータをＵＩ処理部１２３に供給する。ＵＩ処理部１２３は、認識した単語または文などのデータを基に、ＬＤＣ２１に表示する画像または文字などを更新する。
【０１２８】
状態１４において、エンジン通信部１２２は、音声認識エンジン１０１から受信した、認識した単語または文などのデータが、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかの起動、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかにコマンドに対応すると判定したとき、認識した単語または文などのデータをアプリケーション通信部１２１に供給する。
【０１２９】
状態１４において、エンジン通信部１２２は、音声認識エンジン１０１から受信した、認識した単語または文などのデータが、電子メールプログラム５４Ａ、ワードプロセッサプログラム１０６、若しくは表計算プログラム１０７のいずれかの起動、または電子メールプログラム５４Ａに供給すべきデータに対応すると判定したとき、認識した単語または文などのデータを音声ランチャ制御部１２４に供給する。
【０１３０】
状態１４において、認識した単語または文などのデータをアプリケーション通信部１２１または音声ランチャ制御部１２４に供給したとき、エンジン通信部１２２は、状態１２に遷移する。
【０１３１】
図１４は、所定の入力に対応した、アプリケーション通信部１２１の状態の遷移を説明する状態遷移図である。
【０１３２】
アプリケーション通信部１２１は、音声コマンダ１０２の起動とともに、状態２１に遷移する。状態２１において、音声コマンダ１０２が終了したとき、アプリケーション通信部１２１は、終了する。
【０１３３】
アプリケーション通信部１２１は、動作しているとき、常に状態２１にあり、ウィンドウのフォーカスが変化したとき、または所定の時間が経過したとき、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５が起動されているか否か、またはいずれがアクティブになっているかを調べて、アプリケーション通信部１２１内部に記憶されている所定のデータを更新する。
【０１３４】
また、アプリケーション通信部１２１は、ＵＩ処理部１２３またはエンジン通信部１２２から要求があったとき、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５が起動されているか否か、または、いずれがアクティブになっているか（いずれもアクティブでない場合、それを示すデータ含む）を示すデータをＵＩ処理部１２３またはエンジン通信部１２２に送信する。
【０１３５】
状態２１において、エンジン通信部１２２から認識した単語または文などのデータを受信したとき、アプリケーション通信部１２１は、図４７で後述するフローチャートに示す手順に従って、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５を起動させ、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５のいずれかをアクティブにし、または静止画撮影プログラム１０３、静止画閲覧プログラム１０４、若しくは電子ペットプログラム１０５に所定のコマンドを供給する。
【０１３６】
また、状態２１において、静止画撮影プログラム１０３からコメントの入力させる、または終了させる操作（例えば、シャッタボタン１０が押圧された、または離されたなど）を示すデータが入力されたとき、アプリケーション通信部１２１は、ＵＩ処理部１２３にそのデータを転送する。
【０１３７】
次に、パーソナルコンピュータ１のLCD２１に表示する画面について説明する。図１５は、音声コマンダ１０２、音声認識エンジン１０１、および静止画撮影プログラム１０３が起動しているとき、LCD２１に表示される画面を示す図である。
【０１３８】
LCD２１の画面の所定の位置に、電子メールプログラム５４Ａに対応するアイコン１９１、ワードプロセッサプログラム１０６に対応するアイコン１９２、表計算プログラム１０７に対応するアイコン１９３、音声コマンダウィンドウ１５１、および静止画撮影プログラム１０３が表示させるウィンドウ１９４が配置される。
【０１３９】
スティック式ポインティングデバイス５などを操作してアイコン１９１を選択して、起動コマンドを実行する（図示せぬメニューなどから選択するなどの操作をする）と、電子メールプログラム５４Ａが起動される。アイコン１９２を選択して、起動コマンドを実行すると、ワードプロセッサプログラム１０６が起動される。アイコン１９３を選択して、起動コマンドを実行すると、表計算プログラム１０７が起動される。
【０１４０】
静止画撮影プログラム１０３が表示させるウィンドウ１９４は、CCDビデオカメラ２３が撮像している画像を表示する画像表示領域１９５およびエフェクトボタン１９６などを有する。
【０１４１】
図１５に示す状態からパーソナルコンピュータ１のシャッタボタン１０を押圧すると、静止画撮影プログラム１０３は、CCDビデオカメラ２３が撮像ている画像を基に、所定の形式（例えば、JPEG（Joint Photographic Experts Group）など）の静止画像のデータを生成して、そのデータを格納したファイルを生成して、生成したファイルをHDD５６に記録させるとともに、静止画閲覧プログラム１０４を起動させる。
【０１４２】
パーソナルコンピュータ１のシャッタボタン１０を押圧したまま、使用者がマイクロフォン２４に音声（例えば、”パパと八丈島で”）を入力すると、ＵＩ処理部１２３は、状態５に遷移して、アプリケーション通信部１２２を介して、音声認識エンジン１０１から供給された、認識された単語または文を受信して、アプリケーション通信部１２１を介して受信した単語または文を静止画撮影プログラム１０３に出力する。
【０１４３】
静止画撮影プログラム１０３は、静止画像のファイルの、例えば、ヘッダの所定の位置に、受信した単語または文をコメントとして貼付する。
【０１４４】
パーソナルコンピュータ１のシャッタボタン１０が離されたとき、ＵＩ処理部１２３は、状態２に遷移するので、音声の認識の処理は終了する。
【０１４５】
なお、静止画像のファイルへのコメントの貼付は、静止画閲覧プログラム１０４が実行するようにしてもよい。
【０１４６】
図１６に示すように、静止画閲覧プログラム１０４は、生成したファイルに格納されている静止画像を表示させる。静止画閲覧プログラム１０４が表示させるウィンドウ２０１は、生成したファイルの静止画像を表示させる画像表示領域２０３、貼付された単語または文を表示させるコメント入力ダイアログ２０２、メールと名前が付されたボタン２０４などを有する。
【０１４７】
次に、静止画像のファイルに添付する単語を登録するダイアログについて説明する。図１７は、音声コマンダウィンドウ１５１の辞書管理ボタン１６５をクリックしたとき、ユーザ辞書制御部１２５がLCD２１に表示させる辞書管理ダイアログを示す図である。
【０１４８】
辞書管理ダイアログには、呼び名（音声認識エンジン１０１に認識させる単語または文）に対応するメールアドレスを表示させるときクリックされるメールアドレスと名前が付されたタブ２２１、呼び名に対応する人名を表示させるときクリックされる人名と名前が付されたタブ２２２、呼び名に対応する地名を表示させるときクリックされる地名と名前が付されたタブ２２３、呼び名に対応する都道府県名を表示させるときクリックされる都道府県と名前が付されたタブ２２４、および呼び名に対応するＵＲＬを表示させるときクリックされるＵＲＬと名前が付されたタブ２２５が配置されている。
【０１４９】
図１７に示す例では、タブ２２２がクリックされ、呼び名表示フィールド２２６には、辞書設定データベース１１４に記憶されている、人名のカテゴリに属する、呼び名および呼び名に対応する登録語（音声認識が成功したとき、コメントとして入力される単語）が表示されている。例えば、呼び名”パパ”に対する登録語は、”パパ”である。”かおりちゃん”または”かおりん”のいずれかが認識されたとき、コメントとして入力される登録語は、”かおりちゃん”である。呼び名”隣のお姉さん”に対する登録語は、”隣のお姉さん”である。
【０１５０】
辞書管理ダイアログには、状態８に遷移するためのテストボタン２２７および登録ボタン２２８が配置されている。
【０１５１】
登録ボタン２２８がクリックされたとき、ユーザ辞書制御部１２５は、図１８に示す新規登録ダイアログをLCD２１に表示させる。新規登録ダイアログは、呼び名を入力するための呼び名入力フィールド２４１、および登録語を入力するための登録語入力フィールド２４２を有する。呼び名入力フィールド２４１に所定の呼び名を入力して、登録語入力フィールド２４２に呼び名に対応する登録語を入力して、ＯＫと名前が付されたボタンをクリックすれば、呼び名入力フィールド２４１に入力された呼び名、および登録語入力フィールド２４２に登録語（呼び名に対応する）は、辞書設定データベース１１４に記憶される。
【０１５２】
新規登録ダイアログのテストと名前が付されたボタン２４３をクリックすると、ＵＩ処理部１２３は、状態８に遷移して、認識テスト処理部１２６は、図１９に示す新規登録単語テストダイアログを表示させる。
【０１５３】
新規登録単語テストダイアログは、呼び名入力フィールド２４１、所定のメッセージを表示するメッセージフィールド２５２、およびテスト結果表示フィールド２５３を有する。使用者がマイクロフォン２４に向かって音声を入力すると（マイクロフォン２４に向かって呼び名を喋ると）、認識テスト処理部１２６は、音声認識エンジン１０１が認識した音声と、呼び名入力フィールド２４１に入力した単語とが一致したか否かを判定し、その結果をテスト結果表示フィールド２５３に表示する。
【０１５４】
図１９に示す、テスト結果表示フィールド２５３の例は、使用者がマイクロフォン２４に向かって”おねえちゃん”と入力し、音声認識エンジン１０１が”おねえちゃん”を認識して、認識テスト処理部１２６が、音声認識エンジン１０１が認識した”おねえちゃん”と、呼び名入力フィールド２４１に入力されている”おねえちゃん”とが一致したと判定したとき、表示される例である。
【０１５５】
音声認識エンジン１０１が認識した音声と、呼び名入力フィールド２４１に入力した単語とが一致しないと判定された場合、例えば、認識テスト処理部１２６は、テスト結果表示フィールド２５３に音声認識エンジン１０１が認識した音声に対応するテキスト、および一致しないことを示すメッセージ（例えば、”ＮＧ”など）を表示させる。
【０１５６】
新規登録単語テストダイアログのテスト中と名前が付されたボタン２５１がクリックされたとき、ＵＩ処理部１２３は、状態６に遷移して、ユーザ辞書制御部１２５に辞書管理ダイアログを表示させる。
【０１５７】
辞書管理ダイアログのテストボタン２２７がクリックされたとき、ＵＩ処理部１２３は、状態８に遷移して、認識テスト処理部１２６は、図２０に示す登録単語テストダイアログを表示する。
【０１５８】
登録単語テストダイアログは、タブ２２１、タブ２２２、タブ２２３、タブ２２４、タブ２２５、および呼び名表示フィールド２２６に加えて、所定のメッセージを表示するメッセージフィールド２７２、およびテスト結果表示フィールド２７３を有する。
【０１５９】
登録単語テストダイアログが表示されている状態において、使用者がマイクロフォン２４に向かって音声を入力すると（マイクロフォン２４に向かって呼び名を喋ると）、認識テスト処理部１２６は、呼び名表示フィールド２２６に表示されているいずれかの単語と、音声認識エンジン１０１が認識した単語とが一致したか否かを判定し、呼び名表示フィールド２２６に表示されているいずれかの単語と、音声認識エンジン１０１が認識した単語とが一致した場合、呼び名表示フィールド２２６に表示されている一致した単語をハイライトにして表示させる。
【０１６０】
音声認識エンジン１０１が認識した単語が、呼び名表示フィールド２２６に表示されているいずれの単語とも一致しないと判定された場合、認識テスト処理部１２６は、例えば、テスト結果表示フィールド２７３に音声認識エンジン１０１が認識した音声に対応するテキスト、および一致しないことを示すメッセージ（例えば、”ＮＧ”など）を表示させる。
【０１６１】
登録単語テストダイアログのテスト中と名前が付されたボタン２７１がクリックされたとき、ＵＩ処理部１２３は、状態６に遷移して、ユーザ辞書制御部１２５に辞書管理ダイアログを表示させる。
【０１６２】
辞書管理ダイアログのタブ２２３がクリックされたとき、ユーザ辞書制御部１２５は、図２１に示すように、呼び名表示フィールド２８１に、辞書設定データベース１１４に記憶されている、地名のカテゴリに属する、呼び名および呼び名に対応する登録語（音声認識が成功したとき、コメントとして入力される単語）を表示させる。例えば、呼び名”八丈島”または”八丈”に対する登録語は、”八丈島”である。呼び名”東京タワー”に対する登録語は、”東京タワー”である。”野球場”または”球場”のいずれかが認識されたとき、コメントとして入力される登録語は、”野球場”である。
【０１６３】
図１６に示すように、静止画閲覧プログラム１０４が、所定の静止画像を表示させている状態から、メールと名前が付されたボタン２０４をクリックすると、静止画閲覧プログラム１０４は、電子メールプログラム５４Ａが起動していないとき、電子メールプログラム５４Ａを起動させる。
【０１６４】
静止画閲覧プログラム１０４は、電子メールプログラム５４Ａに新規のメールを生成させる。静止画像閲覧プログラム１０４は、生成させた新規のメールに静止画像のファイル（表示している静止画像に対応する）を添付する。
【０１６５】
更に、静止画像閲覧プログラム１０４は、添付した静止画像ファイルに格納されているコメントを、新規のメールの本文に貼付させる。
【０１６６】
図２２は、静止画像閲覧プログラム１０４が、電子メールプログラム５４Ａに新規のメッセージを生成させたとき、電子メールプログラム５４ＡがLCD２１に表示させるメッセージウィンドウ３０１を説明する図である。
【０１６７】
添付ファイル表示フィールド３１２には、添付された静止画像のファイルのファイル名が表示される。本文表示フィールド３１３には、添付した静止画像ファイルに格納されているコメントから貼付された新規のメッセージの本文が表示される。
【０１６８】
宛先フィールド３１１に、所定のメールアドレスが入力され、メッセージウィンドウ３０１の送信と名前が付されたボタンがクリックされたとき、メッセージウィンドウ３０１に表示されたメッセージは、宛先フィールド３１１に設定されたメールアドレス宛てに、インターネット９２を介して、送信される。
【０１６９】
次に、音声コマンダ１０２が電子メールプログラム５４Ａを起動させて、電子メールプログラム５４Ａに所定のメールアドレスが設定されたメールを生成させる処理について説明する。音声コマンダ１０２が起動している状態で、認識キーを押圧したまま、マイクロフォン２４に、例えば、”姉さんにメール”と音声を入力すると、音声認識エンジン１０１は、”姉さんにメール”に対応する所定のデータを音声コマンダ１０２に供給する。
【０１７０】
図２３に示すように、ＵＩ処理部１２３は、音声コマンダウィンドウ１５１から画面全体に向かって広がるように（図中の点線の矢印（点線の矢印は、説明のための矢印で、実際には表示されない）で示す方向に向かって）、LCD２１に波紋状の画像を表示させる。
【０１７１】
次に、図２４に示すように、ＵＩ処理部１２３は、画面全体から電子メールプログラム５４Ａに対応するアイコン１９１に向かって収束するように（図中の点線の矢印（点線の矢印は、説明のための矢印で、実際には表示されない）で示す方向に向かって）、LCD２１に波紋状の画像を表示させる。
【０１７２】
そして、図２５に示すように、ＵＩ処理部１２３は、電子メールプログラム５４Ａに対応するアイコン１９１を強調表示させる。電子メールプログラム５４Ａが起動していないとき、音声コマンダ１０２のアプリケーション通信部１２は、静止画像閲覧プログラム１０４に、電子メールプログラム５４Ａを起動させる。
【０１７３】
その後、図２６に示すように、音声ランチャ制御部１２４は、電子メールプログラム５４Ａに、新規のメッセージを生成させ、電子メールプログラム５４Ａは、新規のメッセージをメッセージウィンドウ３０１に表示させる。音声ランチャ制御部１２４は、電子メールプログラム５４Ａに、新規のメッセージのメールアドレスとして、エンジン通信部１２２を介して、音声認識エンジンから供給された、”姉さんにメール”の”姉さん”に対応するメールアドレスを設定させる。
【０１７４】
新規のメッセージを表示するメッセージウィンドウ３０１の宛先フィールド３１１には、”姉さんにメール”の”姉さん”に対応して設定したメールアドレス（例えば、ane@home.zzz）が表示される。
【０１７５】
図２７は、辞書管理ダイアログのメールアドレスと名前が付されたタブ２２１がクリックされたとき、辞書管理ダイアログの例を示す図である。呼び名表示フィールド３５１には、ランチャ設定データベース１１３に記憶されている、メールアドレスのカテゴリに属する、呼び名および呼び名に対応する登録語（音声認識が成功したとき、メールアドレスとして設定されるテキスト）が表示されている。例えば、呼び名”パパ”に対する登録語は、”daddy@nowhere.xxx”である。”兄さん”が認識されたとき、メールアドレスとして設定される登録語は、”ani@home.yyy”である。呼び名”姉さん”に対する登録語は、”ane@home.zzz”である。
【０１７６】
次に、音声コマンダ１０２が静止画撮影プログラム１０３に所定のコマンドを供給するときの画面の表示について説明する。静止画撮影プログラム１０３が表示させるウィンドウ１９４のエフェクトボタン１９６をクリックすると、図２８に示すエフェクト設定ダイアログ３７１がＬＤＣ２１に表示される。
【０１７７】
エフェクト設定ダイアログ３７１のエフェクト選択フィールド３７２から所定のエフェクトを選択すると、静止画撮影プログラム１０３は、CCDビデオカメラ２３が撮像した画像に選択されたエフェクトをかける。
【０１７８】
例えば、エフェクト設定ダイアログ３７１で”モザイク”を選択すると、静止画撮影プログラム１０３は、CCDビデオカメラ２３が撮像した画像にいわゆる”モザイク”エフェクトをかけ、”モザイク”エフェクトをかけた画像を画像表示領域１９５に表示させる。エフェクト設定ダイアログ３７１で”ネガポジ反転”を選択すると、静止画撮影プログラム１０３は、CCDビデオカメラ２３が撮像した画像にいわゆる”モザイク”エフェクトをかけ、”ネガポジ反転”エフェクトをかけた画像を画像表示領域１９５に表示させる。
【０１７９】
図２９に示すように、静止画撮影プログラム１０３がアクティブで、音声コマンダウィンドウ１５１および静止画撮影プログラム１０３が表示させるウィンドウ１９４がLCD２１に表示されている場合、認識キーを押圧したまま、マイクロフォン２４に、例えば、”モザイク”と音声を入力すると、音声認識エンジン１０１は、”モザイク”に対応するコマンドを示すデータを音声コマンダ１０２に供給する。
【０１８０】
図３０に示すように、ＵＩ処理部１２３は、音声コマンダウィンドウ１５１から画面全体に向かって広がるように（図中の点線の矢印（点線の矢印は、説明のための矢印で、実際には表示されない）で示す方向に向かって）、LCD２１に波紋状の画像を表示させる。
【０１８１】
図３１に示すように、ＵＩ処理部１２３は、画面全体からウィンドウ１９４に向かって収束するように（図中の点線の矢印（点線の矢印は、説明のための矢印で、実際には表示されない）で示す方向に向かって）、LCD２１に波紋状の画像を表示させる。
【０１８２】
そして、図３２に示すように、ＵＩ処理部１２３は、静止画撮影プログラム１０３が表示させるウィンドウ１９４を強調表示させる。
【０１８３】
音声コマンダ１０２は、”モザイク”に対応するコマンドを示すデータを基に、静止画撮影プログラム１０３に”モザイク”に対応するコマンドを送信する。図３３に示すように、静止画撮影プログラム１０３は、音声コマンダ１０２から”モザイク”に対応するコマンドを受信して、CCDビデオカメラ２３が撮像した画像にいわゆる”モザイク”エフェクトをかけ、”モザイク”エフェクトをかけた画像を画像表示領域１９５に表示させる。
【０１８４】
次に、音声コマンダ１０２がワードプロセッサプログラム１０６を起動させる処理について説明する。図３４に示すように、音声コマンダ１０２が起動している状態で、認識キーを押圧したまま、マイクロフォン２４に、例えば、”ワープロ”と音声を入力すると、音声認識エンジン１０１は、”ワープロ”に対応する所定のデータを音声コマンダ１０２に供給する。
【０１８５】
図３５に示すように、ＵＩ処理部１２３は、音声コマンダウィンドウ１５１から画面全体に向かって広がるように（図中の点線の矢印（点線の矢印は、説明のための矢印で、実際には表示されない）で示す方向に向かって）、LCD２１に波紋状の画像を表示させる。
【０１８６】
図３６に示すように、ＵＩ処理部１２３は、画面全体からワードプロセッサプログラム１０６に対応するアイコン１９２に向かって収束するように（図中の点線の矢印（点線の矢印は、説明のための矢印で、実際には表示されない）で示す方向に向かって）、LCD２１に波紋状の画像を表示させる。
【０１８７】
そして、図３７に示すように、ＵＩ処理部１２３は、ワードプロセッサプログラム１０６に対応するアイコン１９２を強調表示させる。
【０１８８】
音声コマンダ１０２の音声ランチャ制御部１２４は、ワードプロセッサプログラム１０６を起動させる。ワードプロセッサプログラム１０６は、所定のウィンドウ３９１をLCD２１に表示させる。ワードプロセッサプログラム１０６が表示させるウィンドウ３９１には、文書ファイルを表示させる表示領域３９２が配置される。
【０１８９】
マイクロフォン２４に、例えば、”ワープロ”と音声を入力して、音声コマンダ１０２の音声ランチャ制御部１２４にワードプロセッサプログラム１０６を起動させたとき、音声ランチャ制御部１２４は、ワードプロセッサプログラム１０６のみを起動させる。このとき、ワードプロセッサプログラム１０６は新規の文書を生成して、新規の文書を表示領域３９２に表示させる。
【０１９０】
マイクロフォン２４に、例えば、”ワープロで手紙”と音声を入力して、音声コマンダ１０２の音声ランチャ制御部１２４にワードプロセッサプログラム１０６を起動させたとき、音声ランチャ制御部１２４は、”手紙”に対応する文書ファイルをワードプロセッサプログラム１０６に開かせる。このとき、図３９に示すように、ワードプロセッサプログラム１０６は”手紙”に対応する文書ファイルに対応する文字または画像を、表示領域３９２に表示させる。
【０１９１】
同様に、マイクロフォン２４に、例えば、”表計算”と音声を入力して、音声コマンダ１０２の音声ランチャ制御部１２４に表計算プログラム１０７を起動させたとき、音声ランチャ制御部１２４は、表計算プログラム１０７のみを起動させる。音声ランチャ制御部１２４が表計算プログラム１０７を起動させときも、ＵＩ処理部１２３は、所定の波紋状の画像の表示、およびアイコン１９３の強調の表示を実行する。図４０に示すように、表計算プログラム１０７は新規の文書を生成して、新規の文書を表計算プログラム１０７が表示させるウィンドウ４１１の表示領域４１２に表示させる。
【０１９２】
マイクロフォン２４に、例えば、”表計算で家計簿”と音声を入力して、音声コマンダ１０２の音声ランチャ制御部１２４に表計算プログラム１０７を起動させたとき、音声ランチャ制御部１２４は、”家計簿”に対応する文書ファイルを表計算プログラム１０７に開かせる。このとき、図４１に示すように、表計算プログラム１０７は”家計簿”に対応する文書ファイルに対応する文字または画像を、表示領域４１２に表示させる。
【０１９３】
次に、起動するプログラムに対応する単語を登録するダイアログについて説明する。図４２は、音声コマンダウィンドウ１５１のランチャ設定ボタン１６４をクリックしたとき、音声ランチャ制御部１１３がLCD２１に表示させるランチャ設定ダイアログを示す図である。
【０１９４】
ランチャ設定ダイアログは、実行可能ファイルと名前が付されたチェックボックスがチェックされているとき、呼び名表示フィールド４５１に、ランチャ設定データベース１１３に記憶されている、呼び名および呼び名に対応する実行ファイルの名前（ディレクトリを含む）を表示する。このとき、呼び名表示フィールド４５１に表示される、実行ファイルの名前に対応する実行ファイルは、実行ファィルカテゴリに属すると称する。
【０１９５】
例えば、呼び名”ワープロ”に対する実行ファイルの名前は、”C:\ProgramFiles\ProWord”である。呼び名”表計算”に対する実行ファイルの名前は、”C:\ProgramFiles\大介”である。呼び名”お絵かき”に対する実行ファイルの名前は、”C:\ProgramFiles1\華子”である。
【０１９６】
ランチャ設定ダイアログは、テストと名前が付されたボタンおよび詳細と名前が付されたボタン４５２を有する。
【０１９７】
文書ファイルと名前が付されたチェックボックスがチェックされているとき、ランチャ設定ダイアログは、図４３に示すように、呼び名表示フィールド４５１に、ランチャ設定データベース１１３に記憶されている、呼び名および呼び名に対応する文書ファイルの名前（ディレクトリを含む）を表示する。例えば、呼び名”家計簿”に対する文書ファイルの名前は、”C:\文書ファイル\家計簿”である。呼び名”見積り”に対する文書ファイルの名前は、”C:\文書ファイル１\見積り”である。呼び名”手紙”に対する文書ファイルの名前は、”C:\文書ファイル１\手紙”である。
【０１９８】
このとき、呼び名表示フィールド４５１に表示される、文書ファイルの名前に対応する文書ファイルは、文書ファイルカテゴリに属すると称する。
【０１９９】
呼び名表示フィールド４５１に表示されている所定の呼び名（例えば、”ワープロ”）、および呼び名に対応する実行ファイルの名前を選択して、詳細と名前が付されたボタン４５２をクリックすると、音声ランチャ制御部１１３は、図４４に示すランチャ詳細設定ダイアログをLCD２１に表示させる。
【０２００】
ランチャ詳細設定ダイアログは、呼び名表示フィールド４７１に、呼び名表示フィールド４５１で選択された呼び名（例えば、”ワープロ”）に対応するボイス形式［実行ファイル=ワープロ］が表示される。ランチャ詳細設定ダイアログに配置された辞書参照と名前が付されたボタンなどを操作して、使用者は、実行ファイルと文書ファイルを組み合わせたボイス形式、例えば、”［実行ファイル=ワープロ］で［文書ファイル］”に定義することができる。
【０２０１】
音声ランチャ制御部１２４は、設定されたボイス形式に所定の文法番号を割り振って、ランチャ設定データベース１１３に記憶させる。
【０２０２】
使用者に設定された実行ファイルと文書ファイルを組み合わせたボイス形式は、呼び名表示フィールド４７１に表示される。例えば、図４４に示す実行ファイルカテゴリに属するファイルと文書ファイルカテゴリに属するファイルとを組み合わせたボイス形式、”［実行ファイル=ワープロ］で［文書ファイル］”は、”［文書ファイル］”を引数としているので、音声ランチャ制御部１２４に”［実行ファイル=ワープロ］で［文書ファイル］”に対応する音声が認識されたデータ（例えば、”ワープロで手紙”および文法番号など）が供給されたとき、音声ランチャ制御部１２４は、文法番号を基に、呼び名が”ワープロ”に対応する実行ファイルカテゴリに属する実行ファイル（例えば、C:\ProgramFiles\ProWord）を開き（すなわち、ワードプロセッサプログラム１０６を起動して）、呼び名が設定されている文書ファイルカテゴリに属する文書ファイル（例えば、”手紙”に対応するC:\文書ファイル１\手紙）を、ワードプロセッサプログラム１０６に開かせる。
【０２０３】
同様に、例えば、音声ランチャ制御部１２４に、”［実行ファイル=ワープロ］で［文書ファイル］”に対応する音声が認識された”ワープロで家計簿”およびその文法番号が供給されたとき、音声ランチャ制御部１２４は、文法番号を基に、呼び名が”ワープロ”に対応する実行ファイルカテゴリに属する実行ファイルであるC:\ProgramFiles\ProWordを開き、文書ファイルカテゴリに属する文書ファイルであるC:\文書ファイル\家計簿を、ワードプロセッサプログラム１０６に開かせる。
【０２０４】
なお、ランチャ制御部１２４は、図示せぬ所定のスクリプト実行プログラムに、所定のスクリプトファイル（コマンドなどの処理手順が記述されているファイル）を実行させるようにしてもよい。更に、スクリプトファイルの引数として、所定のデータ（例えば、メールアドレスまたは画像データなど）を指定するようにしてもよい。このとき、ランチャ設定データベース１１３は、スクリプトファイルまたはスクリプトファイルの引数としてのデータを特定するデータ、または文法番号などを記憶する。
【０２０５】
次に、音声認識エンジン１０１、音声コマンダ１０２、および静止画撮影プログラム１０３を実行するCPU５２の静止画像の撮像の処理を図４５のフローチャートを参照して説明する。ステップＳ１１において、静止画撮影プログラム１０３は、マイクロコントローラ６１、外部バス５５、および内部バス５１を介して、前押しスイッチ８６から供給される信号を基に、シャッタボタン１０が押されたか否かを判定し、シャッタボタン１０が押されていないと判定された場合、ステップＳ１１に戻り、シャッタボタン１０が押されるまで判定の処理を繰り返す。
【０２０６】
ステップＳ１１において、シャッタボタン１０が押されたと判定された場合、ステップＳ１２に進み、静止画撮影プログラム１０３は、静止画像閲覧プログラム１０４を起動させる。ステップＳ１３において、静止画像撮影プログラム１０３は、処理部８２およびグラフィックチップ８１を介して、CCDビデオカメラ２３から供給された信号を基に、所定の方式の静止画像データのファイルを生成して、生成した静止画像データのファイルをHDD５６に保存させる。
【０２０７】
ステップＳ１４において、静止画撮影プログラム１０３は、シャッタボタン１０が押されているか否かを判定し、シャッタボタン１０が押されていると判定された場合、ステップＳ１５に進み、音声コマンダ１０２は、音声認識エンジン１０１にマイクロフォン２４から入力された信号を基に、音声認識の処理を実行させる。ステップＳ１６において、音声コマンダ１０２は、音声認識エンジン１０１から、音声認識の処理の結果を受信する。
【０２０８】
ステップＳ１７において、音声コマンダ１０２は、音声認識の結果を静止画撮影プログラム１０３に送信する。ステップＳ１８において、音声コマンダ１０２は、静止画撮影プログラム１０３に音声認識の結果を画像ファイルのコメントとして添付させる。
【０２０９】
ステップＳ１９において、音声コマンダ１０２は、静止画像閲覧プログラム１０４にコメントを表示させ、処理は終了する。
【０２１０】
ステップＳ１４において、シャッタボタン１０が離されたと判定された場合、ステップＳ１５乃至ステップＳ１９の処理は、スキップされ、処理は終了する。
【０２１１】
このように、使用者は、静止画撮影プログラム１０３で撮像した静止画像に、キーボート４などを操作することなく、簡単にコメントを貼付することができる。
【０２１２】
次に、音声認識エンジン１０１および音声コマンダ１０２を実行するCPU５２の音声によるコマンド送信または起動の処理を図４６のフローチャートを参照して説明する。ステップＳ３１において、音声コマンダ１０２は、常時入力モードが選択されているか否かを判定し、常時入力モードが選択されていないと判定された場合、ステップＳ３２に進み、認識キーが押圧されているか否かを判定する。
【０２１３】
ステップＳ３２において、認識キーが押圧されていないと判定された場合、ステップＳ３２に戻り、音声コマンダ１０２は、認識キーが押圧されるまで、認識キーの押圧の判定の処理を繰り返す。
【０２１４】
ステップＳ３２において、認識キーが押圧されたと判定された場合、ステップＳ３３に進み、音声コマンダ１０２は、音声認識エンジン１０１に音声認識の処理を実行させる。ステップＳ３４において、音声コマンダ１０２は、音声認識エンジン１０１から音声認識の処理の結果を受信する。
【０２１５】
ステップＳ３５において、音声コマンダ１０２は、音声認識エンジン１０１から受信した音声認識の処理の結果を表示させる。
【０２１６】
ステップＳ３６において、音声コマンダ１０２は、認識キーが離されたか否かを判定し、認識キーが離されたと判定された場合、ステップＳ３７に進み、コマンドの送信または起動を実行して、処理は終了する。
【０２１７】
ステップＳ３６において、認識キーが離されていないと判定された場合、ステップＳ３８に進み、音声コマンダ１０２は、解除キー（例えば、シフトキー）が押圧されたか否かを判定する。ステップＳ３８において、解除キーが押圧されたと判定された場合、ステップＳ３９に進み、音声コマンダ１０２は、音声認識の結果をクリアして、ステップＳ３３に戻り、音声認識の処理を繰り返す。
【０２１８】
ステップＳ３８において、解除キーが押圧されていないと判定された場合、ステップＳ３９はスキップされ、ステップＳ３３に戻り、音声認識の処理を繰り返す。
【０２１９】
ステップＳ３１において、常時入力モードが選択されていると判定された場合、ステップＳ４０に進み、音声コマンダ１０２は、音声認識エンジン１０１に音声認識の処理を実行させる。ステップＳ４１において、音声コマンダ１０２は、音声認識エンジン１０１から音声認識の処理の結果を受信する。
【０２２０】
ステップＳ４２において、音声コマンダ１０２は、音声認識エンジン１０１から受信した音声認識の処理の結果を表示させる。ステップＳ４３において、音声コマンダ１０２は、コマンドの送信または起動を実行して、ステップＳ３１に戻り、コマンドの送信または起動の処理を繰り返す。
【０２２１】
このように、認識キーの操作により、使用者は、音声が認識された結果を確認して、コマンドの送信または所定のプログラムの起動をさせることができ、誤った認識による処理の実行を防止することができる。
【０２２２】
次にステップＳ３７またはステップＳ４３に対応する、音声コマンダ１０２を実行するCPU５２のアプリケーションプログラムの起動またはコマンド送信の処理を図４７のフローチャートを参照して説明する。ステップＳ５１において、音声コマンダ１０２は、音声認識エンジン１０１から受信した音声認識の処理の結果が、所定のアプリケーションプログラムの起動させるデータであるか否かを判定し、所定のアプリケーションプログラムの起動させるデータであると判定された場合、ステップＳ５２に進む。
【０２２３】
ステップＳ５２において、音声コマンダ１０２は、音声認識エンジン１０１から受信した音声認識の処理の結果に対応する所定のアプリケーションプログラムが既に起動されているか否かを判定し、所定のアプリケーションプログラムが既に起動されていると判定された場合、ステップＳ５３に進み、ウィンドウのフォーカスを対応するアプリケーションプログラムに移し、処理は終了する。
【０２２４】
ステップＳ５２において、所定のアプリケーションプログラムが起動されていないと判定された場合、ステップＳ５４に進み、音声コマンダ１０２は、対応するアプリケーションプログラムを起動して、処理は終了する。
【０２２５】
ステップＳ５１において、所定のアプリケーションプログラムの起動させるデータであると判定された場合、ステップＳ５５に進み、音声コマンダ１０２は、対応するコマンドをアプリケーションプログラムに送信して、処理は終了する。
【０２２６】
このように、音声コマンダ１０２は、プログラムの状態、および音声で入力されたデータに対応して、コマンドの送信またはプログラムの起動の処理を実行することができる。
【０２２７】
次に、静止画閲覧プログラム１０４を実行するCPU５２の電子メールプログラム５４Ａの起動の処理を図４８のフローチャートを参照して説明する。ステップＳ７１において、静止画閲覧プログラム１０４は、電子メールプログラム５４Ａを起動させる。ステップＳ７２において、静止画閲覧プログラム１０４は、電子メールプログラム５４Ａに新規のメールを開かせる。
【０２２８】
ステップＳ７３において、静止画閲覧プログラム１０４は、画像データを新規のメールに添付する。ステップＳ７４において、静止画閲覧プログラム１０４は、画像データのコメントを新規のメールの本文に貼り付け、処理は終了する。
【０２２９】
以上のように、使用者は、キーボード４などを操作することなく、簡単に、所定の画像を貼付し、所定のコメントを貼付したメールを生成することができる。
【０２３０】
次に、図４８のステップＳ３７またはステップＳ４３に対応する、音声コマンダ１０２を実行するCPU５２のアプリケーションプログラムの起動またはデータの送信の処理を図４９のフローチャートを参照して説明する。ステップＳ９１において、音声コマンダ１０２は、音声認識の結果に引数が含まれているか否かを判定し、音声認識の結果に引数が含まれていないと判定された場合、ステップＳ９２に進み、対応するアプリケーションプログラムを起動して、処理は終了する。
【０２３１】
ステップＳ９１において、音声認識の結果に引数が含まれていると判定された場合、ステップＳ９３に進み、音声コマンダ１０２は、音声認識の結果に含まれる引数のカテゴリがメールアドレスであるか否かを判定し、音声認識の結果に含まれる引数のカテゴリがメールアドレスであると判定された場合、ステップＳ９４に進み、電子メールプログラム５４Ａを起動する。ステップＳ９５において、音声コマンダ１０２は、引数に対応したメールアドレスを設定した新規のメールを開き、処理は終了する。
【０２３２】
ステップＳ９３において、音声認識の結果に含まれる引数のカテゴリがメールアドレスでないと判定された場合、ステップＳ９６に進み、音声コマンダ１０２は、引数で指定される文書ファイルを対応するアプリケーションプログラムで開き、処理は終了する。
【０２３３】
以上のように、音声コマンダ１０２は、入力された音声に対応して、所定のプログラムを起動させ、そのプログラムに文書ファイルカテゴリに属する所定の文書ファイルを開かせることができる。
【０２３４】
次に、音声コマンダ１０２を実行するCPU５２の起動またはコマンド送信のときの画像表示の処理を図５０のフローチャートを参照して説明する。ステップＳ１０１において、音声コマンダ１０２は、コマンドの送信であるか否かを判定し、コマンドの送信であると判定された場合、ステップＳ１０２に進み、音声コマンダウィンドウ１５１から画面全体に広がるように波紋の画像を表示させる。
【０２３５】
ステップＳ１０３において、音声コマンダ１０２は、画面全体からアプリケーションプログラムのウィンドウに収束するように波紋の画像を表示させる。
【０２３６】
ステップＳ１０４において、音声コマンダ１０２は、コマンドを受信するアプリケーションプログラムのウィンドウを強調表示させ、処理は終了する。
【０２３７】
ステップＳ１０１において、コマンドの送信でないと判定された場合、アプリケーションプログラムの起動なので、ステップＳ１０５に進み、音声コマンダ１０２は、画面全体からアプリケーションプログラムのウィンドウに収束するように波紋の画像を表示させる。
【０２３８】
ステップＳ１０６において、音声コマンダ１０２は、画面全体からアプリケーションプログラムのアイコンに収束するように波紋の画像を表示させる。
【０２３９】
ステップＳ１０７において、音声コマンダ１０２は、起動するアプリケーションプログラムのアイコンを強調表示させ、処理は終了する。
【０２４０】
このように、音声コマンダ１０２は、音声コマンダウィンドウ１５１から、コマンドを受信するプログラムのウィンドに向かう画像を表示させるので、使用者は、確実に、音声コマンダ１０２が動作していること、および音声コマンダ１０２の操作対象を知ることができる。
【０２４１】
また、音声コマンダ１０２は、音声コマンダウィンドウ１５１から、起動させるプログラムのアイコンに向かう画像を表示させるので、使用者は、確実に、音声コマンダ１０２が動作していること、および音声コマンダ１０２の操作対象を知ることができる。
【０２４２】
次に、音声コマンダ１０２を実行するCPU５２の音声認識のテストの処理を図５１のフローチャートを参照して説明する。ステップＳ１３１において、音声コマンダ１０２は、音声認識エンジン１０１から供給された所定の単語の認識結果を基に、所定の単語が認識されたか否かを判定する単語の認識テストを実行する。
【０２４３】
ステップＳ１３２において、音声コマンダ１０２は、ステップＳ１３１の結果を基に、所定の単語が認識されたか否かを判定し、所定の単語が認識されたと判定された場合、ステップＳ１３３に進み、所定のカテゴリに含まれる単語の認識のテストを実行する。
【０２４４】
ステップＳ１３４において、音声コマンダ１０２は、所定のカテゴリに含まれる単語が認識されたか否かを判定し、所定のカテゴリに含まれる単語が認識されたと判定された場合、ステップＳ１３５に進み、複数の単語を含むときの文法の認識のテストを実行する。
【０２４５】
ステップＳ１３６において、音声コマンダ１０２は、複数の単語を含むときの文法が認識されたか否かを判定し、複数の単語を含むときの文法が認識されたと判定された場合、処理は終了する。
【０２４６】
ステップＳ１３６において、複数の単語を含むときの文法が認識されないと判定された場合、ステップＳ１３８に進み、音声コマンダ１０２は、文法を修正して、ステップＳ１３５に戻り、複数の単語を含むときの文法の認識のテストを繰り返す。
【０２４７】
ステップＳ１３４において、所定のカテゴリに含まれる単語が認識されない判定された場合、およびステップＳ１３２において、所定の単語が認識されないと判定された場合、ステップＳ１３７に進み、音声コマンダ１０２は、単語を修正して、ステップＳ１３１に戻り、単語の認識のテストから処理を繰り返す。
【０２４８】
以上のように、音声コマンダ１０２は、音声認識のテストの結果を表示して、単語または文法を修正するので、確実に所定の音声を認識することができる。
【０２４９】
ステップＳ１３１の単語の認識のテストに対応する、音声コマンダ１０２を実行するCPU５２の登録する呼び名のテストの処理を図５２のフローチャートを参照して説明する。ステップＳ１５１において、音声コマンダ１０２は、音声認識エンジン１０１から音声認識の結果を受信する。
【０２５０】
ステップＳ１５２において、音声コマンダ１０２は、音声認識の結果と呼び名が一致するか否かを判定し、音声認識の結果と呼び名が一致すると判定された場合、ステップＳ１５３に進み、テスト結果表示フィールド２５３に正しく認識された旨を表示して、処理は終了する。
【０２５１】
ステップＳ１５２において、音声認識の結果と呼び名が一致しないと判定された場合、ステップＳ１５４に進み、音声コマンダ１０２は、テスト結果表示フィールド２５３に正しく認識されなかった旨を表示して、処理は終了する。
【０２５２】
ステップＳ１３３のカテゴリの認識のテストに対応する、音声コマンダ１０２を実行するCPU５２のカテゴリの呼び名のテストの処理を図５３のフローチャートを参照して説明する。ステップＳ１７１において、音声コマンダ１０２は、音声認識エンジン１０１から音声認識の結果を受信する。
【０２５３】
ステップＳ１７２において、音声コマンダ１０２は、音声認識の結果と一致する呼び名が登録されているか否かを判定し、音声認識の結果と一致する呼び名が登録されていると判定された場合、ステップＳ１７３に進み、呼び名表示フィールド２２６に表示されている、音声認識の結果と一致する呼び名を強調表示して、処理は終了する。
【０２５４】
ステップＳ１７２において、音声認識の結果と一致する呼び名が登録されていないと判定された場合、ステップＳ１７４に進み、音声コマンダ１０２は、テスト結果表示フィールド２７３に音声認識の結果と一致する呼び名が登録されていない旨を表示して、処理は終了する。
【０２５５】
次に、音声コマンダ１０２を実行するCPU５２が、静止画撮影プログラム１０３を起動させて、静止画像を撮像させて、静止画像にコメントを貼付するまでの一連の処理を図５４および図５５にフローチャートを参照して説明する。ステップＳ２１１において、エンジン通信部１２２は、音声認識エンジン１０１を起動させ、状態１１に遷移する。ステップＳ２５１において、ＵＩ処理部１２３は、エンジン起動中の表示を実行して、状態１に遷移する。ステップＳ３０１において、アプリケーション通信部１２１は、状態２１に遷移する。
【０２５６】
ステップＳ２１２において、エンジン通信部１２２は、音声認識エンジン１０１から起動が成功した旨のデータを受信して、音声認識エンジン１０１の起動が成功したことを示すデータをＵＩ処理部１２３に送信する。ステップＳ２５２において、ＵＩ処理部１２３は、音声認識エンジン１０１の起動が成功したことを示すデータを受信して、状態２に遷移する。
【０２５７】
ステップＳ２５３において、ＵＩ処理部１２３は、音声認識エンジン１０１が起動完了したことを示す画像または文をLCD２１に表示させる。
【０２５８】
ステップＳ２５４において、ＵＩ処理部１２３は、認識キーであるコントロールキーが押圧されているか否かを検出する。認識キーであるコントロールキーが押圧されているとき、ステップＳ２５５に進み、ＵＩ処理部１２３は、アプリケーション通信部１２１に、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているか（いずれのプログラムがアクティブになっているか、またはいずれもアクティブになっていないか）を示すデータの送信を要求する。ステップＳ３０２において、アプリケーション通信部１２１は、アプリケーション通信部１２１からの、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているかを示すデータの送信の要求を受信する。
【０２５９】
ステップＳ３０３において、アプリケーション通信部１２１は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているかを示すデータを送信する。ステップＳ２５６において、ＵＩ処理部１２３は、アプリケーション通信部１２１からの、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているかを示すデータを受信する。ステップＳ２５７において、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにもフォーカスがあたっていないことを示すデータを受信したとき、ＵＩ処理部１２３は、音声コマンダウィンドウ１５１の認識状態表示部１６９に、グローバルコマンドしか受け付けないことを示す文字（例えば、「（Ｇｌｏｂａｌ Ｃｏｍｍａｎｄ）」）と表示させる。
【０２６０】
ステップＳ２５８において、ＵＩ処理部１２３は、エンジン通信部１２２に音声受付（すなわち、音声入力を可能にすること）を要求を送信して、状態３に遷移する。ステップＳ２１３において、エンジン通信部１２２は、音声受付の要求を受信する。ステップＳ２１４において、エンジン通信部１２２は、アプリケーション通信部１２１に、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているか（いずれのプログラムがアクティブになっているか、またはいずれもアクティブになっていないか）を示すデータの送信を要求する。
【０２６１】
ステップＳ３０５において、アプリケーション通信部１２１は、エンジン通信部１２２に、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているかを示すデータを送信する。
【０２６２】
ステップＳ２１５において、エンジン通信部１２２は、静止画撮影プログラム１０３、静止画閲覧プログラム１０４、または電子ペットプログラム１０５のいずれにフォーカスがあたっているかを示すデータを受信する。ステップＳ２１６において、エンジン通信部１２２は、認識単語・文法データベース１１５から現在受付可能な単語および文法のデータを読み出し、読み出したデータを音声認識エンジン１０１に送信して、状態１３に遷移する。
【０２６３】
使用者がマイクロフォン２４に音声を入力し始めると、ステップＳ２１７に進み、エンジン通信部１２２は、音声認識エンジン１０１から音声検知を示すデータを受信して、状態１４に遷移する。
【０２６４】
ステップＳ２１８において、エンジン通信部１２２は、音声認識エンジン１０１から音声に対応する信号のレベル（音声の音量を示す）に対応するデータを受信する。ステップＳ２１９において、エンジン通信部１２２は、音声に対応する信号のレベルに対応するデータをＵＩ処理部１２３に送信する。ステップＳ２５９において、ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータを受信する。ステップＳ２６０において、ＵＩ処理部１２３は、受信した音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【０２６５】
ステップＳ２２０において、エンジン通信部１２２は、音声認識エンジン１０１から音声に対応する信号のレベル（音声の音量を示す）に対応するデータを受信する。ステップＳ２２１において、エンジン通信部１２２は、音声に対応する信号のレベルに対応するデータをＵＩ処理部１２３に送信する。ステップＳ２６１において、ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータを受信する。ステップＳ２６２において、ＵＩ処理部１２３は、受信した音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【０２６６】
音声認識エンジン１０１から音声に対応する信号のレベルを受信して、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する処理は、音声受付が可能である状態では、随時繰り返される。
【０２６７】
ステップＳ２２２において、エンジン通信部１２２は、音声認識エンジン１０１から音使用者が喋った所定の言葉に対応する、コード番号（例えば、１０６など）、認識した単語または文（例えば、”撮影”など）、および認識した単語に関連する文字列のデータを受信する。ステップＳ２２３において、エンジン通信部１２２は、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータをＵＩ処理部１２３に送信する。ステップＳ２６３において、ＵＩ処理部１２３は、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータを受信する。ステップＳ２６４において、ＵＩ処理部１２３は、認識した単語または文を、音声コマンダウィンドウ１５１の認識結果表示部１６２に表示させる。
【０２６８】
ステップＳ２２４において、エンジン通信部１２２は、コード番号を基にアプリケーション通信部１２１にも受信したデータを送信すべきものと判定して、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータをアプリケーション通信部１２１に送信して、状態１３に遷移する。ステップＳ３０６において、アプリケーション通信部１２１は、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータを受信する。
【０２６９】
ステップＳ２６５において、ＵＩ処理部１２３は、認識キーであるコントロールキーがは離されているか否かを検出する。認識キーであるコントロールキーが離されているとき、ステップＳ２６６に進み、ＵＩ処理部１２３は、エンジン通信部１２２に音声受付の終了を要求するとともに、アプリケーション通信部１２１に対して、ステップ３０６でアプリケーション通信部１２１が受信しているコード番号、認識した単語または文、および認識した単語に関連する文字列のデータを基にした、所定の処理（例えば、静止画撮影プログラム１０３を起動させる）の実行を要求して、状態２に遷移する。
【０２７０】
ステップＳ２２５において、エンジン通信部１２２は、ＵＩ処理部１２３からの音声受付の終了の要求を受信する。ステップＳ２２６において、エンジン通信部１２２は、音声認識エンジン１０１に音声受付を終了させ、状態１２に遷移する。
【０２７１】
ステップＳ３０７において、アプリケーション通信部１２１は、ＵＩ処理部１２３からの要求を受信する。ステップＳ３０８において、アプリケーション通信部１２１は、静止画撮影プログラム１０３を起動させる。
【０２７２】
ステップＳ３０９において、アプリケーション通信部１２１は、静止画撮影プログラム１０３から、シャッタボタン１０の押し下げなどに対応した、コメント入力の要求を受信する。ステップＳ３１０において、アプリケーション通信部１２１は、コメント入力の要求をＵＩ処理部１２３に送信する。ステップＳ２６７において、ＵＩ処理部１２３は、コメント入力の要求を受信する。ステップＳ２６８において、ＵＩ処理部１２３は、コメント入力の要求をエンジン通信部１２２に送信して、状態５に遷移する。ステップＳ２２７において、エンジン通信部１２２は、コメント入力の要求を受信する。
【０２７３】
ステップＳ２２８において、エンジン通信部１２２は、認識単語・文法データベース１１５から現在受付可能な単語および文法のデータを読み出し、読み出したデータを音声認識エンジン１０１に送信して、状態１３に遷移する。
【０２７４】
使用者がマイクロフォン２４に音声を入力し始めると、ステップＳ２２９に進み、エンジン通信部１２２は、音声認識エンジン１０１から音声検知を示すデータを受信して、状態１４に遷移する。
【０２７５】
ステップＳ２３０において、エンジン通信部１２２は、音声認識エンジン１０１から音声に対応する信号のレベル（音声の音量を示す）に対応するデータを受信する。ステップＳ２３１において、エンジン通信部１２２は、音声に対応する信号のレベルに対応するデータをＵＩ処理部１２３に送信する。ステップＳ２６９において、ＵＩ処理部１２３は、音声に対応する信号のレベルに対応するデータを受信する。ステップＳ２７０において、ＵＩ処理部１２３は、受信した音声に対応する信号のレベルに対応するデータに基づき、音声コマンダウィンドウ１５１のレベルゲージ１６１の表示を更新する。
【０２７６】
ステップＳ２３２において、エンジン通信部１２２は、音声認識エンジン１０１から音使用者が喋った所定の言葉に対応する、コード番号（例えば、１０７など）、認識した単語または文（例えば、”パパと八丈島で”など）、および認識した単語に関連する文字列のデータを受信する。ステップＳ２３３において、エンジン通信部１２２は、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータをＵＩ処理部１２３に送信する。ステップＳ２７１において、ＵＩ処理部１２３は、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータを受信する。ステップＳ２７２において、ＵＩ処理部１２３は、認識した単語または文を、音声コマンダウィンドウ１５１の認識結果表示部１６２に表示させる。
【０２７７】
ステップＳ２３４において、エンジン通信部１２２は、コード番号を基にアプリケーション通信部１２１にも受信したデータを送信すべきものと判定して、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータをアプリケーション通信部１２１に送信して、状態１３に遷移する。ステップＳ３１１において、アプリケーション通信部１２１は、コード番号、認識した単語または文、および認識した単語に関連する文字列のデータを受信する。
【０２７８】
ステップＳ３１２において、アプリケーション通信部１２１は、認識した単語または文をコメントとして静止画撮影プログラム１０３に送信して、静止画撮影プログラム１０３に識した単語または文をコメントとして貼付させる。
【０２７９】
ステップＳ２３２乃至ステップＳ３１２の処理は、シャッタボタン１０が離されず、使用者の音声を音声認識エンジン１０１が認識したとき、繰り返し実行される。
【０２８０】
ステップＳ３１３において、アプリケーション通信部１２１は、静止画撮影プログラム１０３から、シャッタボタン１０を離すなどの操作に対応した、コメント入力の終了の要求を受信する。ステップＳ３１４において、アプリケーション通信部１２１は、コメント入力の終了の要求をＵＩ処理部１２３に送信する。ステップＳ２７３において、ＵＩ処理部１２３は、コメント入力の終了の要求を受信する。ステップＳ２７４において、ＵＩ処理部１２３は、コメント入力の終了の要求をエンジン通信部１２２に送信して、状態２に遷移する。ステップＳ２２５において、エンジン通信部１２２は、コメント入力の終了の要求を受信する。ステップＳ２３６において、エンジン通信部１２２は、音声認識エンジン１０１に音声受付を終了させ、状態１２に遷移して、処理は終了する。
【０２８１】
このように、キーボード４またはスティック式ポインティングデバイス５への複雑な操作することなく、音声コマンダ１０２は、音声の入力に対応して、静止画撮影プログラム１０３を起動させ、静止画撮影プログラム１０３が撮像した静止画像にコメントを入力することができる。
【０２８２】
なお、音声認識エンジン１０１は、登録された単語または文のみを認識するだけでなく、任意の単語または文を認識する機能（いわゆる、ディクテーション機能）を有するようにしてもよい。
【０２８３】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０２８４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図７に示すように、磁気ディスク９５（フロッピディスクを含む）、光ディスク９６（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク９７（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ９８などよりなるパッケージメディア、または、プログラムが一時的若しくは永続的に格納されるROM６９や、ハードディスク５６などにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデム５０などのインタフェースを介して、ローカルエリアネットワーク、インターネット９２、図示せぬデジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２８５】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２８７】
【発明の効果】
本発明によれば、簡単に、通信相手を特定するデータが設定できるようになる。
【図面の簡単な説明】
【図１】パーソナルコンピュータ１の外観斜視図である。
【図２】パーソナルコンピュータ１の平面図である。
【図３】パーソナルコンピュータ１の左側側面図である。
【図４】パーソナルコンピュータ１の右側側面図である。
【図５】パーソナルコンピュータ１の正面図である。
【図６】パーソナルコンピュータ１の底面図である。
【図７】パーソナルコンピュータ１の構成を示すブロック図である。
【図８】パーソナルコンピュータ１の機能ブロックを示す図である。
【図９】パーソナルコンピュータ１の機能ブロックを示す図である。
【図１０】 SAPIを説明する図である。
【図１１】ＵＩ処理部１２３の状態遷移図である。
【図１２】音声コマンダウィンドウ１５１を示す図である。
【図１３】エンジン通信部１２２の状態遷移図である。
【図１４】アプリケーション通信部１２１の状態遷移図である。
【図１５】 LCD２１に表示される画面を説明する図である。
【図１６】 LCD２１に表示される画面を説明する図である。
【図１７】 LCD２１に表示される画面を説明する図である。
【図１８】 LCD２１に表示される画面を説明する図である。
【図１９】 LCD２１に表示される画面を説明する図である。
【図２０】 LCD２１に表示される画面を説明する図である。
【図２１】 LCD２１に表示される画面を説明する図である。
【図２２】 LCD２１に表示される画面を説明する図である。
【図２３】 LCD２１に表示される画面を説明する図である。
【図２４】 LCD２１に表示される画面を説明する図である。
【図２５】 LCD２１に表示される画面を説明する図である。
【図２６】 LCD２１に表示される画面を説明する図である。
【図２７】 LCD２１に表示される画面を説明する図である。
【図２８】 LCD２１に表示される画面を説明する図である。
【図２９】 LCD２１に表示される画面を説明する図である。
【図３０】 LCD２１に表示される画面を説明する図である。
【図３１】 LCD２１に表示される画面を説明する図である。
【図３２】 LCD２１に表示される画面を説明する図である。
【図３３】 LCD２１に表示される画面を説明する図である。
【図３４】 LCD２１に表示される画面を説明する図である。
【図３５】 LCD２１に表示される画面を説明する図である。
【図３６】 LCD２１に表示される画面を説明する図である。
【図３７】 LCD２１に表示される画面を説明する図である。
【図３８】 LCD２１に表示される画面を説明する図である。
【図３９】 LCD２１に表示される画面を説明する図である。
【図４０】 LCD２１に表示される画面を説明する図である。
【図４１】 LCD２１に表示される画面を説明する図である。
【図４２】 LCD２１に表示される画面を説明する図である。
【図４３】 LCD２１に表示される画面を説明する図である。
【図４４】 LCD２１に表示される画面を説明する図である。
【図４５】静止画像の撮像の処理を説明するフローチャートである。
【図４６】音声によるコマンド送信または起動の処理を説明するフローチャートである。
【図４７】アプリケーションプログラムの起動またはコマンド送信の処理を説明するフローチャートである。
【図４８】電子メールプログラム５４Ａの起動の処理を説明するフローチャートである。
【図４９】アプリケーションプログラムの起動またはデータの送信の処理を説明するフローチャートである。
【図５０】起動またはコマンド送信のときの画像表示の処理を説明するフローチャートである。
【図５１】音声認識のテストの処理を説明するフローチャートである。
【図５２】登録する呼び名のテストの処理を説明するフローチャートである。
【図５３】カテゴリの呼び名のテストの処理を説明するフローチャートである。
【図５４】静止画撮影プログラム１０３を起動させて、静止画像を撮像させて、静止画像にコメントを貼付するまでの一連の処理を説明するフローチャートである。
【図５５】静止画撮影プログラム１０３を起動させて、静止画像を撮像させて、静止画像にコメントを貼付するまでの一連の処理を説明するフローチャートである。
【符号の説明】
１ パーソナルコンピュータ， ４ キーボード， １０ シャッタボタン，２１ LCD， ２３ CCDビデオカメラ， ２４ マイクロフォン， ５２ CPU， ５９ ROM， ５４ RAM， ８４Ａ 電子メールプログラム， ８６ 前押しスイッチ， ８８ ドライブ， ９２ インターネット， ９５ 磁気ディスク， ９６ 光ディスク， ９７ 光磁気ディスク， ９８ 半導体メモリ，１０１ 音声認識エンジン， １０２ 音声コマンダ， １０３ 静止画撮影プログラム， １０４ 静止画閲覧プログラム， １１１ 読み仮名辞書データベース， １１２ エンジン用認識単語・文法データベース， １１３ ランチャ設定データベース， １１４ 辞書設定データベース， １１５ 認識単語データベース， １２１ アプリケーション通信部， １２２ エンジン通信部，１２３ ＵＩ処理部， １２４ 音声ランチャ制御部， １２５ ユーザ辞書制御部， １２６ 認識テスト処理部

Claims (3)

1. シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータを生成し、生成した前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルを記録媒体に記録させる記録手段と、
   シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声を認識する認識手段と、
   前記記録手段により前記ファイルが記録されたときに起動した静止画閲覧プログラムによって実現される、前記記録手段により生成された前記静止画像を前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示させ、前記認識手段により認識された音声を表す単語または文を、前記静止画像の隣に表示させる静止画像表示制御手段と、
   前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに起動した電子メールプログラムによって実現される、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウを表示させ、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに前記記録手段により格納された、前記認識手段により認識された単語または文を表示させ、前記記録手段により記録された前記ファイルを添付した前記メッセージを生成する生成手段と、
   音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声を前記認識手段がさらに認識する場合、呼び名として登録されている単語とメールの言葉からなる音声が前記認識手段により認識されたことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像を表示させ、前記アイコンを強調表示させる表示制御手段と、
   前記アイコンが強調表示された後に表示されたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、前記認識手段により認識された前記呼び名として登録されている単語に対応付けて登録されているメールアドレスをメッセージの送信先として設定する設定手段と
   を備える情報処理装置。
2. シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータを生成し、生成した前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルを記録媒体に記録させ、
   シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声を認識し、
   前記ファイルを記録したときに静止画閲覧プログラムを起動させ、生成した前記静止画像を前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示させ、認識した音声を表す単語または文を、前記静止画像の隣に表示させ、
   前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに電子メールプログラムを起動させ、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウを表示させ、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに格納した、認識した単語または文を表示させ、前記ファイルを添付した前記メッセージを生成し、
   音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声をさらに認識する場合、呼び名として登録されている単語とメールの言葉からなる音声を認識したことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像 を表示させ、前記アイコンを強調表示させ、
   前記アイコンを強調表示させた後に表示させたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、認識した前記呼び名として登録されている単語に対応付けて登録しているメールアドレスをメッセージの送信先として設定する
   ステップを含む情報処理方法。
3. シャッタボタンが押圧されたとき、カメラが撮像している画像を基に静止画像のデータを生成し、生成した前記静止画像のデータを格納するとともに、音声認識によって認識されたコメントをヘッダに格納したファイルを記録媒体に記録させ、
   シャッタボタンが押圧された後に、シャッタボタンが押圧されたまま入力された音声を認識し、
   前記ファイルを記録したときに静止画閲覧プログラムを起動させ、生成した前記静止画像を前記カメラが撮像している画像を表示する第１のウインドウと異なる第２のウインドウに表示させ、認識した音声を表す単語または文を、前記静止画像の隣に表示させ、
   前記第２のウインドウに表示されている、メッセージを作成するときに操作されるボタンが操作されたときに電子メールプログラムを起動させ、前記第１のウインドウに替えて、メッセージの作成に用いられる第３のウインドウを表示させ、前記第３のウインドウに設けられるメッセージの本文の表示フィールドに、コメントとして前記ファイルのヘッダに格納した、認識した単語または文を表示させ、前記ファイルを添付した前記メッセージを生成し、
   音声の認識を行うときに操作される認識キーが押圧されたまま入力された音声をさらに認識する場合、呼び名として登録されている単語とメールの言葉からなる音声を認識したことに応じて前記電子メールプログラムが起動するとき、認識された音声を表す単語または文を表示する領域と音声のレベルを表示する領域が設けられるウインドウから周りに広がり、前記電子メールプログラムを表すアイコンに向かって収束するように波紋状の画像を表示させ、前記アイコンを強調表示させ、
   前記アイコンを強調表示させた後に表示させたメッセージの作成に用いられるウインドウのメールアドレスの表示欄に、認識した前記呼び名として登録されている単語に対応付けて登録しているメールアドレスをメッセージの送信先として設定する
   ステップを含む処理をコンピュータに実行させるプログラムが記録されたプログラム格納媒体。

Images