JP5089213B2 - グラフィカル・インターフェースを音声使用可能インターフェースに変換するための部分的に自動化された方法およびシステム - Google Patents

Description

本発明は、ソフトウェア開発の分野に関し、詳しく言えば、音声使用可能インターフェース・エレメントがユーザ提供の基準および自動プロセスに基づいてグラフィカル・ユーザ・インターフェース・エレメントから生成される、対話型ソフトウェア開発ツールに関するものである。

コンピュータ装置は、ますます、通常のグラフィカル・ユーザ・インターフェースに加えて、あるいはそれの代わりに、音声使用可能インターフェースを利用している。産業界はますます自動化が進み、従業員は、コンピュータ装置と対話しながら多くの実世界業務を遂行することを求められている。音声インターフェース・モードおよびグラフィカル・インターフェース・モードを有する多モード・インターフェースは、これらの従業員が、このデュアル・アクティビティに最も便利な対話モードを使用して実世界業務およびコンピュータ対話を同時に行なうことを可能にするための恩恵となっている。例えば、精算係の店員は、消費者のために購入物品を包装しながらコンピュータ装置用のコマンドをマイクロホンに向けて口述することが可能である。その同じ店員が、消費者と話をしながらグラフィカル・インターフェースを利用してコンピュータ装置と対話することも可能である。

音声使用可能インターフェースがますます使用されているもう１つの理由は、制約のあるモバイル・コンピュータ装置あるいは不便な入力／出力周辺装置の急増に関係している。これは、特に、モバイル・コンピュータ装置、組込み型コンピュータ装置、及び耐久性のあるコンピュータ装置に当てはまることである。例えば、多くのスマート・フォンがタッチ・スクリーンＧＵＩおよび音声インターフェースを組み込んでいる。音声インターフェースは口述された入力を受け取ることができ、その入力は、自動的にテキストに変換され、電子メール・アプリケーションあるいはワード処理アプリケーションのようなアプリケーションに委ねられる。この口述入力機構は、装置のＧＵＩモードに関連したタッチ・スクリーン入力機構を使用して、テキスト・メッセージの入力を試みるよりもユーザにとってかなり簡単なものになり得る。さらに、モバイル装置は、比較的小型のスクリーン（携帯用装置のモバイルの性質のため）が読み難い環境で、あるいはディスプレイ・スクリーンの読取りが過度に妨げられる状況において利用されることがある。これらの状況で、テキスト出力が音声に変換され、ユーザに可聴的に提示されることも可能である。

音声対話モードを有するコンピュータ装置の広範な使用にもかかわらず、アプリケーションの大多数は対話用音声の様相（modality）を欠いている。これは、おそらく、一般に、複雑なＧＵＩ対話用に構成され且つビジュアル・ブラウザにおいて表現されるように構成されているウェブ・ページの場合、最も顕著である。たとえ多くのモバイルの装置がウェブ使用可能なものであっても、ビジュアル・エレメントがモバイルの装置の制限されたスクリーン上に表示され得ないために、および希望のサイトが音声対話モードを欠いているために、多くの場合、ユーザはこれらのモバイル装置から希望のサイトにアクセスすることができない。同様に、電話使用者がウェブ内容をアクセスすることを可能にする多くの音声ブラウザが存在するが、ほとんどのウェブ・ページは簡素な音声ベースの対話用に設計されていない

ＧＵＩアプリケーションを音声ユーザ・インターフェース（Speech User Interface - ＳＵＩ）アプリケーションに変換する２つの一般的な方法は、何の準備もなくＳＵＩアプリケーションを指定すること、およびトランスコード技術の使用を伴う。何の準備もなくＳＵＩを書くことは費用および時間のかかることがある。ＧＵＩからＳＵＩに直接にトランスコードすることは、一般に、ＳＵＩコードが多くのエラーを含むという結果を生じ、自動的に且つ動的にＳＵＩを生成したユーザを悩ますことがある。別の方法として、ＳＵＩコードを自動的に生成した結果は、ＳＵＩ開発活動における生成後の段階で、開発者によって修正されることも可能である。これらの生成後段階の修正は時間のかかる高価なものとなり、 その結果、(生成後段階において費やされた時間によっては)かなり低い品質のＳＵＩを生じることがある。

本発明の目的は、いくつかの自動プロセスおよび少なくとも１つの事前生成の設計者指定の選択項目を使用して、グラフィカル・ユーザ・インターフェース（ＧＵＩ）からの音声使用可能インターフェースを対話的に生成するソフトウェア・ツールを提供することである。更に詳しく言えば、本発明の目的は、対応するＧＵＩエレメントから音声使用可能エレメントを作成するプロセスを図形処理的にガイドすることができる設計インターフェースを提供することである。設計インターフェースでは、音声ユーザ・インターフェース（ＳＵＩ）エレメントに変換されるべき各ＧＵＩエレメントに隣接してビジュアル・セレクタが設置される。各関連するＧＵＩエレメントに隣接したビジュアル・セレクタの設置は自動的に、および／または、手操作で行なわれてもよい。

設計者は、ビジュアル・セレクタ内でＧＵＩエレメントを変換することにより得られるべき音声制御のタイプを指定することが可能である。１つの実施例では、この選択は、再使用可能ダイアログ・コンポーネント（Reusable Dialog Component - ＲＤＣ）に相当する、或いは音声使用可能エレメントの生成を容易にする他のコード機構に相当する利用可能な音声制御タイプのリストから行なうことが可能である。ビジュアル・セレクタは、最初に、デフォルトの音声制御タイプでもって、および／またはトランスコード技術を使用して決定された音声制御タイプを入れられることが可能である。設計者がビジュアル・セレクタ内の値を調節した後、音声ユーザ・インターフェース（ＳＵＩ）は自動的に作成することが可能となる。このインターフェースは、音声専用のインターフェース並びにＧＵＩエレメントおよび音声使用可能エレメントの両方を含む多モード・インターフェースであってもよい。さらに、ＧＵＩおよび新しいインターフェースは両方とも、ブラウザによって与えられるマークアップ言語で具現化することが可能である。1つの実施例では、既知のコール・フロー設計フィーチャを開発者に提供することが可能である。コール・フロー・インターフェースあるいはビューが設計インターフェースの内部から得られる。そのコール・フロー設計フィーチャは、自動的に生成されたＳＵＩコードからの高品質音声使用可能インターフェースの生産を促進する。

本発明は、本明細書に示される要素と整合する多数の側面に従って具現化することが可能である。例えば、本発明の1つの側面は、インターフェース内に音声エレメントを作成するための方法を含み得る。その方法は、複数のビジュアル・エレメントを有するビジュアル・インターフェースを識別するステップを含み得る。ビジュアル・セレクタが各ビジュアル・エレメントに隣接して表示される。ビジュアル・セレクタは、ユーザが関連のビジュアル・エレメントに対する音声制御タイプを入力することを可能にする。表示された各ビジュアル・セレクタに関しては、そのビジュアル・セレクタにおける指定された音声制御タイプを有する音声エレメントが自動的に生成されてもよい。

本発明の別の側面は、ビジュアル設計ウィンドウ、セレクタ使用可能ウィンドウ、およびＳＵＩエレメント生成エンジンを含むソフトウェア開発アプリケーションを含み得る。ビジュアル設計ウィンドウは、ビジュアル・インターフェースのビジュアル・エレメントを指定するように、および指定されたビジュアル・エレメントと関連したプログラム命令を自動的に生成するように構成されてもよい。セレクタ使用可能ウィンドウは、ビジュアル設計ウィンドウのＧＵＩエレメントをグラフィカルに表示し得る。その表示されたエレメントの少なくとも一部分が、表示されたビジュアル・セレクタと関連付けられる。各ビジュアル・セレクタは、ソフトウェア開発アプリケーションのユーザがその関連するＧＵＩエレメントに対する音声制御タイプを入力することを可能にする。ＳＵＩエレメント生成エンジンは、ビジュアル・セレクタと関係する各ＧＵＩエレメントに対応するＳＵＩエレメントを自動的に生成することが可能である。各生成されたＳＵＩエレメントは、ビジュアル・セレクタによって指定された音声制御タイプを有することが可能である。

本発明の更なる別の側面は、ビジュアル・マークアップ言語で書かれたマークアップを表現するためのウィンドウを含むグラフィカル・ユーザ・インターフェースを含み得る。たとえビジュアル・セレクタがビジュアル・マークアップ言語で指定されなくても、ビジュアル・セレクタは、そのウィンドウにおいてグラフィカルに表現されてもよい。各ビジュアル・セレクタは、そのウィンドウに表示されたビジュアル・エレメントに対応し得る。各ビジュアル・セレクタは、ユーザが音声制御タイプを指定することを可能にし得る。各ビジュアル・セレクタに関して、その指定された音声制御タイプを有する音声使用可能エレメントが自動的に生成されてもよい。自動的に生成されたマークアップは、各音声使用可能エレメントに対して作成される音声使用可能マークアップ言語で書くことが可能である。

本明細書に開示された機能を具現化するためにコンピュータ装置を制御するためのプログラムとして、あるいはコンピュータ装置が、本明細書に開示されたステップに対応するプロセスを実行することを可能にするためのプログラムとして、本発明の種々の側面を具現化することが可能であることに留意すべきである。このプログラムは、磁気ディスク、光ディスク、半導体メモリ、あるいは他の任意の記録媒体にそのプログラムを格納することにより提供することが可能である。プログラムは、搬送波によって搬送された、デジタル的にエンコードされた信号として提供することが可能である。開示されたプログラムは単一のプログラムであってもよく、或いは各々が単一のコンピュータ装置内で対話するか或いはネットワーク空間全体にわたって分散態様で対話する複数のサブプログラムとして具現化されてもよい。

図１は、本明細書に示された本発明の装置の実施例に従ってグラフィカル・ユーザ・インターフェース（ＧＵＩ）エレメントから音声ユーザ・インターフェース（ＳＵＩ）エレメントを生成するためのシステム１００の流れ図である。システム１００は、部分的に自動化された、または設計者支援の変換プロセスを利用する。そのプロセスでは、ビジュアル・セレクタが、ＧＵＩソフトウェア設計インターフェース内の対応するビジュアル・エレメントに隣接して示される。設計者は、ビジュアル・セレクタ内の制御を指定することによって、ビジュアル・エレメントを変換することによって得られるべき音声制御のタイプを入力することができる。セレクタ指定のＳＵＩ音声制御タイプのためのプログラム命令を含むＳＵＩコードが自動的に生成されてもよい。その生成されたＳＵＩコードは、コール・フロー開発ツールのようなソフトウェア設計インターフェースの別のツールを使用して修正することが可能である。

システム１００では、ＧＵＩページ１０５がエレメント検知エンジン１１０に送られる。ＧＵＩページ１０５は、ブラウザにおいて表現することが可能なマークアップ言語で書かれたページであってもよい。例えば、ＧＵＩページ１０５は、拡張可能マークアップ言語（ＸＭＬ）あるいはハイパーテキスト・マークアップ言語（ＨＴＭＬ）で書かれてもよい。しかし、ＧＵＩページ１０５はこの点に関して限定されないし、JAVA(登録商標）（商標）、C++、VISUALBASIC 等のような任意のコード言語で書かれたアプリケーションのページ、セクション、またはビューを含み得る。

エレメント検知エンジン１１０は、音声使用可能オブジェクトに変換されることが可能なＧＵＩページ１０５内に含まれた１つまたは複数のビジュアル・オブジェクトを自動的に検知することができる。１つの実施例では、テキスト、リスト・ボックス、ラジオ・ボタン等が変換可能なビジュアル・オブジェクトであってもよく、一方、画像およびビデオ・クリップが、エレメント検知エンジン１１０の目的のための変換不可能なオブジェクトであってもよい。

ＧＵＩ１１２は、エレメント検知エンジン１１０がＧＵＩ１０５の３つのビジュアル・オブジェクトを自動的に識別する方法を示す。特に、テキスト・エリアはエレメントＡ（Element A）として識別され、プロンプト（prompt）はエレメントＢ（ElementB）として識別され、選択リストはエレメントＣ（Element C）として識別される。一旦それらのエレメントが識別されると、デフォルト設定プロセス１１４またはトランスコード・プロセス１１６が実行される。プロセス１１４および／または１１６は、先ず、各ＳＵＩエレメントに対する音声制御タイプを設定することが可能である。

音声制御タイプは、グリーティング、プロンプト、ステートメント、文法、コメント、確認事項等を含み得るが、それに限定されない。入力を要求する種々の音声制御タイプと種々の文法を関連付けることも可能である。例えば、エレメントＡはユーザ口述を受け取るべき文脈自由の文法と関連付けられてもよいし、一方、エレメントＣは、グラフィカル・リスト・ボックスに現われるワード／フレーズから成るワード／フレーズを有する文脈依存の文法と関連付けられてもよい。

デフォルト設定プロセス１１４が使用されるべきとき、デフォルト・エンジン１２０を使用することが可能である。デフォルト・エンジン１２０は、音声制御タイプを推定するためにいくつかの比較的簡単な代替方法を実行し得る。例えば、デフォルト・エンジン１２０は、タイトルとしてマークアップ・タグに現われるすべてのテキストをグリーティング制御タイプに変換し得る。同様に、ある文字長に基づいたテキスト・メッセージを有するマークアップ・ドキュメントの本体に現われるすべてのビジュアル・エレメントを、デフォルト・エンジン１２０はプロンプトと見なし得る。

システム１００がトランスコード・プロセス１１６のために形成されるとき、トランスコード・エンジン１２２を使用することが可能である。トランスコード・エンジン１２２は、ビジュアル・プログラム命令を音声使用可能プログラム命令に自動的に変換する複雑なアルゴリズムおよび／または試行錯誤法を実行し得る。例えば、トランスコード・エンジン１２２はＸＭＬまたはＨＴＭＬマークアップを VoiceXML マークアップに変換し得る。トランスコード・エンジン１２２は、多数の既存の技術およびツールを使用して、様々な方法のうちのいずれかとして具現化することが可能である。例えば、トランスコード・エンジン１２２はインターナショナル・ビジネス・マシーンズ（ＩＢＭ）社の WEBSPHERE（商標） TRANSCODING PUBLISHER を含み得る。

デフォルト・エンジン１２０あるいはトランスコード・エンジン１２２のどちらが使用されるかに関係なく、ビジュアル・エレメント対音声エレメント・テーブル１２４を作成することが可能である。テーブル１２４では、各識別されたビジュアル・エレメントを、音声制御タイプを有する音声エレメントと関連付けることが可能である。例えば、ビジュアル・エレメントＡ（V_Element_A）、Ｂ（V_Element_B）、およびＣ（V_Element_C）を音声エレメントＡ（S_Element_A）、Ｂ（S_Element_B）、およびＣ（S_Element_C）と関連付けることが可能である。音声エレメントＡは対応する音声制御タイプＭ（S_Type_M）を有し、音声エレメントＢはタイプＮ（S_Type_N）に対応し、音声エレメントＣはタイプＯ（S_Type_O）に対応し得る。１つの実施例では、各音声制御タイプは、WEBSPHERE VOICETOOLKIT によって得られるような再使用可能ダイアログ・コンポーネントに対応し得る。

インジケータ生成エンジン１３０は、設計者１４０に提示し得るＧＵＩ１３４を作成するためにテーブル１２４を利用し得る。ＧＵＩ１３４は、設計者１４０によって使用されるソフトウェア設計ツール内に含まれてもよい。ＧＵＩ１３４は、関連するビジュアル・エレメントの近くに位置したビジュアル・セレクタ１３５を含み得る。各ビジュアル・セレクタ１３５に対して選択ウィンドウ１３６を設けることも可能である。選択ウィンドウ１３６は、音声制御タイプのリスト１３８も含み得る。

１つの実施例では、プロンプト（Prompt）制御タイプのようなリスト１３８における１つのタイプがテーブル１２４に基づいて事前選択されてもよい。別の予測される実施例では、ビジュアル・セレクタが、先ず、デフォルト設定なしで提示される。そのような実施例では、デフォルト・エンジン１２０および／またはトランスコード・エンジン１２２は不必要であることがある。

設計者１４０はこれらの制御タイプを表示し、それを修正し得る。対応するビジュアル・エレメントに対して生成されるべき音声エレメントがないとき、設計者１４０はＧＵＩ１３４からビジュアル・セレクタ１３５を削除し得る。さらに、設計者１４０は、ＧＵＩ１３４内に新しいビジュアル・セレクタを加えて、エレメント検知エンジン１１０によって検知されないビジュアル・エレメントとその新しいセレクタとを関連付け得る。１つの実施例では、設計者１４０がすべてのビジュアル・セレクタをビジュアル・エレメントと明示的に関連付け得るようにシステム１００を構成することも可能である。その構成では、エレメント検知エンジン１１０は必要ない。

一旦設計者１４０がＧＵＩ１３４を操作してしまうと、ページ作成エンジン１４５はＳＵＩページ１５０および／または多モード・ページ１５２を生成するために使用することが可能である。これらのページ１５０および／または１５２のいずれも、ＳＵＩ開発ツール１５４が更に処理することも可能である。例えば、ＳＵＩ開発ツール１５４は、コール・フロー・フィーチャがＳＵＩページ１５０および／または多モード・ページ１５２にグラフィカルに加えられることを可能にする開発者インターフェースであってもよい。

同期エンジン１６０は、生成されたページ１５０または１５２のエレメントをＧＵＩページ１０５と同期させるために利用することも可能である。すなわち、ＧＵＩページ１０５或いは関連の音声使用可能ページ１５０または１５２のいずれかに対して変更が行なわれるたびに、変更通知１６２を自動的に設計者１４０に送ることが可能である。１つの実施例では、通知１６２は、非変更バージョンでエレメントを自動的に更新する能力を含むことも可能である。

同期エンジン１６０およびシステム１００の他の機能は多数の開発フレームワーク内に統合されてもよい。１つの実施例では、システム１００の機能は STRUTS フレームワークを利用し得るし、そのフレームワークは、サーブレットおよびJAVA(登録商標）SERVER PAGES(JSP) ベースの技術に基づいてモデル・ビュー・コントローラ・アーキテクチャーを利用し得る。別の実施例では、システム１００機能性はECLIPSEの統合開発環境の一部であってもよい。更に別の実施例では、システム１００は、マルチデバイス・オーサリング・テクノロジ（Multi-Device Authoring Technology - MDAT）ベースの開発環境の一部であってもよい。

図１に示された種々のコンポーネントが例示のみを目的として示されたこと、および図示のコンポーネントの派生物を有する他の実施例が本明細書から予測されることは明らかである。例えば、１つの実施例では、エレメント検知エンジン１１０、トランスコード・エンジン１２２、およびインジケータ生成エンジン１３０が結合されて、合成コンポーネントに関して説明した機能を有する単一のコンポーネントになり得る。別の予測される装置では、ＳＵＩ開発ツール１５４、ＧＵＩ１３４、およびエンジン１１０、１２２、１２０、１３０、１４５、および／または、１６０が統合されて単一のソフトウェア開発パッケージになり得る。

システム１００が完全な音声アプリケーション・ソリューションを自動的に形成するソリューションの一部となり得ることは留意すべきである。完全な音声アプリケーション・ソリューションは、ＤＴＭＦへの潜在的なフォールバック、広範なヘルプ・メッセージ、およびグラフィカルな開発環境の内部からの自動音声コード生成のようなフィーチャを含み得る。

そのソリューションは、IBM社のCONVERSATION FLOW BUILDER（別名は、CALL FLOW BUILDER または CFB）、RATIONAL（商標）APPLICATIONS DEVELOPER（RAD）、JAVA(登録商標） SERVER FACES、TRANSCODING PUBLISHER 等が内蔵しているような多くの既存の技術を含み得る。

完全な音声ソリューションを作成するのに役立つ更なる技術が、米国特許出願2005/0234255（Method and System for Switching between Prototype andReal Code Production in a Graphical Call Flow Builder）、米国特許出願2005/0234725（Methodand System for Flexible Usage of a Graphical Call Flow Builder）、米国特許出願2005/0108015（Methodand System for Defining Standard Catch Styles for Speech Application CodeGeneration）および米国特許出願2005/0081152（Help Option Enhancement for Interactive VoiceResponse Systems）において詳述されている技術を含み得る。これらの米国特許出願で詳述された技術は、本発明に統合し得る技術の包括的なリストであることを意図するものではなく、むしろ、本発明が、完全な音声アプリケーション・ソリューションを生じるように当業者によって既存の技術との結合を実現するために参照されるべきものである。

図２は、本明細書において開示された本発明の配列の実施例に従ってＧＵＩエレメントをＳＵＩエレメントに変換するための部分的に自動化されたソフトウェア開発ツールのグラフィカル・ユーザ・インターフェース（ＧＵＩ）２１０、２３０、および２６０を示す図である。ＧＵＩ２１０、２３０、および２６０は、システム１００のコンテキストにおいて、または、ＳＵＩエレメントが自動ソフトウェア開発ツールを使用してＧＵＩエレメントから作成されるように手操作で音声制御タイプを指定するためのビジュアル・セレクタが設けられる他のシステムにおいて、具現化することが可能である。１つの実施例では、ＧＵＩ２１０、２３０、および２６０は、FACES ツールを備えた RATIONAL JAVA(登録商標） SERVER のような開発者ツールに統合されたＧＵＩであってもよい。本発明はこの点に関して制限されるべきではなく、ＧＵＩ２１０、２３０、および２６０は、種々の他のソフトウェア開発ツールあるいはソフトウェア開発環境のいずれにも統合することが可能である。

ＧＵＩ２１０はソフトウェア設計ツールの統合コンポーネントであってもよい。例えば、タブ２２１〜２２５は、ソフトウェア設計アプリケーションの他の部分を選択的に活性化することが可能である。タブ（Design）２２１はＧＵＩ設計インターフェースを表すことができる。タブ（Source）２２２はビジュアルＧＵＩページにソース・コードを供給することができる。タブ（Preview）２２３は、ＧＵＩページのグラフィカル・プレビューを示すことができる。タブ（Voice）２２４は生成されたＳＵＩコンポーネントを示すことができる。タブ（VoiceXML）２２５は、ＳＵＩエレメントおよび／またはＧＵＩエレメントに対するソース・コードをVoiceXML のような音声使用可能マークアップ言語で供給することができる。

ＧＵＩ２１０は、複数のビジュアル・エレメント２１１〜２１７を有するビジュアル・ページを示す。そのビジュアル・ページは、当初、それらのビジュアル・エレメントに関連した如何なる音声使用可能エレメントも持っていない。音声使用可能エレメントは、ＧＵＩ２３０に示されるように、何らかの開発者援助によって自動的に生成することが可能である。ＧＵＩ２１０において、エレメント２１１は「IntergalacticTravel Reservation System」というタイトルと関連付けられる。エレメント２１２はグラフィック・イメージと関連付けられる。エレメント２１３は、旅行で使う乗物を選択するためのプロンプト（Selectthe vehicle you would like to travel in）と関連付けられる。エレメント２１４は、旅行の乗物に関するユーザ入力を受け取ることができる。エレメント２１５は、目的地を選択するためのプロンプト（Selectyour destination）であってもよい。エレメント２１６は、目的地に関するユーザ入力を受け取ることができる。エレメント２１７はユーザ選択を設定することができる。

ＧＵＩ２３０は、各々がグラフィカル・エレメント２３１〜２３６に関連付けられたビジュアル・セレクタ２４１〜２４６を含む１つのページに対するグラフィカル・セレクタ使用可能プレビューを示す。各ビジュアル・セレクタ２４１〜２４６は、セレクタ識別子または名前、およびデフォルトの音声制御タイプを持つことが可能である。設計者はビジュアル・セレクタ２４１〜２４６を選択し、制御選択ウィンドウ２５５内の音声制御タイプ２５６に対する現在値を見ることが可能である。制御選択エレメントは、グリーティング、プロンプト、ステートメント、文法、コメント、確認事項等を含み得るが、それに限定されない。

ＧＵＩ２３０において、設計者は新しいビジュアル・セレクタを加えるか、あるいは希望しない自動的に生成されたビジュアル・セレクタを削除することが可能である。例えば、ビジュアル・セレクタ２４２がエレメント２３２に対して生成される場合、設計者は手操作でセレクタ２４２を削除することが可能である。同様に、タイトル（Intergalactic TravelReservation System）を含むエレメント２３１に対するセレクタ２４１が自動的に生成されない場合、設計者は手操作でセレクタ２４１をエレメント２３１と関連付けることができる。

一旦設計者がＧＵＩ２３０を編集してしまうと、設計者は、各ビジュアル・セレクタ２４１〜２４６に対するＳＵＩエレメントを自動的に生成することを選ぶことが可能である。この生成は、トランスコード、再使用可能対話コンポーネントと関連した標準化コード等を含む種々の既知の自動コード化技術を使用することが可能である。

ＧＵＩ２６０は、ＧＵＩエレメントから形成された自動的に生成されたＳＵＩエレメントをさらに詳述するために利用することが可能なＳＵＩ開発ツールを示す。特に、ＧＵＩ２６０はコール・フロー開発者インターフェースを表わすことが可能である。ツール２６８の選択は、コール・フローを定義するために、および／または、基本的なコードを修正するために使用すること可能である。ツール２６８は、例えば、それぞれがツール・パレットから選択可能である、開始（Start）、ステートメント（Statement）、プロンプト（Prompt）、コメント（Comment）、確認（Confirmation）、判断（Decision）、処理（Processing）、代理人へ転送（Transferto Agent）、終了（End）、ゴー・ツー（Go To）、およびグローバル・コマンド（Global Commands）を含み得る。

ＧＵＩ２６０のコール・フローは、Intergalactic Travel Reservation System のためのタイトル（IntergalacticTravel…）２６２を含み得る。それは、シャトル（Shuttle）、ロケット（Rocket）、エンタープライズ（Enterprise）およびテレポーター（Teleporter）の基本選択子を有する乗物選択のためのプロンプト（Selectthe vehicle …）２６４も含み得る。この基本選択子は、ＧＵＩエレメント２１４における選択可能な選択子から自動的に生成することが可能である。ＧＵＩ２６０は、ＧＵＩエレメント２１６から生成された月（Moon）、木星（Jupiter）、土星（Saturn）、および火星（Mars）の基本選択子を有する目的地のためのプロンプト（SelectYour Destination）２６６を含み得る。

ＧＵＩ２１０、２２０、および２６０のための配列、レイアウト、および制御エレメントが単に例示を目的として示され、それの派生物および代替物が本発明の範囲内にあると見なされるべきものであることは明らかである。例えば、ＧＵＩ２３０におけるボタンとして示され、選択可能なポップ・アップ・メニューと関連付けられたビジュアル・セレクタ２４１〜２４６は、ほぼ等価な結果を達成するために種々の態様で代替的に具現化することが可能である。

例えば、１つの予測される実施例(図示されてない)では、各ビジュアル・セレクタの名前が、音声制御を選択し得るプル・ダウン選択矢印をリスト・ボックスとして表すことも可能である。別の実施例(図示されてない)では、各ビジュアル・セレクタの名前が、ユーザ選択可能な音声制御タイプを含む吹出しポップアップ・ウィンドウと関連した強調テキストエレメントとして表すことも可能である。さらに別の実施例(図示されてない)では、音声制御および他のＳＵＩ設定を選定し得るウィンドウを呼び出すために選択することが可能な各ビジュアル・セレクタのためのアイコンが表示されることも可能である。

本発明は、ハードウェア、ソフトウェアあるいはハードウェアとソフトウェアの組合せで実現することも可能である。本発明は、１つのコンピュータ・システムにおける集中態様で、或いはいくつもの相互接続されたコンピュータ・システムに種々のエレメントが分布する分散態様で、実現することも可能である。本明細書において開示された方法を実行するように適応した任意の種類のコンピュータ・システムまたは他の装置が適している。ハードウェアとソフトウェアの組合せは、ロードおよび実行されるとき、開示された方法を実行するようにコンピュータ・システムを制御するコンピュータ・プログラムを備えた汎用コンピュータ・システムであってもよい。

本発明は、開示された方法の具現化を可能にする特徴をすべて含み、コンピュータ・システムにロードされるとき、これらの方法を実行することができる、コンピュータ・プログラムとして組み込むことも可能である。この場合のコンピュータ・プログラムは、特定の機能を直接に、または
（ａ）他の言語、コード、または表記法、および
（ｂ）異なる物質的な形体での複製
の一方またはそれの両方をそれの後に、情報処理能力を有するシステムに実行させることを意図された命令セットに関する、任意の言語、コード、または表記法での任意の表現を意味する。

本発明は、それの主旨または本質的な属性から逸脱することなく、他の形式で具体化することも可能である。従って、発明の範囲を表すものとして、本明細書における記載よりも「特許請求の範囲」の記載が参照されるべきである。

開示された本発明の配列の実施例に従って、グラフィカル・ユーザ・インターフェース（ＧＵＩ）エレメントから音声ユーザ・インターフェース（ＳＵＩ）エレメントを生成するシステムの流れ図である。 開示された本発明の配列の実施例に従って、ＧＵＩエレメントをＳＵＩエレメントに変換するための部分的に自動化されたソフトウェア開発ツールのＧＵＩを示す概略図である。

Claims (5)

1. インターフェース内で音声エレメントを作成する方法であって、
   複数のビジュアル・エレメントを有するビジュアル・インターフェースを識別するステップと、
   前記ビジュアル・エレメントの各々に近接してビジュアル・セレクタを表示するステップであって、当該ビジュアル・セレクタは、関連するビジュアル・エレメントのための音声制御タイプをユーザが入力することを可能にする、ステップと、
   表示された各ビジュアル・セレクタに対して、当該ビジュアル・セレクタにおいて指定された音声制御タイプを有する音声エレメントを自動的に生成するステップと、
   を含み、
   前記識別するステップ、前記表示するステップ、および前記生成するステップは、少なくとも１つのマシンにより実行し得る複数のコード・セクションを有する少なくとも１つのコンピュータ・プログラムに従って前記少なくとも１つのマシンにより遂行される、 方法。
2. ビジュアル・インターフェースのビジュアル・エレメントを設計するための、かつ、設計されたビジュアル・エレメントに関連したプログラマム命令を自動的に生成するための、ビジュアル設計ウィンドウと、
   前記ビジュアル・エレメントをグラフィカルに表示するように構成されたセレクタ使用可能ウィンドウであって、前記表示されたビジュアル・エレメントの少なくとも一部分が、表示されたビジュアル・セレクタと関連付けられ、各ビジュアル・セレクタは、ユーザが音声制御タイプを入力することを可能にする、ウィンドウと、
   ビジュアル・セレクタと関連付けられた各ＧＵＩエレメントに対応するＳＵＩエレメントを自動的に生成するためのＳＵＩエレメント生成エンジンであって、各生成されたＳＵＩエレメントが前記ビジュアル・セレクタによって指定された音声制御タイプを有する、ＳＵＩエレメント生成エンジンと、
   を含む、
   ソフトウェア開発システム。
3. 前記自動的に生成されたＳＵＩエレメントに対するコール・フローをグラフィカルに表示するように構成されたコール・フロー設計インターフェースを更に含む、請求項２に記載のソフトウェア開発システム。
4. 前記音声制御タイプの各々が再使用可能ダイアログ・コンポーネントに対応し、前記再使用可能ダイアログ・コンポーネントが、前記ＳＵＩエレメントの各々に対するプログラム命令を自動的に生成するために使用される、請求項２に記載のソフトウェア開発システム。
5. 前記プログラム命令が、ビジュアル・ブラウザによって表現し得るマークアップ言語で書かれ、前記ＳＵＩエレメントが、音声使用可能ブラウザによって表現し得る音声使用可能マークアップ言語で書かれたプログラム命令と関連付けられる、請求項２に記載のソフトウェア開発システム。

Images