JP4705406B2 - マルチモーダル制御装置およびマルチモーダル制御方法 - Google Patents

マルチモーダル制御装置およびマルチモーダル制御方法 Download PDF

Info

Publication number
JP4705406B2
JP4705406B2 JP2005141370A JP2005141370A JP4705406B2 JP 4705406 B2 JP4705406 B2 JP 4705406B2 JP 2005141370 A JP2005141370 A JP 2005141370A JP 2005141370 A JP2005141370 A JP 2005141370A JP 4705406 B2 JP4705406 B2 JP 4705406B2
Authority
JP
Japan
Prior art keywords
input
content
browser
modality
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005141370A
Other languages
English (en)
Other versions
JP2006318287A (ja
Inventor
和雄 佐々木
達郎 松本
愛 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005141370A priority Critical patent/JP4705406B2/ja
Priority to US11/224,033 priority patent/US7657502B2/en
Publication of JP2006318287A publication Critical patent/JP2006318287A/ja
Application granted granted Critical
Publication of JP4705406B2 publication Critical patent/JP4705406B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/251—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、複数のユーザインタフェースに対して、インタフェース毎に設定された一括処理対象となる入力項目の集合（以下、粒度と称す）を保ちながら、各インターフェイスを細かく同期させるマルチモーダル制御方法、それを実現するマルチモーダル制御装置およびプログラムに関する。
インターネットの普及とWeb技術の進歩と共に、ユーザはWebブラウザを使ってインターネット上の様々な情報をWWWサーバ(World Wide Web)から取得し、利用することができるようになってきた。ユーザは、インターネットに接続された端末を用いて、WWWサーバにアクセスし、HTML(Hyper Text Markup Language)という記述言語で記述されコンテンツを取得する。ユーザが使用する端末には、WWWサーバから取得した情報を解釈してコンテンツを画面に表示するWebブラウザを搭載している。
このようなWebシステムは、単純にサーバ上の静的なコンテンツを取得して画面に表示するだけでなく、ユーザがWebブラウザを通じて入力する入力データに基づいてサーバ側でデータベース等への情報処理を行い、その結果を元に動的にコンテンツを生成してブラウザに出力するWebアプリケーションとして進化している。このような構成とすることにより、ユーザはWebブラウザからオンラインショッピング等のインターネット上の各種サービスを手軽に利用できるようになってきている。
一方、これらのWeb技術を電話機などの音声からも利用できるようにするために、VXML(VoiceXML)というコンテンツ記述言語が提案されている。VXMLシステムでは、電話機とWWWサーバの間にVXMLブラウザ(音声応答サーバ)が仲介し、VXMLブラウザがVXMLを解釈してユーザとの音声対話を行うことで、ユーザが音声によりサービスの利用を行うことを可能にしている。
また、近年、Webブラウザや音声等の入出力手段（モーダリティ）を個別に使ってサービス利用するだけでなく、複数のモーダリティを組み合わせて使うことでユーザビリティの向上を目指すマルチモーダルインタフェースが注目されている。
マルチモーダルインタフェースを実現する仕組みとして、出願人は、「モーダル同期制御方法およびマルチモーダルインターフェイスシステム(特願2003-380980)」を提案している。この特願2003-380980に記載のモーダル同期制御方法では、複数のモーダリティで共通のコンテンツオブジェクトから要求元ブラウザのモーダリティ種別に応じたコンテンツ変換規則を適用することで、各モーダリティのコンテンツを生成しており、このことから一方のブラウザのコンテンツが変わるタイミングで、他方のブラウザのコンテンツを変えてコンテンツの同期を行うようにしている。
また、特許文献１（情報提供装置および該装置を実現するプログラム(特開2003-281033)）では、各モーダリティに応じたコンテンツを複合コンテンツとして定義し、モーダリティ種別に応じたコンテンツを複合コンテンツ内から切り出すことで、各モーダリティにおけるコンテンツ生成を行っている。
特開2003-281033号公報
前述した従来のマルチモーダル制御方法に関する発明では、各モーダリティのコンテンツ粒度が同じであることを前提としている。例えば、２つの入力項目を持つドキュメントデータをモーダリティに依存しない抽象的な記述形式で定義し、このような抽象コンテンツを各モーダリティ用コンテンツに変換する場合、変換されたそれぞれのコンテンツも同じ２つの入力項目を持つこととなる。
このため、複数の入力項目を持つコンテンツをWebブラウザとVXMLブラウザとの間で同期させる場合、音声入力の結果をWebブラウザ側に反映させるタイミングは、入力項目すべてに対して入力を完了したタイミングとなる。このため、個々の入力項目に対する音声入力の結果を逐次画面で確認することができないこととなり、マルチモーダルインタフェースの利点が生かせないという問題が発生する。
これを解決する手段として、入力項目毎にコンテンツを生成してWebブラウザおよびVXMLブラウザに実行させるという方法が考えられる。この場合、各入力項目にデータを入力したタイミングで同期させることが可能となる。しかしながら、この方式では、逆にWebブラウザに表示されるコンテンツ粒度が細かくなりすぎ、GUIの一覧性という利点が失われてしまうという問題が発生する。
一方、別の解決手段として、外部モジュールから各ブラウザ内の入力項目のデータを制御する機構を各ブラウザ内に持たせ、一方のブラウザでのデータ入力結果を外部モジュールが取得し、別のブラウザの入力項目データに反映させる方法が考えられる。しかしながら、各ブラウザに入力項目への入力を外部に通知する機構を組み込んだ専用ブラウザが必要となるため、既存のブラウザを使うことができなくなる。
本発明は、かかる課題を解決するものであり、GUIの一覧性を生かしつつ粒度の細かい同期を既存のブラウザを利用して実現することが可能なマルチモーダル制御方法を提供する。
また、さらに、GUIの一覧性については、例えば携帯電話のWebブラウザのように画面サイズが小さい場合に、全入力項目を表示するのではなく複数ページに分解して表示するなど、モーダリティの特性に応じて異なるコンテンツ粒度のモーダリティを同期させることが可能なマルチモーダル制御方法を提供する。
本発明の請求項１に係るマルチモーダル制御装置は、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、を備え、前記入力フォーカス管理手段は、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、前記コンテンツ生成手段は、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とする。
この場合、たとえば、GUIモーダリティ用ブラウザの一覧性を維持しながら、GUIモーダリティ用ブラウザの表示をVXMLブラウザなどの1入力項目ごとの入力データに同期させて入力データを逐次反映して表示することが可能となる。
本発明の請求項２に係るマルチモーダル制御装置は請求項１に記載のマルチモーダル制御装置であって、入力フォーカス管理手段が、データ入力項目に対していずれかのモーダリティからデータの入力がなされたことを検知したことに応じて、入力フォーカス項目の内容を変更することを特徴とする。
この場合、これにより、入力フォーカスを明示的に移動させることなく、複数の入力項目の入力位置を遷移することができるため、ユーザが入力対象の入力項目を意識しなくとも、入力項目に対するデータの入力が可能となる。
本発明の請求項３に係るマルチモーダル制御装置は請求項１または２に記載のマルチモーダル制御装置であって、ブラウザはGUIモーダリティ用ブラウザを含み、GUIモーダリティ用ブラウザに対して、入力フォーカス位置に対応するデータ入力項目を明示するコンテンツを生成することを特徴とする。
この場合、一覧性を備えるGUIモーダリティ用ブラウザ上のどの入力項目が入力フォーカス項目であるのかを容易に確認することができ、データ入力を容易にする。
本発明の請求項４に係るマルチモーダル制御装置は請求項３に記載のマルチモーダル制御装置であって、GUIモーダリティ用ブラウザに対して、途中入力結果のデータを入力フォームに埋め込むことを特徴とする。
この場合、GUIモーダリティ用ブラウザ上に他のブラウザで入力した入力データを逐次反映させることが可能となる。
本発明の請求項５に係るマルチモーダル制御装置は請求項１〜４に記載のマルチモーダル制御装置であって、複数のデータ入力項目から構成されるドキュメントデータから各ブラウザ用のコンテンツを生成する際に、データ入力項目毎に一意な文字列を生成し、各モーダリティに共通する入力用識別子として文字列を設定することを特徴とする。
この場合、ドキュメントデータ内のデータ入力項目を複数のブラウザで同期してデータ入力を行うことが可能となる。また、ドキュメントデータに予め一意な文字列を登録しなくてすむため、ドキュメントデータの変更等のメンテナンスが容易になる。
本発明の請求項６に係るマルチモーダル制御制御は請求項１〜５のいずれかに記載のマルチモーダル制御装置であって、複数のデータ入力項目から構成されるドキュメントデータは、データ入力項目毎にモーダリティ種別に応じたコンテンツが定義された定義ファイルを備え、各モーダリティ種別および入力フォーカス項目に応じて、定義ファイルから該当するデータ入力項目に対応した各モーダリティ用コンテンツを読み出すことを特徴とする。
この場合、たとえば、HTMLコンテンツと細分化されたVXMLコンテンツを予め用意しておき、入力フォーカス項目に応じて適切なコンテンツを生成してブラウザに送信するように構成できる。
本発明の請求項７に係るマルチモーダル制御装置は請求項１〜５のいずれかに記載のマルチモーダル制御装置であって、データ入力項目への途中入力の結果データをマルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする。プログラムは、JavaScript（Javaは登録商標）やVBScript、Ｊａｖａアプレット（Ｊａｖａは登録商標）、ActiveXコントロールなど、実行する環境に応じたものを使用する。
この場合、データ入力項目への途中入力の結果データを同期する他のブラウザに反映させることが可能となる。
本発明の請求項８に係るマルチモーダル制御装置は、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、モーダリティの種別毎に定義されたデータ入力項目範囲と前記入力フォーカス項目に基づいて、前記ドキュメント内のコンテンツ生成範囲を決定する生成範囲管理手段と、前記コンテンツ生成範囲に基づいて、前記ドキュメントデータからコンテンツを生成するコンテンツ生成手段と、前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、を備え、前記入力フォーカス管理手段は、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、前記コンテンツ生成手段は、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とする。
この場合、ドキュメント中のデータ入力項目を複数のページに分割して表示するような場合にも、入力フォーカス項目と表示されるコンテンツとの関連性を適切に維持することができる。
本発明の請求項９に係るマルチモーダル制御方法は、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法であって、前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理ステップと、前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成ステップと、前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信ステップと、を含み、前記入力フォーカス管理ステップは、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、前記コンテンツ生成ステップは、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とする。
本発明の請求項１０に係るマルチモーダル制御方法のプログラムは、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法のプログラムであって、前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理ステップと、前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成ステップと、前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信ステップと、を含み、前記入力フォーカス管理手段は、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、前記コンテンツ生成手段は、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とする。
本発明によれば、既存の音声モーダリティ用ブラウザ(VXMLブラウザ)およびGUI用ブラウザ(Webブラウザ)を使って、GUIの一覧性を生かしながら音声とGUI間の粒度の細かい同期を実現することが可能となる。また、粒度の異なるブラウザ間の入力項目を同期させてデータ入力の効率を高めることができる
本発明に係るマルチモーダル制御方法が採用される実施形態を以下に説明する。
〔第１実施形態〕
図１は、本発明の第１実施例形態に係るマルチモーダル制御装置の全体構成である。
本発明に係るマルチモーダル制御装置は、たとえば、HTMLブラウザおよびVXMLブラウザなどのモーダリティ毎のブラウザおよびマルチモーダル制御部、ドキュメントデータベースから構成される。
この第１実施形態では、HTMLブラウザ10、VXMLブラウザ11の２つのブラウザを備えている。このうち、HTMLブラウザ10は、たとえば、Microsoft社のInternet ExplorerなどのWebブラウザで構成することができ、Webサーバからの情報を取得してユーザ端末上に表示するとともに、所定の入力項目に対してユーザが入力するデータをマルチモーダル制御部に送信し、ユーザが入力したデータに応じて生成されたコンテンツをユーザ端末上に表示するように構成できる。
また、VXMLブラウザ11は、ユーザ端末側に設けられて、マイクとスピーカによりユーザが直接音声をやり取りできるように構成することができ、またサーバ側に配置されて電話経由により利用されるように構成できる。
ドキュメントデータベース32は複数のドキュメントの管理を行うものであり、データベースシステムもしくは一般的なファイルシステム等で実現することができる。このような１つのデータベースシステムまたはファイルシステムに代えて、ネットワーク上のWebアプリケーションから動的に生成されたドキュメントをHTTP経由で取得するような構成とすることもでき、他モジュールが生成するメモリ上のオブジェクトを取得してドキュメントとすることも可能である。
マルチモーダル制御部20は、モーダル管理部21、処理受付部22、入力フォーカス管理部23、入力データ管理部24、内部データオブジェクト格納部25、コンテンツ生成部26、コンテンツ送信部27を備えている。
モーダル管理部21は、複数のブラウザが同期していることを管理するものであり、同期ID、ブラウザ識別子、モーダル名の各項目で構成される同期管理テーブルを管理している。
処理受付部22は、ブラウザからの処理要求を受け付けて、入力フォーカス管理部23、入力データ管理部24、コンテンツ生成部26に処理を振り分ける。処理要求は、例えば、「新規ドキュメントの取得要求」、「途中入力結果の登録要求」、「入力フォーカスの移動要求」、「結果データの登録要求」等がある。要求内容は、例えば、ブラウザから送信されてくる処理要求情報に含まれるURI （Uniform Resource Identifier：情報資源の存在場所）の文字列などから判定することができる。
処理要求のうち新規ドキュメント取得要求は、複数の入力項目から構成される新規ドキュメントを新たにブラウザ側に送信することを指示するための要求である。途中入力結果の登録要求は、入力項目に入力されたデータを登録することを指示するための要求である。入力フォーカスの移動要求は、入力対象となる入力項目を移動することを指示するための要求である。また、結果データの登録要求等は、入力項目に入力されたデータを最終的に提供（Submit）するための要求である。一般的なWWWシステムでは、新規ドキュメントの取得要求と結果データの登録要求から構成されるが、本発明では、途中入力結果の登録要求、入力フォーカスの移動要求が追加されている。
入力フォーカス管理部23は、処理受付部22で受け付けた処理要求のうち、入力フォーカスの移動要求及び途中入力結果登録要求に応じて入力フォーカスを遷移させる処理を行う。ここでは、受け付けたフォーカス位置の移動要求に応じて、現在処理中であるドキュメント中の入力項目を移動し、この移動した入力項目を新たなフォーカス位置として内部データオブジェクト格納部25に登録する。
入力データ管理部24は、処理受付部22で受け付けた処理要求のうち、途中入力結果の登録要求に基づいて、該当する入力項目の途中入力結果を内部データオブジェクト格納部25に登録する。また、処理要求受付部22で受け付けた処理要求が結果データの登録要求である場合は、入力データ管理部24は、受け付けた結果データを結果データフィル31に書き出す。なお、結果データの書き出しは、結果データファイル31への書き出しだけではなく、データベースへの書き込み、もしくはネットワーク上の対応するサービスを行っているサーバに結果データを送信するように構成することもできる。
コンテンツ生成部26は、内部データオブジェクト格納部25の内容に応じて、ドキュメントデータベース32からドキュメントを読み出し、モーダリティの種別に応じたコンテンツ変換処理を行う。コンテンツ変換処理では、HTMLブラウザ10のようなGUIモーダリティに対しては、ドキュメント全体をコンテンツ変換するのに対して、VXMLブラウザ11のような音声モーダリティに対しては、入力フォーカス位置に対応する入力項目をコンテンツ変換する。このため、VXMLブラウザ11に対して変換処理されるコンテンツは、入力フォーカスの移動に伴って、異なる入力項目がコンテンツ変換される。一方、HTMLブラウザ10に対して変換処理されるコンテンツの場合は、入力フォーカスの移動に関わらず、全入力項目がコンテンツ変換される。このとき、入力フォーカスの位置を視覚的に明示するために、現在の入力フォーカスに対応する入力項目の背景色を変更したコンテンツを生成することも可能である。
コンテンツ変換の方法としては、例えば、HTML変換用XSL(Extensible Style sheet Language)とVXML変換用XSLを用意しておき、XSLT(XSL Transformations)を使って変換するなどがある(W3Cのhttp://www.w3.org/TR/xslt)。この場合、どのモーダリティに対応するコンテンツを細分化するかの定義はそれぞれのモーダリティ用XSLに定義することができる。本実施例では、HTMLブラウザ10に対するコンテンツの場合には、ドキュメントデータをそのままコンテンツ変換し、VXMLブラウザ11に対するコンテンツの場合には、入力フォーカスの入力項目のみをコンテンツ変換するように構成している。
コンテンツ送信部27は、コンテンツ生成部26で生成されたコンテンツを、対応するモーダリティのブラウザに送信する。最初のコンテンツリクエスト元であるブラウザに対しては、HTTP（ HyperText Transfer Protocol）リクエストに対するレスポンスとしてコンテンツを送信するのに対して、同期する他のブラウザに対しては、対応するコンテンツを取得するように指示（プッシュ）する。たとえば、ブラウザにURLなどの形式でコンテドキュメント取得要求処理を実行する。
この第１実施形態におけるマルチモーダル制御方法について、図２に示すフローチャートに基づいて説明する。
ステップS10では、処理受付部22によりブラウザからの処理要求を受け付ける。前述したように、ブラウザから送信される処理要求は、新規ドキュメント取得要求、途中入力結果登録要求、入力フォーカス移動要求、結果データ登録要求のいずれかであり、処理要求の如何により、ステップS11〜S14に分岐する。
ブラウザからの処理要求がドキュメント取得要求である場合には、ステップS11に移行する。 新規ドキュメント取得要求処理のフローチャートを図３に示す。
ステップS21では、処理受付部22が受け付けた処理要求に基づいて内部データオブジェクトを生成し、ドキュメント名を登録して内部データオブジェクト格納部25に格納する。
ステップS22では、入力フォーカス管理部23により、入力フォーカス位置フィールドを初期値に設定する。この場合、ドキュメント中に含まれる複数の入力項目のうち、最初の入力項目が選択されるように設定する。あるいは、デフォルトの入力準位を設定可能としておき、デフォルトの入力順位が設定されている場合は、ドキュメント中に含まれる複数の入力項目のうち、デフォルトの入力順位に対応する入力項目が選択されるように設定するようにしてもよい。
ステップS23では、コンテンツ生成部26により各モーダリティに応じたコンテンツを生成する。ここでは、処理受付部22で受け付けた処理要求に基づいて、コンテンツ生成部26はドキュメントデータベース32から該当するドキュメントを呼び出して、各ブラウザに対応するコンテンツに変換する。このとき、生成されたコンテンツが一覧性を備えるGUI系のブラウザに対するコンテンツであるような場合、最初の入力フォーカス位置として設定されている入力項目を視覚的に明示するために、背景色を変更するように構成できる。
ステップS24では、コンテンツ生成部26で生成されたコンテンツを、コンテンツ送信部27により対応するブラウザに送信する。ここでは、コンテンツ生成部26によって生成されたコンテンツを、処理要求があったブラウザに送信するとともに、同期するブラウザに対して対応するコンテンツを取得するようにプッシュする。
初期状態の内部データオブジェクトの例を図８に示す。
図８に示すように、内部データオブジェクトは、ドキュメント名、入力フォーカス、入力データのフィールド名と各フィールドの値とが対応するテーブルとして格納される。
ドキュメント名には、ドキュメントデータベースに格納されているドキュメントを特定する識別情報が格納される。図８の例では、ドキュメントのファイル名‘sheet1.xml’が格納されている。入力フォーカスには、現在の入力順位を表す数字が格納される。図８の例では、初期状態のため’1’が格納されている。入力データには、入力項目に対して各モーダリティから入力された入力内容が、入力項目を識別する情報と対応づけられて格納される。図8の例では、初期状態のため、空白となっている。
ドキュメントデータベース32に格納されているドキュメントの一例を、図９に示す。
ここでは、ドキュメント名＝’sheet1.xml’であり、XML（eXtensible Markup Language）で記述されたドキュメントの例を示す。図9の例は、設備点検項目の一例を示しており、点検の際のチェック項目として、”傷は無いか？”、”磨耗は無いか？”、”ポンプ圧は正常か？”で識別される3項目が存在することが、itemタグにて記述されている。この3項目は、ドキュメント中に含まれるデータ入力項目に該当する。また、図9の例では、inputタグにて、各入力項目に入力されるべき内容を記述している。具体的には、”傷は無いか？”と”磨耗は無いか？”については、”有”あるいは”無”が入力されるべき内容として設定されており、さらに、音声モーダリティ等から”あり”あるいは”ある”と入力された場合に”有”が入力されたと認識し、”なし”あるいは”ない”が入力された場合に”無”が入力されたと認識することが記述されている。また、”ポンプ圧は正常か？”については、”正常”あるいは”異常”が入力されるべき内容として設定されており、さらに、音声モーダリティ等から”せいじょう”が入力された場合に”正常”が入力されたと認識し、”いじょう”が入力された場合に”異常”が入力されたと認識することが記述されている。
コンテンツ生成部26は、処理受付部22により受け付けた処理要求に応じて、ドキュメントデータベース32からドキュメントを呼び出し、HTMLブラウザ10に対しては、HTML変換用XSLを適用することで、HTML変換用XSLに記述された変換規則に従って、図9に示すドキュメントデータから図10に示すような初期状態のHTMLコンテンツを生成する。HTMLブラウザ10に対しては、チェック項目が一覧表示されることが望ましいため、全ての入力項目がHTMLブラウザ10に表示されるように、HTMLコンテンツを生成する。ここでは、まず「チェック内容」および「結果」の欄を配置し、チェック内容の欄には、図9のドキュメントデータのitemタグの中のlabelタグから「傷は無いか？」、「磨耗は無いか？」、「ポンプ圧力は正常か？」を取得して項目名として記述する。それぞれの項目を識別するための項目IDを生成し、各項目に記述する。図10の例では、項目IDは”id”+連番で構成されており、「傷は無いか？」、「磨耗は無いか？」、「ポンプ圧力は正常か？」のぞれぞれの項目idは、”id1”、”id2”、”id3”と生成されている。また、それぞれの項目名について図9のドキュメントデータのitemタグのinput_typeのタグに対応づけれられたinput_typeタグの中のenumerationタグに基づいて入力されるべき入力内容として「有」、「無」または「正常」、「異常」を取得し、入力内容をラジオボタンとして配置する記述を行っている。また、入力終了を指示する際にWebサーバ側に’submit’を送信するための「送信」ボタンを設定するように構成されている。入力フォーカス管理部23が管理する入力フォーカス位置フィールドは初期値であることから、項目名「傷は無いか」に対応する欄に対して、背景色が他の項目の背景色と異なるように設定されている。図10の例では、1つめの入力項目となる”傷は無いか？”について、trタグの中のbgColorタグに”#FFFF00”を設定し、”傷は無いか？”の欄のみを背景職が黄色となるように設定している。このようにして、ドキュメントデータから生成されたHTMLコンテンツは、コンテンツ送信部27からHTMLブラウザ10に送信され、ユーザ端末上において図12(a)のように表示されることとなる。
また、コンテンツ生成部26は、処理受付部22により受け付けた処理要求に応じて、ドキュメントデータベース32からドキュメントを呼び出し、VXMLブラウザ11に対しては、VXML変換用XSLを適用することで、VXML変換用XSLに記述された変換規則に従って、図9に示すドキュメントデータから図11に示すような初期状態のVXMLコンテンツを生成する。VXMLコンテンツの場合、コンテンツ粒度を１つの入力項目ごとに対応させる必要があり、まず、入力フォーカス位置フィールドに"1"が設定されていることから、1つめの入力項目に対してのみVXMLコンテンツを生成する。図11の例を具体的に説明する。まず、blockタグの中のpromptタグにて、音声応答システムから「チェックを開始します」とのアナウンスを音声出力させるための記述を生成する。次に、1つめの入力項目であることを識別するための項目IDを生成する。図11の例では、前述したように、項目IDは"id"+連番で構成されており、1つめの入力項目であることから"id1"が生成される。生成された項目IDは、filed タグのnameタグに記述している。promptタグは、図9のドキュメントデータの1つめのitemタグのlabelタグから"傷はないか？"を取得して、「傷はないか？」の質問を音声出力するための記述を生成している。grammarタグには、生成した識別情報をgrammarのrootタグやruleのidタグに設定すると共に、図9のドキュメントデータで"傷は無いか？"に対応づけられているinput＿type name="type1"にて記述されている内容に基づいて、ruleの内容を記述する。
これにより、「傷はないか」という質問の音声出力に対して、「あり」または「ある」との音声入力があれば、該当する入力項目に「有」が入力されたと判断し、「なし」または「ない」との音声入力があれば、該当する入力項目に「無」が入力されたと判断することが定義されたVXMLコンテンツが生成される。このようなVXMLコンテンツは、コンテンツ送信部27からVXMLブラウザ11に送信され、ユーザ端末上において図12(b)のような対話が行われる（ここでは、一例として、「傷はないか？」の質問に対して、「ない」と音声入力した場合の例を示している）。
図２のフローチャートにおいて、ブラウザからの処理要求が途中入力結果登録要求である場合には、ステップS12に移行する。ここでの途中入力結果登録要求処理のフローチャートを図４に示す。
ステップS31では、処理受付部22が受け付けた処理要求に基づいて、入力データ管理部24が項目IDとその値を取り出して、内部データオブジェクトの入力データフィールドに項目IDとその値を登録する。たとえば、VXMLブラウザ11に対して、図11に示すようなコンテンツを生成し、図12(b)に示すような対話を行って、その結果をHTMLブラウザ11に反映させる場合を考える。この場合、「傷は無いか？」の項目ID’id1’に対する入力データは、「無」であり、このような途中入力結果登録要求がVXMLブラウザ11から送信されてくる。入力データ管理部24は、このような途中入力結果登録要求に基づいて、内部データオブジェクト格納部25を更新し、図13に示すように、内部データオブジェクトの入力データ項目の値を「id1=無」とする。
ステップS32では、入力フォーカス管理部23により、内部データオブジェクトの入力フォーカスフィールドの値をインクリメントする。このことにより、内部データオブジェクトのフォーカス位置は、図13に示すように、’2’となる。
ステップS33では、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。ここでは、途中入力結果登録要求に基づく入力データが反映されたコンテンツを生成することとなる。たとえば、HTMLブラウザ10に対するコンテンツとして、図13の内部データオブジェクトの内容が反映されたものを図14に示す。ここでは、入力項目’id1’に対して「無」のデータが入力された旨を示す’checked’タグが記述され、フォーカス位置フィールドの値に基づいて、２番目の入力項目’id2’"摩耗は無いか"の背景色が変更されている。
また、コンテンツ生成部26は、VXMLブラウザ11に対するコンテンツとして、図15に示すような、次の入力項目である「磨耗は無いか？」（id2）のVXMLコンテンツを生成する。この入力項目’id2’に対応するコンテンツは、入力項目’id1’に対応するコンテンツ（図11）と同様に、コンテンツ粒度を細分化した形式で記述している。
ステップS34では、コンテンツ送信部27により、各ブラウザに対して対応するコンテンツを送信する。この結果、前述した例では、HTMLブラウザ10に対しては、図16(a)に示すように、「傷は無いか？」の入力項目に入力データが反映され、２つの入力項目の背景色が変更されたコンテンツが送信される。また、VXMLブラウザ11に対して、「磨耗はないか？」の音声出力がなされ、これに対する回答を音声入力することにより、図16(b)に示すような対話が行われる。
図２のフローチャートにおいて、ブラウザからの処理要求が入力フォーカス位置移動要求処理である場合には、ステップS13に移行する。ステップS13では、フォーカス位置管理部23によりフォーカス位置移動要求処理を実行する。ここでのフォーカス位置移動要求処理のフローチャートを図５に示す。
ステップS41では、入力フォーカス管理部23は、処理受付部22により受け付けた処理要求から移動コマンドを取り出す。HTMLブラウザ10の場合には、コンテンツ中に入力フォーカスを移動させるためのボタンを生成しておき、これがマウスなどのポインティングデバイスによりクリックされた場合に入力フォーカス位置移動要求を発生するように構成できる。また、ユーザ端末に表示されるコンテンツ中の入力項目位置がマウスなどのポインティングデバイスにより直接クリックされた場合に、フォーカス位置移動要求を発生するように構成できる。VXMLブラウザ11では、「上」、「下」、「右」「左」などのフォーカス位置の移動を指示する音声を認識した場合や、入力項目を直接指定する音声を認識した場合に、これらの指示に対応するフォーカス位置移動要求を発生するように構成できる。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが次項目への移動要求であると判断した場合には、ステップS42に移行する。
ステップS42では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をインクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが前項目への移動要求であると判断した場合には、ステップS43に移行する。
ステップS43では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をデクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが入力項目位置を直接指定する移動要求であると判断した場合には、ステップS44に移行する。
ステップS44では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値を指定された値にセットする。
ステップS45では、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。前述と同様に、HTMLブラウザ10に対しては、一覧性を保持したまま、現在の入力項目（入力フォーカス位置）の背景色を変更したコンテンツとすることができ、また、VXMLブラウザ11に対しては、コンテンツ粒度を細分化して、入力項目ごとにコンテンツを生成するように構成できる。
ステップS46では、コンテンツ送信部27により、生成されたコンテンツを対応するブラウザに送信する。
図２のフローチャートにおいて、ブラウザからの処理要求が結果データ登録要求処理である場合には、ステップS14に移行する。ここでは、入力データ管理部24により結果データ登録要求処理を実行する。ここでの結果データ登録要求処理のフローチャートを図６に示す。
ステップS51では、入力データ管理部24は、処理受付部22により受け付けた処理要求から結果データを取り出す。
ステップS52では、入力データ管理部24は、処理要求から取り出した結果データを結果データファイル31やその他のデータベースなどに書き出す。
ステップS53では、入力データ管理部24は、内部データオブジェクトを削除する。
たとえば、VXMLブラウザ11において、図12(b)、図16(b)に示すような対話が行われ、さらに、項目’id3’についても「正常」の旨の入力が行われた場合、内部データオブジェクトは、図17に示すような状態となっている。すなわち、フォーカス位置フィールドが最終の入力項目である’id3’を示す値の次の値になっており、各入力項目に対する入力データが登録された状態となっている。これに伴って、HTMLコンテンツは、図18に示すように、各入力項目のINPUT属性には’checked’が挿入される。また、VXMLコンテンツは、結果データ登録要求を促すための「以上のチェック結果をセンターに送信しますか？」の音声出力を行い、その回答を待機するためのコンテンツを図19のように生成する。この結果、HTMLブラウザ10には図20(a)に示すように、各入力結果が表示され、送信ボタンの入力を待機する画面が表示されることとなる。また、VXMLブラウザ11では、図20(b)に示すような対話が実行される。
HTMLブラウザ10の送信ボタンが操作された場合、またはVXMLブラウザ11の「以上のチェック結果をセンターに送信しますか？」の音声出力に対してユーザが「はい」との回答を行った場合には、結果データ登録要求処理が行われることとなる。この結果データ登録要求処理に基づいて出力される結果データファイルの例を図21に示す。
前述した各工程において、内部データオブジェクト格納部25に格納された内部データオブジェクトは、コンテンツ生成部26によって、各ブラウザに対応するコンテンツに変換されてコンテンツ送信部27を介して送信される。各ブラウザに対応するコンテンツ生成処理を図７のフローチャートに基づいて説明する。ここで、図7(a)は、HTMLブラウザ10に対するコンテンツ生成工程であり、図7(b)は、VXMLブラウザ11に対するコンテンツ生成工程である。
ステップS61では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメントを読み出す。
ステップS62では、コンテンツ生成部26は、各入力項目にユニークな項目IDを生成し、ドキュメント全体をHTMLコンテンツに変換する。ここで、入力フォーカス管理部23により管理される入力フォーカス位置に基づいて、現在の入力項目の背景色を変更し、入力データ結果に対応する入力項目のINPUT属性に’checked’を挿入することにより、現在の入力項目を明示し、入力済みの結果データをブラウザ上で表示することができる。
ステップS71では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメントを読み出す。
ステップS72では、コンテンツ生成部26は、各入力項目にユニークな項目IDを生成し、入力フォーカスに対応する入力項目のみをVXMLコンテンツに変換する。このことにより、VXMLブラウザ11に送信されるコンテンツの粒度を細分化して、ブラウザに適した粒度でのコンテンツ再生を実現することができる。
なお、この第１実施形態では、音声入力の結果を画面出力する音声主導の場合について記載しているが、これは、通常のVXMLブラウザには、途中入力結果を反映させたコンテンツのプッシュを受けるための入力インターフェイスを備えていないためである。これに対して、Webブラウザの場合はＪａｖａアプレット（Ｊａｖａは登録商標）やJavaScript（Javaは登録商標）、あるいはプラグイン機能等を使ってプッシュを受けるための入力インターフェイスを容易に実現することが可能である。VXMLブラウザ側にこのようなインターフェイスを実装している場合、Webブラウザでの入力結果をダイレクトに音声側に反映させることが可能となるため、Webブラウザ主導によりVXMLブラウザを同期させることも可能となる。この場合、Webブラウザでの途中入力結果をマルチモーダル制御部に通知するための機構が必要となるため、Ｊａｖａアプレット（Ｊａｖａは登録商標）もしくはJavaScript（Javaは登録商標）をコンテンツに含めることが必要である。
また、図３では、処理受付部22においてドキュメント名を内部データオブジェクトに登録し、コンテンツ生成部26が毎回ドキュメントの読み出しを行っているが、別の方法として、処理受付部22でドキュメントの読み出しを行い、読み出したメモリのアドレスを内部データオブジェクトに登録しコンテンツ生成部26で該当メモリを読み出す方法でもよい。
また、上述の実施例では、ドキュメントデータから各モーダリティに対応するコンテンツへ変換する際に、ドキュメントデータの各入力項目に対してユニークな項目IDを自動的に生成するようにしているが、ドキュメントデータに各入力項目毎に項目IDを設定しておく構成としてもよい。
また、変換されるHTMLコンテンツ（図10,図14,図18）におけるFormのAction属性には、submit時の送信先として、結果データ登録要求受け付けURIである/resultをセットするのに対して、VXMLコンテンツ(図11,図15)の場合は、途中入力結果受付URIである/reportをセットしている。また、最終結果をサーバ送信するかどうかを問い合わせるVXMLコンテンツ(図19)の場合は、結果データ登録要求受け付けURIである/resultと共に、それまでに入力された入力データをHTTPのクエリ文字列としてセットする。
〔第２実施形態〕
図22は、本発明の第２実施例形態に係るマルチモーダル制御装置の全体構成である。
この第２実施形態におけるマルチモーダル制御装置は、第１実施形態と同様に、HTMLブラウザ10およびVXMLブラウザ11などのモーダル毎のブラウザおよびマルチモーダル制御部20、ドキュメントデータベース33から構成される。
この第２実施形態においても、HTMLブラウザ10、VXMLブラウザ11の２つのブラウザを備えている。
マルチモーダル制御部20の構成は、第１実施形態とほぼ同様の構成であり、ここでは説明を省略する。
第１実施形態では、XMLにより記述されたドキュメントから入力フォーカスに応じて動的にコンテンツ変換していたのに対して、この第２実施形態では、HTMLコンテンツと細分化されたVXMLコンテンツのそれぞれのコンテンツを予めJSP(Java Server Pages)として用意しておき、入力フォーカスに応じて適切なJSPからコンテンツ生成してブラウザに送信する構成を示す。
HTML用JSPと細分化されたVXML用JSPファイルの対応関係は、ドキュメントデータベース33内のドキュメント定義ファイル(XMLファイル)で定義する(図24)。図24の例では、入力項目のid1に対応するHTML用JSPとVXML用JSPは、HTML1.jspとVXML1.jspであることを示している。
HTML1.jspの例を図25A〜図25Bに示す。また、VXML１.jspの例を図11に示す。図25A〜図25Bでは、内部データオブジェクト内の入力フォーカスと途中入力結果をHTMLコンテンツに反映させるためのJavaプログラムが記述されている。
また、図24ではさらにid2,id3に関する対応関係と共に、最終的に入力項目の入力結果送信を行うためのSubmit確認用コンテンツの対応関係が定義されている。図24におけるVXML4.jspの例を図19に示す。
この第２実施形態におけるマルチモーダル制御部のフローチャートは、第１実施形態とほぼ同様である。ただし、第1実施形態ではドキュメント名を内部データオブジェクトに登録し、コンテンツ生成部26がそれを読み出してコンテンツ変換するのに対して、第２実施形態ではドキュメント定義ファイル名を内部データオブジェクトに登録し、コンテンツ生成部26がそれを読み出し、定義にしたがって該当するJSPファイル名を抽出し、JSPに処理を依頼することでコンテンツを生成して各ブラウザに送信する。図23に第２実施形態における内部データオブジェクトの例を示す。
図26にコンテンツ生成部26の処理フローを示す。ここで、図26(a)は、HTMLブラウザ10に対するコンテンツの生成工程を示すものであり、図26(b)は、VXMLブラウザ11に対するコンテンツの生成工程を示すものである。
ステップS81では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメント定義ファイルを読み出す。
ステップS82では、コンテンツ生成部26は、入力項目の数が内部データオブジェクトの入力フォーカスに一致するitem要素を抽出し、model属性がHTMLであるitemの値をHTML用JSPファイルとして取り出して、JSPに処理を依頼する（内部データオブジェクトをJSPに渡す）。
ステップS83では、JSPが内部データオブジェクトを参照し、現在の入力フォーカス位置に背景色を挿入するとともに、入力済み項目についてINPUT属性としてcheckedを挿入して、HTMLコンテンツを生成する。
ステップS91では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメント定義ファイルを読み出す。
ステップS92では、コンテンツ生成部26は、入力項目の数が内部データオブジェクトの入力フォーカスに一致するitem要素を抽出し、model属性がVXMLであるitemの値をVXML用JSPファイルとして取り出して、JSPに処理を依頼する（内部データオブジェクトをJSPに渡す）。
ステップS93では、JSPが内部データオブジェクトを参照して、現在の入力フォーカス位置に対応するVXMLコンテンツを生成する。
〔第３実施形態〕
本発明の第３実施形態に係るマルチモーダル制御装置の全体構成を図27に示す。
この第３実施形態では、入力項目を１つ１つに細分化するコンテンツと全項目を含むコンテンツの２者択一ではなく、中間の粒度のコンテンツ生成を許す実施例を示す。
第1実施形態および第２実施形態の構成に加えて、マルチモーダル制御部20にコンテンツ粒度を管理するための粒度管理部28を備えた構成となっている。粒度管理部28は、各モーダリティ用に生成したコンテンツの粒度を管理するものであり、モーダリティ毎の細分化粒度を定義したコンテンツ粒度定義ファイル34に基づいて、内部データオブジェクトに生成すべきコンテンツの入力項目の範囲を設定するように構成できる。このコンテンツ粒度定義ファイル34の一例を図34に示す。コンテンツ生成部26は、コンテンツ粒度定義ファイル34に基づいて粒度管理部28が設定した入力項目範囲に基づいて各モーダリティ用のコンテンツを生成することで、たとえば、大きい画面サイズ向けに作成したドキュメントデータを、携帯電話等の画面サイズが制限されたモーダリティ(CHTML)に対して、適当な粒度で細分化して表示することが可能となる。このような粒度が異なるブラウザとして、CHTMLブラウザ12を備える構成について説明する。
この第３実施形態におけるマルチモーダル制御処理のフローチャートを図28に示す。
ステップS101では、処理受付部22によりブラウザからの処理要求を受け付ける。ここで、ブラウザから送信される処理要求は、新規ドキュメント取得要求、途中入力結果登録要求、入力フォーカス移動要求、結果データ登録要求に加えて、ページ移動要求があり、処理要求の如何により、ステップS102〜S106に分岐する。
ブラウザからの処理要求がドキュメント取得要求である場合には、ステップS102に移行する。ステップS102では、処理受付部22により新規ドキュメント取得要求処理を実行する。新規ドキュメント取得要求処理のフローチャートを図29に示す。
ステップS111では、処理受付部22が受け付けた処理要求に基づいて内部データオブジェクトを生成し、ドキュメント名を登録して内部データオブジェクト格納部25に格納する。
ステップS112では、入力フォーカス管理部23により、入力フォーカス位置フィールドを初期値に設定する。
ステップS113では、粒度管理部28がコンテンツ粒度定義ファイル34に基づいて、各モーダリティの入力項目範囲を以下のように設定する。
（１）粒度がALLの場合の入力項目範囲：[入力フォーカス位置]から[入力項目数]
（２）粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（３）粒度がALLでも１でもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS114では、粒度管理部34により設定されたモーダリティごとのコンテンツ粒度により、コンテンツ生成部26が各モーダリティに応じたコンテンツを生成する。ここでは、第１実施形態と同様にして、処理受付部22で受け付けた処理要求に基づいて、コンテンツ生成部26はドキュメントデータベース32から該当するドキュメントを呼び出して、各ブラウザに対応するコンテンツに変換する。
ステップS115では、コンテンツ生成部26で生成されたコンテンツを、コンテンツ送信部27により対応するブラウザに送信する。ここでは、コンテンツ生成部26によって生成されたコンテンツを、処理要求があったブラウザに送信するとともに、同期するブラウザに対して対応するコンテンツを取得するようにプッシュする。このとき、生成されたコンテンツが一覧性を備えるGUI系のブラウザに対するコンテンツであるような場合、最初の入力フォーカス位置として設定されている入力項目を視覚的に明示するために、背景色を変更するように構成できる。
図28のフローチャートにおいて、ブラウザからの処理要求が途中入力結果登録要求である場合には、ステップS103に移行する。ステップS103では、途中入力結果要求処理を実行する。ここでの途中入力結果登録要求処理のフローチャートを図30に示す。
ステップS121では、処理受付部22が受け付けた処理要求に基づいて、入力データ管理部24が項目IDとその値を取り出して、内部データオブジェクトの入力データフィールドに項目IDとその値を登録する。
ステップS122では、入力フォーカス管理部23により、内部データオブジェクトの入力フォーカスフィールドの値をインクリメントする。
ステップS123では、粒度管理部28により、入力フォーカス位置が入力項目範囲を超えたモーダリティの入力項目範囲を以下のように更新する。
・ 粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS124において、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。ここでは、途中入力結果登録要求に基づく入力データが反映されたコンテンツを生成することとなる。
ステップS125において、コンテンツ送信部27は、各ブラウザに対して対応するコンテンツを送信する。
図28のフローチャートにおいて、ブラウザからの処理要求が入力フォーカス位置移動要求処理である場合には、ステップS104に移行する。ステップS104では、フォーカス位置管理部23によりフォーカス位置移動要求処理を実行する。ここでのフォーカス位置移動要求処理のフローチャートを図31に示す。
ステップS131では、入力フォーカス管理部23は、処理受付部22により受け付けた処理要求から移動コマンドを取り出す。前述の実施形態と同様に、HTMLブラウザ10の場合には、コンテンツ中に入力フォーカスを移動させるためのボタンを生成しておき、これがマウスなどのポインティングデバイスによりクリックされた場合に入力フォーカス位置移動要求を発生するように構成できる。また、ユーザ端末に表示されるコンテンツ中の入力項目位置がマウスなどのポインティングデバイスにより直接クリックされた場合に、フォーカス位置移動要求を発生するように構成できる。VXMLブラウザ11では、「上」、「下」、「右」「左」などのフォーカス位置の移動を指示する音声を認識した場合や、入力項目を直接指定する音声を認識した場合に、これらの指示に対応するフォーカス位置移動要求を発生するように構成できる。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが次項目への移動要求であると判断した場合には、ステップS132に移行する。
ステップS132では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をインクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが前項目への移動要求であると判断した場合には、ステップS133に移行する。
ステップS133では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をデクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが入力項目位置を直接指定する移動要求であると判断した場合には、ステップS134に移行する。
ステップS134では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値を指定された値にセットする。
ステップS135では、入力フォーカス位置が入力項目範囲を超えたモーダリティに対して入力項目範囲を以下のように更新する。
（１）粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS136では、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。前述と同様に、HTMLブラウザ10に対しては、一覧性を保持したまま、現在の入力項目（入力フォーカス位置）の背景色を変更したコンテンツとすることができ、また、VXMLブラウザ11に対しては、コンテンツ粒度を細分化して、入力項目ごとにコンテンツを生成するように構成できる。
ステップS137では、コンテンツ送信部27により、生成されたコンテンツを対応するブラウザに送信する。
図30のフローチャートにおいて、ブラウザからの処理要求が結果データ登録要求処理である場合には、ステップS105に移行する。ここでは、入力データ管理部24により結果データ登録要求処理を実行する。ここでの結果データ登録要求処理は、第１実施形態の図６と同様であり、説明を省略する。
図30のフローチャートにおいて、ブラウザからの処理要求がページ移動要求であると判断した場合にはステップS106に移行する。ステップS106では、ページ移動要求処理を実行するものであり、その詳細を図32のフローチャートを用いて説明する。
ステップS141では、粒度管理部28は、処理受付部22により受け付けた処理要求からページ移動に関する移動コマンドを取り出す。ドキュメントに対する粒度が１でもALLでもないようなモーダリティの場合、複数の入力項目を含むページにドキュメントを分割してコンテンツを表示することとなる。したがって、ブラウザに表示されるコンテンツに、次ページに移動するためのボタン、前ページに移動するためのボタンなどを設けて、これらのボタンをマウスなどのポインティングデバイスを用いてクリックすることによって、ページ移動要求を生成するように構成することができる。たとえば、携帯電話やPDAなどの携帯情報端末で閲覧可能なWebページを作成するための記述言語である CHTML（Compact HTML）によるコンテンツを表示する場合に、表示画面が小型であることから、ドキュメントを複数のページに分割して表示する必要がある。このような場合に、たとえば、図35に示すように、次ページを指示するための「次へ」ボタン、前ページを指示するための「前へ」ボタンを設けておき、これらのボタンが操作されることによりページ移動要求を生成するように構成できる。
粒度管理部28は、移動コマンドが次ページへの移動要求であると判断した場合にはステップS142に移行する。
ステップS142では、粒度管理部28により、ページ移動要求の要求元であるモーダリティの入力項目範囲を更新する。ここでも、以下の規則が適用される。
（１）粒度が１の場合の入力項目範囲：[入力フォーカス位置＋１]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力項目範囲の最大値＋１]から[入力項目範囲の最大値＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS143では、入力フォーカス管理部23により、ページ移動要求の要求元であるモーダリティの入力項目範囲の最小値に入力フォーカス位置を設定する。入力フォーカス位置をページ移動に応じて変更しない場合には、ページ移動要求の要求元であるモーダリティにおいて、現在の入力フォーカス位置である入力項目が表示されないという場合が生じることとなるが、このように、入力フォーカス位置を同時に変更することにより、新たなページでの入力が容易となる。
ステップS141において、粒度管理部28は、ページ移動要求構えページへの移動要求であると判断した場合、ステップS144に移行する。
ステップS144では、粒度管理部28により、ページ移動要求の要求元であるモーダリティの入力項目範囲を更新する。ここでは、以下の規則が適用される。
（１）粒度が１の場合の入力項目範囲：[入力フォーカス位置―１]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力項目範囲の最小値―粒度定義数]から[入力項目範囲の最小値―１]
ステップS145では、入力フォーカス管理部23により、ページ移動要求の要求元であるモーダリティの入力項目範囲の最大値に入力フォーカス位置を設定する。この場合も、入力フォーカス位置をページ移動に応じて変更することにより、ページ移動要求の要求元であるモーダリティにおいて、現在の入力フォーカス位置を常に表示して新たなページでの入力を容易にする。
ステップS146では、粒度管理部28により、ページ移動要求の要求元でないモーダリティにおいて、入力フォーカスが入力項目範囲を超えたと判断した場合に、そのモーダリティにおける入力項目範囲を以下のように更新する。
・ 粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数が最大値となる）
ステップS147では、コンテンツ生成部26が、各モーダリティに応じたコンテンツを生成する。
ステップS148では、コンテンツ送信部27により各ブラウザに対応するコンテンツを送信する。
HTMLブラウザ10およびVXMLブラウザ11によるコンテンツ生成処理は、第１実施形態と同様であり、ここではその説明を省略する。
CHTMLブラウザ12に対するコンテンツを生成する処理を図33のフローチャートに基づいて説明する。
ステップS151では、コンテンツ生成部26により内部データオブジェクトに登録されたドキュメントを読み出す。
ステップS152において、コンテンツ生成部26は、各入力項目にユニークな項目IDを生成し、コンテンツ粒度定義ファイル34に定義されているCHTMLの入力項目範囲の入力項目をCHTMLコンテンツに変換する。このとき、ページ移動要求の指示入力を受け付けるために、最初のページには「次へ」ボタン（リンク）を挿入し、途中のページには「前へ」、「次へ」ボタン（リンク）を挿入し、最終ページには「前へ」ボタン（リンク）と「submit」ボタンを挿入する。また、それまでに入力された別ページの入力データをhidden属性のINPUTタグとして挿入することにより、「submit」が指示された場合に、それまでに入力された入力データがすべて結果データとして送信されることとなる。
このようなCHTMLブラウザ12におけるコンテンツ表示例を図35に基づいて説明する。第１実施形態のHTMLブラウザ10で表示したものと同一のドキュメントをCHTMLブラウザ12において表示させる場合に、入力項目範囲が２であるとする。初期状態での内部データオブジェクトは、図36に示すように、ドキュメント名’sheet1.xml’のドキュメントに対して、フォーカス位置フィールドが’1’であり、CHTMLブラウザ12に対する入力項目範囲が１〜２であり、VXMLブラウザ11に対する入力項目範囲が１であるとする。この場合、図35(a)に示すように、入力項目範囲１〜２を表示し、現在の入力項目である「傷は無いか？」の項目の背景色が変更されて表示される。このときのCHTMLコンテンツは、図37に示すような構成となる。このうち、タグ中に「bgColor＝”#FFF00”」と記述されたものが入力フォーカス位置の背景色を変更した記述であり、「a href=”page&command=nextpage”」の記述が次のページへのページ移動要求ボタン（リンク）の記述となっている。
入力項目’id1’（「傷は無いか？」）に対する入力が終わると、内部データオブジェクトは図38に示すような値に更新されている。コンテンツ生成部26は、この内部データオブジェクトに基づいて、図39に示すようなCHTMLコンテンツを生成する。ここでは、背景色を変更するための「bgColor＝”#FFF00”」のタグが、入力項目’id2’に移行している。このようなCHTMLコンテンツは、CHTMLブラウザ12において、図35(b)のように表示される。ここでは、入力項目’id1’に対する入力結果が反映され、現在の入力フォーカス位置が入力項目’id2’に移動していることがわかる。
さらに、入力項目'id2'へのデータ入力が終了した場合には、内部データオブジェクトは図40に示すように、フォーカス位置が'3'となり、CHTMLブラウザ12の入力項目範囲が'3'に設定される。ページ移動要求は、フォーカス位置がブラウザの入力項目範囲を超えた場合にブラウザから自動的にページ移動要求を送信するように構成することも可能であり、また、コンテンツ生成部26側において自動的にページ移動したコンテンツを生成するように構成することも可能である。このような内部データオブジェクトに基づいて生成されたCHTMLコンテンツを、図41に示す。ここで、それ以前に入力された別ページの入力データである入力項目'id1'、'id2'の値がhidden属性を持ったINPUTタグとして挿入されていることから、「submit」が指示された場合にすべての入力データを結果データとして送信することが可能となる。CHTMLブラウザ12における表示画面例は、図35(c)のようになる。

（付記１）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、
前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、
を備えることを特徴とするマルチモーダル制御装置。
（付記２）
前記入力フォーカス管理手段は、データ入力項目に対して前記いずれかのモーダリティからデータの入力がなされたことを検知したことに応じて、入力フォーカス項目の内容を変更することを特徴とする付記１に記載のマルチモーダル制御装置。
（付記３）
前記コンテンツ生成手段において、データ入力項目範囲が１であるモーダリティに対するコンテンツに対して、前記複数のデータ入力項目に対するデータの入力が完了した後に、当該入力データの送信を確認するためのコンテンツを生成することを特徴とする付記２に記載のマルチモーダル制御装置。
このように構成する場合には、入力されたデータの送信手続きを別途作成することなく、複数の入力項目に対するデータの入力が完了した時点で入力データを送信することが可能となる。
（付記４）
前記コンテンツ生成手段は、さらに、送信を確認するためのコンテンツに、前記入力されたデータの内容を送信データとして設定したコンテンツを生成することを特徴とする付記３に記載のマルチモーダル制御装置。
このように構成する場合には、入力項目へのデータの入力が完了した時点で、入力したデータを利用して、所定の送信先に送信することが可能となる。
（付記５）
前記ブラウザはGUIモーダリティ用ブラウザを含み、前記GUIモーダリティ用ブラウザに対して、入力フォーカス位置に対応するデータ入力項目を明示するコンテンツを生成することを特徴とする付記１に記載のマルチモーダル制御装置。
（付記６）
前記GUIモーダリティ用ブラウザに対して、途中入力結果のデータを初期値として入力フォームに埋め込むことを特徴とする付記５に記載のマルチモーダル制御装置。
（付記７）
複数のデータ入力項目から構成されるドキュメントデータから各ブラウザ用のコンテンツを生成する際に、データ入力項目毎に一意な文字列を生成し、各モーダリティに共通する入力用識別子として前記文字列を設定することを特徴とする付記１〜６のいずれかに記載のコンテンツ生成手段
（付記８）
前記複数のデータ入力項目から構成されるドキュメントデータは、データ入力項目毎にモーダリティ種別に応じたコンテンツが定義された定義ファイルを備え、各モーダリティ種別および入力フォーカス項目に応じて、前記定義ファイルから該当するデータ入力項目に対応した各モーダリティ用コンテンツを読み出すことを特徴とする付記１〜７のいずれかに記載のマルチモーダル制御装置。
（付記９）
前記データ入力項目への途中入力の結果データを前記マルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする付記１〜８のいずれかに記載のマルチモーダル制御装置。
（付記１０）
入力フォーカス項目の移動を検出して入力フォーカス項目の移動情報を前記マルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする付記１〜９のいずれかに記載のマルチモーダル制御装置。プログラムは、JavaScript（Javaは登録商標）やVBScript、Ｊａｖａアプレット（Ｊａｖａは登録商標）、ActiveXコントロールなど、実行する環境に応じたものを使用する。
この場合、入力フォーカス項目の移動に伴って、これに基づいた適切なコンテンツを生成することができる。
（付記１１）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
モーダリティの種別毎に定義されたデータ入力項目範囲と前記入力フォーカス項目に基づいて、前記ドキュメント内のコンテンツ生成範囲を決定する生成範囲管理手段と、
前記コンテンツ生成範囲に基づいて、前記ドキュメントデータからコンテンツを生成するコンテンツ生成手段と、
前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、
を備えることを特徴とするマルチモーダル制御装置。
（付記１２）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法であって、
前記ドキュメントデータ内の入力フォーカス項目を管理するステップと、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、
前記生成されたコンテンツを対応するブラウザに送信するステップと、
を含むマルチモーダル制御方法。
（付記１３）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法のプログラムであって、
前記ドキュメントデータ内の入力フォーカス項目を管理するステップと、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、
前記生成されたコンテンツを対応するブラウザに送信するステップと、
を含むマルチモーダル制御方法のプログラム。
以上説明したように、本発明によれば、既存の音声モーダリティ用ブラウザ(VXMLブラウザ)およびGUI用ブラウザ(Webブラウザ)を使って、GUIの一覧性を生かしながら音声とGUI間の粒度の細かい同期を実現することが可能となる。また、粒度の異なるブラウザ間の入力項目を同期させてデータ入力の効率を高めることができる。
第１実施形態の概略構成を示す機能ブロック図。 その動作を示す制御フローチャート。 新規ドキュメント取得要求処理の制御フローチャート。 途中入力結果登録要求処理の制御フローチャート。 入力フォーカス移動要求処理の制御フローチャート。 結果データ登録要求処理の制御フローチャート。 コンテンツ生成処理の制御フローチャート。 初期状態の内部データオブジェクトの説明図。 ドキュメントデータの説明図。 初期状態のHTMLコンテンツの説明図。 初期状態VXMLコンテンツの説明図。 初期状態のブラウザ画面例および対話例の説明図。 データ入力後の内部データオブジェクトの説明図。 データ入力後のHTMLコンテンツの説明図。 データ入力後のVXMLコンテンツの説明図。 データ入力後のブラウザ画面例および対話例の説明図。 データ入力後の内部データオブジェクトの説明図。 データ入力後のHTMLコンテンツの説明図。 データ入力後のVXMLコンテンツの説明図。 データ入力後のブラウザ画面例および対話例の説明図。 結果データの説明図。 第２実施形態の概略構成を示す機能ブロック図。 初期状態の内部データオブジェクトの説明図。 ドキュメント定義ファイルの説明図。 HTML1.jspの説明図。 HTML1.jspの説明図。 コンテンツ生成処理の制御フローチャート。 第３実施形態の概略構成を示す機能ブロック図。 その動作を示す制御フローチャート。 新規ドキュメント取得要求処理の制御フローチャート。 途中入力結果登録要求処理の制御フローチャート。 入力フォーカス移動要求処理の制御フローチャート。 ページ移動要求処理の制御フローチャート。 CHTMLのコンテンツ生成処理の制御フローチャート。 粒度定義ファイルの説明図。 CHTMLブラウザの画面例の説明図。 初期状態の内部データオブジェクトの説明図。 初期状態のCHTMLコンテンツの説明図。 データ入力後の内部データオブジェクトの説明図。 データ入力後のCHTMLコンテンツの説明図。 データ入力後の内部データオブジェクトの説明図。 データ入力後のCHTMLコンテンツの説明図。

Claims (10)

  1. モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
    前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
    前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、
    前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、を備え、
    前記入力フォーカス管理手段は、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、
    前記コンテンツ生成手段は、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とするマルチモーダル制御装置。
  2. 前記入力フォーカス管理手段は、データ入力項目に対して前記いずれかのモーダリティからデータの入力がなされたことを検知したことに応じて、入力フォーカス項目の内容を変更することを特徴とする請求項１に記載のマルチモーダル制御装置。
  3. 前記ブラウザはGUIモーダリティ用ブラウザを含み、前記GUIモーダリティ用ブラウザに対して、入力フォーカス位置に対応するデータ入力項目を明示するコンテンツを生成することを特徴とする請求項１または２に記載のマルチモーダル制御装置。
  4. 前記GUIモーダリティ用ブラウザに対して、途中入力結果のデータを入力フォームに埋め込むことを特徴とする請求項３に記載のマルチモーダル制御装置。
  5. 複数のデータ入力項目から構成されるドキュメントデータから各ブラウザ用のコンテンツを生成する際に、データ入力項目毎に一意な文字列を生成し、各モーダリティに共通する入力用識別子として前記文字列を設定することを特徴とする請求項１〜４のいずれかに記載のコンテンツ生成手段。
  6. 前記複数のデータ入力項目から構成されるドキュメントデータは、データ入力項目毎にモーダリティ種別に応じたコンテンツが定義された定義ファイルを備え、各モーダリティ種別および入力フォーカス項目に応じて、前記定義ファイルから該当するデータ入力項目に対応した各モーダリティ用コンテンツを読み出すことを特徴とする請求項１〜５のいずれかに記載のマルチモーダル制御装置。
  7. 前記データ入力項目への途中入力の結果データを前記マルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする請求項１〜６のいずれかに記載のマルチモーダル制御装置。
  8. モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
    前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
    モーダリティの種別毎に定義されたデータ入力項目範囲と前記入力フォーカス項目に基づいて、前記ドキュメント内のコンテンツ生成範囲を決定する生成範囲管理手段と、
    前記コンテンツ生成範囲に基づいて、前記ドキュメントデータからコンテンツを生成するコンテンツ生成手段と、
    前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、を備え、
    前記入力フォーカス管理手段は、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、
    前記コンテンツ生成手段は、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とするマルチモーダル制御装置。
  9. モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法であって、
    前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理ステップと、
    前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成ステップと、
    前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信ステップと、を含み、
    前記入力フォーカス管理ステップは、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、
    前記コンテンツ生成ステップは、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とするマルチモーダル制御方法。
  10. モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法のプログラムであって、
    前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理ステップと、
    前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成ステップと、
    前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信ステップと、を含み、
    前記入力フォーカス管理手段は、ブラウザからの入力結果登録要求および入力フォーカス移動要求に応じて、入力フォーカスを遷移させ、
    前記コンテンツ生成手段は、前記ドキュメントデータに基づき、GUIモーダリティ用ブラウザに対して前記ドキュメントデータ内の全入力項目を含んだコンテンツを生成すると共に、前記GUIモーダリティ用ブラウザと同期する音声入出力用のブラウザに対して現在の入力フォーカスに対応する入力項目のみを切り出したコンテンツを生成することを特徴とするマルチモーダル制御方法のプログラム。
JP2005141370A 2005-05-13 2005-05-13 マルチモーダル制御装置およびマルチモーダル制御方法 Expired - Fee Related JP4705406B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005141370A JP4705406B2 (ja) 2005-05-13 2005-05-13 マルチモーダル制御装置およびマルチモーダル制御方法
US11/224,033 US7657502B2 (en) 2005-05-13 2005-09-13 Multimodal control device and multimodal control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005141370A JP4705406B2 (ja) 2005-05-13 2005-05-13 マルチモーダル制御装置およびマルチモーダル制御方法

Publications (2)

Publication Number Publication Date
JP2006318287A JP2006318287A (ja) 2006-11-24
JP4705406B2 true JP4705406B2 (ja) 2011-06-22

Family

ID=37420363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005141370A Expired - Fee Related JP4705406B2 (ja) 2005-05-13 2005-05-13 マルチモーダル制御装置およびマルチモーダル制御方法

Country Status (2)

Country Link
US (1) US7657502B2 (ja)
JP (1) JP4705406B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736207B1 (en) * 2008-06-13 2017-08-15 West Corporation Passive outdial support for mobile devices via WAP push of an MVSS URL
US20130063735A1 (en) * 2011-09-12 2013-03-14 International Business Machines Corporation Selective print
JP5711840B1 (ja) * 2014-06-06 2015-05-07 豊田通商株式会社 リレーショナルデータベースを内在するカーネルプログラム、方法及び装置
US10469664B2 (en) 2016-09-21 2019-11-05 Genesys Telecommunications Laboratories, Inc. System and method for managing multi-channel engagements
US9762733B1 (en) 2016-09-21 2017-09-12 Genesys Telecommunications Laboratories, Inc. System and method for recommending communication mediums based on predictive analytics
CN117093692A (zh) * 2023-08-23 2023-11-21 广东技术师范大学 一种基于深度融合的多粒度图像-文本匹配方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154852A (ja) * 1999-10-12 2001-06-08 Internatl Business Mach Corp <Ibm> マルチモーダル・ブラウジングおよび会話型マークアップ言語の実施の方法およびシステム
JP2002077229A (ja) * 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd 情報伝送方法
JP2003044444A (ja) * 2001-07-31 2003-02-14 Nec Corp データサービス方法、データ処理装置および方法、コンピュータプログラム、データ通信システム
JP2003150440A (ja) * 2001-11-13 2003-05-23 Matsushita Electric Ind Co Ltd 複数ユーザインタフェースの同期方法とそのシステム及びプログラム
WO2003073262A1 (en) * 2002-02-27 2003-09-04 Motorola Inc., A Corporation Of The State Of Delaware System and method for concurrent multimodal communication using concurrent multimodal tags
WO2004070616A1 (ja) * 2003-02-03 2004-08-19 Mvp, Inc. 同期プログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110747A (ja) * 1992-09-30 1994-04-22 Sanyo Electric Co Ltd データベースにおけるアプリケーションプログラム作成システム
GB2288041A (en) * 1994-03-23 1995-10-04 Ibm Object linking and embedding over a computer network.
US6195694B1 (en) * 1997-03-13 2001-02-27 International Business Machines Corporation Server for reconfiguring control of a subset of devices on one or more kiosks
US6859451B1 (en) 1998-04-21 2005-02-22 Nortel Networks Limited Server for handling multimodal information
US7283973B1 (en) 1998-10-07 2007-10-16 Logic Tree Corporation Multi-modal voice-enabled content access and delivery system
US7216351B1 (en) 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
US6377913B1 (en) 1999-08-13 2002-04-23 International Business Machines Corporation Method and system for multi-client access to a dialog system
US7685252B1 (en) 1999-10-12 2010-03-23 International Business Machines Corporation Methods and systems for multi-modal browsing and implementation of a conversational markup language
US6573915B1 (en) * 1999-12-08 2003-06-03 International Business Machines Corporation Efficient capture of computer screens
US6957394B1 (en) * 2000-12-01 2005-10-18 Microsoft Corporation Rendering controls of a web page according to a theme
US7028306B2 (en) 2000-12-04 2006-04-11 International Business Machines Corporation Systems and methods for implementing modular DOM (Document Object Model)-based multi-modal browsers
GB2373085B (en) * 2001-03-08 2004-10-06 Ibm Method, computer program and system for style sheet generation
US20040117804A1 (en) 2001-03-30 2004-06-17 Scahill Francis J Multi modal interface
US7020841B2 (en) 2001-06-07 2006-03-28 International Business Machines Corporation System and method for generating and presenting multi-modal applications from intent-based markup scripts
US6801604B2 (en) * 2001-06-25 2004-10-05 International Business Machines Corporation Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
US6839896B2 (en) * 2001-06-29 2005-01-04 International Business Machines Corporation System and method for providing dialog management and arbitration in a multi-modal environment
US6983307B2 (en) 2001-07-11 2006-01-03 Kirusa, Inc. Synchronization among plural browsers
US20030078965A1 (en) * 2001-08-22 2003-04-24 Cocotis Thomas A. Output management system and method for enabling printing via wireless devices
US8799464B2 (en) 2001-12-28 2014-08-05 Motorola Mobility Llc Multi-modal communication using a session specific proxy server
WO2003063137A1 (en) * 2002-01-22 2003-07-31 V-Enable, Inc. Multi-modal information delivery system
US20030218638A1 (en) 2002-02-06 2003-11-27 Stuart Goose Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies
US7210098B2 (en) 2002-02-18 2007-04-24 Kirusa, Inc. Technique for synchronizing visual and voice browsers to enable multi-modal browsing
US7315613B2 (en) 2002-03-11 2008-01-01 International Business Machines Corporation Multi-modal messaging
JP2003281033A (ja) 2002-03-26 2003-10-03 Hitachi Ltd 情報提供装置および該装置を実現するためのプログラム
JP3857611B2 (ja) * 2002-05-20 2006-12-13 富士通株式会社 データ圧縮プログラム、データ圧縮方法、およびデータ圧縮装置
US7096423B2 (en) * 2002-05-31 2006-08-22 Adobe Systems Incorporated Layout-based page capture
JP3814566B2 (ja) 2002-06-20 2006-08-30 キヤノン株式会社 情報処理装置、情報処理方法、制御プログラム
US20060244768A1 (en) * 2002-11-15 2006-11-02 Humanizing Technologies, Inc. Enhanced personalized portal page
US20040128342A1 (en) 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
US6813138B1 (en) * 2003-04-30 2004-11-02 Industrial Technology Research Institute Embedded microelectronic capacitor equipped with geometrically-centered electrodes and method of fabrication
US20050010892A1 (en) 2003-07-11 2005-01-13 Vocollect, Inc. Method and system for integrating multi-modal data capture device inputs with multi-modal output capabilities
JP4462901B2 (ja) 2003-11-11 2010-05-12 富士通株式会社 モーダル同期制御方法およびマルチモーダルインターフェイスシステム
US7552055B2 (en) * 2004-01-10 2009-06-23 Microsoft Corporation Dialog component re-use in recognition systems
US20060165040A1 (en) * 2004-11-30 2006-07-27 Rathod Yogesh C System, method, computer program products, standards, SOA infrastructure, search algorithm and a business method thereof for AI enabled information communication and computation (ICC) framework (NetAlter) operated by NetAlter Operating System (NOS) in terms of NetAlter Service Browser (NSB) to device alternative to internet and enterprise & social communication framework engrossing universally distributed grid supercomputing and peer to peer framework

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154852A (ja) * 1999-10-12 2001-06-08 Internatl Business Mach Corp <Ibm> マルチモーダル・ブラウジングおよび会話型マークアップ言語の実施の方法およびシステム
JP2002077229A (ja) * 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd 情報伝送方法
JP2003044444A (ja) * 2001-07-31 2003-02-14 Nec Corp データサービス方法、データ処理装置および方法、コンピュータプログラム、データ通信システム
JP2003150440A (ja) * 2001-11-13 2003-05-23 Matsushita Electric Ind Co Ltd 複数ユーザインタフェースの同期方法とそのシステム及びプログラム
WO2003073262A1 (en) * 2002-02-27 2003-09-04 Motorola Inc., A Corporation Of The State Of Delaware System and method for concurrent multimodal communication using concurrent multimodal tags
WO2004070616A1 (ja) * 2003-02-03 2004-08-19 Mvp, Inc. 同期プログラム

Also Published As

Publication number Publication date
US7657502B2 (en) 2010-02-02
US20060259450A1 (en) 2006-11-16
JP2006318287A (ja) 2006-11-24

Similar Documents

Publication Publication Date Title
JP5441455B2 (ja) ネットワーク基盤のサービス提供システム
JP4340566B2 (ja) Ｗｅｂページ生成装置、組み込み装置、Ｗｅｂページ生成の制御方法、Ｗｅｂページ生成プログラム及び記録媒体
KR101237622B1 (ko) 분산된 멀티모드 애플리케이션을 구현하기 위한 방법 및 장치
US9361282B2 (en) Method and device for user interface
JP4705406B2 (ja) マルチモーダル制御装置およびマルチモーダル制御方法
JP5321586B2 (ja) アプリケーション拡張システム、拡張方法、拡張プログラム
KR20050100608A (ko) 통신 시스템용 보이스 브라우저 다이얼로그 인에이블러
US20060218480A1 (en) Data output method and system
JP4935658B2 (ja) ブラウザプログラムおよび情報処理装置
JP6595526B2 (ja) コミュニケーション支援装置、方法、及びコンピュータプログラム
JP4440716B2 (ja) 表示データ生成装置、表示装置、表示データ生成システム、表示データ生成装置の制御方法、表示データ生成プログラム、記録媒体、電子装置及び電子装置の制御方法
JP2021197153A (ja) ワードスロットを識別するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
US20060174208A1 (en) User interface in a mobile station
JP2002163143A (ja) 無線サイトのコンテンツ・リフォーマッティング・システム及びその方法
JPWO2007132568A1 (ja) データ処理サーバ及びデータ処理方法
KR20070119153A (ko) 멀티모달을 위한 브라우저 기반의 무선 단말과, 무선단말을 위한 브라우저 기반의 멀티모달 서버 및 시스템과이의 운용 방법
JP2005148807A (ja) モーダル同期制御方法およびマルチモーダルインターフェイスシステム
KR20130008663A (ko) 사용자 인터페이스 방법 및 장치
US20030158898A1 (en) Information processing apparatus, its control method, and program
JP4903078B2 (ja) 電子装置、Ｗｅｂページ生成方法、及びＷｅｂページ生成プログラム
KR20080083543A (ko) 네트워크 관리 시스템 및 그 관리방법
CN1849573B (zh) 控制接口选择的方法和装置
KR102063026B1 (ko) 브라우저간 직접 통신 기반의 웹 서비스 시스템 및 방법
KR102050377B1 (ko) 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트 시스템 및 그에 따른 방법
JP2007102693A (ja) データ管理システム、データ管理装置、データ管理方法、データ管理プログラムおよびそれを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080225

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110311

LAPS Cancellation because of no payment of annual fees