JPH09114623A - ユーザインタフェース設計ツール - Google Patents

Abstract

(57)【要約】 【課題】内部状態によって条件分岐を行うなどの複雑な
動作記述がＧＵＩ操作で行えるようにする。 【解決手段】カードＡ２２０１の表示中に「はい」が音
声入力されたらカードＢ２２０２へ、「いいえ」が音声
入力されたらカードＣ２２０３へ遷移する動作を設計す
る場合、音声認識部品２２０４をカードＡ２２０１上に
作成する。また、変数Ａを作成し、プロトタイプ実行中
に音声認識部品２２０４から変数Ａに認識結果を入力す
るような動作設定を行う。次にカードＡ２２０１上に変
数Ａを参照する分岐部品２２０５を作成し、「はい」
「いいえ」という分岐条件を作成する。次に「はい」な
らカードＢ２２０２へ、「いいえ」ならカードＣ２２０
３へ遷移するように、分岐部品２２０５からカードＢ２
２０２，Ｃ２２０３への各リンクと、音声認識部品２２
０４から分岐部品２２０５へのリンクを設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザからの入力
を受け取り、部品をレイアウトした操作画面をユーザイ
ンタフェース（ＵＩ）として用いたシステムのための画
面の設計、動作の設計をグラフィカルユーザインタフェ
ース（ＧＵＩ）を用いて行い、シミュレーションによる
動作確認を行うのに好適なユーザインタフェース設計ツ
ールに関する。

【０００２】

【従来の技術】部品をレイアウトすることによる操作画
面設計と、動作設計をＧＵＩ操作で実現し、設計通りに
実行するツールは数多くある。

【０００３】例えば、VisualBasic （米国Microsoft 社
の登録商品）を利用すると、ＧＵＩ操作を利用して簡単
にWindows （米国Microsoft 社の登録商品）のプログラ
ミングを行うことができる。

【０００４】また、AUTHORWARE STAR （米国Macromedia
社の登録商品）を利用すると、アイコンを並べるなどの
オーサリング操作で簡単にプレゼンテーションや情報案
内などのシステムを構築することができる。

【０００５】

【発明が解決しようとする課題】しかしVisualBasic な
どのビジュアルプログラミングツールは、複雑な操作を
行うユーザインタフェースを構築できる半面、動作設計
の大部分はプログラムコードを記述して行うため、設計
者のプログラミング習得は必要不可欠である。また、用
意されているオブジェクトはユーザインタフェース操作
画面（ＵＩ操作画面）を構成するためのボタンや部品が
殆どで、例えば音声認識を行うシステムを作るために
は、設計者がプログラミングで行う必要がある。

【０００６】一方、AUTHORWARE STAR などのオーサリン
グツールは、画面の移り変わりなどの動作もＧＵＩ操作
で記述できるが、例えばあるボタンが押されたときの内
部状態によって画面の遷移先が異なるなどの複雑な動作
を記述することは難しい。

【０００７】本発明は上記事情を考慮してなされたもの
でその目的は、ＵＩ操作画面（ユーザインタフェース操
作画面）の設計だけでなく動作の設計もＧＵＩ（グラフ
ィカルユーザインタフェース）操作で行うことができ、
しかも音声認識や音声規則合成などの複雑なＵＩ（ユー
ザインタフェース）も簡単に設計できるユーザインタフ
ェース設計ツールを提供することにある。

【０００８】本発明の他の目的は、内部状態によって条
件分岐を行うなどの複雑な動作記述もＧＵＩ操作で行え
るユーザインタフェース設計ツールを提供することにあ
る。

【０００９】

【課題を解決するための手段】本発明の第１の観点に係
るユーザインタフェース設計ツールは、ユーザインタフ
ェースの操作画面を表す画面オブジェクトを生成及び属
性設定し、当該画面オブジェクト上にボタン、部品等を
表す部品オブジェクトを生成及び属性設定し、適当な位
置に配置することで画面の設計を行い、部品オブジェク
トと画面オブジェクトとの間のリンク付けをすることで
動作の設計を行い、設計したユーザインタフェースのシ
ミュレートを行うユーザインタフェース設計ツールであ
って、音声を出力する音声出力手段と、入力文字列を音
声情報に変換して上記音声出力手段より音声を出力する
部品オブジェクトとしての音声規則合成オブジェクトを
生成する手段と、上記音声規則合成オブジェクトの属性
を設定する手段と、上記音声規則合成オブジェクトの動
作を設計する手段とを備えたことを特徴とする。

【００１０】本発明の第２の観点に係るユーザインタフ
ェース設計ツールは、音を出力するサウンド出力手段
と、指定されたサウンドファイルの音を上記サウンド出
力手段により出力する部品オブジェクトとしてのサウン
ドオブジェクトを生成する手段と、サウンドファイル指
定情報（例えばサウンドファイル名）を含む上記サウン
ドオブジェクトの属性を設定する手段と、上記サウンド
オブジェクトの動作を設計する手段とを備えたことを特
徴とする。

【００１１】本発明の第３の観点に係るユーザインタフ
ェース設計ツールは、シミュレーション時に時間をカウ
ントする部品オブジェクトとしてのタイマオブジェクト
であって、設定された時間にリンク先にメッセージを送
信するタイマオブジェクトを生成する手段と、動作を起
こす時間を含む上記タイマオブジェクトの属性を設定す
る手段と、上記タイマオブジェクトの動作を設計する手
段とを備えたことを特徴とする。

【００１２】本発明の第４の観点に係るユーザインタフ
ェース設計ツールは、利用者が発した音声を入力するた
めの音声入力手段と、この音声入力手段により入力され
た音声を認識して認識結果を決定する部品オブジェクト
としての音声認識オブジェクトを生成する手段と、上記
音声認識オブジェクトの属性を設定する手段と、上記音
声認識オブジェクトの動作を設計する手段とを備えたこ
とを特徴とする。

【００１３】本発明の第５の観点に係るユーザインタフ
ェース設計ツールは、利用者が手書きした文字を入力す
るための手書き文字入力手段と、この手書き文字入力手
段により入力された文字を認識して認識結果を決定する
部品オブジェクトとしての文字認識オブジェクトを生成
する手段と、上記文字認識オブジェクトを画面オブジェ
クト上に配置する手段と、上記文字認識オブジェクトの
属性を設定する手段と、上記文字認識オブジェクトの動
作を設計する手段とを備えたことを特徴とする。

【００１４】本発明の第６の観点に係るユーザインタフ
ェース設計ツールは、シミュレーション時のデータを保
存する部品オブジェクトとしての変数オブジェクトを生
成する手段と、上記変数オブジェクトの属性を設定する
手段と、シミュレーション時に、入力イベントを受けた
部品オブジェクトから、あるいは状態変化を起こした部
品オブジェクトまたは画面オブジェクトから、上記変数
オブジェクトにデータが入力されるように、その入力先
変数オブジェクトと入力データまたは入力データ種別と
を当該部品オブジェクトまたは画面オブジェクトに設定
する手段と、シミュレーション時に変数オブジェクト内
のデータを参照する部品オブジェクトとしての変数利用
オブジェクトであって、参照したデータの内容に従った
動作を起こす変数利用オブジェクトを生成する手段と、
上記変数利用オブジェクトの属性を設定する手段と、上
記変数利用オブジェクトの動作を設計する手段とを備え
たことを特徴とする。

【００１５】本発明の第７の観点に係るユーザインタフ
ェース設計ツールは、上記第６の観点に係るユーザイン
タフェース設計ツールにおける変数利用オブジェクトと
して、シミュレーション時に変数オブジェクト内のデー
タを参照し、その参照したデータの内容をテキストとし
て表示する変数データ表示オブジェクトを適用したこと
を特徴とする。

【００１６】本発明の第８の観点に係るユーザインタフ
ェース設計ツールは、上記第６の観点に係るユーザイン
タフェース設計ツールにおける変数利用オブジェクトと
して、シミュレーション時に変数オブジェクト内のデー
タを参照し、その参照したデータの内容に応じた条件分
岐を起こす分岐オブジェクトを適用すると共に、分岐オ
ブジェクトの条件項目を生成する手段と、分岐オブジェ
クトの動作を条件項目毎に設計する手段とを備えたこと
を特徴とする。

【００１７】本発明の第９の観点に係るユーザインタフ
ェース設計ツールは、上記第４または第５の観点に係る
構成と上記第８の観点に係る構成を組み合わせたもの
で、入力先変数オブジェクトと入力データ種別とを設定
する手段として、シミュレーション時に音声認識オブジ
ェクトまたは文字認識オブジェクトで決定した認識結果
が変数オブジェクトに入力されるように、その入力先変
数オブジェクトと認識結果を表す入力データ種別とを当
該音声認識オブジェクトまたは文字認識オブジェクトに
設定する手段を、分岐オブジェクトの条件項目を生成す
る手段として、複数の認識候補データからなる条件項目
を記述する手段を、分岐オブジェクトの動作を条件項目
毎に設計する手段として、分岐オブジェクトの動作を認
識候補データ毎に設計する手段をそれぞれ適用し、上記
分岐オブジェクトに、変数オブジェクト内のデータを参
照して当該データと上記各認識候補データとを比較して
動作を決定する処理手続きを持たせたことを特徴とす
る。

【００１８】本発明の第１０の観点に係るユーザインタ
フェース設計ツールは、シミュレーション時に複数のリ
ンク先オブジェクトに同時にメッセージ送信する部品オ
ブジェクトとしての並行オブジェクトを生成する手段
と、上記並行オブジェクトの属性を設定する手段と、上
記並行オブジェクトの複数のリンク先オブジェクトを設
定する手段とを備えたことを特徴とする。

【００１９】本発明の第１１の観点に係るユーザインタ
フェース設計ツールは、シミュレーション時にリンク元
の部品オブジェクトがイベントを受けた回数をカウント
する部品オブジェクトとしてのカウンタオブジェクトで
あって、設定された回数をカウントするとリンク先のオ
ブジェクトに対してメッセージを送信するカウンタオブ
ジェクトを生成する手段と、上記カウンタオブジェクト
の動作条件（動作を起こす数）としてのカウント回数値
を含む属性を設定する手段と、リンク元の部品オブジェ
クトから上記カウンタオブジェクトへのリンクを設定す
る手段と、上記カウンタオブジェクトのリンク先オブジ
ェクトを設定する手段とを備えたことを特徴とする。

【００２０】上記第１乃至第５の観点に係るユーザイン
タフェース設計ツールにおいては、部品オブジェクトと
して、入力文字列を音声情報に変換して音声出力手段よ
り音声を出力する音声規則合成オブジェクト、指定され
たサウンドファイルの音をサウンド出力手段により出力
するサウンドオブジェクト、シミュレーション時に時間
をカウントし、設定された時間をカウントするとリンク
先にメッセージを送信するタイマオブジェクト、音声入
力手段により入力された音声を認識して認識結果を決定
する音声認識オブジェクト、または手書き文字入力手段
により入力された文字を認識して認識結果を決定する文
字認識オブジェクトを生成及び属性設定する機能を設け
ることにより、音声規則合成、サウンド出力、設定時間
におけるリンク先へのメッセージ送信、音声認識、及び
文字認識といった複雑なＵＩが簡単に設計できる。

【００２１】ここで、文字認識オブジェクトを除く部品
オブジェクト（音声規則合成オブジェクト、サウンドオ
ブジェクト、タイマオブジェクト、及び音声認識オブジ
ェクト）は、ＵＩ操作画面の構成対象外オブジェクトで
あることから、前記画面オブジェクトとは別に設けた特
定領域に配置・表示される構成とすることで、ＵＩ操作
画面を構成する部品オブジェクトと区別することができ
る。

【００２２】次に、上記第６の観点に係るユーザインタ
フェース設計ツールにおいては、シミュレーション時の
データを保存する変数オブジェクトを生成及び属性設定
する機能と、シミュレーション時に部品オブジェクトが
入力イベントを受けた際に、あるいは部品オブジェクト
または画面オブジェクトが状態変化を起こした際に、そ
のオブジェクトから上記変数オブジェクトにデータが入
力されるように、その入力先変数オブジェクトと入力デ
ータまたは入力データ種別とを設定する機能と、シミュ
レーション時に変数オブジェクト内のデータを参照し、
そのデータの内容に従った動作を起こす変数利用オブジ
ェクトを生成及び属性設定する機能とを設けることによ
り、シミュレーション時には、部品オブジェクトが入力
イベントを受けた際の状態、あるいは部品オブジェクト
または画面オブジェクトが状態変化を起こした際の状態
を変数オブジェクトに保持させて、その状態を変数利用
オブジェクトが当該変数オブジェクトを通して認識する
ことで、その状態に応じた動作を行うことが可能とな
る。即ち、第６の観点に係るユーザインタフェース設計
ツールによれば、内部状態に応じて動作するという複雑
な動作記述がＧＵＩ操作で行える。

【００２３】次に、上記第７の観点に係るユーザインタ
フェース設計ツールにおいては、上記変数利用オブジェ
クトとして変数データ表示オブジェクトを適用すること
で、内部状態を表すデータをテキストとして表示する動
作記述をＧＵＩ操作で行うことができる。

【００２４】次に、上記第８の観点に係るユーザインタ
フェース設計ツールにおいては、上記変数利用オブジェ
クトとして分岐オブジェクトを適用することで、以前の
画面で押されたボタン（部品オブジェクト）の種類など
の情報を変数オブジェクトに保持し、条件分岐させる画
面でその変数オブジェクト内のデータを分岐オブジェク
トが参照して当該データに応じた条件分岐を行わせるこ
とができる。即ち、第８の観点に係るユーザインタフェ
ース設計ツールによれば、シミュレーション中にＵＩを
操作している利用者によって以前の画面で押されたボタ
ンの種類によりその後の画面で条件分岐をするといった
動作を実現するのに必要な複雑な動作記述がＧＵＩ操作
で行える。

【００２５】次に、上記第９の観点に係るユーザインタ
フェース設計ツールにおいては、シミュレーション時に
文字認識オブジェクトまたは音声認識オブジェクトで決
定した認識結果を変数オブジェクトに保持し、条件分岐
させる画面でその変数オブジェクト内のデータを分岐オ
ブジェクトが参照することで当該データに応じた条件分
岐を行うことができる。即ち、第９の観点に係るユーザ
インタフェース設計ツールによれば、シミュレーション
中にＵＩを操作している利用者によって入力された音声
または手書き文字の認識結果により条件分岐をする動作
を実現するのに必要な複雑な動作記述がＧＵＩ操作で行
える。

【００２６】次に、上記第１０の観点に係るユーザイン
タフェース設計ツールにおいては、シミュレーション時
に複数のリンク先オブジェクトに同時にメッセージ送信
する並行オブジェクトを生成及び属性設定する機能を設
けることにより、この並行オブジェクトが起動（活性
化）された際に、当該オブジェクトのリンク先として設
定されている複数のオブジェクトにそれぞれ固有のメッ
セージを送信して、同時に複数の動作を行わせるという
複雑な動作記述がＧＵＩ操作で行える。

【００２７】次に、上記第１１の観点に係るユーザイン
タフェース設計ツールにおいては、シミュレーション時
にリンク元の部品オブジェクトがイベントを受けた回数
をカウントし、設定された回数をカウントするとリンク
先オブジェクトにメッセージ送信するカウンタオブジェ
クトを生成及び属性設定する機能を設けることにより、
リンク元の部品オブジェクトが設定回数だけイベントを
受けると、カウンタオブジェクトからリンク先オブジェ
クトにメッセージを送信して動作を行わせるという複雑
な動作記述がＧＵＩ操作で行える。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態につき
図面を参照して説明する。

【００２９】(A) ユーザインタフェース設計ツールの構
成 まず、ユーザインタフェース設計ツールの構成について
説明する。

【００３０】図１は、本発明の一実施形態に係るユーザ
インタフェース設計ツールの構成を示すブロック図であ
る。この図１に示すユーザインタフェース（ＵＩ）設計
ツールは、音声や音（サウンド）の出力に用いられるス
ピーカなどの出力装置１００と、ＣＲＴディスプレイ、
液晶ディスプレイ等の表示装置１０１と、キーボードや
マウス等の入力手段を用いて実現され、設計時のデータ
等の入力に用いられる入力装置（以下、設計時データ入
力装置と称する）１０２と、設計時及びシミュレーショ
ン時に設計者あるいは利用者とのインタラクティブな対
話を行うプロトタイピングエディタ１０３と、（タッチ
入力用の）タッチパネル、（音声入力用の）マイクロフ
ォン、マウス、キーボード等の入力手段を用いて実現さ
れ、シミュレーション時の情報入力に用いられる入力装
置（以下、シミュレーション時入力装置と称する）１０
４と、設計された画面情報、動作情報及びデータの素材
等を管理するデータベース（ＤＢ）１０５とで構成され
ている。

【００３１】プロトタイピングエディタ１０３は、画面
や動作の設計時の管理を司るエディティング部１０６
と、設計したＵＩの動作確認のためのシミュレーション
時の管理を司るプロトタイプ実行部１０７とで構成され
ている。このエディティング部１０６及びプロトタイプ
実行部１０７の構成については後述する。

【００３２】(A-1) オブジェクトの種類 次に、本実施形態におけるＵＩ設計ツールで利用できる
（オブジェクト指向での）オブジェクトの種類につい
て、図２の画面構成例を参照して説明する。

【００３３】図２に示すように、本実施形態で利用可能
なオブジェクトには、ＵＩ操作画面を表す（画面オブジ
ェクトとしての）カード２００がある他、ＵＩ操作画面
を構成する部品オブジェクトとして、テキストボタン２
０１、テキスト部品２０２、イメージボタン２０３、イ
メージ部品２０４、変数表示テキストボタン２０５、変
数表示テキスト部品２０６、及び文字認識部品２１０が
あり、ＵＩ操作画面を構成する以外の部品オブジェクト
として、音声規則合成部品２０７、サウンド部品２０
８、音声認識部品２０９、タイマ部品２１１、分岐部品
２１２、並行部品２１３、及びカウンタ部品２１４があ
る。

【００３４】カード２００は、テキストボタン２０１、
テキスト部品２０２、イメージボタン２０３、イメージ
部品２０４、変数表示テキストボタン２０５、変数表示
テキスト部品２０６、及び文字認識部品２１０を配置す
る領域を持つ画面用カード２１５と、音声規則合成部品
２０７、サウンド部品２０８、音声認識部品２０９、タ
イマ部品２１１、分岐部品２１２、並行部品２１３、及
びカウンタ部品２１４を配置する領域を持つマルチモー
ダル用カード２１６とで構成されている。

【００３５】このように本実施形態においては、ＵＩ操
作画面の構成対象外となる部品オブジェクトを、ＵＩ操
作画面を構成する部品オブジェクトの配置領域（画面用
カード２１５）とは別に用意された特定領域（マルチモ
ーダル用カード２１６）に配置するようにしている。こ
のため設計者は、２種の部品オブジェクトを画面上で簡
単に識別でき、しかもＵＩ操作画面とのずれが生じない
ため設計しやすくなる。

【００３６】(A-2) マネジャの種類 さて、図１中のエディティング部１０６は、カード２０
０の生成及び管理を行うカードレイアウトマネジャ（Ｃ
ＬＭ）１０８と、カード２００上の部品オブジェクトの
生成を行うパーツ（部品）マネジャ（ＰＭ）１０９とで
構成される。

【００３７】ＣＬＭ１０８は、起動時には、カード２０
０及びカード２００上にレイアウトされた部品オブジェ
クトの編集、及びユーザからのイベント（ボタンをクリ
ックする、音声による入力を行うなど）に対して行われ
る動作処理のためのリンク設定を行う。

【００３８】ＰＭ１０９は、ＣＬＭ１０８より起動さ
れ、ユーザから指定された部品オブジェクトの生成を行
い、カード２００に登録する。部品オブジェクトの管理
はカード２００が行う。

【００３９】次に図１中のプロトタイプ実行部１０７
は、ログマネジャ（ＬＭ）１１０とデバイスマネジャ
（ＤＭ）１１１で構成される。ＬＭ１１０は、ユーザか
らの指示に従ってＣＬＭ１０８により起動され、起動時
にはデバイスマネジャ（ＤＭ）１１１を起動する。ＬＭ
１１０の起動時には、ユーザからのイベントを受けた部
品オブジェクトは、そのメッセージ送信機能により、設
定されたリンク先へメッセージを送る。このメッセージ
送信の繰り返しにより、設計通りにシミュレーションを
行うことができる。

【００４０】なお、図１の構成では、ＣＬＭ１０８とＤ
Ｍ１１１との役割の違いを明確にするために、ＣＬＭ１
０８に対応する設計時データ入力装置１０２とＤＭ１１
１に対応するシミュレーション時入力装置１０４との２
つの入力装置が設けられているが、キーボード、マウス
等の共通の入力手段については共有使用可能である。

【００４１】(B) 設計操作の説明 次にツールの設計操作について説明する。設計操作は、
設計者からの指示に従って図１におけるエディティング
部１０６によって実行される。設計中の状態を、設計モ
ードという。本実施形態のツール上では、部品を配置し
た画面イメージの設計、ユーザとの対話を行うためのマ
ルチモーダル機能の設計、動作シナリオの設計の３つを
以下に述べるように行う必要がある。

【００４２】(B-1) 画面イメージの設計 (B-1-1) ＣＬＭの起動 設計者が本実施形態のツールを立ち上げると、まず図１
におけるＣＬＭ１０８が起動される。ＣＬＭ１０８が起
動されると、図３に示されるように、カードレイアウト
マネジャメニュー（ＣＬＭＭ）３０１とカードレイアウ
トマネジャウィンドウ（ＣＬＭＷ）３０２が表示装置１
０１に画面表示される。ＣＬＭＷ３０２上にはカード２
００が表示される。ＣＬＭＭ３０１には、『カード』
『カード表示』『編集』『情報設定』『リンク』『変
数』『プロトタイプ実行』の各項目が用意されている。

【００４３】図３の画面表示状態で、設計者が設計時デ
ータ入力装置１０２（の例えばマウス）を操作し、ＣＬ
ＭＭ（カードレイアウトマネジャメニュー）３０１中の
『カード』の項目にカーソルを移動させてマウスクリッ
クする（ことで『カード』を選択する）と、当該『カー
ド』に対応するサブメニューがＣＬＭ１０８により表示
される。この『カード』のサブメニューには、例えば
「新規カード」「カード部品呼び出し」「終了」が用意
されている。そこで、設計者がカーソルを「新規カー
ド」へ移動させて選択すると、新規のカードが生成され
る。

【００４４】画面（ＵＩ操作画面）を設計するには、希
望のカード２００を表示させ、（図２に示したような）
画面用カード２１５上に適当な部品オブジェクトを配置
していけばよい。

【００４５】ここで、希望のカードを表示させるには、
まずＣＬＭＭ３０１中の『カード表示』の項目にカーソ
ルを移動させクリックし、当該『カード表示』に対応す
るサブメニューを表示させる。このサブメニューには、
例えば「次カード」「前カード」が用意されている。一
方、作成済みのカードはＤＢ１０５内に作成順の並び
（ここでは論理的な並び）で保持管理されている。そこ
で、設計者が「次カード」を選択すると現在表示中のカ
ードの１枚後に作成したカードが、「前カード」を選択
すると現在表示中のカードの１枚前に作成したカード
が、ＣＬＭ１０８により表示される。

【００４６】このようにして表示されたカードに配置す
る部品オブジェクトを生成する際には、設計者はＣＬＭ
Ｍ３０１の『カード』のサブメニュー「カード部品呼び
出し」を選択する。

【００４７】(B-1-2) ＰＭの起動 さて、「カード部品呼び出し」が選択されると、ＣＬＭ
１０８はＰＭ１０９を起動する。ＰＭ１０９の起動時に
は、図４に示すパーツマネジャメニュー（ＰＭＭ）４０
１が画面表示される。ＰＭＭ４０１には、『テキストボ
タン作成』『テキスト部品作成』『イメージボタン作
成』『イメージ部品作成』『特殊部品作成』『変数利用
部品作成』『終了』の各項目が用意されている。

【００４８】(B-1-3) テキストボタンの作成 図２中の画面用カード２１５内に配置されているテキス
トボタン２０１は設計者の指定した文字列を表示するこ
とができる（手続きを持つ）ボタン形状の部品である。

【００４９】テキストボタン２０１を生成するには、ま
ず設計者が図４に示したＰＭＭ（パーツマネジャメニュ
ー）４０１の『テキストボタン作成』にカーソルを移動
し選択する。これを受けてＰＭ１０９は、画面用カード
２１５（を含むカード２００）の表示状態で、図５に示
されるようにテキストボタン情報設定ダイアログ５０１
を表示する。設計者は、この情報設定ダイアログ５０１
上でテキストボタン２０１の属性を設定する。

【００５０】図５から明らかなように、テキストボタン
２０１を作成するために設定する属性には、部品名、部
品の横サイズ、部品の縦サイズ、カード上のＸ位置（Ｘ
座標）、Ｙ位置（Ｙ座標）、部品の背景色、文字色、文
字フォント（の種類）、テキスト内容、プロトタイプ実
行中（シミュレーション実行中）の状態等がある。プロ
トタイプ実行中の状態とは、例えばカード２００が表示
されたときのテキストボタン２０１の初期状態などであ
る。テキストボタン２０１の状態には、“表示状態”ま
たは“非表示状態”がある。

【００５１】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
テキストボタン情報設定ダイアログ５０１上で入力し、
当該情報設定ダイアログ５０１に設けられたＯＫボタン
５０２をクリックする。するとＰＭ１０９は、入力され
た属性値が設定されたテキストボタン２０１を作成し、
図５に示したように表示中のカード２００内の画面用カ
ード２１５上に表示すると共に、当該カード２００に登
録する。

【００５２】一方、テキストボタン作成をキャンセルし
たい場合には、設計者はＣancel （キャンセル）ボタン
５０３をクリックすればよい。この場合ＰＭ１０９は、
テキストボタン情報設定ダイアログ５０１を非表示に
し、テキストボタン作成処理を中止する。

【００５３】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内の画面用カード２１５）上での位
置指定操作により設定することも可能である。

【００５４】(B-1-4) テキスト部品の作成 図２中の画面用カード２１５内に配置されているテキス
ト部品２０２は、設計者の指定した文字列を表示するこ
とができる（手続きを持つ）ボード形状の部品である。

【００５５】テキスト部品２０２を生成するには、まず
設計者が図４に示したＰＭＭ４０１の『テキスト部品作
成』にカーソルを移動し選択する。以下は、前記したテ
キストボタン２０１の生成の場合と同様である。

【００５６】(B-1-5) イメージボタンの作成 図２中の画面用カード２１５内に配置されているイメー
ジボタン２０３は、設計者の指定したイメージファイル
のデータ（イメージデータ）を表示することができる
（手続きを持つ）部品であり、平常時と押下時のイメー
ジファイル（の例えばファイル名）を指定して、ボタン
状に表現することが可能な部品である。

【００５７】イメージボタン２０３を生成するには、ま
ず設計者が図４に示したＰＭＭ４０１の『イメージボタ
ン作成』にカーソルを移動し選択する。以下は、前記し
たテキストボタン２０１の場合と同様である。なお、イ
メージボタン２０３を作成するために設定する属性に
は、部品名、部品の横サイズ、部品の縦サイズ、カード
上のＸ位置、Ｙ位置、平常時イメージファイル、押下時
イメージファイル、プロトタイプ実行中の状態等があ
る。

【００５８】(B-1-6) イメージ部品の作成 図２中の画面用カード２１５内に配置されているイメー
ジ部品２０４は、設計者の指定したイメージファイルの
データ（イメージデータ）を表示することができる（手
続きを持つ）部品である。

【００５９】イメージ部品２０４を生成するには、まず
設計者が図４に示したＰＭＭ４０１の『イメージ部品作
成』にカーソルを移動し選択する。以下は、前記したテ
キストボタン２０１の場合と同様である。なお、イメー
ジ部品２０４を作成するために設定する属性には、部品
名、部品の横サイズ、部品の縦サイズ、カード上のＸ位
置、Ｙ位置、イメージファイル、プロトタイプ実行中の
状態等がある。

【００６０】(B-1-7) 変数表示テキストボタンの作成 図２中の画面用カード２１５内に配置されている変数表
示テキストボタン２０５は、プロトタイプ実行中、設計
者の指定した変数内の値（変数オブジェクトの保持する
値）を参照し、文字列として表示することができる（手
続きを持つ）ボタン形状の部品である。変数については
後述する。

【００６１】変数表示テキストボタン２０５を生成する
には、まず設計者が図４に示したＰＭＭ４０１の『変数
利用部品作成』にカーソルを移動しクリックする。する
とＰＭ１０９は、『変数利用部品作成』に対応したプル
ダウンメニューを表示する。本実施形態では、このプル
ダウンメニューの項目の１つとして「変数表示テキスト
ボタン作成」が用意されている。

【００６２】設計者が「変数表示テキストボタン作成」
を選択すると、ＰＭ１０９は画面用カード２１５（を含
むカード２００）の表示状態で、図６に示される変数表
示テキストボタン情報設定ダイアログ６０１を表示す
る。設計者は、この情報設定ダイアログ６０１上で変数
表示テキストボタン２０５の属性を設定する。

【００６３】図６から明らかなように、変数表示テキス
トボタン２０５を作成するために設定する属性には、部
品名、部品の横サイズ、部品の縦サイズ、カード上のＸ
位置、Ｙ位置、部品の背景色、文字色、文字フォント、
参照する変数名、プロトタイプ実行中の状態などがあ
る。参照する変数名は、存在する変数（変数オブジェク
ト）の（各カードに共通の）リストである変数名リスト
６０２からクリックして選択する。プロトタイプ実行中
の状態とは、例えばカード２００が表示されたときの変
数表示テキストボタン２０５の初期状態などである。変
数表示テキストボタン２０５の状態には、“表示状態”
または“非表示状態”がある。

【００６４】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
変数表示テキストボタン情報設定ダイアログ６０１上で
入力し、当該情報設定ダイアログ６０１に設けられたＯ
Ｋボタン６０３をクリックする。するとＰＭ１０９は、
入力された属性値が設定された変数表示テキストボタン
２０５を作成して表示中のカード２００内の画面用カー
ド２１５上に表示すると共に、当該カード２００に登録
する。ここで、変数表示テキストボタン２０５上には、
図７に示されるように、（ＬＭ１１０の起動に伴う）プ
ロトタイプ実行中は変数内の文字列として表示される
が、設計中は変数名が文字列として表示される。この変
数名については後述する。

【００６５】変数表示テキストボタン作成をキャンセル
したい場合には、設計者はＣancel（キャンセル）ボタ
ン６０４をクリックすればよい。この場合、ＰＭ１０９
は変数表示テキストボタン情報設定ダイアログ６０１を
非表示にし、変数表示テキストボタン作成処理を中止す
る。

【００６６】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内の画面用カード２１５）上での位
置指定操作により設定することも可能である。

【００６７】(B-1-8) 変数表示テキスト部品の作成 変数表示テキスト部品２０６は、プロトタイプ実行中、
設計者の指定した変数内の値を参照し、文字列として表
示することができる（手続きを持つ）ボード形状の部品
である。変数については後述する。

【００６８】変数表示テキスト部品２０６を生成するに
は、まず設計者が図４に示したＰＭＭ４０１の『変数利
用部品作成』にカーソルを移動しクリックする。すると
ＰＭ１０９は、『変数利用部品作成』に対応したプルダ
ウンメニューを表示する。本実施形態では、このプルダ
ウンメニューの項目の１つとして「変数表示テキスト部
品作成」が用意されている。設計者は「変数表示テキス
ト部品作成」を選択する。以下は、前記した変数表示テ
キストボタン２０５の場合と同様である。

【００６９】(B-2) マルチモーダル機能の設計 本実施形態のＵＩ設計ツールには、本ツールとプロトタ
イプ実行中のユーザとの間でマルチモーダル対話を行う
ための機能がある。本実施形態では、このようなマルチ
モーダル対話の機能（マルチモーダル機能）の設計も、
画面を設計するのと同様に、部品オブジェクトをカード
２００上に配置し、部品オブジェクトの属性を設定する
ことで行えるように構成されている。マルチモーダル機
能のための部品オブジェクトには、図２に示したような
音声規則合成部品２０７、サウンド部品２０８、音声認
識部品２０９等があり、画面（ＵＩ操作画面）構成用の
部品オブジェクトとは区別するため画面用カード２１５
ではなく、マルチモーダル用カード２１６上に配置され
る。但し、文字認識部品２１０はマルチモーダル機能の
ための部品オブジェクトではあっても、画面を構成する
部品オブジェクトであることから、画面用カード２１５
に配置される。

【００７０】(B-2-1) 音声規則合成部品の作成 音声規則合成部品２０７は、シミュレーション時入力装
置１０４（中のキーボードなどの文字列入力手段）から
入力した漢字仮名混じりの文章を、音声に変換してスピ
ーカなどの出力装置１００から音声出力する（手続きを
持つ）部品である。

【００７１】音声規則合成部品２０７を生成するには、
まず設計者が図４に示したＰＭＭ４０１の『特殊部品作
成』にカーソルを移動しクリックする。するとＰＭ１０
９は、『特殊部品作成』に対応したプルダウンメニュー
を表示する。本実施形態では、このプルダウンメニュー
の項目の１つとして「音声規則合成部品作成」が用意さ
れている。

【００７２】設計者が「音声規則合成部品作成」を選択
すると、ＰＭ１０９は図８に示される音声規則合成部品
情報設定ダイアログ８０１を表示する。設計者は、この
情報設定ダイアログ８０１上で音声規則合成部品２０７
の属性を設定する。

【００７３】図８から明らかなように、音声規則合成部
品２０７を作成するために設定する属性には、部品名、
部品の横サイズ、部品の縦サイズ、カード上のＸ位置、
Ｙ位置、声の性別、声の高さ、声の速さ、出力内容の文
章（出力音声内容）、プロトタイプ実行中の状態などが
ある。プロトタイプ実行中の状態とは、例えばカード２
００が表示されたときの音声規則合成部品２０７の初期
状態などである。音声規則合成部品２０７の状態には、
“音声出力状態”または“音声非出力状態”がある。

【００７４】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
音声規則合成部品情報設定ダイアログ８０１上で入力
し、当該情報設定ダイアログ８０１に設けられたＯＫボ
タン８０２をクリックする。するとＰＭ１０９は、入力
された属性値が設定された音声規則合成部品２０７を作
成し、表示中のカード２００内のマルチモーダル用カー
ド２１６上に表示すると共に、当該カード２００に登録
する。

【００７５】音声規則合成部品作成をキャンセルしたい
場合には、設計者はＣancel （キャンセル）ボタン８０
３をクリックすればよい。この場合、ＰＭ１０９は音声
規則合成部品情報設定ダイアログ８０１を非表示にし、
音声規則合成部品作成処理を中止する。

【００７６】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【００７７】(B-2-2) サウンド部品の作成 サウンド部品２０８は、設計者が指定したサウンドファ
イルのデータ（の示す音）をスピーカなどの出力装置１
００から出力する（手続きを持つ）部品である。

【００７８】サウンド部品２０８を生成するには、まず
設計者が、前記した音声規則合成部品２０７の生成時と
同様に、図４に示したＰＭＭ４０１の『特殊部品作成』
にカーソルを移動しクリックする。すると、『特殊部品
作成』に対応したプルダウンメニューが表示される。本
実施形態では、このプルダウンメニューの項目の１つと
して「サウンド部品作成」が用意されている。

【００７９】設計者が「サウンド部品作成」を選択する
と、ＰＭ１０９は図９に示されるサウンド部品情報設定
ダイアログ９０１を表示する。設計者は、この情報設定
ダイアログ９０１上でサウンド部品２０８の属性を設定
する。

【００８０】図９から明らかなように、サウンド部品２
０８を作成するために設定する属性には、部品名、部品
の横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ位
置、サウンドファイル（の指定情報としてのファイル
名）、プロトタイプ実行中の状態などがある。プロトタ
イプ実行中の状態とは、例えばカード２００が表示され
た時のサウンド部品２０８の初期状態などである。サウ
ンド部品２０８の状態には、“サウンド出力状態”また
は“サウンド非出力状態”がある。

【００８１】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
サウンド部品情報設定ダイアログ９０１上で入力し、当
該情報設定ダイアログ９０１に設けられたＯＫボタン９
０２をクリックする。するとＰＭ１０９は、入力された
属性値が設定されたサウンド部品２０８を作成して表示
中のカード２００内のマルチモーダル用カード２１６上
に表示すると共に、当該カード２００に登録する。

【００８２】サウンド部品作成をキャンセルしたい場合
には、設計者はＣancel （キャンセル）ボタン９０３を
クリックすればよい。この場合、ＰＭ１０９はサウンド
部品情報設定ダイアログ９０１を非表示にし、サウンド
部品作成処理を中止する。

【００８３】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【００８４】(B-2-3) タイマ部品の作成 タイマ部品２１１は、設計者が指定した時間に動作を起
こす（手続きを持つ）部品である。

【００８５】タイマ部品２１１を生成するには、まず設
計者が、前記した音声規則合成部品２０７の生成時と同
様に、図４に示したＰＭＭ４０１の『特殊部品作成』に
カーソルを移動しクリックする。すると、『特殊部品作
成』に対応したプルダウンメニューが表示される。本実
施形態では、このプルダウンメニューの項目の１つとし
て「タイマ部品作成」が用意されている。

【００８６】設計者が「タイマ部品作成」を選択する
と、ＰＭ１０９は図１０に示されるタイマ部品情報設定
ダイアログ１００１を表示する。設計者は、この情報設
定ダイアログ１００１上でタイマ部品２１１の属性を設
定する。

【００８７】図１０から明らかなように、タイマ部品２
１１を作成するために設定する属性には、部品名、部品
の横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ位
置、動作を起こす時間（動作時間）、プロトタイプ実行
中の状態などがある。プロトタイプ実行中の状態とは、
例えばカード２００が表示されたときのタイマ部品２１
１の初期状態などである。タイマ部品２１１の状態に
は、“カウント状態”または“非カウント状態”があ
る。

【００８８】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
タイマ部品情報設定ダイアログ１００１上で入力し、当
該情報設定ダイアログ１００１に設けられたＯＫボタン
１００２をクリックする。するとＰＭ１０９は、入力さ
れた属性値が設定されたサウンド部品２０８を作成して
表示中のカード２００内のマルチモーダル用カード２１
６上に表示すると共に、当該カード２００に登録する。

【００８９】サウンド部品作成をキャンセルしたい場合
には、設計者はＣancel （キャンセル）ボタン１００３
をクリックすればよい。この場合、ＰＭ１０９はタイマ
部品情報設定ダイアログ１００１を非表示にし、タイマ
部品作成処理を中止する。

【００９０】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【００９１】(B-2-4) 音声認識部品の作成 音声認識部品２０９は、シミュレーション時入力装置１
０４（中のマイクロフォンなどの音声入力手段）から音
声入力された単語を認識して、認識結果を決定する（手
続きを持つ）部品である。利用方法については、後ほど
(B-4-4) で説明する。

【００９２】音声認識部品２０９を生成するには、まず
設計者が図４に示したＰＭＭ４０１の『特殊部品作成』
にカーソルを移動しクリックする。するとＰＭ１０９
は、『特殊部品作成』に対応したプルダウンメニューを
表示する。本実施形態では、このプルダウンメニューの
項目の１つとして「音声認識部品作成」が用意されてい
る。

【００９３】設計者が「音声認識部品作成」を選択する
と、ＰＭ１０９は図１１に示される音声認識部品情報設
定ダイアログ１１０１を表示する。設計者は、この情報
設定ダイアログ１１０１上で音声認識部品２０９の属性
を設定する。

【００９４】図１１から明らかなように、音声認識部品
２０９を作成するために設定する属性には、部品名、部
品の横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ
位置、プロトタイプ実行中の状態などがある。プロトタ
イプ実行中の状態とは、例えばカード２００が表示され
たときの音声認識部品２０９の初期状態などである。音
声認識部品２０９の状態には、“音声入力受け付け状
態”または“音声入力非受け付け状態”がある。

【００９５】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
音声認識部品情報設定ダイアログ１１０１上で入力し、
当該情報設定ダイアログ１１０１に設けられたＯＫボタ
ン１１０２をクリックする。これを受けてＰＭ１０９
は、入力された属性値が設定された音声認識部品２０９
を作成して表示中のカード２００内のマルチモーダル用
カード２１６上に表示すると共に、当該カード２００に
登録する。

【００９６】音声認識部品作成をキャンセルしたい場合
には、設計者はＣancel （キャンセル）ボタン１１０３
をクリックすればよい。この場合、ＰＭ１０９は音声認
識部品情報設定ダイアログ１１０１を非表示にし、音声
認識部品作成処理を中止する。

【００９７】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【００９８】さて、音声認識部品２０９を用いて音声認
識をするためには、（ＤＢ１０５に保存される）認識単
語辞書（に認識単語）を登録する必要がある。この認識
単語辞書を登録する手順を以下に説明する。

【００９９】まず設計者が、図３に示したＣＬＭＭ（カ
ードレイアウトマネジャメニュー）３０１中の『情報設
定』の項目を選択すると、当該『情報設定』に対応する
サブメニューが表示される。この『情報設定』のサブメ
ニューの項目の１つとして「音声認識単語辞書登録」が
用意されている。

【０１００】設計者が「音声認識単語辞書登録」を選択
すると、ＣＬＭ１０８は図１２に示される辞書登録ダイ
アログ１２０１を表示する。辞書登録ダイアログ１２０
１には、辞書登録ダイアログメニュー１２０２と、ＤＢ
１０５内の認識単語辞書に登録済みの単語のリスト（登
録単語リスト）１２０３と、選択登録単語表示領域１２
０４とがある。辞書登録ダイアログメニュー１２０２に
は、『登録単語作成』『登録単語削除』『終了』の各項
目が用意されている。

【０１０１】設計者が辞書登録ダイアログメニュー１２
０２中の『登録単語作成』を選択すると、ＣＬＭ１０８
は図１２に示される単語入力ダイアログ１２０５を表示
する。設計者は設計時データ入力装置１０２（中のマウ
スやキーボード）を操作して、この単語入力ダイアログ
１２０５上の単語入力領域１２０６に単語を入力し、当
該単語入力ダイアログ１２０５に設けられたＯＫボタン
１２０７を選択する。するとＣＬＭ１０８は、単語入力
ダイアログ１２０５を非表示にすると共に、入力した単
語を登録単語リスト１２０３に追加・表示する。同時に
ＣＬＭ１０８は、この入力単語を音声認識する単語とし
てＤＢ１０５内の認識単語辞書に追加・登録する。

【０１０２】次に、登録済みの単語を削除するには、登
録単語リスト１２０３から削除しようとする単語をクリ
ックして選択し、辞書登録ダイアログメニュー１２０２
中の『登録単語削除』をクリックする。するとＣＬＭ１
０８は、選択された単語を登録単語リスト１２０３及び
ＤＢ１０５内の認識単語辞書から削除する。

【０１０３】また、登録を終了するには、辞書登録ダイ
アログメニュー１２０２中の『終了』を選択する。する
と、辞書登録ダイアログ１２０１は非表示とされる。

【０１０４】本実施例において、認識単語辞書は全ての
カード上の音声認識部品２０９から参照できるようにな
っているが、認識単語辞書内の登録単語毎に、参照可能
な音声認識部品２０９を示す情報を付加することで、音
声認識部品２０９から参照できる単語を各音声認識部品
２０９毎に制限することも可能である。

【０１０５】(B-2-5) 文字認識部品の作成 文字認識部品２１０は、シミュレーション時入力装置１
０４（中のタッチパネルなどの手書き文字入力手段）を
通して文字が手書き入力されると、その入力された文字
を認識して、認識結果を決定する（手続きを持つ）部品
である。利用方法については、後ほど(B-4-5) で説明す
る。

【０１０６】文字認識部品２１０を生成するには、まず
設計者が図４に示したＰＭＭ４０１の『特殊部品作成』
にカーソルを移動しクリックする。するとＰＭ１０９
は、『特殊部品作成』に対応したプルダウンメニューを
表示する。本実施形態では、このプルダウンメニューの
項目の１つとして「文字認識部品作成」が用意されてい
る。

【０１０７】設計者が「文字認識部品作成」を選択する
と、ＰＭ１０９は図１３に示される文字認識部品情報設
定ダイアログ１３０１を表示する。設計者は、この情報
設定ダイアログ１３０１上で文字認識部品２１０の属性
を設定する。

【０１０８】図１３から明らかなように、文字認識部品
２１０を作成するために設定する属性には、部品名、部
品の横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ
位置、認識モード、プロトタイプ実行中の状態などがあ
る。認識モードでは、認識対象を平仮名のみにする、漢
字も認識させる、などの設定を行う。プロトタイプ実行
中の状態とは、例えばカード２００が表示されたときの
文字認識部品２１０の初期状態などである。文字認識部
品２１０の状態には、“文字入力受け付け状態”または
“文字入力非受け付け状態”がある。

【０１０９】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
文字認識部品情報設定ダイアログ１３０１上で入力し、
当該情報設定ダイアログ１３０１に設けられたＯＫボタ
ン１３０２をクリックする。これを受けてＰＭ１０９
は、入力された属性値が設定された文字認識部品２１０
を作成して表示中のカード２００内の画面用カード２１
５上に表示すると共に、当該カード２００に登録する。

【０１１０】文字認識部品作成をキャンセルしたい場合
には、設計者はＣancel （キャンセル）ボタン１３０３
をクリックすればよい。この場合、ＰＭ１０９は文字認
識部品情報設定ダイアログ１３０１を非表示にし、文字
認識部品作成処理を中止する。

【０１１１】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内の画面用カード２１５）上での位
置指定操作により設定することも可能である。

【０１１２】(B-2-6) 分岐部品の作成 分岐部品２１２は、プロトタイプ実行中（シミュレーシ
ョン実行中）、設計者の指定した変数内の値を参照し、
変数の値と当該分岐部品２１２自身が持つ条件リストを
比較して、条件分岐を行う（手続きを持つ）部品であ
る。変数については後ほど(B-3) で説明する。

【０１１３】分岐部品２１２を生成するには、まず設計
者が図４に示したＰＭＭ４０１の『変数利用部品作成』
にカーソルを移動しクリックする。すると、『変数利用
部品作成』に対応したプルダウンメニューが表示され
る。本実施形態では、このプルダウンメニューの項目の
１つとして、「分岐部品作成」が用意されている。

【０１１４】設計者が「分岐部品作成」を選択すると、
ＰＭ１０９は図１４に示される分岐部品情報設定ダイア
ログ１４０１を表示する。設計者は、この情報設定ダイ
アログ１４０１上で分岐部品２１２の属性を設定する。

【０１１５】図１４から明らかなように、分岐部品２１
２を作成するために設定する属性には、部品名、部品の
横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ位
置、参照する変数名、分岐条件リストなどがある。参照
する変数名は、存在する変数の変数名リスト１４０２か
らクリックして選択する。また、分岐部品２１２の分岐
条件は設計者が適宜マウス操作により設定できる。

【０１１６】以下、分岐条件を作成する操作について説
明する。

【０１１７】設計者が分岐部品情報設定ダイアログ１４
０１に設けられた条件作成ボタン１４０３を選択する
と、ＰＭ１０９は条件作成ダイアログ１４０４を表示す
る。設計者は設計時データ入力装置１０２（中のキーボ
ード）を操作して、この条件作成ダイアログ１４０４上
の条件入力領域１４０５に分岐条件をテキスト入力し、
当該条件作成ダイアログ１４０４に設けられたＯＫボタ
ン１４０６を選択する。するとＰＭ１０９は、条件作成
ダイアログ１４０４を非表示にすると共に、入力したテ
キストを分岐条件として（分岐部品２１２に固有の）分
岐条件リスト１４０７に追加・表示する。

【０１１８】次に、作成した分岐条件を削除するには、
分岐条件リスト１４０７から削除しようとする分岐条件
をクリックして選択し、分岐部品情報設定ダイアログ１
４０１中の条件削除ボタン１４１０をクリックする。す
るとＰＭ１０９は、選択された分岐条件を分岐条件リス
ト１４０７から削除する。

【０１１９】さて設計者は、これらの属性値を設計時デ
ータ入力装置１０２（中のマウスやキーボード）を操作
して分岐部品情報設定ダイアログ１４０１上で入力し、
当該情報設定ダイアログ１４０１に設けられたＯＫボタ
ン１４０８をクリックする。するとＰＭ１０９は、入力
された属性値が設定された分岐部品２１２を作成して表
示中のカード２００内のマルチモーダル用カード２１６
上に表示すると共に、当該カード２００に登録する。

【０１２０】分岐部品作成をキャンセルしたい場合に
は、設計者はＣancel （キャンセル）ボタン１４０９を
クリックすればよい。この場合、ＰＭ１０９は分岐部品
情報設定ダイアログ１４０１を非表示にし、分岐部品作
成処理を中止する。

【０１２１】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【０１２２】(B-2-7) 並行部品の作成 並行部品２１３は、動作シナリオ設計の際に複数のリン
ク先部品を設定することができ、プロトタイプ実行中
（シミュレーション実行中）に活性化すると、設定され
たリンク先部品に対してメッセージを送信する（手続き
を持つ）部品である。

【０１２３】並行部品２１３を生成するには、まず設計
者が図４に示したＰＭＭ４０１の『特殊部品作成』にカ
ーソルを移動しクリックする。すると、『特殊部品作
成』に対応したプルダウンメニューが表示される。本実
施形態では、このプルダウンメニューの項目の１つとし
て、「並行部品作成」が用意されている。

【０１２４】設計者が「並行部品作成」を選択すると、
ＰＭ１０９は図１５に示される並行部品情報設定ダイア
ログ１５０１を表示する。設計者は、この情報設定ダイ
アログ１５０１上で並行部品２１３の属性を設定する。

【０１２５】図１５から明らかなように、並行部品２１
３を作成するために設定する属性には、部品名、部品の
横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ位
置、リンク元リスト１５０２がある。このリンク元リス
ト１５０２とは、設計者が設定したリンク元がリンク元
の数に合わせてリスト状に表されているものである。

【０１２６】以下、リンク元を作成する操作について説
明する。

【０１２７】設計者が並行部品情報設定ダイアログ１５
０１に設けられたリンク元作成ボタン１５０３を選択す
ると、リンク元リスト１５０２に新たなリンク元（図１
５の例では、既に作成・登録済みの２つの「リンク元
１」及び「リンク元２」に続く「リンク元３」）が追加
登録・表示される。

【０１２８】次に、作成（登録）したリンク元を削除す
るには、リンク元リスト１５０２から削除しようとする
リンク元をクリックして選択し、並行部品情報設定ダイ
アログ１５０１中のリンク元削除ボタン１５０４をクリ
ックする。するとＰＭ１０９は、選択されたリンク元を
リンク元リスト１５０２から削除する。

【０１２９】さて設計者は、これらの属性値を設計時デ
ータ入力装置１０２（中のマウスやキーボード）を操作
して並行部品情報設定ダイアログ１５０１上で入力し、
当該情報設定ダイアログ１５０１に設けられたＯＫボタ
ン１５０５をクリックする。するとＰＭ１０９は、入力
された属性値が設定された並行部品２１３を作成して表
示中のカード２００内のマルチモーダル用カード２１６
上に表示すると共に、当該カード２００に登録する。

【０１３０】並行部品作成をキャンセルしたい場合に
は、設計者はＣancel （キャンセル）ボタン１５０６を
クリックすればよい。この場合、ＰＭ１０９は並行部品
情報設定ダイアログ１５０１を非表示にし、並行部品作
成処理を中止する。

【０１３１】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【０１３２】(B-2-8) カウンタ部品の作成 カウンタ部品２１４は、プロトタイプ実行中（シミュレ
ーション実行中）、他の部品（部品オブジェクト）にイ
ベントが入った数をカウントし、設定された数に達した
ら、設定されたリンク先部品に対してメッセージを送信
する（手続きを持つ）部品である。

【０１３３】カウンタ部品２１４を生成するには、設計
者が図４に示したＰＭＭ４０１の『特殊部品作成』にカ
ーソルを移動しクリックする。すると、『特殊部品作
成』に対応したプルダウンメニューが表示される。本実
施形態では、このプルダウンメニューの項目の１つとし
て、「カウンタ部品作成」が用意されている。

【０１３４】設計者が「カウンタ部品作成」を選択する
と、ＰＭ１０９は図１６に示されるカウンタ部品情報設
定ダイアログ１６０１を表示する。設計者は、このカウ
ンタ部品情報設定ダイアログ１６０１上でカウンタ部品
２１４の属性を設定する。

【０１３５】図１６から明らかなように、カウンタ部品
２１４を作成するために設定する属性には、部品名、部
品の横サイズ、部品の縦サイズ、カード上のＸ位置、Ｙ
位置、動作を起こす数（カウント数）がある。

【０１３６】設計者は、これらの属性値を設計時データ
入力装置１０２（中のマウスやキーボード）を操作して
カウンタ部品情報設定ダイアログ１６０１上で入力し、
当該情報設定ダイアログ１６０１に設けられたＯＫボタ
ン１６０２をクリックする。するとＰＭ１０９は、入力
された属性値が設定されたカウンタ部品２１４を作成し
て表示中のカード２００内のマルチモーダル用カード２
１６上に表示すると共に、当該カード２００に登録す
る。

【０１３７】カウンタ部品作成をキャンセルしたい場合
には、設計者はＣancel （キャンセル）ボタン１６０３
をクリックすればよい。この場合、ＰＭ１０９はカウン
タ部品情報設定ダイアログ１６０１を非表示にし、カウ
ンタ部品作成処理を中止する。

【０１３８】なお、部品の横サイズ、部品の縦サイズ、
カード上のＸ位置、Ｙ位置などの属性値は、マウスを用
いたカード２００（内のマルチモーダル用カード２１
６）上での位置指定操作により設定することも可能であ
る。

【０１３９】(B-3) 変数機能の設計 本実施形態のＵＩ設計ツールでは変数機能が扱えるよう
になっている。設計者は、例えばマウス操作によって複
数の変数（変数オブジェクト）を作成することができ
る。作成した変数はＣＬＭ１０８によりＤＢ１０５に登
録される。

【０１４０】また本実施形態では、設計者が、部品オブ
ジェクトから変数に値を代入（入力）するように設定す
ることで、その部品オブジェクトは、プロトタイプ実行
中（シミュレーション実行中）にユーザからの入力イベ
ントを受けると、あるいは状態変化を起こすと、指定さ
れた（変数名の）変数に指定されたデータ（または指定
されたデータ種別のデータ）を代入するように構成され
る。変数のデータ（値）は、プロトタイプ実行中、変数
表示テキストボタン２０５、変数表示テキスト部品２０
６、及び分岐部品２１２等で利用される。

【０１４１】(B-3-1) 変数の作成 まず、変数の作成操作について説明する。

【０１４２】この場合、設計者はＣＬＭＭ３０１中の項
目『変数』にカーソルを移動させてクリックし、当該
『変数』に対応するサブメニューを表示させる。このサ
ブメニューには、「変数一覧表示」の項目が含まれてい
る。そこで設計者が「変数一覧表示」を選択すると、図
１７に示される変数一覧ウィンドウ１７０１がＣＬＭ１
０８により表示される。

【０１４３】変数一覧ウィンドウ１７０１には、変数一
覧メニュー１７０２と、変数名のリストを表示する変数
名リスト１７０３と、選択している変数名を表示する選
択変数名表示領域１７０４とがある。変数一覧メニュー
１７０２の項目には『変数作成』『変数削除』『終了』
がある。

【０１４４】設計者が変数一覧メニュー１７０２中の
『変数作成』を選択すると、変数情報設定ダイアログ１
７０５が表示される。変数情報設定ダイアログ１７０５
には、図１７に示されるように、変数名を入力する変数
名入力領域１７０６と、初期値を入力する初期値入力領
域１７０７と、ＯＫボタン１７０８と、Ｃancel （キャ
ンセル）ボタン１７０９とがある。

【０１４５】設計者が、設計時データ入力装置１０２
（中のマウスやキーボード）を操作して、変数情報設定
ダイアログ１７０５中の変数名入力領域１７０６に変数
名を、初期値入力領域１７０７に初期値を文字列で入力
し、ＯＫボタン１７０８を押すと、ＣＬＭ１０８は、入
力された初期値と変数名を持つ変数（変数オブジェク
ト）を作成する。そしてＣＬＭ１０８は、変数情報設定
ダイアログ１７０５を非表示にすると共に、変数一覧ウ
ィンドウ１７０１の変数名リスト１７０３に作成した変
数名を追加・表示する。

【０１４６】次に、作成した変数の削除操作について説
明する。

【０１４７】作成した変数を削除するには、まず設計者
は、変数名リスト１７０３から削除しようとする（変数
の）変数名をクリックして選択する。するとＣＬＭ１０
８は、設計者が選択した変数名を変数一覧ウィンドウ１
７０１中の選択変数名表示領域１７０４に表示する。こ
の状態で設計者は、変数一覧メニュー１７０２中の『変
数削除』を選択する。するとＣＬＭ１０８は、選択され
た変数名を変数名リスト１７０３から削除する。

【０１４８】また、変数の作成操作（作成／削除操作）
を終了するには、変数一覧メニュー１７０２中の『終
了』を選択する。するとＣＬＭ１０８は、変数一覧ウィ
ンドウ１７０１を非表示にして変数の作成操作（作成／
削除操作）を終了する。

【０１４９】(B-3-2) 変数への代入値設定／解除 次に、部品オブジェクトから変数への代入値設定操作に
ついて、プロトタイプ実行中に画面中のボタンを押すこ
とで、変数への代入値入力を可能とするための設計操作
を例に、図１８を参照して説明する。

【０１５０】ここでは、図１８中のテキストボタン１８
０１から変数に代入値を設定するものとする。この場
合、まず設計者はテキストボタン１８０１をマウスでク
リックして選択する。

【０１５１】次に設計者は、ＣＬＭＭ３０１中の項目
『変数』にカーソルを移動させクリックし、当該『変
数』に対応するサブメニューを表示させる。このサブメ
ニューには、「代入先設定」の項目が含まれている。そ
こで設計者が「代入先設定」を選択すると、図１８に示
される代入先変数設定ダイアログ１８０２がＣＬＭ１０
８により表示される。

【０１５２】代入先変数設定ダイアログ１８０２には、
存在する変数名のリストを表示する変数名リスト１８０
３と、選択している変数名を表示する選択変数名表示領
域１８０４と、プロトタイプ実行時にテキストボタンか
ら変数に代入する値を入力する代入値入力領域１８０５
と、ＯＫボタン１８０６と、Ｃancel （キャンセル）ボ
タン１８０７とがある。

【０１５３】設計者が変数名リスト１８０３上の代入先
とする（変数の）変数名をクリックして選択すると、Ｃ
ＬＭ１０８は、その選択された変数名を選択変数名表示
領域１８０４に表示する。ここで設計者が、設計時デー
タ入力装置１０２（中のマウスやキーボード）を操作し
て、代入先変数設定ダイアログ１８０２中の代入値入力
領域１８０５に代入値を文字列で入力し、ＯＫボタン１
８０６を押すと、ＣＬＭ１０８は、代入先変数設定ダイ
アログ１８０２を非表示にして、テキストボタン１８０
１に、先に選択変数名表示領域１８０４に表示されてい
た選択変数名（代入先変数）と代入値入力領域１８０５
に入力された代入値とを設定する。

【０１５４】次に、変数への代入を解除する場合につい
て説明する。

【０１５５】変数への代入を解除しようとする場合、設
計者は前記した変数への代入値設定の場合と同様に、テ
キストボタン１８０１をマウスでクリックして選択した
後、ＣＬＭＭ３０１中の項目『変数』にカーソルを移動
させてマウスをクリックし、当該『変数』に対応するサ
ブメニューを表示させる。このサブメニューには、「代
入先解除」の項目が含まれている。そこで設計者が「代
入先解除」を選択すると、ＣＬＭ１０８は、テキストボ
タン１８０１に設定されていた代入先変数（の変数名と
代入値）を当該テキストボタン１８０１から削除し、変
数への代入を解除する。

【０１５６】(B-4) 動作シナリオの設計 次に、動作シナリオ（処理手順）の設計について説明す
る。

【０１５７】本実施形態における動作シナリオの設計
は、例えばマウス操作によってオブジェクト間にリンク
を設定することで行われる。リンクには部品オブジェク
トからカード（画面オブジェクト）へのリンクと、部品
オブジェクトから部品オブジェクトへのリンクがある。

【０１５８】(B-4-1) 部品オブジェクトからカードへの
リンク設定 まず、部品オブジェクトからカードへのリンク設定操作
について、プロトタイプ実行中に画面上のボタンを押す
と他の画面に遷移する、という動作を設計する場合のリ
ンク設定操作を例に、図１９を参照して説明する。

【０１５９】ここでは、図１９中のテキストボタン１９
０１を押すと他の画面に遷移する動作を設計するものと
する。

【０１６０】この場合、設計者はリンク元となるテキス
トボタン１９０１をマウスでクリックして選択する。次
に設計者はＣＬＭＭ３０１中の項目『リンク』にカーソ
ルを移動させてクリックし、当該『リンク』に対応する
サブメニューを表示させる。このサブメニューには、
「リンク設定」の項目が含まれている。そこで設計者が
「リンク設定」を選択すると、ＯＫまたはＣancel （キ
ャンセル）を選択入力するためのリンクダイアログ１９
０２がＣＬＭ１０８により表示される。

【０１６１】この状態で設計者は、ＣＬＭＭ３０１中の
『カード表示』の項目にカーソルを移動させクリック
し、「次カード」「前カード」の項目を含むサブメニュ
ーを表示させる。そして設計者は、「次カード」または
「前カード」を適宜選択することで、即ち前記(B-1-1)
で述べた方法により、図１９に示すように遷移先（リン
ク先）とするカード１９０４を表示させ、しかる後にリ
ンクダイアログ１９０２に設けられたＯＫボタン１９０
３を選択する。するとＣＬＭ１０８は、リンクダイアロ
グ１９０２を非表示にすると共に、設計者が指定した部
品オブジェクトであるテキストボタン１９０１からカー
ド１９０４へのリンク１９０５を設定する。同時にＣＬ
Ｍ１０８は、テキストボタン１９０１からカード１９０
４へ送信すべき所定の（デフォルトの）メッセージであ
る“表示状態”のメッセージを当該テキストボタン１９
０１に設定する。

【０１６２】明らかなように、図１９における操作のリ
ンク元をテキストボタン１９０１ではなくて、図２中の
音声規則合成部品２０７とした場合には、プロトタイプ
実行中は、規則合成音の出力が終了するとカード１９０
４への画面遷移が起こることになる。

【０１６３】同様に、図１９における操作のリンク元を
図２中のサウンド部品２０８とした場合には、プロトタ
イプ実行中は、サウンドの出力が終了するとカード１９
０４への画面遷移が起こることになる。

【０１６４】同様に、図１９における操作のリンク元を
図２中のタイマ部品２１１とした場合には、プロトタイ
プ実行中は、設定した時間になるとカード１９０４への
画面遷移が起こることになる。

【０１６５】(B-4-2) 部品オブジェクトから部品オブジ
ェクトへのリンク設定 次に、部品オブジェクトから部品オブジェクトへのリン
ク設定操作について、プロトタイプ実行中に画面上のボ
タンを押すと音声が出力される、という動作を設計する
場合のリンク設定操作を例に、図２０を参照して説明す
る。

【０１６６】ここでは、図２０中のテキストボタン２０
０１を押すと音声が出力される動作を設計するものとす
る。

【０１６７】この場合、設計者はリンク元となるテキス
トボタン２００１をマウスでクリックして選択する。次
に設計者はＣＬＭＭ３０１中の項目『リンク』にカーソ
ルを移動させてクリックし、当該『リンク』に対応する
サブメニューを表示させる。ここで設計者が『リンク』
に対応するサブメニューから「リンク設定」を選択する
と、ＯＫまたはＣancel （キャンセル）を選択入力する
ためのリンクダイアログ２００２がＣＬＭ１０８により
表示される。

【０１６８】この状態で設計者は、リンク先とする音声
規則合成部品２００３をクリックして選択し、しかる後
にリンクダイアログ２００２に設けられたＯＫボタン２
００４を選択する。するとＣＬＭ１０８は、選択された
音声規則合成部品２００３に送信するメッセージを設定
するためのメッセージ設定ダイアログ２００５を表示す
る。このメッセージは状態を指示するもので、音声規則
合成部品２００３には、“音声出力状態”または“音声
非出力状態”がある。

【０１６９】ここでは、テキストボタン２００１を押す
と音声が出力される動作を設計することから、設計者は
メッセージ設定ダイアログ２００５から“音声出力状
態”を選択し、当該ダイアログ２００５に設けられたＯ
Ｋボタン２００６を押す。するとＣＬＭ１０８は、リン
クダイアログ２００２とメッセージ設定ダイアログ２０
０５を非表示にすると共に、設計者が指定したテキスト
ボタン２００１から音声規則合成部品２００３へのリン
ク２００７を設定する。同時にＣＬＭ１０８は、設計者
が選択したテキストボタン２００１から音声規則合成部
品２００３へ送信すべき“音声出力状態”のメッセージ
を当該テキストボタン２００１に設定する。なお、テキ
ストボタン２００１を押すと音声出力が停止されるとい
う動作を設計する場合には、メッセージ設定ダイアログ
２００５から“音声非出力状態”を選択すればよい。

【０１７０】以上は、（図２中の音声規則合成部品２０
７に相当する）音声規則合成部品２００３をテキストボ
タン２００１のリンク先とした場合であるが、テキスト
ボタン２００１のリンク先として、図２中のテキストボ
タン２０１、テキスト部品２０２、イメージボタン２０
３、イメージ部品２０４、変数表示テキストボタン２０
５、または変数表示テキスト部品２０６を設定する場合
も操作は同様である。この場合、メッセージには、“表
示状態”または“非表示状態”がある。

【０１７１】リンク先に図２中のサウンド部品２０８を
設定する場合も操作は同様であり、メッセージには、
“サウンド出力状態”または“サウンド非出力状態”が
ある。

【０１７２】リンク先に図２中の音声認識部品２０９を
設定する場合も操作は同様であり、メッセージには、
“音声入力受け付け状態”または“音声入力非受け付け
状態”がある。

【０１７３】リンク先に文字認識部品２１０を設定する
場合も操作は同様であり、メッセージには、“文字入力
受け付け状態”または“文字入力非受け付け状態”があ
る。

【０１７４】リンク先にタイマ部品２１１を設定する場
合も操作は同様であり、メッセージには、“カウント状
態”または“非カウント状態”がある。

【０１７５】リンク先にカウンタ部品２１４を設定する
場合も操作は同様であり、メッセージには、インクリメ
ント、デクリメントまたは初期化がある。

【０１７６】(B-4-3) 条件分岐機能のリンクの設定 次に、プロトタイプ実行中、画面上のボタンを押すと変
数内の値を参照して条件分岐する、という動作を設計す
る場合のリンク設定操作について、図２１を参照して説
明する。

【０１７７】今、“変数ａ”という変数名を持つ変数
（変数オブジェクト）Ａ２１００が存在し、カードＡ２
１０１上のテキストボタンＡ２１０２が押されたら変数
Ａ２１００に「buttonＡ」という文字データが、カード
Ａ２１０１上のテキストボタンＢ２１０３が押されたら
変数Ａ２１００に「buttonＢ」という文字データが値と
して入力される、という変数機能が設計されているもの
とする。また、テキストボタンＡ２１０２とテキストボ
タンＢ２１０３からカードＢ２１０４へのリンク２１１
８と２１１９が設計（設定）されているものとする。

【０１７８】このような状態で、例えば、プロトタイプ
実行時にカードＢ２１０４上のテキストボタンＣ２１０
５が押されると（変数Ａ２１００の値が参照され）、変
数Ａ２１００の値が「buttonＡ」ならカードＣ２１０６
へ遷移し、「buttonＢ」ならカードＢ２１０４上の音声
規則合成部品２１０７が合成音声を発声する、という条
件分岐動作を設計する場合の操作は以下の通りとなる。

【０１７９】まず設計者は、カードＢ２１０４上に“変
数ａ”という変数名を持つ変数Ａ２１００を参照する分
岐部品２１０８を作成する。この際、分岐部品２１０８
に(B-2-6) で述べたような操作で「buttonＡ」「button
Ｂ」という２つの分岐条件を（持つ分岐条件リストを）
作成する。

【０１８０】次に以下の操作で、テキストボタンＣ２１
０５から分岐部品２１０８へリンク２１２０を設定す
る。

【０１８１】まず設計者は、テキストボタンＣ２１０５
をマウスでクリックして選択する。次に設計者は、ＣＬ
ＭＭ３０１の項目『リンク』にカーソルを移動させてク
リックし、『リンク』に対応するサブメニューを表示さ
せた後、そのサブメニュー中の「リンク設定」を選択す
る。すると、ＯＫまたはＣancel （キャンセル）を入力
するリンクダイアログ２１０９が表示される。この状態
で設計者は、分岐部品２１０８をクリックして選択し、
リンクダイアログ２１０９のＯＫボタン２１１０を選択
する。するとＣＬＭ１０８は、リンクダイアログ２１０
９を非表示にすると共に、設計者が指定したテキストボ
タンＣ２１０５から分岐部品２１０８へのリンク２１２
０を設定する。またＣＬＭ１０８は、テキストボタンＣ
２１０５から分岐部品２１０８へ送信すべき所定の（デ
フォルトの）メッセージである“活性化状態”のメッセ
ージを当該テキストボタン２００１に設定する。ここで
は、分岐部品２１０８へのメッセージは（当該分岐部品
２１０を活性化するための）“活性化状態”しか用意し
ていないので、（図２０中のメッセージ設定ダイアログ
２００５のような）メッセージ内容を問うダイアログは
表示されない。

【０１８２】次に以下の操作で、分岐部品２１０８から
２つのテキストボタンにリンクを設定する。

【０１８３】まず設計者は、分岐部品２１０８をマウス
でクリックして選択する。次に設計者は、ＣＬＭＭ３０
１の項目『リンク』にカーソルを移動させてクリック
し、『リンク』に対応するサブメニューを表示させた
後、そのサブメニュー中の「リンク設定」を選択する。

【０１８４】このように、分岐部品が選択された状態で
「リンク設定」が選択されると、リンク元となる分岐条
件を選択するための（分岐部品２１０８の属性の１つで
ある「buttonＡ」「buttonＢ」という２つの分岐条件を
持つ）分岐条件リスト２１１１と、選択条件表示領域２
１１２と、ＯＫボタン２１１３と、Ｃancel （キャンセ
ル）ボタン２１１４を持つリンクダイアログ２１１５が
ＣＬＭ１０８により表示される。

【０１８５】この状態で設計者は、分岐条件リスト２１
１１から「buttonＡ」を選択して、リンクダイアログ２
１１５中の選択条件表示領域２１１２に表示させ、更に
変数Ａ２１００の値が「buttonＡ」の場合の分岐先（遷
移先）とするカードＣ２１０６を前記(B-1-1) に示した
方法で表示させた後、リンクダイアログ２１１５中のＯ
Ｋボタン２１１３を選択する。するとＣＬＭ１０８は、
リンクダイアログ２１１５を非表示にすると共に、変数
Ａ２１００の値が「buttonＡ」であることをリンク元の
分岐条件とする分岐部品２１０８からカードＣ２１０６
へのリンク２１２１、及び分岐部品２１０８からカード
Ｃ２１０６へ送信すべき“表示状態”のメッセージを設
定する。

【０１８６】次に設計者は、上記と同様の操作で再びリ
ンクダイアログ２１１５を表示させた後、分岐条件リス
ト２１１１から「buttonＢ」を選択して、選択条件表示
領域２１１２に表示させ、更に変数Ａ２１００の値が
「buttonＢ」の場合の分岐先とする音声規則合成部品２
１０７を選択した後、ＯＫボタン２１１３を選択する。
するとＣＬＭ１０８は、選択された音声規則合成部品２
１０７に送信するメッセージを設定するためのメッセー
ジ設定ダイアログ２１１６を表示する。

【０１８７】ここでは、変数Ａ２１００の値が「button
Ｂ」なら音声規則合成部品２１０７が合成音声を発声す
るという動作を設計することから、設計者はメッセージ
設定ダイアログ２１１６から“音声出力状態”を選択し
てＯＫボタン２１１７を押す。するとＣＬＭ１０８は、
リンクダイアログ２１１５とメッセージ設定ダイアログ
２１１６を非表示にすると共に、変数Ａ２１００の値が
「buttonＢ」であることをリンク元の分岐条件とする分
岐部品２１０８から音声規則合成部品２１０７へのリン
ク２１２２、及び分岐部品２１０８から音声規則合成部
品２１０７へ送信すべき“音声出力状態”のメッセージ
を設定する。

【０１８８】このような設計操作により、プロトタイプ
実行中、カードＢ２１０４上のテキストボタンＣ２１０
５が押されると分岐部品２１０８が活性化されて、当該
分岐部品２１０８が変数Ａ２１００を参照し、変数Ａ２
１００の値による条件分岐を次のように行うことができ
る。即ち分岐部品２１０８は、変数Ａ２１００の値が
「buttonＡ」ならば、一方のリンク先であるカードＣ２
１０６に“表示状態”のメッセージを送信し、変数Ａ２
１００の値が「buttonＢ」ならば、他方のリンク先であ
る音声規則合成部品２１０７に“音声出力状態”のメッ
セージを送信する。

【０１８９】(B-4-4) 音声認識機能のリンク設定 次に、プロトタイプ実行中、ある画面で音声による入力
をすることで画面遷移する、という動作を設計する場合
のリンク設定操作について、図２２を参照して説明す
る。

【０１９０】ここでは、カードＡ２２０１が表示中に、
音声入力装置から「はい」という音声が入力されたらカ
ードＢ２２０２へ、「いいえ」という音声が入力された
らカードＣ２２０３へ遷移する、という動作を設計する
ものとする。この場合の操作は以下の通りとなる。

【０１９１】まず設計者は、前記した(B-2-4) の操作
で、「はい」「いいえ」を認識単語として認識単語辞書
に登録する。また設計者は、初期状態を音声入力受け付
け状態にして、音声認識部品２２０４をカードＡ２２０
１上に作成する。

【０１９２】次に設計者は、前記(B-3-1) の操作で、
“変数ａ”という変数名を持つ変数Ａ２２００を作成す
る。そして設計者は、前記(B-3-2) の操作で、プロトタ
イプ実行中に音声認識部品２２０４から変数Ａ２２００
に認識結果を入力するような動作設定を行う。この場
合、代入先変数を指定するのに変数Ａ２２００の変数名
“変数ａ”が用いられ、代入値として、音声認識部品２
２０４から変数Ａ２２００に入力するデータそのもので
はなく、音声認識部品２２０４の認識結果を入力するこ
とを表す（入力データ種別としての）“認識結果”が用
いられる。

【０１９３】次に設計者は、カードＡ２２０１上に“変
数ａ”という変数名を持つ変数Ａ２２００を参照する分
岐部品２２０５を作成する。この際、分岐部品２２０５
には(B-2-6) で述べたような操作で「はい」「いいえ」
という２つの分岐条件を（持つ分岐条件リストを）作成
する。

【０１９４】次に設計者は、「はい」の場合はカードＢ
２２０２へ、「いいえ」の場合はカードＣ２２０３へ遷
移するように、分岐部品２２０５からカードＢ２２０２
へのリンク２２０６と、同じ分岐部品２２０５からカー
ドＣ２２０３へのリンク２２０７を設定する。また設計
者は、音声認識部品２２０４から分岐部品２２０５にリ
ンク２２０８を設定する。リンクの設定方法は、前記(B
-4-3) と同様である。

【０１９５】このように、音声認識部品が認識結果を変
数に代入し、変数内の値によって分岐部品が条件分岐さ
せるように動作を設計して、音声認識機能を実現する。
文字認識によって条件分岐をする場合も、同様の操作で
設計できる。

【０１９６】(B-4-5) 文字認識機能のリンク設定 次に、プロトタイプ実行中、ある画面で領域上にタッチ
パネルによる入力で文字を書くと文字認識をし、認識さ
れた結果を同じ画面上に表示する、という動作を設計す
る場合のリンク設定操作について、図２３を参照して説
明する。

【０１９７】まず設計者はカード２３０１を表示させた
後、当該カード２３０１上に前記した(B-2-5) の操作で
文字認識部品２３０２を作成する。文字認識部品２３０
２の認識モードは平仮名に、初期状態は文字入力受け付
け状態に設定する。

【０１９８】次に設計者は、前記(B-3-1) の操作で、
“変数ａ”という変数名を持つ変数Ａ２３００を作成
し、(B-3-2) の操作で、プロトタイプ実行中に文字認識
部品２３０２から変数Ａ２３００に認識結果を入力する
ような動作設定を行う。

【０１９９】次に設計者は、前記(B-1-8) の操作で、カ
ード２３０１上に変数Ａ２３００を参照する変数表示テ
キスト部品２３０３を作成する。

【０２００】このように、文字認識部品が認識結果を変
数に代入し、変数表示テキスト部品２３０３が変数内の
値（認識結果）を参照して文字列として表示させ、認識
結果を表示する文字認識機能を実現する。

【０２０１】(B-4-6) 並行機能のリンク設定 次に、プロトタイプ実行中、画面上のボタンを押すと他
のボタンが表示され、同時に音声が出力される、という
動作を設計する場合のリンク設定操作について、図２４
を参照して説明する。

【０２０２】まず設計者は、前記した(B-1-3) の操作
で、カード２４０１上に、テキストボタンＡ２４０２を
初期状態が表示状態になるように作成する。同時に、テ
キストボタンＢ２４０３を初期状態が非表示状態になる
ように作成する。

【０２０３】また設計者は、前記(B-2-1) の操作で、カ
ード２４０１上に、音声規則合成部品２４０４を初期状
態が音声非出力状態になるように作成する。

【０２０４】ここでは、テキストボタンＡ２４０２を押
すとテキストボタンＢ２４０３が表示され、同時に音声
規則合成部品２４０４により規則音声合成音が出力され
るように動作設計を行うものとすると、設計者は前記(B
-2-7) の操作で、カード２４０１上にリンク元を２つ持
つ並行部品２４０５を作成する。そして設計者は、テキ
ストボタンＡ２４０２から並行部品２４０５へ、メッセ
ージを“活性化状態”に設定してリンク２４１３を設定
する。この並行部品２４０５へのリンク設定は、前記し
た分岐部品へのリンク設定と同様である。

【０２０５】次に、並行部品２４０５からリンク先へリ
ンクを設定する操作を次のように行う。

【０２０６】まず設計者は、並行部品２４０５をマウス
でクリックして選択する。次に設計者は、ＣＬＭＭ３０
１の項目『リンク』にカーソルを移動させてクリック
し、『リンク』に対応するサブメニューを表示させた
後、そのサブメニュー中の「リンク設定」を選択する。

【０２０７】このように、並行部品が選択された状態で
「リンク設定」が選択されると、（並行部品２４０５の
属性の１つである「リンク元１」及び「リンク元２」と
いう２つのリンク元を持つ）リンク元リスト２４０６
と、選択リンク元表示領域２４０７と、ＯＫボタン２４
０８と、Ｃancel （キャンセル）ボタン２４０９を持つ
リンクダイアログ２４１０がＣＬＭ１０８により表示さ
れる。

【０２０８】この状態で設計者が、リンク元リスト２４
０６から「リンク元１」を選択して、リンクダイアログ
２４１０中の選択リンク元領域２４０７に表示させ、更
にテキストボタンＢ２４０３を選択してＯＫボタン２４
０８を押すと、テキストボタンＢ２４０３に送信するメ
ッセージを設定するためのメッセージ設定ダイアログ２
４１１がＣＬＭ１０８により表示される。ここでは、テ
キストボタンＡ２４０２を押すとテキストボタンＢ２４
０３が表示されるという動作を設計することから、設計
者はメッセージ設定ダイアログ２４１１から“表示状
態”を選択してＯＫボタン２４１２を押す。

【０２０９】するとＣＬＭ１０８は、リンクダイアログ
２４１０及びメッセージ設定ダイアログ２４１１を非表
示にすると共に、並行部品２４０５の「リンク元１」か
らテキストボタンＢ２４０３へ、メッセージを“表示状
態”に設定してリンク２４１４を設定する。同様にし
て、並行部品２４０５の「リンク元２」から音声規則合
成部品２４０４へ、メッセージを“音声出力状態”に設
定してリンク２４１５が設定される。

【０２１０】このような操作により、プロトタイプ実行
時には、カード上のテキストボタンＡ２４０２が押され
ると並行部品２４０５が活性化され、並行部品２４０５
はリンク先であるテキストボタンＢ２４０３と音声規則
合成部品２４０４へ、テキストボタン２４０３には“表
示状態”のメッセージを、音声規則合成部品２４０５に
は“音声出力状態”のメッセージを、それぞれ送信す
る。これを受けて、テキストボタン２４０３が表示され
ると共に、音声規則合成部品２４０４により規則音声合
成音が出力される。

【０２１１】(B-4-7) カウンタ機能のリンク設定 次に、プロトタイプ実行中、画面上のボタンを所定回数
押すと他の画面に遷移する、という動作を設計する場合
のリンク設定操作について、図２５を参照して説明す
る。

【０２１２】ここでは、テキストボタンＡ２５０２を４
回押すとカードＢに遷移するような動作設計を行うもの
とする。

【０２１３】まず設計者は、前記した(B-1-3) の操作
で、カードＡ２５０１上にテキストボタンＡ２５０２を
作成する。続いて設計者は、前記(B-2-8) の操作で、カ
ードＡ２５０１上にカウンタ部品２５０３を作成する。
この際、カウンタ部品２５０３の属性である「動作を起
こす数」には「４」と設定する。

【０２１４】次に設計者は、カードＡ２５０１上のテキ
ストボタンＡ２５０２を４回押すとカードＢ２５０４に
遷移する動作の設計のために、以下に述べるリンク設定
操作を行う。

【０２１５】まず設計者は、前記(B-4-2) の操作で、テ
キストボタンＡ２５０２からカウンタ部品２５０３へ
“インクリメント”というメッセージでリンク２５０５
を設定する。また設計者は、前記(B-4-1) の操作で、カ
ウンタ部品２５０３からカードＢ２５０４へ“表示状
態”というデフォルトのメッセージでリンク２５０６を
設定する。

【０２１６】このような操作により、プロトタイプ実行
時には、カード上のテキストボタンＡ２５０２が押され
るとカウンタ部品２５０３が活性化され、カウンタ部品
２５０３はメッセージ“インクリメント”に従って数を
カウントしてゆき、属性である「動作を起こす数」の値
とカウント数が一致した場合に（この例では、テキスト
ボタンＡ２５０２が４回押された場合に）、カードＢ２
５０４に遷移する。

【０２１７】(B-4-8) リンク解除 次にリンク解除について説明する。

【０２１８】設計者は、設定されたリンクを解除しよう
とする場合、まずリンクの元となっている部品オブジェ
クトをマウスでクリックして選択し、ＣＬＭＭ３０１の
項目『リンク』に対応するサブメニューを表示させる。
このサブメニューには「リンク解除」の項目が含まれて
いる。そこで設計者が「リンク解除」を選択すると、Ｃ
ＬＭ１０８は、先に選択された部品オブジェクトをリン
ク元とするリンクを解除し、対応するメッセージを削除
する。

【０２１９】(c) プロトタイプ実行操作の説明 最後に本ツールにおけるプロトタイプ実行（シミュレー
ション実行）操作について説明する。

【０２２０】まず、本実施形態でのプロトタイプ実行操
作は、図１中のプロトタイプ実行部１０７によって実行
される。プロトタイプ実行中の状態をプロトタイプ実行
モードという。

【０２２１】プロトタイプ実行モードでは、エディティ
ング部１０６で設計したデータの処理は、全てプロトタ
イプ実行部１０７が担当する。設計モードでは（エディ
ティング部１０６の起動中は）ＣＬＭ１０８がデータの
管理を行うが、プロトタイプモードではプロトタイプ実
行部１０７内のＬＭ１１０がデータの管理を行う。

【０２２２】設計モードからプロトタイプ実行モードに
切替えるには、ＣＬＭＭ３０１の項目から『プロトタイ
プ実行』を選択する。『プロトタイプ実行』が選択され
ると、ＣＬＭ１０８によりＬＭ１１０が起動される。こ
のＬＭ１１０起動中には、図２６に示されるようなログ
マネジャメニュー（ＬＭＭ）２６０１が表示される。Ｌ
ＭＭ２６０１には、『プロトタイプ実行』『プロトタイ
プ一時停止』『プロトタイプ終了』の項目が用意されて
いる。

【０２２３】ＬＭＭ２６０１から『プロトタイプ実行』
が選択されると、ＬＭ１１０はＤＭ１１１を起動する。
ＤＭ１１１は、入力装置１０４中の音声認識装置などの
ハードウェアデバイスとの通信を行い、ハードウェアデ
バイスから入力されたデータにより、当該ＤＭ１１１を
経由して音声認識部品などの対応するオブジェクトにイ
ベントを与える。これによりプロトタイプ（シミュレー
ション）が実行される。

【０２２４】一方、ＬＭＭ２６０１から『プロトタイプ
一時停止』が選択されると、ＬＭ１１０は、ＤＭ１１１
をハードウェアデバイスからの入力を受け付けない状態
に切り替え、プロトタイプ実行を一時中断する。この状
態で再び『プロトタイプ実行』が選択されると、ＬＭ１
１０は、ＤＭ１１１をハードウェアデバイスからの入力
を受け付けない状態から解除する。これにより、再びプ
ロトタイプが実行される。

【０２２５】次に、ＬＭＭ２６０１から『プロトタイプ
終了』が選択されると、ＣＬＭ１０８に終了通知され、
ＣＬＭ１０８はＬＭ１１０を終了させ、ＬＭ１１０はＤ
Ｍ１１１とＬＭＭ２６０１を終了させる。ＬＭ１１０が
終了すると、再び設計モードになる。

【０２２６】

【発明の効果】以上詳述したように本発明によれば、音
声認識や音声規則合成などの複雑なユーザインタフェー
スもＧＵＩ操作で簡単に設計し実行できる。

【０２２７】また本発明によれば、内部状態によって分
岐条件を行うなどの複雑な動作記述もＧＵＩ操作で簡単
に行える。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るユーザインタフェー
ス（ＵＩ）設計ツールの構成を示すブロック図。

【図２】図１のＵＩ設計ツールで利用できるオブジェク
トの種類を説明するための画面構成例を示す図。

【図３】図１のＵＩ設計ツールの立ち上げ時に表示され
るカードレイアウトマネジャメニュー（ＣＬＭＭ）及び
カードレイアウトマネジャウィンドウ（ＣＬＭＷ）の一
例を示す図。

【図４】図１中のＰＭ１０９の起動時に表示されるパー
ツマネジャメニュー（ＰＭＭ）の一例を示す図。

【図５】同実施形態におけるテキストボタン作成用のテ
キストボタン情報設定ダイアログの一例を示す図。

【図６】同実施形態における変数表示テキストボタン作
成用の変数表示テキストボタン情報設定ダイアログの一
例を示す図。

【図７】同実施形態において変数表示テキストボタン上
に表示される文字列が設計中とプロトコルタイプ実行中
とで異なることを説明するための図。

【図８】同実施形態における音声規則合成部品作成用の
音声規則合成部品情報設定ダイアログの一例を示す図。

【図９】同実施形態におけるサウンド部品作成用のサウ
ンド部品情報設定ダイアログの一例を示す図。

【図１０】同実施形態におけるタイマ部品作成用のタイ
マ部品情報設定ダイアログの一例を示す図。

【図１１】同実施形態における音声認識部品作成用の音
声認識部品情報設定ダイアログの一例を示す図。

【図１２】同実施形態における音声認識単語辞書登録用
の辞書登録ダイアログの一例を示す図。

【図１３】同実施形態における文字認識部品作成用の文
字認識部品情報設定ダイアログの一例を示す図。

【図１４】同実施形態における分岐部品作成用の分岐部
品情報設定ダイアログの一例を示す図。

【図１５】同実施形態における並行部品作成用の並行部
品情報設定ダイアログの一例を示す図。

【図１６】同実施形態におけるカウンタ部品作成用のカ
ウンタ部品情報設定ダイアログの一例を示す図。

【図１７】同実施形態における変数作成用の変数一覧ウ
ィンドウの一例を示す図。

【図１８】同実施形態における部品オブジェクトから変
数への代入値設定操作について、プロトタイプ実行中に
画面中のボタンを押すことで、変数への代入値入力を可
能とするための設計操作を例に説明するための図。

【図１９】同実施形態における部品オブジェクトからカ
ードへのリンク設定操作について、プロトタイプ実行中
に画面上のボタンを押すと他の画面に遷移する、という
動作を設計する場合のリンク設定操作を例に説明するた
めの図。

【図２０】同実施形態における部品オブジェクトから部
品オブジェクトへのリンク設定操作について、プロトタ
イプ実行中に画面上のボタンを押すと音声が出力され
る、という動作を設計する場合のリンク設定操作を例に
説明するための図。

【図２１】同実施形態における条件分岐機能のリンク設
定操作について、プロトタイプ実行中に画面上のボタン
を押すと変数内の値を参照して条件分岐する、という動
作を設計する場合のリンク設定操作を例に説明するため
の図。

【図２２】同実施形態における音声認識機能のリンク設
定操作について、プロトタイプ実行中にある画面で音声
による入力をすることで画面遷移する、という動作を設
計する場合のリンク設定操作を例に説明するための図。

【図２３】同実施形態における文字認識機能のリンク設
定操作について、プロトタイプ実行中にある画面で領域
上にタッチパネルによる入力で文字を書くと文字認識を
し、認識された結果を同じ画面上に表示する、という動
作を設計する場合のリンク設定操作を例に説明するため
の図。

【図２４】同実施形態における並行機能のリンク設定操
作について、プロトタイプ実行中に画面上のボタンを押
すと他のボタンが表示され、同時に音声が出力される、
という動作を設計する場合のリンク設定操作を例に説明
するための図。

【図２５】同実施形態におけるカウンタ機能のリンク設
定操作について、プロトタイプ実行中に画面上のボタン
を所定回数押すと他の画面に遷移する、という動作を設
計する場合のリンク設定操作を例に説明するための図。

【図２６】プロトコルタイプ実行モードにおいて表示さ
れるログマネジャメニュー（ＬＭＭ）の一例を示す図。

【符号の説明】

１００…出力装置（音声出力手段、サウンド出力手
段）、 １０１…表示装置、 １０２…設計時データ入力装置、 １０３…プロトタイピングエディタ、 １０４…シミュレーション時入力装置（音声入力手段、
手書き文字入力手段）、 １０５…データベース（ＤＢ）、 １０６…エディティング部、 １０７…プロトタイプ実行部、 １０８…カードレイアウトマネジャ（ＣＬＭ）、 １０９…パーツマネジャ（ＰＭ）、 １１０…ログマネジャ（ＬＭ）、 １１１…デバイスマネジャ（ＤＭ）、 ２００…カード（画面オブジェクト）、 ２０１…テキストボタン、 ２０２…テキスト部品、 ２０３…イメージボタン、 ２０４…イメージ部品、 ２０５…変数表示テキストボタン（変数データ表示オブ
ジェクト、変数利用オブジェクト）、 ２０６…変数表示テキスト部品（変数データ表示オブジ
ェクト、変数利用オブジェクト）、 ２０７…音声規則合成部品（音声規則合成オブジェク
ト）、 ２０８…サウンド部品（サウンドオブジェクト）、 ２０９…音声認識部品（音声認識オブジェクト）、 ２１０…文字認識部品（文字認識オブジェクト）、 ２１１…タイマ部品（タイマオブジェクト）、 ２１２…分岐部品（分岐オブジェクト、変数利用オブジ
ェクト）、 ２１３…並行部品（並行オブジェクト）、 ２１４…カウンタ部品（カウンタオブジェクト）、 ２１５…画面用カード、 ２１６…マルチモーダル用カード（特定領域）、 ３０１…カードレイアウトマネジャメニュー（ＣＬＭ
Ｍ）、 ４０１…パーツマネジャメニュー（ＰＭＭ）、 ５０１…テキストボタン情報設定ダイアログ、 ６０１…変数表示テキストボタン情報設定ダイアログ
（変数利用オブジェクト生成画面）、 ８０１…音声規則合成部品情報設定ダイアログ、 ９０１…サウンド部品情報設定ダイアログ、 １００１…タイマ部品情報設定ダイアログ、 １１０１…音声認識部品情報設定ダイアログ、 １２０１…辞書登録ダイアログ、 １３０１…文字認識部品情報設定ダイアログ、 １４０１…分岐部品情報設定ダイアログ（変数利用オブ
ジェクト生成画面）、 １４０４…条件作成ダイアログ、 １５０１…並行部品情報設定ダイアログ、 １６０１…カウンタ部品情報設定ダイアログ、 １７０１…変数一覧ウィンドウ（変数オブジェクト生成
画面）、 １７０５…変数情報設定ダイアログ（変数オブジェクト
生成画面）、 １８０２…代入先変数設定ダイアログ（入力先設定画
面）、 ２１００，２２００，２３００…変数Ａ（変数オブジェ
クト）。

Claims (16)

【特許請求の範囲】
1. 【請求項１】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 音声を出力する音声出力手段と、 入力文字列を音声情報に変換して前記音声出力手段より
   音声を出力する部品オブジェクトとしての音声規則合成
   オブジェクトを生成する手段と、 前記音声規則合成オブジェクトの属性を設定する手段
   と、 前記音声規則合成オブジェクトの動作を設計する手段
   と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
2. 【請求項２】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 音を出力するサウンド出力手段と、 指定されたサウンドファイルの音を前記サウンド出力手
   段により出力する部品オブジェクトとしてのサウンドオ
   ブジェクトを生成する手段と、 サウンドファイル指定情報を含む前記サウンドオブジェ
   クトの属性を設定する手段と、 前記サウンドオブジェクトの動作を設計する手段と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
3. 【請求項３】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 シミュレーション時に時間をカウントする部品オブジェ
   クトとしてのタイマオブジェクトであって、設定された
   時間にリンク先にメッセージを送信するタイマオブジェ
   クトを生成する手段と、 動作を起こす時間を含む前記タイマオブジェクトの属性
   を設定する手段と、 前記タイマオブジェクトの動作を設計する手段と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
4. 【請求項４】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 利用者が発した音声を入力するための音声入力手段と、 この音声入力手段により入力された音声を認識して認識
   結果を決定する部品オブジェクトとしての音声認識オブ
   ジェクトを生成する手段と、 前記音声認識オブジェクトの属性を設定する手段と、 前記音声認識オブジェクトの動作を設計する手段と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
5. 【請求項５】 前記部品オブジェクトのうち、ユーザイ
   ンタフェース操作画面の構成対象外オブジェクトを配置
   するための特定領域を前記画面オブジェクトとは別に設
   けて、当該画面オブジェクトに対応した前記特定領域を
   表示することを特徴とする請求項１乃至請求項４のいず
   れかに記載のユーザインタフェース設計ツール。
6. 【請求項６】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 利用者が手書きした文字を入力するための手書き文字入
   力手段と、 この手書き文字入力手段により入力された文字を認識し
   て認識結果を決定する部品オブジェクトとしての文字認
   識オブジェクトを生成する手段と、 前記文字認識オブジェクトを前記画面オブジェクト上に
   配置する手段と、 前記文字認識オブジェクトの属性を設定する手段と、 前記文字認識オブジェクトの動作を設計する手段と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
7. 【請求項７】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 シミュレーション時のデータを保存する部品オブジェク
   トとしての変数オブジェクトを生成する手段と、 前記変数オブジェクトの属性を設定する手段と、 シミュレーション時に入力イベントを受けた部品オブジ
   ェクトから前記変数オブジェクトにデータが入力される
   ように、その入力先変数オブジェクトと入力データまた
   は入力データ種別とを当該部品オブジェクトに設定する
   手段と、 シミュレーション時に前記変数オブジェクト内のデータ
   を参照する部品オブジェクトとしての変数利用オブジェ
   クトであって、参照したデータの内容に従った動作を起
   こす変数利用オブジェクトを生成する手段と、 参照する変数オブジェクトの指定情報を含む前記変数利
   用オブジェクトの属性を設定する手段と、 前記変数利用オブジェクトの動作を設計する手段と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
8. 【請求項８】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 シミュレーション時のデータを保存する部品オブジェク
   トとしての変数オブジェクトを生成する手段と、 前記変数オブジェクトの属性を設定する手段と、 シミュレーション時に状態変化を起こした部品オブジェ
   クトまたは画面オブジェクトから前記変数オブジェクト
   にデータが入力されるように、その入力先変数オブジェ
   クトと入力データまたは入力データ種別とを当該部品オ
   ブジェクトまたは画面オブジェクトに設定する手段と、 シミュレーション時に前記変数オブジェクト内のデータ
   を参照する部品オブジェクトとしての変数利用オブジェ
   クトであって、参照したデータの内容に従った動作を起
   こす変数利用オブジェクトを生成する手段と、 参照する変数オブジェクトの指定情報を含む前記変数利
   用オブジェクトの属性を設定する手段と、 前記変数利用オブジェクトの動作を設計する手段と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
9. 【請求項９】 ユーザインタフェースの操作画面を表す
   画面オブジェクトを生成及び属性設定し、当該画面オブ
   ジェクト上にボタン、部品等を表す部品オブジェクトを
   生成及び属性設定し、適当な位置に配置することで画面
   の設計を行い、前記部品オブジェクトと前記画面オブジ
   ェクトとの間のリンク付けをすることで動作の設計を行
   い、設計したユーザインタフェースのシミュレートを行
   うユーザインタフェース設計ツールにおいて、 シミュレーション時のデータを保存する部品オブジェク
   トとしての変数オブジェクトを生成する手段と、 前記変数オブジェクトの属性を設定する手段と、 シミュレーション時に入力イベントを受けた部品オブジ
   ェクトから前記変数オブジェクトにデータが入力される
   ように、その入力先変数オブジェクトと入力データまた
   は入力データ種別とを当該部品オブジェクトに設定する
   手段と、 シミュレーション時に前記変数オブジェクト内のデータ
   を参照する部品オブジェクトとしての変数データ表示オ
   ブジェクトであって、参照したデータの内容をテキスト
   として表示する変数データ表示オブジェクトを生成する
   手段と、 前記変数データ表示オブジェクトを前記画面オブジェク
   ト上に配置する手段と、 参照する変数オブジェクトの指定情報を含む前記変数デ
   ータ表示オブジェクトの属性を設定する手段と、 前記変数データ表示オブジェクトの動作を設計する手段
   と、 を具備することを特徴とするユーザインタフェース設計
   ツール。
10. 【請求項１０】 前記変数オブジェクトの属性には前記
    参照する変数オブジェクトの指定情報として用いられる
    変数名があり、設計中は、当該変数名がテキストとして
    表示されることを特徴とする請求項９記載のユーザイン
    タフェース設計ツール。
11. 【請求項１１】 ユーザインタフェースの操作画面を表
    す画面オブジェクトを生成及び属性設定し、当該画面オ
    ブジェクト上にボタン、部品等を表す部品オブジェクト
    を生成及び属性設定し、適当な位置に配置することで画
    面の設計を行い、前記部品オブジェクトと前記画面オブ
    ジェクトとの間のリンク付けをすることで動作の設計を
    行い、設計したユーザインタフェースのシミュレートを
    行うユーザインタフェース設計ツールにおいて、 シミュレーション時のデータを保存する部品オブジェク
    トとしての変数オブジェクトを生成する手段と、 前記変数オブジェクトの属性を設定する手段と、 シミュレーション時に入力イベントを受けた部品オブジ
    ェクトから前記変数オブジェクトにデータが入力される
    ように、その入力先変数オブジェクトと入力データまた
    は入力データ種別とを当該部品オブジェクトに設定する
    手段と、 シミュレーション時に前記変数オブジェクト内のデータ
    を参照する部品オブジェクトとしての条件分岐オブジェ
    クトであって、参照したデータの内容に応じた条件分岐
    を起こす分岐オブジェクトを生成する手段と、 前記分岐オブジェクトの条件項目を生成する手段と、 参照する変数オブジェクトの指定情報を含む前記分岐オ
    ブジェクトの属性を設定する手段と、 前記分岐オブジェクトの動作を前記条件項目毎に設計す
    る手段と、 を具備することを特徴とするユーザインタフェース設計
    ツール。
12. 【請求項１２】 ユーザインタフェースの操作画面を表
    す画面オブジェクトを生成及び属性設定し、当該画面オ
    ブジェクト上にボタン、部品等を表す部品オブジェクト
    を生成及び属性設定し、適当な位置に配置することで画
    面の設計を行い、前記部品オブジェクトと前記画面オブ
    ジェクトとの間のリンク付けをすることで動作の設計を
    行い、設計したユーザインタフェースのシミュレートを
    行うユーザインタフェース設計ツールにおいて、 利用者が発した音声を入力するための音声入力手段と、 この音声入力手段により入力された音声を認識して認識
    結果を決定する部品オブジェクトとしての音声認識オブ
    ジェクトを生成する手段と、 前記音声認識オブジェクトの属性を設定する手段と、 前記音声認識オブジェクトの動作を設計する手段と、 シミュレーション時のデータを保存する部品オブジェク
    トとしての変数オブジェクトを生成する手段と、 前記変数オブジェクトの属性を設定する手段と、 シミュレーション時に前記音声認識オブジェクトで決定
    した認識結果が前記変数オブジェクトに入力されるよう
    に、その入力先変数オブジェクトと認識結果を表す入力
    データ種別とを当該音声認識オブジェクトに設定する手
    段と、 シミュレーション時に前記変数オブジェクト内のデータ
    を参照する部品オブジェクトとしての条件分岐オブジェ
    クトであって、参照したデータの内容に応じた条件分岐
    を起こす分岐オブジェクトを生成する手段と、 前記分岐オブジェクトの条件項目として複数の認識候補
    データを記述する手段と、 参照する変数オブジェクトの指定情報を含む前記分岐オ
    ブジェクトの属性を設定する手段と、 前記分岐オブジェクトの動作を前記認識候補データ毎に
    設計する手段と、 を具備し、前記分岐オブジェクトは、前記変数オブジェ
    クト内のデータを参照して当該データと前記各認識候補
    データとを比較して動作を決定する処理手続きを有して
    いることを特徴とするユーザインタフェース設計ツー
    ル。
13. 【請求項１３】 ユーザインタフェースの操作画面を表
    す画面オブジェクトを生成及び属性設定し、当該画面オ
    ブジェクト上にボタン、部品等を表す部品オブジェクト
    を生成及び属性設定し、適当な位置に配置することで画
    面の設計を行い、前記部品オブジェクトと前記画面オブ
    ジェクトとの間のリンク付けをすることで動作の設計を
    行い、設計したユーザインタフェースのシミュレートを
    行うユーザインタフェース設計ツールにおいて、 利用者が手書きした文字を入力するための手書き文字入
    力手段と、 この手書き文字入力手段により入力された文字を認識し
    て認識結果を決定する部品オブジェクトとしての文字認
    識オブジェクトを生成する手段と、 前記文字認識オブジェクトを前記画面オブジェクト上に
    配置する手段と、 前記文字認識オブジェクトの属性を設定する手段と、 前記文字認識オブジェクトの動作を設計する手段と、 シミュレーション時のデータを保存する部品オブジェク
    トとしての変数オブジェクトを生成する手段と、 前記変数オブジェクトの属性を設定する手段と、 シミュレーション時に前記文字認識オブジェクトで決定
    した認識結果が前記変数オブジェクトに入力されるよう
    に、その入力先変数オブジェクトと認識結果を表す入力
    データ種別とを当該文字認識オブジェクトに設定する手
    段と、 シミュレーション時に前記変数オブジェクト内のデータ
    を参照する部品オブジェクトとしての条件分岐オブジェ
    クトであって、参照したデータの内容に応じた条件分岐
    を起こす分岐オブジェクトを生成する手段と、 前記分岐オブジェクトの条件項目として複数の認識候補
    データを記述する手段と、 参照する変数オブジェクトの指定情報を含む前記分岐オ
    ブジェクトの属性を設定する手段と、 前記分岐オブジェクトの動作を前記認識候補データ毎に
    設計する手段と、 を具備し、前記分岐オブジェクトは、前記変数オブジェ
    クト内のデータを参照して当該データと前記各認識候補
    データとを比較して動作を決定する処理手続きを有して
    いることを特徴とするユーザインタフェース設計ツー
    ル。
14. 【請求項１４】 ユーザインタフェースの操作画面を表
    す画面オブジェクトを生成及び属性設定し、当該画面オ
    ブジェクト上にボタン、部品等を表す部品オブジェクト
    を生成及び属性設定し、適当な位置に配置することで画
    面の設計を行い、前記部品オブジェクトからリンク先オ
    ブジェクトを決定することで動作の設計を行い、設計し
    たユーザインタフェースのシミュレートを行い、シミュ
    レーション時は前記リンク先オブジェクトにメッセージ
    を送信することで動作するユーザインタフェース設計ツ
    ールにおいて、 シミュレーション時に複数のリンク先オブジェクトに同
    時にメッセージ送信する部品オブジェクトとしての並行
    オブジェクトを生成する手段と、 前記並行オブジェクトの属性を設定する手段と、 前記並行オブジェクトの複数のリンク先オブジェクトを
    設定する手段と、 を具備することを特徴とするユーザインタフェース設計
    ツール。
15. 【請求項１５】 ユーザインタフェースの操作画面を表
    す画面オブジェクトを生成及び属性設定し、当該画面オ
    ブジェクト上にボタン、部品等を表す部品オブジェクト
    を生成及び属性設定し、適当な位置に配置することで画
    面の設計を行い、前記部品オブジェクトと前記画面オブ
    ジェクトとの間のリンク付けをすることで動作の設計を
    行い、設計したユーザインタフェースのシミュレートを
    行うユーザインタフェース設計ツールにおいて、 シミュレーション時にリンク元の部品オブジェクトがイ
    ベントを受けた回数をカウントする部品オブジェクトと
    してのカウンタオブジェクトであって、設定された回数
    をカウントするとリンク先のオブジェクトに対してメッ
    セージを送信するカウンタオブジェクトを生成する手段
    と、 前記カウンタオブジェクトの動作条件としてのカウント
    回数値を含む属性を設定する手段と、 前記リンク元の部品オブジェクトから前記カウンタオブ
    ジェクトへのリンクを設定する手段と、 前記カウンタオブジェクトのリンク先オブジェクトを設
    定する手段と、 を具備することを特徴とするユーザインタフェース設計
    ツール。
16. 【請求項１６】 ユーザインタフェースの操作画面を表
    す画面オブジェクトを生成及び属性設定し、当該画面オ
    ブジェクト上にボタン、部品等を表す部品オブジェクト
    を生成及び属性設定し、適当な位置に配置することで画
    面の設計を行い、前記部品オブジェクトと前記画面オブ
    ジェクトとの間のリンク付けをすることで動作の設計を
    行い、設計したユーザインタフェースのシミュレートを
    行うユーザインタフェース設計・シミュレーション方法
    において、 シミュレーション時のデータを保存する部品オブジェク
    トとしての変数オブジェクトを生成するための指示を受
    けることにより変数オブジェクト生成画面を表示し、当
    該画面を通して前記変数オブジェクトを生成及び属性設
    定し、 データの入力先設定指示を受けることにより入力先設定
    画面を表示し、シミュレーション時に前記部品オブジェ
    クトが入力イベントを受けた場合に、あるいは前記部品
    オブジェクトまたは前記画面オブジェクトが状態変化を
    起こした場合に、当該オブジェクトから前記変数オブジ
    ェクトにデータが入力されるように、その入力先変数オ
    ブジェクトと入力データまたは入力データ種別とを前記
    入力先設定画面を通して当該オブジェクトに設定し、 シミュレーション時に指定の前記変数オブジェクト内の
    データを参照する部品オブジェクトとしての変数利用オ
    ブジェクトであって、参照したデータの内容に従った動
    作を起こす変数利用オブジェクトを生成するための指示
    を受けることにより変数利用オブジェクト生成画面を表
    示し、当該画面を通して前記変数利用オブジェクトを生
    成及び属性設定し、しかる後に当該変数利用オブジェク
    トの動作を設計することにより、 シミュレーション時において前記変数利用オブジェクト
    が起動された場合に、指定の変数オブジェクトに保持さ
    れている、以前に入力イベントを受けた部品オブジェク
    ト、あるいは状態変化を起こした部品オブジェクトまた
    は画面オブジェクトにより入力されたデータが参照され
    て、そのデータの内容に従った動作が起きるようにした
    ことを特徴とするユーザインタフェース設計・シミュレ
    ーション方法。