JP3881179B2 - ユーザインタフェース設計装置 - Google Patents

ユーザインタフェース設計装置 Download PDF

Info

Publication number
JP3881179B2
JP3881179B2 JP2001037161A JP2001037161A JP3881179B2 JP 3881179 B2 JP3881179 B2 JP 3881179B2 JP 2001037161 A JP2001037161 A JP 2001037161A JP 2001037161 A JP2001037161 A JP 2001037161A JP 3881179 B2 JP3881179 B2 JP 3881179B2
Authority
JP
Japan
Prior art keywords
display component
composite display
composite
state
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001037161A
Other languages
English (en)
Other versions
JP2002244848A (ja
Inventor
裕喜 小中
新一郎 津高
隆一 小船
明 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001037161A priority Critical patent/JP3881179B2/ja
Priority to CNB021062145A priority patent/CN1184560C/zh
Priority to FR0201731A priority patent/FR2821193B1/fr
Priority to US10/073,269 priority patent/US7385585B2/en
Publication of JP2002244848A publication Critical patent/JP2002244848A/ja
Application granted granted Critical
Publication of JP3881179B2 publication Critical patent/JP3881179B2/ja
Priority to US12/115,105 priority patent/US8059092B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces

Description

【0001】
【発明の属する技術分野】
この発明は、イベントに対する状態遷移に伴って表示部品を切り替えるような例えば携帯電話や携帯情報端末などのユーザインタフェースの設計に適用されるユーザインタフェース設計装置に関するものである。
【0002】
【従来の技術】
図3は例えば特開2000−137599号公報に示された従来のユーザインタフェース設計装置を示すブロック図である。この文献に開示された装置においては、レイアウトデータを対話的に設計するレイアウト設計部111、属性データを設定する属性設定部112、およびGUI部品ごとの生成契機を設定する生成契機設定部113から構成されたGUI画面設計装置101と、レイアウトデータ記憶部121、属性データ記憶部122、および生成契機データ記憶部123の各記憶部から構成された設計データ記憶装置102と、設計データに基づいてソースプログラムを生成するGUI画面ソースプログラム生成部131によるソースプログラム生成装置103と、ハードディスク等へ出力する出力装置104とからなる。
【0003】
このような構成のユーザインタフェース設計装置においては、第一の生成契機が設定されたとき、GUI画面の中でGUI部品を生成するソースプログラムとアクセス関数のソースプログラムを生成し、第二の生成契機が設定されたとき、動的生成アクセス関数のソースプログラムを生成して必要なときにGUI部品の生成を行う。
【0004】
【発明が解決しようとする課題】
このような構成の従来のユーザインタフェース設計装置においては、状態遷移を伴うユーザインタフェース部品の設計や、それらを組み合わせたユーザインタフェースのシミュレーションができなかった。
【0005】
この発明は、上述のような課題を解決するためになされたもので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となるユーザインタフェース設計装置を得ることを目的とする。
【0006】
【課題を解決するための手段】
の発明に係るユーザインタフェース設計装置は、設計対象装置のユーザインタフェースとなる画面表示用の部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、上記設計対象装置の内部状態として複数の状態を有する複合表示部品を格納する複合表示部品格納手段と、入力機器からの情報を入力する入力手段と、上記複合表示部品の状態、基本表示部品並びに複合表示部品の配置及び外観をグラフィカルに表示し、上記入力手段によって入力された情報を表示装置に表示する表示手段と、上記入力手段によって入力された情報から上記複合表示部品に上記状態を追加し、又は上記複合表示部品から上記状態を削除し、上記複合表示部品を上記複合表示部品格納手段に格納する状態集合編集手段と、上記入力手段によって入力された情報から上記複合表示部品の上記状態間を遷移するイベント処理を記述するイベントハンドラが作成又は編集され、上記複合表示部品を上記複合表示部品格納手段に格納するイベント処理編集手段と、上記複合表示部品格納手段に格納された上記複合表示部品を読み出して、上記入力手段によって入力された情報及び上記表示手段の表示内容の関係に基づいて、読み出した上記複合表示部品の各状態において表示すべき基本表示部品を追加又は削除し、上記複合表示部品の各状態に他の複合表示部品を追加又は上記複合表示部品の各状態から他の複合表示部品を削除して、上記複合表示部品を階層的に組み合わせて上記複合表示部品格納手段に格納する状態表示編集手段とを備えている。
【0010】
また、基本表示部品格納手段に格納された基本表示部品は、大きさ、位置、外観及びふるまいに対応する属性を有し、複合表示部品格納手段に格納された複合表示部品を読み出して、複合表示部品の各状態に追加された基本表示部品の属性を編集して、複合表示部品を複合表示部品格納手段に格納する属性編集手段と、複合表示部品格納手段に格納された複合表示部品を読み出して、複合表示部品に対してそのふるまいに対応した属性を追加・削除して、複合表示部品を複合表示部品格納手段に格納する複合表示部品属性設定手段とをさらに備え、属性編集手段は、複合表示部品の各状態に追加された複合表示部品の属性を編集する。
【0012】
また、属性編集手段は、基本表示部品あるいは複合表示部品の属性の値として、他の基本表示部品あるいは複合表示部品の属性の値を参照するように記述することを可能にする。
【0014】
また、入力機器を介して入力される操作入力に基づき、複合表示部品格納手段に格納された上記複合表示部品に表示すべき上記基本表示部品がある場合は当該表示部品を表示し、表示すべき他の上記複合表示部品がある場合は当該複合表示部品に対して処理を繰り返しながら複合表示部品のふるまいをシミュレートするシミュレーション手段をさらに備えている。
また、上記シミュレーション手段は、基本表示部品または複合表示部品の属性値が他の基本表示部品又は上記複合表示部品の属性の値を参照する場合は、当該属性値を参照する。
【0016】
さらに、イベント処理編集手段は、イベントを仮想的に設定し、該イベントに対するイベントハンドラを編集し、シミュレーション手段は、仮想的なイベントを入出力機器を介して発行させ、該発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせる。
【0017】
【発明の実施の形態】
実施の形態1.
図1は本発明の実施の形態1によるユーザインタフェース設計装置のブロック図である。この装置は状態集合編集手段10、イベント処理編集手段20、基本表示部品格納手段30、状態表示編集手段40、複合表示部品格納手段50、属性編集手段60、複合表示部品属性設定手段70、シミュレーション手段80、仮想表示部品格納手段90からなる。
【0018】
上記ユーザインタフェース設計装置における設計対象となる複合表示部品は、複数の状態からなる状態空間を有し、各状態における表示や状態遷移などのふるまいの設計記述を可能とするものである。
【0019】
状態集合編集手段10は、複合表示部品の状態空間を規定するために用いる。具体的には、複合表示部品の状態空間に新たな状態を追加したり、すでに状態空間に存在している状態を削除することが可能である。各状態には、互いを識別するための名前をつけられるようになっていてもよい。また状態空間に複数の状態がある場合は、複合表示部品が表示されたときに最初にどの状態になるかを指定するために、いずれかの状態を初期状態として設定可能としてもよい。さらにいくつかの状態からなる状態グループを編集する機能を設けてもよい。そして各状態もしくは状態グループを指定して、対応するイベント処理編集手段20または状態表示編集手段40を起動することを可能としてもよい。
【0020】
イベント処理編集手段20は、複合表示部品の各状態もしくは状態グループにおけるふるまいを設計記述するために用いる。具体的には、各状態もしくは状態グループにおいて、どういうイベントをどういうふうに処理するかを規定するイベントハンドラを設定する。
【0021】
イベントの種類としては例えば、何らかのキーが押されたなどといったキーイベント、マウスボタンがクリックされたなどといったマウスイベント、ある状態になってから指定時間経過したときに発生するタイマーイベント、キーやマウスなどからの入力がなくなってから指定時間後に発生するリリースイベント、ある状態もしくは状態グループに入ったときに発生するエントリイベント、ある状態もしくは状態グループからぬけるときに発生するイグジットイベント、音声による入力で発生する音声入力イベント、カメラなどからの入力で発生する画像入力イベント、機器の動きによって発生するモーションイベント、などが考えられる。さらに、複合表示部品などの間の通信・同期などに用いられる内部イベントや、現実のユーザインタフェース装置では実現が困難あるいは複雑であったり、開発中の機能に関連したイベントであったり、あるいはシミュレーション手段80でシミュレートすることが困難なイベントを仮に設定して、対応するイベントハンドラを設計していくことを可能にする仮想イベントなども考えられる。また、例えばキーイベントの場合にはどのキーが押されたか、タイマーイベントの場合には指定時間がどれぐらいか、などイベントを詳細に識別するための属性を各種イベントに設けてもよい。
【0022】
イベントハンドラには、イベントの種類や属性と、対応するイベントが発生した場合の処理を規定するアクションが設定される。アクションで記述される処理としては、ユーザインタフェース装置の内部状態や後述する表示部品の属性の変更、他の複合表示部品などに対する内部イベントの送信、何らかのプログラムコードの実行、そして複合表示部品の状態遷移などが考えられる。またユーザインタフェース装置の内部状態などによってイベントを処理すべきかどうかを判定し、場合によってはイベント処理を行わないようにするための、いわゆるガードをイベントハンドラに設定可能としてもよい。アクションやガードの記述には、例えばインタプリタ実行可能なプログラミング言語を用いることが考えられる。
【0023】
基本表示部品格納手段30は、あらかじめ設計された基本表示部品を格納しておく。基本表示部品としてはボタンやラベル、テキスト入力フォーム、チェックボックス、メニューなどが考えられる。また他の基本表示部品などを配置するためのパネル、フレームなども考えられる。同じ種類の基本表示部品でも、あらかじめ配置や大きさ、色、表示文字列などを特定したものを必要なだけ用意することも考えられるが、それらを属性として変更可能としておき、設計時に属性編集手段60で編集できるようにすると、用意すべき基本表示部品の数が少なくなるとともに、個々の基本表示部品の汎用性が向上する。
【0024】
状態表示編集手段40は、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品を新たに追加したり、すでに各状態もしくは状態グループに登録もしくは追加されている表示部品を削除することを可能にする。
【0025】
表示部品としては例えば、基本表示部品格納手段30に格納されている基本表示部品、すでに設計した複合表示部品を格納する複合表示部品格納手段50の中の複合表示部品、あるいは仮想表示部品格納手段90に格納されている仮想表示部品がある。
【0026】
また、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品の配置をそれらの外観とともにグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさやサイズあるいは部品間の前後関係などレイアウトに関する属性・情報をグラフィカルに編集したり、各表示部品に対応する属性編集手段60を直接起動することを可能としてもよい。
複合表示部品格納手段50は、すでに設計された複合表示部品を格納する。
【0027】
属性編集手段60は基本表示部品や複合表示部品などの表示部品のもつ属性の値を設定する。属性としては配置や大きさなど一般的なものの他に、例えばボタンの場合は、表示文字列とその色や、背景色、押されたときなどに発生するイベントなど、表示部品の種類に応じたものが考えられる。また表示部品を互いに識別するための名前を属性として持たせてもよい。属性編集手段60はこれらの属性のタイプに応じた編集方法を提供してもよい。またある表示部品の属性が、他の表示部品の属性の値を参照するように設定可能とすることも考えられる。
【0028】
複合表示部品属性設定手段70は、複合表示部品の属性の追加、削除を行う。属性の追加においては属性のタイプや名前、初期値、参照関係などを設定する。これにより、複合表示部品の外観やふるまいなどを属性の設定によって簡便に変更することが可能となる。
シミュレーション手段80は、複合表示部品の動作をシミュレートする。
【0029】
複合表示部品をシミュレートするには、まず複合表示部品の状態を初期状態に設定するとともに、初期状態および初期状態が属する状態グループに対応した表示部品を生成し、属性を初期化した上で指定されたレイアウトで表示する一方、それらに対応したイベントハンドラを有効化する。有効化されたイベントハンドラは、必要に応じて後述のようにタイマーなどを起動しながら、対応するイベントの発生を待つ。各表示部品の表示は例えば属性に応じて決定する。また表示すべき部品に他の複合表示部品が含まれる場合は、生成された複合表示部品に対し上記の処理を繰り返す。
【0030】
イベントの発生に関しては、そのままシミュレートできる場合もあるが、例えばユーザインタフェース装置のキーを表すボタンを押すことに対応したイベントはマウスクリックなどで模擬し、ボタンの属性などで指定されたキーイベントを発生させて、適当な表示部品(例えばいわゆるフォーカスのあたった表示部品)のイベントハンドラに処理させることが考えられる。またタイマーイベントの場合は、対応するイベントハンドラが有効になったときにタイマーを起動させ、一定時間後にイベントを発生させ、上記イベントハンドラに処理させることが考えられる。リリースイベントの場合は、キーイベントなどが生じるごとにタイマーをリセットすることが考えられる。また仮想的なイベントに対応するイベントハンドラが有効になった場合は、例えばそのイベントを発生させるための特別なボタンをディスプレーに表示しておく。そしてユーザがそれをマウスなどで選択することにより仮想イベントを発生させ、上記イベントハンドラに処理させることが考えられる。一方、ある状態あるいは状態グループのエントリイベントに対するイベントハンドラがあれば、その状態あるいは状態グループに移ったときに上記イベントハンドラの処理を行う。
【0031】
イベントに対応したイベントハンドラの処理においては、まずガードがあればそれが評価され、アクションの処理を行うかどうかが決定される。ガードがない場合、もしくはガードを評価した結果アクションを処理すべきと判定された場合は、アクションの処理が行われる。なお前述のように、ガードやアクションは例えば何らかのプログラミング言語で記述して、それをインタプリタ実行してもよい。また、特定のイベントに対する反応速度を向上させるなどの目的で、イベントの種類に応じた処理の優先度付けを行ってもよい。一方、イベントの種類によっては、そのイベントを処理できるイベントハンドラをもった表示部品を探索するための手続きを用意してもよい。例えばキーイベントの場合、いわゆるフォーカスをもった表示部品がそのキーイベントを処理できない場合は、その表示部品が配置されているパネルや複合表示部品などがもつイベントハンドラで、そのキーイベントに対応したものを探索し、その処理を行わせることなどが考えられる。さらにガードやアクションの処理などで、ある表示部品が他の表示部品の属性の値を参照したり、名前付けされた表示部品をいわゆる連想配列などで管理し、それらの表示部品を名前で参照することを実現してもよい。
【0032】
イベントハンドラにおけるアクションの処理の結果、ある複合表示部品が別の状態に遷移するときには、現在の状態、もしくは次の状態と共通しない現在の状態グループに対応したイグジットハンドラがあればそれを実行する。そして、次の状態と共通しない現在の状態グループ、及び現在の状態に対応した表示部品を表示しないようにし、それらを消去する。またそれらに対応したイベントハンドラを無効化する。消去される部品が複合表示部品であれば、その中で表示されている表示部品の消去、イベントハンドラの無効化を再帰的に行う。一方、イベントハンドラの無効化に際しては、必要に応じて対応するタイマーを無効化したり、対応する仮想的なイベントを発生させるためのボタンを消去するなどの処理を行う。そして、新たな状態、及びその状態が属する状態グループのうち現在の状態と共通しない新たな状態グループに対応した表示部品の生成、表示、イベントハンドラの有効化を上述のように行う。
【0033】
仮想表示部品格納手段90は、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段80では仮想的に実装することが容易な機能を持った、仮想的な表示部品を格納する。
【0034】
次に、上述のユーザインタフェース設計装置を用いて設計された複合表示部品において、状態遷移に伴ってどのように表示部品の切替が行われるかを、図2を用いて説明する。なお説明の簡単化のため、各複合表示部品は状態1を初期状態とするとともに、各状態から他の状態に遷移するためのイベントハンドラが各状態に設定されている一方、状態グループは設定されていないものとする。また、各表示部品は表示される前にそのインスタンスが生成されているものとする。
【0035】
図2において、複合表示部品Xは状態1から状態LまでのL個の状態をもつ。そして例えば状態1では基本表示部品Aと複合表示部品Yが、状態2では基本表示部品Bと基本表示部品Cが、状態Lでは基本表示部品Dと複合表示部品Zが用いられている。
【0036】
一方、複合表示部品Yは状態1から状態MまでのM個の状態をもつ。そして例えば状態1では基本表示部品Eが、状態2では基本表示部品Fが、状態Mでは複合表示部品Zと基本表示部品Gが用いられている。
【0037】
さらに、複合表示部品Zは状態1から状態NまでのN個の状態をもつ。そして例えば状態1では基本表示部品Hが、状態2では基本表示部品Iが、状態Nでは基本表示部品Jと基本表示部品Kが用いられている。
【0038】
このように各表示部品が設計されている場合に複合表示部品Xが表示されると、まず複合表示部品Xは状態1となり、基本表示部品Aとともに複合表示部品Yが表示される。複合表示部品Yもまず状態1となり、そこでは基本表示部品Eが表示される。
【0039】
続いて複合表示部品Yが何らかのイベント処理による状態遷移の結果、状態Mになったとすると、基本表示部品Eが消えて、今度は基本表示部品Gとともに複合表示部品Zが表示される。そして複合表示部品Zはまず状態1となって、そこで基本表示部品Hが表示されることになる。一方、複合表示部品Xで表示されている基本表示部品Aは表示されたままとなっている。
【0040】
ここで複合表示部品Zに状態遷移が生じて状態Nになったとすると、今度は基本表示部品Hが消えて、基本表示部品Jおよび基本表示部品Kが表示されることになる。
【0041】
ここで、複合表示部品Xが状態2に遷移すると、複合表示部品X以外はすべて消え、基本表示部品Bおよび基本表示部品Cが表示されることになる。さらに、複合表示部品1が状態Lに遷移すると、今度は基本表示部品Bおよび基本表示部品Cが消えて、基本表示部品D及び複合表示部品Zが表示され、上述のように複合表示部品Zはまず状態1となって、そこで基本表示部品Hが表示されることになる。
【0042】
なお、ここでは表示部品の切換について説明したが、各状態に対応したイベントハンドラの有効化・無効化についても同様の処理が行われる。
【0043】
このように実施の形態1によれば、ユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段10と、複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段20と、予め設計された基本表示部品を格納する基本表示部品格納手段30と、複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段40とを備えているため、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態におけるイベント処理の編集及び基本表示部品の追加・削除によって容易に設計することが可能となる。
【0044】
さらに、設計された複合表示部品を格納する複合表示部品格納手段50を備えるとともに、状態表示編集手段40は設計された他の複合表示部品も追加・削除可能であるため、複合表示部品のある状態において別の複合表示部品を配置・削除することが可能となる。このため、例えば図2のような場合でも、複合表示部品Zの設計は1回ですむことからわかるように、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、同一のユーザインタフェース設計装置で設計した複数の複合表示部品を階層的に組み合わせることにより、1つの状態空間で扱おうとすると生じる状態数の組み合わせ的爆発を防ぎながら、見通しよく設計することが可能になる。
【0045】
また、状態集合編集手段10において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、状態表示編集手段40において、グループ化された状態で共通して表示される表示部品をまとめて編集することを可能にすることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することができる。
【0046】
また、状態集合編集手段10において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、、イベント処理編集手段20において、共通するイベント処理をまとめて編集することを可能にすることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。
【0047】
また、基本表示部品格納手段30に格納された基本表示部品において、大きさや位置、及び外観やふるまいに対応する属性を持たせると共に、複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の属性を編集する属性編集手段60を提供することにより、配置や外観、ふるまいなどの異なる同種の表示部品を多数用意しなくても、基本表示部品の属性の変更により、設計者の望む配置や外観、ふるまいなどを柔軟に効率良く設定することが出来る。そのため、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。
【0048】
また、複合表示部品に対してその大きさや位置、及び外観やふるまいに対応した属性を追加・削除する複合表示部品属性設定手段70をさらに備え、属性編集手段60は、複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集することを可能にすることにより、複合表示部品の外観やふるまいなどを属性の設定によって変更することが可能となり、外観やふるまいなどの異なる同種の複合表示部品を多数用意しなくても、その属性の変更により、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。
【0049】
また、属性編集手段60において、基本表示部品あるいは複合表示部品の属性値として、他の基本表示部品あるいは複合表示部品の属性値を参照して記述することを可能にすることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。
【0050】
また、状態表示編集手段40において、複合表示部品の各状態もしくは状態のグループにおける基本表示部品あるいは複合表示部品の配置や外観をグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさ、サイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する属性編集手段60を直接起動することを可能にすることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。
【0051】
また、デイスプレーのタッチ入力、マウス、キーボード等の入力機器を介して入力される操作入力に基づき、複合表示部品格納手段50に格納された複合表示部品のふるまいをシミュレートするシミュレーション手段80をさらに備えることにより、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことが可能となる。
【0052】
また、複合表示部品の各状態もしくは状態のグループで表示する部品として、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段80において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段90をさらに備えることにより、設計の早期段階で新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。
【0053】
また、イベント処理編集手段20において、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能に関連したもの、シミュレート手段80でのシミュレーションが困難なイベントを仮想的に設定して、そのようなイベントに対するイベント処理の編集を可能にし、シミュレーション手段80において、仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせることを可能にすることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの動作を容易に設計・確認できる。
【0054】
【発明の効果】
の発明に係るユーザインタフェース設計装置は、設計対象装置のユーザインタフェースとなる画面表示用の部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、上記設計対象装置の内部状態として複数の状態を有する複合表示部品を格納する複合表示部品格納手段と、入力機器からの情報を入力する入力手段と、上記複合表示部品の状態、基本表示部品並びに複合表示部品の配置及び外観をグラフィカルに表示し、上記入力手段によって入力された情報を表示装置に表示する表示手段と、上記入力手段によって入力された情報から上記複合表示部品に上記状態を追加し、又は上記複合表示部品から上記状態を削除し、上記複合表示部品を上記複合表示部品格納手段に格納する状態集合編集手段と、上記入力手段によって入力された情報から上記複合表示部品の上記状態間を遷移するイベント処理を記述するイベントハンドラが作成又は編集され、上記複合表示部品を上記複合表示部品格納手段に格納するイベント処理編集手段と、上記複合表示部品格納手段に格納された上記複合表示部品を読み出して、上記入力手段によって入力された情報及び上記表示手段の表示内容の関係に基づいて、読み出した上記複合表示部品の各状態において表示すべき基本表示部品を追加又は削除し、上記複合表示部品の各状態に他の複合表示部品を追加又は上記複合表示部品の各状態から他の複合表示部品を削除して、上記複合表示部品を階層的に組み合わせて上記複合表示部品格納手段に格納する状態表示編集手段とを備えているため、イベントに対する状態遷移を伴うユーザインターフェースの設計が可能かつ容易となる。
【0058】
また、基本表示部品格納手段に格納された基本表示部品は、大きさ、位置、外観及びふるまいに対応する属性を有し、複合表示部品格納手段に格納された複合表示部品を読み出して、複合表示部品の各状態に追加された基本表示部品の属性を編集して、複合表示部品を複合表示部品格納手段に格納する属性編集手段と、複合表示部品格納手段に格納された複合表示部品を読み出して、複合表示部品に対してそのふるまいに対応した属性を追加・削除して、複合表示部品を複合表示部品格納手段に格納する複合表示部品属性設定手段をさらに備え、属性編集手段は、複合表示部品の各状態に追加された複合表示部品の属性を編集することにより、配置や外観、ふるまいなどに応じて部品を用意することなく、属性の変更により基本表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザーインタフェースを効率的に設計してゆくことが可能となるとともに、配置や外観、ふるまいなどの異なる同種の復号表示部品を多数用意することなく、その属性の変更により、復号表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザーインターフェースを効率的に設計してゆくことが可能となる。
【0060】
また、上記属性編集手段は、上記基本表示部品あるいは上記複合表示部品の属性の値として、他の上記基本表示部品あるいは上記複合表示部品の属性の値を参照するように記述することを可能にすることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザーインターフェースの設計が容易になる。
【0062】
また、入力機器を介して入力される操作入力に基づき、上記複合表示部品格納手段に格納された上記複合表示部品に表示すべき上記基本表示部品がある場合は当該表示部品を表示し、表示すべき他の上記複合表示部品がある場合は当該複合表示部品に対して処理を繰り返しながら複合表示部品のふるまいをシミュレートするシミュレーション手段をさらに備えることにより、ユーザインタフェースのシミュレーションが出来るとともに、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことができるので、状態遷移を伴うユーザインタフェースの設計を進めて行くことが可能となる。
また、上記シミュレーション手段は、基本表示部品または複合表示部品の属性値が他の基本表示部品又は上記複合表示部品の属性の値を参照する場合は、当該属性値を参照するようにしたので、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。
【0064】
また、上記イベント処理編集手段は、イベントを仮想的に設定し、該イベントに対するイベントハンドラを編集し、上記シミュレーション手段は、上記仮想的なイベントを入出力機器を介して発行させ、該発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの設計・確認が容易となる。
【図面の簡単な説明】
【図1】 本発明のユーザインタフェース設計装置を示すブロック図である。
【図2】 複合表示部品を説明する為の階層図である。
【図3】 従来のユーザインタフェース設計装置を示すブロック図である。
【符号の説明】
10 状態集合編集手段、20 イベント処理編集手段、30 基本表示部品格納手段、40 状態表示編集手段、50 複合表示部品格納手段、60 属性編集手段、70 複合表示部品属性設定手段、80 シミュレーション手段、90 仮想表示部品格納手段。

Claims (6)

  1. 設計対象装置のユーザインタフェースとなる画面表示用の部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、
    上記設計対象装置の内部状態として複数の状態を有する複合表示部品を格納する複合表示部品格納手段と、
    入力機器からの情報を入力する入力手段と、
    上記複合表示部品の状態、基本表示部品並びに複合表示部品の配置及び外観をグラフィカルに表示し、上記入力手段によって入力された情報を表示装置に表示する表示手段と、
    上記入力手段によって入力された情報から上記複合表示部品に上記状態を追加し、又は上記複合表示部品から上記状態を削除し、上記複合表示部品を上記複合表示部品格納手段に格納する状態集合編集手段と、
    上記入力手段によって入力された情報から上記複合表示部品の上記状態間を遷移するイベント処理を記述するイベントハンドラが作成又は編集され、上記複合表示部品を上記複合表示部品格納手段に格納するイベント処理編集手段と、
    上記複合表示部品格納手段に格納された上記複合表示部品を読み出して、上記入力手段によって入力された情報及び上記表示手段の表示内容の関係に基づいて、読み出した上記複合表示部品の各状態において表示すべき基本表示部品を追加又は削除し、上記複合表示部品の各状態に他の複合表示部品を追加又は上記複合表示部品の各状態から他の複合表示部品を削除して、上記複合表示部品を階層的に組み合わせて上記複合表示部品格納手段に格納する状態表示編集手段と
    を備えたことを特徴とするユーザインタフェース設計装置。
  2. 上記基本表示部品格納手段に格納された基本表示部品は、大きさ、位置、外観及びふるまいに対応する属性を有し、
    上記複合表示部品格納手段に格納された上記複合表示部品を読み出して、上記複合表示部品の各状態に追加された基本表示部品の上記属性を編集して、上記複合表示部品を上記複合表示部品格納手段に格納する属性編集手段と、
    上記複合表示部品格納手段に格納された上記複合表示部品を読み出して、上記複合表示部品に対してそのふるまいに対応した属性を追加・削除して、上記複合表示部品を上記複合表示部品格納手段に格納する複合表示部品属性設定手段と
    をさらに備え、
    上記属性編集手段は、上記複合表示部品の各状態に追加された複合表示部品の属性を編集する
    ことを特徴とする請求項に記載のユーザインタフェース設計装置。
  3. 上記属性編集手段は、上記基本表示部品あるいは上記複合表示部品の属性の値として、他の上記基本表示部品あるいは上記複合表示部品の属性の値を参照するように記述することを可能にする
    ことを特徴とする請求項に記載のユーザインタフェース設計装置。
  4. 入力機器を介して入力される操作入力に基づき、上記複合表示部品格納手段に格納された上記複合表示部品に表示すべき上記基本表示部品がある場合は当該表示部品を表示し、表示すべき他の上記複合表示部品がある場合は当該複合表示部品に対して処理を繰り返しながら上記複合表示部品のふるまいをシミュレートするシミュレーション手段をさらに備えたことを特徴とする請求項1または2に記載のユーザインタフェース設計装置。
  5. 上記シミュレーション手段は、基本表示部品または複合表示部品の属性値が他の基本表示部品又は上記複合表示部品の属性の値を参照する場合は、当該属性値を参照することを特徴とする請求項4に記載のユーザインタフェース設計装置。
  6. 上記イベント処理編集手段は、イベントを仮想的に設定し、該イベントに対するイベントハンドラを編集し、
    上記シミュレーション手段は、上記仮想的なイベントを入出力機器を介して発行させ、該発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせる
    ことを特徴とする請求項4または5に記載のユーザインタフェース設計装置。
JP2001037161A 2001-02-14 2001-02-14 ユーザインタフェース設計装置 Expired - Lifetime JP3881179B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001037161A JP3881179B2 (ja) 2001-02-14 2001-02-14 ユーザインタフェース設計装置
CNB021062145A CN1184560C (zh) 2001-02-14 2002-02-11 用户接口设计装置
FR0201731A FR2821193B1 (fr) 2001-02-14 2002-02-12 Dispositif de conception d'interface d'utilisateur
US10/073,269 US7385585B2 (en) 2001-02-14 2002-02-13 User interface designing apparatus
US12/115,105 US8059092B2 (en) 2001-02-14 2008-05-05 User interface designing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001037161A JP3881179B2 (ja) 2001-02-14 2001-02-14 ユーザインタフェース設計装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006268121A Division JP4757762B2 (ja) 2006-09-29 2006-09-29 ユーザインタフェース装置およびユーザインタフェース装置用プログラム

Publications (2)

Publication Number Publication Date
JP2002244848A JP2002244848A (ja) 2002-08-30
JP3881179B2 true JP3881179B2 (ja) 2007-02-14

Family

ID=18900333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001037161A Expired - Lifetime JP3881179B2 (ja) 2001-02-14 2001-02-14 ユーザインタフェース設計装置

Country Status (4)

Country Link
US (2) US7385585B2 (ja)
JP (1) JP3881179B2 (ja)
CN (1) CN1184560C (ja)
FR (1) FR2821193B1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3881179B2 (ja) * 2001-02-14 2007-02-14 三菱電機株式会社 ユーザインタフェース設計装置
US20030052919A1 (en) * 2001-09-06 2003-03-20 Tlaskal Martin Paul Animated state machine
JP3755499B2 (ja) * 2002-09-06 2006-03-15 ソニー株式会社 Guiアプリケーション開発支援装置、gui表示装置、および方法、並びにコンピュータ・プログラム
JP3755500B2 (ja) * 2002-09-06 2006-03-15 ソニー株式会社 Guiアプリケーション開発支援装置および方法、並びにコンピュータ・プログラム
JP3760904B2 (ja) * 2002-09-06 2006-03-29 ソニー株式会社 Guiアプリケーション開発支援装置、gui表示装置、および方法、並びにコンピュータ・プログラム
US20070213968A1 (en) * 2003-10-16 2007-09-13 Mitsubishi Denki Kabushiki Kaisha User Interface Software Design System
GB2411331A (en) * 2004-02-19 2005-08-24 Trigenix Ltd Rendering user interface using actor attributes
JP4679834B2 (ja) * 2004-04-23 2011-05-11 三菱電機株式会社 Gui設計装置及びプログラム
US7587080B1 (en) * 2004-11-04 2009-09-08 Rockwell Automation Technologies, Inc. Image retention user interface
US7398474B2 (en) * 2005-01-31 2008-07-08 Microsoft Corporation Method and system for a digital device menu editor
US7913250B2 (en) * 2005-11-16 2011-03-22 Microsoft Corporation Automated state migration while deploying an operating system
US20070156382A1 (en) 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) * 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
JP4986288B2 (ja) * 2007-05-01 2012-07-25 日本システムウエア株式会社 組込み装置、その開発システム、開発プログラム、データの転送方法およびデータ構造
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US20110302514A1 (en) 2008-03-11 2011-12-08 Creative Information Technology Method for designing a graphical interface program
US20090271742A1 (en) * 2008-04-29 2009-10-29 Rui Zhang User interface navigation design system
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
JP5177083B2 (ja) * 2009-06-04 2013-04-03 株式会社デンソー ソースコード自動生成プログラム,ソースコード自動生成装置
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
JP5545744B2 (ja) * 2010-10-07 2014-07-09 富士通株式会社 操作画面設計支援プログラム、操作画面設計支援装置および操作画面設計支援方法
US8566794B2 (en) * 2010-10-19 2013-10-22 Sap Ag Checkpoint entry insertion during test scenario creation
JP5801682B2 (ja) 2011-10-13 2015-10-28 富士通株式会社 設定情報生成プログラム、設定情報生成装置および設定情報生成方法
JP5903276B2 (ja) * 2012-01-04 2016-04-13 富士通株式会社 表示制御プログラム及び該装置
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
CN105849675B (zh) 2013-10-30 2019-09-24 苹果公司 显示相关的用户界面对象
CN107209729B (zh) * 2015-02-27 2020-07-31 三菱电机株式会社 用户接口执行装置以及用户接口设计装置
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
JP6164344B2 (ja) * 2016-06-23 2017-07-19 三菱電機株式会社 ユーザインタフェース実行装置およびユーザインタフェース設計装置
US10783061B2 (en) * 2018-06-22 2020-09-22 Microsoft Technology Licensing, Llc Reducing likelihood of cycles in user interface testing
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8621061D0 (en) * 1986-09-01 1986-10-08 Hewlett Packard Ltd User interface simulation
US5371683A (en) * 1989-03-22 1994-12-06 Kabushiki Kaisha Toshiba LSI design support system
JPH04137036A (ja) * 1990-09-28 1992-05-12 Toshiba Corp ソフトウェア部品合成装置
JPH06103051A (ja) * 1991-07-17 1994-04-15 Toshiba Corp プログラム作成装置
JP2929824B2 (ja) * 1992-02-18 1999-08-03 日本電気株式会社 ユーザ・インタフェース制御方式
EP0622729A3 (en) * 1993-04-29 1995-02-01 Ibm User interface generator for a user interface server.
JP2991895B2 (ja) * 1993-06-29 1999-12-20 新日本製鐵株式会社 プラント設備における制御プログラムの設計方法
JPH0793119A (ja) * 1993-09-21 1995-04-07 Mitsubishi Electric Corp グラフィカルユーザインタフェース装置
US5801687A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Authoring tool comprising nested state machines for use in a computer system
US5542034A (en) * 1994-10-19 1996-07-30 Hewlett-Packard Company Minimizing logic to determine current state in an output encoded finite state machine
JPH08190476A (ja) * 1995-01-06 1996-07-23 Hitachi Ltd 対話型プログラムの開発支援装置
JPH08286899A (ja) * 1995-04-18 1996-11-01 Hitachi Ltd 表示画面状態遷移表によるプログラム作成方法
US20030091329A1 (en) * 1997-04-12 2003-05-15 Tetsuro Nakata Editing system and editing method
JP3137238B2 (ja) * 1998-05-27 2001-02-19 日本電気株式会社 階層化gui部品相互通信システム
JP2000137599A (ja) 1998-10-30 2000-05-16 Nec Corp Gui設計システム
JP2000276342A (ja) 1999-03-26 2000-10-06 Mitsubishi Electric Corp 設計仕様作成装置及び設計仕様作成方法
US6853963B1 (en) * 1999-05-25 2005-02-08 Empirix Inc. Analyzing an extended finite state machine system model
US6701513B1 (en) * 2000-01-14 2004-03-02 Measurement Computing Corporation Program-development environment for use in generating application programs
US7093005B2 (en) * 2000-02-11 2006-08-15 Terraspring, Inc. Graphical editor for defining and creating a computer system
US6681383B1 (en) * 2000-04-04 2004-01-20 Sosy, Inc. Automatic software production system
JP2002073004A (ja) * 2000-08-24 2002-03-12 Nec Software Hokuriku Ltd 画面レイアウトシステムおよび画面レイアウト方法
JP3881179B2 (ja) * 2001-02-14 2007-02-14 三菱電機株式会社 ユーザインタフェース設計装置

Also Published As

Publication number Publication date
FR2821193A1 (fr) 2002-08-23
FR2821193B1 (fr) 2007-04-13
US8059092B2 (en) 2011-11-15
CN1184560C (zh) 2005-01-12
US7385585B2 (en) 2008-06-10
CN1371047A (zh) 2002-09-25
US20020109721A1 (en) 2002-08-15
US20080222539A1 (en) 2008-09-11
JP2002244848A (ja) 2002-08-30

Similar Documents

Publication Publication Date Title
JP3881179B2 (ja) ユーザインタフェース設計装置
CN103853611B (zh) 将应用程序间的文本进行快捷复制的方法及电子设备
Mori et al. Tool support for designing nomadic applications
US10223076B1 (en) Generating code based on user interactions with a user interface element in a code editor
US7213230B2 (en) Playing scenarios of system behavior
CN110851134A (zh) 低代码页面设计装置及页面设计方法
CN103885943A (zh) 网页中的下拉列表框控件的实现方法
Dörner et al. Content creation and authoring challenges for virtual environments: from user interfaces to autonomous virtual characters
JP4757762B2 (ja) ユーザインタフェース装置およびユーザインタフェース装置用プログラム
Molina Massó et al. Towards virtualization of user interfaces based on UsiXML
JP5143927B2 (ja) ユーザインタフェース装置
Sinha et al. Capturing user tests in a multimodal, multidevice informal prototyping tool
CN101833421A (zh) 电子装置及获取用户操作的方法
Diaz et al. RMCase: Computer-aided support for hypermedia design and development
Katara et al. Towards deploying model-based testing with a domain-specific modeling approach
CN113096686B (zh) 音频处理方法、装置、电子设备及存储介质
CN114780330A (zh) 代码监控方法和装置
Palanque et al. Towards an integrated proposal for Interactive Systems design based on TLIM and ICO
CN112587929A (zh) 游戏副本的生成方法、装置及设备
JPH04288674A (ja) ハイパーテキスト編集装置
JP2005242474A (ja) ユーザインタフェース設計装置及びプログラム
Murray Contextual interaction support in 3d worlds
JP2005309978A (ja) Gui設計装置及びプログラム
CN115686529A (zh) 代码生成方法和装置、电子设备和可读存储介质
JP3966355B2 (ja) プログラム生成方法および装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3881179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term