JP4757762B2 - User interface device and program for user interface device - Google Patents
User interface device and program for user interface device Download PDFInfo
- Publication number
- JP4757762B2 JP4757762B2 JP2006268121A JP2006268121A JP4757762B2 JP 4757762 B2 JP4757762 B2 JP 4757762B2 JP 2006268121 A JP2006268121 A JP 2006268121A JP 2006268121 A JP2006268121 A JP 2006268121A JP 4757762 B2 JP4757762 B2 JP 4757762B2
- Authority
- JP
- Japan
- Prior art keywords
- display component
- composite display
- composite
- state
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Stored Programmes (AREA)
- User Interface Of Digital Computer (AREA)
Description
この発明は、イベントに対する状態遷移に伴って表示部品を切り替えるような例えば携帯電話や携帯情報端末などのユーザインタフェースの設計に適用されるユーザインタフェース装置およびユーザインタフェース装置用プログラムに関するものである。 The present invention relates to a user interface device and a program for a user interface device that are applied to the design of a user interface such as a mobile phone or a portable information terminal that switches display components in accordance with a state transition with respect to an event.
図３は例えば特許文献１に示された従来のユーザインタフェース設計装置を示すブロック図である。この文献に開示された装置においては、レイアウトデータを対話的に設計するレイアウト設計部１１１、属性データを設定する属性設定部１１２、およびＧＵＩ部品ごとの生成契機を設定する生成契機設定部１１３から構成されたＧＵＩ画面設計装置１０１と、レイアウトデータ記憶部１２１、属性データ記憶部１２２、および生成契機データ記憶部１２３の各記憶部から構成された設計データ記憶装置１０２と、設計データに基づいてソースプログラムを生成するＧＵＩ画面ソースプログラム生成部１３１によるソースプログラム生成装置１０３と、ハードディスク等へ出力する出力装置１０４とからなる（例えば、特許文献１参照。）。
FIG. 3 is a block diagram showing a conventional user interface design apparatus disclosed in Patent Document 1, for example. The apparatus disclosed in this document includes a
このような構成のユーザインタフェース設計装置においては、第一の生成契機が設定されたとき、ＧＵＩ画面の中でＧＵＩ部品を生成するソースプログラムとアクセス関数のソースプログラムを生成し、第二の生成契機が設定されたとき、動的生成アクセス関数のソースプログラムを生成して必要なときにＧＵＩ部品の生成を行う。 In the user interface design device having such a configuration, when a first generation opportunity is set, a source program for generating a GUI component and an access function source program are generated in the GUI screen, and a second generation opportunity is generated. Is set, a source program of a dynamically generated access function is generated, and a GUI component is generated when necessary.
このような構成の従来のユーザインタフェース設計装置においては、状態遷移を伴うユーザインタフェース部品の設計や、それらを組み合わせたユーザインタフェースのシミュレーションができなかった。 In the conventional user interface design apparatus having such a configuration, design of user interface parts accompanied by state transition and simulation of a user interface combining them cannot be performed.
この発明は、上述のような課題を解決するためになされたもので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となるユーザインタフェース装置およびユーザインタフェース装置用プログラムを得ることを目的とする。 The present invention has been made in order to solve the above-described problems. A user interface for switching display components in accordance with a state transition with respect to an event is added to a display component and event processing in each state. It is an object of the present invention to obtain a user interface device and a user interface device program that can be easily designed by editing.
この発明は、入力機器からの操作入力を入力する入力手段と、設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性を定義する、複合表示部品格納手段と、上記操作入力のうちマウス操作入力に基づき、発行される仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段とを備え、上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、上記シミュレーション手段は、上記仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラによる状態間の遷移の動作において表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行することを特徴とするユーザインタフェース装置である。 The present invention is designed in advance as input means for inputting an operation input from an input device, display means for displaying a user interface of a design target device on a display device, and parts for displaying on a user interface of the design target device. Basic display component storage means for storing the displayed basic display component, and composite display component storage means for storing the composite display component, wherein the composite display component is defined by a plurality of states, transitions between the states, and defined An event handler that performs processing, and displays the size, position, and appearance attributes of the basic display component and other composite display components displayed in each state , and the states of the other composite display components. basic display component, as well as yet other composite display component size, location, attributes in the reference related to attributes of appearance, and the event handlers It defines the attributes that determine how behavior, the composite display component storage means, based on the mouse operation input of the operation input, to operate an event handler composite display component has to be a virtual key event is issued And a simulation means for displaying the user interface on the display means, and each composite display component stored in the composite display component storage means is in each state for each of a plurality of states of the corresponding composite display component. The basic display component to be displayed and other composite display components are combined in a hierarchy, and the simulation means performs transition between states by event handlers of the composite display component that is the target of the virtual key event. If there is a basic display component that should be displayed during operation, the basic display component is displayed and displayed. If there are other of the composite display component can, the as an operation for the composite display component, the designed device inside or corresponding to the event generated in the outside and the activated event handler composite display component has a By this operation , when there is a state transition in the composite display component and there is a basic display component to be displayed in the state after the transition, the basic display component is displayed and further displayed in the state after the transition. When there is another composite display component to be displayed, the user interface device is characterized in that an operation including displaying the other composite display component is repeatedly performed on the other composite display component recursively.
この発明は、入力機器からの操作入力を入力する入力手段と、設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性を定義する、複合表示部品格納手段と、上記操作入力のうちマウス操作入力に基づき、発行される仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段とを備え、上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、上記シミュレーション手段は、上記仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラによる状態間の遷移の動作において表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行することを特徴とするユーザインタフェース装置であるので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となる。
The present invention is designed in advance as input means for inputting an operation input from an input device, display means for displaying a user interface of a design target device on a display device, and parts for displaying on a user interface of the design target device. Basic display component storage means for storing the displayed basic display component, and composite display component storage means for storing the composite display component, wherein the composite display component is defined by a plurality of states, transitions between the states, and defined An event handler that performs processing, and displays the size, position, and appearance attributes of the basic display component and other composite display components displayed in each state , and the states of the other composite display components. basic display component, as well as yet other composite display component size, location, attributes in the reference related to attributes of appearance, and the event handlers It defines the attributes that determine how behavior, the composite display component storage means, based on the mouse operation input of the operation input, to operate an event handler composite display component has to be a virtual key event is issued And a simulation means for displaying the user interface on the display means, and each composite display component stored in the composite display component storage means is in each state for each of a plurality of states of the corresponding composite display component. The basic display component to be displayed and other composite display components are combined in a hierarchy, and the simulation means performs transition between states by event handlers of the composite display component that is the target of the virtual key event. If there is a basic display component that should be displayed during operation, the basic display component is displayed and displayed. If there are other of the composite display component can, the as an operation for the composite display component, the designed device inside or corresponding to the event generated in the outside and the activated event handler composite display component has a By this operation , when there is a state transition in the composite display component and there is a basic display component to be displayed in the state after the transition, the basic display component is displayed and further displayed in the state after the transition. Since the user interface device is characterized in that when there is another composite display component to be displayed, the operation including displaying the other composite display component is repeatedly performed on the other composite display component repeatedly. , A user interface that switches display components in response to event status transitions, adding and deleting states, It is possible to design easily by editing display parts and event processing.
実施の形態１．
図１は本発明の実施の形態１によるユーザインタフェース設計装置のブロック図である。この装置は状態集合編集手段１０、イベント処理編集手段２０、基本表示部品格納手段３０、状態表示編集手段４０、複合表示部品格納手段５０、属性編集手段６０、複合表示部品属性設定手段７０、シミュレーション手段８０、仮想表示部品格納手段９０からなる。
Embodiment 1 FIG.
FIG. 1 is a block diagram of a user interface design apparatus according to Embodiment 1 of the present invention. This apparatus includes a state set editing unit 10, an event process editing unit 20, a basic display component storage unit 30, a state
上記ユーザインタフェース設計装置における設計対象となる複合表示部品は、複数の状態からなる状態空間を有し、各状態における表示や状態遷移などのふるまいの設計記述を可能とするものである。 The composite display component to be designed in the user interface design apparatus has a state space composed of a plurality of states, and enables design description of behavior such as display and state transition in each state.
状態集合編集手段１０は、複合表示部品の状態空間を規定するために用いる。具体的には、複合表示部品の状態空間に新たな状態を追加したり、すでに状態空間に存在している状態を削除することが可能である。各状態には、互いを識別するための名前をつけられるようになっていてもよい。また状態空間に複数の状態がある場合は、複合表示部品が表示されたときに最初にどの状態になるかを指定するために、いずれかの状態を初期状態として設定可能としてもよい。さらにいくつかの状態からなる状態グループを編集する機能を設けてもよい。そして各状態もしくは状態グループを指定して、対応するイベント処理編集手段２０または状態表示編集手段４０を起動することを可能としてもよい。
The state set editing means 10 is used for defining the state space of the composite display component. Specifically, it is possible to add a new state to the state space of the composite display component or delete a state that already exists in the state space. Each state may be given a name for identifying each state. Further, when there are a plurality of states in the state space, any state may be set as an initial state in order to specify which state is to be initially obtained when the composite display component is displayed. Further, a function for editing a state group consisting of several states may be provided. Then, it is possible to activate each corresponding event processing editing unit 20 or status
イベント処理編集手段２０は、複合表示部品の各状態もしくは状態グループにおけるふるまいを設計記述するために用いる。具体的には、各状態もしくは状態グループにおいて、どういうイベントをどういうふうに処理するかを規定するイベントハンドラを設定する。 The event processing editing means 20 is used to design and describe the behavior of each state or state group of the composite display component. Specifically, an event handler that defines what kind of event is to be processed in each state or state group is set.
イベントの種類としては例えば、何らかのキーが押されたなどといったキーイベント、マウスボタンがクリックされたなどといったマウスイベント、ある状態になってから指定時間経過したときに発生するタイマーイベント、キーやマウスなどからの入力がなくなってから指定時間後に発生するリリースイベント、ある状態もしくは状態グループに入ったときに発生するエントリイベント、ある状態もしくは状態グループからぬけるときに発生するイグジットイベント、音声による入力で発生する音声入力イベント、カメラなどからの入力で発生する画像入力イベント、機器の動きによって発生するモーションイベント、などが考えられる。さらに、複合表示部品などの間の通信・同期などに用いられる内部イベントや、現実のユーザインタフェース装置では実現が困難あるいは複雑であったり、開発中の機能に関連したイベントであったり、あるいはシミュレーション手段８０でシミュレートすることが困難なイベントを仮に設定して、対応するイベントハンドラを設計していくことを可能にする仮想イベントなども考えられる。また、例えばキーイベントの場合にはどのキーが押されたか、タイマーイベントの場合には指定時間がどれぐらいか、などイベントを詳細に識別するための属性を各種イベントに設けてもよい。 Examples of event types include a key event such as a key being pressed, a mouse event such as a mouse button being clicked, a timer event that occurs when a specified time elapses after entering a certain state, a key or a mouse, etc. A release event that occurs after a specified time after the input from ceases, an entry event that occurs when entering a certain state or state group, an exit event that occurs when exiting from a certain state or state group, or an audio input An audio input event, an image input event that occurs due to input from a camera, a motion event that occurs due to the movement of a device, and the like are considered. Furthermore, internal events used for communication / synchronization between composite display components, etc., difficult or complicated to realize with real user interface devices, events related to functions under development, or simulation means A virtual event that makes it possible to set an event that is difficult to simulate in 80 and design a corresponding event handler is also conceivable. Further, for example, various events may be provided with attributes for identifying the event in detail, such as which key is pressed in the case of a key event and how long a specified time is in the case of a timer event.
イベントハンドラには、イベントの種類や属性と、対応するイベントが発生した場合の処理を規定するアクションが設定される。アクションで記述される処理としては、ユーザインタフェース装置の内部状態や後述する表示部品の属性の変更、他の複合表示部品などに対する内部イベントの送信、何らかのプログラムコードの実行、そして複合表示部品の状態遷移などが考えられる。またユーザインタフェース装置の内部状態などによってイベントを処理すべきかどうかを判定し、場合によってはイベント処理を行わないようにするための、いわゆるガードをイベントハンドラに設定可能としてもよい。アクションやガードの記述には、例えばインタプリタ実行可能なプログラミング言語を用いることが考えられる。 In the event handler, the type and attribute of the event and an action that defines the processing when the corresponding event occurs are set. Processes described by actions include the internal state of the user interface device and the attributes of display components to be described later, the transmission of internal events to other composite display components, the execution of some program code, and the transition of composite display components And so on. In addition, it may be possible to set a so-called guard in the event handler so as to determine whether or not an event should be processed based on an internal state of the user interface device, and to prevent event processing. For the description of actions and guards, for example, it is conceivable to use an interpreter-executable programming language.
基本表示部品格納手段３０は、あらかじめ設計された基本表示部品を格納しておく。基本表示部品としてはボタンやラベル、テキスト入力フォーム、チェックボックス、メニューなどが考えられる。また他の基本表示部品などを配置するためのパネル、フレームなども考えられる。同じ種類の基本表示部品でも、あらかじめ配置や大きさ、色、表示文字列などを特定したものを必要なだけ用意することも考えられるが、それらを属性として変更可能としておき、設計時に属性編集手段６０で編集できるようにすると、用意すべき基本表示部品の数が少なくなるとともに、個々の基本表示部品の汎用性が向上する。 The basic display component storage unit 30 stores basic display components designed in advance. As basic display parts, buttons, labels, text input forms, check boxes, menus, and the like can be considered. In addition, a panel or a frame for arranging other basic display components may be considered. Although it is possible to prepare as many basic display parts of the same type as the layout, size, color, display character string, etc., as necessary, it is possible to change them as attributes and edit attributes at the time of design. If editing is possible at 60, the number of basic display parts to be prepared is reduced, and the versatility of individual basic display parts is improved.
状態表示編集手段４０は、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品を新たに追加したり、すでに各状態もしくは状態グループに登録もしくは追加されている表示部品を削除することを可能にする。 The status display editing means 40 can add a new display component to be displayed in each status or status group of the composite display component, or delete a display component that has already been registered or added to each status or status group. To.
表示部品としては例えば、基本表示部品格納手段３０に格納されている基本表示部品、すでに設計した複合表示部品を格納する複合表示部品格納手段５０の中の複合表示部品、あるいは仮想表示部品格納手段９０に格納されている仮想表示部品がある。
As the display component, for example, the basic display component stored in the basic display component storage unit 30, the composite display component in the composite display
また、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品の配置をそれらの外観とともにグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさやサイズあるいは部品間の前後関係などレイアウトに関する属性・情報をグラフィカルに編集したり、各表示部品に対応する属性編集手段６０を直接起動することを可能としてもよい。
複合表示部品格納手段５０は、すでに設計された複合表示部品を格納する。
In addition, the layout of the display parts to be displayed in each state or state group of the composite display parts is displayed graphically together with their appearance, and they are directly operated with a mouse etc., and the layout such as the size and size or the context between parts It may be possible to graphically edit the attribute / information related to or to directly start the attribute editing means 60 corresponding to each display component.
The composite display component storage means 50 stores composite display components that have already been designed.
属性編集手段６０は基本表示部品や複合表示部品などの表示部品のもつ属性の値を設定する。属性としては配置や大きさなど一般的なものの他に、例えばボタンの場合は、表示文字列とその色や、背景色、押されたときなどに発生するイベントなど、表示部品の種類に応じたものが考えられる。また表示部品を互いに識別するための名前を属性として持たせてもよい。属性編集手段６０はこれらの属性のタイプに応じた編集方法を提供してもよい。またある表示部品の属性が、他の表示部品の属性の値を参照するように設定可能とすることも考えられる。 The attribute editing means 60 sets attribute values of display parts such as basic display parts and composite display parts. In addition to general attributes such as placement and size, for example, in the case of buttons, depending on the type of display component such as the display character string and its color, background color, events that occur when pressed, etc. Things can be considered. Moreover, you may give the name for identifying a display component mutually as an attribute. The attribute editing means 60 may provide an editing method according to these attribute types. It is also conceivable that an attribute of a certain display component can be set so as to refer to an attribute value of another display component.
複合表示部品属性設定手段７０は、複合表示部品の属性の追加、削除を行う。属性の追加においては属性のタイプや名前、初期値、参照関係などを設定する。これにより、複合表示部品の外観やふるまいなどを属性の設定によって簡便に変更することが可能となる。
シミュレーション手段８０は、複合表示部品の動作をシミュレートする。
The composite display component attribute setting means 70 adds and deletes attributes of the composite display component. When adding an attribute, the attribute type, name, initial value, reference relationship, etc. are set. As a result, the appearance and behavior of the composite display component can be easily changed by setting the attributes.
The
複合表示部品をシミュレートするには、まず複合表示部品の状態を初期状態に設定するとともに、初期状態および初期状態が属する状態グループに対応した表示部品を生成し、属性を初期化した上で指定されたレイアウトで表示する一方、それらに対応したイベントハンドラを有効化する。有効化されたイベントハンドラは、必要に応じて後述のようにタイマーなどを起動しながら、対応するイベントの発生を待つ。各表示部品の表示は例えば属性に応じて決定する。また表示すべき部品に他の複合表示部品が含まれる場合は、生成された複合表示部品に対し上記の処理を繰り返す。 To simulate a composite display part, first set the state of the composite display part to the initial state, generate a display part corresponding to the initial state and the state group to which the initial state belongs, initialize the attributes, and specify While displaying in the specified layout, enable event handlers corresponding to them. The activated event handler waits for the occurrence of a corresponding event while starting a timer or the like as will be described later. The display of each display component is determined according to the attribute, for example. If the component to be displayed includes another composite display component, the above processing is repeated for the generated composite display component.
イベントの発生に関しては、そのままシミュレートできる場合もあるが、例えばユーザインタフェース装置のキーを表すボタンを押すことに対応したイベントはマウスクリックなどで模擬し、ボタンの属性などで指定されたキーイベントを発生させて、適当な表示部品（例えばいわゆるフォーカスのあたった表示部品）のイベントハンドラに処理させることが考えられる。またタイマーイベントの場合は、対応するイベントハンドラが有効になったときにタイマーを起動させ、一定時間後にイベントを発生させ、上記イベントハンドラに処理させることが考えられる。リリースイベントの場合は、キーイベントなどが生じるごとにタイマーをリセットすることが考えられる。また仮想的なイベントに対応するイベントハンドラが有効になった場合は、例えばそのイベントを発生させるための特別なボタンをディスプレーに表示しておく。そしてユーザがそれをマウスなどで選択することにより仮想イベントを発生させ、上記イベントハンドラに処理させることが考えられる。一方、ある状態あるいは状態グループのエントリイベントに対するイベントハンドラがあれば、その状態あるいは状態グループに移ったときに上記イベントハンドラの処理を行う。 Although the occurrence of an event may be simulated as it is, for example, an event corresponding to pressing a button representing a key of a user interface device is simulated by a mouse click or the like, and a key event specified by a button attribute or the like is used. It can be considered that the event handler of an appropriate display component (for example, a so-called focused display component) generates the event handler. In the case of a timer event, it is conceivable that a timer is started when a corresponding event handler becomes valid, an event is generated after a predetermined time, and is processed by the event handler. In the case of a release event, the timer may be reset every time a key event or the like occurs. When an event handler corresponding to a virtual event becomes valid, for example, a special button for generating the event is displayed on the display. Then, it is conceivable that a virtual event is generated by the user selecting it with a mouse or the like and processed by the event handler. On the other hand, if there is an event handler for an entry event of a certain state or state group, the event handler is processed when the state or state group is entered.
イベントに対応したイベントハンドラの処理においては、まずガードがあればそれが評価され、アクションの処理を行うかどうかが決定される。ガードがない場合、もしくはガードを評価した結果アクションを処理すべきと判定された場合は、アクションの処理が行われる。なお前述のように、ガードやアクションは例えば何らかのプログラミング言語で記述して、それをインタプリタ実行してもよい。また、特定のイベントに対する反応速度を向上させるなどの目的で、イベントの種類に応じた処理の優先度付けを行ってもよい。一方、イベントの種類によっては、そのイベントを処理できるイベントハンドラをもった表示部品を探索するための手続きを用意してもよい。例えばキーイベントの場合、いわゆるフォーカスをもった表示部品がそのキーイベントを処理できない場合は、その表示部品が配置されているパネルや複合表示部品などがもつイベントハンドラで、そのキーイベントに対応したものを探索し、その処理を行わせることなどが考えられる。さらにガードやアクションの処理などで、ある表示部品が他の表示部品の属性の値を参照したり、名前付けされた表示部品をいわゆる連想配列などで管理し、それらの表示部品を名前で参照することを実現してもよい。 In processing of an event handler corresponding to an event, first, if there is a guard, it is evaluated, and it is determined whether or not action processing is performed. If there is no guard, or if it is determined that the action should be processed as a result of evaluating the guard, the action is processed. As described above, guards and actions may be described in some programming language, for example, and interpreted. In addition, for the purpose of improving the response speed to a specific event, processing priorities may be given according to the type of event. On the other hand, depending on the type of event, a procedure for searching for a display component having an event handler that can process the event may be prepared. For example, in the case of a key event, if a display component with a so-called focus cannot process the key event, the event handler of the panel or composite display component on which the display component is placed, corresponding to the key event It is conceivable to search for and execute the processing. Furthermore, in the processing of guards and actions, a display component refers to the attribute value of another display component, or the named display component is managed using a so-called associative array, and these display components are referred to by name. You may realize that.
イベントハンドラにおけるアクションの処理の結果、ある複合表示部品が別の状態に遷移するときには、現在の状態、もしくは次の状態と共通しない現在の状態グループに対応したイグジットハンドラがあればそれを実行する。そして、次の状態と共通しない現在の状態グループ、及び現在の状態に対応した表示部品を表示しないようにし、それらを消去する。またそれらに対応したイベントハンドラを無効化する。消去される部品が複合表示部品であれば、その中で表示されている表示部品の消去、イベントハンドラの無効化を再帰的に行う。一方、イベントハンドラの無効化に際しては、必要に応じて対応するタイマーを無効化したり、対応する仮想的なイベントを発生させるためのボタンを消去するなどの処理を行う。そして、新たな状態、及びその状態が属する状態グループのうち現在の状態と共通しない新たな状態グループに対応した表示部品の生成、表示、イベントハンドラの有効化を上述のように行う。 When a composite display component transitions to another state as a result of the action processing in the event handler, if there is an exit handler corresponding to the current state or a current state group that is not common to the next state, it is executed. Then, the current state group that is not in common with the next state and the display component corresponding to the current state are not displayed and are deleted. In addition, event handlers corresponding to them are invalidated. If the part to be erased is a composite display part, the display part displayed in the part is erased and the event handler is invalidated recursively. On the other hand, when invalidating an event handler, processing such as invalidating a corresponding timer or deleting a button for generating a corresponding virtual event is performed as necessary. Then, the generation and display of the display component corresponding to the new state and the new state group not common to the current state among the state groups to which the state belongs, display, and validation of the event handler are performed as described above.
仮想表示部品格納手段９０は、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段８０では仮想的に実装することが容易な機能を持った、仮想的な表示部品を格納する。 The virtual display component storage means 90 is a function that is difficult or complicated to implement in an actual user interface device, or is a function under development, but the simulation means 80 has a function that is easy to implement virtually. Stores virtual display components.
次に、上述のユーザインタフェース設計装置を用いて設計された複合表示部品において、状態遷移に伴ってどのように表示部品の切替が行われるかを、図２を用いて説明する。なお説明の簡単化のため、各複合表示部品は状態１を初期状態とするとともに、各状態から他の状態に遷移するためのイベントハンドラが各状態に設定されている一方、状態グループは設定されていないものとする。また、各表示部品は表示される前にそのインスタンスが生成されているものとする。 Next, how a display component is switched in accordance with a state transition in a composite display component designed using the above-described user interface design apparatus will be described with reference to FIG. For simplicity of explanation, each composite display component has state 1 as an initial state, and an event handler for transition from each state to another state is set for each state, while a state group is set. Shall not. In addition, it is assumed that an instance of each display component is generated before being displayed.
図２において、複合表示部品Ｘは状態１から状態ＬまでのＬ個の状態をもつ。そして例えば状態１では基本表示部品Ａと複合表示部品Ｙが、状態２では基本表示部品Ｂと基本表示部品Ｃが、状態Ｌでは基本表示部品Ｄと複合表示部品Ｚが用いられている。 In FIG. 2, the composite display component X has L states from state 1 to state L. For example, the basic display component A and the composite display component Y are used in the state 1, the basic display component B and the basic display component C are used in the state 2, and the basic display component D and the composite display component Z are used in the state L.
一方、複合表示部品Ｙは状態１から状態ＭまでのＭ個の状態をもつ。そして例えば状態１では基本表示部品Ｅが、状態２では基本表示部品Ｆが、状態Ｍでは複合表示部品Ｚと基本表示部品Ｇが用いられている。 On the other hand, the composite display component Y has M states from state 1 to state M. For example, in the state 1, the basic display component E is used, in the state 2, the basic display component F is used, and in the state M, the composite display component Z and the basic display component G are used.
さらに、複合表示部品Ｚは状態１から状態ＮまでのＮ個の状態をもつ。そして例えば状態１では基本表示部品Ｈが、状態２では基本表示部品Ｉが、状態Ｎでは基本表示部品Ｊと基本表示部品Ｋが用いられている。 Further, the composite display component Z has N states from state 1 to state N. For example, the basic display component H is used in the state 1, the basic display component I is used in the state 2, and the basic display component J and the basic display component K are used in the state N.
このように各表示部品が設計されている場合に複合表示部品Ｘが表示されると、まず複合表示部品Ｘは状態１となり、基本表示部品Ａとともに複合表示部品Ｙが表示される。複合表示部品Ｙもまず状態１となり、そこでは基本表示部品Ｅが表示される。 When the composite display component X is displayed when each display component is designed as described above, the composite display component X is first in state 1 and the composite display component Y is displayed together with the basic display component A. The composite display component Y is also in the state 1 first, where the basic display component E is displayed.
続いて複合表示部品Ｙが何らかのイベント処理による状態遷移の結果、状態Ｍになったとすると、基本表示部品Ｅが消えて、今度は基本表示部品Ｇとともに複合表示部品Ｚが表示される。そして複合表示部品Ｚはまず状態１となって、そこで基本表示部品Ｈが表示されることになる。一方、複合表示部品Ｘで表示されている基本表示部品Ａは表示されたままとなっている。 Subsequently, if the composite display component Y is in the state M as a result of state transition by some event processing, the basic display component E disappears and the composite display component Z is displayed together with the basic display component G. The composite display component Z is first in state 1 where the basic display component H is displayed. On the other hand, the basic display component A displayed by the composite display component X remains displayed.
ここで複合表示部品Ｚに状態遷移が生じて状態Ｎになったとすると、今度は基本表示部品Ｈが消えて、基本表示部品Ｊおよび基本表示部品Ｋが表示されることになる。 Here, if a state transition occurs in the composite display component Z and the state N is reached, then the basic display component H disappears and the basic display component J and the basic display component K are displayed.
ここで、複合表示部品Ｘが状態２に遷移すると、複合表示部品Ｘ以外はすべて消え、基本表示部品Ｂおよび基本表示部品Ｃが表示されることになる。さらに、複合表示部品１が状態Ｌに遷移すると、今度は基本表示部品Ｂおよび基本表示部品Ｃが消えて、基本表示部品Ｄ及び複合表示部品Ｚが表示され、上述のように複合表示部品Ｚはまず状態１となって、そこで基本表示部品Ｈが表示されることになる。 Here, when the composite display component X transitions to the state 2, all but the composite display component X disappear, and the basic display component B and the basic display component C are displayed. Furthermore, when the composite display component 1 transitions to the state L, the basic display component B and the basic display component C disappear this time, the basic display component D and the composite display component Z are displayed, and the composite display component Z is First, the state 1 is reached, and the basic display component H is displayed there.
なお、ここでは表示部品の切換について説明したが、各状態に対応したイベントハンドラの有効化・無効化についても同様の処理が行われる。 Although switching of display components has been described here, the same processing is performed for enabling / disabling an event handler corresponding to each state.
このように実施の形態１によれば、ユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段１０と、複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段２０と、予め設計された基本表示部品を格納する基本表示部品格納手段３０と、複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段４０とを備えているため、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態におけるイベント処理の編集及び基本表示部品の追加・削除によって容易に設計することが可能となる。 As described above, according to the first embodiment, the user interface design device adds the state set editing means 10 for adding / deleting the state of the composite display component composed of a plurality of states, and the transition between the states in each state of the composite display component. Event processing editing means 20 describing event processing such as, basic display part storage means 30 for storing basic display parts designed in advance, and basic display parts to be displayed in each state of the composite display parts are added / deleted. Since the state display editing means 40 is provided, a user interface that switches display components in accordance with the state transition for an event can be added, state addition / deletion, event processing editing in each state, and basic display component addition / deletion. It becomes possible to design easily.
さらに、設計された複合表示部品を格納する複合表示部品格納手段５０を備えるとともに、状態表示編集手段４０は設計された他の複合表示部品も追加・削除可能であるため、複合表示部品のある状態において別の複合表示部品を配置・削除することが可能となる。このため、例えば図２のような場合でも、複合表示部品Ｚの設計は１回ですむことからわかるように、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、同一のユーザインタフェース設計装置で設計した複数の複合表示部品を階層的に組み合わせることにより、１つの状態空間で扱おうとすると生じる状態数の組み合わせ的爆発を防ぎながら、見通しよく設計することが可能になる。 Furthermore, since the composite display component storing means 50 for storing the designed composite display component is provided, and the status display editing means 40 can add / delete other designed composite display components, a state where the composite display component is present. It becomes possible to arrange / delete another composite display part in FIG. For this reason, for example, even in the case of FIG. 2, as the design of the composite display component Z needs only one time, a complicated user interface including partially independent state transitions can be changed to the same user interface design. By combining a plurality of composite display parts designed by the apparatus in a hierarchical manner, it becomes possible to design with a good view while preventing a combined explosion of the number of states that occur when trying to handle them in one state space.
また、状態集合編集手段１０において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、状態表示編集手段４０において、グループ化された状態で共通して表示される表示部品をまとめて編集することを可能にすることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することができる。
The state set editing unit 10 can group several states of the composite display component, and the state
また、状態集合編集手段１０において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、イベント処理編集手段２０において、共通するイベント処理をまとめて編集することを可能にすることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。 In addition, the state set editing unit 10 can group several states of the composite display component, and the event processing editing unit 20 can collectively edit common event processes. Thus, it is possible to simplify editing of event processing that is common in several states.
また、基本表示部品格納手段３０に格納された基本表示部品において、大きさや位置、及び外観やふるまいに対応する属性を持たせると共に、複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の属性を編集する属性編集手段６０を提供することにより、配置や外観、ふるまいなどの異なる同種の表示部品を多数用意しなくても、基本表示部品の属性の変更により、設計者の望む配置や外観、ふるまいなどを柔軟に効率良く設定することが出来る。そのため、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。 In addition, the basic display component stored in the basic display component storage means 30 has attributes corresponding to the size, position, appearance, and behavior, and the basic display added to each state or group of states of the composite display component. By providing the attribute editing means 60 for editing the attributes of the parts, the layout desired by the designer can be obtained by changing the attributes of the basic display parts without preparing a large number of display parts of the same type having different layouts, appearances, and behaviors , Appearance and behavior can be set flexibly and efficiently. Therefore, it is possible to efficiently realize the user interface in each state of the composite display component.
また、複合表示部品に対してその大きさや位置、及び外観やふるまいに対応した属性を追加・削除する複合表示部品属性設定手段７０をさらに備え、属性編集手段６０は、複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集することを可能にすることにより、複合表示部品の外観やふるまいなどを属性の設定によって変更することが可能となり、外観やふるまいなどの異なる同種の複合表示部品を多数用意しなくても、その属性の変更により、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。 Further, it further comprises composite display component attribute setting means 70 for adding / deleting attributes corresponding to the size and position of the composite display component and its appearance and behavior, and the attribute editing means 60 is provided for each state or By making it possible to edit the attributes of composite display parts added to a state group, it is possible to change the appearance and behavior of composite display parts by setting attributes, and the same type of appearance and behavior can be changed. Even if a large number of composite display parts are not prepared, the user interface in each state of the composite display part can be efficiently realized by changing the attribute.
また、属性編集手段６０において、基本表示部品あるいは複合表示部品の属性値として、他の基本表示部品あるいは複合表示部品の属性値を参照して記述することを可能にすることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。 In addition, the attribute editing means 60 makes it possible to refer to and describe the attribute value of another basic display component or composite display component as the attribute value of the basic display component or composite display component. Designing a user interface that changes the appearance and behavior according to the attributes of an object becomes easy.
また、状態表示編集手段４０において、複合表示部品の各状態もしくは状態のグループにおける基本表示部品あるいは複合表示部品の配置や外観をグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさ、サイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する属性編集手段６０を直接起動することを可能にすることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。 In addition, the status display editing means 40 graphically displays the layout and appearance of the basic display component or the composite display component in each state or group of states of the composite display component, and directly manipulates them with a mouse etc. Arrangement of display parts in each state of the composite display part by enabling graphical editing of layout-related attributes and information such as size and context between parts, and enabling the corresponding attribute editing means 60 to be directly started It is possible to efficiently modify the arrangement and edit the attributes while intuitively grasping the above.
また、デイスプレーのタッチ入力、マウス、キーボード等の入力機器を介して入力される操作入力に基づき、複合表示部品格納手段５０に格納された複合表示部品のふるまいをシミュレートするシミュレーション手段８０をさらに備えることにより、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことが可能となる。
Further, a
また、複合表示部品の各状態もしくは状態のグループで表示する部品として、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段８０において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段９０をさらに備えることにより、設計の早期段階で新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。 In addition, as a component to be displayed in each state or group of states of the composite display component, it is difficult or complicated to realize with an actual user interface device, or is a function under development. By further including virtual display component storage means 90 for storing virtual display components having functions that can be easily performed, it is easy to proceed with the design while reviewing a new user interface function at an early stage of the design. Become.
また、イベント処理編集手段２０において、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能に関連したもの、シミュレート手段８０でのシミュレーションが困難なイベントを仮想的に設定して、そのようなイベントに対するイベント処理の編集を可能にし、シミュレーション手段８０において、仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせることを可能にすることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの動作を容易に設計・確認できる。 Further, the event processing editing means 20 virtually sets an event that is difficult or complicated to implement in an actual user interface device, or that is related to a function under development, or that is difficult to simulate in the simulation means 80. Then, it is possible to edit the event processing for such an event, the simulation means 80 issues a virtual event via the input / output device, and the processing for the issued virtual event is processed as a target composite. By making it possible to simulate with display components, it is difficult or complicated to realize with an actual user interface device, or it is difficult to simulate with events related to functions under development, or simulation means User interface behavior for events Easy to design and can be confirmed.
本発明によれば、以下のような効果を奏する。 According to the present invention, the following effects can be obtained.
１．このように、本発明に係るユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段と、上記複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段と、あらかじめ設計された基本表示部品を格納する基本表示部品格納手段と、上記複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段とを備えているため、イベントに対する状態遷移を伴うユーザインタフェースの設計が可能かつ容易となる。 1. As described above, the user interface design apparatus according to the present invention includes a state set editing unit for adding / deleting a state of a composite display component having a plurality of states, and an event such as a transition between states in each state of the composite display component. Event processing editing means for describing processing, basic display part storage means for storing predesigned basic display parts, and status display editing means for adding / deleting basic display parts to be displayed in each state of the composite display parts Therefore, it is possible and easy to design a user interface with state transition for an event.
２．上記１記載のユーザインタフェース設計装置に対して、設計された上記複合表示部品を格納する複合表示部品格納手段をさらに備え、上記状態表示編集手段は、上記設計された他の複合表示部品をも追加・削除する機能を備えたことにより、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、復号表示部品の組み合わせとして、状態数の組み合わせ的爆発を防ぎながら見通しよく設計することが可能になる。 2. The user interface design apparatus according to 1 further includes a composite display component storage unit that stores the designed composite display component, and the status display editing unit also adds the other designed composite display component.・ Equipped with a function to delete, it is possible to design a complex user interface containing partially independent state transitions as a combination of decoding display parts with a good view while preventing a combined explosion of the number of states. Become.
３．上記１または２に記載のいずれかのユーザインタフェース設計装置に対して、上記状態集合編集手段は、上記複合表示部品のいくつかの状態をグループ化し、上記状態表示編集手段は、上記グループ化された状態で共通して表示される表示部品をまとめて編集する機能を備えることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することが可能となる。 3. With respect to any one of the user interface design apparatuses according to 1 or 2, the state set editing unit groups several states of the composite display component, and the state display editing unit includes the grouped display units. By providing a function for collectively editing the display components that are displayed in common in the states, it is possible to simplify the editing of the display components that are displayed in common in several states.
４．上記１から３に記載のいずれかのユーザインタフェース設計装置に対して、上記状態集合編集手段は、上記複合表示部品のいくつかの状態をグループ化し、上記イベント処理編集手段は、上記グループ化された状態で、共通するイベント処理をまとめて編集する機能を備えることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。 4). With respect to any one of the user interface design apparatuses described in 1 to 3, the state set editing unit groups several states of the composite display component, and the event processing editing unit By providing a function for collectively editing event processes that are common to states, editing of event processes that are common to several states can be simplified.
５．上記１から４に記載のいずれかのユーザインタフェース設計装置に対して、上記基本表示部品格納手段に格納された基本表示部品は、大きさや位置、および外観やふるまいに対応する属性有し、上記複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の上記属性を編集する属性編集手段を備えることにより、配置や外観、ふるまいなどに応じて部品を用意することなく、属性の変更により基本表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザインタフェースを効率的に設計してゆくことが可能となる。 5. With respect to any one of the user interface design apparatuses according to 1 to 4, the basic display component stored in the basic display component storage means has attributes corresponding to size, position, appearance, and behavior, and the composite By providing attribute editing means for editing the above attributes of basic display parts added to each state or group of display parts, it is possible to change the attributes without preparing parts according to arrangement, appearance, behavior, etc. It is possible to efficiently design a user interface with state transition while using the desired arrangement and appearance of basic display components.
６．上記５に記載のいずれかのユーザインタフェース設計装置に対してその大きさや位置、及び外観やふるまいなどに対応した属性を追加・削除する複合表示部品属性設定手段をさらに備え、上記属性編集手段は、上記複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集する機能を備えることにより、配置や外観、ふるまいなどの異なる同種の復号表示部品を多数用意することなく、その属性の変更により、復号表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザインタフェースを効率的に設計してゆくことが可能となる。 6). Compound display part attribute setting means for adding / deleting attributes corresponding to the size, position, appearance, behavior, etc. of any of the user interface design devices described in 5 above, the attribute editing means, By providing a function to edit the attributes of composite display parts added to each state or group of states of the above composite display parts, it is possible to prepare the same kind of decoding display parts of different types, such as arrangement, appearance, and behavior. By changing the attributes, it is possible to efficiently design a user interface with state transition while setting and using the desired arrangement, appearance, and behavior of the decoding display component.
７．上記５および６に記載のいずれかのユーザインタフェース設計装置に対して、上記属性編集手段は、上記基本表示部品あるいは上記複合表示部品の属性の値として、他の上記基本表示部品あるいは上記複合表示部品の属性の値を参照記述する機能を備えることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。 7). For the user interface design device described in any one of 5 and 6, the attribute editing unit may use another basic display component or the composite display component as an attribute value of the basic display component or the composite display component. By providing a function for referring to and describing the value of the attribute, it is easy to design a user interface that changes the appearance and behavior according to the attributes of other display components.
８．上記１から７に記載のいずれかのユーザインタフェース設計装置に対して、上記状態表示編集手段は、上記複合表示部品の各状態もしくは状態のグループにおける上記基本表示部品あるいは上記複合表示部品の配置をグラフィカルに表示すると共に、それらを入力機器で直接操作させ、大きさやサイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する上記属性編集手段を直接起動する機能を備えることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。 8). For any one of the user interface design devices described in 1 to 7, the status display editing means graphically displays the arrangement of the basic display component or the composite display component in each state or group of states of the composite display component. In addition, it is possible to directly edit the attributes and information related to the layout such as the size, size, and the context between parts, and to directly activate the corresponding attribute editing means. Accordingly, it is possible to efficiently correct the arrangement and edit the attributes while intuitively grasping the arrangement of the display components in each state of the composite display component.
９．上記１から８に記載のユーザインタフェース設計装置に対して、入力機器を介して入力される操作入力に基づき、上記複合表示部品格納手段に格納された上記複合表示部品のふるまいをシミュレートするシミュレーション手段をさらに備えることにより、ユーザインタフェースのシミュレーションが出来るとともに、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことができるので、状態遷移を伴うユーザインタフェースの設計を進めて行くことが可能となる。 9. Simulation means for simulating the behavior of the composite display component stored in the composite display component storage means based on an operation input input to the user interface design device described in 1 to 8 above through an input device In addition to simulating the user interface, it is possible to proceed with the design while confirming the behavior of the composite display component being designed, so it is possible to proceed with the design of the user interface with state transitions. It becomes possible.
１０．上記９に記載のユーザインタフェース設計装置に対して、上記シミュレーション手段において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段をさらに備えることにより、仮想的な表示部品を用いて、ユーザインタフェースの設計、シミュレーションを行うことが可能となり、設計の早い段階から新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。 10. A virtual display component storing unit that stores a virtual display component having a function that can be easily implemented virtually in the simulation unit is provided for the user interface design device described in 9 above, thereby providing a virtual display. It becomes possible to design and simulate a user interface using parts, and it is easy to proceed with the design while reviewing a new user interface function from an early stage of the design.
１１．上記９および１０に記載のいずれかのユーザインタフェース設計装置に対して、上記イベント処理編集手段は、実際には困難なイベントを仮想的に設定し、該イベントに対するイベント処理を編集し、上記シミュレーション手段は、上記仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせる機能を備えることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの設計・確認が容易となる。 11. In the user interface design device described in any one of 9 and 10, the event processing editing unit virtually sets an actually difficult event, edits the event processing for the event, and the simulation unit In an actual user interface device, the above virtual event is issued via an input / output device, and the process for the issued virtual event is simulated by the target composite display component. It is easy to design and confirm a user interface for an event that is difficult or complicated to implement, an event related to a function under development, or an event that is difficult to simulate by a simulation means.
１０ 状態集合編集手段、２０ イベント処理編集手段、３０ 基本表示部品格納手段、４０ 状態表示編集手段、５０ 複合表示部品格納手段、６０ 属性編集手段、７０ 複合表示部品属性設定手段、８０ シミュレーション手段、９０ 仮想表示部品格納手段。 10 state set editing means, 20 event processing editing means, 30 basic display part storage means, 40 state display editing means, 50 composite display part storage means, 60 attribute editing means, 70 composite display part attribute setting means, 80 simulation means, 90 Virtual display component storage means.
Claims (3)
設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、
設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、
複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性を定義する、複合表示部品格納手段と、
上記操作入力のうちマウス操作入力に基づき、発行される仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段と
を備え、
上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、
上記シミュレーション手段は、上記仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラによる状態間の遷移の動作において表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行する
ことを特徴とするユーザインタフェース装置。 An input means for inputting an operation input from an input device;
Display means for displaying the user interface of the device to be designed on the display device;
Basic display component storage means for storing basic display components designed in advance as components for display on the user interface of the device to be designed;
Composite display component storage means for storing a composite display component, wherein the composite display component has a plurality of states, an event handler for performing transition between the states and a defined process, and displaying in each state The size, position and appearance attributes of the basic display component and other composite display components to be displayed, and the size and position of the basic display component and other composite display components to be displayed in each state of the other composite display component Composite display component storage means for defining attributes that have a reference relationship with appearance attributes, and attributes that determine the behavior of the event handler,
Simulation means for operating an event handler of a composite display component that is a target of a virtual key event to be issued based on a mouse operation input among the operation inputs, and displaying a user interface on the display means,
Each composite display component stored in the composite display component storage means hierarchically displays a basic display component and other composite display components to be displayed in each state for each of a plurality of states of the corresponding composite display component. Is a combination of
The simulation means displays the basic display component when there is the basic display component to be displayed in the transition operation between states by the event handler of the composite display component that is the target of the virtual key event, and displays the basic display component. If there is another composite display component to be processed, an activated event corresponding to an event that occurred inside or outside the design target device as an operation for the composite display component and that the composite display component has The handler is operated, and when this composite display part has a state transition, and there is a basic display part to be displayed in the state after the transition, the basic display part is displayed, and in the state after the transition, When there is another composite display part to be displayed, the operation consisting of displaying the other composite display part is repeated. User interface device and executes recursively to other composite display component to.
上記シミュレーション手段は、上記基本表示部品及び上記複合表示部品の属性値が他の上記基本表示部品及び上記複合表示部品の属性値を参照する場合は、当該属性値を参照する
ことを特徴とする請求項１に記載のユーザインタフェース装置。 The attribute values of the basic display component and the composite display component can be described so as to refer to the attribute values of the other basic display component and the composite display component,
The simulation means refers to the attribute value when the attribute value of the basic display component and the composite display component refers to the attribute value of another basic display component and the composite display component. Item 4. The user interface device according to Item 1.
入力機器からの操作入力を入力する入力手段と、
設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、
設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、
複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性を定義する、複合表示部品格納手段と、
上記操作入力のうちマウス操作入力に基づき、発行される仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段
として機能させるためのユーザインタフェース装置用プログラムであって、
上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、
上記シミュレーション手段は、上記仮想的なキーイベントの対象となる複合表示部品が有するイベントハンドラによる状態間の遷移の動作において表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行する
ことを特徴とするユーザインタフェース装置用プログラム。 Computer
An input means for inputting an operation input from an input device;
Display means for displaying the user interface of the device to be designed on the display device;
Basic display component storage means for storing basic display components designed in advance as components for display on the user interface of the device to be designed;
Composite display component storage means for storing a composite display component, wherein the composite display component has a plurality of states, an event handler for performing transition between the states and a defined process, and displaying in each state The size, position and appearance attributes of the basic display component and other composite display components to be displayed, and the size and position of the basic display component and other composite display components to be displayed in each state of the other composite display component Composite display component storage means for defining attributes that have a reference relationship with appearance attributes, and attributes that determine the behavior of the event handler,
Based on a mouse operation input among the operation inputs, an event handler included in a composite display component that is a target of a virtual key event to be issued is operated, and functions as a simulation unit that displays a user interface on the display unit. A program for a user interface device,
Each composite display component stored in the composite display component storage means hierarchically displays a basic display component and other composite display components to be displayed in each state for each of a plurality of states of the corresponding composite display component. Is a combination of
The simulation means displays the basic display component when there is the basic display component to be displayed in the transition operation between states by the event handler of the composite display component that is the target of the virtual key event, and displays the basic display component. If there is another composite display component to be processed, an activated event corresponding to an event that occurred inside or outside the design target device as an operation for the composite display component and that the composite display component has The handler is operated, and when this composite display part has a state transition, and there is a basic display part to be displayed in the state after the transition, the basic display part is displayed, and in the state after the transition, When there is another composite display part to be displayed, the operation consisting of displaying the other composite display part is repeated. And a user interface device for program and executes recursively to other composite display component.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006268121A JP4757762B2 (en) | 2006-09-29 | 2006-09-29 | User interface device and program for user interface device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006268121A JP4757762B2 (en) | 2006-09-29 | 2006-09-29 | User interface device and program for user interface device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001037161A Division JP3881179B2 (en) | 2001-02-14 | 2001-02-14 | User interface design device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011107153A Division JP5143927B2 (en) | 2011-05-12 | 2011-05-12 | User interface device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007048309A JP2007048309A (en) | 2007-02-22 |
| JP4757762B2 true JP4757762B2 (en) | 2011-08-24 |
Family
ID=37851029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006268121A Expired - Lifetime JP4757762B2 (en) | 2006-09-29 | 2006-09-29 | User interface device and program for user interface device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4757762B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5097476B2 (en) | 2007-08-20 | 2012-12-12 | 株式会社リコー | Screen editing apparatus, screen editing method and program |
| JP2009059203A (en) * | 2007-08-31 | 2009-03-19 | Omron Corp | Customization device for image processing function, customization method for image processing function, and program for customizing image processing function |
| JP5247750B2 (en) * | 2010-03-19 | 2013-07-24 | 三菱電機株式会社 | Program component container device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06131168A (en) * | 1992-10-20 | 1994-05-13 | Fuji Xerox Co Ltd | User interface preparation supporting device |
| JPH08190476A (en) * | 1995-01-06 | 1996-07-23 | Hitachi Ltd | Development assisting device for interactive program |
| JPH08263333A (en) * | 1995-03-27 | 1996-10-11 | Toshiba Corp | Programming support device and method |
| JP3008872B2 (en) * | 1997-01-08 | 2000-02-14 | 日本電気株式会社 | GUI system automatic operation device and operation macro execution device |
| JP3582962B2 (en) * | 1997-07-28 | 2004-10-27 | 株式会社東芝 | Editing device, editing method, and recording medium |
-
2006
- 2006-09-29 JP JP2006268121A patent/JP4757762B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007048309A (en) | 2007-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3881179B2 (en) | User interface design device | |
| Zhang et al. | Appagent: Multimodal agents as smartphone users | |
| US7757207B2 (en) | Form skin and design time WYSIWYG for .net compact framework | |
| US10223076B1 (en) | Generating code based on user interactions with a user interface element in a code editor | |
| US10761812B2 (en) | Visual code editor for visually developing features in applications | |
| US11010141B2 (en) | Graphical interface to generate instructions to control a representation by an output interface of one or more objects | |
| US7213230B2 (en) | Playing scenarios of system behavior | |
| CN103885943A (en) | Method for achieving drop-down list box control in webpage | |
| CN103049280A (en) | Method for achieving key macro definition function and mobile terminal | |
| Dörner et al. | Content creation and authoring challenges for virtual environments: from user interfaces to autonomous virtual characters | |
| JP4757762B2 (en) | User interface device and program for user interface device | |
| US7620912B1 (en) | Graphical assignment of object behaviors | |
| JP5143927B2 (en) | User interface device | |
| CN106445539A (en) | IFML-based Android developing modeling method | |
| CN113760261B (en) | Graphical building block programming method and terminal based on FGUI | |
| CN116719521A (en) | Demonstrator model editing method and system and configuration software system | |
| US20040205703A1 (en) | Playing in scenarios of system behavior | |
| CN114780330A (en) | Code monitoring method and device | |
| KR20080026000A (en) | Apparatus and method for simulation of user interface flow | |
| Murray | Contextual interaction support in 3d worlds | |
| Sousa et al. | An Expeditious Approach to Modeling IDE Interaction Design. | |
| JP2005242474A (en) | User interface design device and program | |
| KR20240099091A (en) | Device and method for debugging a video game | |
| JP5436506B2 (en) | Design verification apparatus, design verification method, and design verification program | |
| CN116610300A (en) | Material management system for software development |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100709 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110217 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4757762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |