JP3978619B2 - グラフィカルユーザインタフェース装置 - Google Patents
グラフィカルユーザインタフェース装置 Download PDFInfo
- Publication number
- JP3978619B2 JP3978619B2 JP10239796A JP10239796A JP3978619B2 JP 3978619 B2 JP3978619 B2 JP 3978619B2 JP 10239796 A JP10239796 A JP 10239796A JP 10239796 A JP10239796 A JP 10239796A JP 3978619 B2 JP3978619 B2 JP 3978619B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- component
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、空調機器、照明機器、受配電機器、家電機器などにおける各種機器の操作器のグラフィカルユーザインタフェース装置に関するものである。
【０００２】
【従来の技術】
昨今、空調機器、照明機器、受配電機器、家電機器などにおける操作器のグラフィカルユーザインタフェースは、タッチスクリーンによるダイレクトタッチ方式のものが主流となりつつある。タッチスクリーンを使用した入力方式では、操作器の表示・操作画面に現れる操作ボタン、操作キー等の画像に直接触れることによって操作が行えるため、直感に基づいた快適な操作が行える。そして、操作器の表示・操作画面内に収まり切らない表示がある場合は、一般にスクロール機能が用いられていて、表示・操作画面に現れる矢印キーなどの画像を操作することによって表示・操作画面内の一部または全体を縦横方向にスクロールさせて、表示範囲を移動させている。また、ユーザの操作の補助機能として、表示・操作画面に表示されている操作ボタンまたは操作キー等の機能シンボルの画像の画像表示データ等の各種データを有する表示・操作部品は、例えば表示・操作部品の機能などを説明するヘルプ情報が対応していて、これらのヘルプ情報は通常固定されており、表示・操作画面に表示されているある表示・操作部品の機能シンボルの画像を操作すると、操作された表示・操作部品のヘルプ情報が表示・操作画面に表示される。
【０００３】
このような操作器のグラフィカルユーザインタフェースにおけるソフトウェア開発では、操作ボタンまたは操作キー等の機能シンボルの画像の画像表示データ等の各種データや機能シンボルの画像が操作されそれを受けた時に機能シンボルの動作などが実現されるプログラム（ソフトウェア）を有する表示・操作部品の機能シンボルの画像を画面上に配置することによって操作器に対応する表示・操作画面が作成され、このように作成すると、各表示・操作部品の機能シンボルの動作などが実現されるプログラム（ソフトウェア）によって各表示・操作部品から直接次の表示・操作画面へのリンク付けがなされ、この流れによって操作手順が作成される。そして、実際に表示・操作画面を操作するとこの操作手順に沿って表示・操作部品の有する機能の動作などが実現されるプログラム（ソフトウェア）が実行される。
【０００４】
また、例えば特開平６−２０２８６３号公報に開示された発明のように、ユーザの操作内容とこの操作に対応する処理動作との連続的な手順の設定を行う手順設定オブジェクトを、機能の動作などが実現されるプログラム（ソフトウェア）などを有する表示・操作部品とは別に独立させて設けたものがある。この場合も、操作器稼働中はその操作手順が固定状態にあり、その固定した操作手順に沿って操作される。
【０００５】
【発明が解決しようとする課題】
上記のような従来のグラフィカルユーザインタフェースは、例えばＬＣＤ（液晶ディスプレイ）などの平面の表示ユニットに表示された操作ボタンまたは操作キー等の画像を視覚的にとらえ、この画像を平面のタッチスクリーン越しにタッチして操作するため、現実世界の物理的な操作ボタンまたは操作キー等を操作した場合と比較して操作を行った触感が大幅に不足し、操作感覚が得難いものであった。また、スクロール機能においても、スクロールを行う方向が表示・操作画面上の表示または表示・操作画面に現れているスクロールを指示する矢印キー等の画像からでは分かり難いという問題があった。さらに、ユーザの操作の補助機能として各表示・操作部品にそれぞれに対応して設けられているヘルプ情報が固定されているので、例えば機能の説明が通り一辺倒に終わって実用的ではないヘルプ情報が提供される場合が多く、ユーザが自分の意図することを行うために必要な情報を得ることが難しかったり、逆に必要以上に過剰な情報がユーザに与えられてしまってかえって操作の妨げになることもあった。また、必要以上のヘルプ情報が格納されているメモリにおいては無駄な消費を招いてもいた。
【０００６】
また、各表示・操作部品は機能の動作などが実現されるプログラムによって直接次の表示・操作画面へのリンク付けがなされ、この流れによって操作手順が作成されるため、操作手順を変更する場合には個々の表示・操作部品レベルでの改修が必要となり、操作手順変更には膨大な作業量が発生してコスト高になるなどの問題もあった。
【０００７】
さらに、表示・操作部品においては、実行されるまたは実行されないに関わらず機能の動作などが実現される複数のプログラムが組み込まれているため、ある機器では不必要な余分なプログラムまで組み込まれてしまうことになり、必要以上のメモリの消費を招くなどの問題もあった。
【０００８】
本発明は、上記のような課題を解決するためになされたもので、操作性の改善、開発効率の改善、メモリ消費量の改善を図ることのできるグラフィカルユーザインタフェースを提供することを目的としたものである。
【０００９】
【課題を解決するための手段】
本発明に係るグラフィカルユーザインタフェース装置は、画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部と、各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、手順管理部品は、各種の演算を実現する手段として操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて各表示・操作部品の機能シンボルの画像を表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段を有し、また、さらに各表示・操作部品のヘルプ情報を有するヘルプデータを含む各種データおよび各種の演算を実現する手段を有するヘルプ部品を有し、ヘルプ部品は、各種データとして表示ユニットに表示される機能シンボルの画像の画像表示データと、各表示・操作部品の機能を説明するヘルプ情報、および各表示・操作部品の操作手順を説明するヘルプ情報を有するヘルプデータとを備え、さらに各種の演算を実現する手段として操作手順履歴情報記憶部からの履歴情報に基づいてヘルプデータを変更させるヘルプデータ変更処理手段と、手順管理部品の操作手順管理手段からの操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて、各表示・操作画面に対応したヘルプデータの変更後ヘルプ情報を含むヘルプ情報を表示ユニットに表示させるヘルプ部品発生手段とを有するものである。
【００１５】
本発明に係るグラフィカルユーザインタフェース装置において、各表示・操作部品は、各種の演算を実現する手段として表示ユニットに表示されている当該表示・操作部品に係る画像に対して操作可能または不可能であるかを設定する操作可能・不可能設定手段を有するものである。
【００２２】
【発明の実施の形態】
実施形態１．
図１および図２は本発明の第１〜第９の実施形態の構成を示すブロック図である。
本発明の第１〜第９の実施形態に係る表示・操作部品は、画像表示データおよび表示座標位置データを含む各種データと、各種の演算を実現するプログラム（ソフトウェア）およびその各プログラム（ソフトウェア）を実行するための演算制御部とを有している。なお、図１および図２における各処理部４、１１、１４、１４ａ、１５、１５ａ、１６、１７、１７ａ、１８、１９、２０、２１、２３、２３ａ、２４、２５、２５ａ、２６、２６ａ、２７、２７ａ、２８、２９はそれぞれプログラム（ソフトウェア）とそれを実行する演算制御部によって実現されている。
【００２３】
第１の実施形態は、表示・操作画面における操作時において、表示・操作画面内のある表示・操作部品２００の機能シンボルの画像が指示および操作されて、指示および操作された表示・操作部品２００の操作処理判定部２１により処理すべき操作モードが縮小または拡大の画像サイズ一括変換であると判断された時、予め画像サイズ一括変換の対象として指定されている表示・操作部品１００または予め指定されている領域内に表示されている機能シンボルの画像を有する表示・操作部品１００に対して、表示・操作部品２００の画像サイズ演算部１５ａおよび座標位置演算部１４ａにより各表示・操作部品１００の画像表示データの画像サイズを変換させる演算処理および表示座標位置データの座標位置を変更させる演算処理を行わせ、画像サイズ変換および座標位置変更後の画像表示データおよび表示座標位置データに基づいた機能シンボルの画像を表示・操作部品２００の表示・操作部品画像発生部４を介して表示ユニット１に表示させるものである。
【００２４】
図３（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の画像表示データに基づいた機能シンボルの画像３１，３２のうち、予め対象として指定されている表示・操作部品の機能シンボルの画像３１または予め指定されている領域Ｂ内に表示されている機能シンボルの画像を有する表示・操作部品の機能シンボルの画像３１（表示ユニット１の内側に表示されている表示・操作部品の機能シンボルの画像）を縮小または拡大する場合、まず、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３２（表示ユニット１の外側に表示されている表示・操作部品の機能シンボルの画像）の１つである画像サイズを変更させる機能を有する例えば画像サイズ縮小／拡大ボタンの表示・操作部品の「縮小／拡大」の画像３２をユーザが指示および操作し、画像サイズ一括変換モードとする。
【００２５】
この時、座標位置検出部を有するタッチスクリーン２によって指示および操作された画像サイズ縮小／拡大ボタンの表示・操作部品の画像３２の座標が検出され、表示・操作部品特定部２０に検出座標情報および例えば１回押すまたは２回押すなどの操作情報が出力される。そして、表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３２の画像表示データが画像サイズ縮小／拡大ボタンの表示・操作部品の画像表示データであることを特定し、図２に示すように、画像サイズ縮小／拡大ボタンの表示・操作部品２００の操作処理判定部２１は、表示・操作部品特定部２０による特定情報および操作情報に基づいて、画像サイズ一括変換処理部２３ａに予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の機能シンボルの画像３１に対して画像サイズの一括変換を行わせる指示を出力する。
【００２６】
ついで、画像サイズ一括変換処理部２３ａは、画像サイズ演算部１５ａおよび座標位置演算部１４ａに予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の機能シンボルの画像３１に対する画像サイズ変更および座標位置変更の演算処理を行わせるための指示を出力し、画像サイズ演算部１５ａおよび座標位置演算部１４ａは、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の画像表示データの画像サイズを変換する演算処理および表示座標位置データの座標位置を変更する演算処理を行う。演算された画像サイズ情報および座標位置情報は表示・操作部品画像発生部４に供給され、表示・操作部品画像発生部４は演算された画像サイズ情報および座標位置情報に基づいて画像３１ａまたは画像３１ｂを発生させて、画像メモリ３に書き込む。
【００２７】
そして、表示ユニット１では、図３（ｂ）または図３（ｃ）に示すように、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている機能シンボルの画像を有する表示・操作部品１００の縮小または拡大された画像３１ａ，３１ｂが表示される。なお、縮小または拡大された各表示・操作部品１００の有する画像表示データ記憶部７および表示座標位置データ記憶部６には画像サイズ縮小／拡大ボタンの表示・操作部品２００の有する画像サイズ演算部１５ａおよび座標位置演算部１４ａにより演算された画像サイズ情報および座標位置情報が記憶される。
【００２８】
ここで、画像サイズ縮小／拡大ボタンにより縮小が指示された場合は、画像サイズの縮小および座標位置の変更の演算処理が行われ、図３（ｂ）に示すように、予め指定された表示・操作部品１００または予め指定された箇所を支点に、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像３１が縮小されて表示される。そして、座標位置においては、図３（ａ）に示すボタン配置と相似形になり、元のイメージが保存されるように演算処理が行われる。また、画像サイズ縮小／拡大ボタンにより拡大が指示された場合は、画像サイズの拡大および座標位置の変更の演算処理が行われ、図３（ｃ）に示すように、予め指定された表示・操作部品１００または予め指定された箇所を支点に、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像３１が拡大されて表示される。そして、座標位置においては、縮小の場合と同様に図３（ａ）に示すボタン配置と相似形になる。
【００２９】
このように、表示ユニット１に表示されている表示・操作部品１００，２００の画像表示データに基づいた機能シンボルの画像３１，３２の１つである、画像サイズ縮小／拡大ボタンの表示・操作部品２００の画像３２をユーザが指示および操作すると、処理すべき操作モードが縮小または拡大の画像サイズ一括変換であると判断され、画像サイズ縮小／拡大ボタンの表示・操作部品２００の画像サイズ演算部１５ａおよび座標位置演算部１４ａ等によって予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像表示データの画像サイズおよび表示座標位置データの座標位置を演算し、その演算結果に基づいて表示・操作部品画像発生部４を介して縮小または拡大された画像３１が表示ユニット１に表示されるので、表示・操作画面Ａ上の予め指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の機能シンボルの画像３１の表示を一括して縮小または拡大させることができ、縮小された表示・操作画面Ａ（図３（ｂ））または拡大された表示・操作画面Ａ（図３（ｃ））を簡単に表示することができる。これにより、縮小された表示・操作画面Ａでは配置された表示・操作部品１００の全体像をみることができ、拡大された表示・操作画面Ａでは配置された表示・操作部品１００の一部の拡大図を容易にみることができるので、操作器の表示・操作画面Ａに対する操作性の向上を図ることができる。
【００３０】
なお、上述の実施形態では表示・操作部品の１つとして画像サイズ縮小／拡大ボタンである表示・操作部品２００を設けた場合を例示して説明したが、画像サイズの縮小または画像サイズの拡大のいずれか一方の機能を有するものとしてもよく、予め指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００に画像サイズの縮小および拡大の機能、またはいずれか一方の機能を有するようにしてもよい。この場合、図１に示すように、各表示・操作部品１００の有する画像サイズ一括変更処理部２３、画像サイズ演算部１５および座標位置演算部１４によって各表示・操作部品１００自身の演算が実行される。
【００３１】
また、縮小または拡大の操作情報として１回押すまたは２回押すなどとした場合を示したが、例えば押す毎に縮小、拡大、通常、縮小、拡大、通常、…というように縮小あるいは拡大する機能の割当の規則を適当に定めて、それに応じた演算処理を行うようにしてもよく、縮小／拡大の倍率においては数段階または１段階としてもよい。
【００３２】
実施形態２．
図４は本発明の第２の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第２の実施形態は、表示・操作画面における操作時において、表示・操作画面内の操作可能な表示・操作部品の機能シンボルの画像が指示および操作されて指示および操作された表示・操作部品の操作処理判定部２１により処理すべき操作モードが振動アニメーション処理であると判断された時、画像データ連続読出指示部１６により指示および操作された表示・操作部品の機能シンボルの画像に対して例えばボタンが震える様子を表す振動アニメーション画像である画像表示データを連続して複数読み出させる処理を行わせ、読み出された画像表示データに基づいた振動アニメーション画像を指示および操作された表示・操作部品の機能シンボルの画像に対し表示・操作部品画像発生部４を介して表示ユニット１に次々に表示させるものである。
【００３３】
図４（ａ）に示すようなある機器の操作器における表示・操作画面Ｃにおいて、表示ユニット１に表示されている機能シンボルの画像３３，３４を有する表示・操作部品のうち、操作可能な表示・操作部品の機能シンボルの画像３３の１つである例えば「決定ボタン」の画像３３をユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３３の画像表示データが決定ボタンの表示・操作部品の画像３３であることを特定し、図１に示すように、特定された表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて振動アニメーション処理部２４に振動アニメーションを行わせる指示を出力する。
【００３４】
ついで、振動アニメーション処理部２４は画像データ連続読出指示部１６に機能シンボルの画像に対する振動アニメーション画像である画像表示データを連続して複数読み出させるための指示を出力し、画像データ連続読出指示部１６は振動アニメーション画像の画像表示データを画像表示データ記憶部７から次々と読み出す。読み出された振動アニメーション画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。そして、表示ユニット１では、図４（ｂ）に示すように、決定ボタンの画像３３の外周に振動アニメーション画像３５が表示される。
【００３５】
このように、表示ユニット１に表示されている操作可能な表示・操作部品の機能シンボルの画像３３の１つをユーザが指示および操作すると、処理すべき操作モードが振動アニメーション処理であると判断され、画像データ連続読出指示部１６等によって振動アニメーション画像の画像表示データを次々と読み出し、表示・操作部品画像発生部４を介して画像３３の外周に振動アニメーション画像３５を表示させて振動したように見えるアニメーションを表示させることができる。これにより、操作・操作画面Ｃにおける操作の際、平面かつ触感の応答のないタッチスクリーン上の操作の実感の不足を補うことができるとともに、振動アニメーション画像３５が表示されることによって操作を行ったことを容易に確認することができ、操作の分かり易さなど操作性の向上を図ることができる。
【００３６】
実施形態３．
図５は本発明の第３の実施形態に係る表示・操作部品の機能シンボルの画像の表示部分設定の作用説明図である。
第３の実施形態は、表示・操作画面における操作時において、例えば数値などの帯状の機能シンボルの画像を有する表示・操作部品１００の一部分の画像が予め決められた領域に表示されてその画像が指示および操作され、指示および操作された表示・操作部品１００の操作処理判定部２１により処理すべき操作モードが流動アニメーション処理であると判断された時、画像表示部分設定部１７により指示および操作された表示・操作部品１００の機能シンボルの画像の表示される表示位置を連続的に移動させる処理を行わせ、処理結果による表示位置に基づいた表示・操作部品１００の機能シンボルの画像を表示・操作部品画像発生部４を介して表示ユニット１に順次表示されるものである。
【００３７】
ある機器の操作器における表示・操作画面のおいて、図５（ａ）に示すように、表示・操作画面の予め決められた領域Ｄに機能シンボルの一部の画像３６ａが表示されている帯状の機能シンボルの画像３６を有する表示・操作部品１００の領域Ｄ内の画像３６ａをユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３６ａの画像表示データが数値の表示・操作部品１００の画像３６の一部であることを特定し、図１に示すように、特定された表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて流動アニメーション処理部２５に流動アニメーションを行わせる指示を出力する。
【００３８】
ついで、流動アニメーション処理部２５は画像表示部分設定部１７に指示および操作された表示・操作部品１００の機能シンボルの画像３６のうちの領域Ｄ内に表示される画像３６ａの表示位置を連続的に移動させるための指示を出力し、画像表示部分設定部１７は表示・操作部品１００の機能シンボルの画像３６の領域Ｄ内に表示される画像３６ａを次々と設定する。設定された画像３６ａの画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれ、表示ユニット１では、図５（ａ）〜（ｄ）に示すように、領域Ｄ内において表示・操作部品１００の数値の画像３６が連続的に移動している流動アニメーションの画像３６ａが表示される。
【００３９】
このように、表示ユニット１に表示されている帯状の画像３６を有する表示・操作部品１００の領域Ｄ内に表示されている画像３６ａをユーザが指示および操作すると、処理すべき操作モードが流動アニメーション処理であると判断され、画像表示部分設定部１７等によって領域Ｄ内に表示される画像３６ａを次々と設定し、表示・操作部品画像発生部４を介して指示および操作された表示・操作部品１００の領域Ｄ内に表示される画像３６ａを連続的に移動させて数値が順次変化しているアニメーションを表示させることができる。これにより、例えば数値の設定を行う表示・操作画面の操作時において、数値の増減の方向を容易に理解することができ、操作性の向上を図ることができる。
【００４０】
なお、上述の実施形態では領域Ｄ内に表示された画像３６ａを有し、この画像３６ａが指示および操作された表示・操作部品１００の画像表示部分設定部１７等によって領域Ｄ内に表示される画像３６ａを連続的に移動させる場合を示したが、図３（ａ）に示すように、矢印キーの画像３２を有する表示・操作部品（図２の表示・操作部品２０１）の流動アニメーション処理部２５ａおよび画像表示部分設定部１７ａ等により、領域Ｄ内に表示されている画像３６ａを有する表示・操作部品（図１の表示・操作部品１００）に対して流動アニメーション処理を行うようにしてもよい。この場合、領域Ｄ内に表示されている画像３６ａを有する表示・操作部品１００の流動アニメーション処理部２５および画像表示部分設定部１７は実行されない。
【００４１】
実施形態４．
図６は本発明の第４の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第４の実施形態は、表示・操作画面における操作時において、表示・操作画面内のある表示・操作部品の機能シンボルの画像が指示および操作されて、指示および操作された表示・操作部品の操作処理判定部２１により処理すべき操作モードが足跡付きスクロール処理であると判断された時、予め指定されている領域内に表示されているまたは表示される機能シンボルの画像を有する表示・操作部品１００に対して、スクロール処理部２７ａおよび流動アニメーション処理部２５ａ等により領域内に表示される表示位置を連続的に移動させる処理を行わせ、処理結果による表示位置に基づいた領域内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像を表示・操作部品画像発生部４を介して表示ユニット１に順次表示させると同時に、画像データ連続読出指示部１６により領域内にスクロールの方向を示す例えば足跡などの方向指示アニメーション画像である画像表示データを連続して複数読み出させる処理を行わせ、また座標位置演算部１４ａにより読み出された画像表示データの表示すべき座標位置を演算する演算処理を行わせ、演算後の表示座標位置データに基づいた方向指示アニメーション画像を表示・操作部品画像発生部４を介して表示ユニット１の領域内に次々に表示させるものである。
【００４２】
図６（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３１，３２うち、予め指定されている領域Ｂ内に表示されているまたは表示される機能シンボルの画像３１を縦方向にスクロールする場合、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３２の１つであるスクロール機能を有する例えばスクロールの表示・操作部品の「矢印キー」の画像３２をユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３２の画像表示データがスクロールの表示・操作部品の画像３２であることを特定し、図２に示すように、スクロールの表示・操作部品２０１の操作処理判定部２１は特定情報および操作情報に基づいて足跡付きスクロール処理部２６ａに足跡付きスクロールを行わせる指示を出力する。
【００４３】
ついで、足跡付きスクロール処理部２６ａはスクロール処理部２７ａおよび画像データ連続読出指示部１６に予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像３１に対するスクロールの指示および足跡などの方向指示アニメーション画像を表示させるための指示を出力し、スクロール処理部２７ａは予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像３１に対する表示位置を連続的に移動させるための指示を出力し、画像表示部分設定部１７ａは各表示・操作部品１００の機能シンボルの画像３１の領域Ｂ内に表示される画像を次々と設定して、設定された画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。そして、表示ユニット１では、図６（ａ）〜（ｃ）に示すように、領域Ｂ内に表示される表示・操作部品１００の縦方向にスクロールされた機能シンボルの画像３１が表示される。
【００４４】
また、画像データ連続読出指示部１６は方向指示アニメーション画像の画像表示データを画像表示データ記憶部７から次々と読み出し、読み出された方向指示アニメーション画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。同時に座標位置演算部１４ａは読み出された方向指示アニメーション画像の画像表示データの表示すべき座標位置を次々と演算し、演算された座標位置情報は表示・操作部品画像発生部４を介して画像メモリ３に順次書き込まれる。そして、表示ユニット１の領域Ｂ内では、図６（ｂ）に示すように、足跡などの方向指示アニメーション画像３７が表示・操作部品１００の画像３１のスクロール表示とともに表示される。
【００４５】
このように、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３１，３２の１つである、スクロールの表示・操作部品２０１の画像３２をユーザが指示および操作すると、処理すべき操作モードが足跡付きスクロール処理であると判断され、スクロールの表示・操作部品２０１の足跡付きスクロール処理部２６ａ等によって予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の画像３１がスクロール表示され、同時に足跡などの方向指示アニメーション画像３７が表示されるので、スクロールの方向を容易に理解することができるとともに、意図した方向へのスクロールが行いやすくなり、操作性の向上を図ることができる。
【００４６】
実施形態５．
図７は本発明の第５の実施形態に係る表示・操作画面およびその作用説明図と、操作手順データ記憶部に記憶される操作手順データの模式図である。
第５の実施形態は、図１に示すように、各表示・操作部品１００，２００…の表示および操作手順を管理する手順管理部品３００を表示・操作部品１００，２００…とは別に独立して設けたものであり、手順管理部品３００は、操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて各表示・操作部品１００，２００…の表示・操作部品画像発生部４に指示を出し、各表示・操作部品１００，２００…の機能シンボルの画像を画像メモリ３を介して表示ユニット１に表示させて表示・操作画面を構成させる操作手順管理部１１と、操作手順データ記憶部１２と、操作手順データの初期データが記憶される操作手順既定値記憶部１３と、後述する操作手順変更処理部１９とから構成されている。
【００４７】
図７に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像の１つである画像３８ｂを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ｂの画像表示データが例えば「２Ｆ照明」の表示・操作部品１００の画像３８ｂであることを特定し、「２Ｆ照明」の表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、図１に示すように、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。
【００４８】
ついで、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は操作手順変更処理部１９を介して操作手順データ記憶部１２に送られ、操作手順管理部１１はその履歴情報および操作手順データ記憶部１２に記憶されている操作手順データ１２ａに基づいて、図７に示すように、次の表示・操作画面、例えば表示・操作画面Ｆを構成する表示・操作部品の機能シンボルの画像３９ａ，３９ｂ…をその画像３９ａ，３９ｂ…を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。そして、表示・操作画面Ｆを構成している画像３９ａ，３９ｂ…の１つを指示および操作すると、上述したように指示および操作された画像の表示・操作部品が特定され、特定情報および操作情報に基づく履歴情報と操作手順データ１２ａとに基づいて手順管理部品３００の操作手順管理部１１により次の表示・操作画面Ｉを構成する表示・操作部品の機能シンボルの画像４０ａ，４０ｂ…が表示ユニット１に表示される。なお、最初の表示・操作画面Ａも手順管理部品３００により表示されている。
【００４９】
このように、表示・操作画面Ａ等を構成している表示・操作部品１００，２００…に対する次のステップへの操作手順データ１２ａが表示・操作部品１００，２００…とは別に独立した手順管理部品３００によって管理されているので、操作手順の改訂を行う場合、表示・操作部品１００，２００…のプログラム（ソフトウェア）を変更させることなく操作手順データ記憶部１２に記憶される操作手順データ１２ａのみを変更するだけで容易に操作手順の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。
【００５０】
実施形態６．
図８は本発明の第６の実施形態に係る操作手順データ記憶部に記憶される操作手順データの模式図および表示・操作画面の作用説明図である。
第６の実施形態は、図１に示すように、各表示・操作部品１００，２００…の操作処理判定部２１から逐次送られる特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて、第５の実施形態の手順管理部品３００に設けられた操作手順変更処理部１９が操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データ１２ａに対する重み値（ｐｒｉｏｒｉｔｙ）を変化させ、この重み値に基づいて、手順管理部品３００の操作手順管理部１１が各表示・操作部品１００，２００…の操作手順データの優先度付けを行い、この優先度の高い操作手順データを有する表示・操作部品１００，２００…に対して、その表示・操作部品の画像の画像表示データおよび表示座標位置データを変更させて画像の大きさを拡大させる、表示位置を移動させるまたは目立つ色に色付けする、あるいは表示・操作部品の操作手順データを変更させてその表示・操作部品が予め選択された状態にするまたは操作手順データの一部を省略するなどの変更処理を行わせ、変更後の各種データ、各表示・操作部品１００，２００…の操作手順データ１２ａおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて各表示・操作部品１００，２００…の表示・操作部品画像発生部４に指示を出し、各表示・操作部品１００，２００…の機能シンボルの画像を画像メモリ３を介して表示ユニット１に表示させて表示・操作画面を構成させるものである。
【００５１】
図８（ｂ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品１００，２００…の機能シンボルの画像の１つである画像３８ｂを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ａの画像表示データが例えば「１Ｆ照明」の表示・操作部品１００の画像３８ａであることを特定し、「１Ｆ照明」の表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、図１に示すように、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。
【００５２】
特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は操作手順変更処理部１９に送られ、操作手順変更処理部１９は履歴情報に基づいて、図８（ａ）に示すように、操作手順データ記憶部１２に記憶されている操作手順データ１２ａの表示・操作画面Ａにおける表示・操作部品１００の画像３８ａに対応した操作手順データの重み値を変化させる。ついで、操作手順管理部１１は履歴情報および操作手順データ記憶部１２に記憶されている操作手順データ１２ａに基づいて、次の表示・操作画面、例えば表示・操作画面Ｆ（図８（ｃ））を構成する表示・操作部品の機能シンボルの画像３９ａ，３９ｂ…をその画像３９ａ，３９ｂ…を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。そして、表示・操作画面Ｆを構成している画像３９ａ，３９ｂ…の１つを指示および操作すると、上述したように指示および操作された画像の表示・操作部品が特定され、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて操作手順変更処理部１９により操作手順データ１２ａの指示および操作された表示・操作部品の画像に対応した操作手順データの重み値が変化され、履歴情報および操作手順データ１２ａに基づいて操作手順管理部１１により次の表示・操作画面を構成する表示・操作部品の機能シンボルの画像が表示ユニット１に表示される。
【００５３】
この時、操作手順管理部１１は操作手順変更処理部１９によって変化された重み値に基づいて各表示・操作部品の操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品、例えば画像３９ａを有する表示・操作部品に対して、その画像３９ａの画像表示データおよび表示座標位置データを変更させて画像３９ａの大きさを拡大させて色付けするとともに、操作手順データを変更させて画像３９ａが予め選択された状態に表示させるための変更処理を行い、その変更後の画像表示データ、表示座標位置データおよび操作手順データは画像３９ａを有する表示・操作部品の表示・操作部品画像発生部４に送られる。そして、表示ユニット１には、図８（ｃ）に示すように、拡大および色付けされかつ選択された状態の画像３９ａが表示される。
【００５４】
このように、手順管理部品３００に設けられた操作手順変更処理部１９によって操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データ１２ａに対する重み値を変化させ、この重み値に基づいて操作手順管理部１１が各操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品１００，２００…に対して、その表示・操作部品１００，２００…の画像の大きさを拡大するなど画像表示データ等の変更、または操作手順を変える操作手順データの変更処理を行うので、ユーザの意図に近く操作しやすい表示・操作画面を得ることができ、操作性の高いグラフィカルユーザインタフェースを得ることができる。
【００５５】
なお、上述の実施形態では重み値に基づいて付けられた優先度の高い操作手順データを有する表示・操作部品に対して、その表示・操作部品の画像の拡大、色付けおよび画像が選択された状態の表示を行う場合を示したが、いずれか１つを行わせてもよく、画像の表示位置を操作しやすい位置に変更して表示させたり、画像の選択の余地を無くして優先度の高い操作手順が自動的に実行されるように操作手順データを変更させるようにしてもよい。
【００５６】
実施形態７．
図９は本発明の第７の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第７の実施形態は、図１に示すように、各表示・操作部品１００，２００…の各レベルのヘルプ情報を含む各種ヘルプデータを管理し、表示ユニット１に表示された機能シンボルの画像によって構成される表示・操作画面に対応したヘルプ情報を表示ユニット１に表示させるヘルプ部品４００を表示・操作部品１００，２００…および手順管理部品３００とは別に独立して設けたものであり、ヘルプ部品４００は、手順管理部品３００の操作手順管理手段１１からの操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて、各表示・操作画面に対応してヘルプデータ記憶部９に記憶されるヘルプデータの各レベルのヘルプ情報を画像メモリ３を介して表示ユニット１に表示させるヘルプ部品発生部２９と、ヘルプデータ記憶部９と、ヘルプデータの初期データが記憶されるヘルプデータ既定値記憶部１０と、後述するヘルプデータ変更処理部１８とから構成されている。
【００５７】
なお、ヘルプデータの各レベルのヘルプ情報は、各表示・操作部品１００，２００…の画像に対応し表示・操作部品１００，２００…の意味および機能を説明する第１レベルのヘルプ情報、各表示・操作画面またはその画面を構成する表示・操作部品１００の画像に対応しそれらの操作手順を説明する第２レベルのヘルプ情報、および操作手順履歴情報記憶部２２からの履歴情報に基づくユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報である。
【００５８】
図９（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている機能シンボルの画像の１つである画像４１ａを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像４１ａの画像表示データが例えば「ヘルプ（？）」のヘルプ部品４００の画像４１ａであることを特定し、特定情報および操作情報をヘルプ部品４００のヘルプ部品画像発生部２９および操作手順履歴情報記憶部２２に出力する。
【００５９】
ついで、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は、図１に示すように、手順管理部品３００に送られるとともにヘルプデータ変更処理部１８を介してヘルプデータ記憶部９に送られ、ヘルプ部品画像発生部２９は他の表示・操作部品の履歴情報を含む全履歴情報、ヘルプデータ記憶部９に記憶されているヘルプデータ、手順管理部品３００の操作手順データ、および表示・操作部品特定部２０からの特定情報、操作情報に基づいて、図９（ａ）に示すように、指定された画像例えば「１Ｆ照明」の画像３８ａを有する表示・操作部品に対応した第１レベルのヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では「１Ｆ照明」の画像３８ａの表示・操作部品の意味および機能を説明する第１レベルのヘルプ情報が表示される。
【００６０】
次に、「１Ｆ照明」の画像３８ａが指示および操作されて、図９（ｂ）に示すように、次の表示・操作画面Ｅが表示ユニット１に表示されている時、機能シンボルの画像の１つである画像４１ｂを指示および操作すると、上述したように指定された画像例えば「スケジュール設定」の画像３９ａを有する表示・操作部品に対応したヘルプ情報がヘルプ部品画像発生部２９によって画像メモリ３に書き込まれ、表示ユニット１に「スケジュール設定」の操作手順を説明する第２レベルのヘルプ情報が表示される。そして、ヘルプ情報に基づいてスケジュール設定を行い、次の表示・操作画面においてヘルプ部品４００の画像を指示および操作すると、操作手順履歴情報記憶部２２からの履歴情報がヘルプ部品画像発生部２９に送られて、履歴情報に基づくユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報がヘルプ部品画像発生部２９よって画像メモリ３に書き込まれ、表示ユニット１には、図９（ｃ）に示すように、ユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報４２が表示される。
【００６１】
このように、ヘルプデータを各レベルのヘルプ情報とし、各表示・操作画面における各表示・操作部品に対応したヘルプ情報などを、ヘルプ部品４００の画像４１ａ，４１ｂを操作することによって容易に表示させることができるので、ユーザが意図する操作を行うために必要なヘルプ情報のみを得ることができ、表示・操作部品の画像の操作などをより分かりやすく簡単にすることができるとともに、操作した内容についても容易に確認することができ、操作性の向上を図ることができる。また、ヘルプデータは表示・操作部品１００，２００…とは別に設けられたヘルプ部品４００に格納されているので、ヘルプデータの改訂を表示・操作部品１００，２００…のプログラム（ソフトウェア）を変更させることなく容易に行うことができるともに、各表示・操作部品１００，２００…に必要以上のヘルプデータが格納されることも防ぐことができるので、メモリの無駄な消費を招くおそれもない。
【００６２】
実施形態８．
図１０は本発明の第８の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第８の実施形態は、図１に示すように、各表示・操作部品１００，２００…の操作処理判定部２１から逐次送られる特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて、第７の実施形態のヘルプ部品４００に設けられたヘルプデータ変更処理部１８がヘルプデータ記憶部１１に記憶されるヘルプデータを変更させ、ヘルプ部品画像発生部２９が手順管理部品３００の操作手順管理手段１１からの操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて、この変更ヘルプデータおよびヘルプデータ記憶部９に記憶されるヘルプデータの各レベルのヘルプ情報を各表示・操作画面に対応して表示ユニット１に表示させるものである。
【００６３】
図１０（ｂ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品１００，２００…の機能シンボルの画像の１つである画像３８ａを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ａの画像表示データが例えば「１Ｆ照明」の表示・操作部品の画像３８ａであることを特定し、「１Ｆ照明」の表示・操作部品の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。
【００６４】
特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は手順管理部品３００の操作手順変更処理部１９を介して操作手順データ記憶部１２に送られ、操作手順管理部１１はその履歴情報および操作手順データに基づいて、次の表示・操作画面を構成する表示・操作部品の機能シンボルの画像をその画像を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。
【００６５】
ここで、操作手順履歴情報記憶部２２からの履歴情報においてユーザの操作の誤り、例えば次の表示・操作画面に移ったもののまた元の表示・操作画面に戻って再度操作が行われるなどの操作の誤りを示す複数の履歴情報がヘルプデータ変更処理部１８に送られると、ヘルプデータ変更処理部１８は例えば誤りを起こす箇所に対応した操作ガイドなどの追加ヘルプデータをヘルプデータ記憶部９に送って記憶させ、ヘルプデータを変更させる。ついで、ヘルプ部品画像発生部２９は履歴情報および操作手順データに基づいて、変更ヘルプデータ、例えば第２レベルのヘルプ情報である操作ガイドのヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では、図１０（ａ）に示すように、誤りを起こしやすい表示・操作画面Ａに操作ガイドのヘルプ情報４３が表示される。
【００６６】
この時、表示ユニット１に表示されている画像のうち、次に指示および操作される表示・操作部品の画像、例えば画像３８ａをその表示・操作部品１００に設けられた操作可能／不可能設定部２８により画像３８ａを操作可能状態にさせ、他の画像をその表示・操作部品の操作可能／不可能設定部２８により操作不可能状態にさせて、強制的に操作手順に沿った操作を行わせるようにする。
【００６７】
また、操作ガイドのヘルプ情報４３が表示されている表示・操作画面Ａにおいて、操作の誤りを示す履歴情報がヘルプデータ変更処理部１８にほとんど送られなくなると、ヘルプデータ変更処理部１８は誤りを起こす箇所に対応した操作ガイドなどのヘルプデータを省略するヘルプデータ変更処理を行い、ヘルプ部品画像発生部２９は履歴情報および操作手順データに基づいて、変更ヘルプデータ、つまり操作ガイドのヘルプ情報４３が省略されたヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では、図１０（ｂ）に示すように、操作ガイドのヘルプ情報４３が省略された通常のものが表示される。
【００６８】
なお、操作の誤りの確率の変動などから、操作ガイドのヘルプ情報４３を例えば色付けして目立たせるようにしたり、操作ガイドの内容を変化させてもよく、操作の誤りが減少傾向の場合は操作ガイドを簡略化し、増加傾向の場合は詳細な操作ガイドを表示したり、強制的な操作ガイドに変更しても良い。
【００６９】
このように、操作手順履歴情報記憶部２２からの履歴情報に基づいて、ヘルプデータ変更処理部１８によってヘルプ情報を簡略化または詳細化させるなどのヘルプデータの変更を容易に行うことができるので、各表示・操作画面において操作をより円滑に行うことができ、操作性の向上を図ることができる。
【００７０】
実施形態９．
第９の実施形態は、表示・操作部品１００，２００…、手順管理部品３００およびヘルプ部品４００の有する各種の処理を実現するプログラム（ソフトウェア）およびそのプログラム（ソフトウェア）を実行する演算制御部によって実現される図１および図２における各処理部４，１１，１４，１４ａ，１５，１５ａ，１６…を、互いに独立させかつ択一的に構成し、各表示・操作部品等に対して適宜組み合わせ可能としたものである。
【００７１】
通常、オブジェクト指向で組み込まれる表示・操作部品１００等においては、画像表示データおよび表示座標位置データ等のデータ部分とそのデータに対する処理を行う画像サイズ演算部および座標位置演算部などの処理部とが一体化されており、これら一体化されて組み込まれた処理部を表示・操作部品等から着脱することはない。しかしながら、これらの処理部の中には例えばデバッグ用のデータ表示のための処理部、表示・操作部品１００の画面上での座標位置を出力する処理部、あるいは表示・操作部品や表示・操作画面の開発時には必要であるが、実機上では不要となる処理部、またはその表示・操作部品を搭載する機器の種類により不要となる処理部などがある。
【００７２】
そこで、各処理部を互いに独立させかつ択一的に構成し、各表示・操作部品等に対して適宜組み合わせ可能とすると、実機上では不要となる処理部を搭載時においては取り外すことができる。
【００７３】
例えばある機器の操作器に搭載される表示・操作部品１００おいて、画像サイズ一括変換処理および振動アニメーション処理は必要であるが、流動アニメーション処理および足跡付きスクロール処理は不要である場合、図１に示した操作処理判定部２１、画像サイズ一括変換処理部２３、座標位置演算部１４、画像サイズ演算部１５、振動アニメーション処理部２４、画像データ連続読出指示部１６および表示・操作部品画像発生部４が表示・操作部品１００には組み込まれ、流動アニメーション処理部２５、画像表示部分設定部１７、足跡付きスクロール処理部２６およびスクロール処理部２７が表示・操作部品１００には組み込まれない。
【００７４】
このように、互いに独立させかつ択一的に構成した各処理部を各表示・操作部品１００等に対して適宜組み合わせ可能とすることにより、不必要な処理部によるメモリの無駄な消費を防ぐことができ、メモリ消費量の改善を図ることができる。また、処理部の組み込みを容易に行うことができるので、メモリの消費等を気にすることなく開発時にのみ必要となる処理部を充実させることができ、開発効率の改善を図ることができる。
【００７５】
【発明の効果】
以上のように本発明に係るグラフィカルユーザインタフェース装置は、画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部と、各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、手順管理部品は、手段として操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて各表示・操作部品の機能シンボルの画像を表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段を有するものであるので、各表示・操作部品の操作手順データをそれぞれが有する場合と比較してメモリの無駄な消費を防ぐことができるとともに、操作手順を改訂する場合などは各表示・操作部品が有する手段等を変更させることなく手順管理部品により管理された操作手順データのみを変更するだけで容易に操作手順の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。
【００７６】
本発明に係るグラフィカルユーザインタフェース装置は、各表示・操作部品と、表示ユニットと、タッチスクリーンと、表示・操作部品特定部と、各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、手順管理部品は、手段として操作手順履歴情報記憶部からの履歴情報に基づいて各表示・操作部品の操作手順データに対する重み値を変化させる操作手順変更処理手段と、操作手順変更処理手段により変化された重み値に基づいて各表示・操作部品の操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品の機能シンボルの画像の画像表示データおよび表示座標位置データ、またはこの表示・操作部品の操作手順データを変更させるとともに、変更データ、各表示・操作部品の操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて変更後の各表示・操作部品の機能シンボルの画像を表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段とを有するものであるので、ユーザの意図に近く操作しやすい表示・操作画面を得ることができ、操作性の高いグラフィカルユーザインタフェースを得ることができる。
【００７７】
本発明に係るグラフィカルユーザインタフェース装置は、各表示・操作部品のヘルプ情報を有するヘルプデータを含む各種データおよび各種の演算を実現する手段を有するヘルプ部品を有し、ヘルプ部品は、各種データとして表示ユニットに表示される機能シンボルの画像の画像表示データと、各表示・操作部品の機能を説明するヘルプ情報、各表示・操作部品の操作手順を説明するヘルプ情報、および操作手順履歴情報記憶部からの履歴情報に基づく操作内容を総括するヘルプ情報を有するヘルプデータとを備え、手段として手順管理部品の操作手順管理手段からの操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて、各表示・操作画面に対応したヘルプデータのヘルプ情報を表示ユニットに表示させるヘルプ部品発生手段を有するものであるので、ユーザが意図する操作を行うために必要なヘルプ情報のみを得ることができ、表示・操作部品の画像の操作などをより分かりやすく簡単にすることができるとともに、操作した内容についても容易に確認することができ、操作性の向上を図ることができる。また、ヘルプ情報を改訂する場合、各表示・操作部品が有する手段等を変更させることなくヘルプ部品により管理されたヘルプデータのみを変更するだけで容易にヘルプ情報の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。
【００７９】
本発明に係るグラフィカルユーザインタフェース装置において、ヘルプ部品は、手段として操作手順履歴情報記憶部からの履歴情報に基づいてヘルプデータを変更させるヘルプデータ変更処理手段と、手順管理部品の操作手順管理手段からの操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて、各表示・操作画面に対応したヘルプデータの変更後ヘルプ情報を含むヘルプ情報を表示ユニットに表示させるヘルプ部品発生手段とを有するものであるので、ヘルプ情報を簡略化または詳細化させるなどのヘルプデータの変更を容易に行うことができ、開発効率の改善を図ることができるとともに、各表示・操作画面における操作をより円滑に行うことができて操作性の向上も図ることができる。
【００８２】
また、本発明に係るグラフィカルユーザインタフェース装置において、各表示・操作部品は、手段として表示ユニットに表示されているこの表示・操作部品に係る画像に対して操作可能または不可能であるかを設定する操作可能・不可能設定手段を有するものであるので、不必要な表示・操作部品の画像を誤って指示および操作してしまうなどの不便さを無くすことができ、より操作性の向上を図ることができる。
【図面の簡単な説明】
【図１】 本発明の第１〜第９の実施形態の構成を示すブロック図である。
【図２】 本発明の第１〜第９の実施形態の構成を示すブロック図である。
【図３】 本発明の第１の実施形態に係る表示ユニットの表示された表示・操作画面の作用説明図である。
【図４】 本発明の第２の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【図５】 本発明の第３の実施形態に係る表示・操作部品の機能シンボルの画像の表示部分設定の作用説明図である。
【図６】 本発明の第４の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【図７】 本発明の第５の実施形態に係る表示ユニットに表示された表示・操作画面およびその作用説明図と、操作手順データ記憶部に記憶される操作手順データの模式図である。
【図８】 本発明の第６の実施形態に係る操作手順データ記憶部に記憶される操作手順データの模式図および表示ユニットに表示された表示・操作画面の作用説明図である。
【図９】 本発明の第７の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【図１０】 本発明の第８の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【符号の説明】
１ 表示ユニット、２ タッチスクリーン、４ 表示・操作部品画像発生部、１１ 操作手順管理部、１４，１４ａ 座標位置演算部、１５，１５ａ 画像サイズ演算部、１６ 画像データ連続読出指示部、１７，１７ａ 画像指示部分設定部、１８ ヘルプデータ変更処理部、１９ 操作手順変更処理部、２０ 表示・操作部品特定部、２１ 操作処理判定部、２２ 操作手順履歴記憶部、２３，２３ａ 画像サイズ一括変更処理部、２４ 振動アニメーション処理部、２５，２５ａ 流動アニメーション処理部、２６，２６ａ 足跡付きスクロール処理部、２７，２７ａ スクロール処理部、２８ 操作可能／不可能設定部、２９ ヘルプ部品画像発生部、３１，３２，３３，３４，３６，３６ａ，３８ａ，３８ｂ，３９ａ，３９ｂ，４０ａ，４０ｂ，４１ａ，４１ｂ 機能シンボルの画像、３５ 振動アニメーション画像、３７ 方向指示アニメーション画像、４２，４３ヘルプ情報、１００，２００，２０１ 表示・操作部品、３００ 手順管理部品、４００ ヘルプ部品。
【発明の属する技術分野】
本発明は、空調機器、照明機器、受配電機器、家電機器などにおける各種機器の操作器のグラフィカルユーザインタフェース装置に関するものである。
【０００２】
【従来の技術】
昨今、空調機器、照明機器、受配電機器、家電機器などにおける操作器のグラフィカルユーザインタフェースは、タッチスクリーンによるダイレクトタッチ方式のものが主流となりつつある。タッチスクリーンを使用した入力方式では、操作器の表示・操作画面に現れる操作ボタン、操作キー等の画像に直接触れることによって操作が行えるため、直感に基づいた快適な操作が行える。そして、操作器の表示・操作画面内に収まり切らない表示がある場合は、一般にスクロール機能が用いられていて、表示・操作画面に現れる矢印キーなどの画像を操作することによって表示・操作画面内の一部または全体を縦横方向にスクロールさせて、表示範囲を移動させている。また、ユーザの操作の補助機能として、表示・操作画面に表示されている操作ボタンまたは操作キー等の機能シンボルの画像の画像表示データ等の各種データを有する表示・操作部品は、例えば表示・操作部品の機能などを説明するヘルプ情報が対応していて、これらのヘルプ情報は通常固定されており、表示・操作画面に表示されているある表示・操作部品の機能シンボルの画像を操作すると、操作された表示・操作部品のヘルプ情報が表示・操作画面に表示される。
【０００３】
このような操作器のグラフィカルユーザインタフェースにおけるソフトウェア開発では、操作ボタンまたは操作キー等の機能シンボルの画像の画像表示データ等の各種データや機能シンボルの画像が操作されそれを受けた時に機能シンボルの動作などが実現されるプログラム（ソフトウェア）を有する表示・操作部品の機能シンボルの画像を画面上に配置することによって操作器に対応する表示・操作画面が作成され、このように作成すると、各表示・操作部品の機能シンボルの動作などが実現されるプログラム（ソフトウェア）によって各表示・操作部品から直接次の表示・操作画面へのリンク付けがなされ、この流れによって操作手順が作成される。そして、実際に表示・操作画面を操作するとこの操作手順に沿って表示・操作部品の有する機能の動作などが実現されるプログラム（ソフトウェア）が実行される。
【０００４】
また、例えば特開平６−２０２８６３号公報に開示された発明のように、ユーザの操作内容とこの操作に対応する処理動作との連続的な手順の設定を行う手順設定オブジェクトを、機能の動作などが実現されるプログラム（ソフトウェア）などを有する表示・操作部品とは別に独立させて設けたものがある。この場合も、操作器稼働中はその操作手順が固定状態にあり、その固定した操作手順に沿って操作される。
【０００５】
【発明が解決しようとする課題】
上記のような従来のグラフィカルユーザインタフェースは、例えばＬＣＤ（液晶ディスプレイ）などの平面の表示ユニットに表示された操作ボタンまたは操作キー等の画像を視覚的にとらえ、この画像を平面のタッチスクリーン越しにタッチして操作するため、現実世界の物理的な操作ボタンまたは操作キー等を操作した場合と比較して操作を行った触感が大幅に不足し、操作感覚が得難いものであった。また、スクロール機能においても、スクロールを行う方向が表示・操作画面上の表示または表示・操作画面に現れているスクロールを指示する矢印キー等の画像からでは分かり難いという問題があった。さらに、ユーザの操作の補助機能として各表示・操作部品にそれぞれに対応して設けられているヘルプ情報が固定されているので、例えば機能の説明が通り一辺倒に終わって実用的ではないヘルプ情報が提供される場合が多く、ユーザが自分の意図することを行うために必要な情報を得ることが難しかったり、逆に必要以上に過剰な情報がユーザに与えられてしまってかえって操作の妨げになることもあった。また、必要以上のヘルプ情報が格納されているメモリにおいては無駄な消費を招いてもいた。
【０００６】
また、各表示・操作部品は機能の動作などが実現されるプログラムによって直接次の表示・操作画面へのリンク付けがなされ、この流れによって操作手順が作成されるため、操作手順を変更する場合には個々の表示・操作部品レベルでの改修が必要となり、操作手順変更には膨大な作業量が発生してコスト高になるなどの問題もあった。
【０００７】
さらに、表示・操作部品においては、実行されるまたは実行されないに関わらず機能の動作などが実現される複数のプログラムが組み込まれているため、ある機器では不必要な余分なプログラムまで組み込まれてしまうことになり、必要以上のメモリの消費を招くなどの問題もあった。
【０００８】
本発明は、上記のような課題を解決するためになされたもので、操作性の改善、開発効率の改善、メモリ消費量の改善を図ることのできるグラフィカルユーザインタフェースを提供することを目的としたものである。
【０００９】
【課題を解決するための手段】
本発明に係るグラフィカルユーザインタフェース装置は、画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部と、各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、手順管理部品は、各種の演算を実現する手段として操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて各表示・操作部品の機能シンボルの画像を表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段を有し、また、さらに各表示・操作部品のヘルプ情報を有するヘルプデータを含む各種データおよび各種の演算を実現する手段を有するヘルプ部品を有し、ヘルプ部品は、各種データとして表示ユニットに表示される機能シンボルの画像の画像表示データと、各表示・操作部品の機能を説明するヘルプ情報、および各表示・操作部品の操作手順を説明するヘルプ情報を有するヘルプデータとを備え、さらに各種の演算を実現する手段として操作手順履歴情報記憶部からの履歴情報に基づいてヘルプデータを変更させるヘルプデータ変更処理手段と、手順管理部品の操作手順管理手段からの操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて、各表示・操作画面に対応したヘルプデータの変更後ヘルプ情報を含むヘルプ情報を表示ユニットに表示させるヘルプ部品発生手段とを有するものである。
【００１５】
本発明に係るグラフィカルユーザインタフェース装置において、各表示・操作部品は、各種の演算を実現する手段として表示ユニットに表示されている当該表示・操作部品に係る画像に対して操作可能または不可能であるかを設定する操作可能・不可能設定手段を有するものである。
【００２２】
【発明の実施の形態】
実施形態１．
図１および図２は本発明の第１〜第９の実施形態の構成を示すブロック図である。
本発明の第１〜第９の実施形態に係る表示・操作部品は、画像表示データおよび表示座標位置データを含む各種データと、各種の演算を実現するプログラム（ソフトウェア）およびその各プログラム（ソフトウェア）を実行するための演算制御部とを有している。なお、図１および図２における各処理部４、１１、１４、１４ａ、１５、１５ａ、１６、１７、１７ａ、１８、１９、２０、２１、２３、２３ａ、２４、２５、２５ａ、２６、２６ａ、２７、２７ａ、２８、２９はそれぞれプログラム（ソフトウェア）とそれを実行する演算制御部によって実現されている。
【００２３】
第１の実施形態は、表示・操作画面における操作時において、表示・操作画面内のある表示・操作部品２００の機能シンボルの画像が指示および操作されて、指示および操作された表示・操作部品２００の操作処理判定部２１により処理すべき操作モードが縮小または拡大の画像サイズ一括変換であると判断された時、予め画像サイズ一括変換の対象として指定されている表示・操作部品１００または予め指定されている領域内に表示されている機能シンボルの画像を有する表示・操作部品１００に対して、表示・操作部品２００の画像サイズ演算部１５ａおよび座標位置演算部１４ａにより各表示・操作部品１００の画像表示データの画像サイズを変換させる演算処理および表示座標位置データの座標位置を変更させる演算処理を行わせ、画像サイズ変換および座標位置変更後の画像表示データおよび表示座標位置データに基づいた機能シンボルの画像を表示・操作部品２００の表示・操作部品画像発生部４を介して表示ユニット１に表示させるものである。
【００２４】
図３（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の画像表示データに基づいた機能シンボルの画像３１，３２のうち、予め対象として指定されている表示・操作部品の機能シンボルの画像３１または予め指定されている領域Ｂ内に表示されている機能シンボルの画像を有する表示・操作部品の機能シンボルの画像３１（表示ユニット１の内側に表示されている表示・操作部品の機能シンボルの画像）を縮小または拡大する場合、まず、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３２（表示ユニット１の外側に表示されている表示・操作部品の機能シンボルの画像）の１つである画像サイズを変更させる機能を有する例えば画像サイズ縮小／拡大ボタンの表示・操作部品の「縮小／拡大」の画像３２をユーザが指示および操作し、画像サイズ一括変換モードとする。
【００２５】
この時、座標位置検出部を有するタッチスクリーン２によって指示および操作された画像サイズ縮小／拡大ボタンの表示・操作部品の画像３２の座標が検出され、表示・操作部品特定部２０に検出座標情報および例えば１回押すまたは２回押すなどの操作情報が出力される。そして、表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３２の画像表示データが画像サイズ縮小／拡大ボタンの表示・操作部品の画像表示データであることを特定し、図２に示すように、画像サイズ縮小／拡大ボタンの表示・操作部品２００の操作処理判定部２１は、表示・操作部品特定部２０による特定情報および操作情報に基づいて、画像サイズ一括変換処理部２３ａに予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の機能シンボルの画像３１に対して画像サイズの一括変換を行わせる指示を出力する。
【００２６】
ついで、画像サイズ一括変換処理部２３ａは、画像サイズ演算部１５ａおよび座標位置演算部１４ａに予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の機能シンボルの画像３１に対する画像サイズ変更および座標位置変更の演算処理を行わせるための指示を出力し、画像サイズ演算部１５ａおよび座標位置演算部１４ａは、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の画像表示データの画像サイズを変換する演算処理および表示座標位置データの座標位置を変更する演算処理を行う。演算された画像サイズ情報および座標位置情報は表示・操作部品画像発生部４に供給され、表示・操作部品画像発生部４は演算された画像サイズ情報および座標位置情報に基づいて画像３１ａまたは画像３１ｂを発生させて、画像メモリ３に書き込む。
【００２７】
そして、表示ユニット１では、図３（ｂ）または図３（ｃ）に示すように、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている機能シンボルの画像を有する表示・操作部品１００の縮小または拡大された画像３１ａ，３１ｂが表示される。なお、縮小または拡大された各表示・操作部品１００の有する画像表示データ記憶部７および表示座標位置データ記憶部６には画像サイズ縮小／拡大ボタンの表示・操作部品２００の有する画像サイズ演算部１５ａおよび座標位置演算部１４ａにより演算された画像サイズ情報および座標位置情報が記憶される。
【００２８】
ここで、画像サイズ縮小／拡大ボタンにより縮小が指示された場合は、画像サイズの縮小および座標位置の変更の演算処理が行われ、図３（ｂ）に示すように、予め指定された表示・操作部品１００または予め指定された箇所を支点に、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像３１が縮小されて表示される。そして、座標位置においては、図３（ａ）に示すボタン配置と相似形になり、元のイメージが保存されるように演算処理が行われる。また、画像サイズ縮小／拡大ボタンにより拡大が指示された場合は、画像サイズの拡大および座標位置の変更の演算処理が行われ、図３（ｃ）に示すように、予め指定された表示・操作部品１００または予め指定された箇所を支点に、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像３１が拡大されて表示される。そして、座標位置においては、縮小の場合と同様に図３（ａ）に示すボタン配置と相似形になる。
【００２９】
このように、表示ユニット１に表示されている表示・操作部品１００，２００の画像表示データに基づいた機能シンボルの画像３１，３２の１つである、画像サイズ縮小／拡大ボタンの表示・操作部品２００の画像３２をユーザが指示および操作すると、処理すべき操作モードが縮小または拡大の画像サイズ一括変換であると判断され、画像サイズ縮小／拡大ボタンの表示・操作部品２００の画像サイズ演算部１５ａおよび座標位置演算部１４ａ等によって予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像表示データの画像サイズおよび表示座標位置データの座標位置を演算し、その演算結果に基づいて表示・操作部品画像発生部４を介して縮小または拡大された画像３１が表示ユニット１に表示されるので、表示・操作画面Ａ上の予め指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の機能シンボルの画像３１の表示を一括して縮小または拡大させることができ、縮小された表示・操作画面Ａ（図３（ｂ））または拡大された表示・操作画面Ａ（図３（ｃ））を簡単に表示することができる。これにより、縮小された表示・操作画面Ａでは配置された表示・操作部品１００の全体像をみることができ、拡大された表示・操作画面Ａでは配置された表示・操作部品１００の一部の拡大図を容易にみることができるので、操作器の表示・操作画面Ａに対する操作性の向上を図ることができる。
【００３０】
なお、上述の実施形態では表示・操作部品の１つとして画像サイズ縮小／拡大ボタンである表示・操作部品２００を設けた場合を例示して説明したが、画像サイズの縮小または画像サイズの拡大のいずれか一方の機能を有するものとしてもよく、予め指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００に画像サイズの縮小および拡大の機能、またはいずれか一方の機能を有するようにしてもよい。この場合、図１に示すように、各表示・操作部品１００の有する画像サイズ一括変更処理部２３、画像サイズ演算部１５および座標位置演算部１４によって各表示・操作部品１００自身の演算が実行される。
【００３１】
また、縮小または拡大の操作情報として１回押すまたは２回押すなどとした場合を示したが、例えば押す毎に縮小、拡大、通常、縮小、拡大、通常、…というように縮小あるいは拡大する機能の割当の規則を適当に定めて、それに応じた演算処理を行うようにしてもよく、縮小／拡大の倍率においては数段階または１段階としてもよい。
【００３２】
実施形態２．
図４は本発明の第２の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第２の実施形態は、表示・操作画面における操作時において、表示・操作画面内の操作可能な表示・操作部品の機能シンボルの画像が指示および操作されて指示および操作された表示・操作部品の操作処理判定部２１により処理すべき操作モードが振動アニメーション処理であると判断された時、画像データ連続読出指示部１６により指示および操作された表示・操作部品の機能シンボルの画像に対して例えばボタンが震える様子を表す振動アニメーション画像である画像表示データを連続して複数読み出させる処理を行わせ、読み出された画像表示データに基づいた振動アニメーション画像を指示および操作された表示・操作部品の機能シンボルの画像に対し表示・操作部品画像発生部４を介して表示ユニット１に次々に表示させるものである。
【００３３】
図４（ａ）に示すようなある機器の操作器における表示・操作画面Ｃにおいて、表示ユニット１に表示されている機能シンボルの画像３３，３４を有する表示・操作部品のうち、操作可能な表示・操作部品の機能シンボルの画像３３の１つである例えば「決定ボタン」の画像３３をユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３３の画像表示データが決定ボタンの表示・操作部品の画像３３であることを特定し、図１に示すように、特定された表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて振動アニメーション処理部２４に振動アニメーションを行わせる指示を出力する。
【００３４】
ついで、振動アニメーション処理部２４は画像データ連続読出指示部１６に機能シンボルの画像に対する振動アニメーション画像である画像表示データを連続して複数読み出させるための指示を出力し、画像データ連続読出指示部１６は振動アニメーション画像の画像表示データを画像表示データ記憶部７から次々と読み出す。読み出された振動アニメーション画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。そして、表示ユニット１では、図４（ｂ）に示すように、決定ボタンの画像３３の外周に振動アニメーション画像３５が表示される。
【００３５】
このように、表示ユニット１に表示されている操作可能な表示・操作部品の機能シンボルの画像３３の１つをユーザが指示および操作すると、処理すべき操作モードが振動アニメーション処理であると判断され、画像データ連続読出指示部１６等によって振動アニメーション画像の画像表示データを次々と読み出し、表示・操作部品画像発生部４を介して画像３３の外周に振動アニメーション画像３５を表示させて振動したように見えるアニメーションを表示させることができる。これにより、操作・操作画面Ｃにおける操作の際、平面かつ触感の応答のないタッチスクリーン上の操作の実感の不足を補うことができるとともに、振動アニメーション画像３５が表示されることによって操作を行ったことを容易に確認することができ、操作の分かり易さなど操作性の向上を図ることができる。
【００３６】
実施形態３．
図５は本発明の第３の実施形態に係る表示・操作部品の機能シンボルの画像の表示部分設定の作用説明図である。
第３の実施形態は、表示・操作画面における操作時において、例えば数値などの帯状の機能シンボルの画像を有する表示・操作部品１００の一部分の画像が予め決められた領域に表示されてその画像が指示および操作され、指示および操作された表示・操作部品１００の操作処理判定部２１により処理すべき操作モードが流動アニメーション処理であると判断された時、画像表示部分設定部１７により指示および操作された表示・操作部品１００の機能シンボルの画像の表示される表示位置を連続的に移動させる処理を行わせ、処理結果による表示位置に基づいた表示・操作部品１００の機能シンボルの画像を表示・操作部品画像発生部４を介して表示ユニット１に順次表示されるものである。
【００３７】
ある機器の操作器における表示・操作画面のおいて、図５（ａ）に示すように、表示・操作画面の予め決められた領域Ｄに機能シンボルの一部の画像３６ａが表示されている帯状の機能シンボルの画像３６を有する表示・操作部品１００の領域Ｄ内の画像３６ａをユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３６ａの画像表示データが数値の表示・操作部品１００の画像３６の一部であることを特定し、図１に示すように、特定された表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて流動アニメーション処理部２５に流動アニメーションを行わせる指示を出力する。
【００３８】
ついで、流動アニメーション処理部２５は画像表示部分設定部１７に指示および操作された表示・操作部品１００の機能シンボルの画像３６のうちの領域Ｄ内に表示される画像３６ａの表示位置を連続的に移動させるための指示を出力し、画像表示部分設定部１７は表示・操作部品１００の機能シンボルの画像３６の領域Ｄ内に表示される画像３６ａを次々と設定する。設定された画像３６ａの画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれ、表示ユニット１では、図５（ａ）〜（ｄ）に示すように、領域Ｄ内において表示・操作部品１００の数値の画像３６が連続的に移動している流動アニメーションの画像３６ａが表示される。
【００３９】
このように、表示ユニット１に表示されている帯状の画像３６を有する表示・操作部品１００の領域Ｄ内に表示されている画像３６ａをユーザが指示および操作すると、処理すべき操作モードが流動アニメーション処理であると判断され、画像表示部分設定部１７等によって領域Ｄ内に表示される画像３６ａを次々と設定し、表示・操作部品画像発生部４を介して指示および操作された表示・操作部品１００の領域Ｄ内に表示される画像３６ａを連続的に移動させて数値が順次変化しているアニメーションを表示させることができる。これにより、例えば数値の設定を行う表示・操作画面の操作時において、数値の増減の方向を容易に理解することができ、操作性の向上を図ることができる。
【００４０】
なお、上述の実施形態では領域Ｄ内に表示された画像３６ａを有し、この画像３６ａが指示および操作された表示・操作部品１００の画像表示部分設定部１７等によって領域Ｄ内に表示される画像３６ａを連続的に移動させる場合を示したが、図３（ａ）に示すように、矢印キーの画像３２を有する表示・操作部品（図２の表示・操作部品２０１）の流動アニメーション処理部２５ａおよび画像表示部分設定部１７ａ等により、領域Ｄ内に表示されている画像３６ａを有する表示・操作部品（図１の表示・操作部品１００）に対して流動アニメーション処理を行うようにしてもよい。この場合、領域Ｄ内に表示されている画像３６ａを有する表示・操作部品１００の流動アニメーション処理部２５および画像表示部分設定部１７は実行されない。
【００４１】
実施形態４．
図６は本発明の第４の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第４の実施形態は、表示・操作画面における操作時において、表示・操作画面内のある表示・操作部品の機能シンボルの画像が指示および操作されて、指示および操作された表示・操作部品の操作処理判定部２１により処理すべき操作モードが足跡付きスクロール処理であると判断された時、予め指定されている領域内に表示されているまたは表示される機能シンボルの画像を有する表示・操作部品１００に対して、スクロール処理部２７ａおよび流動アニメーション処理部２５ａ等により領域内に表示される表示位置を連続的に移動させる処理を行わせ、処理結果による表示位置に基づいた領域内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像を表示・操作部品画像発生部４を介して表示ユニット１に順次表示させると同時に、画像データ連続読出指示部１６により領域内にスクロールの方向を示す例えば足跡などの方向指示アニメーション画像である画像表示データを連続して複数読み出させる処理を行わせ、また座標位置演算部１４ａにより読み出された画像表示データの表示すべき座標位置を演算する演算処理を行わせ、演算後の表示座標位置データに基づいた方向指示アニメーション画像を表示・操作部品画像発生部４を介して表示ユニット１の領域内に次々に表示させるものである。
【００４２】
図６（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３１，３２うち、予め指定されている領域Ｂ内に表示されているまたは表示される機能シンボルの画像３１を縦方向にスクロールする場合、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３２の１つであるスクロール機能を有する例えばスクロールの表示・操作部品の「矢印キー」の画像３２をユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３２の画像表示データがスクロールの表示・操作部品の画像３２であることを特定し、図２に示すように、スクロールの表示・操作部品２０１の操作処理判定部２１は特定情報および操作情報に基づいて足跡付きスクロール処理部２６ａに足跡付きスクロールを行わせる指示を出力する。
【００４３】
ついで、足跡付きスクロール処理部２６ａはスクロール処理部２７ａおよび画像データ連続読出指示部１６に予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像３１に対するスクロールの指示および足跡などの方向指示アニメーション画像を表示させるための指示を出力し、スクロール処理部２７ａは予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像３１に対する表示位置を連続的に移動させるための指示を出力し、画像表示部分設定部１７ａは各表示・操作部品１００の機能シンボルの画像３１の領域Ｂ内に表示される画像を次々と設定して、設定された画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。そして、表示ユニット１では、図６（ａ）〜（ｃ）に示すように、領域Ｂ内に表示される表示・操作部品１００の縦方向にスクロールされた機能シンボルの画像３１が表示される。
【００４４】
また、画像データ連続読出指示部１６は方向指示アニメーション画像の画像表示データを画像表示データ記憶部７から次々と読み出し、読み出された方向指示アニメーション画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。同時に座標位置演算部１４ａは読み出された方向指示アニメーション画像の画像表示データの表示すべき座標位置を次々と演算し、演算された座標位置情報は表示・操作部品画像発生部４を介して画像メモリ３に順次書き込まれる。そして、表示ユニット１の領域Ｂ内では、図６（ｂ）に示すように、足跡などの方向指示アニメーション画像３７が表示・操作部品１００の画像３１のスクロール表示とともに表示される。
【００４５】
このように、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３１，３２の１つである、スクロールの表示・操作部品２０１の画像３２をユーザが指示および操作すると、処理すべき操作モードが足跡付きスクロール処理であると判断され、スクロールの表示・操作部品２０１の足跡付きスクロール処理部２６ａ等によって予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の画像３１がスクロール表示され、同時に足跡などの方向指示アニメーション画像３７が表示されるので、スクロールの方向を容易に理解することができるとともに、意図した方向へのスクロールが行いやすくなり、操作性の向上を図ることができる。
【００４６】
実施形態５．
図７は本発明の第５の実施形態に係る表示・操作画面およびその作用説明図と、操作手順データ記憶部に記憶される操作手順データの模式図である。
第５の実施形態は、図１に示すように、各表示・操作部品１００，２００…の表示および操作手順を管理する手順管理部品３００を表示・操作部品１００，２００…とは別に独立して設けたものであり、手順管理部品３００は、操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて各表示・操作部品１００，２００…の表示・操作部品画像発生部４に指示を出し、各表示・操作部品１００，２００…の機能シンボルの画像を画像メモリ３を介して表示ユニット１に表示させて表示・操作画面を構成させる操作手順管理部１１と、操作手順データ記憶部１２と、操作手順データの初期データが記憶される操作手順既定値記憶部１３と、後述する操作手順変更処理部１９とから構成されている。
【００４７】
図７に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像の１つである画像３８ｂを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ｂの画像表示データが例えば「２Ｆ照明」の表示・操作部品１００の画像３８ｂであることを特定し、「２Ｆ照明」の表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、図１に示すように、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。
【００４８】
ついで、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は操作手順変更処理部１９を介して操作手順データ記憶部１２に送られ、操作手順管理部１１はその履歴情報および操作手順データ記憶部１２に記憶されている操作手順データ１２ａに基づいて、図７に示すように、次の表示・操作画面、例えば表示・操作画面Ｆを構成する表示・操作部品の機能シンボルの画像３９ａ，３９ｂ…をその画像３９ａ，３９ｂ…を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。そして、表示・操作画面Ｆを構成している画像３９ａ，３９ｂ…の１つを指示および操作すると、上述したように指示および操作された画像の表示・操作部品が特定され、特定情報および操作情報に基づく履歴情報と操作手順データ１２ａとに基づいて手順管理部品３００の操作手順管理部１１により次の表示・操作画面Ｉを構成する表示・操作部品の機能シンボルの画像４０ａ，４０ｂ…が表示ユニット１に表示される。なお、最初の表示・操作画面Ａも手順管理部品３００により表示されている。
【００４９】
このように、表示・操作画面Ａ等を構成している表示・操作部品１００，２００…に対する次のステップへの操作手順データ１２ａが表示・操作部品１００，２００…とは別に独立した手順管理部品３００によって管理されているので、操作手順の改訂を行う場合、表示・操作部品１００，２００…のプログラム（ソフトウェア）を変更させることなく操作手順データ記憶部１２に記憶される操作手順データ１２ａのみを変更するだけで容易に操作手順の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。
【００５０】
実施形態６．
図８は本発明の第６の実施形態に係る操作手順データ記憶部に記憶される操作手順データの模式図および表示・操作画面の作用説明図である。
第６の実施形態は、図１に示すように、各表示・操作部品１００，２００…の操作処理判定部２１から逐次送られる特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて、第５の実施形態の手順管理部品３００に設けられた操作手順変更処理部１９が操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データ１２ａに対する重み値（ｐｒｉｏｒｉｔｙ）を変化させ、この重み値に基づいて、手順管理部品３００の操作手順管理部１１が各表示・操作部品１００，２００…の操作手順データの優先度付けを行い、この優先度の高い操作手順データを有する表示・操作部品１００，２００…に対して、その表示・操作部品の画像の画像表示データおよび表示座標位置データを変更させて画像の大きさを拡大させる、表示位置を移動させるまたは目立つ色に色付けする、あるいは表示・操作部品の操作手順データを変更させてその表示・操作部品が予め選択された状態にするまたは操作手順データの一部を省略するなどの変更処理を行わせ、変更後の各種データ、各表示・操作部品１００，２００…の操作手順データ１２ａおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて各表示・操作部品１００，２００…の表示・操作部品画像発生部４に指示を出し、各表示・操作部品１００，２００…の機能シンボルの画像を画像メモリ３を介して表示ユニット１に表示させて表示・操作画面を構成させるものである。
【００５１】
図８（ｂ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品１００，２００…の機能シンボルの画像の１つである画像３８ｂを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ａの画像表示データが例えば「１Ｆ照明」の表示・操作部品１００の画像３８ａであることを特定し、「１Ｆ照明」の表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、図１に示すように、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。
【００５２】
特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は操作手順変更処理部１９に送られ、操作手順変更処理部１９は履歴情報に基づいて、図８（ａ）に示すように、操作手順データ記憶部１２に記憶されている操作手順データ１２ａの表示・操作画面Ａにおける表示・操作部品１００の画像３８ａに対応した操作手順データの重み値を変化させる。ついで、操作手順管理部１１は履歴情報および操作手順データ記憶部１２に記憶されている操作手順データ１２ａに基づいて、次の表示・操作画面、例えば表示・操作画面Ｆ（図８（ｃ））を構成する表示・操作部品の機能シンボルの画像３９ａ，３９ｂ…をその画像３９ａ，３９ｂ…を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。そして、表示・操作画面Ｆを構成している画像３９ａ，３９ｂ…の１つを指示および操作すると、上述したように指示および操作された画像の表示・操作部品が特定され、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて操作手順変更処理部１９により操作手順データ１２ａの指示および操作された表示・操作部品の画像に対応した操作手順データの重み値が変化され、履歴情報および操作手順データ１２ａに基づいて操作手順管理部１１により次の表示・操作画面を構成する表示・操作部品の機能シンボルの画像が表示ユニット１に表示される。
【００５３】
この時、操作手順管理部１１は操作手順変更処理部１９によって変化された重み値に基づいて各表示・操作部品の操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品、例えば画像３９ａを有する表示・操作部品に対して、その画像３９ａの画像表示データおよび表示座標位置データを変更させて画像３９ａの大きさを拡大させて色付けするとともに、操作手順データを変更させて画像３９ａが予め選択された状態に表示させるための変更処理を行い、その変更後の画像表示データ、表示座標位置データおよび操作手順データは画像３９ａを有する表示・操作部品の表示・操作部品画像発生部４に送られる。そして、表示ユニット１には、図８（ｃ）に示すように、拡大および色付けされかつ選択された状態の画像３９ａが表示される。
【００５４】
このように、手順管理部品３００に設けられた操作手順変更処理部１９によって操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データ１２ａに対する重み値を変化させ、この重み値に基づいて操作手順管理部１１が各操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品１００，２００…に対して、その表示・操作部品１００，２００…の画像の大きさを拡大するなど画像表示データ等の変更、または操作手順を変える操作手順データの変更処理を行うので、ユーザの意図に近く操作しやすい表示・操作画面を得ることができ、操作性の高いグラフィカルユーザインタフェースを得ることができる。
【００５５】
なお、上述の実施形態では重み値に基づいて付けられた優先度の高い操作手順データを有する表示・操作部品に対して、その表示・操作部品の画像の拡大、色付けおよび画像が選択された状態の表示を行う場合を示したが、いずれか１つを行わせてもよく、画像の表示位置を操作しやすい位置に変更して表示させたり、画像の選択の余地を無くして優先度の高い操作手順が自動的に実行されるように操作手順データを変更させるようにしてもよい。
【００５６】
実施形態７．
図９は本発明の第７の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第７の実施形態は、図１に示すように、各表示・操作部品１００，２００…の各レベルのヘルプ情報を含む各種ヘルプデータを管理し、表示ユニット１に表示された機能シンボルの画像によって構成される表示・操作画面に対応したヘルプ情報を表示ユニット１に表示させるヘルプ部品４００を表示・操作部品１００，２００…および手順管理部品３００とは別に独立して設けたものであり、ヘルプ部品４００は、手順管理部品３００の操作手順管理手段１１からの操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて、各表示・操作画面に対応してヘルプデータ記憶部９に記憶されるヘルプデータの各レベルのヘルプ情報を画像メモリ３を介して表示ユニット１に表示させるヘルプ部品発生部２９と、ヘルプデータ記憶部９と、ヘルプデータの初期データが記憶されるヘルプデータ既定値記憶部１０と、後述するヘルプデータ変更処理部１８とから構成されている。
【００５７】
なお、ヘルプデータの各レベルのヘルプ情報は、各表示・操作部品１００，２００…の画像に対応し表示・操作部品１００，２００…の意味および機能を説明する第１レベルのヘルプ情報、各表示・操作画面またはその画面を構成する表示・操作部品１００の画像に対応しそれらの操作手順を説明する第２レベルのヘルプ情報、および操作手順履歴情報記憶部２２からの履歴情報に基づくユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報である。
【００５８】
図９（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている機能シンボルの画像の１つである画像４１ａを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像４１ａの画像表示データが例えば「ヘルプ（？）」のヘルプ部品４００の画像４１ａであることを特定し、特定情報および操作情報をヘルプ部品４００のヘルプ部品画像発生部２９および操作手順履歴情報記憶部２２に出力する。
【００５９】
ついで、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は、図１に示すように、手順管理部品３００に送られるとともにヘルプデータ変更処理部１８を介してヘルプデータ記憶部９に送られ、ヘルプ部品画像発生部２９は他の表示・操作部品の履歴情報を含む全履歴情報、ヘルプデータ記憶部９に記憶されているヘルプデータ、手順管理部品３００の操作手順データ、および表示・操作部品特定部２０からの特定情報、操作情報に基づいて、図９（ａ）に示すように、指定された画像例えば「１Ｆ照明」の画像３８ａを有する表示・操作部品に対応した第１レベルのヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では「１Ｆ照明」の画像３８ａの表示・操作部品の意味および機能を説明する第１レベルのヘルプ情報が表示される。
【００６０】
次に、「１Ｆ照明」の画像３８ａが指示および操作されて、図９（ｂ）に示すように、次の表示・操作画面Ｅが表示ユニット１に表示されている時、機能シンボルの画像の１つである画像４１ｂを指示および操作すると、上述したように指定された画像例えば「スケジュール設定」の画像３９ａを有する表示・操作部品に対応したヘルプ情報がヘルプ部品画像発生部２９によって画像メモリ３に書き込まれ、表示ユニット１に「スケジュール設定」の操作手順を説明する第２レベルのヘルプ情報が表示される。そして、ヘルプ情報に基づいてスケジュール設定を行い、次の表示・操作画面においてヘルプ部品４００の画像を指示および操作すると、操作手順履歴情報記憶部２２からの履歴情報がヘルプ部品画像発生部２９に送られて、履歴情報に基づくユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報がヘルプ部品画像発生部２９よって画像メモリ３に書き込まれ、表示ユニット１には、図９（ｃ）に示すように、ユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報４２が表示される。
【００６１】
このように、ヘルプデータを各レベルのヘルプ情報とし、各表示・操作画面における各表示・操作部品に対応したヘルプ情報などを、ヘルプ部品４００の画像４１ａ，４１ｂを操作することによって容易に表示させることができるので、ユーザが意図する操作を行うために必要なヘルプ情報のみを得ることができ、表示・操作部品の画像の操作などをより分かりやすく簡単にすることができるとともに、操作した内容についても容易に確認することができ、操作性の向上を図ることができる。また、ヘルプデータは表示・操作部品１００，２００…とは別に設けられたヘルプ部品４００に格納されているので、ヘルプデータの改訂を表示・操作部品１００，２００…のプログラム（ソフトウェア）を変更させることなく容易に行うことができるともに、各表示・操作部品１００，２００…に必要以上のヘルプデータが格納されることも防ぐことができるので、メモリの無駄な消費を招くおそれもない。
【００６２】
実施形態８．
図１０は本発明の第８の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第８の実施形態は、図１に示すように、各表示・操作部品１００，２００…の操作処理判定部２１から逐次送られる特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて、第７の実施形態のヘルプ部品４００に設けられたヘルプデータ変更処理部１８がヘルプデータ記憶部１１に記憶されるヘルプデータを変更させ、ヘルプ部品画像発生部２９が手順管理部品３００の操作手順管理手段１１からの操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて、この変更ヘルプデータおよびヘルプデータ記憶部９に記憶されるヘルプデータの各レベルのヘルプ情報を各表示・操作画面に対応して表示ユニット１に表示させるものである。
【００６３】
図１０（ｂ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品１００，２００…の機能シンボルの画像の１つである画像３８ａを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ａの画像表示データが例えば「１Ｆ照明」の表示・操作部品の画像３８ａであることを特定し、「１Ｆ照明」の表示・操作部品の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。
【００６４】
特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は手順管理部品３００の操作手順変更処理部１９を介して操作手順データ記憶部１２に送られ、操作手順管理部１１はその履歴情報および操作手順データに基づいて、次の表示・操作画面を構成する表示・操作部品の機能シンボルの画像をその画像を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。
【００６５】
ここで、操作手順履歴情報記憶部２２からの履歴情報においてユーザの操作の誤り、例えば次の表示・操作画面に移ったもののまた元の表示・操作画面に戻って再度操作が行われるなどの操作の誤りを示す複数の履歴情報がヘルプデータ変更処理部１８に送られると、ヘルプデータ変更処理部１８は例えば誤りを起こす箇所に対応した操作ガイドなどの追加ヘルプデータをヘルプデータ記憶部９に送って記憶させ、ヘルプデータを変更させる。ついで、ヘルプ部品画像発生部２９は履歴情報および操作手順データに基づいて、変更ヘルプデータ、例えば第２レベルのヘルプ情報である操作ガイドのヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では、図１０（ａ）に示すように、誤りを起こしやすい表示・操作画面Ａに操作ガイドのヘルプ情報４３が表示される。
【００６６】
この時、表示ユニット１に表示されている画像のうち、次に指示および操作される表示・操作部品の画像、例えば画像３８ａをその表示・操作部品１００に設けられた操作可能／不可能設定部２８により画像３８ａを操作可能状態にさせ、他の画像をその表示・操作部品の操作可能／不可能設定部２８により操作不可能状態にさせて、強制的に操作手順に沿った操作を行わせるようにする。
【００６７】
また、操作ガイドのヘルプ情報４３が表示されている表示・操作画面Ａにおいて、操作の誤りを示す履歴情報がヘルプデータ変更処理部１８にほとんど送られなくなると、ヘルプデータ変更処理部１８は誤りを起こす箇所に対応した操作ガイドなどのヘルプデータを省略するヘルプデータ変更処理を行い、ヘルプ部品画像発生部２９は履歴情報および操作手順データに基づいて、変更ヘルプデータ、つまり操作ガイドのヘルプ情報４３が省略されたヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では、図１０（ｂ）に示すように、操作ガイドのヘルプ情報４３が省略された通常のものが表示される。
【００６８】
なお、操作の誤りの確率の変動などから、操作ガイドのヘルプ情報４３を例えば色付けして目立たせるようにしたり、操作ガイドの内容を変化させてもよく、操作の誤りが減少傾向の場合は操作ガイドを簡略化し、増加傾向の場合は詳細な操作ガイドを表示したり、強制的な操作ガイドに変更しても良い。
【００６９】
このように、操作手順履歴情報記憶部２２からの履歴情報に基づいて、ヘルプデータ変更処理部１８によってヘルプ情報を簡略化または詳細化させるなどのヘルプデータの変更を容易に行うことができるので、各表示・操作画面において操作をより円滑に行うことができ、操作性の向上を図ることができる。
【００７０】
実施形態９．
第９の実施形態は、表示・操作部品１００，２００…、手順管理部品３００およびヘルプ部品４００の有する各種の処理を実現するプログラム（ソフトウェア）およびそのプログラム（ソフトウェア）を実行する演算制御部によって実現される図１および図２における各処理部４，１１，１４，１４ａ，１５，１５ａ，１６…を、互いに独立させかつ択一的に構成し、各表示・操作部品等に対して適宜組み合わせ可能としたものである。
【００７１】
通常、オブジェクト指向で組み込まれる表示・操作部品１００等においては、画像表示データおよび表示座標位置データ等のデータ部分とそのデータに対する処理を行う画像サイズ演算部および座標位置演算部などの処理部とが一体化されており、これら一体化されて組み込まれた処理部を表示・操作部品等から着脱することはない。しかしながら、これらの処理部の中には例えばデバッグ用のデータ表示のための処理部、表示・操作部品１００の画面上での座標位置を出力する処理部、あるいは表示・操作部品や表示・操作画面の開発時には必要であるが、実機上では不要となる処理部、またはその表示・操作部品を搭載する機器の種類により不要となる処理部などがある。
【００７２】
そこで、各処理部を互いに独立させかつ択一的に構成し、各表示・操作部品等に対して適宜組み合わせ可能とすると、実機上では不要となる処理部を搭載時においては取り外すことができる。
【００７３】
例えばある機器の操作器に搭載される表示・操作部品１００おいて、画像サイズ一括変換処理および振動アニメーション処理は必要であるが、流動アニメーション処理および足跡付きスクロール処理は不要である場合、図１に示した操作処理判定部２１、画像サイズ一括変換処理部２３、座標位置演算部１４、画像サイズ演算部１５、振動アニメーション処理部２４、画像データ連続読出指示部１６および表示・操作部品画像発生部４が表示・操作部品１００には組み込まれ、流動アニメーション処理部２５、画像表示部分設定部１７、足跡付きスクロール処理部２６およびスクロール処理部２７が表示・操作部品１００には組み込まれない。
【００７４】
このように、互いに独立させかつ択一的に構成した各処理部を各表示・操作部品１００等に対して適宜組み合わせ可能とすることにより、不必要な処理部によるメモリの無駄な消費を防ぐことができ、メモリ消費量の改善を図ることができる。また、処理部の組み込みを容易に行うことができるので、メモリの消費等を気にすることなく開発時にのみ必要となる処理部を充実させることができ、開発効率の改善を図ることができる。
【００７５】
【発明の効果】
以上のように本発明に係るグラフィカルユーザインタフェース装置は、画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部と、各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、手順管理部品は、手段として操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて各表示・操作部品の機能シンボルの画像を表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段を有するものであるので、各表示・操作部品の操作手順データをそれぞれが有する場合と比較してメモリの無駄な消費を防ぐことができるとともに、操作手順を改訂する場合などは各表示・操作部品が有する手段等を変更させることなく手順管理部品により管理された操作手順データのみを変更するだけで容易に操作手順の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。
【００７６】
本発明に係るグラフィカルユーザインタフェース装置は、各表示・操作部品と、表示ユニットと、タッチスクリーンと、表示・操作部品特定部と、各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、手順管理部品は、手段として操作手順履歴情報記憶部からの履歴情報に基づいて各表示・操作部品の操作手順データに対する重み値を変化させる操作手順変更処理手段と、操作手順変更処理手段により変化された重み値に基づいて各表示・操作部品の操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品の機能シンボルの画像の画像表示データおよび表示座標位置データ、またはこの表示・操作部品の操作手順データを変更させるとともに、変更データ、各表示・操作部品の操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて変更後の各表示・操作部品の機能シンボルの画像を表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段とを有するものであるので、ユーザの意図に近く操作しやすい表示・操作画面を得ることができ、操作性の高いグラフィカルユーザインタフェースを得ることができる。
【００７７】
本発明に係るグラフィカルユーザインタフェース装置は、各表示・操作部品のヘルプ情報を有するヘルプデータを含む各種データおよび各種の演算を実現する手段を有するヘルプ部品を有し、ヘルプ部品は、各種データとして表示ユニットに表示される機能シンボルの画像の画像表示データと、各表示・操作部品の機能を説明するヘルプ情報、各表示・操作部品の操作手順を説明するヘルプ情報、および操作手順履歴情報記憶部からの履歴情報に基づく操作内容を総括するヘルプ情報を有するヘルプデータとを備え、手段として手順管理部品の操作手順管理手段からの操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて、各表示・操作画面に対応したヘルプデータのヘルプ情報を表示ユニットに表示させるヘルプ部品発生手段を有するものであるので、ユーザが意図する操作を行うために必要なヘルプ情報のみを得ることができ、表示・操作部品の画像の操作などをより分かりやすく簡単にすることができるとともに、操作した内容についても容易に確認することができ、操作性の向上を図ることができる。また、ヘルプ情報を改訂する場合、各表示・操作部品が有する手段等を変更させることなくヘルプ部品により管理されたヘルプデータのみを変更するだけで容易にヘルプ情報の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。
【００７９】
本発明に係るグラフィカルユーザインタフェース装置において、ヘルプ部品は、手段として操作手順履歴情報記憶部からの履歴情報に基づいてヘルプデータを変更させるヘルプデータ変更処理手段と、手順管理部品の操作手順管理手段からの操作手順データおよび操作手順履歴情報記憶部からの履歴情報に基づいて、各表示・操作画面に対応したヘルプデータの変更後ヘルプ情報を含むヘルプ情報を表示ユニットに表示させるヘルプ部品発生手段とを有するものであるので、ヘルプ情報を簡略化または詳細化させるなどのヘルプデータの変更を容易に行うことができ、開発効率の改善を図ることができるとともに、各表示・操作画面における操作をより円滑に行うことができて操作性の向上も図ることができる。
【００８２】
また、本発明に係るグラフィカルユーザインタフェース装置において、各表示・操作部品は、手段として表示ユニットに表示されているこの表示・操作部品に係る画像に対して操作可能または不可能であるかを設定する操作可能・不可能設定手段を有するものであるので、不必要な表示・操作部品の画像を誤って指示および操作してしまうなどの不便さを無くすことができ、より操作性の向上を図ることができる。
【図面の簡単な説明】
【図１】 本発明の第１〜第９の実施形態の構成を示すブロック図である。
【図２】 本発明の第１〜第９の実施形態の構成を示すブロック図である。
【図３】 本発明の第１の実施形態に係る表示ユニットの表示された表示・操作画面の作用説明図である。
【図４】 本発明の第２の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【図５】 本発明の第３の実施形態に係る表示・操作部品の機能シンボルの画像の表示部分設定の作用説明図である。
【図６】 本発明の第４の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【図７】 本発明の第５の実施形態に係る表示ユニットに表示された表示・操作画面およびその作用説明図と、操作手順データ記憶部に記憶される操作手順データの模式図である。
【図８】 本発明の第６の実施形態に係る操作手順データ記憶部に記憶される操作手順データの模式図および表示ユニットに表示された表示・操作画面の作用説明図である。
【図９】 本発明の第７の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【図１０】 本発明の第８の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
【符号の説明】
１ 表示ユニット、２ タッチスクリーン、４ 表示・操作部品画像発生部、１１ 操作手順管理部、１４，１４ａ 座標位置演算部、１５，１５ａ 画像サイズ演算部、１６ 画像データ連続読出指示部、１７，１７ａ 画像指示部分設定部、１８ ヘルプデータ変更処理部、１９ 操作手順変更処理部、２０ 表示・操作部品特定部、２１ 操作処理判定部、２２ 操作手順履歴記憶部、２３，２３ａ 画像サイズ一括変更処理部、２４ 振動アニメーション処理部、２５，２５ａ 流動アニメーション処理部、２６，２６ａ 足跡付きスクロール処理部、２７，２７ａ スクロール処理部、２８ 操作可能／不可能設定部、２９ ヘルプ部品画像発生部、３１，３２，３３，３４，３６，３６ａ，３８ａ，３８ｂ，３９ａ，３９ｂ，４０ａ，４０ｂ，４１ａ，４１ｂ 機能シンボルの画像、３５ 振動アニメーション画像、３７ 方向指示アニメーション画像、４２，４３ヘルプ情報、１００，２００，２０１ 表示・操作部品、３００ 手順管理部品、４００ ヘルプ部品。
Claims (2)
- 画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、該表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、該表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部と、前記各表示・操作部品の操作手順データおよび各種の演算を実現する手段を有する手順管理部品と、前記各表示・操作部品の特定情報および操作情報が記憶される操作手順履歴情報記憶部とを有し、前記手順管理部品は、前記各種の演算を実現する手段として前記操作手順データおよび前記操作手順履歴情報記憶部からの履歴情報に基づいて前記各表示・操作部品の機能シンボルの画像を前記表示ユニットに表示させ、表示させた機能シンボルの画像により各表示・操作画面を構成させる操作手順管理手段を有し、
また、さらに前記各表示・操作部品のヘルプ情報を有するヘルプデータを含む各種データおよび各種の演算を実現する手段を有するヘルプ部品を有し、前記ヘルプ部品は、前記各種データとして前記表示ユニットに表示される機能シンボルの画像の画像表示データと、前記各表示・操作部品の機能を説明するヘルプ情報、および各表示・操作部品の操作手順を説明するヘルプ情報を有するヘルプデータとを備え、さらに前記手段として前記操作手順履歴情報記憶部からの履歴情報に基づいて前記ヘルプデータを変更させるヘルプデータ変更処理手段と、前記手順管理部品の操作手順管理手段からの操作手順データおよび前記操作手順履歴情報記憶部からの履歴情報に基づいて、前記各表示・操作画面に対応した前記ヘルプデータの変更後ヘルプ情報を含むヘルプ情報を前記表示ユニットに表示させるヘルプ部品発生手段とを有することを特徴とするグラフィカルユーザインタフェース装置。 - 前記各表示・操作部品は、前記各種の演算を実現する手段として前記表示ユニットに表示されている当該表示・操作部品に係る画像に対して操作可能または不可能であるかを設定する操作可能・不可能設定手段を有することを特徴とする請求項１記載のグラフィカルユーザインタフェース装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10239796A JP3978619B2 (ja) | 1996-04-24 | 1996-04-24 | グラフィカルユーザインタフェース装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10239796A JP3978619B2 (ja) | 1996-04-24 | 1996-04-24 | グラフィカルユーザインタフェース装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004159838A Division JP3978682B2 (ja) | 2004-05-28 | 2004-05-28 | グラフィカルユーザインタフェース装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09292963A JPH09292963A (ja) | 1997-11-11 |
| JP3978619B2 true JP3978619B2 (ja) | 2007-09-19 |
Family
ID=14326325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10239796A Expired - Lifetime JP3978619B2 (ja) | 1996-04-24 | 1996-04-24 | グラフィカルユーザインタフェース装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3978619B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1510911A3 (en) | 2003-08-28 | 2006-03-22 | Sony Corporation | Information processing apparatus, information processing method, information processing program and storage medium containing information processing program |
| JP6396394B2 (ja) * | 2016-11-04 | 2018-09-26 | ヤフー株式会社 | 表示プログラム、端末装置、表示方法及び配信装置 |
-
1996
- 1996-04-24 JP JP10239796A patent/JP3978619B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09292963A (ja) | 1997-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8185846B2 (en) | Teaching box for use in robot, customization method, and robot system using the same | |
| US20040104942A1 (en) | Display and operating device, in particular a touch panel | |
| WO2009123030A1 (ja) | ユーザインタフェース生成装置 | |
| EP2472902A1 (en) | Image forming device and program | |
| JP5102362B2 (ja) | プラント監視制御システム | |
| JP3978682B2 (ja) | グラフィカルユーザインタフェース装置 | |
| JP3978619B2 (ja) | グラフィカルユーザインタフェース装置 | |
| JP2002215304A (ja) | タッチパネルコンピュータ | |
| JP2007163563A (ja) | 地図画像表示プログラム | |
| WO2002046899A1 (fr) | Procede de commande d'affichage de fenetre et dispositif correspondant, et support d'information lisible par ordinateur a programme enregistre | |
| JPH10198504A (ja) | 情報処理装置の機能起動方法及び座標読取システム | |
| JPH1097559A (ja) | コンピュータ支援作業装置とそのガイダンス編成方法 | |
| JP2010170497A (ja) | 画像作成装置、画像作成プログラムおよびそれを記録した記録媒体 | |
| JP5414621B2 (ja) | 監視制御システム | |
| JP4143529B2 (ja) | 情報入力装置、情報入力方法、コンピュータプログラム及びコンピュータ読み取り可能な記憶媒体 | |
| JP3115068B2 (ja) | 画面表示制御装置 | |
| JPH08147265A (ja) | 操作性検証方法及び装置 | |
| JPH11213022A (ja) | 設計支援方法及びそのシステム | |
| KR101118224B1 (ko) | 노트북컴퓨터에서 키보드를 이용한 마우스 기능 버튼구현방법 | |
| JP2008293392A (ja) | ラダープログラミングエディタ | |
| JPS605320A (ja) | メニユ−指示方法とその装置 | |
| JP4438175B2 (ja) | ソフトウエアの開発システム | |
| JP2003241739A (ja) | トレンドグラフ表示装置 | |
| JPH01244502A (ja) | Ｐｃのプログラム表示方式 | |
| JPH02263227A (ja) | 表示制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070613 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |