JP3978682B2 - グラフィカルユーザインタフェース装置 - Google Patents

Description

本発明は、空調機器、照明機器、受配電機器、家電機器などにおける各種機器の操作器のグラフィカルユーザインタフェース装置に関するものである。

昨今、空調機器、照明機器、受配電機器、家電機器などにおける操作器のグラフィカルユーザインタフェース装置は、タッチスクリーンによるダイレクトタッチ方式のものが主流となりつつある。タッチスクリーンを使用した入力方式では、操作器の表示・操作画面に現れる操作ボタン、操作キー等の画像に直接触れることによって操作が行えるため、直感に基づいた快適な操作が行える。そして、操作器の表示・操作画面内に収まり切らない表示がある場合は、一般にスクロール機能が用いられていて、表示・操作画面に現れる矢印キーなどの画像を操作することによって表示・操作画面内の一部または全体を縦横方向にスクロールさせて、表示範囲を移動させている。また、ユーザの操作の補助機能として、表示・操作画面に表示されている操作ボタンまたは操作キー等の機能シンボルの画像の画像表示データ等の各種データを有する表示・操作部品は、例えば表示・操作部品の機能などを説明するヘルプ情報が対応していて、これらのヘルプ情報は通常固定されており、表示・操作画面に表示されているある表示・操作部品の機能シンボルの画像を操作すると、操作された表示・操作部品のヘルプ情報が表示・操作画面に表示される。

このような操作器のグラフィカルユーザインタフェース装置におけるソフトウェア開発では、操作ボタンまたは操作キー等の機能シンボルの画像の画像表示データ等の各種データや機能シンボルの画像が操作されそれを受けた時に機能シンボルの動作などが実現されるプログラム（ソフトウェア）を有する表示・操作部品の機能シンボルの画像を画面上に配置することによって操作器に対応する表示・操作画面が作成され、このように作成すると、各表示・操作部品の機能シンボルの動作などが実現されるプログラム（ソフトウェア）によって各表示・操作部品から直接次の表示・操作画面へのリンク付けがなされ、この流れによって操作手順が作成される。そして、実際に表示・操作画面を操作するとこの操作手順に沿って表示・操作部品の有する機能の動作などが実現されるプログラム（ソフトウェア）が実行される。

また、例えば、ユーザの操作内容とこの操作に対応する処理動作との連続的な手順の設定を行う手順設定オブジェクトを、機能の動作などが実現されるプログラム（ソフトウェア）などを有する表示・操作部品とは別に独立させて設けたものがある（例えば特許文献１参照）。この場合も、操作器稼働中はその操作手順が固定状態にあり、その固定した操作手順に沿って操作される。
特開平６−２０２８６３号公報

上記のような従来のグラフィカルユーザインタフェース装置は、例えばＬＣＤ（液晶ディスプレイ）などの平面の表示ユニットに表示された操作ボタンまたは操作キー等の画像を視覚的にとらえ、この画像を平面のタッチスクリーン越しにタッチして操作するため、現実世界の物理的な操作ボタンまたは操作キー等を操作した場合と比較して操作を行った触感が大幅に不足し、操作感覚が得難いものであった。また、スクロール機能においても、スクロールを行う方向が表示・操作画面上の表示または表示・操作画面に現れているスクロールを指示する矢印キー等の画像からでは分かり難いという問題があった。さらに、ユーザの操作の補助機能として各表示・操作部品にそれぞれに対応して設けられているヘルプ情報が固定されているので、例えば機能の説明が通り一辺倒に終わって実用的ではないヘルプ情報が提供される場合が多く、ユーザが自分の意図することを行うために必要な情報を得ることが難しかったり、逆に必要以上に過剰な情報がユーザに与えられてしまってかえって操作の妨げになることもあった。また、必要以上のヘルプ情報が格納されているメモリにおいては無駄な消費を招いてもいた。

また、各表示・操作部品は機能の動作などが実現されるプログラムによって直接次の表示・操作画面へのリンク付けがなされ、この流れによって操作手順が作成されるため、操作手順を変更する場合には個々の表示・操作部品レベルでの改修が必要となり、操作手順変更には膨大な作業量が発生してコスト高になるなどの問題もあった。

さらに、表示・操作部品においては、実行されるまたは実行されないに関わらず機能の動作などが実現される複数のプログラムが組み込まれているため、ある機器では不必要な余分なプログラムまで組み込まれてしまうことになり、必要以上のメモリの消費を招くなどの問題もあった。

本発明は、上記のような課題を解決するためになされたもので、操作性の改善、開発効率の改善、メモリ消費量の改善を図ることのできるグラフィカルユーザインタフェース装置を提供することを目的としたものである。

本発明に係るグラフィカルユーザインタフェース装置は、画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部とを有し、表示・操作部品として、表示ユニットに表示されている表示・操作部品の画像により構成される表示・操作画面または予め指定されている領域内の表示・操作画面の縦横方向のスクロールを指示するためのスクロール表示・操作部品を有し、スクロール表示・操作部品は、各種データとして表示ユニットに表示される機能シンボルの画像およびスクロール方向を表現する方向指示アニメーションの画像および機能シンボルの画像が振動しているように見せるための表現をする振動アニメーションの画像の画像表示データと、画像表示データを表示するための表示座標位置データとを有し、さらに、各種の演算を実現する手段として表示・操作部品特定部による表示・操作部品の特定情報と指示および操作された機能シンボルの画像に対する操作情報とに基づいて、表示・操作部品特定部により特定されたものについての処理すべき操作モードを判定する操作処理判定手段と、方向指示アニメーション又は振動アニメーションの画像の画像表示データを連続して読み出す画像データ連続読出指示手段と、画像表示データの座標位置を演算する座標位置演算手段と、画像表示データにおいて表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を表示ユニットに表示させるとともに、画像データ連続読出指示手段により読み出された方向指示アニメーションの画像の画像表示データおよび座標位置演算手段による座標位置情報に基づいて方向指示アニメーションの画像を表示ユニットに表示させ、また、画像データ連続読出指示手段により読み出された振動アニメーションの画像の画像表示データに基づいて振動アニメーションの画像を表示ユニットに表示させる表示・操作部品画像発生手段と、画像表示部分設定手段を駆動させて指定された部分の画像を連続して表示させ画像を流動させて表示させて見せるための処理を行う流動アニメーション処理手段と、流動アニメーション処理手段を駆動させて表示・操作画面または領域内の表示・操作画面を指定の方向にスクロールさせるスクロール処理手段と、操作処理判定手段により処理すべき操作モードが方向指示アニメーション付きスクロール処理であると判断された時、画像データ連続読出指示手段、座標位置演算手段およびスクロール処理手段を駆動させて、表示ユニットに方向指示アニメーションの画像を表示させるとともに、表示・操作画面または領域内の表示・操作画面をスクロールさせる方向指示アニメーション付きスクロール処理手段と、操作処理判定手段により処理すべき操作モードが振動アニメーションを付加する処理であると判断された時、画像データ連続読出指示手段を駆動させて、表示・操作部品に係る機能シンボルの画像に対して振動アニメーションの画像を連続して付加させ、振動表示させて見せる処理を行う振動アニメーション処理手段とを有するグラフィカルユーザインタフェース装置。

本発明に係るグラフィカルユーザインタフェース装置において、前記各表示・操作部品は、前記各種データとして前記表示ユニットに表示される機能シンボルの画像の画像表示データと、該画像表示データを表示するための表示座標位置データとを有し、さらに、前記各種の演算を実現する手段として前記表示・操作部品特定部による表示・操作部品の特定情報と指示および操作された機能シンボルの画像に対する操作情報とに基づいて、前記表示・操作部品特定部により特定されたものについての処理すべき操作モードを判定する操作処理判定手段と、前記画像表示データにおいて前記表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、該画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を前記表示ユニットに表示させる表示・操作部品画像発生手段と、前記操作処理判定手段により処理すべき操作モードが画像の流動であると判断された時、前記画像表示部分設定手段を駆動させて、当該表示・操作部品に係る指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段とを有するものである。

また、本発明に係るグラフィカルユーザインタフェース装置は、前記表示・操作部品として、画像の流動を指示するための流動表示・操作部品を有し、当該流動表示・操作部品は、前記各種データとして前記表示ユニットに表示される機能シンボルの画像の画像表示データと、該画像表示データを表示するための表示座標位置データとを有し、さらに、前記各種の演算を実現する手段として前記表示・操作部品特定部による表示・操作部品の特定情報と指示および操作された機能シンボルの画像に対する操作情報とに基づいて、前記表示・操作部品特定部により特定されたものについての処理すべき操作モードを判定する操作処理判定手段と、前記画像表示データにおいて前記表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、該画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を前記表示ユニットに表示させる表示・操作部品画像発生手段と、前記操作処理判定手段により処理すべき操作モードが画像の流動であると判断された時、前記画像表示部分設定手段を駆動させて、予め画像流動の対象として指定されている表示・操作部品の指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段とを有するものである。

本発明に係るグラフィカルユーザインタフェース装置は、各表示・操作部品と、表示ユニットと、タッチスクリーンと、表示・操作部品特定部とを有し、表示・操作部品として、表示ユニットに表示されている表示・操作部品の画像により構成される表示・操作画面または予め指定されている領域内の表示・操作画面の縦横方向のスクロールを指示するためのスクロール表示・操作部品を有し、このスクロール表示・操作部品は、各種データとして機能シンボルの画像およびスクロール方向を表現する方向指示アニメーションの画像の画像表示データと、表示座標位置データとを有し、手段として操作処理判定手段と、方向指示アニメーションの画像の画像表示データを連続して読み出す画像データ連続読出指示手段と、画像表示データの座標位置を演算する座標位置演算手段と、画像表示データにおいて表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を表示ユニットに表示させるとともに、画像データ連続読出指示手段により読み出された方向指示アニメーションの画像の画像表示データおよび座標位置演算手段による座標位置情報に基づいて方向指示アニメーションの画像を表示ユニットに表示させる表示・操作部品画像発生手段と、画像表示部分設定手段を駆動させて指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段と、流動アニメーション処理手段を駆動させて表示・操作画面または領域内の表示・操作画面を指定の方向にスクロールさせるスクロール処理手段と、操作処理判定手段により処理すべき操作モードが方向指示アニメーション付きスクロール処理であると判断された時、画像データ連続読出指示手段、座標位置演算手段およびスクロール処理手段を駆動させて、表示ユニットに方向指示アニメーションの画像を表示させるとともに、表示・操作画面または領域内の表示・操作画面をスクロールさせる方向指示アニメーション付きスクロール処理手段とを有するものであるので、スクロールの方向を容易に理解することができるとともに、意図した方向へのスクロールが行いやすくなり、操作性の向上を図ることができる。

本発明に係るグラフィカルユーザインタフェース装置において、各表示・操作部品は、各種データとして機能シンボルの画像および機能シンボルの画像の振動を表現する振動アニメーションの画像の画像表示データと、表示座標位置データとを有し、手段として操作処理判定手段と、振動アニメーションの画像の画像表示データを連続して読み出す画像データ連続読出指示手段と、画像データ連続読出指示手段により読み出された振動アニメーションの画像の画像表示データに基づいて振動アニメーションの画像を表示ユニットに表示させる表示・操作部品画像発生手段と、操作処理判定手段により処理すべき操作モードが振動アニメーションを付加する処理であると判断された時、画像データ連続読出指示手段を駆動させて、この表示・操作部品に係る画像に対して振動アニメーションの画像を付加させる振動アニメーション処理手段とを有するものであるので、指示および操作された表示・操作部品の画像の外周に振動アニメーション画像を表示させて振動したように見えるアニメーションを表示させることができる。これにより、平面かつ触感の応答のないタッチスクリーン上の操作の実感の不足を補うことができるとともに、振動アニメーション画像が表示されることによって操作を行ったことを容易に確認することができ、操作の分かり易さなど操作性の向上を図ることができる。

本発明に係るグラフィカルユーザインタフェース装置は、表示・操作部品として、画像の流動を指示するための流動表示・操作部品を有し、この流動表示・操作部品は、各種データとして機能シンボルの画像の画像表示データと、表示座標位置データとを有し、手段として操作処理判定手段と、画像表示部分設定手段と、表示・操作部品画像発生手段と、操作処理判定手段により処理すべき操作モードが画像の流動であると判断された時、画像表示部分設定手段を駆動させて、この表示・操作部品に係る指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段とを有し、または操作処理判定手段により処理すべき操作モードが画像の流動であると判断された時、画像表示部分設定手段を駆動させて、予め画像流動の対象として指定されている表示・操作部品の指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段とを有するものであるので、指示および操作された表示・操作部品の画像を連続的に移動している表示をさせることができる。これにより、指示および操作した表示・操作部品の画像が順次移動していることを容易に確認することができ、操作の実感の不足を補うとともに、操作の分かり易さなど操作性の向上を図ることができる。

実施形態１．
図１および図２は本発明の第１〜第９の実施形態の構成を示すブロック図である。
本発明の第１〜第９の実施形態に係る表示・操作部品は、画像表示データおよび表示座標位置データを含む各種データと、各種の演算を実現するプログラム（ソフトウェア）およびその各プログラム（ソフトウェア）を実行するための演算制御部とを有している。なお、図１および図２における各処理部４、１１、１４、１４ａ、１５、１５ａ、１６、１７、１７ａ、１８、１９、２０、２１、２３、２３ａ、２４、２５、２５ａ、２６、２６ａ、２７、２７ａ、２８、２９はそれぞれプログラム（ソフトウェア）とそれを実行する演算制御部によって実現されている。

第１の実施形態は、表示・操作画面における操作時において、表示・操作画面内のある表示・操作部品２００の機能シンボルの画像が指示および操作されて、指示および操作された表示・操作部品２００の操作処理判定部２１により処理すべき操作モードが縮小または拡大の画像サイズ一括変換であると判断された時、予め画像サイズ一括変換の対象として指定されている表示・操作部品１００または予め指定されている領域内に表示されている機能シンボルの画像を有する表示・操作部品１００に対して、表示・操作部品２００の画像サイズ演算部１５ａおよび座標位置演算部１４ａにより各表示・操作部品１００の画像表示データの画像サイズを変換させる演算処理および表示座標位置データの座標位置を変更させる演算処理を行わせ、画像サイズ変換および座標位置変更後の画像表示データおよび表示座標位置データに基づいた機能シンボルの画像を表示・操作部品２００の表示・操作部品画像発生部４を介して表示ユニット１に表示させるものである。

図３（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の画像表示データに基づいた機能シンボルの画像３１，３２のうち、予め対象として指定されている表示・操作部品の機能シンボルの画像３１または予め指定されている領域Ｂ内に表示されている機能シンボルの画像を有する表示・操作部品の機能シンボルの画像３１（表示ユニット１の内側に表示されている表示・操作部品の機能シンボルの画像）を縮小または拡大する場合、まず、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３２（表示ユニット１の外側に表示されている表示・操作部品の機能シンボルの画像）の１つである画像サイズを変更させる機能を有する例えば画像サイズ縮小／拡大ボタンの表示・操作部品の「縮小／拡大」の画像３２をユーザが指示および操作し、画像サイズ一括変換モードとする。

この時、座標位置検出部を有するタッチスクリーン２によって指示および操作された画像サイズ縮小／拡大ボタンの表示・操作部品の画像３２の座標が検出され、表示・操作部品特定部２０に検出座標情報および例えば１回押すまたは２回押すなどの操作情報が出力される。そして、表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３２の画像表示データが画像サイズ縮小／拡大ボタンの表示・操作部品の画像表示データであることを特定し、図２に示すように、画像サイズ縮小／拡大ボタンの表示・操作部品２００の操作処理判定部２１は、表示・操作部品特定部２０による特定情報および操作情報に基づいて、画像サイズ一括変換処理部２３ａに予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の機能シンボルの画像３１に対して画像サイズの一括変換を行わせる指示を出力する。

ついで、画像サイズ一括変換処理部２３ａは、画像サイズ演算部１５ａおよび座標位置演算部１４ａに予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の機能シンボルの画像３１に対する画像サイズ変更および座標位置変更の演算処理を行わせるための指示を出力し、画像サイズ演算部１５ａおよび座標位置演算部１４ａは、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている表示・操作部品１００の画像表示データの画像サイズを変換する演算処理および表示座標位置データの座標位置を変更する演算処理を行う。演算された画像サイズ情報および座標位置情報は表示・操作部品画像発生部４に供給され、表示・操作部品画像発生部４は演算された画像サイズ情報および座標位置情報に基づいて画像３１ａまたは画像３１ｂを発生させて、画像メモリ３に書き込む。

そして、表示ユニット１では、図３（ｂ）または図３（ｃ）に示すように、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内に表示されている機能シンボルの画像を有する表示・操作部品１００の縮小または拡大された画像３１ａ，３１ｂが表示される。なお、縮小または拡大された各表示・操作部品１００の有する画像表示データ記憶部７および表示座標位置データ記憶部６には画像サイズ縮小／拡大ボタンの表示・操作部品２００の有する画像サイズ演算部１５ａおよび座標位置演算部１４ａにより演算された画像サイズ情報および座標位置情報が記憶される。

ここで、画像サイズ縮小／拡大ボタンにより縮小が指示された場合は、画像サイズの縮小および座標位置の変更の演算処理が行われ、図３（ｂ）に示すように、予め指定された表示・操作部品１００または予め指定された箇所を支点に、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像３１が縮小されて表示される。そして、座標位置においては、図３（ａ）に示すボタン配置と相似形になり、元のイメージが保存されるように演算処理が行われる。また、画像サイズ縮小／拡大ボタンにより拡大が指示された場合は、画像サイズの拡大および座標位置の変更の演算処理が行われ、図３（ｃ）に示すように、予め指定された表示・操作部品１００または予め指定された箇所を支点に、予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像３１が拡大されて表示される。そして、座標位置においては、縮小の場合と同様に図３（ａ）に示すボタン配置と相似形になる。

このように、表示ユニット１に表示されている表示・操作部品１００，２００の画像表示データに基づいた機能シンボルの画像３１，３２の１つである、画像サイズ縮小／拡大ボタンの表示・操作部品２００の画像３２をユーザが指示および操作すると、処理すべき操作モードが縮小または拡大の画像サイズ一括変換であると判断され、画像サイズ縮小／拡大ボタンの表示・操作部品２００の画像サイズ演算部１５ａおよび座標位置演算部１４ａ等によって予め対象として指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の画像表示データの画像サイズおよび表示座標位置データの座標位置を演算し、その演算結果に基づいて表示・操作部品画像発生部４を介して縮小または拡大された画像３１が表示ユニット１に表示されるので、表示・操作画面Ａ上の予め指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００の機能シンボルの画像３１の表示を一括して縮小または拡大させることができ、縮小された表示・操作画面Ａ（図３（ｂ））または拡大された表示・操作画面Ａ（図３（ｃ））を簡単に表示することができる。これにより、縮小された表示・操作画面Ａでは配置された表示・操作部品１００の全体像をみることができ、拡大された表示・操作画面Ａでは配置された表示・操作部品１００の一部の拡大図を容易にみることができるので、操作器の表示・操作画面Ａに対する操作性の向上を図ることができる。

なお、上述の実施形態では表示・操作部品の１つとして画像サイズ縮小／拡大ボタンである表示・操作部品２００を設けた場合を例示して説明したが、画像サイズの縮小または画像サイズの拡大のいずれか一方の機能を有するものとしてもよく、予め指定されている表示・操作部品１００または予め指定されている領域Ｂ内の表示・操作部品１００に画像サイズの縮小および拡大の機能、またはいずれか一方の機能を有するようにしてもよい。この場合、図１に示すように、各表示・操作部品１００の有する画像サイズ一括変更処理部２３、画像サイズ演算部１５および座標位置演算部１４によって各表示・操作部品１００自身の演算が実行される。

また、縮小または拡大の操作情報として１回押すまたは２回押すなどとした場合を示したが、例えば押す毎に縮小、拡大、通常、縮小、拡大、通常、…というように縮小あるいは拡大する機能の割当の規則を適当に定めて、それに応じた演算処理を行うようにしてもよく、縮小／拡大の倍率においては数段階または１段階としてもよい。

実施形態２．
図４は本発明の第２の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第２の実施形態は、表示・操作画面における操作時において、表示・操作画面内の操作可能な表示・操作部品の機能シンボルの画像が指示および操作されて指示および操作された表示・操作部品の操作処理判定部２１により処理すべき操作モードが振動アニメーション処理であると判断された時、画像データ連続読出指示部１６により指示および操作された表示・操作部品の機能シンボルの画像に対して例えばボタンが震える様子を表す振動アニメーション画像である画像表示データを連続して複数読み出させる処理を行わせ、読み出された画像表示データに基づいた振動アニメーション画像を指示および操作された表示・操作部品の機能シンボルの画像に対し表示・操作部品画像発生部４を介して表示ユニット１に次々に表示させるものである。

図４（ａ）に示すようなある機器の操作器における表示・操作画面Ｃにおいて、表示ユニット１に表示されている機能シンボルの画像３３，３４を有する表示・操作部品のうち、操作可能な表示・操作部品の機能シンボルの画像３３の１つである例えば「決定ボタン」の画像３３をユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３３の画像表示データが決定ボタンの表示・操作部品の画像３３であることを特定し、図１に示すように、特定された表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて振動アニメーション処理部２４に振動アニメーションを行わせる指示を出力する。

ついで、振動アニメーション処理部２４は画像データ連続読出指示部１６に機能シンボルの画像に対する振動アニメーション画像である画像表示データを連続して複数読み出させるための指示を出力し、画像データ連続読出指示部１６は振動アニメーション画像の画像表示データを画像表示データ記憶部７から次々と読み出す。読み出された振動アニメーション画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。そして、表示ユニット１では、図４（ｂ）に示すように、決定ボタンの画像３３の外周に振動アニメーション画像３５が表示される。

このように、表示ユニット１に表示されている操作可能な表示・操作部品の機能シンボルの画像３３の１つをユーザが指示および操作すると、処理すべき操作モードが振動アニメーション処理であると判断され、画像データ連続読出指示部１６等によって振動アニメーション画像の画像表示データを次々と読み出し、表示・操作部品画像発生部４を介して画像３３の外周に振動アニメーション画像３５を表示させて振動したように見えるアニメーションを表示させることができる。これにより、操作・操作画面Ｃにおける操作の際、平面かつ触感の応答のないタッチスクリーン上の操作の実感の不足を補うことができるとともに、振動アニメーション画像３５が表示されることによって操作を行ったことを容易に確認することができ、操作の分かり易さなど操作性の向上を図ることができる。

実施形態３．
図５は本発明の第３の実施形態に係る表示・操作部品の機能シンボルの画像の表示部分設定の作用説明図である。
第３の実施形態は、表示・操作画面における操作時において、例えば数値などの帯状の機能シンボルの画像を有する表示・操作部品１００の一部分の画像が予め決められた領域に表示されてその画像が指示および操作され、指示および操作された表示・操作部品１００の操作処理判定部２１により処理すべき操作モードが流動アニメーション処理であると判断された時、画像表示部分設定部１７により指示および操作された表示・操作部品１００の機能シンボルの画像の表示される表示位置を連続的に移動させる処理を行わせ、処理結果による表示位置に基づいた表示・操作部品１００の機能シンボルの画像を表示・操作部品画像発生部４を介して表示ユニット１に順次表示されるものである。

ある機器の操作器における表示・操作画面のおいて、図５（ａ）に示すように、表示・操作画面の予め決められた領域Ｄに機能シンボルの一部の画像３６ａが表示されている帯状の機能シンボルの画像３６を有する表示・操作部品１００の領域Ｄ内の画像３６ａをユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３６ａの画像表示データが数値の表示・操作部品１００の画像３６の一部であることを特定し、図１に示すように、特定された表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて流動アニメーション処理部２５に流動アニメーションを行わせる指示を出力する。

ついで、流動アニメーション処理部２５は画像表示部分設定部１７に指示および操作された表示・操作部品１００の機能シンボルの画像３６のうちの領域Ｄ内に表示される画像３６ａの表示位置を連続的に移動させるための指示を出力し、画像表示部分設定部１７は表示・操作部品１００の機能シンボルの画像３６の領域Ｄ内に表示される画像３６ａを次々と設定する。設定された画像３６ａの画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれ、表示ユニット１では、図５（ａ）〜（ｄ）に示すように、領域Ｄ内において表示・操作部品１００の数値の画像３６が連続的に移動している流動アニメーションの画像３６ａが表示される。

このように、表示ユニット１に表示されている帯状の画像３６を有する表示・操作部品１００の領域Ｄ内に表示されている画像３６ａをユーザが指示および操作すると、処理すべき操作モードが流動アニメーション処理であると判断され、画像表示部分設定部１７等によって領域Ｄ内に表示される画像３６ａを次々と設定し、表示・操作部品画像発生部４を介して指示および操作された表示・操作部品１００の領域Ｄ内に表示される画像３６ａを連続的に移動させて数値が順次変化しているアニメーションを表示させることができる。これにより、例えば数値の設定を行う表示・操作画面の操作時において、数値の増減の方向を容易に理解することができ、操作性の向上を図ることができる。

なお、上述の実施形態では領域Ｄ内に表示された画像３６ａを有し、この画像３６ａが指示および操作された表示・操作部品１００の画像表示部分設定部１７等によって領域Ｄ内に表示される画像３６ａを連続的に移動させる場合を示したが、図３（ａ）に示すように、矢印キーの画像３２を有する表示・操作部品（図２の表示・操作部品２０１）の流動アニメーション処理部２５ａおよび画像表示部分設定部１７ａ等により、領域Ｄ内に表示されている画像３６ａを有する表示・操作部品（図１の表示・操作部品１００）に対して流動アニメーション処理を行うようにしてもよい。この場合、領域Ｄ内に表示されている画像３６ａを有する表示・操作部品１００の流動アニメーション処理部２５および画像表示部分設定部１７は実行されない。

実施形態４．
図６は本発明の第４の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第４の実施形態は、表示・操作画面における操作時において、表示・操作画面内のある表示・操作部品の機能シンボルの画像が指示および操作されて、指示および操作された表示・操作部品の操作処理判定部２１により処理すべき操作モードが足跡付きスクロール処理であると判断された時、予め指定されている領域内に表示されているまたは表示される機能シンボルの画像を有する表示・操作部品１００に対して、スクロール処理部２７ａおよび流動アニメーション処理部２５ａ等により領域内に表示される表示位置を連続的に移動させる処理を行わせ、処理結果による表示位置に基づいた領域内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像を表示・操作部品画像発生部４を介して表示ユニット１に順次表示させると同時に、画像データ連続読出指示部１６により領域内にスクロールの方向を示す例えば足跡などの方向指示アニメーション画像である画像表示データを連続して複数読み出させる処理を行わせ、また座標位置演算部１４ａにより読み出された画像表示データの表示すべき座標位置を演算する演算処理を行わせ、演算後の表示座標位置データに基づいた方向指示アニメーション画像を表示・操作部品画像発生部４を介して表示ユニット１の領域内に次々に表示させるものである。

図６（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３１，３２うち、予め指定されている領域Ｂ内に表示されているまたは表示される機能シンボルの画像３１を縦方向にスクロールする場合、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３２の１つであるスクロール機能を有する例えばスクロールの表示・操作部品の「矢印キー」の画像３２をユーザが指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３２の画像表示データがスクロールの表示・操作部品の画像３２であることを特定し、図２に示すように、スクロールの表示・操作部品２０１の操作処理判定部２１は特定情報および操作情報に基づいて足跡付きスクロール処理部２６ａに足跡付きスクロールを行わせる指示を出力する。

ついで、足跡付きスクロール処理部２６ａはスクロール処理部２７ａおよび画像データ連続読出指示部１６に予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像３１に対するスクロールの指示および足跡などの方向指示アニメーション画像を表示させるための指示を出力し、スクロール処理部２７ａは予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の機能シンボルの画像３１に対する表示位置を連続的に移動させるための指示を出力し、画像表示部分設定部１７ａは各表示・操作部品１００の機能シンボルの画像３１の領域Ｂ内に表示される画像を次々と設定して、設定された画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。そして、表示ユニット１では、図６（ａ）〜（ｃ）に示すように、領域Ｂ内に表示される表示・操作部品１００の縦方向にスクロールされた機能シンボルの画像３１が表示される。

また、画像データ連続読出指示部１６は方向指示アニメーション画像の画像表示データを画像表示データ記憶部７から次々と読み出し、読み出された方向指示アニメーション画像の画像表示データは次々と表示・操作部品画像発生部４を介して画像メモリ３に書き込まれる。同時に座標位置演算部１４ａは読み出された方向指示アニメーション画像の画像表示データの表示すべき座標位置を次々と演算し、演算された座標位置情報は表示・操作部品画像発生部４を介して画像メモリ３に順次書き込まれる。そして、表示ユニット１の領域Ｂ内では、図６（ｂ）に示すように、足跡などの方向指示アニメーション画像３７が表示・操作部品１００の画像３１のスクロール表示とともに表示される。

このように、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像３１，３２の１つである、スクロールの表示・操作部品２０１の画像３２をユーザが指示および操作すると、処理すべき操作モードが足跡付きスクロール処理であると判断され、スクロールの表示・操作部品２０１の足跡付きスクロール処理部２６ａ等によって予め指定されている領域Ｂ内に表示されているまたは表示される表示・操作部品１００の画像３１がスクロール表示され、同時に足跡などの方向指示アニメーション画像３７が表示されるので、スクロールの方向を容易に理解することができるとともに、意図した方向へのスクロールが行いやすくなり、操作性の向上を図ることができる。

実施形態５．
図７は本発明の第５の実施形態に係る表示・操作画面およびその作用説明図と、操作手順データ記憶部に記憶される操作手順データの模式図である。
第５の実施形態は、図１に示すように、各表示・操作部品１００，２００…の表示および操作手順を管理する手順管理部品３００を表示・操作部品１００，２００…とは別に独立して設けたものであり、手順管理部品３００は、操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて各表示・操作部品１００，２００…の表示・操作部品画像発生部４に指示を出し、各表示・操作部品１００，２００…の機能シンボルの画像を画像メモリ３を介して表示ユニット１に表示させて表示・操作画面を構成させる操作手順管理部１１と、操作手順データ記憶部１２と、操作手順データの初期データが記憶される操作手順既定値記憶部１３と、後述する操作手順変更処理部１９とから構成されている。

図７に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品の機能シンボルの画像の１つである画像３８ｂを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ｂの画像表示データが例えば「２Ｆ照明」の表示・操作部品１００の画像３８ｂであることを特定し、「２Ｆ照明」の表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、図１に示すように、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。

ついで、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は操作手順変更処理部１９を介して操作手順データ記憶部１２に送られ、操作手順管理部１１はその履歴情報および操作手順データ記憶部１２に記憶されている操作手順データ１２ａに基づいて、図７に示すように、次の表示・操作画面、例えば表示・操作画面Ｆを構成する表示・操作部品の機能シンボルの画像３９ａ，３９ｂ…をその画像３９ａ，３９ｂ…を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。そして、表示・操作画面Ｆを構成している画像３９ａ，３９ｂ…の１つを指示および操作すると、上述したように指示および操作された画像の表示・操作部品が特定され、特定情報および操作情報に基づく履歴情報と操作手順データ１２ａとに基づいて手順管理部品３００の操作手順管理部１１により次の表示・操作画面Ｉを構成する表示・操作部品の機能シンボルの画像４０ａ，４０ｂ…が表示ユニット１に表示される。なお、最初の表示・操作画面Ａも手順管理部品３００により表示されている。

このように、表示・操作画面Ａ等を構成している表示・操作部品１００，２００…に対する次のステップへの操作手順データ１２ａが表示・操作部品１００，２００…とは別に独立した手順管理部品３００によって管理されているので、操作手順の改訂を行う場合、表示・操作部品１００，２００…のプログラム（ソフトウェア）を変更させることなく操作手順データ記憶部１２に記憶される操作手順データ１２ａのみを変更するだけで容易に操作手順の改訂を行うことができ、開発における作業量の膨大化を避けることができて、開発効率の改善を図ることができる。

実施形態６．
図８は本発明の第６の実施形態に係る操作手順データ記憶部に記憶される操作手順データの模式図および表示・操作画面の作用説明図である。
第６の実施形態は、図１に示すように、各表示・操作部品１００，２００…の操作処理判定部２１から逐次送られる特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて、第５の実施形態の手順管理部品３００に設けられた操作手順変更処理部１９が操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データ１２ａに対する重み値（ｐｒｉｏｒｉｔｙ）を変化させ、この重み値に基づいて、手順管理部品３００の操作手順管理部１１が各表示・操作部品１００，２００…の操作手順データの優先度付けを行い、この優先度の高い操作手順データを有する表示・操作部品１００，２００…に対して、その表示・操作部品の画像の画像表示データおよび表示座標位置データを変更させて画像の大きさを拡大させる、表示位置を移動させるまたは目立つ色に色付けする、あるいは表示・操作部品の操作手順データを変更させてその表示・操作部品が予め選択された状態にするまたは操作手順データの一部を省略するなどの変更処理を行わせ、変更後の各種データ、各表示・操作部品１００，２００…の操作手順データ１２ａおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて各表示・操作部品１００，２００…の表示・操作部品画像発生部４に指示を出し、各表示・操作部品１００，２００…の機能シンボルの画像を画像メモリ３を介して表示ユニット１に表示させて表示・操作画面を構成させるものである。

図８（ｂ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品１００，２００…の機能シンボルの画像の１つである画像３８ｂを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ａの画像表示データが例えば「１Ｆ照明」の表示・操作部品１００の画像３８ａであることを特定し、「１Ｆ照明」の表示・操作部品１００の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、図１に示すように、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。

特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は操作手順変更処理部１９に送られ、操作手順変更処理部１９は履歴情報に基づいて、図８（ａ）に示すように、操作手順データ記憶部１２に記憶されている操作手順データ１２ａの表示・操作画面Ａにおける表示・操作部品１００の画像３８ａに対応した操作手順データの重み値を変化させる。ついで、操作手順管理部１１は履歴情報および操作手順データ記憶部１２に記憶されている操作手順データ１２ａに基づいて、次の表示・操作画面、例えば表示・操作画面Ｆ（図８（ｃ））を構成する表示・操作部品の機能シンボルの画像３９ａ，３９ｂ…をその画像３９ａ，３９ｂ…を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。そして、表示・操作画面Ｆを構成している画像３９ａ，３９ｂ…の１つを指示および操作すると、上述したように指示および操作された画像の表示・操作部品が特定され、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて操作手順変更処理部１９により操作手順データ１２ａの指示および操作された表示・操作部品の画像に対応した操作手順データの重み値が変化され、履歴情報および操作手順データ１２ａに基づいて操作手順管理部１１により次の表示・操作画面を構成する表示・操作部品の機能シンボルの画像が表示ユニット１に表示される。

この時、操作手順管理部１１は操作手順変更処理部１９によって変化された重み値に基づいて各表示・操作部品の操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品、例えば画像３９ａを有する表示・操作部品に対して、その画像３９ａの画像表示データおよび表示座標位置データを変更させて画像３９ａの大きさを拡大させて色付けするとともに、操作手順データを変更させて画像３９ａが予め選択された状態に表示させるための変更処理を行い、その変更後の画像表示データ、表示座標位置データおよび操作手順データは画像３９ａを有する表示・操作部品の表示・操作部品画像発生部４に送られる。そして、表示ユニット１には、図８（ｃ）に示すように、拡大および色付けされかつ選択された状態の画像３９ａが表示される。

このように、手順管理部品３００に設けられた操作手順変更処理部１９によって操作手順データ記憶部１２に記憶される各表示・操作部品１００，２００…の操作手順データ１２ａに対する重み値を変化させ、この重み値に基づいて操作手順管理部１１が各操作手順データの優先度付けを行い、優先度の高い操作手順データを有する表示・操作部品１００，２００…に対して、その表示・操作部品１００，２００…の画像の大きさを拡大するなど画像表示データ等の変更、または操作手順を変える操作手順データの変更処理を行うので、ユーザの意図に近く操作しやすい表示・操作画面を得ることができ、操作性の高いグラフィカルユーザインタフェースを得ることができる。

なお、上述の実施形態では重み値に基づいて付けられた優先度の高い操作手順データを有する表示・操作部品に対して、その表示・操作部品の画像の拡大、色付けおよび画像が選択された状態の表示を行う場合を示したが、いずれか１つを行わせてもよく、画像の表示位置を操作しやすい位置に変更して表示させたり、画像の選択の余地を無くして優先度の高い操作手順が自動的に実行されるように操作手順データを変更させるようにしてもよい。

実施形態７．
図９は本発明の第７の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第７の実施形態は、図１に示すように、各表示・操作部品１００，２００…の各レベルのヘルプ情報を含む各種ヘルプデータを管理し、表示ユニット１に表示された機能シンボルの画像によって構成される表示・操作画面に対応したヘルプ情報を表示ユニット１に表示させるヘルプ部品４００を表示・操作部品１００，２００…および手順管理部品３００とは別に独立して設けたものであり、ヘルプ部品４００は、手順管理部品３００の操作手順管理手段１１からの操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて、各表示・操作画面に対応してヘルプデータ記憶部９に記憶されるヘルプデータの各レベルのヘルプ情報を画像メモリ３を介して表示ユニット１に表示させるヘルプ部品発生部２９と、ヘルプデータ記憶部９と、ヘルプデータの初期データが記憶されるヘルプデータ既定値記憶部１０と、後述するヘルプデータ変更処理部１８とから構成されている。

なお、ヘルプデータの各レベルのヘルプ情報は、各表示・操作部品１００，２００…の画像に対応し表示・操作部品１００，２００…の意味および機能を説明する第１レベルのヘルプ情報、各表示・操作画面またはその画面を構成する表示・操作部品１００の画像に対応しそれらの操作手順を説明する第２レベルのヘルプ情報、および操作手順履歴情報記憶部２２からの履歴情報に基づくユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報である。

図９（ａ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている機能シンボルの画像の１つである画像４１ａを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像４１ａの画像表示データが例えば「ヘルプ（？）」のヘルプ部品４００の画像４１ａであることを特定し、特定情報および操作情報をヘルプ部品４００のヘルプ部品画像発生部２９および操作手順履歴情報記憶部２２に出力する。

ついで、特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は、図１に示すように、手順管理部品３００に送られるとともにヘルプデータ変更処理部１８を介してヘルプデータ記憶部９に送られ、ヘルプ部品画像発生部２９は他の表示・操作部品の履歴情報を含む全履歴情報、ヘルプデータ記憶部９に記憶されているヘルプデータ、手順管理部品３００の操作手順データ、および表示・操作部品特定部２０からの特定情報、操作情報に基づいて、図９（ａ）に示すように、指定された画像例えば「１Ｆ照明」の画像３８ａを有する表示・操作部品に対応した第１レベルのヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では「１Ｆ照明」の画像３８ａの表示・操作部品の意味および機能を説明する第１レベルのヘルプ情報が表示される。

次に、「１Ｆ照明」の画像３８ａが指示および操作されて、図９（ｂ）に示すように、次の表示・操作画面Ｅが表示ユニット１に表示されている時、機能シンボルの画像の１つである画像４１ｂを指示および操作すると、上述したように指定された画像例えば「スケジュール設定」の画像３９ａを有する表示・操作部品に対応したヘルプ情報がヘルプ部品画像発生部２９によって画像メモリ３に書き込まれ、表示ユニット１に「スケジュール設定」の操作手順を説明する第２レベルのヘルプ情報が表示される。そして、ヘルプ情報に基づいてスケジュール設定を行い、次の表示・操作画面においてヘルプ部品４００の画像を指示および操作すると、操作手順履歴情報記憶部２２からの履歴情報がヘルプ部品画像発生部２９に送られて、履歴情報に基づくユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報がヘルプ部品画像発生部２９よって画像メモリ３に書き込まれ、表示ユニット１には、図９（ｃ）に示すように、ユーザが操作した内容を確認させるための統括情報である第３レベルのヘルプ情報４２が表示される。

このように、ヘルプデータを各レベルのヘルプ情報とし、各表示・操作画面における各表示・操作部品に対応したヘルプ情報などを、ヘルプ部品４００の画像４１ａ，４１ｂを操作することによって容易に表示させることができるので、ユーザが意図する操作を行うために必要なヘルプ情報のみを得ることができ、表示・操作部品の画像の操作などをより分かりやすく簡単にすることができるとともに、操作した内容についても容易に確認することができ、操作性の向上を図ることができる。また、ヘルプデータは表示・操作部品１００，２００…とは別に設けられたヘルプ部品４００に格納されているので、ヘルプデータの改訂を表示・操作部品１００，２００…のプログラム（ソフトウェア）を変更させることなく容易に行うことができるともに、各表示・操作部品１００，２００…に必要以上のヘルプデータが格納されることも防ぐことができるので、メモリの無駄な消費を招くおそれもない。

実施形態８．
図１０は本発明の第８の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。
第８の実施形態は、図１に示すように、各表示・操作部品１００，２００…の操作処理判定部２１から逐次送られる特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報に基づいて、第７の実施形態のヘルプ部品４００に設けられたヘルプデータ変更処理部１８がヘルプデータ記憶部１１に記憶されるヘルプデータを変更させ、ヘルプ部品画像発生部２９が手順管理部品３００の操作手順管理手段１１からの操作手順データおよび操作手順履歴情報記憶部２２からの履歴情報に基づいて、この変更ヘルプデータおよびヘルプデータ記憶部９に記憶されるヘルプデータの各レベルのヘルプ情報を各表示・操作画面に対応して表示ユニット１に表示させるものである。

図１０（ｂ）に示すようなある機器の操作器における表示・操作画面Ａにおいて、表示ユニット１に表示されている表示・操作部品１００，２００…の機能シンボルの画像の１つである画像３８ａを指示および操作すると、実施形態１と同様に表示・操作部品特定部２０はタッチスクリーン２からの検出座標情報に基づいて指示および操作された画像３８ａの画像表示データが例えば「１Ｆ照明」の表示・操作部品の画像３８ａであることを特定し、「１Ｆ照明」の表示・操作部品の操作処理判定部２１は特定情報および操作情報に基づいて次の処理部に処理すべき操作モードを行わせる指示を出力するとともに、操作手順履歴情報記憶部２２に特定情報および操作情報を出力する。

特定情報および操作情報に基づく操作手順履歴情報記憶部２２の履歴情報は手順管理部品３００の操作手順変更処理部１９を介して操作手順データ記憶部１２に送られ、操作手順管理部１１はその履歴情報および操作手順データに基づいて、次の表示・操作画面を構成する表示・操作部品の機能シンボルの画像をその画像を有する表示・操作部品の表示・操作部品画像発生部４と画像メモリ３とを介して表示ユニット１に表示させる。

ここで、操作手順履歴情報記憶部２２からの履歴情報においてユーザの操作の誤り、例えば次の表示・操作画面に移ったもののまた元の表示・操作画面に戻って再度操作が行われるなどの操作の誤りを示す複数の履歴情報がヘルプデータ変更処理部１８に送られると、ヘルプデータ変更処理部１８は例えば誤りを起こす箇所に対応した操作ガイドなどの追加ヘルプデータをヘルプデータ記憶部９に送って記憶させ、ヘルプデータを変更させる。ついで、ヘルプ部品画像発生部２９は履歴情報および操作手順データに基づいて、変更ヘルプデータ、例えば第２レベルのヘルプ情報である操作ガイドのヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では、図１０（ａ）に示すように、誤りを起こしやすい表示・操作画面Ａに操作ガイドのヘルプ情報４３が表示される。

この時、表示ユニット１に表示されている画像のうち、次に指示および操作される表示・操作部品の画像、例えば画像３８ａをその表示・操作部品１００に設けられた操作可能／不可能設定部２８により画像３８ａを操作可能状態にさせ、他の画像をその表示・操作部品の操作可能／不可能設定部２８により操作不可能状態にさせて、強制的に操作手順に沿った操作を行わせるようにする。

また、操作ガイドのヘルプ情報４３が表示されている表示・操作画面Ａにおいて、操作の誤りを示す履歴情報がヘルプデータ変更処理部１８にほとんど送られなくなると、ヘルプデータ変更処理部１８は誤りを起こす箇所に対応した操作ガイドなどのヘルプデータを省略するヘルプデータ変更処理を行い、ヘルプ部品画像発生部２９は履歴情報および操作手順データに基づいて、変更ヘルプデータ、つまり操作ガイドのヘルプ情報４３が省略されたヘルプ情報を画像メモリ３に書き込む。そして、表示ユニット１では、図１０（ｂ）に示すように、操作ガイドのヘルプ情報４３が省略された通常のものが表示される。

なお、操作の誤りの確率の変動などから、操作ガイドのヘルプ情報４３を例えば色付けして目立たせるようにしたり、操作ガイドの内容を変化させてもよく、操作の誤りが減少傾向の場合は操作ガイドを簡略化し、増加傾向の場合は詳細な操作ガイドを表示したり、強制的な操作ガイドに変更しても良い。

このように、操作手順履歴情報記憶部２２からの履歴情報に基づいて、ヘルプデータ変更処理部１８によってヘルプ情報を簡略化または詳細化させるなどのヘルプデータの変更を容易に行うことができるので、各表示・操作画面において操作をより円滑に行うことができ、操作性の向上を図ることができる。

実施形態９．
第９の実施形態は、表示・操作部品１００，２００…、手順管理部品３００およびヘルプ部品４００の有する各種の処理を実現するプログラム（ソフトウェア）およびそのプログラム（ソフトウェア）を実行する演算制御部によって実現される図１および図２における各処理部４，１１，１４，１４ａ，１５，１５ａ，１６…を、互いに独立させかつ択一的に構成し、各表示・操作部品等に対して適宜組み合わせ可能としたものである。

通常、オブジェクト指向で組み込まれる表示・操作部品１００等においては、画像表示データおよび表示座標位置データ等のデータ部分とそのデータに対する処理を行う画像サイズ演算部および座標位置演算部などの処理部とが一体化されており、これら一体化されて組み込まれた処理部を表示・操作部品等から着脱することはない。しかしながら、これらの処理部の中には例えばデバッグ用のデータ表示のための処理部、表示・操作部品１００の画面上での座標位置を出力する処理部、あるいは表示・操作部品や表示・操作画面の開発時には必要であるが、実機上では不要となる処理部、またはその表示・操作部品を搭載する機器の種類により不要となる処理部などがある。

そこで、各処理部を互いに独立させかつ択一的に構成し、各表示・操作部品等に対して適宜組み合わせ可能とすると、実機上では不要となる処理部を搭載時においては取り外すことができる。

例えばある機器の操作器に搭載される表示・操作部品１００おいて、画像サイズ一括変換処理および振動アニメーション処理は必要であるが、流動アニメーション処理および足跡付きスクロール処理は不要である場合、図１に示した操作処理判定部２１、画像サイズ一括変換処理部２３、座標位置演算部１４、画像サイズ演算部１５、振動アニメーション処理部２４、画像データ連続読出指示部１６および表示・操作部品画像発生部４が表示・操作部品１００には組み込まれ、流動アニメーション処理部２５、画像表示部分設定部１７、足跡付きスクロール処理部２６およびスクロール処理部２７が表示・操作部品１００には組み込まれない。

このように、互いに独立させかつ択一的に構成した各処理部を各表示・操作部品１００等に対して適宜組み合わせ可能とすることにより、不必要な処理部によるメモリの無駄な消費を防ぐことができ、メモリ消費量の改善を図ることができる。また、処理部の組み込みを容易に行うことができるので、メモリの消費等を気にすることなく開発時にのみ必要となる処理部を充実させることができ、開発効率の改善を図ることができる。

本発明の第１〜第９の実施形態の構成を示すブロック図である。 本発明の第１〜第９の実施形態の構成を示すブロック図である。 本発明の第１の実施形態に係る表示ユニットの表示された表示・操作画面の作用説明図である。 本発明の第２の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。 本発明の第３の実施形態に係る表示・操作部品の機能シンボルの画像の表示部分設定の作用説明図である。 本発明の第４の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。 本発明の第５の実施形態に係る表示ユニットに表示された表示・操作画面およびその作用説明図と、操作手順データ記憶部に記憶される操作手順データの模式図である。 本発明の第６の実施形態に係る操作手順データ記憶部に記憶される操作手順データの模式図および表示ユニットに表示された表示・操作画面の作用説明図である。 本発明の第７の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。 本発明の第８の実施形態に係る表示ユニットに表示された表示・操作画面の作用説明図である。

符号の説明

１ 表示ユニット、２ タッチスクリーン、４ 表示・操作部品画像発生部、１１ 操作手順管理部、１４，１４ａ 座標位置演算部、１５，１５ａ 画像サイズ演算部、１６ 画像データ連続読出指示部、１７，１７ａ 画像表示部分設定部、１８ ヘルプデータ変更処理部、１９ 操作手順変更処理部、２０ 表示・操作部品特定部、２１ 操作処理判定部、２２ 操作手順履歴情報記憶部、２３，２３ａ 画像サイズ一括変換処理部、２４ 振動アニメーション処理部、２５，２５ａ 流動アニメーション処理部、２６，２６ａ 足跡付きスクロール処理部、２７，２７ａ スクロール処理部、２８ 操作可能／不可能設定部、２９ ヘルプ部品画像発生部、３１，３２，３３，３４，３６，３６ａ，３８ａ，３８ｂ，３９ａ，３９ｂ，４０ａ，４０ｂ，４１ａ，４１ｂ 機能シンボルの画像、３５ 振動アニメーション画像、３７ 方向指示アニメーション画像、４２，４３ ヘルプ情報、１００，２００，２０１ 表示・操作部品、３００ 手順管理部品、４００ ヘルプ部品。

Claims (3)

1. 画像表示データを含む各種データおよび各種の演算を実現する手段を有する各表示・操作部品と、該表示・操作部品の画像表示データに基づいた機能シンボルの画像が表示される表示ユニットと、該表示ユニットの表面に配置され、指示および操作された機能シンボルの画像の画像表示データの位置の座標を検出するタッチスクリーンと、該タッチスクリーンの出力信号に基づいて指示および操作された画像の画像表示データを有する表示・操作部品を特定する表示・操作部品特定部とを有し、
   前記表示・操作部品として、前記表示ユニットに表示されている表示・操作部品の画像により構成される表示・操作画面または予め指定されている領域内の表示・操作画面の縦横方向のスクロールを指示するためのスクロール表示・操作部品を有し、当該スクロール表示・操作部品は、前記各種データとして前記表示ユニットに表示される機能シンボルの画像およびスクロール方向を表現する方向指示アニメーションの画像および機能シンボルの画像が振動しているように見せるための表現をする振動アニメーションの画像の画像表示データと、該画像表示データを表示するための表示座標位置データとを有し、さらに、前記各種の演算を実現する手段として前記表示・操作部品特定部による表示・操作部品の特定情報と指示および操作された機能シンボルの画像に対する操作情報とに基づいて、前記表示・操作部品特定部により特定されたものについての処理すべき操作モードを判定する操作処理判定手段と、前記方向指示アニメーション又は前記振動アニメーションの画像の画像表示データを連続して読み出す画像データ連続読出指示手段と、前記画像表示データの座標位置を演算する座標位置演算手段と、前記画像表示データにおいて前記表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、該画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を前記表示ユニットに表示させるとともに、前記画像データ連続読出指示手段により読み出された方向指示アニメーションの画像の画像表示データおよび前記座標位置演算手段による座標位置情報に基づいて方向指示アニメーションの画像を前記表示ユニットに表示させ、また、前記画像データ連続読出指示手段により読み出された振動アニメーションの画像の画像表示データに基づいて振動アニメーションの画像を前記表示ユニットに表示させる表示・操作部品画像発生手段と、前記画像表示部分設定手段を駆動させて指定された部分の画像を連続して表示させ画像を流動させて表示させて見せるための処理を行う流動アニメーション処理手段と、該流動アニメーション処理手段を駆動させて前記表示・操作画面または領域内の表示・操作画面を指定の方向にスクロールさせるスクロール処理手段と、前記操作処理判定手段により処理すべき操作モードが方向指示アニメーション付きスクロール処理であると判断された時、前記画像データ連続読出指示手段、座標位置演算手段およびスクロール処理手段を駆動させて、前記表示ユニットに方向指示アニメーションの画像を表示させるとともに、前記表示・操作画面または領域内の表示・操作画面をスクロールさせる方向指示アニメーション付きスクロール処理手段と、前記操作処理判定手段により処理すべき操作モードが振動アニメーションを付加する処理であると判断された時、前記画像データ連続読出指示手段を駆動させて、当該表示・操作部品に係る機能シンボルの画像に対して振動アニメーションの画像を連続して付加させ、振動表示させて見せる処理を行う振動アニメーション処理手段とを有するグラフィカルユーザインタフェース装置。
2. 前記各表示・操作部品は、前記各種データとして前記表示ユニットに表示される機能シンボルの画像の画像表示データと、該画像表示データを表示するための表示座標位置データとを有し、さらに、前記各種の演算を実現する手段として前記表示・操作部品特定部による表示・操作部品の特定情報と指示および操作された機能シンボルの画像に対する操作情報とに基づいて、前記表示・操作部品特定部により特定されたものについての処理すべき操作モードを判定する操作処理判定手段と、前記画像表示データにおいて前記表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、該画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を前記表示ユニットに表示させる表示・操作部品画像発生手段と、前記操作処理判定手段により処理すべき操作モードが画像の流動であると判断された時、前記画像表示部分設定手段を駆動させて、当該表示・操作部品に係る指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段とを有することを特徴とする請求項１記載のグラフィカルユーザインタフェース装置。
3. 前記表示・操作部品として、画像の流動を指示するための流動表示・操作部品を有し、当該流動表示・操作部品は、前記各種データとして前記表示ユニットに表示される機能シンボルの画像の画像表示データと、該画像表示データを表示するための表示座標位置データとを有し、さらに、前記各種の演算を実現する手段として前記表示・操作部品特定部による表示・操作部品の特定情報と指示および操作された機能シンボルの画像に対する操作情報とに基づいて、前記表示・操作部品特定部により特定されたものについての処理すべき操作モードを判定する操作処理判定手段と、前記画像表示データにおいて前記表示ユニットに表示される部分を指示して設定する画像表示部分設定手段と、該画像表示部分設定手段による設定情報に基づいて機能シンボルの指定された部分の画像を前記表示ユニットに表示させる表示・操作部品画像発生手段と、前記操作処理判定手段により処理すべき操作モードが画像の流動であると判断された時、前記画像表示部分設定手段を駆動させて、予め画像流動の対象として指定されている表示・操作部品の指定された部分の画像を連続して表示させ画像を流動させる流動アニメーション処理手段とを有することを特徴とする請求項１または２記載のグラフィカルユーザインタフェース装置。

Images