JP6255966B2 - 操作用画面表示システム、サーバ、クライアント、操作用画面表示方法、およびコンピュータプログラム - Google Patents

Description

本発明は、アプリケーションを起動する技術に関する。

近年、コピー、スキャン、ファックス、ドキュメント管理など様々な機能が備わった画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi Function Peripherals）」と呼ばれることもある。

さらに、画像形成装置にウェブブラウザが備えられるようになった。ウェブブラウザでウェブサーバへアクセスし、ウェブアプリケーションをウェブサーバに実行させることによって、様々なサービスを受けることができるようになった（特許文献１）。

また、「ＩＷＳ（Internal Web Server）」というウェブサーバを画像形成装置に設ける技術が、提案されている（非特許文献１）。これにより、画像形成装置の拡張性を従来よりも容易に向上させることができる。

そのほか、ディスプレイに表示されている画像をキャプチャし、この画像（キャプチャ画像）を使用する技術が、開示されている（特許文献２、３）。

特開２０１１−２９２３号公報 特開２００２−２５９００５号公報 特開２０１２−６３８７９号公報 「新しい働き方をデザインしたい」，コニカミノルタ株式会社ウェブサイト，http://www.konicaminolta.jp/tech_info/02/，２０１３年１１月１２日検索

ウェブアプリケーションは、上述の通り、ウェブブラウザを介して起動させることができる。よって、ウェブページの技術（例えば、ＨＴＭＬ（Hypertext Markup Language）またはＪａｖａＳｃｒｉｐｔ（登録商標）など）によって様々な画面を表示することができる。

しかし、状況に応じて内容が決まるウェブページの場合は、このウェブページを表示するためのデータ（スクリプト等）を生成しこのウェブページを表示するのに時間が掛かることがある。すると、その間、ユーザは、操作を行うことができない。

本発明は、このような問題点に鑑み、操作用の画面としてウェブページを表示する場合においてユーザが操作することのできない時間を従来よりも短縮することを、目的とする。

本発明の一形態に係る操作用画面表示システムは、表示装置と、操作用の画面を表示するためのスクリプトを生成するスクリプト生成手段と、前記スクリプトに基づいて前記表示装置に表示された前記画面をキャプチャすることによってキャプチャ画像を取得するキャプチャ手段と、取得された前記キャプチャ画像を保存する保存手段と、前記画面を前記表示装置に表示させるに際して、前記スクリプトが新たに前記スクリプト生成手段によって生成されるまで、前記保存手段に保存されている前記キャプチャ画像を表示させ、当該スクリプトが生成されたら、当該キャプチャ画像に代えて、当該スクリプトに基づいて当該画面を表示させる、表示制御手段と、前記キャプチャ画像が前記表示装置に表示されている間に当該キャプチャ画像に対して行われた操作の内容を検知する操作内容検知手段と、前記操作内容検知手段によって検知された前記内容に応じた処理を実行する応対処理手段と、を有する。

好ましくは、前記操作内容検知手段は、前記内容として、前記キャプチャ画像の中のユーザによって選択された位置を検知する。

または、前記スクリプト生成手段および前記応対処理手段は、ウェブサーバのシステムによって実現され、前記表示制御手段および前記操作内容検知手段は、ウェブブラウザによって実現される。

前記ウェブサーバのシステムおよび前記ウェブブラウザはそれぞれ異なるコンピュータに設けられている。

前記ウェブサーバのシステムおよび前記ウェブブラウザは同じ画像形成装置に設けられている。

前記画面は、複数のアプリケーションそれぞれを選択するためのメニュー画面であり、前記応対処理手段は、前記処理として、前記複数のアプリケーションのうちの選択されたアプリケーションを起動する処理を実行する。

前記応対処理手段は、前記キャプチャ画像の内容と新たな前記スクリプトに基づいて表示される前記画面の内容とが一致する場合に前記処理を実行し、一致しない場合は前記処理を実行しない。

前記キャプチャ画像に対して操作が行われた場合に、当該キャプチャ画像が当該操作の対象であることをユーザに対して知らせる、通知手段、を有する。

本発明によると、操作用の画面としてウェブページを表示する場合においてユーザが操作することのできない時間を従来よりも短縮することができる。

アプリケーションシステムの全体的な構成の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 画像形成装置のプラットフォームの例を示す図である。 メニュー画面の例を示す図である。 インストーラによって実現される機能的構成の例を示す図である。 アプリケーション情報テーブルの例を示す図である。 インストーラによって実現される機能的構成の例を示す図である。 アプリケーションマネージャの構成の例を示す図である。 メニューマネージャの構成の例を示す図である。 メッセージ画面の例を示す図である。 キャプチャ画像の例を示す図である。 アプリケーションマネージャによる全体的な処理の流れの例を説明するフローチャートである。 メニューマネージャによる全体的な処理の流れの例を説明するフローチャートである。 ブラウザアプリケーションによる全体的な処理の流れの例を説明するフローチャートである。 設定画面の例を示す図である。 アプリケーションシステムのプラットフォームの変形例を示す図である。 アプリケーションシステムのプラットフォームの変形例を示す図である。

図１は、アプリケーションシステム１００の全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、画像形成装置１のプラットフォームの例を示す図である。図４は、メニュー画面５０の例を示す図である。

図１に示すように、アプリケーションシステム１００は、画像形成装置１、サーバ装置２１、２２、および通信回線４などによって構成される。

画像形成装置１とサーバ装置２１、２２とは、通信回線４を介して通信を行うことができる。通信回線４として、いわゆるＬＡＮ（Local Area Network）回線、インターネット、公衆回線、または専用線などが用いられる。

画像形成装置１は、コピー、ＰＣプリント、ファックス、スキャナ、およびボックスなどの機能を集約した装置である。一般に、「複合機」または「ＭＦＰ（Multi Function Peripherals）」などと呼ばれることがある。

ＰＣプリント機能は、パーソナルコンピュータまたはスマートフォンなどの端末装置から受信した画像データに基づいて画像を用紙に印刷する機能である。「ネットワークプリンティング」または「ネットワークプリント」などと呼ばれることもある。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、操作キーパネル１０ｆ、ＮＩＣ（Network Interface Card）１０ｇ、モデム１０ｈ、スキャンユニット１０ｉ、プリントユニット１０ｊ、およびスピーカ１０ｋなどによって構成される。

タッチパネルディスプレイ１０ｅは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｅは、タッチされた位置を示す信号をＣＰＵ１０ａへ送る。

操作キーパネル１０ｆは、いわゆるハードウェアキーボードであって、テンキー、スタートキー、ストップキー、およびファンクションキーなどによって構成される。

ＮＩＣ１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで他の装置との通信を行う。

モデム１０ｈは、ファクシミリ端末との間でＧ３などのプロトコルで画像データをやり取りする。

スキャンユニット１０ｉは、プラテンガラスの上にセットされたシートに記されている画像を読み取って画像データを生成する。

プリントユニット１０ｊは、スキャンユニット１０ｉによって読み取られた画像のほか、ＮＩＣ１０ｇまたはモデム１０ｈによって他の装置から受信した画像を用紙に印刷する。

ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、画像形成装置１の全体的な管理または基本的な処理を行ったりユーザインタフェースを提供したりするソフトウェアとして、図３に示すオペレーティングシステム（ＯＳ）１０１およびＭＦＰシステム１０２が記憶されている。さらに、オペレーティングシステム１０１またはＭＦＰシステム１０２の機能をアプリケーションに提供するために、ネイティブアプリケーショプラットフォーム１０３が用意されている。

さらに、大容量記憶装置１０ｄには、コピーアプリケーション４０１、スキャンアプリケーション４０２、およびボックスアプリケーション４０３のほか、ブラウザアプリケーション４０４、およびメニューアプリケーション４０５などが記憶されている。コピーアプリケーション４０１ないしメニューアプリケーション４０５は、ネイティブアプリケーショプラットフォーム１０３を介して動作する。

また、大容量記憶装置１０ｄには、ＩＷＳ（Internal Web Server）用のソフトウェアであるウェブサーバシステム１０５が記憶されている。さらに、掲示板アプリケーション４７１および翻訳アプリケーション４７２のほか、ウェブメニューアプリケーション４７３などが記憶されている。掲示板アプリケーション４７１ないしウェブメニューアプリケーション４７３は、ウェブサーバシステム１０５を介して動作する。

このように、アプリケーションには、ネイティブアプリケーショプラットフォーム１０３を介して動作するものもあれば、ウェブサーバシステム１０５を介して動作するものもある。以下、両アプリケーションを区別するために、前者を「ネイティブアプリケーション４０」と記載し、後者を「ウェブアプリケーション４７」と記載する。

コピーアプリケーション４０１、スキャンアプリケーション４０２、およびボックスアプリケーション４０３は、それぞれ、上述のコピー、スキャン、およびボックスの各機能を実現するためのアプリケーションである。ブラウザアプリケーション４０４は、ウェブブラウザである。メニューアプリケーション４０５は、選択肢としてネイティブアプリケーション４０を含むメニュー画面を表示し、ユーザが選択したネイティブアプリケーション４０を起動するアプリケーションである。ウェブアプリケーション４７は選択肢に含まれない。そのほか、ファックスおよびＰＣプリントなどの機能を実現するためのアプリケーションがネイティブアプリケーション４０として大容量記憶装置１０ｄに記憶されている。

掲示板アプリケーション４７１は、電子掲示板のアプリケーションである。翻訳アプリケーション４７２は、ある言語のテキストを他の言語のテキストに翻訳するアプリケーションである。ウェブメニューアプリケーション４７３は、図４のような、選択肢としてウェブアプリケーション４７を含むメニュー画面５０を表示し、ユーザが選択したウェブアプリケーション４７を起動するアプリケーションである。さらに、ウェブメニューアプリケーション４７３によると、選択肢としてネイティブアプリケーション４０をメニュー画面５０に含め、ネイティブアプリケーション４０をユーザが選択した場合にこれを起動することができる。この仕組みについては、後述する。

これらのソフトウェアを構成するモジュールまたはプログラムファイルは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。大容量記憶装置１０ｄとして、ハードディスクドライブまたはＳＳＤ（Solid State Drive）などが用いられる。

オペレーティングシステム１０１、ＭＦＰシステム１０２、およびネイティブアプリケーショプラットフォーム１０３は、一般的な画像形成装置の従来のプラットフォームの要素の一部である。一方、ウェブサーバシステム１０５は、ウェブアプリケーションを実行するために拡張した要素である。

図１に戻って、サーバ装置２１は、ＯｐｅｎＡＰＩ（Application Program Interface）によって画像形成装置１へサービスを提供する。通信プロトコルとしてＳＯＡＰ（Simple Object Access Protocol）が用いられる。サーバ装置２２は、ＷｅｂＡＰＩによって画像形成装置１へサービスを提供する。

次に、画像形成装置１に新たにネイティブアプリケーション４０Ｘおよびウェブアプリケーション４７Ｘをインストールし起動する場合を例に、メニュー画面５０を表示する仕組みおよびメニュー画面５０から各アプリケーションを起動する仕組みを説明する。

〔データの準備〕
図５は、インストーラ３５によって実現される機能的構成の例を示す図である。図６は、アプリケーション情報テーブル６Ｔの例を示す図である。図７は、インストーラ３６によって実現される機能的構成の例を示す図である。

ネイティブアプリケーション情報格納領域１４１（図５および図７参照）が、ネイティブアプリケーション４０用のハードウェアリソース（特に、大容量記憶装置１０ｄの一部分）に予め設けられている。

さらに、ウェブアプリケーション情報格納領域１４２が、ウェブアプリケーション４７用のハードウェアリソース（特に、大容量記憶装置１０ｄの一部分）に予め設けられている。

ネイティブアプリケーション情報格納領域１４１およびウェブアプリケーション情報格納領域１４２ともに、従来の画像形成装置１において設けられるものと同様の役割を有する。

すなわち、ネイティブアプリケーション情報格納領域１４１には、ネイティブアプリケーション４０に関する情報を示す種々のデータが記憶される。具体的には、ネイティブアプリケーション４０のアイコンの画像ファイル６１Ａ、アプリケーション名を示すテキストファイル６１Ｂ、１つまたは複数のプログラムファイル６１Ｃ、および起動方法（最初に実行すべきプログラムを起動するためのコードおよび必要なパラメータなど）を示す起動属性データ６１Ｄなどが、互いに対応付けられて記憶される。

ウェブアプリケーション情報格納領域１４２には、ウェブアプリケーション４７に関するデータを示す種々のデータが記憶される。具体的には、ウェブアプリケーション４７のアイコンの画像ファイル６２Ａ、アプリケーション名およびトップページのＵＲＬ（Uniform Resource Locator）などを示すテキストファイル６２Ｂ、ウェブページのウェブページファイル６２Ｃ、および演算用のプログラムファイル６２Ｄなどが、互いに対応付けられて記憶される。

ウェブページファイル６２Ｃは、マークアップ言語（例えば、ＨＴＭＬ（Hypertext Markup Language）またはＸＭＬ（Extensible Markup Language））またはスクリプト言語（例えば、ＰｙｔｈｏｎまたはＪａｖａＳｃｒｉｐｔ）によって記述される。プログラムファイル６２Ｄは、ＣＧＩ（Common Gateway Interface）、例えば、ＰｙｔｈｏｎのＷＳＧＩ（Web Server Gateway Interface）によって記述される。１つのウェブアプリケーション４７にウェブページファイル６２Ｃまたはプログラムファイル６２Ｄが複数用意されていることもある。また、ウェブページファイル６２Ｃが予め用意されておらず、ウェブブラウザからアクセスがあるごとに新たに生成することも、ある。

さらに、本実施形態においては、ネイティブアプリケーション情報格納領域１４１には、ウェブアプリケーション４７に関する情報を示す幾つかのデータが記憶される。また、ウェブアプリケーション情報格納領域１４２には、ネイティブアプリケーション４０に関する情報を示す幾つかのデータが記憶される。

これらのデータは、各アプリケーションのインストーラによってネイティブアプリケーション情報格納領域１４１およびウェブアプリケーション情報格納領域１４２に格納される。以下、ネイティブアプリケーション情報格納領域１４１およびウェブアプリケーション情報格納領域１４２にこれらのデータを格納する方法の例を説明する。

ネイティブアプリケーション４０Ｘのインストーラ３５は、図５に示すように、主にデータ領域３５８およびプログラム領域３５９によって構成される。

データ領域３５８には、ネイティブアプリケーション４０Ｘの画像ファイル６１Ａ、テキストファイル６１Ｂ、プログラムファイル６１Ｃ、および起動属性データ６１Ｄなどが格納されている。

プログラム領域３５９には、データ変換部３５１、ウェブサーバ用ファイル書込部３５２、ネイティブインタフェース用ファイル書込部３５３、およびネイティブインタフェース用レコード書込部３５４などの機能を実現するためのプログラムが記述されている。

データ変換部３５１は、画像ファイル６１Ａおよびテキストファイル６１Ｂを、ウェブサーバシステム１０５に対応するフォーマット（形式）のファイルに変換する。

例えば、画像ファイル６１Ａのフォーマットがビットマップフォーマットであり、ウェブサーバシステム１０５に対応するフォーマットがＧＩＦ（Graphics Interchange Format）である場合は、画像ファイル６１ＡをＧＩＦのファイルに変換する。また、テキストファイル６１Ｂの文字コードがＪＩＳ（Japanese Industrial Standards）コードであり、ウェブサーバシステム１０５に対応する文字コードがＥＵＣ（Extended Unix Code）である場合は、テキストファイル６１ＢをＥＵＣのファイルに変換する。以下、変換された画像ファイルおよびテキストファイルをそれぞれ「画像ファイル６３Ａ」および「テキストファイル６３Ｂ」と記載する。（Unixは登録商標である。）

ウェブサーバ用ファイル書込部３５２は、ウェブアプリケーション情報格納領域１４２に、ネイティブアプリケーション４０Ｘ用のディレクトリを設ける。そして、画像ファイル６３Ａおよびテキストファイル６３Ｂを、このディレクトリに書き込む。

ネイティブインタフェース用ファイル書込部３５３は、ネイティブアプリケーション情報格納領域１４１にネイティブアプリケーション４０Ｘ用のディレクトリを設ける。そして、データ領域３５８の中の画像ファイル６１Ａ、テキストファイル６１Ｂ、プログラムファイル６１Ｃを、このディレクトリに書き込む。

ところで、ネイティブアプリケーション情報格納領域１４１には、図６に示すアプリケーション情報テーブル６Ｔが予め用意されている。

ネイティブインタフェース用レコード書込部３５４は、ネイティブアプリケーション４０Ｘのためのレコード８として、識別番号、アプリケーション名、種別、配置順、起動方法、ネイティブ用アイコンファイル名、およびウェブサーバ用アイコンファイル名を示すレコードをアプリケーション情報テーブル６Ｔに書き込む。これらの情報の意味は、後述する。

ウェブアプリケーション４７Ｘのインストーラ３６は、図７に示すように、主にデータ領域３６８およびプログラム領域３６９によって構成される。

データ領域３６８には、ウェブアプリケーション４７Ｘの画像ファイル６２Ａ、テキストファイル６２Ｂ、ウェブページファイル６２Ｃ、およびプログラムファイル６２Ｄなどが格納されている。

プログラム領域３６９には、データ変換部３６１、ウェブサーバ用ファイル書込部３６２、ネイティブインタフェース用ファイル書込部３６３、およびネイティブインタフェース用レコード書込部３６４などの機能を実現するためのプログラムが格納されている。

データ変換部３６１は、画像ファイル６２Ａおよびテキストファイル６２Ｂを、ネイティブアプリケーショプラットフォーム１０３に対応するフォーマットのファイルに変換する。変換の方法は、データ変換部３５１（図５参照）による変換の方法と同様である。以下、変換によって得られた画像ファイル６２Ａおよびテキストファイル６２Ｂをそれぞれ「画像ファイル６４Ａ」および「テキストファイル６４Ｂ」と記載する。

ウェブサーバ用ファイル書込部３６２は、ウェブアプリケーション情報格納領域１４２に、ウェブアプリケーション４７Ｘ用のディレクトリを設ける。そして、データ領域３６８の中の画像ファイル６２Ａ、テキストファイル６２Ｂ、ウェブページファイル６２Ｃ、およびプログラムファイル６２Ｄを、このディレクトリに書き込む。

ネイティブインタフェース用ファイル書込部３６３は、ネイティブアプリケーション情報格納領域１４１にウェブアプリケーション４７Ｘ用のディレクトリを設ける。そして、データ変換部３６１によって得られた画像ファイル６４Ａおよびテキストファイル６４Ｂをこのディレクトリに書き込む。

ネイティブインタフェース用レコード書込部３６４は、ウェブアプリケーション４７Ｘのためのレコード８を生成しアプリケーション情報テーブル６Ｔ（図６参照）に書き込む。

ここで、アプリケーション情報テーブル６Ｔに格納される各レコードの情報の意味について説明する。「識別番号」は、アプリケーションを識別するためのＩＤ（identification）である。

「アプリケーション名」は、アプリケーションの名称である。ネイティブアプリケーション４０の場合は、テキストファイル６１Ｂに示されるアプリケーション名が用いられる。ウェブアプリケーション４７の場合は、テキストファイル６２Ｂに示されるアプリケーション名が用いられる。

「種別」は、アプリケーションの種類である。ネイティブアプリケーション４０の場合は「Ｎａｔｉｖｅ」が示され、ウェブアプリケーション４７の場合は「Ｗｅｂ」が示される。

「配置順」は、メニュー画面５０（図４参照）における、アプリケーションのボタンの配置順である。デフォルトでは画像形成装置１にインストールされた順に配置順が決まるが、ユーザが任意に変更することができる。

「起動方法」は、アプリケーションを起動する方法である。ネイティブアプリケーション４０の場合は、起動属性データ６１Ｄに示される起動方法が用いられる。ウェブアプリケーション４７の場合は、起動時に実行するプログラムファイルとしてブラウザアプリケーション４０４のメインプログラムを起動するためのコード（コマンドまたはリンク）を示し、スタートページのパラメータとしてトップページのＵＲＬを示す情報が、用いられる。なお、このＵＲＬは、テキストファイル６２Ｂに示されている。

「ネイティブ用アイコンファイル名」は、メニューアプリケーション４０５が表示するメニュー画面に用いられるアイコンのファイル名である。ネイティブアプリケーション４０の場合は画像ファイル６１Ａのファイル名が示され、ウェブアプリケーション４７の場合は画像ファイル６３Ａのファイル名が示される。

「ウェブサーバ用アイコンファイル名」は、ウェブメニューアプリケーション４７３が表示するメニュー画面５０に用いられるアイコンのファイル名である。ネイティブアプリケーション４０の場合は画像ファイル６４Ａのファイル名が示され、ウェブアプリケーション４７の場合は画像ファイル６２Ａのファイル名が示される。

なお、画像ファイル６１Ａ、６３Ａは、ネイティブアプリケーション情報格納領域１４１に格納されたものであり、画像ファイル６２Ａ、６３Ａは、ウェブアプリケーション情報格納領域１４２に格納されたものである。ファイル名が重複することがあるので、ネイティブ用アイコンファイル名として、ファイル名だけでなく格納先のディレクトリ名をも示すようにしてもよい。ウェブ用アイコンファイル名も、同様である。

アプリケーション（ネイティブアプリケーション４０またはウェブアプリケーション４７）がアンインストールされた場合は、このアプリケーションのレコード８をアプリケーション情報テーブル６Ｔから削除するのが望ましい。この際に、残りのレコード８に示される配置順を適宜、繰り上げるのが望ましい。

〔メニュー画面５０の表示およびアプリケーションの起動〕
図８は、アプリケーションマネージャ１３０の構成の例を示す図である。図９は、メニューマネージャ１５０の構成の例を示す図である。図１０は、メッセージ画面５１の例を示す図である。図１１は、キャプチャ画像５２の例を示す図である。

図３に示すように、ネイティブアプリケーショプラットフォーム１０３には、アプリケーションマネージャ１３０が備わっている。ウェブサーバシステム１０５には、メニューマネージャ１５０が備わっている。

アプリケーションマネージャ１３０の基本的な役割は、従来のアプリケーションマネージャと同様であり、ネイティブアプリケーショプラットフォーム１０３に用意されている機能をネイティブアプリケーション４０へ仲介することである。アプリケーションマネージャ１３０は、さらに、メニュー画面５０を表示するために必要なデータをメニューマネージャ１５０へ仲介する。また、メニューマネージャ１５０からの要求に基づいてアプリケーションを起動させる。

メニューマネージャ１５０は、オペレーティングシステム１０１に拡張されたプログラムであって、メニュー画面５０を表示するための処理およびメニュー画面５０からアプリケーションを起動するための処理をサポートする。

このように、アプリケーションマネージャ１３０およびメニューマネージャ１５０は、メニュー画面５０の表示のサポートおよびメニュー画面５０からのアプリケーションの起動のサポートを連携して行う。

アプリケーションマネージャ１３０は、メニューマネージャ１５０と連携するための機能として、図８に示すメニュー用データ付与部１３１、ネイティブアプリケーション起動部１３２、およびウェブアプリケーション起動部１３３を備える。

メニューマネージャ１５０は、アプリケーションマネージャ１３０と連携するための機能として、図９に示すメニュー用データ要求部１５１、素材ファイル取得部１５２、メニュースクリプト生成部１５３、キャプチャ画像生成部１５４、キャプチャ画像提供部１５５、起動アプリケーション判別部１５６、ネイティブアプリケーション起動要求部１５７、ウェブアプリケーション起動要求部１５８、起動情報記憶部１５Ｋ、および画面用データ記憶部１５Ｌを備える。

なお、アプリケーションマネージャ１３０の各部とメニューマネージャ１５０の各部とは、ＭＦＰシステム１０２（図３参照）を介してデータのやり取りを行う。

以下、アプリケーションマネージャ１３０およびメニューマネージャ１５０の各部の処理を、メニュー画面５０の表示のための処理、ネイティブアプリケーション４０の起動のための処理、およびウェブアプリケーション４７の起動のための処理に大別して説明する。

ウェブメニューアプリケーション４７３が起動すると、ウェブメニューアプリケーション４７３がウェブページファイル６２Ｃをメニューマネージャ１５０に対して要求する。

すると、メニューマネージャ１５０において、メニュー用データ要求部１５１は、アプリケーション情報テーブル６Ｔ（図６参照）をアプリケーションマネージャ１３０に対して要求する。なお、後述する通り、キャプチャ画像提供部１５５による処理が並行して行われることがある。

アプリケーションマネージャ１３０において、メニュー用データ付与部１３１は、ネイティブアプリケーション情報格納領域１４１からアプリケーション情報テーブル６Ｔを読み出し、メニュー用データ要求部１５１へ与える。

メニューマネージャ１５０において、素材ファイル取得部１５２は、アプリケーション情報テーブル６Ｔに示されるアプリケーションごとの画像ファイル６２Ａまたは画像ファイル６３Ａを、アプリケーション情報テーブル６Ｔに示されるウェブサーバ用アイコンファイル名に基づいてウェブアプリケーション情報格納領域１４２から取得する。具体的には、ネイティブアプリケーション４０ごとの画像ファイル６３Ａを取得し、ウェブアプリケーション４７ごとの画像ファイル６２Ａを取得する。さらに、画像ファイル６２Ａと同じディレクトリに記憶されているテキストファイル６２Ｂと、画像ファイル６３Ａと同じディレクトリに記憶されているテキストファイル６３Ｂとを取得する。

メニュースクリプト生成部１５３は、取得された画像ファイル６２Ａ、６３Ａおよびテキストファイル６２Ｂ、６３Ｂ、とアプリケーション情報テーブル６Ｔに示される配置順とに基づいて、ウェブメニューアプリケーション４７３のトップページのウェブページファイル６２Ｃとしてメニュー画面５０を表示するためのメニュースクリプト６５を生成する。図４に示すように、メニュー画面５０には、アプリケーションごとのアイコン５０１が配置されている。アイコン５０１のイラストの部分は、画像ファイル６２Ａ、６３Ａに基づいている。アイコン５０１のテキスト（アプリケーション名）の部分は、テキストファイル６２Ｂ、６３Ｂに基づいている。アイコン５０１の配置は、アプリケーション情報テーブル６Ｔに示される配置順に基づいている。

そして、メニュースクリプト生成部１５３は、メニュースクリプト６５をウェブメニューアプリケーション４７３に与える。

ウェブメニューアプリケーション４７３は、要求されたウェブページファイル６２Ｃとしてメニュースクリプト６５をブラウザアプリケーション４０４へ与える。

そして、ブラウザアプリケーション４０４は、メニュースクリプト６５に基づいてメニュー画面５０をタッチパネルディスプレイ１０ｅに表示させる。なお、アイコン５０１の個数が所定の数を超える場合は、所定の個数ずつ複数のページに分けて表示する。または、スクロールさせながら一部分ずつ表示する。

起動情報記憶部１５Ｋは、アプリケーション情報テーブル６Ｔを記憶する。アプリケーション情報テーブル６Ｔは、アプリケーションの起動の要求のために用いられる。起動情報記憶部１５Ｋを、ウェブアプリケーション情報格納領域１４２に設けてもよい。

ところで、上述の通り、メニュー画面５０にはアプリケーションごとのアイコン５０１が配置されるが、アイコン５０１の個数が多いほど、使用するファイル（画像ファイル６２Ａ、６３Ａ、テキストファイル６２Ｂ、６３Ｂ）が増えるので、メニュースクリプト６５が生成され始めてからメニュー画面５０が表示されるまでの時間が長くなる。

このような場合に、ブラウザアプリケーション４０４は、通常、図１０のような、ユーザに対して少し待つように促すメッセージを記載したメッセージ画面５１を表示させる。

一般に、メッセージ画面５１が表示されている間、ユーザはタッチパネルディスプレイ１０ｅに対する操作を行うことができない。したがって、メッセージ画面５１をなるべく表示せず次の画面を速やかに表示することが望まれる。

そこで、キャプチャ画像生成部１５４およびキャプチャ画像提供部１５５は、次の処理を行う。

キャプチャ画像生成部１５４は、メニュースクリプト生成部１５３によってメニュースクリプト６５が生成されメニュー画面５０がタッチパネルディスプレイ１０ｅに表示されると、タッチパネルディスプレイ１０ｅに表示されている画像をキャプチャすることによって、メニュー画面５０の画像データ（いわゆるキャプチャデータ、ハードコピー）を生成する。以下、メニュー画面５０をキャプチャした画面を「キャプチャ画像５２」と記載し、この画像データを「キャプチャ画像データ６６」と記載する。キャプチャ画像データ６６のフォーマットとして、例えばビットマップが用いられる。なお、キャプチャは、画像形成装置１のオペレーティングシステム１０１に備わっているキャプチャ機能を使用することによって行えばよい。キャプチャする代わりにメニュースクリプト６５に基づいてキャプチャ画像データ６６を生成してもよい。

画面用データ記憶部１５Ｌは、メニュースクリプト生成部１５３によってメニュースクリプト６５が生成され、キャプチャ画像生成部１５４によってキャプチャ画像データ６６が生成されると、これらのデータを互いに対応付けて記憶（保存）する。これらのデータは、次回、ウェブメニューアプリケーション４７３からウェブページファイル６２Ｃを要求された際に使用される。

キャプチャ画像提供部１５５は、ウェブメニューアプリケーション４７３からウェブページファイル６２Ｃを要求されると、キャプチャ画像データ６６がデータ記憶部１５Ｌに記憶されていれば、これをウェブメニューアプリケーション４７３へ提供する。この処理は、メニュースクリプト生成部１５３による処理と並行して行われる。したがって、キャプチャ画像データ６６が記憶されていれば、メニュースクリプト６５よりも先にキャプチャ画像データ６６がウェブメニューアプリケーション４７３に与えられる。

初めてウェブページファイル６２Ｃを要求された場合は、未だキャプチャ画像データ６６が記憶されていないので、キャプチャ画像データ６６をウェブメニューアプリケーション４７３へ与えることができない。２回目以降の要求の際に、キャプチャ画像データ６６が与えられる。

ウェブメニューアプリケーション４７３は、キャプチャ画像データ６６をブラウザアプリケーション４０４へ与える。

そして、ブラウザアプリケーション４０４は、キャプチャ画像データ６６に基づいて図１１のようなキャプチャ画像５２を表示させる。

なお、画面用データ記憶部１５Ｌには、最新のキャプチャ画像データ６６を記憶（保存）させておき、古いキャプチャ画像データ６６は削除するのが望ましい。

〔アプリケーションの起動のための処理〕
（１） メニュー画面５０からのネイティブアプリケーション４０の起動
ブラウザアプリケーション４０４は、初めて起動された場合は、未だキャプチャ画像データ６６がないので、メニュースクリプト６５がウェブメニューアプリケーション４７３から与えられる。

すると、ブラウザアプリケーション４０４は、上述の通り、メニュースクリプト６５に基づいてメニュー画面５０（図４参照）をタッチパネルディスプレイ１０ｅに表示させる。なお、ウェブページファイル６２Ｃを要求してからメニュー画面５０を表示させるまでに所定の長さ（例えば、１秒）以上の時間を要する場合は、メッセージ画面５１（図１０参照）を先に表示させ、その後、準備が整ったらメニュー画面５０を表示させる。

ユーザは、メニュー画面５０が表示されると、起動したいアプリケーションのアイコン５０１をタッチして選択する。

すると、ブラウザアプリケーション４０４は、アイコン５０１またはそれに対応するアプリケーションをウェブメニューアプリケーション４７３へ通知する。

アイコン５０１がネイティブアプリケーション４０のものである場合は、ネイティブアプリケーション起動要求部１５８およびネイティブアプリケーション起動部１３２によって、このネイティブアプリケーション４０の起動のための処理が行われる。以下、ネイティブアプリケーション４０Ｘのアイコン５０１が選択され、ネイティブアプリケーション４０Ｘのアプリケーション名が「Ｅ−ＦＡＸ」である場合を例に説明する。

ウェブメニューアプリケーション４７３は、アイコン５０１に対応するアプリケーションつまりネイティブアプリケーション４０Ｘを起動するようにメニューマネージャ１５０に要求する。

すると、ネイティブアプリケーション起動要求部１５８は、起動情報記憶部１５Ｋに記憶されているアプリケーション情報テーブル６Ｔの中から、ネイティブアプリケーション４０Ｘに対応するレコード８つまりレコード８０９を読み出す。そして、レコード８０９に示される起動方法をアプリケーションマネージャ１３０へ通知することによって、ネイティブアプリケーション４０Ｘの起動を要求する。この際に、起動方法を示すデータを、必要に応じて、アプリケーションマネージャ１３０が解釈することができる形式に変換して、アプリケーションマネージャ１３０へ与える。

アプリケーションマネージャ１３０において、ネイティブアプリケーション起動部１３２は、起動方法を通知されると、この起動方法の通りにネイティブアプリケーション４０Ｘを起動させる。これ以降の起動の仕組みは、従来と同様である。

すると、ネイティブアプリケーション４０Ｘが起動し、ネイティブアプリケーション４０ＸつまりＥ−ＦＡＸの画面がタッチパネルディスプレイ１０ｅに表示される。

（２） メニュー画面５０からのウェブアプリケーション４７の起動
ユーザが選択したアイコン５０１がウェブアプリケーション４７のものである場合は、ウェブアプリケーション起動要求部１５８およびウェブアプリケーション起動部１３３によって、このウェブアプリケーション４７の起動のための処理が行われる。以下、ウェブアプリケーション４７Ｘのアイコン５０１が選択され、ウェブアプリケーション４７Ｘのアプリケーション名が「ＷｅｂＭａｉｌ」である場合を例に説明する。

ウェブメニューアプリケーション４７３は、ネイティブアプリケーション４０Ｘの場合と同様、アイコン５０１に対応するアプリケーションつまりウェブアプリケーション４７Ｘを起動するようにメニューマネージャ１５０に要求する。

すると、ウェブアプリケーション起動要求部１５８は、起動情報記憶部１５Ｋに記憶されているアプリケーション情報テーブル６Ｔの中から、ウェブアプリケーション４７Ｘに対応するレコード８つまりレコード８１０を読み出す。そして、レコード８１０に示される起動方法をアプリケーションマネージャ１３０へ通知することによって、ウェブアプリケーション４７Ｘの起動を要求する。

アプリケーションマネージャ１３０において、ネイティブアプリケーション起動部１３２は、起動方法を通知されると、この起動方法の通りにウェブアプリケーション４７Ｘを起動させる。

ところで、通知された起動方法には、起動するプログラムとしてウェブアプリケーション４７Ｘが記述されておらず、ブラウザアプリケーション４０４のメインプログラムを起動するためのコードが記述されている。このようなコードが記述されている場合は、ネイティブアプリケーション起動部１３２は、次のようにウェブアプリケーション４７Ｘを起動させる。

ネイティブアプリケーション起動部１３２は、現在動作しているブラウザアプリケーション４０４を終了させる。そして、ブラウザアプリケーション４０４を再び起動させる。この際に、起動方法に記述されるＵＲＬのページをスタートページとして起動させる。本例の場合は、ウェブアプリケーション４７ＸのトップページのＵＲＬが記述されている。したがって、ブラウザアプリケーション４０４は、起動後、最初に、このＵＲＬに基づいてウェブサーバシステム１０５へアクセスしてウェブアプリケーション４７Ｘ（ＷｅｂＭａｉｌ）のトップページのデータを取得し、トップページをタッチパネルディスプレイ１０ｅに表示させる。

（３） キャプチャ画像５２からのアプリケーションの起動
ブラウザアプリケーション４０４は、過去に起動されたことがある場合は、キャプチャ画像データ６６がメニューマネージャ１５０に記憶されているので、メニュースクリプト６５よりも先にキャプチャ画像データ６６がウェブメニューアプリケーション４７３を介して与えられる。

すると、ブラウザアプリケーション４０４は、上述の通り、キャプチャ画像データ６６に基づいてキャプチャ画像５２（図１１参照）をタッチパネルディスプレイ１０ｅに表示させる。

ユーザは、キャプチャ画像５２が表示されると、起動したいアプリケーションのアイコン５０１を表わす画像をタッチして選択する。

すると、ブラウザアプリケーション４０４は、タッチされた位置を、ウェブメニューアプリケーション４７３を介してメニューマネージャ１５０へ通知する。なお、タッチされた際に、スピーカ１０ｋから操作音（例えば、ビープ音）を出力させるのが好ましい。

メニューマネージャ１５０において、起動アプリケーション判別部１５６は、メニュー画面５０の中の、キャプチャ画像５２においてタッチされた位置と同じ位置に配置されるアイコン５０１を特定する。そして、特定したアイコン５０１に対応するアプリケーションを、起動すべきアプリケーションであると判別する。

起動アプリケーション判別部１５６は、アイコン５０１を、メニュースクリプト生成部１５３によって今回生成される最新のメニュースクリプト６５に基づいて特定することができる。つまり、このメニュースクリプト６５によって、メニュー画面５０における各アイコン５０１の領域を判別する。そして、タッチされた位置が属する領域を判別することによって、アイコン５０１を特定することができる。

起動すべきアプリケーションがネイティブアプリケーション４０である場合は、このネイティブアプリケーション４０の起動のための処理がネイティブアプリケーション起動要求部１５７によって行われる。処理の方法は、（１）で説明した通りである。

一方、起動すべきアプリケーションがウェブアプリケーション４７である場合は、このウェブアプリケーション４７の起動のための処理がウェブアプリケーション起動要求部１５８によって行われる。処理の方法は、（２）で説明した通りである。

ところで、画像形成装置１にインストールされるアプリケーションは、増えたり減ったりする。したがって、メニュー画面５０におけるアイコン５０１の配置が変わることがある。また、ユーザがカスタマイズすることによって配置が変わることもある。

このような場合は、タッチされたアイコン５０１を起動アプリケーション判別部１５６が正しく特定できないことがある。

そこで、起動アプリケーション判別部１５６は、次のように処理を行ってもよい。メニュースクリプト生成部１５３によって今回生成される最新のメニュースクリプト６５と画面用データ記憶部１５Ｌに記憶されているメニュースクリプト６５とを比較する。特に、アイコン５０１の配置に関する記述同士を比較する。そして、両者が一致する場合は、上述の通りアイコン５０１を特定し起動すべきアプリケーションを判別するが、一致しない場合は、これらの特定および判別を中止する。これにより、キャプチャ画像５２に対するタッチの操作が無効になる。

図１２は、アプリケーションマネージャ１３０による全体的な処理の流れの例を説明するフローチャートである。図１３は、メニューマネージャ１５０による全体的な処理の流れの例を説明するフローチャートである。図１４は、ブラウザアプリケーション４０４による全体的な処理の流れの例を説明するフローチャートである。

次に、アプリケーションマネージャ１３０、メニューマネージャ１５０、およびブラウザアプリケーション４０４による全体的な処理の流れを、図１２〜図１４のフローチャートを参照しながら説明する。

画像形成装置１は、アプリケーションマネージャ１３０、メニューマネージャ１５０、およびブラウザアプリケーション４０４などを実行することによって、選択肢としてウェブアプリケーション４７だけでなくネイティブアプリケーション４０をメニュー画面５０に配置し、メニュー画面５０から両種のアプリケーションを起動することができる。

アプリケーションマネージャ１３０によると、図１２に示す手順で処理が行われる。メニューマネージャ１５０からアプリケーション情報テーブル６Ｔを要求された場合は（図１２の＃７１１でＹｅｓ）、アプリケーションマネージャ１３０は、ネイティブアプリケーション情報格納領域１４１からアプリケーション情報テーブル６Ｔを読み出してメニューマネージャ１５０に与える（＃７１２）。

メニューマネージャ１５０から起動方法を通知された場合は（＃７１３でＹｅｓ）、アプリケーションマネージャ１３０は、この起動方法に従って次のようにアプリケーションを起動する。

起動方法がウェブアプリケーション４７に関するものである場合は（＃７１４でＹｅｓ）、アプリケーションマネージャ１３０は、ブラウザアプリケーション４０４を終了させる（＃７１５）。そして、この通知方法に示されるＵＲＬのウェブページ（通常は、このウェブアプリケーション４７のトップページ）をスタートページとして、再度、ブラウザアプリケーション４０４を起動する（＃７１６）。

一方、起動方法がネイティブアプリケーション４０に関するものである場合は（＃７１４でＮｏ）、アプリケーションマネージャ１３０は、この起動方法に従って、このネイティブアプリケーション４０を起動する（＃７１７）。

また、メニューマネージャ１５０によると、図１３に示す手順で処理が行われる。ウェブメニューアプリケーション４７３からトップページのファイルを要求された場合は（図１３の＃７２１でＹｅｓ）、メニューマネージャ１５０は、キャプチャ画像データ６６を既に記憶していれば（＃７２２でＹｅｓ）、キャプチャ画像データ６６をウェブメニューアプリケーション４７３へ与える（＃７２３）。

キャプチャ画像データ６６の有無に関わらず、メニューマネージャ１５０は、アプリケーションマネージャ１３０にアプリケーション情報テーブル６Ｔを要求し、取得する（＃７２４）。さらに、ウェブアプリケーション情報格納領域１４２から、各ウェブアプリケーション４７の画像ファイル６２Ａおよびテキストファイル６２Ｂと、各ネイティブアプリケーション４０の画像ファイル６３Ａおよびテキストファイル６３Ｂとを、取得する（＃７２５）。取得したこれらのデータに基づいてメニュースクリプト６５を生成し、ウェブメニューアプリケーション４７３へ与える（＃７２６）。そして、このメニュースクリプト６５に基づいてメニュー画面５０がブラウザアプリケーション４０４によって表示されたら、メニュー画面５０をキャプチャすることによって新たなキャプチャ画像データ６６を生成し記憶する（＃７２７）。古くなったキャプチャ画像データ６６は削除しておく。

ウェブメニューアプリケーション４７３からアプリケーションの起動を要求された場合は（＃７２８でＹｅｓ）、メニューマネージャ１５０は、このアプリケーションの起動方法をアプリケーションマネージャ１３０へ通知することによって、このアプリケーションの起動を要求する（＃７２９）。

ウェブメニューアプリケーション４７３からタッチの位置を通知された場合は（＃７２８でＮｏ、＃７３０でＹｅｓ）、メニューマネージャ１５０は、ステップ＃７２６において今回新たに生成したメニュースクリプト６５と以前に記憶したメニュースクリプト６５とを比較するなどして、メニュー画面５０が変更されたか否かを判別する（＃７３１）。なお、新たなメニュースクリプト６５が未だ生成されていない場合は、タッチの位置を一時的に記憶しておき、このメニュースクリプト６５が生成されるのを待つ。

変更されていない場合は（＃７３２でＹｅｓ）、メニューマネージャ１５０は、タッチの位置に対応するアイコン５０１を特定し、このアイコン５０１に対応するアプリケーションを判別する（＃７３３）。そして、このアプリケーションの起動方法をアプリケーションマネージャ１３０へ通知することによって、このアプリケーションの起動を要求する（＃７３４）。変更されている場合は（＃７３２でＮｏ）、今回のタッチを無効なものであるとみなし、アプリケーションの起動の処理を行わない。

また、ブラウザアプリケーション４０４によると、図１４に示す手順で処理が行われる。ユーザによって所定の操作が行われると、ブラウザアプリケーション４０４は、ウェブメニューアプリケーション４７３に対してメニュー画面５０のデータをウェブメニューアプリケーション４７３に対して要求する（＃７４１）。すると、ウェブメニューアプリケーション４７３からメニュースクリプト６５またはキャプチャ画像データ６６のうちの少なくともいずれかが与えられる。

キャプチャ画像データ６６が先に与えられた場合は（＃７４２でＹｅｓ）、ブラウザアプリケーション４０４は、キャプチャ画像データ６６に基づいて、メニュー画面５０（図４参照）の代わりにキャプチャ画像５２（図１１参照）を表示させる（＃７４３）。キャプチャ画像５２が表示されている間にタッチパネルディスプレイ１０ｅがタッチされたら（＃７４４でＹｅｓ）、ビープ音を出力させるとともに（＃７４５）、タッチされた位置をウェブメニューアプリケーション４７３へ通知する（＃７４６）。

その後、メニュースクリプト６５が与えられたら（＃７４７でＹｅｓ）、キャプチャ画像５２に代えて、メニュースクリプト６５に基づいてメニュー画面５０を表示させる（＃７４９）。なお、１回目にタッチされた位置のみを通知し、２回目以降にタッチされた位置を通知しないようにしてもよい。または、図１４に示す通り、２回目以降も通知してもよい。

一方、キャプチャ画像データ６６が与えられることなくメニュースクリプト６５が与えられた場合は（＃７４２でＮｏ、＃７４８でＹｅｓ）、メニュースクリプト６５に基づいてメニュー画面５０を表示させる（＃７４９）。

そして、メニュー画面５０が表示された後は、ブラウザアプリケーション４０４は、従来通り、処理を行う（＃７５０）。例えば、アイコン５０１がタッチされたら、このアイコン５０１またはそれに対応するアプリケーションをウェブメニューアプリケーション４７３へ通知する。

本実施形態によると、メニュー画面５０のようなウェブページを表示する場合において、ユーザが操作することのできない時間を従来よりも短縮することができる。

図１５は、設定画面５３の例を示す図である。図１６および図１７は、アプリケーションシステム１００のプラットフォームの変形例を示す図である。

本実施形態では、メニューマネージャ１５０は、アプリケーション情報テーブル６Ｔに示される起動方法をアプリケーションマネージャ１３０へ通知したが、識別番号を通知してもよい。この場合は、アプリケーションマネージャ１３０は、通知された識別番号に対応する通知方法を、ネイティブアプリケーション情報格納領域１４１に記憶されているアプリケーション情報テーブル６Ｔから検索する。そして、検索した通知方法に基づいてアプリケーションの起動の処理を行う。

本実施形態では、キャプチャ画像データ６６をメニューマネージャ１５０が生成し記憶したが、ウェブメニューアプリケーション４７３またはブラウザアプリケーション４０４が生成し記憶してもよい。また、メニュー画面５０の変更の有無を、メニューマネージャ１５０の代わりにウェブメニューアプリケーション４７３またはブラウザアプリケーション４０４が判別してもよい。

本実施形態では、ウェブメニューアプリケーション４７３の画面（特に、メニュー画面５０）のキャプチャ画像を使用する場合を例に説明したが、他のウェブアプリケーション４７の画面（例えば、図１５のような、翻訳アプリケーション４７２の設定画面５３）についても同様に、キャプチャ画像を残しておき、設定画面５３よりも先に、そのキャプチャ画像を表示させてもよい。この場合は、ウェブアプリケーション４７ごとに、図９に示したメニューマネージャ１５０に相当する機能を用意してもよいし、キャプチャ画像を取り扱う機能をウェブアプリケーション４７それぞれに組み込んでもよい。

本実施形態では、キャプチャ画像５２が表示されている際にタッチパネルディスプレイ１０ｅがタッチされた場合にビープ音を出力したが、表示されているものがメニュー画面５０ではなくキャプチャ画像５２である旨を示すメッセージをダイアログとして表示させてもよい。または、タッチパネルディスプレイ１０ｅ全体をフラッシュさせることによって、その旨を知らせてもよい。

本実施形態では、タッチパネルディスプレイ１０ｅに表示されている画面の全体をキャプチャしたが、ウェブページが表示される領域だけをキャプチャし、他の部分（ツールバー、アドレスバーなどの領域）をキャプチャしないようにしてもよい。例えば、図１５において、領域５３２だけをキャプチャしてもよい。

本実施形態では、アイコン５０１を、それが表示されている位置をタッチすることによって選択したが、マウスによってポインタをアイコン５０１に合わせてクリックすることによって選択してもよい。

本実施形態では、図３に示したように、ウェブサーバシステム１０５としてＩＷＳのシステムを用いた。つまり、ウェブブラウザとウェブサーバとを１台の画像形成装置１に設けた。ウェブサーバを他の装置に設けた場合にも、本発明を適用することができる。以下、この場合の実施例を説明する。

本実施形態では、ウェブメニューアプリケーション４７３へユーザが初めてアクセスした際は、キャプチャ画像データ６６が未だないのでキャプチャ画像５２を表示しなかったが、画像形成装置１の出荷時などに予めキャプチャ画像データ６６を用意しておいてもよい。そして、初めてアクセスした際は、このキャプチャ画像データ６６に基づいてキャプチャ画像５２を表示すればよい。

本実施形態では、キャプチャ画像５２に対する操作音としてビープ音を出力したが、キャプチャ画像５２に対する操作であることを音声によって知らせてもよい。

サーバ装置２１、つまり、ＯｐｅｎＡＰＩのウェブサーバを用いる場合は、図１６に示すように、メニューマネージャ１５０をサーバ装置２１に設ける。なお、ウェブサーバのリソース（例えば、ウェブアプリケーション情報格納領域１４２）も、サーバ装置２１に設ける。

一方、サーバ装置２２、つまり、ＷｅｂＡＰＩのウェブサーバを用いる場合は、図１７に示すように、メニューマネージャ１５０を画像形成装置１に設ける。ウェブサーバのリソース（例えば、ウェブアプリケーション情報格納領域１４２）は、サーバ装置２２に設ける。

メニューマネージャ１５０をはじめ各部が行う処理は、基本的に、ＩＷＳの場合と同様である。ただし、サーバ装置２１、２２は、複数台の画像形成装置１と連携することがある。そこで、サーバ装置２１、２２は、画像形成装置１ごとにウェブアプリケーション情報格納領域１４２を用意し、使い分ける。また、画像形成装置１ごとに通信セッションを確立し、データのやり取りを画像形成装置１ごとに独立して行う。

その他、アプリケーションシステム１００、画像形成装置１、サーバ装置２１、２２の全体または各部の構成、処理内容、処理順序、画面の構成、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１００ アプリケーションシステム
１ 画像形成装置
１０ｅ タッチパネルディスプレイ（表示装置、操作内容検知手段）
１０ｋ スピーカ（通知手段）
１５３ メニュースクリプト生成部（スクリプト生成手段）
１５４ キャプチャ画像生成部（キャプチャ手段）
１５７ ネイティブアプリケーション起動要求部（応対処理手段）
１５８ ウェブアプリケーション起動要求部（応対処理手段）
１５Ｌ 画面用データ記憶部（保存手段）
２１ サーバ装置
２２ サーバ装置
５０ メニュー画面
５２ キャプチャ画像
６５ メニュースクリプト（スクリプト）
６６ キャプチャ画像データ
４０４ ブラウザアプリケーション（表示制御手段、操作内容検知手段）

Claims (16)

1. 表示装置と、
   操作用の画面を表示するためのスクリプトを生成するスクリプト生成手段と、
   前記スクリプトに基づいて前記表示装置に表示された前記画面をキャプチャすることによってキャプチャ画像を取得するキャプチャ手段と、
   取得された前記キャプチャ画像を保存する保存手段と、
   前記画面を前記表示装置に表示させるに際して、前記スクリプトが新たに前記スクリプト生成手段によって生成されるまで、前記保存手段に保存されている前記キャプチャ画像を表示させ、当該スクリプトが生成されたら、当該キャプチャ画像に代えて、当該スクリプトに基づいて当該画面を表示させる、表示制御手段と、
   前記キャプチャ画像が前記表示装置に表示されている間に当該キャプチャ画像に対して行われた操作の内容を検知する操作内容検知手段と、
   前記操作内容検知手段によって検知された前記内容に応じた処理を実行する応対処理手段と、
   を有することを特徴とする操作用画面表示システム。
2. 前記操作内容検知手段は、前記内容として、前記キャプチャ画像の中のユーザによって選択された位置を検知する、
   請求項１に記載の操作用画面表示システム。
3. 前記スクリプト生成手段および前記応対処理手段は、ウェブサーバのシステムによって実現され、
   前記表示制御手段および前記操作内容検知手段は、ウェブブラウザによって実現される、
   請求項１または請求項２に記載の操作用画面表示システム。
4. 前記ウェブサーバのシステムおよび前記ウェブブラウザはそれぞれ異なるコンピュータに設けられている、
   請求項３に記載の操作用画面表示システム。
5. 前記ウェブサーバのシステムおよび前記ウェブブラウザは同じ画像形成装置に設けられている、
   請求項３に記載の操作用画面表示システム。
6. 前記画面は、複数のアプリケーションそれぞれを選択するためのメニュー画面であり、
   前記応対処理手段は、前記処理として、前記複数のアプリケーションのうちの選択されたアプリケーションを起動する処理を実行する、
   請求項１ないし請求項５のいずれかに記載の操作用画面表示システム。
7. 前記応対処理手段は、前記キャプチャ画像の内容と新たな前記スクリプトに基づいて表示される前記画面の内容とが一致する場合に前記処理を実行し、一致しない場合は前記処理を実行しない、
   請求項１ないし請求項６のいずれかに記載の操作用画面表示システム。
8. 前記キャプチャ画像に対して操作が行われた場合に、当該キャプチャ画像が当該操作の対象であることをユーザに対して知らせる、通知手段、を有する、
   請求項１ないし請求項７のいずれかに記載の操作用画面表示システム。
9. 前記通知手段は、音を出力することによって知らせる、
   請求項８に記載の操作用画面表示システム。
10. 前記通知手段は、メッセージを前記表示装置に表示させることによって知らせる、
    請求項８に記載の操作用画面表示システム。
11. 表示装置と、
    複数のオブジェクトを選択肢として含む画面を表示するためのスクリプトを生成するスクリプト生成手段と、
    前記スクリプトに基づいて前記表示装置に表示された前記画面をキャプチャすることによってキャプチャ画像を取得するキャプチャ手段と、
    取得された前記キャプチャ画像を保存する保存手段と、
    前記複数のオブジェクトそれぞれの前記画面上の位置である第１の位置と選択された際に実行すべき処理である選択時処理とを対応づけて記憶する記憶手段と、
    前記画面を前記表示装置に表示させるに際して、前記スクリプトが新たに前記スクリプト生成手段によって生成されるまで、前記保存手段に保存されている前記キャプチャ画像を表示させ、当該スクリプトが生成されたら、当該キャプチャ画像に代えて、当該スクリプトに基づいて当該画面を表示させる、表示制御手段と、
    前記キャプチャ画像が前記表示装置に表示されている間に、当該キャプチャ画像に対して操作がなされた場合に、操作がなされた当該キャプチャ画像上の位置である第２の位置を検知する操作位置検知手段と、
    前記記憶手段に記憶されている、前記第２の位置に対応する前記第１の位置に対応付けられている前記選択時処理を実行する応対処理手段と、
    を有することを特徴とする操作用画面表示システム。
12. １つまたは複数のオブジェクトが配置された操作用の画面を表示するためのスクリプトを生成するスクリプト生成手段と、
    前記スクリプトに基づいて表示装置に表示された前記画面をキャプチャすることによってキャプチャ画像を取得するキャプチャ手段と、
    取得された前記キャプチャ画像を保存する保存手段と、
    前記１つまたは複数のオブジェクトの、前記画面上の位置である第１の位置と選択された際に実行すべき処理である選択時処理とを対応づけて記憶する記憶手段と、
    前記スクリプトが新たに前記スクリプト生成手段により生成される前に、前記保存手段に保存されている前記キャプチャ画像をクライアントへ与えるキャプチャ画像付与手段と、
    前記キャプチャ画像付与手段により前記キャプチャ画像が前記クライアントへ与えられた後、当該キャプチャ画像に代えて、前記スクリプト生成手段により生成された前記スクリプトに基づいて前記画面が表示されるように、前記スクリプトを前記クライアントへ与えるスクリプト付与手段と、
    前記１つまたは複数のオブジェクトに対する操作に基づいて前記クライアントから情報を受けた場合は、当該情報に応じた処理を実行し、前記キャプチャ画像に対する操作に基づいて前記クライアントから当該キャプチャ画像上の位置である第２の位置を示す情報を受けた場合は、前記記憶手段に記憶されている、当該第２の位置に対応する前記第１の位置に対応付けられている前記選択時処理を実行する、応対処理手段と、
    を有することを特徴とするサーバ。
13. 操作用の画面を表示するためのスクリプトをサーバから取得するスクリプト取得手段と、
    前記画面を表示装置に表示させるに際して、前記スクリプトが新たに前記スクリプト取得手段によって取得されるまで、前記画面を予めキャプチャしておいたキャプチャ画像を表示させ、当該スクリプトが生成されたら、当該キャプチャ画像に代えて、当該スクリプトに基づいて当該画面を表示させる、表示制御手段と、
    前記キャプチャ画像が前記表示装置に表示されている間に当該キャプチャ画像に対して行われた操作の内容を前記サーバへ通知する操作内容通知手段と、
    を有することを特徴とするクライアント。
14. 操作用の画面を表示するためのスクリプトを生成し、
    前記スクリプトに基づいて表示装置に表示された前記画面をキャプチャすることによってキャプチャ画像を取得して保存手段に保存し、
    前記画面を前記表示装置に表示させるに際して、前記スクリプトが新たに生成されるまで、前記保存手段に保存されている前記キャプチャ画像を表示させ、当該スクリプトが生成されたら、当該キャプチャ画像に代えて、当該スクリプトに基づいて当該画面を表示させ
    前記キャプチャ画像が前記表示装置に表示されている間に当該キャプチャ画像に対して行われた操作の内容を検知し、
    検知された前記内容に応じた処理を実行する、
    ことを特徴とする操作用画面表示方法。
15. １つまたは複数のオブジェクトが配置された操作用の画面をクライアントへ提供し、前記１つまたは複数のオブジェクトの、前記画面上の位置である第１の位置と選択された際の処理である選択時処理とを対応づけて記憶する記憶手段を有するコンピュータに、
    前記画面を表示するためのスクリプトを生成する生成処理を実行させ、
    前記スクリプトに基づいて表示装置に表示された前記画面をキャプチャすることによってキャプチャ画像を取得する取得処理を実行させ、
    取得された前記キャプチャ画像を保存手段に保存させる保存処理を実行させ、
    前記スクリプトが新たに前記生成処理によって生成される前に、前記保存手段に保存されている前記キャプチャ画像をクライアントへ与えるキャプチャ画像付与処理を実行させ、
    前記キャプチャ画像付与処理により前記キャプチャ画像が前記クライアントへ与えられた後、当該キャプチャ画像に代えて、前記生成処理により生成された前記スクリプトに基づいて前記画面が表示されるように、前記スクリプトを前記クライアントへ与えるスクリプト付与処理を実行させ、
    前記１つまたは複数のオブジェクトに対する操作に基づいて前記クライアントから情報を受けた場合に、当該情報に応じた処理を実行させ、
    前記キャプチャ画像に対する操作に基づいて前記クライアントから当該キャプチャ画像上の位置である第２の位置を示す情報を受けた場合に、前記記憶手段に記憶されている、当該第２の位置に対応する前記第１の位置に対応付けられているオブジェクトの前記選択時処理を実行させる、
    ことを特徴とするコンピュータプログラム。
16. コンピュータに、
    操作用の画面を表示するためのスクリプトをサーバから取得する取得処理を実行させ、
    前記画面を表示装置に表示させるに際して、前記スクリプトが新たに取得されるまで、前記画面を予めキャプチャしておいたキャプチャ画像を表示させ、当該スクリプトが生成されたら、当該キャプチャ画像に代えて、当該スクリプトに基づいて当該画面を表示させる、表示処理を実行させ、
    前記キャプチャ画像が前記表示装置に表示されている間に当該キャプチャ画像に対して行われた操作の内容を前記サーバへ通知する通知処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images