JP6217356B2 - 表示制御装置、表示制御方法、およびコンピュータプログラム - Google Patents

Description

本発明は、タッチパネルに対する操作に応じてディスプレイに画像を表示する技術に関する。

近年、コピー、スキャン、ファックス、ＰＣプリント、およびボックス（ドキュメントサーバ）など様々な機能が備わった画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi Function Peripherals）」と呼ばれることもある。

また、ＡＤＦ（Auto Document Feeder）、印刷エンジン、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、および大容量記憶装置などのハードウェアの性能が向上したり、ソフトウェアの開発の環境が整備されたりするのに伴い、上述の機能とともに用いられる付随的な様々な機能が開発されている。

このように、画像形成装置は、多機能化されている。多機能化が進めば、ユーザは、様々な処理を画像形成装置に実行させることができるようになる。

しかし、実行させることができる処理のバリエーションが増えれば増えるほど、画像形成装置の操作が複雑になりやすい。管理者が行うべき設定の操作も同様に、複雑になりやすい。

そこで、手本となる操作のログを予め記録しておき、操作の仕方を知りたいユーザのために、このログに基づいて操作を再現する方法が、提案されている（特許文献１、２）。ユーザは、操作が再現されるときにディスプレイに表示される画面の遷移を見ることによって、操作の仕方を確認することができる。

また、タッチパネルディスプレイのタッチパネルとしてマルチタッチに対応したタッチパネルが採用され、様々なジェスチャを認識できるようになった（特許文献３）。これにより、画面およびそれを構成する各オブジェクトに対して様々な操作を行うことができるようになった。

特開２０００−２３５５４９号公報 特開平７−１６０１４９号公報 特開２０１３−２２２２２９号公報

タッチパネルによって様々な操作が可能になったとはいえ、依然として、いわゆるハードウェアキーが使用される。

しかし、従来の再現方法では、ディスプレイに表示される画面の遷移を見ても、ハードウェアキーに対する操作をユーザが認識できない場合がある。

本願発明は、このような問題点に鑑み、ハードウェアキーに対する操作が含まれる場合であっても、ユーザが従来よりも確実に、ログに基づいて再現される画面を見ながら操作の仕方を確認できるようにすることを、目的とする。

本発明の一形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記第一の操作がなされた前記タッチパネルの位置および当該第一の操作の種類を示す第一のマーク画像、前記ハードウエアキーパネルを示すキーパネル画像、および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示す第二のマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、を有する。

本発明の他の一形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を、前記操作ログデータに示される当該第二の操作のタイミングで前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、を有する。

本発明の他の一実施形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像を前記ディスプレイの前記操作画面の中の空いている領域に表示させ、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を当該ディスプレイに表示させる、キーパネル表示処理を実行する、表示制御手段と、を有する。

本発明の他の一実施形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像、および当該操作キーの名称を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、を有する。

本発明の他の一形態に係る画像形成装置は、ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、他の画像形成装置の第二のタッチパネルに対して行われた第一の操作および当該他の画像形成装置の第二のハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを取得する取得手段と、前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、を有する。

本発明によると、ハードウェアキーに対する操作が含まれる場合であっても、ユーザは、従来よりも確実に、ログに基づいて再現される画面を見ながら操作の仕方を確認することができる。

ネットワークシステムの例を示す図である。 画像形成装置の外観および内部の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 操作パネルユニットの構成の例を示す図である。 位置対応データの例を示す図である。 コピージョブ画面の例を示す図である。 バッジ列とコピージョブ画面との関係を説明するための図である。 画像形成装置の機能的構成の例および操作の記録の際のデータの流れの例を示す図である。 基本的なタッチ操作の例を示す図である。 ファックス送信ジョブ画面の例を示す図である。 操作ログデータの例を示す図である。 画像形成装置の機能的構成の例および操作の再現の際のデータの流れの例を示す図である。 ハードキーパネル画面の例を示す図である。 ハードキーパネル下方画面およびハードキーパネル右方画面の例を示す図である。 カレント画面およびそれにハードキーパネル下方画面に埋め込んだ形態の例を示す図である。 メッセージの表示の形態の例を示す図である。 画像形成装置の全体的な処理の流れの例を説明するフローチャートである。 記録処理の流れの例を説明するフローチャートである。 再現処理の流れの例を説明するフローチャートである。 再現処理の流れの例を説明するフローチャートである。 キー画像表示処理の流れの例を説明するフローチャートである。 操作の記録時における画面の遷移および各人の操作の例を示す図である。 操作の記録時における画面の遷移および各人の操作の例を示す図である。 操作の記録時における画面の遷移および各人の操作の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。 操作の再現時における画面の遷移の例を示す図である。

図１は、ネットワークシステム１００の例を示す図である。図２は、画像形成装置１の外観および内部の例を示す図である。図３は、画像形成装置１のハードウェア構成の例を示す図である。図４は、操作パネルユニット１０ｋの構成の例を示す図である。図５は、位置対応データ５Ｕの例を示す図である。図６は、コピージョブ画面３Ｃの例を示す図である。図７は、バッジ列４Ｌとコピージョブ画面３Ｃとの関係を説明するための図である。図８は、画像形成装置１の機能的構成の例および操作の記録の際のデータの流れの例を示す図である。

図１に示すように、ネットワークシステム１００は、複数台の画像形成装置１、端末装置２、および通信回線ＮＷなどによって構成される。画像形成装置１と端末装置２とは、通信回線ＮＷを介して通信を行うことができる。通信回線ＮＷとして、公衆回線、専用線、インターネット、またはいわゆるＬＡＮ（Local Area Network）回線などが用いられる。以下、各画像形成装置１を「画像形成装置１Ａ」、「画像形成装置１Ｂ」、…と区別して記載することがある。

画像形成装置１は、一般にＭＦＰ（Multi Function Peripherals）または複合機と呼ばれる画像処理装置であって、コピー、ＰＣプリント（ネットワークプリンティング）、ファックス、スキャン、およびボックスなどの機能を集約した装置である。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像ファイルなどのドキュメントデータを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

図２または図３に示すように、画像形成装置１は、メインＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、スキャンユニット１０ｅ、ＮＩＣ（Network Interface Card）１０ｆ、モデム１０ｇ、接続インタフェースボード１０ｈ、プリントユニット１０ｉ、後処理装置１０ｊ、および操作パネルユニット１０ｋなどによって構成される。そのほか、ビープ音を鳴らすためのスピーカが設けられている。

スキャンユニット１０ｅは、用紙に記されている写真、文字、絵、図表などの画像を読み取って画像データを生成する。具体的には、スキャンユニット１０ｅは、イメージセンサ１０ｅ１、ＡＤＦ（Auto Document Feeder）１０ｅ２、読取用スリット１０ｅ３、およびプラテンガラス１０ｅ４などによって構成される。

ＡＤＦ１０ｅ２は、セットされた用紙を１枚ずつ読取用スリット１０ｅ３へ搬送する。すると、イメージセンサ１０ｅ１は、用紙が読取用スリット１０ｅ３を通過する際に、用紙から画像を読み取り、画像の電子データを生成する。また、ユーザがプラテンガラス１０ｅ４に原稿をセットした場合は、イメージセンサ１０ｅ１は、プラテンガラス１０ｅ４を走査することによって、用紙から画像を読み取り、画像の電子データを生成する。

ＮＩＣ１０ｆは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置２などの装置と通信を行う。

モデム１０ｇは、固定電話網を介してＧ３などのプロトコルによってファックス端末と通信を行う。

接続インタフェースボード１０ｈは、周辺機器を画像形成装置１に接続するための装置である。接続インタフェースボード１０ｈとして、例えば、ＵＳＢ（Universal Serial Bus）ボードまたはＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４ボードなどが用いられる。

プリントユニット１０ｉは、スキャンユニット１０ｅによって読み取られた画像、または、ＮＩＣ１０ｆ、モデム１０ｇ、もしくは接続インタフェースボード１０ｈを介して入力された画像を、用紙に印刷する。具体的には、プリントユニット１０ｉは、エンジン部１０ｉ１、給紙トレイ１０ｉ２、大容量給紙タンク１０ｉ３、および用紙搬送機構１０ｉ４などによって構成される。

給紙トレイ１０ｉ２は、１つまたは複数、プリントユニット１０ｉに設けられている。それぞれに、所定のサイズの用紙（白紙）が格納される。大容量給紙タンク１０ｉ３にも、所定のサイズの用紙（白紙）が格納されるが、給紙トレイ１０ｉ２よりも容量が大きい。よって、通常、最もよく使用されるサイズの用紙が格納される。

用紙搬送機構１０ｉ４は、給紙トレイ１０ｉ２または大容量給紙タンク１０ｉ３から用紙を１枚ずつエンジン部１０ｉ１へ搬送する。エンジン部１０ｉ１は、用紙に画像を印刷する。そして、用紙搬送機構１０ｉ４は、画像が印刷された用紙を排紙トレイまたはビンへ搬出する。なお、後処理（ステープルで綴じる処理またはパンチ穴を開ける処理など）が必要な場合は、画像が印刷された用紙を後処理装置１０ｊへ搬送する。

後処理装置１０ｊは、画像が印刷された１枚または複数の用紙に対して、適宜、上述の後処理を施す。

操作パネルユニット１０ｋは、ユーザインタフェースのユニットであって、図４に示すように、ハードキーパネル１０ｋ１、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）１０ｋ２、およびタッチパネル１０ｋ３などによって構成される。

ハードキーパネル１０ｋ１は、テンキー１ｋｔ、スタートキー１ｋｓ、ストップキー１ｋｐ、リセットキー１ｋｒ、電源キー１ｋｅ、およびファンクションキー１ｋｆ１〜１ｋｆ７などのキーによって構成される入力装置である。これらのキーは、液晶ディスプレイ１０ｋ２に表示されるキー（いわゆるソフトウェアキー）と区別するために、一般に、「ハードキー」または「ハードウェアキー」と呼ばれることがある。また、ファンクションキー１ｋｆ１〜１ｋｆ７のうち、ファンクションキー１ｋｆ２には、後述する操作の記録の開始および終了のコマンドが割り当てられている。ファンクションキー１ｋｆ４には、後述するホーム画面３Ｔの表示のコマンドが割り当てられている。そこで、以下、ファンクションキー１ｋｆ２を「開始終了コマンドキー１ｋｆ２」と記載し、ファンクションキー１ｋｆ４を「ホームキー１ｋｆ４」と記載する。

液晶ディスプレイ１０ｋ２には、ユーザへのメッセージを示す画面、処理の結果を示す画面、またはユーザが画像形成装置１に対して指示もしくは条件を入力するための画面などが表示される。

タッチパネル１０ｋ３は、液晶ディスプレイ１０ｋ２の表示面の全体を覆うように固定的に設けられており、タッチされた（押された）位置を検知し、メインＣＰＵ１０ａにその位置を通知する。タッチパネル１０ｋ３として、例えば、静電容量方式のタッチパネル、表面弾性波方式のタッチパネル、または電磁誘導方式のタッチパネルなどが用いられる。

図５のような、タッチパネル１０ｋ３の各位置が液晶ディスプレイ１０ｋ２のどの位置の上にあるのかを示すデータ（例えば、テーブル）が、予め用意されている。つまり、タッチパネル１０ｋ３の各位置と液晶ディスプレイ１０ｋ２の各位置との対応関係を示すデータが、予め用意されている。以下、このデータを「位置対応データ５Ｕ」と記載する。また、タッチパネル１０ｋ３における位置を「タッチパネル平面位置Ｐ」と記載し、液晶ディスプレイ１０ｋ２における位置を「ディスプレイ平面位置Ｑ」と記載する。

メインＣＰＵ１０ａは、タッチパネル１０ｋ３がタッチされた際に、タッチされたタッチパネル平面位置Ｐに対応するディスプレイ平面位置Ｑを位置対応データ５Ｕに基づいて求め、このディスプレイ平面位置Ｑがタッチされたものとして、処理を行うことができる。さらに、液晶ディスプレイ１０ｋ２に現在表示されている画面（以下、「カレント画面」と記載する。）の中の、このディスプレイ平面位置Ｑの画素がタッチされたものとして、処理を行うことができる。

このような仕組みにより、ユーザは、カレント画面を、タッチパネル１０ｋ３を介してタッチして操作することができる。

画面には、様々な種類のオブジェクトが配置されている。例えば、図６のコピージョブ画面３Ｃには、クローズボタン４Ａ、右スクロールボタン４Ｂ１、左スクロールボタン４Ｂ２、複数のオプション機能バッジ４Ｃ、複数のマーカ４Ｄ、およびスライドゲージ４Ｅなどのオブジェクトが配置されている。

クローズボタン４Ａは、コピージョブ画面３Ｃを閉じて１つ前の画面を再び表示させるためのボタンである。

オプション機能バッジ４Ｃは、オプション機能を表わすアイコンであり、画像形成装置１に備わっているオプション機能ごとに１つずつ用意されている。オプション機能バッジ４Ｃは、横一列に並んでおり、バッジ列４Ｌを形成している。しかし、すべてのオプション機能バッジ４Ｃを、同時に配置することができない。つまり、コピージョブ画面３Ｃには、図７に示すように、一部のオプション機能バッジ４Ｃのみが現われ、残りのオプション機能バッジ４Ｃが現われない。

ユーザは、バッジ列４Ｌをスクロールさせることによって、残りのオプション機能バッジ４Ｃを順次表示させることができる。以下、各オプション機能バッジ４Ｃを左から順に「オプション機能バッジ４Ｃａ」、「オプション機能バッジ４Ｃｂ」、…、「オプション機能バッジ４Ｃｚ」と区別して記載することがある。

右スクロールボタン４Ｂ１は、バッジ列４Ｌを右から左へスクロールさせるためのボタンである。左スクロールボタン４Ｂ２は、バッジ列４Ｌを左から右へスクロールさせるためのボタンである。

マーカ４Ｄも、オプション機能バッジ４Ｃと同様、横一列に並んでいる。マーカ４の個数は機能バッジ４Ｃの個数と同じである。そして、左のマーカ４から順に機能バッジ４Ｃａ、機能バッジ４Ｃｂ、…、機能バッジ４Ｃｚに対応している。ただし、すべてのマーカ４Ｄが、同時にコピージョブ画面３Ｃに現われている。以下、オプション機能バッジ４Ｃａ、オプション機能バッジ４Ｃｂ、…、オプション機能バッジ４Ｃｚに対応するマーカ４Ｄをそれぞれ「マーカ４Ｄａ」、「マーカ４Ｄｂ」、…、「マーカ４Ｄｚ」と区別して記載することがある。

スライドゲージ４Ｅは、スライドバー４Ｅ１およびウィンドウ４Ｅ２によって構成される。スライドバー４Ｅ１は、ドラッグまたはフリックに応じて左または右に移動する。

ウィンドウ４Ｅ２は、スライドバー４Ｅ１の真上に設けられている。さらに、コピージョブ画面３Ｃに現在配置されているオプション機能バッジ４Ｃに対応する個数のマーカ４Ｄを囲っている。

ウィンドウ４Ｅ２は、スライドバー４Ｅ１に固定されている。したがって、ウィンドウ４Ｅ２は、スライドバー４Ｅ１が移動すると、一緒に移動する。ユーザは、ウィンドウ４Ｅ２に囲われるマーカ４Ｄを、スライドバー４Ｅ１を操作することによって変えることができる。ウィンドウ４Ｅ２に囲われているマーカ４Ｄが変わると、それに伴い、バッジ列４Ｌがスクロールし、コピージョブ画面３Ｃに配置されるオプション機能バッジ４Ｃが変わる。

また、ユーザは、バッジ列４Ｌを直接ドラッグしまたはフリックすることによって、スクロールさせることもできる。

右スクロールボタン４Ｂ１または左スクロールボタン４Ｂ２によってバッジ列４Ｌがスクロールした場合は、コピージョブ画面３Ｃにおけるオプション機能バッジ４Ｃの新たな配置に応じて、スライドゲージ４Ｅが移動する。

ところで、液晶ディスプレイ１０ｋ２は、全体が１つの領域である画面を表示することもあれば、複数の領域に分割されている画面を表示することもある。以下、画面を構成する領域を「要素領域」と記載する。さらに、要素領域は、シンプル操作領域およびジェスチャ領域のいずれかに分類されている。

「シンプル操作領域」は、ユーザのアクション（操作）として、タップのみを受け付ける領域である。一方、「ジェスチャ領域」は、ユーザのアクションとして、タップ、フリック、ドラッグ、およびダブルタップなど様々なジェスチャを受け付ける領域である。

各画面の各画素がどの要素領域に属するのかは、および、各要素領域がシンプル操作領域およびジェスチャ領域のいずれに属するのかは、予め決められており、各画面の表示用のデータ（以下、「画面データ５Ｗ」と記載する。）に定義されている。

図６のコピージョブ画面３Ｃは、第一の要素領域３Ｃ１、第二の要素領域３Ｃ２、および第三の要素領域３Ｃ３に分割されているが、第一の要素領域３Ｃ１はシンプル操作領域に設定され、第二の要素領域３Ｃ２および第三の要素領域３Ｃ３はジェスチャ領域に設定されている。

図２および図３に戻って、ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、上述のコピーおよびＰＣプリントなどの機能を実現するためのプログラムが記憶されている。さらに、図８に示すタッチイベント受付部１０１、操作領域判別部１０２、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、ジェスチャ応答処理決定部１０５、ハードキー操作受付部１０６、ハードキー応答処理決定部１０７、画面等制御部１０８、操作ログデータ生成部１２１、操作ログデータ記憶部１２２、操作ログ読出部１３１、および初期画面表示制御部１３２などの機能を実現するためのプログラムが記憶されている。

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、メインＣＰＵ１０ａによって実行される。

図８に示すタッチイベント受付部１０１ないし初期画面表示制御部１３２は、ユーザが操作パネルユニット１０ｋに対して行った操作に基づいて、画面を表示したりジョブを実行したりするように各ハードウェアを制御する。さらに、操作のログを記録しておき、後に、このログに基づいて操作を再現することができる。

以下、タッチイベント受付部１０１ないし初期画面表示制御部１３２の処理を、操作に基づく基本的な処理、操作を記録する処理、および記録に基づいて操作を再現する処理に大別して説明する。また、ユーザのリアルタイムの操作に応じて処理を行うモードを「通常モード」と記載し、記録に基づいて操作を再現し処理を行うモードを「再現モード」と記載する。

〔操作に基づく基本的な処理〕
図９は、基本的なタッチ操作の例を示す図である。図１０は、ファックス送信ジョブ画面３Ｆの例を示す図である。

図８のタッチイベント受付部１０１ないし画面等制御部１０８は、通常モードにおいて、ハードキーパネル１０ｋ１またはタッチパネル１０ｋ３に対してユーザがリアルタイムに行う操作に応じて、次のように処理を行う。

タッチパネル１０ｋ３は、タッチされたことを検知すると、タッチが終了するまで（つまり、指またはペンなどがタッチパネル１０ｋ３から離れるまで）、所定の時間Ｔａごとに、タッチされているタッチパネル平面位置Ｐ（以下、「タッチ位置ＰＴ」と記載する。）を示すタッチ位置信号５Ａを出力する。

タッチイベント受付部１０１は、タッチ位置信号５Ａを受け付けるごとに、このタッチ位置信号５Ａに示されるタッチ位置ＰＴに対応するディスプレイ平面位置Ｑ（以下、「タッチ位置ＱＴ」と記載する。）を、位置対応データ５Ｕ（図５参照）に基づいて算出する。

さらに、タッチイベント受付部１０１は、タッチ位置信号５Ａを受け付けるごとに、および、タッチ位置信号５Ａが途切れた場合に、タッチパネル１０ｋ３に対して行われたイベント（以下、「タッチイベント」と記載する。）を次のように検知する。

タッチイベント受付部１０１は、タッチ位置信号５Ａを今から所定の時間Ｔａ前に受け付けていなかったが、新たにタッチ位置信号５Ａを受け付けた場合は、タッチイベントとして、図９（Ａ）のような「プレス」を検知する。

プレスの後、所定の時間Ｔａごとにタッチ位置信号５Ａを受け付けると、タッチイベント受付部１０１は、タッチイベントとして、図９（Ｂ）のような「キープ」を検知する。なお、一般的に、キープを、タッチの位置が変わる「ムーヴ」、および、位置が変わらない「ステイ」の２つに区別することができる。「ムーヴ」および「ステイ」を区別して検知してもよいが、本実施形態では、両者を区別せず一律に「キープ」を検知する。

所定の時間Ｔａよりも長い時間、タッチ位置信号５Ａを受け付けなくなった場合、つまり、タッチ位置信号５Ａが途切れた場合は、タッチイベント受付部１０１は、タッチイベントとして、図９（Ｃ）のような「リリース」を検知する。

操作領域判別部１０２は、プレスのタッチ位置信号５Ａ（つまり、１番目のタッチ位置信号５Ａ）がタッチイベント受付部１０１によって受け付けられた場合に、このタッチ位置信号５Ａに基づいて算出されたタッチ位置ＱＴが属する領域の種類を、カレント画面の画面データ５Ｗに基づいて判別する。具体的には、カレント画面におけるタッチ位置ＱＴの画素が属する要素領域を判別する。そして、この要素領域に設定されている領域の種類（シンプル操作領域またはジェスチャ領域）を判別する。

操作領域判別部１０２による判別の結果に応じて、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、およびジェスチャ応答処理決定部１０５は、次の処理を行う。

タッチ位置ＱＴの画素の属する要素領域がシンプル操作領域であると判別された場合は、タッチ応答処理決定部１０３が、ユーザが行ったタッチイベントに対する応答として実行すべき処理を決定する。以下、この処理を「タッチ応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

上述の通り、タッチイベントとして、タッチイベント受付部１０１は、プレス、キープ、およびリリースのいずれかを検知する。タッチ応答処理決定部１０３は、タッチ位置ＱＴの画素および検知されたタッチイベントに応じて処理を決定する。

例えば、タッチ位置ＱＴの画素を含むオブジェクトが図６のコピージョブ画面３Ｃのクローズボタン４Ａであり、かつ、タッチイベントがプレスである場合は、クローズボタン４Ａの形態を変える（例えば、色をグレーに変更し、または窪んだ形状に変える）処理をタッチ応答処理に決定する。その後、クローズボタン４Ａの中の任意の位置においてリリースがなされた場合は、クローズボタン４Ａに予め対応付けられている処理、つまり、コピージョブ画面３Ｃを閉じて１つ前の画面を表示する処理をタッチ応答処理に決定する。

または、タッチ位置ＱＴの画素を含むオブジェクトが右スクロールボタン４Ｂ１であり、かつ、タッチイベントがプレスまたはキープである場合は、バッジ列４Ｌを右から左へスクロールする処理をタッチ応答処理に決定する。

一方、タッチ位置ＱＴの画素の属する要素領域がジェスチャ領域であると判別された場合は、ジェスチャ判別部１０４およびジェスチャ応答処理決定部１０５によって次の処理が行われる。

ジェスチャ判別部１０４は、タッチイベント受付部１０１によって連続的に検知されたタッチイベントと各タッチイベントのタッチ位置ＱＴとに基づいて、これらの一連のタッチイベントが表わすジェスチャを判別する。判別の方法は従来と同様であるが、ここで、判別の方法の一例を説明する。

例えば、同じタッチ位置ＱＴにおいてプレス、キープ、およびリリースの組合せの操作が所定の時間Ｔｂ（例えば、０．５秒）以内に２回検知された場合は、ジェスチャ判別部１０４は、ジェスチャがダブルタップであると判別する。同じタッチ位置ＱＴにおいてプレス、キープ、およびリリースの組合せの操作が１回検知されたが、所定の時間Ｔｂ以内に同じタッチ位置ＱＴにおいてタッチイベントが検知されなかった場合は、ジェスチャ判別部１０４は、ジェスチャがタップであると判別する。

なお、操作が速い場合は、キープが検知されないことがある。そこで、プレス、キープ、およびリリースの組合せの操作の代わりにプレスおよびリリースの組合せの操作が検知された場合も、同様に判別する。キープの連続する回数が所定の回数を超える場合は、タップではなくロングタップであると判別してもよい。また、２つのタッチ位置ＱＴ同士の距離が所定の範囲内であれば、両タッチ位置ＱＴを同じものとみなしてもよい。

または、プレスが検知された後、一定の方向にタッチ位置ＱＴが所定の速さＳａ以上の速さで移動しながらキープが検知され、リリースが検知された場合は、ジェスチャ判別部１０４は、ジェスチャをフリックであると判別する。この際に、条件値５Ｃとして、タッチ位置ＱＴの移動の速さおよび方向も、算出する。

または、プレスが検知された後、タッチ位置ＱＴが所定の速さＳａ未満の速さで変化しながらキープが検知された場合は、ジェスチャ判別部１０４は、ジェスチャをドラッグであると判別する。この際に、条件値５Ｃとして、タッチ位置ＱＴの軌跡（時刻ごとの座標）も取得しておく。また、リリースの前にドラッグに関係のない操作が行われた場合は、ドラッグがキャンセルされたものとして取り扱ってもよい。例えば、リリースの前にタッチ位置ＱＴの軌跡から外れた位置でタッチがなされた場合に、ドラッグがキャンセルされたものとして取り扱ってもよい。

ジェスチャ応答処理決定部１０５は、ユーザが行ったジェスチャに対する応答として実行すべき処理を決定する。以下、この処理を「ジェスチャ応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

例えば、図６のコピージョブ画面３Ｃの任意のオプション機能バッジ４Ｃに対してフリックが行われた場合は、ジェスチャ応答処理決定部１０５は、条件値５Ｃ（タッチ位置ＱＴの移動の速さおよび方向）に応じてバッジ列４Ｌをスクロールする処理をタッチ応答処理に決定する。

または、オプション機能バッジ４Ｃｓに対してダブルタップが行われた場合は、ジェスチャ応答処理決定部１０５は、オプション機能バッジ４Ｃｓの形態をオンを表わす形態に変更するとともにウォータマークの適用の有無の設定値をオンに更新する処理をタッチ応答処理に決定する。

ハードキーパネル１０ｋ１は、キー（ハードキー）が押されるごとに、そのキーを示す押下キー信号５ＤをメインＣＰＵ１０ａへ出力する。すると、ハードキー操作受付部１０６およびハードキー応答処理決定部１０７によって次の処理が行われる。

ハードキー操作受付部１０６は、押下キー信号５Ｄを受け付ける。ハードキー応答処理決定部１０７は、カレント画面および押下キー信号５Ｄに基づいて、ユーザがハードキーパネル１０ｋ１に対して行った操作に対する応答として実行すべき処理を決定する。以下、この処理を「ハードキー応答処理」と記載する。決定の方法は従来と同様であるが、ここで、決定の方法の一例を説明する。

例えば、任意の画面が表示されているときにファンクションキー１ｋｆ１（図４参照）が押された場合は、図１０（Ａ）のようなファックス送信ジョブ画面３Ｆを表示する処理をハードキー応答処理に決定する。

または、ファックス送信ジョブ画面３Ｆがカレント画面であるときにテンキー１ｋｔによってファックス番号が入力された場合は、そのファックス番号を送信先として受け付けるとともに図１０（Ｂ）のようにファックス送信ジョブ画面３Ｆに反映させる処理をハードキー応答処理に決定する。

画面等制御部１０８は、タッチ応答処理決定部１０３がタッチ応答処理を決定し、ジェスチャ応答処理決定部１０５がジェスチャ応答処理を決定し、またはハードキー応答処理決定部１０７がハードキー応答処理を決定するごとに、決定されたタッチ応答処理、ジェスチャ応答処理、またはハードキー応答処理が実行されるように、各ハードウェアを制御する。以下、タッチ応答処理、ジェスチャ応答処理、およびハードキー応答処理を「応答処理」と総称する。

応答処理は、従来通り、ＡＰＩ（Application Program Interface）を介して行うことができる。

〔操作を記録する処理〕
図１１は、操作ログデータ５Ｆの例を示す図である。

ユーザが記録の開始のコマンド（以下、「開始コマンド」と記載する。）を入力すると、図８の操作ログデータ生成部１２１および操作ログデータ記憶部１２２は、操作パネルユニット１０ｋに対する操作のログを記録する処理を次のように行う。

ユーザは、後に再現させたい一連の操作のうち最初の操作を行う際の画面を液晶ディスプレイ１０ｋ２に表示させておく。そして、開始コマンドを入力し、一連の操作を開始する。

タッチイベント受付部１０１ないし画面等制御部１０８は、通常モードの場合と同様、上述の方法によって、一連の操作に応じて処理を行う。特に、タッチイベント受付部１０１は、タッチパネル１０ｋ３からタッチ位置信号５Ａを受け付けるごとにタッチ位置ＱＴを算出する。さらに、タッチ位置信号５Ａを受け付けるごとに、および、タッチ位置信号５Ａが途切れた場合に、タッチイベントを判別する。また、ハードキー操作受付部１０６は、ハードキーパネル１０ｋ１から押下キー信号５Ｄを受け付ける。

操作ログデータ生成部１２１は、図１１のような操作ログデータ５Ｆを生成し、操作ログデータ記憶部１２２に記憶させる。

操作ログデータ５Ｆには、開始コマンドが入力されてから記録の終了のコマンド（以下、「終了コマンド」と記載する。）が入力されるまでの間に、タッチイベント受付部１０１によって検知されたタッチイベントおよびタッチ位置ＱＴと、ハードキー操作受付部１０６によって受け付けられた押下キー信号５Ｄとが、示される。さらに、各タッチイベントおよび押下キー信号５Ｄが検知されまたは受け付けられるまでの、直前の（１つ前の）タッチイベントまたは押下キー信号５Ｄが検知されまたは受け付けられてからの経過時間Ｔｒが示される。ただし、１番目のタッチイベントまたは押下キー信号５Ｄの経過時間Ｔｒとして、開始コマンドが入力されてから経過した時間が示される。

そして、終了コマンドが入力されると、操作ログデータ生成部１２１は、操作ログデータ５Ｆを生成する処理を終了する。操作ログデータ５Ｆには、開始コマンドが入力された際に液晶ディスプレイ１０ｋ２に表示されていた画面の識別子（以下、「開始時画面識別子」と記載する。）が付される。

〔操作を再現する処理〕
図１２は、画像形成装置１の機能的構成の例および操作の再現の際のデータの流れの例を示す図である。

ユーザが操作の再現のコマンド（以下、「再現コマンド」と記載する。）を入力すると、操作ログ読出部１３１および初期画面表示制御部１３２は、ユーザが過去に行った一連の操作を再現する処理を操作領域判別部１０２ないし画面等制御部１０８と連携して実行する。以下、この処理を、図１２などを参照しながら説明する。

操作ログ読出部１３１は、再現コマンドが入力されると、画像形成装置１を通常モードから再現モードに切り替え、操作ログデータ記憶部１２２から操作ログデータ５Ｆを読み出す。

そして、操作ログ読出部１３１は、操作ログデータ５Ｆに付されている開始時画面識別子を初期画面表示制御部１３２に与える。

すると、初期画面表示制御部１３２は、この開始時画面識別子の画面が表示されるように液晶ディスプレイ１０ｋ２を制御する。

また、操作ログ読出部１３１は、操作ログデータ５Ｆのレコードを上から順に、操作領域判別部１０２、タッチ応答処理決定部１０３、ジェスチャ判別部１０４、およびハードキー応答処理決定部１０７のいずれかに与える。

具体的には、タッチイベントが示されるレコードは、タッチイベント受付部１０１による処理の結果と同様に取り扱われる。すなわち、レコードにタッチイベントとしてプレスが示される場合は、このレコードが操作領域判別部１０２に与えられる。すると、操作領域判別部１０２によって、このレコードに示されるタッチ位置ＱＴが属する領域の種類（シンプル操作領域またはジェスチャ領域）が判別される。判別の方法は、通常モードの場合と同様であり、前に説明した通りである。

そして、シンプル操作領域と判別された場合は、そのレコードと、直後以降の「リリース」のレコードまでの各レコードとが、タッチ応答処理決定部１０３に与えられ、タッチ応答処理決定部１０３によってタッチ応答処理が決定される。または、ジェスチャ領域であると判別された場合は、これらのレコードがジェスチャ判別部１０４に与えられ、ジェスチャ判別部１０４によってジェスチャが判別され、ジェスチャ応答処理決定部１０５によってジェスチャ応答処理が決定される。

一方、押下キー信号５Ｄが示されるレコードは、ハードキー操作受付部１０６による処理の結果と同様に取り扱われる。すなわち、このレコードは、ハードキー応答処理決定部１０７に与えられる。すると、ハードキー応答処理決定部１０７によってハードキー応答処理が決定される。なお、このレコードは、画面等制御部１０８にも与えられる。

タッチ応答処理の決定の方法、ジェスチャの判別の方法、ジェスチャ応答処理の決定の方法、およびハードキー応答処理の決定の方法は、通常モードの場合と同様であり、前に説明した通りである。

なお、レコードを各部に与えるタイミングは、原則として、各レコードに示される経過時間Ｔｒに従う。すなわち、１番目のレコードは、再現コマンドが入力されてから、このレコードに示される経過時間Ｔｒが経ったタイミングで、与えられる。Ｎ番目（Ｎ≧２）のレコードは、（Ｎ−１）番目のレコードが与えられてからＮ番目のレコードに示される経過時間Ｔｒが経ったタイミングで、与えられる。

ところで、ハードキーパネル１０ｋ１に対する操作を再現しても、どのキーが押されたのかをユーザが推定することができない場合がある。そこで、画面等制御部１０８は、ハードキーパネル１０ｋ１に対する操作があったことを知らせるための処理を行う。以下、この処理の例を説明する。

図１３は、ハードキーパネル画面３ＨＫの例を示す図である。図１４は、ハードキーパネル下方画面３ＨＫ１およびハードキーパネル右方画面３ＨＫ２の例を示す図である。図１５は、カレント画面およびそれにハードキーパネル下方画面３ＨＫ１に埋め込んだ形態の例を示す図である。図１６は、メッセージ４ＭＧの表示の形態の例を示す図である。

画面等制御部１０８は、次に実行すべき応答処理がハードキー応答処理である場合は、これを開始する前（例えば、１秒前）に、図１３のように、カレント画面を縮小し、空いたスペース（余白）にハードキーパネル１０ｋ１を表わすハードキーパネル画面３ＨＫを表示させる。そして、操作ログ読出部１３１から与えられたレコードに示される押下キー信号５Ｄに対応するキー（以下、「対象キー」と記載する。）の上に、このレコードに示される経過時間Ｔｒのタイミングで、マーク（例えば、星印）を表示させる。そして、この応答処理を実行する。

ハードキーパネル画面３ＨＫは、原則として、次のレコードが与えられる直前に閉じられる。つまり、マークの表示後、次のレコードに示される経過時間Ｔｒが経過したタイミングで閉じられる。しかし、記録の際のハードキーパネル１０ｋ１に対する操作が速ければ、ハードキーパネル画面３ＨＫおよびマークをユーザが十分に確認することができないことがある。

そこで、画面等制御部１０８は、この経過時間Ｔｒが所定の時間Ｔｓ（例えば、３秒）未満である場合は、所定の時間Ｔｓが経過したタイミングでハードキーパネル画面３ＨＫを閉じる。そして、各部は、ハードキーパネル画面３ＨＫが閉じてから、次のレコードに基づいて処理を行う。

また、ハードキーパネル１０ｋ１のキーが連続して操作される場合がある。この場合は、ハードキーパネル画面３ＨＫを表示させたままにしておいてもよい。そして、連続するキーのうちの最後のキーの上にマークを表示させた後、上述のタイミングでハードキーパネル画面３ＨＫを閉じればよい。この場合も、各対象キーのマークの表示を、短くとも所定の時間Ｔｓは行い、以降の操作の再現を後ろへシフトさせるのが、好ましい。

または、ハードキーパネル画面３ＨＫの代わりに、ハードキーパネル１０ｋ１の一部分を表わす画像を次のように表示させてもよい。

画面等制御部１０８は、対象キーがハードキーパネル１０ｋ１の下方に所属する場合は、図１４（Ａ）のように、ハードキーパネル下方画面３ＨＫ１をポップアップとしてカレント画面の上に表示させる。一方、右方に所属する場合は、図１４（Ｂ）のように、ハードキーパネル右方画面３ＨＫ２をポップアップとしてカレント画面の上に表示させる。図１５（Ａ）のようにカレント画面に一定以上のスペースがある場合は、図１５（Ｂ）のように、ハードキーパネル下方画面３ＨＫ１をカレント画面の一部分としてこのスペースに加えて表示させてもよい。ハードキーパネル右方画面３ＨＫ２についても、同様である。

画面等制御部１０８は、マークとともに、または、マークの代わりに、図１６（Ａ）または（Ｂ）のように、押されたキーを知らせるメッセージ４ＭＧを表示させてもよい。

または、画面等制御部１０８は、対象キーが押されたことを通知する音としてビープ音をスピーカから鳴らしてもよい。キーごとに高さの異なるビープ音を予め用意しておき、対象キーに応じた高さのビープ音を鳴らしてもよい。

図１７は、画像形成装置１の全体的な処理の流れの例を説明するフローチャートである。図１８は、記録処理の流れの例を説明するフローチャートである。図１９および図２０は、再現処理の流れの例を説明するフローチャートである。図２１は、キー画像表示処理の流れの例を説明するフローチャートである。

次に、画像形成装置１における表示に関する全体的な処理の流れを、図１７〜図２１などのフローチャートを参照しながら説明する。

画像形成装置１は、電源がオンである間、操作パネルユニット１０ｋに対するユーザの操作に応じて、図１７に示すように処理を実行する。

すなわち、画像形成装置１は、開始コマンドが入力されると（＃１１でＹｅｓ）、操作のログを記録する処理を、図１８に示す手順で実行する（＃１２）。

図１８において、画像形成装置１は、空の操作ログデータ５Ｆを生成し、カレント画面の開始時画面識別子を対応付ける（＃７０１）。

画像形成装置１は、タッチ位置信号５Ａをタッチパネル１０ｋ３によって受け付けた場合は（＃７０２でＹｅｓ）、タッチ位置ＱＴを算出するとともにタッチイベントを判別し、これらの情報を経過時間Ｔｒとともに１つのレコードとして操作ログデータ５Ｆに追記する（＃７０３）。さらに、タッチ位置ＱＴが属する領域の種類（シンプル操作領域またはジェスチャ領域）を判別する（＃７０４）。

この領域の種類がジェスチャ領域であれば（＃７０５でＹｅｓ）、画像形成装置１は、ユーザが行ったジェスチャの判別を試みる（＃７０６）。ただし、ジェスチャは複数のタッチの組合せによって表現されるので、未だジェスチャを判別できないことがある。画像形成装置１は、ジェスチャを判別できたら（＃７０７でＹｅｓ）、このジェスチャに応じて実行すべき処理の決定を試みる（＃７０８）。そして、処理を決定できたら（＃７０９でＹｅｓ）、この処理を実行する（＃７１０）。

一方、この領域の種類がシンプル操作領域であれば（＃７０５でＮｏ）、画像形成装置１は、今回のタッチイベントに応じて実行すべき処理の決定を試みる（＃７１１）。そして、処理を決定できたら（＃７１２でＹｅｓ）、この処理を実行する（＃７１３）。

または、画像形成装置１は、押下キー信号５Ｄをハードキーパネル１０ｋ１によって受け付けた場合は（＃７０２でＮｏ、＃７１４でＹｅｓ）、この押下キー信号５Ｄに開始終了コマンドキー１ｋｆ２が示されていなければ（＃７１５でＮｏ）、押下キー信号５Ｄおよび経過時間Ｔｒを１つのレコードとして操作ログデータ５Ｆに追記する（＃７１６）。このキーの押下に応じて実行すべき処理の決定を試みる（＃７１７）。そして、処理を決定できたら（＃７１８でＹｅｓ）、この処理を実行する（＃７１９）。

開始終了コマンドキー１ｋｆ２が押されるまで、画像形成装置１は、適宜、ステップ＃７０２〜＃７１９の処理を実行する。

そして、画像形成装置１は、開始終了コマンドキー１ｋｆ２を示す押下キー信号５Ｄを受け付けたら（＃７１５でＹｅｓ）、操作のログを記録する処理を終了する。

図１７に戻って、画像形成装置１は、再現コマンドが入力されると（＃１３でＹｅｓ）、操作ログデータ５Ｆに基づいて、ユーザの操作を再現する処理を、図１９および図２０に示す手順で実行する（＃１４）。

画像形成装置１は、操作ログデータ５Ｆを読み出し、操作ログデータ５Ｆに対応付けられている開始時画面識別子の画面を表示させる（図１９の＃７３１）。

画像形成装置１は、操作ログデータ５Ｆの上から１番目のレコードに注目する（＃７３２、＃７３３）。

注目したレコードに押下キー信号５Ｄが示される場合は（＃７３４でＹｅｓ）、画像形成装置１は、この押下キー信号５Ｄに対応するキーつまり対象キーをユーザに知らせるための処理を行う（＃７３５）。処理の手順は、図２１に示す通りである。

画像形成装置１は、対象キーがハードキーパネル１０ｋ１の下方に位置する場合は（図２１の＃７６１でＹｅｓ）、カレント画面の下方に一定以上のスペースがあれば（＃７６２でＹｅｓ）、ハードキーパネル下方画面３ＨＫ１を図１５（Ｂ）のようにカレント画面に合成して表示する（＃７６３）。このようなスペースがなければ（＃７６２でＮｏ）、ハードキーパネル下方画面３ＨＫ１を図１４（Ａ）のようにポップアップの形態で表示する（＃７６４）。ただし、現在、ハードキーパネル下方画面３ＨＫ１を表示している場合は、ステップ＃７６３、＃７６４をスキップする。

一方、対象キーがハードキーパネル１０ｋ１の右方に位置する場合は（＃７６１でＮｏ）、画像形成装置１は、カレント画面の右方に一定以上のスペースがあれば（＃７６５でＹｅｓ）、ハードキーパネル右方画面３ＨＫ２（図１４（Ｂ）参照）をカレント画面に合成して表示する（＃７６６）。このようなスペースがなければ（＃７６５でＮｏ）、ハードキーパネル右方画面３ＨＫ２をポップアップの形態で表示する（＃７６７）。ただし、現在、ハードキーパネル右方画面３ＨＫ２を表示している場合は、ステップ＃７６６、＃７６７をスキップする。

画像形成装置１は、ハードキーパネル下方画面３ＨＫ１またはハードキーパネル右方画面３ＨＫ２の中の、対象キーの画像の上に、マークを表示する（＃７６８）。この際に、対象キーが押されたことを、図１６に示したように、メッセージ４ＭＧを表示することによって知らせてもよい。または、対象キーに対応する高さのビープ音を鳴らしてもよい。

マークの表示後、所定の時間が経過したら（＃７６９でＹｅｓ）、画像形成装置１は、対象キーを知らせるための処理を終了する。ただし、次のレコードに押下キー信号５Ｄが示され、かつ、これに対応するキーが、現在の対象キーと同じ区域（下方または右方）に属する場合は（＃７７０でＹｅｓ）、ハードキーパネル下方画面３ＨＫ１またはハードキーパネル右方画面３ＨＫ２を表示したままにしておき、そうでない場合は（＃７７０でＮｏ）、ハードキーパネル下方画面３ＨＫ１またはハードキーパネル右方画面３ＨＫ２を非表示にする（＃７７１）。

図１９に戻って、注目したレコードにタッチ位置ＱＴ、タッチイベント、および経過時間Ｔｒが示される場合は（＃７３４でＮｏ）、画像形成装置１は、このタッチ位置ＱＴが属する領域の種類を判別する（＃７３９）。

この領域の種類がジェスチャ領域であれば（＃７４０でＹｅｓ）、画像形成装置１は、ジェスチャの判別を試みる（＃７４１）。ジェスチャを判別できたら（＃７４２でＹｅｓ）、このジェスチャに応じて実行すべき処理の決定を試みる（＃７４３）。処理を決定できたら（＃７４４でＹｅｓ）、この処理を、実行する（＃７４５）。

この領域の種類がシンプル操作領域であれば（＃７４０でＮｏ）、画像形成装置１は、このタッチイベントに応じて実行すべき処理の決定を試みる（＃７４６）。処理を決定できたら（＃７４７でＹｅｓ）、この処理を、実行する（＃７４８）。

未だ注目していないレコードが操作ログデータ５Ｆに残っている場合は（＃７４９でＹｅｓ）、画像形成装置１は、ステップ＃７３３に戻って、これらのレコードのうちの一番上のレコードに注目し、ステップ＃７３４〜＃７４８の処理を適宜、実行する。

図１７に戻って、操作の記録および再現以外に関するコマンドなどが入力された場合は（＃１３でＮｏ）、画像形成装置１は、従来通り、このコマンドなどに基づいて処理を実行する（＃１５）。

操作ログデータ５Ｆをサーバまたは可搬型の記録媒体（例えば、ＵＳＢメモリ）を介して他の画像形成装置１へコピーし、他の画像形成装置１において、これに基づいて操作を再現してもよい。例えば、メーカの事業所の画像形成装置１Ａによって作成者がマニュアルとして操作ログデータ５Ｆを生成し、ユーザへ配付する。ユーザは、画像形成装置１Ｂの操作ログデータ記憶部１２２（図８、図１２参照）に操作ログデータ５Ｆをコピーする。再現コマンドを入力することによって、操作を再現させる。そして、この際に表示される画面を見ることによって、操作の仕方を確認する。

ここで、複写物の綴じ代を「左綴じ」に設定して２０部の複写物を生成する場合を例に、操作ログデータ５Ｆを画像形成装置１Ａで生成し画像形成装置１Ｂで使用する際の操作、処理、および画面の遷移を説明する。

〔記録時〕
図２２〜図２４は、操作の記録時における画面の遷移および各人の操作の例を示す図である。

作成者は、図２２（Ａ）のコピーのホーム画面３Ｔが表示されているときに、ハードキーパネル１０ｋ１（図４参照）の開始終了コマンドキー１ｋｆ２を押すことによって開始コマンドを入力する。なお、ホーム画面３Ｔは、全体がシンプル操作領域である。

すると、画像形成装置１Ａは、ハードキーパネル１０ｋ１またはタッチパネル１０ｋ３に対する操作の記録を開始する。なお、記録の手順は、前に図１８で説明した通りである。すなわち、まずは、空の操作ログデータ５Ｆを用意し、その後、これに操作の内容を順次書き込む。

作成者は、ホーム画面３Ｔの中から設定ボタン４ＳＢ１をタップする。すると、画像形成装置１Ａは、作成者が設定ボタン４ＳＢ１をタップ（タッチ）している間の各時刻におけるタッチ位置ＱＴ、タッチイベント（プレス、キープ、またはリリース）、および経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。そして、ホーム画面３Ｔに代えて図２２（Ｂ）のようなコピージョブ画面３Ｃを表示する。

作成者は、バッジ列４Ｌを左から右へフリックする。すると、画像形成装置１Ａは、作成者がフリックしている間の各時刻におけるタッチ位置ＱＴ、タッチイベント、および経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。そして、バッジ列４Ｌをスクロールさせる。これにより、バッジ列４Ｌが図２２（Ｃ）のように遷移する。

作成者は、オプション機能バッジ４Ｃａをタップする。すると、画像形成装置１Ａは、作成者がオプション機能バッジ４Ｃａをタップしている間の各時刻におけるタッチ位置ＱＴ、タッチイベント、および経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。そして、図２３（Ａ）のようにコピージョブ画面３Ｃの上にダイアログボックス３ＤＢ１を表示する。

作成者は、プルダウンボタン４ＰＢをタップする。すると、画像形成装置１Ａは、作成者がプルダウンボタン４ＰＢをタップしている間の各時刻におけるタッチ位置ＱＴ、タッチイベント、および経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。そして、図２３（Ｂ）のようにダイアログボックス３ＤＢ１の上にプルダウンメニュー３ＰＭ１を表示する。

作成者は、プルダウンメニュー３ＰＭ１の中から「左綴じ」に対応する選択肢４ＳＴ１をタップする。すると、画像形成装置１Ａは、作成者が選択肢４ＳＴ１をタップしている間の各時刻におけるタッチ位置ＱＴ、タッチイベント、および経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。図２３（Ｃ）のように、選択肢４ＳＴ１を、選択されたことを表わす形態（本例では、文字の色と背景の色とを反転させた形態）に変更する。そして、タップが終わった後、所定の時間（例えば、０．５秒）が経過したら、図２４（Ａ）のようにプルダウンメニュー３ＰＭ１を閉じるとともに、複写物の綴じ代を「左綴じ」に設定する。

作成者は、ハードキーパネル１０ｋ１のファンクションキー１ｋｆ４を押す。なお、ファンクションキー１ｋｆ４は、ホーム画面３Ｔに戻るためのキーである。すると、画像形成装置１Ａは、ファンクションキー１ｋｆ４の押下キー信号５Ｄおよび経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。そして、コピージョブ画面３Ｃを閉じ、図２４（Ｂ）のように再びホーム画面３Ｔを表示する。

作成者は、テンキー１ｋｔの中の「２」および「０」のキーを順に押す。すると、画像形成装置１Ａは、図２４（Ｃ）のように部数として「２０」が示されるようにホーム画面３Ｔを更新するとともに、「２」のキーおよび「０」のキーごとの、押下キー信号５Ｄおよび経過時間Ｔｒを示すレコードを、操作ログデータ５Ｆに追記する。

作成者は、スタートキー１ｋｓを押す。すると、画像形成装置１Ａは、設定された条件に基づいて、原稿の複写を開始するとともに、スタートキー１ｋｓの押下キー信号５Ｄおよび経過時間Ｔｒを示すレコードを操作ログデータ５Ｆに追記する。

そして、作成者は、開始終了コマンドキー１ｋｆ２を押すことによって終了コマンドを入力する。すると、画像形成装置１Ａは、記録の処理を終了する。また、画像形成装置１Ａは、操作ログデータ５Ｆに、開始コマンドの入力時のカレント画面つまりホーム画面３Ｔの識別子を開始時画面識別子として対応付けておく。

以上説明した操作および処理によって、記録すなわち操作ログデータ５Ｆの生成が、完了する。

〔再現時〕
図２５〜図２９は、操作の再現時における画面の遷移の例を示す図である。

ユーザは、画像形成装置１Ｂに可搬型の記録媒体をセットし、操作ログデータ５Ｆを操作ログデータ記憶部１２２にコピーする。そして、再現コマンドを入力する。すると、画像形成装置１Ｂは、操作ログデータ５Ｆの各レコードに基づいて次の通り処理を行う。なお、画面の遷移のタイミングは、原則として、操作ログデータ５Ｆに従う。

画像形成装置１Ｂは、操作ログデータ５Ｆに対応付けられている開始時画面識別子に従って、図２５（Ａ）のようなホーム画面３Ｔを表示する。操作ログデータ５Ｆに示される、タップ（タッチ）のタイミングで、図２５（Ｂ）のように、タップを表わすマーク４ＭＡを設定ボタン４ＳＢ１の上に表示する。そして、ホーム画面３Ｔに代えて図２５（Ｃ）のようなコピージョブ画面３Ｃを表示する。

画像形成装置１Ｂは、図２６（Ａ）のように、バッジ列４Ｌをスクロールする。この際に、ユーザがタッチしていたタッチ位置ＱＴに、フリックに対応するマーク４ＭＢ１〜４ＭＢ６を表示する。

図２６（Ｂ）のようにスクロールが終わったら、画像形成装置１Ｂは、図２６（Ｃ）のように、タップに対応するマーク４ＭＣをオプション機能バッジ４Ｃａの上に表示するとともに、コピージョブ画面３Ｃの上にダイアログボックス３ＤＢ１を表示する。

画像形成装置１Ｂは、図２７（Ａ）のように、タップに対応するマーク４ＭＥを選択肢４ＳＴ１の上に表示する。そして、選択肢４ＳＴ１の形態を図２７（Ｂ）のように変更した後、図２７（Ｃ）のように、プルダウンメニュー３ＰＭ１を閉じる。

画像形成装置１Ｂは、図２８（Ａ）のように、コピージョブ画面３Ｃの上にハードキーパネル右方画面３ＨＫ２を表示する。図２８（Ｂ）のように、押下を示すマーク４ＭＦ１をファンクションキー１ｋｆ４の画像の上に表示する。なお、マーク４ＭＦ１を表示する少し前（例えば、１秒前）に、ハードキーパネル右方画面３ＨＫ２を表示するのが望ましい。表示のタイミングは、後述する図２９（Ａ）および（Ｂ）においても、同様である。

マーク４ＭＦ１の表示後、操作ログデータ５Ｆの中の、次のレコードの経過時間Ｔｒが経過したら、画像形成装置１Ｂは、ハードキーパネル右方画面３ＨＫ２とともにコピージョブ画面３Ｃを閉じて、図２８（Ｃ）のようにホーム画面３Ｔを再び表示する。ただし、この経過時間Ｔｒが所定の時間Ｔｓよりも短い場合は、所定の時間Ｔｓが経過したら、ハードキーパネル右方画面３ＨＫ２とともにコピージョブ画面３Ｃを閉じる。ハードキーパネル下方画面３ＨＫ１またはハードキーパネル右方画面３ＨＫ２を閉じるタイミングは、後述する図２９（Ａ）および（Ｂ）においても、同様である。

画像形成装置１Ｂは、図２９（Ａ）のように、ホーム画面３Ｔの上にハードキーパネル右方画面３ＨＫ２を表示する。そして、テンキー１ｋｔの中の「２」および「０」の各キーの画像の上に順次、マーク４ＭＦ２、４ＭＦ３を表示する。

マーク４ＭＦ３の表示後、画像形成装置１Ｂは、ハードキーパネル右方画面３ＨＫ２を閉じて、図２９（Ｂ）のようにハードキーパネル下方画面３ＨＫ１をホーム画面３Ｔの上に表示する。そして、スタートキー１ｋｓの画像の上にマーク４ＭＦ４を表示し、コピーの処理を開始する。

ところで、ハードキーパネル１０ｋ１の仕様が画像形成装置１Ａと画像形成装置１Ｂとでは、異なることがある。例えば、テンキー１ｋｔがオプション品であり、画像形成装置１Ａのハードキーパネル１０ｋ１には図４に示した通り備わっているが、画像形成装置１Ｂのハードキーパネル１０ｋ１には備えていない場合が、ある。

このような場合は、画像形成装置１Ｂは、テンキー１ｋｔの操作を知らせるタイミングで（図２１のステップ＃７６８、図２９（Ａ）参照）、テンキー１ｋｔが備わっていない旨のメッセージを表示してもよい。

本実施形態によると、ハードウェアキーに対する操作が含まれる場合であっても、ユーザは、従来よりも確実に、ログに基づいて再現される画面を見ながら操作の仕方を確認することができる。

本実施形態では、ハードキーパネル１０ｋ１を表わす画像を、ハードキーパネル下方画面３ＨＫ１およびハードキーパネル右方画面３ＨＫ２の２つに分けたが、３つ以上に分けてもよい。

本実施形態では、タッチパネル１０ｋ３として、指またはペンなどが直接触れたことを検知する方式のタッチパネルを用いたが、非接触式のタッチパネルを用いる場合にも、本発明を適用することができる。液晶ディスプレイ１０ｋ２の代わりに、プラズマディスプレイなど他の方式のディスプレイを用いることもできる。

その他、画像形成装置１の全体または各部の構成、処理内容、処理順序、データの構成、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 画像形成装置
１０３ タッチ応答処理決定部（処理決定手段）
１０５ ジェスチャ応答処理決定部（処理決定手段）
１０７ ハードキー応答処理決定部（処理決定手段）
１０８ 画面等制御部（表示制御手段）
１２２ 操作ログデータ記憶部（記憶手段）
１０ｋ１ ハードキーパネル
１０ｋ２ 液晶ディスプレイ
１０ｋ３ タッチパネル
５Ｆ 操作ログデータ

Claims (13)

1. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記第一の操作がなされた前記タッチパネルの位置および当該第一の操作の種類を示す第一のマーク画像、前記ハードウエアキーパネルを示すキーパネル画像、および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示す第二のマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
2. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を、前記操作ログデータに示される当該第二の操作のタイミングで前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
3. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像を前記ディスプレイの前記操作画面の中の空いている領域に表示させ、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を当該ディスプレイに表示させる、キーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
4. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を前記ディスプレイに表示させ、前記ハードウエアキーパネルを示すキーパネル画像を前記ディスプレイの前記操作画面の上にポップアップとして表示させるキーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
5. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像、および当該操作キーの名称を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
6. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと位置に応じて複数のグループのうちのいずれかにグループ化されている複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像および当該操作キーの属するグループの部分の前記ハードウエアキーパネルを示すキーパネル画像を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
7. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記操作ログデータに示される前記第二の操作があった前後の所定の時間だけ前記ハードウエアキーパネルを示すキーパネル画像を前記ディスプレイに表示させ、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を当該ディスプレイに表示させる、キーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
8. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記操作ログデータに前記第二の操作が連続して示される場合は当該連続する第二の操作のうちの最初の第二の操作のときから最後の第二の操作のときまでの期間だけ前記ハードウエアキーパネルを示すキーパネル画像を前記ディスプレイに表示させ、前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を当該ディスプレイに表示させる、キーパネル表示処理を実行する、表示制御手段と、
   を有することを特徴とする画像形成装置。
9. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
   前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶する記憶手段と、
   前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
   決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、
   前記再現モードにおいて、前記操作ログデータに示される前記第二の操作のタイミング
   で音を出力する音声出力手段、を有する、
   を有することを特徴とする画像形成装置。
10. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置であって、
    他の画像形成装置の第二のタッチパネルに対して行われた第一の操作および当該他の画像形成装置の第二のハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを取得する取得手段と、
    前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理決定手段と、
    決定した前記操作画面表示処理を実行し、前記再現モードにおいては、当該操作画面表示処理とともに、前記ハードウエアキーパネルを示すキーパネル画像および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示すマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行する、表示制御手段と、
    を有することを特徴とする画像形成装置。
11. 前記表示制御手段は、前記操作キーが前記ハードウエアキーパネルに備わっていない場合は、前記操作ログデータに示される当該操作キーへの前記第二の操作のタイミングで、メッセージを表示させる、
    請求項１０に記載の画像形成装置。
12. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置に、
    前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを記憶手段に記憶させる処理を実行させ、
    前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理を実行させ、
    決定した前記操作画面表示処理を実行させ、前記再現モードにおいては、当該操作画面表示処理とともに、前記第一の操作がなされた前記タッチパネルの位置および当該第一の操作の種類を示す第一のマーク画像、前記ハードウエアキーパネルを示すキーパネル画像、および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示す第二のマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行させる、
    ことを特徴とする表示方法。
13. ディスプレイと前記ディスプレイの表示面に設けられたタッチパネルと複数のキーからなるハードウエアキーパネルとを有し、前記タッチパネルまたは前記ハードウエアキーパネルに対して操作が行われるごとに処理を行う通常モードおよび当該操作の記録に基づいて処理を行う再現モードを備える画像形成装置に用いられるコンピュータプログラムであって、
    前記通常モードにおいて前記タッチパネルに対して行われた第一の操作および前記ハードウエアキーパネルに対して行われた第二の操作を示す操作ログデータを取得する処理を実行させ、
    前記ディスプレイに操作画面を表示させる操作画面表示処理を、前記通常モードにおいては前記第一の操作または前記第二の操作に基づいて決定し、前記再現モードにおいては前記操作ログデータに基づいて決定する処理を実行させ、
    決定した前記操作画面表示処理を実行させ、前記再現モードにおいては、当該操作画面表示処理とともに、前記第一の操作がなされた前記タッチパネルの位置および当該第一の操作の種類を示す第一のマーク画像、前記ハードウエアキーパネルを示すキーパネル画像、および前記複数のキーのうちの前記第二の操作がなされた操作キーの位置を示す第二のマーク画像を前記ディスプレイに表示させるキーパネル表示処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images