JP5737906B2 - 画像形成装置、画像形成装置の制御方法、画像表示装置、及び画像表示装置の制御方法と記憶媒体 - Google Patents

Description

本発明は、装置本体に着脱可能な操作パネルを有する画像形成装置、画像形成装置の制御方法、画像表示装置及び画像表示装置の制御方法と記憶媒体に関する。

従来、複合機などの画像形成装置では、画像形成装置本体（以下、本体）に表示部を有する操作パネルが設けられており、エラーの修復や調整を必要とする際に、その表示部にその手順等を表示している。また、本体にフィニッシャや各種排紙処理装置が装備された大型機では、この操作パネルを本体から着脱可能にしているものがある。これにより、エラーの修復や調整を行う際、その操作パネルを携帯してユーザが操作する箇所に移動し、ユーザは、その表示部に表示された操作手順を見ながら作業を行うことができる。

また近年、カメラで撮像した映像に予めＣＧ等で作成したアニメ動画などを重ねて表示することにより、あたかも実際の映像がアニメーションの様に拡張されて表現できる、いわゆる拡張現実技術が提案されている（特許文献１）。

特開２００１−９２９９５号公報

画像形成装置に各種の排紙装置や後処理装置が装着されてシステムの規模が大きくなると、オペレータに頼る操作は増える傾向にある。その一方で、ユーザの操作手順が複雑になり、専用のオペレータが設定されない装置では、マニュアルや操作パネルに表示される操作ガイドだけでは十分な保守操作ができないという問題がある。

本発明の目的は、上記従来技術の問題点を解決することにある。

本発明の特徴は、装置本体と着脱可能で無線通信可能な操作パネルに撮像手段を設け、撮像手段で撮影されて表示されている映像に、操作の案内を示す画像を合成して表示することにより、オペレータの操作性をより高めることにある。

上記目的を達成するために本発明の一態様に係る画像形成装置は以下のような構成を備える。即ち、
表示部と撮像手段、及び画像形成装置と通信可能な無線通信手段を有する操作パネルを着脱可能に装着する装着手段と、
前記操作パネルの前記無線通信手段と無線による通信が可能な通信手段と、
前記撮像手段で撮影されて前記表示部に表示されている映像から、操作対象の部位を認識する認識手段と、
前記操作パネルが前記装着手段に装着されていない状態で、前記撮像手段で撮影されて前記表示部に表示されている映像に操作方法を示す画像を合成して表示するように制御する制御手段と、を有し、
前記制御手段は、前記認識手段により認識された前記部位と、発生しているエラーとに対応する画像を合成して表示するように制御することを特徴とする。

本発明によれば、装置本体と着脱可能で無線通信可能な操作パネルを使用することにより、オペレータの操作性を格段に高めることができる。

本実施形態に係る画像形成装置を含むシステムの構成を示す概略図（Ａ）と、操作パネルを説明する図（Ｂ）。 本体、ホームポジション、操作表示パネルの制御構成を示すブロック図。 、 、 、 、 操作パネルの表示部に表示する画面の一例を示す図。 本実施形態に係る操作パネルの初期画面設定の一例を示す図。 実施形態の操作パネルの初期画面表示処理を説明するフローチャート。 操作パネルと本体との情報のやり取りを説明するシーケンス図。 実施形態の拡張現実処理（Ｓ２７）を説明するフローチャート。 、 、 拡張現実処理（Ｓ２７）における表示例を説明する図。 本実施形態に係る本体の処理を説明するフローチャート。 実施形態に係る操作パネルを使用した動作の具体例を説明する図。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。また本実施形態では、画像形成装置（画像処理装置）を例に説明するが、本発明はこれに限定されるものではない。

図１（Ａ）は、本発明の実施形態に係る画像形成装置１０００を含むシステムの構成を示す概略図である。

本実施形態に係る画像形成装置（画像処理装置）は、いわゆるプリントオンデマンド（ＰＯＤ）機で、中綴じ製本、裁断、折加工などを行うことができる様々なオプションを組み合わせることで、多彩な印刷や製本などの要求に応えることができる。ここでは、画像形成装置本体（以下、本体）１０００に対して、用紙デッキ（給紙部）５０００、バインダ（製本）６０００、フィニッシャ（裁断等）７０００を組み合わせたシステムの例を示している。

本体１０００は、ＬＡＮ８０００を介して、パーソナルコンピュータ９０００と接続されている。パーソナルコンピュータ９０００は、印刷ページの作成・編集、製本、裁断、折加工などの設定といった印刷ジョブを生成する。生成された印刷ジョブはＬＡＮ８０００を介して本体１０００に送られる。

また図１では、本体１０００に対して着脱可能な操作パネル（画像表示装置）３０００が、本体１０００上のホームポジション２０００に装着されている様子を示している。この操作パネル３０００は、ホームポジション２０００に装着されている状態では、本体から供給される電力により充電されるように構成されている。

図１（Ｂ）は、操作パネル３０００を説明する図である。

操作パネル３０００の表示面にはＬＣＤ３２００が設けられ、その裏面には撮像モジュール３１１０が実装されている。操作パネル３００をホームポジション２０００から着脱した状態で持ち運ぶことにより、ユーザは、ＬＣＤ３２００の表示画面を見ながら操作することができ、またその裏面の撮像モジュール３１１０で撮影した映像をＬＣＤ３２００に表示することができる。

尚、用紙デッキ５０００、バインダ６０００、フィニッシャ７０００などのオプションは、本発明に直接関係がないので、それらの詳細な説明を割愛する。

図２は、本体１０００、ホームポジション２０００、操作パネル３０００の構成を説明するブロック図である。以下、本体１０００、ホームポジション２０００、操作パネル３０００のそれぞれを構成するモジュールについて説明する。まず、本体１０００について説明する。

図２に示すように、本体１０００は、コントローラボード１１００、プリントエンジン１２００、スキャナ１３００、ハードディスクドライブ（ＨＤＤ）１４００、電源モジュール１５００を有している。そして、これら各部は、電源モジュール１５００から供給される電力によって動作する。

コントローラボード１１００は、ＣＰＵ１１０１、フラッシュＲＯＭ１１０２、ＲＡＭ１１０３、ネットワークインタフェースカード（ＮＩＣ）１１０４、メインチャネルコントローラ１１０５、サブチャネルコントローラ１１０６を有する。更に、ディスクコントローラ（ＤＫＣ）１１０７、スキャナインタフェース（ＳＩＦ）１１０８、プリンタインタフェース（ＰＩＦ）１１０９を備えている。これらデバイス１１０１〜１１０９のそれぞれは、バス１１１０を介してＣＰＵ１１０１と接続されている。

ＣＰＵ１１０１は、バス１１１０に接続される各デバイスを総括的に制御すると共に、フラッシュＲＯＭ１１０２及びＨＤＤ１４００に記憶された制御プログラムを実行するプロセッサである。ＲＡＭ１１０３は、ＣＰＵ１１０１の主メモリ、ワークエリアとして使用される。ＮＩＣ１１０４は、ＬＡＮ８０００を介して、パーソナルコンピュータ９０００や他の画像形成装置と双方向にデータのやり取りを行う。ＨＤＤ１４００は、ＤＫＣ１１０７を介してアクセスされ、制御プログラムを格納するだけでなく、画像の一時記憶場所としても使用される。

スキャナ１３００は、読み取りセンサや原稿搬送機構等を備える（いずれも不図示）。読み取りセンサや原稿搬送機構等は、コントローラボード１１００に実装されたＳＩＦ１１０８及びスキャナ１３００に実装されたＳＩＦ１３０１を介して、ＣＰＵ１１０１で実行されるソフトウェアに従って制御される。その結果、読み取りセンサによって原稿を読み取り、得られたデータをＳＩＦ１３０１及びＳＩＦ１１０８を介してコントローラボード１１００に転送する。

またプリントエンジン１２００は、電子写真方式の記録部や記録紙カセット、用紙搬送部等を備える（いずれも不図示）。コントローラボード１１００からは、印刷ジョブに基づく印刷要求がＰＩＦ１１０９及びプリントエンジン１２００に実装されたＰＩＦ１２０１を介して送られる。記録部や用紙搬送部等は、同様にＰＩＦ１１０９及びＰＩＦ１２０１を介して、ＣＰＵ１１０１で実行されるプログラムに基づいて制御される。その結果、印刷要求に応じた画像を用紙上に形成する。

メインチャネルコントローラ１１０５及びサブチャネルコントローラ１１０６は、本体１０００と、着脱可能な操作パネル３０００とのやり取りを行う際に使用される。詳細は後述する。

次に、ホームポジション２０００について説明する。

図２に示すように、ホームポジション２０００は、主にメインボード２１００とコネクタ２２００とを備えている。メインボード２１００は、主にＩＥＥＥ８０２．１１ｂモジュール２１０１、ｉｒＤＡモジュール２１０２、電源コントローラ２１０３を備えている。ＩＥＥＥ８０２．１１ｂモジュール２１０１は、コントローラボード１１００のメインチャネルコントローラ１１０５と接続され、コントローラボード１１００からの要求に基づいて、操作パネル３０００との無線通信を仲介する。また、ｉｒＤＡモジュール２１０２は、コントローラボード１１００のサブチャネルコントローラ１１０６と接続され、コントローラボード１１００からの要求に基づいて、操作パネル３０００との赤外線通信を仲介する。電源コントローラ２１０３は、電源モジュール１５００と接続されている。ＩＥＥＥ８０２．１１ｂモジュール２１０１やｉｒＤＡモジュール２１０２は、電源コントローラ２１０３を経由して電力の供給を受ける。また電源コントローラ２１０３は、コネクタ２２００とも接続され、操作パネル３０００のコネクタ３５００が接触状態のとき、操作パネル３０００にも電力を供給する。加えて、電源コントローラ２１０３は、電力の供給状態を監視し、ホームポジション２０００に操作パネル３０００が装着された状態にあるか否かを検出し、その検出結果をコントローラボード１１００に伝達する。

次に、操作パネル３０００について説明する。

着脱可能な操作パネル３０００は、主にメインボード３１００、表示部（ＬＣＤ）３２００、タッチパネル３３００、ボタンデバイス３４００、コネクタ３５００を具備している。メインボード３１００は、ＣＰＵ３１０１、ＩＥＥＥ８０２．１１ｂモジュール３１０２、ｉｒＤＡモジュール３１０３、電源コントローラ３１０４を有している。また更に、ディスプレイコントローラ（ＤＩＳＰＣ）３１０５、パネルコントローラ（ＰＡＮＥＬＣ）３１０６、フラッシュＲＯＭ３１０７、ＲＡＭ３１０８を有している。それぞれのモジュール３１０１〜３１０８は、コントローラボード１１００と同様に、バス（不図示）によって接続されている。

ＣＰＵ３１０１は、バスに接続される各デバイスを総括的に制御すると共に、フラッシュＲＯＭ３１０７に記憶された、制御プログラムを実行するプロセッサである。ＲＡＭ３１０８は、ＣＰＵ３１０１の主メモリ、ワークエリア、及びＬＣＤ３２００に表示するビデオデータの格納エリアとして機能する。撮像モジュール（カメラ）３１１０は、ＬＣＤ３２００の背面にその光学レンズを持ち、ＬＣＤ３２００の画面をオペレータが対象物にかざして見ると、そのＬＣＤ３２００の背面方向の映像情報をフレームバッファ３１０９に格納する。本実施形態に係る拡張実現では、このフレームバッファ３１０９に格納した映像情報をＣＰＵ３１０１を用いて認識処理する。そして、その処理した実映像情報とフラッシュＲＯＭ３１０７に予め格納されているアニメＣＧの情報とをＲＡＭ３１０８で重畳し、その結果をＬＣＤ３２００で表示する。

ディスプレイコントローラ（ＤＩＳＰＣ）３１０５は、ＣＰＵ３１０１の要求に応じて、ＲＡＭ３１０８に展開されたビデオイメージをＬＣＤ３２００へ転送するとともにＬＣＤ３２００を制御する。その結果、ＬＣＤ３２００にイメージが表示される。パネルコントローラ（ＰＡＮＥＬＣ）３１０６は、ＣＰＵ３１０１の要求に応じて、タッチパネル３３００及びボタンデバイス３４００を制御する。その制御によって、タッチパネル３３００上の押下位置や、ボタンデバイス３４００上の押下されたキーコードなどが、ＣＰＵ３１０１に返送される。電源コントローラ３１０４はコネクタ３５００と接続され、ホームポジション２０００のコネクタ２２００が接触状態のとき、本体１０００の電源モジュール１５００から電力の供給を受ける。これによって、電源コントローラ３１０４に接続された充電池３１１１を充電しながら、且つ、操作パネル３０００全体に電力を供給する。もし、電源モジュール１５００から電力が供給されないときは、充電池３１１１からの電力を操作パネル３０００全体に供給する。

ＩＥＥＥ８０２．１１ｂモジュール３１０２は、ＣＰＵ３１０１の制御に基づいて、ホームポジション２０００上のＩＥＥＥ８０２．１１ｂモジュール２１０１との無線通信を確立し、本体１０００との通信を仲介する。ｉｒＤＡモジュール３１０３は、ＣＰＵ３１０１の制御に基づいて、ホームポジション２０００上のｉｒＤＡモジュール２１０２との赤外線通信を確立し、本体１０００との通信を仲介する。

次に、本実施形態に係るメインチャネルとしての無線通信について説明する。

図２の説明で少し触れたように、本実施形態では、メインチャネルとしての無線通信は公知の技術であるＩＥＥＥ８０２．１１ｂの規格に準じて行われる。もう少し詳しく説明すると、本実施形態のシステムでは、本体１０００がアクセスポイント（ＡＰ）、操作パネル３０００が端末となるインフラストラクチャモードで無線通信が行われる。

操作パネル３０００の電波が届く範囲に複数の本体がある場合、既存のパーソナルコンピュータのように、操作パネル３０００の表示部に、通信可能な複数の本体のＥＳＳＩＤが表示され、そのうちの一つを選択できるように構成されている。

アソシエーションによって通信相手との通信が確立した後、本実施形態に係る操作パネル３０００は、画面転送方式のシンクライアントとして動作する。即ち、実処理やビデオイメージ生成のほとんどは、本体１０００のＣＰＵ１１０１で実行される。そして出来上がったビデオデータは、予め定められたプロトコルで、本体１０００から操作パネル３０００に無線で送られる。このビデオデータを受け取った操作パネル３０００のＣＰＵ３１０１は、その受信したビデオデータをＲＡＭ３１０８に展開しながら、ＤＩＳＰＣ３１０５制御してＬＣＤ３２００に画像を表示させる。

一方、操作パネル３０００のタッチパネル３３００及びボタンデバイス３４００に対するユーザの操作に関連する情報も、予め定められたプロトコルで、操作パネル３０００から本体１０００に無線で送られる。この操作に関連する情報は、例えばタッチパネル３３００の押下位置や、ボタンデバイス３４００の押下されたボタンに対応するキーコードなどを含む。操作に関連する情報を受け取った本体１０００のＣＰＵ１１０１は、送られてきた情報に基づいて個々の動作を制御し、必要に応じてビデオデータを更新し、先に説明したようにビデオデータを操作パネル３０００に送る。

以上のように、本実施形態に係るシステムは、本体１０００と操作パネル３０００とが無線通信可能なシステムである。

図３（Ａ）〜図７（Ｂ）は、操作パネル３０００のＬＣＤ３２００に表示する画面の一例を示す図である。以下、各画面について説明する。

図３（Ａ）に示す画面は、操作パネル３０００が本体１０００から取り外され、且つ、本体１０００と未通信の状態において、操作パネル３０００が表示するコピースタンバイの画面例である。尚、この画面には、コピー設定が可能であることを示すメッセージが表示されている。図３（Ｂ）に示す画面は、本体１０００が何枚印刷を行ったかを示すカウンタを表示するカウンタ確認画面例である。図４（Ａ）に示す画面は、本体１０００の前カバー、又は、左カバーが開いている状態を示すエラー画面例である。図４（Ｂ）に示す画面は、本体１０００における印刷中にジャムが発生した状態を示すエラー画面例である。図５（Ａ）に示す画面は、本体１０００のデバイス情報（カセット情報や有効な機能など）を示すデバイス情報の画面例である。図５（Ｂ）に示す画面は、本体１０００がジョブ実行中におけるジョブ状況を示すジョブ状況の画面例である。図６（Ａ）に示す画面は、本体１０００がジョブ未実行の状態におけるジョブ状況を示すジョブ状況の画面例である。図６（Ｂ）に示す画面は、本体１０００がジョブ実行中において、そのジョブ状況の詳細情報を示すジョブ詳細情報の画面例である。図７（Ａ）に示す画面は、本体１０００が実行したジョブの履歴を示すジョブ履歴の画面例である。そして図７（Ｂ）に示す画面は、操作パネル３０００と本体１０００とが通信状態であるときのコピースタンバイの画面例である。尚、図７（Ｂ）の画面には、コピーが可能であることを示すメッセージ（コピーできます）が表示されている。

次に、本発明の実施形態に関わる画像形成装置の初期画面表示について説明する。本実施形態に係る画像形成装置は、着脱可能な操作パネル３０００に、予め初期画面としてジョブ状況やジョブ履歴、カウンタ情報、エラー情報、デバイス情報などの情報表示画面を表示するよう設定しておく。そして、取り外されている操作パネル３０００が本体１０００に近づき、通信状態になった際には、上記設定に応じて初期画面を表示する。

図８は、本実施形態に係る操作パネル３０００の初期画面設定の一例を示す図である。本実施形態の初期画面設定は、図８に示す設定（１）〜設定（３）を含む。
・設定（１）の設定項目『「カウンタ確認画面」を初期画面にする』は、図３（Ｂ）のカウンタ確認画面を初期画面にするか否かを設定するものである。
・設定（２）の設定項目『「エラー状況画面」を優先にする』は、図４（Ａ）や図４（Ｂ）のエラー画面を優先して表示するか否かを設定するものである。
・設定（３）の設定項目『「システム状況画面」の初期画面の選択』は、図５（Ａ）のデバイス情報画面や、図５（Ｂ）及び図６（Ａ）のジョブ状況画面、図７（Ａ）のジョブ履歴画面を初期画面にするか否かを設定するものである。

これらの初期画面設定は、ユーザが操作パネル３０００を操作して設定することができる。そして、操作パネル３０００で設定されたこれらの初期画面設定は、操作パネル３０００のフラッシュＲＯＭ３１０７に格納される。

以下、図９〜図１１を参照して、実施形態の画像形成装置における初期画面表示処理について説明する。尚、前述した通り、本体１０００と操作パネル３０００は、メインチャネルとして、公知の技術でＩＥＥＥ８０２．１１ｂの無線通信を確立する。図９では、公知の技術である無線通信の確立に係る部分については割愛する。

図９は、実施形態の操作パネル３０００による初期画面の表示処理を説明するフローチャートである。図１０は、操作パネル３０００と本体１０００との間の情報のやり取りを示すシーケンス図である。

まず、図９及び図１０を参照して、操作パネル３０００の初期画面表示処理を説明する。尚、図９のフローチャートの各ステップは、操作パネル３０００のＣＰＵ３１０１がフラッシュＲＯＭ３１０７に記録された制御プログラムを読み出して実行することにより実現される。

まずＳ１で、操作パネル３０００のＣＰＵ３１０１は、メインチャネルの無線通信状態を判定し（通信状態判定処理）、本体１０００と無線通信中か否かを判定する。ここでメインチャネルである無線通信による通信中でないと判定した場合はＳ２に進み、ＣＰＵ３１０１は、本体１０００とメインチャネルの通信を確立するための要求（図１０のＳＱ１）を本体１０００に送信する。尚、メインチャネルの電波が届く範囲に複数の本体がある場合、操作パネル３０００側に、通信可能な複数の本体のＥＳＳＩＤが表示され、そのうちの一つをユーザに選択させ、その選択されたＥＳＳＩＤの本体に上記要求を送信するものとする。そしてＳ３に進み、ＣＰＵ３１０１は、本体１０００からの通信を許可する旨の応答を受信したかどうかで本体１０００を検出したか否かを判定し、本体１０００を検出するまでＳ２，Ｓ３の処理を繰り返す。そしてＳ３で、本体１０００を検出するとＣＰＵ３１０１は、本体１０００とのメインチャネル通信を確立してＳ４に処理を進める。Ｓ４では、ＣＰＵ３１０１は、本体１０００の装置ＩＤや有効な機能情報などの装置情報を確認する（図１０のＳＱ２）。詳しくは、ＣＰＵ３１０１は、本体１０００に装置情報確認要求（本体１０００の装置ＩＤや有効な機能などの装置情報の確認する要求）を送信して装置情報を本体１０００から受信する。そしてＳ５に処理を進める。一方、Ｓ１において、メインチャネルとしての無線通信により本体１０００と通信中であると判定した場合は、ＣＰＵ３１０１は、そのままＳ５に処理を進める。

Ｓ５では、ＣＰＵ３１０１は、操作パネル３０００が本体１０００上のホームポジション２０００に置かれ、操作パネル３０００と本体１０００とが接続されているか否かを判定する。そして、操作パネル３０００と本体１０００とが接続されていると判定した場合は、ＣＰＵ３１０１は、本フローチャートの処理を終了する。一方、操作パネル３０００と本体１０００とが接続されていないと判定した場合は、ＣＰＵ３１０１はＳ６に処理を進める。尚、Ｓ６以降では、ＣＰＵ３１０１は、フラッシュＲＯＭ３１０７に保持された初期画面設定（図８の設定（１）〜設定（３））を読み出して、それぞれの判定を行うものとする。

Ｓ６では、ＣＰＵ３１０１は、図８の設定（１）が「カウンタ確認画面」を初期画面にする設定か否かを判定する。そして、設定（１）が「カウンタ確認画面」を初期画面にする設定であると判定した場合は、ＣＰＵ３１０１はＳ７に処理を進める。Ｓ７では、ＣＰＵ３１０１は、本体１０００にカウンタ情報の取得要求を行う（図１０のＳＱ３）。そして次にＳ８に進み、ＣＰＵ３１０１は、本体１０００からカウンタ情報のデータを受信し、その受信したカウンタ情報を表示したカウンタ確認画面（例えば図３（Ｂ）の画面）を表示する。そしてＳ２５に進み、ＣＰＵ３１０１は、カウンタ確認画面（例えば図３（Ｂ）の画面）が閉じられるまで待機し、その画面が閉じられたら本フローチャートの処理を終了する。

一方、Ｓ６において、設定（１）が「カウンタ確認画面」を初期画面にしない設定であると判定した場合は、ＣＰＵ３１０１はＳ９に処理を進める。Ｓ９では、ＣＰＵ３１０１は、図８の設定（２）が「エラー状況画面」を優先表示する設定か否かを判定する。そして、設定（２）が「エラー状況画面」を優先表示する設定であると判定した場合はＣＰＵ３１０１は、Ｓ１０に処理を進める。Ｓ１０では、ＣＰＵ３１０１は、本体１０００にエラー情報の取得要求を行い（図１０のＳＱ４）、次にＳ１１に進んで、本体１０００からエラー情報のデータを受信する。そしてＳ１２で、ＣＰＵ３１０１はＳ１１で本体１０００から取得したデータ内にエラー情報が含まれている（即ち、本体１０００でエラー発生中）か否かを判定する。そして、本体１０００から取得したデータ内にエラー情報が含まれていない（本体１０００でエラー発生中でない）と判定した場合は、ＣＰＵ３１０１はＳ２６のスタンバイに処理を進める。Ｓ２６では、ＣＰＵ３１０１は、コピースタンバイ画面（例えば図７（Ｂ）の画面）を表示し、本フローチャートの処理を終了する。尚、Ｓ１２でエラー情報が含まれていない場合はＳ１４に処理を移行するように構成してもよい。一方、Ｓ１２で、本体１０００から取得したデータ内にエラー情報が含まれている（本体１０００でエラー発生中）と判定した場合は、ＣＰＵ３１０１はＳ１３に処理を進める。Ｓ１３では、ＣＰＵ３１０１は、そのエラー情報を表示するエラー画面を表示する。例えば、本体１０００の前カバー、又は、前カバーが開いているときは、そのカバーが開いている場所を示すエラー画面（例えば図４（Ａ）の画面）を表示する。また、本体１０００が印刷中にジャムが発生したときは、そのジャム発生箇所を示すエラー画面（例えば図４（Ｂ）の画面）を表示する。そしてＳ２７に進み、後述する、本実施形態の特徴であるカセットへの記録紙の補給手順を拡張現実手段を用いて実現する。そして、Ｓ２５において、ＣＰＵ３１０１は、上述のエラー画面が閉じられるまで待機し、該画面が閉じられたら本フローチャートの処理を終了する。

一方、Ｓ９において、設定（２）が「エラー状況画面」を優先表示しない設定であると判定した場合は、ＣＰＵ３１０１はＳ１４に処理を進める。Ｓ１４では、ＣＰＵ３１０１は、図８の設定（３）が「システム状況画面」として「デバイス情報画面」を初期画面にする設定か否かを判定する。そして、設定（３）が「システム状況画面」として「デバイス情報画面」を初期画面にする設定であると判定した場合は、ＣＰＵ３１０１はＳ１５に処理を進める。Ｓ１５では、本体１０００にデバイス情報の取得要求を行う（図１０のＳＱ５）。そしてＳ１６に進み、ＣＰＵ３１０１は、本体１０００からデバイス情報のデータを受信し、その受信したデータを表示したデバイス情報画面（例えば図５（Ａ）の画面）を表示する。そしてＳ２５に進み、ＣＰＵ３１０１は、上述のデバイス情報画面が閉じられるまで待機し、該画面が閉じられたら本フローチャートの処理を終了する。

一方、Ｓ１４にで、設定（３）が「システム状況画面」として「デバイス情報画面」を初期画面にしない設定であると判定した場合は、、ＣＰＵ３１０１はＳ１７に処理を進める。Ｓ１７では、ＣＰＵ３１０１は、設定（３）が「システム状況画面」として「ジョブ履歴画面」を初期画面にする設定であるか否かを判定する。そして、設定（３）が「システム状況画面」として「ジョブ履歴画面」を初期画面にする設定であると判定した場合はＳ１８に進む。Ｓ１８ではＣＰＵ３１０１は、本体１０００にジョブ履歴の取得要求を行う（図１０のＳＱ６）。そしてＳ１９に進み、ＣＰＵ３１０１は、本体１０００からジョブ履歴のデータを受信し、その受信したデータを表示したジョブ履歴画面（例えば図７（Ａ）の画面）を表示する。そしてＳ２５に進み、ＣＰＵ３１０１は、上述のジョブ履歴画面が閉じられるまで待機し、該画面が閉じられたら本フローチャートの処理を終了する。

一方、Ｓ１７で、設定（３）が「システム状況画面」として「ジョブ履歴画面」を初期画面にしない設定であると判定した場合、ＣＰＵ３１０１はＳ２０に処理を進める。Ｓ２０では、ＣＰＵ３１０１は、設定（３）が「システム状況画面」として「ジョブ状況画面」を初期画面にするか否かを判定する。そして設定（３）が「システム状況画面」として「ジョブ状況画面」を初期画面にすると判定した場合は、ＣＰＵ３１０１はＳ２１に処理を進める。Ｓ２１では、本体１０００にジョブ状況の取得要求を行う（図１０のＳＱ７）。次にＳ２２に進み、ＣＰＵ３１０１は、本体１０００からジョブ履歴のデータを受信し、次にＳ２３において、その受信したデータに基づいて実行中ジョブが存在するか否かを判定する。ここで、実行中のジョブが存在すると判定した場合は、ＣＰＵ３１０１はＳ２４に処理を進める。Ｓ２４では、ＣＰＵ３１０１は、その受信したジョブ履歴のデータを表示したジョブ状況画面（例えば図５（Ｂ）の画面）を表示する。そしてＳ２５に進み、ＣＰＵ３１０１は、上述のジョブ状況画面が閉じられるまで待機し、該画面が閉じられたら本フローチャートの処理を終了する。

一方、Ｓ２３において、実行中のジョブが存在しないと判定した場合はＣＰＵ３１０１は、Ｓ２６に処理を進める。Ｓ２６では、ＣＰＵ３１０１は、コピースタンバイ画面（例えば図７（Ｂ）の画面）を表示し、本フローチャートの処理を終了する。

次に本発明の実施形態の特徴である図９のＳ２７の処理の詳細を図１１のフローチャートを参照して詳説する。このＳ２７の処理は、例えば、上段カセットへの記録紙補充の操作ガイドを拡張現実技術を用いて実施するものである。

図１１は、操作パネル３０００による拡張現実処理（Ｓ２７）を説明するフローチャートである。尚、図１１のフローチャートの各ステップは、操作パネル３０００のＣＰＵ３１０１がフラッシュＲＯＭ３１０７に記録された制御プログラムを読み出して実行することにより実現される。

Ｓ２０１で、本体１０００からのエラー情報が紙無しを示している場合はＳ２０２に進み、ＬＣＤ３２００に表示された撮影モードキー（不図示）をオペレータが押下する事で撮影モードに切り替わったかどうかを判断する。ここで撮影モードとは、撮像モジュール３１１０で撮像した映像をＬＣＤ３２００に表示するモードである。従って、ＬＣＤ３２００を見ながら撮像モジュール３１１０を本体１０００の正面に向けて撮影すれば、記録紙を補給すべきカセットを含む映像情報が得られる。よって撮影モードであればＳ２０３に進み、フレームバッファ３１０９のフレーム画像データを一旦ＲＡＭ３１０８に格納する。

図１２〜図１４は、本実施形態の特徴である表示例を説明する図である。

こうして格納された映像情報は、例えば図１２（Ａ）に示される。ＣＰＵ３１０１は、次にＳ２０４で、この映像情報から、オペレータが記録紙を補充すべき上段カセットを認識処理する。この認識処理は、予め登録してあるカセットを図１２（Ａ）の映像の中から公知のパターンマッチング等の技術を用いて識別する。図１２（Ｂ）は、上段カセットを認識した場合を示し、その上段カセットが破線１２２２で囲んで表示されている。尚、一連の認識処理を行っても映像が上段カセットを含んでいない場合等は、上段カセットの認識ができないためＳ２０５で認識不可としてＳ２５（図９）へ分岐する。認識できた場合はＳ２０６に進み、映像自体の倍率を評価する。即ち、認識対象が所定のサイズで表示されているかどうかを判断し、そうでないときはＳ２０９に進む。Ｓ２０９では、例えば対象の表示サイズが大きすぎるときは「少し離れて撮影してください」、或いは対象の表示サイズが小さすぎるときは「もっと近寄って撮影してください」といったメッセージを、撮影された映像に重ねて表示する。

Ｓ２０６で、所定サイズであると判断するとＳ２０７に進み、予め用意してある操作ガイドのためのアニメーションのサイズを調整する。この調整は図１２（Ｂ）で認識したカセットのサイズにアニメーション中のカセットのサイズが略一致させることが目的であり、両者を重ねて透かし合成して表示する（Ｓ２０８）ために必要な処理である。図１３（Ａ）は、実際の映像とアニメーションとを重ね合わせたＬＣＤ３２００の最終表示の画面例を示す図である。尚、図１３（Ａ）のアニメーションは、上段カセットを手前に引いて所定のサイズの記録紙を補給する工程を表現している。

以上、Ｓ２７の操作ガイドのための拡張現実技術を用いた表示は、基本的にエラーが解除されるまで持続する。

次に図１３（Ｂ）〜図１４（Ａ）（Ｂ）を参照して、廃トナー容器がオーバーフローした場合のエラーの例を詳説する。

この処理の流れは、前述の図１１のフローチャートを参照して説明したのと同様に実施できるため省くが、図１１のＳ２０１で、廃トナー容器オーバーフローか否かを判断することを除いては全て同じ処理である。即ち、オペレータは装置の前カバーを開け、その全面を撮影すれば図１３（Ｂ）の映像が得られる。

Ｓ２０４の認識処理は、まず廃トナー容器の解除レバーを認識し、認識した場合は、図１４（Ａ）に示すように破線１４４４で表示する。また、この場合、交換する廃トナー容器も同様に認識し、例えば、黄色などパターンで、認識したこと及び廃トナー容器の位置をオペレータに知らせる。図１４（Ｂ）は、廃トナー容器を外す状態を示している。

尚、この場合、アニメーションは、廃トナー容器を解除するレバーを所定の角度まで回転させて廃トナー容器のロックを解除し、その後、廃トナー容器を手前に取り出す工程までを表現する。このように実際の映像中に、解除レバーや廃トナー容器と略同サイズのアニメを重ねて透かし合成するため、あたかも実際の部材が動いているように表示することができる。

尚、図１１で既に説明したが、本実施形態に係る拡張現実技術を用いた操作ガイド表示は、操作パネル３０００のＬＣＤ３２００の背面に配置した撮像モジュール３１１０の映像にＣＧ等で作成したアニメーションを重ねて表示する。このため、着脱可能な操作パネル３０００が本体１０００のホームポジション２０００に有る場合は、必然的に操作対象物が撮像モジュール３１１０を用いても撮影されることが無く、この状態で操作ガイドの表示が実施されないことは述べるまでも無い。

本実施形態に係る拡張現実技術は、画像形成装置で発生するあらゆるエラーの修復や調整にも採用できる。従って、本体１０００が検出する全てのエラー修復や調整と、操作ガイドとなるアニメーションＣＧと認識対象物とは対応付けられており、図１１のＳ２０１に類似する判断処理に従って各々選択的に用いる事になる。尚、大型機では、用紙のジャムは複数の箇所で発生する可能性があるが、その際は装置全体を映した実映像中に複数の大雑把な紙詰り位置を認識して表示する。そして、順次ジャムが発生した用紙の除去手順をガイドしてゆくことも容易に実現できる。

次に、図１５、図１６及び図１０を用いて、本体１０００のデータ処理を説明する。

図１５は、本実施形態に係る本体１０００の処理を説明するフローチャートである。尚、図１５のフローチャートの各ステップは、本体１０００のＣＰＵ１１０１がフラッシュＲＯＭ１１０２に記録された制御プログラムを読み出して実行することにより実現される。

まずＳ１０１で、本体１０００のＣＰＵ１１０１は、メインチャネルの無線通信状態を判定し（通信状態判定処理）、操作パネル３０００と無線通信中か否かを判定する。そして、メインチャネルとしての無線通信による通信中でないと判定した場合はＣＰＵ１１０１は、Ｓ１０２に処理を進める。Ｓ１０２では、ＣＰＵ１１０１は、メインチャネルでの通信を行うための処理として、ＥＳＳＩＤを含む情報をブロードキャストして、自身のＥＳＳＩＤを操作パネル３０００に告知してＳ１０３に処理を進める。Ｓ１０３では、ＣＰＵ１１０１は、操作パネル３０００からの上記要求（図１０のＳＱ１）を受信したかどうかで操作パネル３０００を検出したか否かを判定し、操作パネル３０００を検出するまでＳ１０２の処理を繰り返す。そしてＳ１０３で、操作パネル３０００を検出したと判定した場合は、ＣＰＵ３１０１は、操作パネル３０００に対して通信を許可する旨の応答を送信して操作パネル３０００とのメインチャネル通信を確立する。そしてＳ１０４に処理を進める。Ｓ１０４では、ＣＰＵ３１０１は、装置情報確認処理を行う（図１０のＳＱ２）。詳細には、ＣＰＵ３１０１は、操作パネル３０００から送信される装置情報の確認要求（本体１０００の装置ＩＤや有効な機能等の装置情報の確認要求）を受信すると、フラッシュＲＯＭ１１０２に保持される装置情報を取得して操作パネル３０００に送信する。そして、Ｓ１０５に処理を進める。尚、Ｓ１０１において、メインチャネルとしての無線通信により操作パネル３０００と通信中であると判定した場合は、そのままＳ１０５に処理を進める。

Ｓ１０５では、ＣＰＵ１１０１は、操作パネル３０００から送信されるカウンタ情報取得要求（図１０のＳＱ３）の有無を判定する。そして、カウンタ情報取得要求を受信したと判定した場合は、ＣＰＵ１１０１はＳ１０６に処理を進める。Ｓ１０６では、ＣＰＵ１０１は、本体１０００の不揮発性メモリ（例えば、フラッシュＲＯＭ１１０２やＨＤＤ１４００）に保持されるカウント情報を取得して操作パネル３０００に送信してＳ１０１に処理を戻す。

一方、Ｓ１０５でカウンタ情報の取得要求を受信していないと判定した場合はＣＰＵ１１０１はＳ１０７に処理を進める。Ｓ１０７では、ＣＰＵ１１０１は、操作パネル３０００から送信されるエラー情報の取得要求（図１０のＳＱ４）の有無を判定する。そして、エラー情報の取得要求を受信したと判定した場合は、ＣＰＵ１１０１はＳ１０８に処理を進める。Ｓ１０８では、ＣＰＵ１０１は、本体１０００で発生しているエラーのエラー情報を本体１０００の不揮発性メモリ（例えば、フラッシュＲＯＭ１１０２やＨＤＤ１４００）から取得して操作パネル３０００に送信してＳ１０１に処理を戻す。

一方、Ｓ１０７でエラー情報の取得要求を受信していないと判定した場合は、ＣＰＵ１１０１はＳ１０９に処理を進める。Ｓ１０９では、ＣＰＵ１１０１は、操作パネル３０００から送信されるデバイス情報の取得要求（図１０のＳＱ５）の有無を判定する。そして、デバイス情報の取得要求を受信したと判定した場合は、ＣＰＵ１１０１はＳ１１０に処理を進める。Ｓ１１０では、ＣＰＵ１０１は、本体１０００のデバイス情報を本体１０００の不揮発性メモリ（例えば、フラッシュＲＯＭ１１０２やＨＤＤ１４００）から取得して操作パネル３０００に送信し、Ｓ１０１に処理を戻す。一方、Ｓ１０９で、デバイス情報取得要求を受信していないと判定した場合は、ＣＰＵ１１０１はＳ１１１に処理を進める。

Ｓ１１１では、ＣＰＵ１１０１は、操作パネル３０００から送信されるジョブ履歴の取得要求（図１０のＳＱ６）の有無を判定する。そして、ジョブ履歴の取得要求を受信したと判定した場合は、ＣＰＵ１１０１はＳ１１２に処理を進める。Ｓ１１２では、ＣＰＵ１０１は、本体１０００のジョブ履歴を本体１０００の不揮発性メモリ（例えば、フラッシュＲＯＭ１１０２やＨＤＤ１４００）から取得して操作パネル３０００に送信してＳ１０１に処理を戻す。一方、Ｓ１１１でジョブ履歴の取得要求を受信していないと判定した場合は、ＣＰＵ１１０１はＳ１１３に処理を進める。Ｓ１１３では、ＣＰＵ１１０１は、操作パネル３０００から送信されるジョブ状況の取得要求（図１０のＳＱ７）の有無を判定する。そして、ジョブ状況の取得要求を受信したと判定した場合は、ＣＰＵ１１０１はＳ１１４に処理を進める。Ｓ１１４では、ＣＰＵ１０１は、本体１０００のジョブ状況を本体１０００の不揮発性メモリ（例えば、フラッシュＲＯＭ１１０２やＨＤＤ１４００）から取得して操作パネル３０００に送信してＳ１０１に処理を戻す。一方、Ｓ１１３でジョブ状況の取得要求を受信していないと判定した場合は、ＣＰＵ１１０１はそのままＳ１０１に処理を戻す。

次に図１６を用いて、実施形態に係る操作パネル３０００を使用した動作の具体例を説明する。

図１６は、実施形態に係る操作パネル３０００を使用した動作の具体例を説明する図である。

ここでは、操作パネル３０００に、予め、設定（３）の「システム状況画面」（図８）の初期画面として「ジョブ状況画面」を選択するよう設定しておくものとする。尚、設定（１）は「しない」を設定し、本体１０００にエラーは発生していないものとする。

図１６において、１６６０は、本体１０００から取り外されて非通信状態の操作パネル３０００に表示される画面を示す。本実施形態では、非通信状態では図３（Ａ）の画面が表示される。１６６１は、本体１０００から取り外されている操作パネル３０００が本体１０００に近づき、本体１０００とメインチャネル通信状態になった際の操作パネル３０００に表示される画面の一例を示す。ここでは、初期画面の設定に応じて、操作パネル３０００には、本体１０００がジョブ実行中のジョブ状況を示す画面（ジョブ状況画面）が表示されている。

尚、上記実施形態では、アニメーションの情報が操作パネル３０００のフラッシュＲＯＭ３１０７に記憶されているとして説明したが、本発明はこれに限定されるものではない。例えば、本体１０００のＨＤＤ１４００に記憶しておき、図１１のＳ２０７で、本体１０００からアニメーションの情報を操作パネル３０００に送信してアニメーションの映像を合成して表示するように制御してもよい。この場合は、本体の１０００のＣＰＵ１１０１がアニメーション（ＣＧ）を表示するための表示制御手段として機能することになる。

さらに、撮影されて表示部に表示されている映像から、操作対象の部位を認識する認識手段は操作パネル３０００だけでなく、本体１０００が有してもよい。但し、その場合は、操作パネル３０００で撮影した映像情報をメインチャネル通信で本体１０００に送信する必要がある。
（他の実施形態）
また本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

本発明の様々な例と実施形態を示して説明したが、当業者であれば、本発明の趣旨と範囲は、本明細書内の特定の説明に限定されるものではない。
尚、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

以上説明したように本実施形態によれば、オペレータが保守や調整作業を強いられる際に、本体１０００と無線通信可能でカメラ機能を有する操作パネル３０００に、画像形成装置のある特定の作業箇所周辺を撮影した映像を表示させる。そして、その映像の中から操作対象物を自動で認識し、その認識した操作対象物に予め記憶してある操作アニメーションＣＧを透かし合成して重ねて表示することにより、必要な操作を説明することができる。これによりオペレータに的確で迅速な操作を行わせることができる。

また、映像の撮影は、操作パネル３０００の背面に設けられたカメラにより行われるため、オペレータは操作対象物と操作パネル３０００の表示部の表示とを同時に見ながら作業を行うことができる。

Claims (7)

1. 表示部と撮像手段、及び画像形成装置と通信可能な無線通信手段を有する操作パネルを着脱可能に装着する装着手段と、
   前記操作パネルの前記無線通信手段と無線による通信が可能な通信手段と、
   前記撮像手段で撮影されて前記表示部に表示されている映像から、操作対象の部位を認識する認識手段と、
   前記操作パネルが前記装着手段に装着されていない状態で、前記撮像手段で撮影されて前記表示部に表示されている映像に操作方法を示す画像を合成して表示するように制御する制御手段と、を有し、
   前記制御手段は、前記認識手段により認識された前記部位と、発生しているエラーとに対応する画像を合成して表示するように制御することを特徴とする画像形成装置。
2. 前記撮像手段は、前記表示部の背面方向を撮影することを特徴とする請求項１に記載の画像形成装置。
3. 前記合成される画像は、ＣＧで作成された操作ガイドのための画像であることを特徴とする請求項１又は２に記載の画像形成装置。
4. 表示部と撮像手段、及び画像形成装置と通信可能な無線通信手段を有する操作パネルを着脱可能に装着する装着手段を有する画像形成装置の制御方法であって、
   通信手段が、前記操作パネルの前記無線通信手段と無線による通信を行う通信工程と、
   認識手段が、前記撮像手段で撮影されて前記表示部に表示されている映像から、操作対象の部位を認識する認識工程と、
   制御手段が、前記操作パネルが前記装着手段に装着されていない状態で、前記撮像手段で撮影されて前記表示部に表示されている映像に操作方法を示す画像を合成して表示するように制御する制御工程と、を有し、
   前記制御工程は、前記認識工程で認識された前記部位と、発生しているエラーとに対応する画像を合成して表示するように制御することを特徴とする画像形成装置の制御方法。
5. 表示部と撮像手段とを有し、画像形成装置と着脱可能な画像表示装置であって、
   前記画像形成装置と無線による通信が可能な無線通信手段と、
   前記画像形成装置に装着されていない状態で、前記撮像手段で撮影されている映像を前記表示部に表示する表示制御手段と、
   前記画像形成装置で発生したエラーに関する情報を取得する取得手段と、
   前記取得手段で取得した前記エラーに関する情報に基づいて、前記表示制御手段により表示されている前記映像から操作対象の部位を認識する認識手段と、
   前記エラーに関する情報に基づいて、前記認識手段で認識された前記部位に対応する操作ガイドを表す画像を前記映像に合成して表示する操作ガイド表示手段と、
   を有することを特徴とする画像表示装置。
6. 表示部と撮像手段とを有し、画像形成装置と着脱可能で当該画像形成装置と無線による通信が可能な無線通信手段を有する画像表示装置の制御方法であって、
   表示制御手段が、前記画像形成装置に装着されていない状態で、前記撮像手段で撮影されている映像を前記表示部に表示する表示制御工程と、
   取得手段が、前記画像形成装置で発生したエラーに関する情報を取得する取得工程と、
   認識手段が、前記取得工程で取得した前記エラーに関する情報に基づいて、前記表示制御工程で表示されている前記映像から操作対象の部位を認識する認識工程と、
   操作ガイド表示手段が、前記エラーに関する情報に基づいて、前記認識工程で認識された前記部位に対応する操作ガイドを表す画像を前記映像に合成して表示する操作ガイド表示工程と、
   を有することを特徴とする画像表示装置の制御方法。
7. コンピュータに、請求項４又は６に記載の制御方法の各工程を実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記憶媒体。

Images