JP6687157B2 - 表示装置および表示システム - Google Patents

Description

本発明は、表示装置および表示システムに関する。

従来、画像形成装置の操作パネルを模した仮想操作パネルを表示する表示装置が知られている。このような表示装置は、たとえば、特許文献１に開示されている。

特許文献１の表示装置は、画像形成装置に通信可能に接続され、仮想操作パネルに対する操作を検知すると、検知した操作を示す操作情報を画像形成装置に送信する。画像形成装置は、表示装置から操作情報を受信すると、受信した操作情報で示される操作に応じた処理を実行する。

特開２０１６−２０７０４８号公報

たとえば、画像形成装置のユーザー（画像形成装置の購入予定者なども含む）に対して画像形成装置に関する説明を行う場合には、ユーザーに実機を操作してもらうのが好ましい。なぜなら、画像形成装置に関する説明を行いつつ、ユーザーに実機を操作してもらうことにより、画像形成装置に関する説明を効率的に行うことができるためである。

しかし、説明を行うために準備した会場によっては、実機を会場内に搬入できない場合がある。この場合には、ユーザーに実機を操作してもらうことができないので、説明者が説明した内容をユーザーが十分に理解することができないという不都合が生じ得る。

ここで、特許文献１では、表示装置に仮想操作パネルを表示するが、仮想操作パネルに対して操作を行っても、実機が存在しなければ、当該操作によって実機の状態がどのように変化するかをユーザーは知ることができない。したがって、特許文献１の表示装置を用いても、説明者が説明した内容をユーザーが十分に理解することができないという不都合が生じ得る。

本発明は、上記課題を解決するためになされたものであり、実機が存在しなくても、画像形成装置に関する説明を効率的に行うことが可能な表示装置および表示システムを提供することを目的とする。

上記目的を達成するため、本発明の第１の局面による表示装置は、ユーザーに現実空間を視認させつつ、現実空間上に仮想画像形成装置をオーバーレイ表示する表示部と、表示部を制御する制御部と、を備える。制御部は、仮想画像形成装置に対する操作を要求する操作要求をユーザーから受け付けると、表示部に指示し、仮想画像形成装置の状態を操作要求で要求された操作が行われた場合の状態に変更させる。

本発明の第２の局面による表示システムは、上記表示装置を複数備え、複数の表示装置は、いずれかの表示装置が操作要求を受け付けると、仮想画像形成装置の状態を操作要求で要求された操作が行われた場合の状態に変更する。

本発明の構成では、ユーザーが操作要求を行うと、仮想画像形成装置の状態が操作要求で要求した操作を行った場合の状態に変更されるので、ユーザーは操作要求で要求した操作によって実機がどのような状態になるかを知ることができる。したがって、画像形成装置に関する説明を行う場合に、実機が存在しなくても、画像形成装置に関する説明を効率的に行うことができる。

本発明によれば、実機が存在しなくても、画像形成装置に関する説明を効率的に行うことができる。

本発明の一実施形態によるヘッドマウントディスプレイおよびそれを備えた表示システムの構成を示す図 本発明の一実施形態によるヘッドマウントディスプレイが行うＡＲ表示処理の流れを示すフローチャート 本発明の一実施形態によるヘッドマウントディスプレイに最初に表示される仮想画像形成装置を示す図 本発明の一実施形態によるヘッドマウントディスプレイのユーザーの視線方向を示す図 本発明の一実施形態によるヘッドマウントディスプレイのユーザーが移動したときに表示される仮想画像形成装置を示す図 本発明の一実施形態によるヘッドマウントディスプレイが位置変更操作を受け付けたときに行う表示動作を示す図 本発明の一実施形態によるヘッドマウントディスプレイが向き変更操作を受け付けたときに行う表示動作を示す図 本発明の一実施形態によるヘッドマウントディスプレイがサイズ変更操作を受け付けたときに行う表示動作を示す図 本発明の一実施形態によるヘッドマウントディスプレイが行うＡＲ表示処理の流れを示すフローチャート 本発明の一実施形態によるヘッドマウントディスプレイが仮想画像形成装置の状態を変更するときに行う表示動作を示す図（ジョブ実行状態への変更） 本発明の一実施形態によるヘッドマウントディスプレイが仮想画像形成装置の状態を変更するときに行う表示動作を示す図（ジョブ実行状態への変更） 本発明の一実施形態によるヘッドマウントディスプレイが仮想画像形成装置の状態を変更するときに行う表示動作を示す図（カセット引出状態への変更） 本発明の一実施形態によるヘッドマウントディスプレイが仮想画像形成装置の状態を変更するときに行う表示動作を示す図（ユニット開状態への変更） 本発明の一実施形態によるヘッドマウントディスプレイが複数の仮想画像形成装置を表示するときに行う表示動作を示す図 本発明の一実施形態によるヘッドマウントディスプレイが複数の仮想画像形成装置の各状態を変更するときに行う表示動作を示す図 本発明の一実施形態によるヘッドマウントディスプレイが複数の仮想画像形成装置のいずれかの状態を選択的に変更するときに行う表示動作を示す図 本発明の一実施形態によるヘッドマウントディスプレイが複数の仮想画像形成装置のいずれかの状態を選択的に変更するとき（スキャン機能に関する操作要求を受け付けたとき）に行う表示動作を示す図

＜ヘッドマウントディスプレイの構成＞
本実施形態のヘッドマウントディスプレイ１は、図１に示すような構成を有する。ヘッドマウントディスプレイ１は、眼鏡型であり、眼鏡のレンズに相当する部分に種々の画像を表示する。このため、ヘッドマウントディスプレイ１を装着した装着者（ユーザー）からは、眼前に画像が表示されたように見える。なお、ヘッドマウントディスプレイ１は「表示装置」に相当する。以下の説明では、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）をＨＭＤと略称する。

ＨＭＤ１は、表示部１１、撮像部１２、操作部１３、ＨＭＤ制御部１４、ＨＭＤ記憶部１５およびＨＭＤ通信部１６を備える。これら各部は眼鏡型のフレームに搭載される。

表示部１１は、表示を行う。表示部１１は、ＨＭＤ１を装着したユーザーの眼と対向する位置に配置さる。これにより、ユーザーの眼前に画像が表示される。たとえば、外光を透過させる光学透過型（光学シースルー型）のディスプレイ装置が表示部１１として用いられる。光学透過型のディスプレイ装置からなる表示部１１は、ハーフミラーを含み、表示すべき画像をハーフミラーによってユーザーの眼に向けて反射する。このとき、外光はハーフミラーを透過してユーザーの眼に入射する。すなわち、表示部１１は、ユーザーに現実空間を視認させつつ、現実空間上に画像をオーバーレイ表示する。ユーザーからは、表示部１１により表示された表示画像が現実空間に合成されたように見える（現実空間に表示画像が重なって見える）。

撮像部１２は、撮影を行う。撮像部１２は、ＣＣＤカメラなどを含み、ＨＭＤ１を装着したユーザーの視界方向の撮影が可能な位置に配置される。これにより、ユーザーの眼前の風景（ユーザーの眼前に広がる現実空間に存在するオブジェクト）が撮影される。ユーザーが眼前で手（指）を動かすなどのジェスチャー操作を行った場合には、ユーザーのジェスチャー操作が撮影される。撮像部１２は、撮影で得られた撮影データを出力する。

操作部１３は、ＨＭＤ１を装着したユーザーから、ＨＭＤ１による表示や撮影に関する各種設定を行うための操作を受け付ける。たとえば、当該操作を受け付けるハードウェアキーがＨＭＤ１に設けられる。なお、スマートフォンやタブレットコンピューター、ノート型パーソナルコンピューターなど、ユーザー所有の携帯情報端末をＨＭＤ１に通信可能に接続することにより、当該携帯情報端末を操作部１３として機能させることもできる。

ＨＭＤ制御部１４は、制御用のプログラムやデータに基づき動作するＣＰＵを含む。ＨＭＤ制御部１４は、ＨＭＤ１を制御するための各種処理を実行する。たとえば、ＨＭＤ制御部１４は、表示部１１による表示および撮像部１２による撮影をそれぞれ制御する。また、ＨＭＤ制御部１４は、操作部１３（あるいは、ＨＭＤ１に接続された携帯情報端末）がユーザーから受け付けた操作を検知する。

ＨＭＤ記憶部１５は、不揮発性メモリー（ＲＯＭ）および揮発性メモリー（ＲＡＭ）を含む。ＨＭＤ記憶部１５は、ＨＭＤ制御部１４（ＣＰＵ）を動作させるための制御用のプログラムやデータを記憶する。また、ＨＭＤ記憶部１５は、後述するサーバー２から受信したデータ（たとえば、画像を表示するための表示データなど）を記憶する。

ＨＭＤ通信部１６は、ＨＭＤ１を外部機器に通信可能に接続するための通信インターフェースであり、通信回路などを含む。ＨＭＤ制御部１４は、ＨＭＤ通信部１６を用いて、外部機器と通信する。

たとえば、ＨＭＤ１（ＨＭＤ通信部１６）は、インターネットやＬＡＮなどの通信ネットワークＮＴに接続される。通信ネットワークＮＴには、外部機器としてのサーバー２が接続される。そして、ＨＭＤ１とサーバー２とで表示システム１００が構築される。

なお、表示システム１００が複数のＨＭＤ１を備えてもよい。この場合、複数のＨＭＤ１はそれぞれ他のＨＭＤ１と通信可能に接続される。ＨＭＤ１間の通信は通信ネットワークＮＴを介して行われてもよいし、ＨＭＤ１間の通信が通信ネットワークＮＴを介さず直接行われてもよい。表示システム１００に含めるＨＭＤ１の台数は特に限定されず、１台でもよいし複数台でもよい。

サーバー２は、サーバー制御部２１、サーバー記憶部２２およびサーバー通信部２３を備える。サーバー２は、画像形成装置（複合機やプリンターなど）のメーカーや販売業者が管理する。たとえば、パーソナルコンピューターなどをサーバー２として用いることができる。

サーバー制御部２１は、制御用のプログラムやデータに基づき動作するＣＰＵを含む。サーバー制御部２１は、サーバー２を制御するための各種処理を実行する。

サーバー記憶部２２は、不揮発性メモリー（ＲＯＭ）および揮発性メモリー（ＲＡＭ）を含む。サーバー記憶部２２は、サーバー制御部２１（ＣＰＵ）を動作させるための制御用のプログラムやデータを記憶する。また、サーバー記憶部２２は、ＨＤＤなどの大容量の記憶デバイスを含む。

サーバー通信部２３は、サーバー２を外部機器に通信可能に接続するための通信インターフェースであり、通信回路などを含む。サーバー制御部２１は、サーバー通信部２３を用いて通信ネットワークＮＴにアクセスし、ＨＭＤ１と通信する（ＨＭＤ１との間でデータを送受信する）。

＜ＡＲ表示処理＞
（概要）
画像形成装置のメーカーや販売業者は、画像形成装置の購入予定者に対して、販売促進を行ったり、利用方法の教習を行ったりする。すなわち、画像形成装置に関する説明を行う。このときに、購入予定者や教習受講者（購入者）に対してＨＭＤ１が提供される。購入予定者や教習受講者はＨＭＤ１を装着する。すなわち、購入予定者や教習受講者がＨＭＤ１のユーザーとなる。

画像形成装置の販売促進や教習は、実物の画像形成装置（実機）を用いず、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて行われる。ＡＲ技術を用いて販売促進や教習を行うため、仮想画像形成装置（現実空間上にオーバーレイ表示するＡＲ画像）の表示データが予め作成される。たとえば、実機の装置状態が複数に分類され、複数の装置状態にそれぞれ対応する複数の表示データが表示データ情報ＤＤに含められる。ここで、複数の表示データは、後述する複数の操作情報のいずれかに対応付けられる。また、複数の表示データには、対応する実機の機種を示す識別情報が付される。１機種分の複数の表示データを含む表示データ情報ＤＤはデータベースＤＢに格納される。データベースＤＢはサーバー記憶部２２に記憶される。

販売促進や教習の対象となり得る機種が複数存在する場合には、機種ごとに仮想画像形成装置の表示データが作成される。そして、複数の機種にそれぞれ対応する複数の表示データ情報ＤＤがデータベースＤＢに格納される。以下の説明では、販売促進や教習の対象となり得る機種が複数存在するとする。

また、販売促進や教習を行う会場には、ＡＲマーカーを配した領域が存在する。ＡＲマーカーは「基準マーカー」に相当する。たとえば、ＱＲコード（登録商標）がＡＲマーカーとして用いられる。販売促進や教習で使用する会場にもよるが、ＡＲマーカーを記録媒体（カードなど）に印刷し、当該記録媒体を会場内に配してもよい。

販売促進や教習の準備が整うと、販売促進や教習の実施者（画像形成装置に関する説明を行う説明者）はＨＭＤ１を装着したユーザーに対し、ＡＲマーカーの方に視線を向けるよう指示する。このとき、撮像部１２は撮影を行っている。したがって、撮像部１２によりＡＲマーカーが撮影される。

ＨＭＤ制御部１４は、撮像部１２がＡＲマーカーを撮影すると、販売促進や教習に関する処理（販売促進や教習を支援する処理）を行う。言い換えると、ＨＭＤ制御部１４は、ＡＲ技術を用いて仮想画像形成装置を表示するＡＲ表示処理を行う。

以下に、図２に示すフローチャートを参照し、ＨＭＤ制御部１４が最初に行うＡＲ表示処理の流れを説明する。

図２に示すフローチャートのスタート時点では、撮像部１２がＡＲマーカーを撮影しているとする。そして、撮像部１２が撮影した撮影データからＨＭＤ制御部１４がＡＲマーカーを検出すると、図２に示すフローチャートがスタートする。

ステップＳ１において、ＨＭＤ制御部１４は、ＡＲマーカーに埋め込まれた各種情報を認識する。ＡＲマーカーには、表示すべき仮想画像形成装置に対応する機種を示す識別情報が埋め込まれる。すなわち、ここでは、ＨＭＤ制御部１４によって識別情報が認識される。

ステップＳ２において、ＨＭＤ制御部１４は、仮想画像形成装置の表示データを取得するため、ＨＭＤ通信部１６を用いて、サーバー２に送信要求を送信する。サーバー２への送信要求には、ステップＳ１の処理で認識した識別情報が含められる。

送信要求（識別情報を含む）を受信したサーバー２は、受信した識別情報で示される機種に対応する表示データ情報ＤＤ（１機種分の複数の表示データを含む情報）から基本表示データを抽出する。そして、サーバー２は、基本表示データをＨＭＤ１に送信する。

たとえば、１機種分の複数の表示データ（複数の装置状態にそれぞれ対応する複数の表示データ）の中には、実機がジョブを実行している状態（シートを搬送し排出している状態）を仮想的に表示するための表示データ、実機に設置された用紙カセット（「可動部材」に相当）が初期位置から移動されている状態（引き出されている状態）を仮想的に表示するための表示データ、および、実機に設置された原稿搬送ユニット（「可動部材」に相当）が初期位置から移動されている状態（開けられている状態）を仮想的に表示するための表示データなどが存在する。このうち、実機がジョブを実行していない状態であって、原稿搬送ユニットや用紙カセットなどの可動部材が初期位置に設置された状態である基本状態の実機を仮想的に表示するための表示データが基本表示データとされる。

サーバー２から送信された基本表示データをＨＭＤ通信部１６が受信すると、ステップＳ３において、ＨＭＤ制御部１４は、基本表示データに基づく仮想画像形成装置（ＡＲ画像）を表示部１１に表示させる。表示部１１は、ユーザーに現実空間（会場内）を視認させつつ、現実空間上に仮想画像形成装置をオーバーレイ表示する。

このとき、ＨＭＤ制御部１４は、撮像部１２が撮影した撮影データに基づき、表示部１１の表示領域内でのＡＲマーカーの位置（座標）を認識する。そして、ＨＭＤ制御部１４は、当該認識した位置に仮想画像形成装置が表示されるよう表示部１１を制御する。

また、ＨＭＤ制御部１４は、撮像部１２が撮影した撮影データに基づき、表示部１１の表示領域内でのＡＲマーカーの向きを認識する。そして、ＨＭＤ制御部１４は、当該認識した向きと仮想画像形成装置の向きとが一致するよう表示部１１による仮想画像形成装置の表示を制御する。

また、ＨＭＤ制御部１４は、撮像部１２が撮影した撮影データに基づき、表示部１１の表示領域内でのＡＲマーカーの大きさを認識する。そして、ＨＭＤ制御部１４は、当該認識した大きさに基づき、ユーザーから見て仮想画像形成装置が実物大となるよう表示部１１による仮想画像形成装置の表示を制御する。

特に限定されないが、ＡＲマーカーはＱＲコード（登録商標）であり、ＨＭＤ制御部１４は、ＡＲマーカー内の３隅に存在するシンボルの位置、向きおよび大きさに基づき、表示部１１の表示領域内でのＡＲマーカーの位置、向きおよび大きさを認識する。言い換えると、ＨＭＤ制御部１４は、ＡＲマーカー内の３隅に存在するシンボルの位置、向きおよび大きさに基づき、表示部１１に表示させる仮想画像形成装置の位置、向きおよび大きさを設定する。

たとえば、図３上図に示すように、会場内の所定領域にＡＲマーカーが配されているとする。図３上図では、ＡＲマーカーに符号３０を付す。ＨＭＤ１がＡＲ表示処理を行っていない状態では、ユーザーからは所定領域に実機が設置されていないように見える。

そして、図３下図に示すように、ＨＭＤ１によるＡＲ表示処理が行われると、ＨＭＤ１に仮想画像形成装置が表示される。図３下図では、仮想画像形成装置に符号４０を付す。ＨＭＤ１が仮想画像形成装置４０を表示すると、実機は所定領域に設置されていないが、ユーザーからは所定領域に実機が設置されているように見える。

図３下図では、一例として、仮想画像形成装置４０のモデルとなった実機が複合機である場合を図示する。当該複合機には、用紙を収容する用紙カセットが着脱可能に設置されるとともに、原稿を搬送する原稿搬送ユニットが開閉可能に設置される。そして、当該複合機は、ジョブの実行時に、シート（用紙あるいは原稿）を搬送し排出する。

たとえば、図３下図に示した向きで仮想画像形成装置４０が表示されているとき、図４に示す位置Ｐ１から位置Ｐ２にユーザーが移動したとする。すなわち、ユーザーが右手方向に移動したとする。なお、図４では、ユーザーの視線方向を破線矢印で示す。

この場合、表示部１１の表示領域内でのＡＲマーカー３０の向きが変わる。このため、ＨＭＤ制御部１４は、ＡＲマーカー３０の向きと仮想画像形成装置４０の向きとが一致するよう仮想画像形成装置４０の向きを再設定する。その結果、ＨＭＤ１に表示される仮想画像形成装置４０の向きは、図５上図（図３下図に相当）に示す状態から、図５下図に示す状態に変更される。

なお、仮想画像形成装置４０の表示位置、表示向き（表示角度）および表示サイズの少なくとも１つを任意に変更することが可能であってもよい。たとえば、表示位置を変更する位置変更操作、表示向きを変更する向き変更操作、および、表示サイズを変更するサイズ変更操作にそれぞれ対応する３つのジェスチャー操作が予め定められる。各変更操作のいずれかに対応するジェスチャー操作をユーザーが眼前で行うと、ユーザーが行ったジェスチャー操作が撮像部１２により撮影される。ＨＭＤ制御部１４は、撮像部１２が撮影した撮影データに基づきユーザーが行ったジェスチャー操作を検知し、位置変更操作、表示向き変更操作およびサイズ変更操作のいずれをユーザーが行ったかを判断する。

たとえば、表示部１１は、各変更操作を受け付けるためのボタン画像（仮想ボタン）を表示する。そして、ＨＭＤ制御部１４は、当該ボタン画像に対するジェスチャー操作（たとえば、当該ボタン画像を仮想的に叩くような操作）を変更操作として受け付ける。

ユーザーが位置変更操作を行ったと判断した場合、ＨＭＤ制御部１４は、図６に示すように、仮想画像形成装置４０を移動させる処理を表示部１１に行わせる。ユーザーが向き変更操作を行ったと判断した場合、ＨＭＤ制御部１４は、図７に示すように、仮想画像形成装置４０を回転させる処理を表示部１１に行わせる。ユーザーがサイズ変更操作を行ったと判断した場合、ＨＭＤ制御部１４は、図８に示すように、仮想画像形成装置４０を拡大（縮小でもよい）する処理を表示部１１に行わせる。たとえば、ＨＭＤ制御部１４は、変更操作の受け付け後、所定時間が経過すると、仮想画像形成装置４０を変更前の状態に戻す。あるいは、ＨＭＤ制御部１４は、予め定められた復帰操作（ジェスチャー操作でもよいし操作部１３に対する操作でもよい）が行われたことを検知すると、仮想画像形成装置４０を変更前の状態に戻す。

（仮想画像形成装置に対する仮想的な操作）
ＨＭＤ１が仮想画像形成装置を表示しているとき、ユーザーは仮想画像形成装置を仮想的に操作することができる。言い換えると、ユーザーは仮想画像形成装置に対する操作を要求する操作要求を行うことができる。ユーザーが操作要求を行うと、ユーザー要求の操作が仮想画像形成装置に対して行われたように仮想画像形成装置の状態が変更される。

たとえば、予め定められたジェスチャー操作が操作要求に対応付けられる。ジェスチャー操作と操作要求との対応関係を示す情報はＨＭＤ記憶部１５に記憶される。ＨＭＤ制御部１４は、操作要求に対応付けられたジェスチャー操作をユーザーが行ったことを検知すると、当該検知したジェスチャー操作を操作要求として受け付ける。そして、ＨＭＤ制御部１４は、現在表示中の仮想画像形成装置から、ユーザー要求の操作（ユーザーから受け付けた操作要求で要求された操作）が行われた状態の仮想画像形成装置への表示変更を表示部１１に行わせる。なお、仮想画像形成装置に対して仮想的に行うことが可能な操作（操作要求で要求可能な操作）は複数存在する。

以下に、図９に示すフローチャートを参照し、表示部１１が基本表示データに基づく仮想画像形成装置の表示を開始して以降にＨＭＤ制御部１４が行うＡＲ表示処理の流れを説明する。

図９に示すフローチャートのスタート時点では、表示部１１が基本表示データに基づく仮想画像形成装置を表示しているとする。それ以降、仮想画像形成装置を仮想的に操作したいユーザーは眼前でジェスチャー操作を行う。このときのユーザーのジェスチャー操作は撮像部１２により撮影され、当該撮影で得られた撮影データがＨＭＤ制御部１４に出力される。ＨＭＤ制御部１４は、撮像部１２が撮影した撮影データに基づき、操作要求に対応付けられたジェスチャー操作をユーザーが行ったか否かを判断する。その結果、操作要求に対応付けられたジェスチャー操作をユーザーが行ったとＨＭＤ制御部１４が判断したとき、図９に示すフローチャートがスタートする。

ステップＳ１１において、ＨＭＤ制御部１４は、ユーザーが行ったジェスチャー操作に対応する操作要求を認識する。言い換えると、ＨＭＤ制御部１４は、ユーザーが仮想画像形成装置に対してどのような操作を仮想的に行ったかを認識する。

ステップＳ１２において、ＨＭＤ制御部１４は、ステップＳ１１の処理で認識した操作要求で要求された操作（ユーザーが仮想画像形成装置に対して仮想的に行った操作）を示す操作情報を送信要求に含める。送信要求には、現在表示中の仮想画像形成装置（ユーザーが仮想的に操作した仮想画像形成装置）に対応する機種を示す識別情報も含められる。そして、ＨＭＤ制御部１４は、ＨＭＤ通信部１６を用いて、識別情報および操作情報を含む送信要求をサーバー２に送信する。

送信要求（識別情報および操作情報を含む）を受信したサーバー２は、受信した識別情報に対応する表示データ情報ＤＤから、受信した操作情報に対応する表示データを抽出する。そして、サーバー２は、抽出した表示データをＨＭＤ１に送信する。このときに、ｐｉｎｇパケットに対する応答パケットから求められるパケットロス率に基づき、ＨＭＤ１とサーバー２との間の通信状況の確認が行われてもよい。通信状況が悪い場合には、サーバー２からＨＭＤ１への表示データの再送が行われる。

サーバー２から送信された表示データをＨＭＤ通信部１６が受信すると、ステップＳ１３において、ＨＭＤ制御部１４は、当該表示データに基づく仮想画像形成装置（ＡＲ画像）を表示部１１に表示させる。表示部１１は、ユーザーに現実空間（会場内）を視認させつつ、当該表示データに基づく仮想画像形成装置を現実空間上にオーバーレイ表示する。

たとえば、図３下図に示した仮想画像形成装置４０がＨＭＤ１に表示されているとき、ユーザーが操作要求を行ったとする。また、このときの操作要求で要求された操作（ユーザーが仮想画像形成装置４０に対して行った仮想的な操作）がジョブの実行を指示するスタート操作であったとする。この場合、ＨＭＤ１に表示される仮想画像形成装置４０の状態は、図１０上図（図３下図に相当）に示す状態から、図１０下図に示す状態に変更される。

具体的には、ユーザーからの操作要求で要求された操作がスタート操作であれば、サーバー２からＨＭＤ１に対し、ジョブを実行しているジョブ実行状態の仮想画像形成装置４０の表示データ（ジョブ実行状態の表示データ）が送信される。ジョブ実行状態の表示データは、対応する実機から排出されるシート（たとえば、印刷済み用紙）を模した仮想シート４０ｓのＡＲ画像を含む表示データであり、仮想シート４０ｓを搬送し排出している状態の仮想画像形成装置４０を表示するための表示データである。

ＨＭＤ制御部１４は、ＨＭＤ通信部１６がジョブ実行状態の表示データを受信すると、ジョブ実行状態の表示データに基づくＡＲ表示を表示部１１に行わせる。これにより、仮想画像形成装置４０の状態が仮想シート４０ｓを搬送し排出している状態に変更される。すなわち、ＨＭＤ制御部１４は、表示部１１に指示し、仮想画像形成装置４０の状態を操作要求で要求された操作が行われた場合の状態に変更させる。

なお、ジョブ実行状態の表示データはアニメーションの表示データであり、ＨＭＤ制御部１４は、仮想画像形成装置４０が仮想シート４０ｓを搬送し排出している状態のアニメーションを表示部１１に表示させる。このとき、ＨＭＤ制御部１４は、対応する機種のシート搬送速度と同じ速度で仮想画像形成装置４０が仮想シート４０ｓを搬送し排出している状態となるよう表示部１１を制御する。特に限定されないが、仮想画像形成装置４０が仮想シート４０ｓを搬送し排出しているように表示するため、仮想画像形成装置４０の一部として表示された仮想排出トレイ４０ｔ上に仮想シート４０ｓを配し、仮想排出トレイ４０ｔ上の仮想シート４０ｓを所定間隔で点滅させてもよい。

たとえば、ＨＭＤ制御部１４は、仮想画像形成装置４０の一部として表示された仮想操作パネル４０ｐの所定箇所（たとえば、スタートキーに対応する箇所）に対するジェスチャー操作（たとえば、仮想操作パネル４０ｐの所定箇所を叩くような操作）を操作要求として受け付ける。そして、ＨＭＤ制御部１４は、当該受け付けた操作要求に対応する操作がスタート操作であると認識する。

あるいは、図１１に示すように、ＨＭＤ制御部１４は、仮想画像形成装置４０とは別に仮想入力装置５０を表示部１１に表示させる。たとえば、仮想入力装置５０はノート型パーソナルコンピューターをモデルとしたＡＲ画像である。そして、ＨＭＤ制御部１４は、仮想入力装置５０の所定箇所（たとえば、キーボードに対応する箇所）に対するジェスチャー操作（たとえば、仮想入力装置５０の所定箇所を叩くような操作）を操作要求として受け付ける。そして、ＨＭＤ制御部１４は、当該受け付けた操作要求に対応する操作がスタート操作であると認識する。

別の例として、ユーザーからの操作要求で要求された操作が用紙カセットを引き出す引出操作（「移動操作」に相当）であったとする。この場合、サーバー２からＨＭＤ１に対し、用紙カセットが引き出されているカセット引出状態の仮想画像形成装置４０の表示データ（カセット引出状態の表示データ）が送信される。カセット引出状態の表示データに基づくＡＲ表示が行われることによって、ＨＭＤ１に表示される仮想画像形成装置４０の状態は、図１２上図（図３下図に相当）に示す状態から、図１２下図に示す状態に変更される。すなわち、カセット引出状態の仮想画像形成装置４０がＨＭＤ１に表示される。

たとえば、ＨＭＤ制御部１４は、仮想用紙カセット４０ｃに対するジェスチャー操作（たとえば、手を前後に動かす操作）を操作要求として受け付ける。そして、ＨＭＤ制御部１４は、当該受け付けた操作要求に対応する操作が引出操作であると認識する。

また、別の例として、ユーザーからの操作要求で要求された操作が原稿搬送ユニットを開ける開操作（「移動操作」に相当）であったとする。この場合、サーバー２からＨＭＤ１に対し、原稿搬送ユニットが開けられているユニット開状態の仮想画像形成装置４０の表示データ（ユニット開状態の表示データ）が送信される。ユニット開状態の表示データに基づくＡＲ表示が行われることによって、ＨＭＤ１に表示される仮想画像形成装置４０の状態は、図１３上図（図３下図に相当）に示す状態から、図１３下図に示す状態に変更される。すなわち、ユニット開状態の仮想画像形成装置４０がＨＭＤ１に表示される。

たとえば、ＨＭＤ制御部１４は、仮想原稿搬送ユニット４０ｄに対するジェスチャー操作（たとえば、手を上下に動かす操作）を操作要求として受け付ける。そして、ＨＭＤ制御部１４は、当該受け付けた操作要求に対応する操作が開操作であると認識する。

本実施形態のＨＭＤ１（表示装置）は、上記のように、ユーザーに現実空間を視認させつつ、現実空間上に仮想画像形成装置４０をオーバーレイ表示する表示部１１と、表示部１１を制御するＨＭＤ制御部１４（制御部）と、を備える。ＨＭＤ制御部１４は、仮想画像形成装置４０に対する操作を要求する操作要求をユーザーから受け付けると、表示部１１に指示し、仮想画像形成装置４０の状態を操作要求で要求された操作が行われた場合の状態に変更させる。

この構成では、ユーザーが操作要求を行うと、仮想画像形成装置４０の状態が操作要求で要求した操作を行った場合の状態に変更されるので、ユーザーは操作要求で要求した操作によって実機がどのような状態になるかを知ることができる。したがって、画像形成装置に関する説明を行う場合に、実機が存在しなくても、画像形成装置に関する説明を効率的に行うことができる。

また、本実施形態では、上記のように、ＨＭＤ制御部１４は、操作要求で要求された操作がスタート操作であった場合、仮想画像形成装置４０の状態を仮想画像形成装置４０が仮想シート４０ｓを搬送し排出している状態に変更させる。このとき、ＨＭＤ制御部１４は、仮想画像形成装置４０のモデルとなった実機のシート搬送速度と同じ速度で仮想画像形成装置４０が仮想シート４０ｓを搬送し排出している状態となるよう表示部１１を制御する。この構成では、ユーザーは実機の性能（印刷速度）を確認することができる。言い換えると、ユーザーは実機を設置（購入）した場合の生産性を確認することができる。

また、本実施形態では、上記のように、ＨＭＤ制御部１４は、仮想画像形成装置４０の一部として仮想操作パネル４０ｐを表示部１１に表示させ、撮像部１２が撮影した撮影データに基づき仮想操作パネル４０ｐに対するジェスチャー操作が行われたことを検知すると当該検知したジェスチャー操作を操作要求として受け付けるとともに、当該受け付けた操作要求で要求された操作がスタート操作であると認識する。あるいは、ＨＭＤ制御部１４は、仮想画像形成装置４０とは別体の仮想入力装置５０を表示部１１に表示させ、撮像部１２が撮影した撮影データに基づき仮想入力装置５０に対するジェスチャー操作が行われたことを検知すると当該検知したジェスチャー操作を操作要求として受け付けるとともに、当該受け付けた操作要求で要求された操作がスタート操作であると認識する。なお、通常では、実機に設置された操作パネルや実機に接続された入力装置に対して操作を行うことによって実機にてジョブが実行される。したがって、この構成では、仮想画像形成装置４０の状態をジョブ実行状態に変更したい場合にどのような操作を行えばよいかが分かり易くなる。

また、本実施形態では、上記のように、ＨＭＤ制御部１４は、仮想画像形成装置４０のモデルとなった実機の用紙カセット（可動部材）に対応する仮想用紙カセット４０ｃ（仮想可動部材）を仮想画像形成装置４０の一部として表示部１１に表示させ、操作要求で要求された操作が引出操作（移動操作）であった場合、仮想画像形成装置４０の状態をカセット引出状態（仮想可動部材が移動された状態）に変更させる。また、ＨＭＤ制御部１４は、仮想画像形成装置４０のモデルとなった実機の原稿搬送ユニット（可動部材）に対応する仮想原稿搬送ユニット４０ｄ（仮想可動部材）を仮想画像形成装置４０の一部として表示部１１に表示させ、操作要求で要求された操作が開操作（移動操作）であった場合、仮想画像形成装置４０の状態をユニット開状態（仮想可動部材が移動された状態）に変更させる。この構成では、ユーザーは用紙カセットが引き出された実機の状態や原稿搬送ユニットが開けられた実機の状態を知ることができる。

また、本実施形態では、上記のように、ＨＭＤ制御部１４は、撮像部１２が撮影したＡＲマーカー３０（基準マーカー）の位置、向きおよび大きさに基づき、表示部１１に表示させる仮想画像形成装置４０の位置、向きおよび大きさを設定する。このとき、ＨＭＤ制御部１４は、ユーザーから見て仮想画像形成装置４０が実物大となるよう仮想画像形成装置４０の大きさを設定する。この構成では、実機のサイズを確認することができる。たとえば、ユーザー所望の設置場所に実機を設置できるか否かの確認や、実機を設置した場合の雰囲気を確認することができる。

（複数の仮想画像形成装置を表示する場合の処理）
販売促進や教習を行う会場に配するＡＲマーカーの個数は特に限定されない。一会場内に複数のＡＲマーカー３０が配される場合もある。

たとえば、図１４上図に示すように、複数のＡＲマーカー３０が配された会場内において、ＨＭＤ１を装着したユーザーが複数のＡＲマーカー３０に視線を向けたことにより、撮像部１２が複数のＡＲマーカー３０を撮影したとする。この場合、図１４下図に示すように、ＨＭＤ制御部１４は、複数の仮想画像形成装置４０を表示部１１に表示させる。なお、複数の仮想画像形成装置４０にそれぞれ対応する各機種が同じであってもよいし異なっていてもよい。図１４下図では、対応する機種が互いに異なる２つの仮想画像形成装置４０Ａおよび４０Ｂが表示されている場合を図示する。仮想画像形成装置４０Ａに対応する実機はスキャン機能およびプリント機能を搭載した複合機であり、仮想画像形成装置４０Ｂに対応する実機はスキャン機能が非搭載のプリンターである。

そして、表示部１１が複数の仮想画像形成装置４０を表示している状態で、ユーザーから操作要求を受け付けたとＨＭＤ制御部１４が判断したとする。この場合、ＨＭＤ制御部１４は、表示部１１に指示し、複数の仮想画像形成装置４０の各状態を操作要求で要求された操作が行われた場合の状態に変更させる。

一例として、図１４下図に示した状態において、操作要求が行われたとする。また、操作要求で要求された操作がスタート操作であったとする。

この場合、ＨＭＤ制御部１４は、サーバー２に対し、操作要求で要求された操作を示す操作情報、仮想画像形成装置４０Ａに対応する機種の識別情報（ここでは、符号Ａを付す）、および、仮想画像形成装置４０Ｂに対応する機種の識別情報（ここでは、符号Ｂを付す）を含む送信要求を送信する。その結果、サーバー２からＨＭＤ１に対し、識別情報Ａに対応するジョブ実行状態の表示データ、および、識別情報Ｂに対応するジョブ実行状態の表示データが送信される。

これにより、ＨＭＤ１に表示される仮想画像形成装置４０Ａおよび４０Ｂの各状態は、図１５上図（図１４下図に相当）に示す状態から、図１５下図に示す状態に変更される。すなわち、仮想画像形成装置４０Ａの状態が仮想シート４０ｓを搬送し排出している状態に変更され、同様に、仮想画像形成装置４０Ｂの状態も仮想シート４０ｓを搬送し排出している状態に変更される。

この構成では、ジェスチャー操作（操作要求）を１回行うだけで、複数の仮想画像形成装置４０の全ての状態を一括して変更させることができるので、ユーザーの利便性が向上する。

なお、ＨＭＤ制御部１４は、操作要求の受け付け前に、複数の仮想画像形成装置４０のうち操作要求の対象とする仮想画像形成装置４０の選択をユーザーから受け付ける。当該選択を受け付けた場合、ＨＭＤ制御部１４は、表示部１１に指示し、複数の仮想画像形成装置４０のうち選択された仮想画像形成装置４０の状態だけを操作要求で要求された操作が行われた場合の状態に変更させる。

一例として、図１４下図に示した状態において、複数の仮想画像形成装置４０のうち仮想画像形成装置４０Ａが選択され、操作要求が行われたとする。また、操作要求で要求された操作がスタート操作であったとする。

この場合、ＨＭＤ制御部１４は、サーバー２に対し、操作要求で要求された操作を示す操作情報、および、仮想画像形成装置４０Ａに対応する機種の識別情報Ａを含む送信要求を送信する。その結果、サーバー２からＨＭＤ１に対し、識別情報Ａに対応するジョブ実行状態の表示データが送信される。

これにより、ＨＭＤ１に表示される仮想画像形成装置４０Ａの状態は、図１６上図（図１４下図に相当）に示す状態から、図１６下図に示す状態に変更される。すなわち、仮想画像形成装置４０Ａの状態が仮想シート４０ｓを搬送し排出している状態に変更される。一方で、仮想シート４０ｓを搬送し排出している状態の仮想画像形成装置４０Ｂを表示するための表示データは存在しない。したがって、仮想画像形成装置４０Ｂの状態は変更されない。

この構成では、ＨＭＤ１に複数の仮想画像形成装置４０が表示されていても、いずれかの仮想画像形成装置４０の状態だけを選択的に変更させることができるので、ユーザーの利便性が向上する。

ここで、図１４下図に示す例では、仮想画像形成装置４０Ａに対応する機種（複合機）はスキャン機能を搭載している一方で、仮想画像形成装置４０Ｂに対応する機種（プリンター）はスキャン機能を搭載していない。この場合、スキャン機能（「所定機能に相当」に関する操作要求を行っても、仮想画像形成装置４０Ｂの状態は変更されない。なお、仮想画像形成装置４０Ａの状態については、操作要求で要求した操作が行われた場合の状態に変更される。

一例として、図１４下図に示した状態において、スキャン機能に関する操作要求が行われたとする。たとえば、スキャン機能に関する操作要求で要求された操作は開操作（原稿搬送ユニットを開ける操作）である。

この場合、ＨＭＤ制御部１４は、操作要求で要求された操作である開操作を示す操作情報、仮想画像形成装置４０Ａに対応する機種の識別情報Ａ、および、仮想画像形成装置４０Ｂに対応する機種の識別情報Ｂを含む送信要求を送信する。ここで、識別情報Ａに対応する複数の表示データの中には、開操作を示す操作情報に対応する表示データ（ユニット開状態の表示データ）が存在する。一方で、識別情報Ｂに対応する複数の表示データの中には、開操作を示す操作情報に対応する表示データが存在しない。したがって、サーバー２からＨＭＤ１に対しては、識別情報Ａに対応するユニット開状態の表示データだけが送信される。

これにより、ＨＭＤ１に表示される仮想画像形成装置４０Ａの状態は、図１７上図（図１４下図に相当）に示す状態から、図１７下図に示す状態に変更される。すなわち、仮想画像形成装置４０Ａの仮想原稿搬送ユニット４０ｄが開けられた状態に変更される。一方で、仮想画像形成装置４０Ｂの状態は変更されない。

（複数のＨＭＤを使用する場合の処理）
たとえば、複数人の教習受講者が存在する場合には、複数人の教習受講者がそれぞれＨＭＤ１を装着する。すなわち、ＨＭＤ１のユーザーが複数となる。また、説明者もＨＭＤ１を装着する（当該説明者もＨＭＤ１のユーザーである）。このように複数のＨＭＤ１を使用する場合には、いずれかのＨＭＤ１に表示された仮想画像形成装置の状態を変更したとき、同様に、他のＨＭＤ１に表示された仮想画像形成装置の状態も変更することができる。

たとえば、図１０上図に示すような仮想画像形成装置４０が各ユーザーのＨＭＤ１に表示されているとする。そして、この状態で、或るユーザーが操作要求を行ったとする。また、当該ユーザーからの操作要求で要求された操作がスタート操作であったとする。ここでは、操作要求を受け付けたＨＭＤ１を要求受付ＨＭＤ１と称する。

要求受付ＨＭＤ１のＨＭＤ制御部１４は、サーバー２に対し、操作要求で要求された操作を示す操作情報、および、仮想画像形成装置４０に対応する機種の識別情報を含む送信要求を送信する。

送信要求を受けたサーバー２は、受信した識別情報に基づき、要求受付ＨＭＤ１と同じ仮想画像形成装置４０を現在表示しているＨＭＤ１（同期対象ＨＭＤ１と称する）を認識する。たとえば、各ＨＭＤ１は、現在表示中の仮想画像形成装置４０に対応する機種の識別情報をサーバー２に送信する。したがって、サーバー２は、各ＨＭＤ１から受信した識別情報に基づき、同期対象ＨＭＤ１を認識することができる。

サーバー２は、要求受付ＨＭＤ１および同期対象ＨＭＤ１の全てに対し、受信した操作情報に対応する表示データを送信する。これにより、要求受付ＨＭＤ１に表示されている仮想画像形成装置４０の状態が変更され、同様に、同期対象ＨＭＤ１に表示されている仮想画像形成装置４０の状態も変更される。すなわち、要求受付ＨＭＤ１および同期対象ＨＭＤ１は、それぞれ、図１０下図に示すような仮想画像形成装置４０を表示する。

この構成では、たとえば、１人の説明者が複数人の教習受講者に対して画像形成装置に関する説明を行う場合、当該説明者がジェスチャー操作（操作要求）を１回行うだけで、複数人の教習受講者の全てのＨＭＤ１に表示された仮想画像形成装置４０が操作要求で要求した操作を行った場合の状態に変更されるので、利便性が良い。

今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記実施形態では、ＨＭＤ１とサーバー２とを用いる場合について説明したが、サーバー２の機能をＨＭＤ１に搭載し、サーバー２を省略してもよい。この場合、ＨＭＤ１だけで本発明を実現することができる（ＨＭＤ１とサーバー２との間の通信が不要となる）。また、サーバー２の処理能力が低い場合には、複数のサーバー２を用いてもよい。

また、上記実施形態では、ＨＭＤ１を用いる例を示したが、ＨＭＤ１に代えて、スマートフォンやタブレットコンピューターを用いることもできる。

また、ＨＭＤ１により空間認識が可能な場合には、ＡＲマーカー３０を利用するのではなく、空間認識機能を利用して、仮想画像形成装置４０などのオブジェクトを配置する仕組みとしてもよい。

Claims (14)

1. ユーザーに現実空間を視認させつつ、前記現実空間上に仮想画像形成装置をオーバーレイ表示する表示部と、
   前記表示部を制御する制御部と、を備え、
   前記制御部は、前記仮想画像形成装置に対する操作を要求する操作要求をユーザーから受け付けると、前記表示部に指示し、前記仮想画像形成装置の状態を前記操作要求で要求された操作が行われた場合の状態に変更させ、
   前記表示部は、複数の前記仮想画像形成装置を表示し、
   前記制御部は、前記操作要求を受け付けると、前記表示部が表示している複数の前記仮想画像形成装置の各状態を前記操作要求で要求された操作が行われた場合の状態に変更させることを特徴とする表示装置。
2. 前記仮想画像形成装置は、ジョブの実行時にシートを搬送し排出する画像形成装置をモデルとしており、
   前記制御部は、前記操作要求で要求された操作がスタート操作であった場合、前記仮想画像形成装置の状態を前記仮想画像形成装置が仮想シートを搬送し排出している状態に変更させることを特徴とする請求項１に記載の表示装置。
3. 前記制御部は、前記仮想画像形成装置のモデルとなった画像形成装置のシート搬送速度と同じ速度で前記仮想画像形成装置が前記仮想シートを搬送し排出している状態となるよう前記表示部を制御することを特徴とする請求項２に記載の表示装置。
4. ユーザーのジェスチャー操作を撮影する撮像部を備え、
   前記制御部は、前記仮想画像形成装置の一部として仮想操作パネルを前記表示部に表示させ、前記撮像部が撮影した撮影データに基づき前記仮想操作パネルに対するジェスチャー操作が行われたことを検知すると当該検知したジェスチャー操作を前記操作要求として受け付けるとともに、当該受け付けた前記操作要求で要求された操作が前記スタート操作であると認識することを特徴とする請求項２に記載の表示装置。
5. ユーザーのジェスチャー操作を撮影する撮像部を備え、
   前記制御部は、前記仮想画像形成装置とは別に仮想入力装置を前記表示部に表示させ、前記撮像部が撮影した撮影データに基づき前記仮想入力装置に対するジェスチャー操作が行われたことを検知すると当該検知したジェスチャー操作を前記操作要求として受け付けるとともに、当該受け付けた前記操作要求で要求された操作が前記スタート操作であると認識することを特徴とする請求項２に記載の表示装置。
6. 前記制御部は、前記仮想画像形成装置のモデルとなった画像形成装置の可動部材に対応する仮想可動部材を前記仮想画像形成装置の一部として前記表示部に表示させ、前記操作要求で要求された操作が移動操作であった場合、前記仮想画像形成装置の状態を前記仮想可動部材が移動された状態に変更させることを特徴とする請求項１に記載の表示装置。
7. 前記現実空間に配された基準マーカーを撮影する撮像部を備え、
   前記制御部は、前記撮像部が撮影した前記基準マーカーの位置、向きおよび大きさに基づき、前記表示部に表示させる前記仮想画像形成装置の位置、向きおよび大きさを設定することを特徴とする請求項１に記載の表示装置。
8. ユーザーに現実空間を視認させつつ、前記現実空間上に仮想画像形成装置をオーバーレイ表示する表示部と、
   前記表示部を制御する制御部と、を備え、
   前記制御部は、前記仮想画像形成装置に対する操作を要求する操作要求をユーザーから受け付けると、前記表示部に指示し、前記仮想画像形成装置の状態を前記操作要求で要求された操作が行われた場合の状態に変更させ、
   前記表示部は、所定機能が搭載された画像形成装置をモデルとした第１の前記仮想画像形成装置と、前記所定機能が搭載されていない画像形成装置をモデルとした第２の前記仮想画像形成装置とを表示し、
   前記制御部は、前記操作要求で要求された操作が前記所定機能に関する操作であった場合、第１の前記仮想画像形成装置の状態を前記操作要求で要求された操作が行われた場合の状態に変更させる一方、第２の前記仮想画像形成装置の状態については変更させないことを特徴とする表示装置。
9. 前記仮想画像形成装置は、ジョブの実行時にシートを搬送し排出する画像形成装置をモデルとしており、
   前記制御部は、前記操作要求で要求された操作がスタート操作であった場合、前記仮想画像形成装置の状態を前記仮想画像形成装置が仮想シートを搬送し排出している状態に変更させることを特徴とする請求項１１に記載の表示装置。
10. 前記制御部は、前記仮想画像形成装置のモデルとなった画像形成装置のシート搬送速度と同じ速度で前記仮想画像形成装置が前記仮想シートを搬送し排出している状態となるよう前記表示部を制御することを特徴とする請求項１４に記載の表示装置。
11. ユーザーのジェスチャー操作を撮影する撮像部を備え、
    前記制御部は、前記仮想画像形成装置の一部として仮想操作パネルを前記表示部に表示させ、前記撮像部が撮影した撮影データに基づき前記仮想操作パネルに対するジェスチャー操作が行われたことを検知すると当該検知したジェスチャー操作を前記操作要求として受け付けるとともに、当該受け付けた前記操作要求で要求された操作が前記スタート操作であると認識することを特徴とする請求項１４に記載の表示装置。
12. ユーザーのジェスチャー操作を撮影する撮像部を備え、
    前記制御部は、前記仮想画像形成装置とは別に仮想入力装置を前記表示部に表示させ、前記撮像部が撮影した撮影データに基づき前記仮想入力装置に対するジェスチャー操作が行われたことを検知すると当該検知したジェスチャー操作を前記操作要求として受け付けるとともに、当該受け付けた前記操作要求で要求された操作が前記スタート操作であると認識することを特徴とする請求項１４に記載の表示装置。
13. 前記制御部は、前記仮想画像形成装置のモデルとなった画像形成装置の可動部材に対応する仮想可動部材を前記仮想画像形成装置の一部として前記表示部に表示させ、前記操作要求で要求された操作が移動操作であった場合、前記仮想画像形成装置の状態を前記仮想可動部材が移動された状態に変更させることを特徴とする請求項１１に記載の表示装置。
14. 前記現実空間に配された基準マーカーを撮影する撮像部を備え、
    前記制御部は、前記撮像部が撮影した前記基準マーカーの位置、向きおよび大きさに基づき、前記表示部に表示させる前記仮想画像形成装置の位置、向きおよび大きさを設定することを特徴とする請求項１１に記載の表示装置。

Images