JP6631573B2 - 表示装置および表示システム - Google Patents

Description

本発明は、操作パネルを操作するユーザーを支援する表示装置および表示システムに関する。

従来、ヘッドマウントディスプレイを用いて、操作パネルを操作するユーザーを支援する技術が提案されている（たとえば、特許文献１参照）。特許文献１では、操作パネルとヘッドマウントディスプレイとが連携動作するよう構成される。具体的に、特許文献１では、操作パネルに一度に表示しきれない画面が主画面と副画面とに分割される。そして、操作パネルは主画面を表示し、ヘッドマウントディスプレイは副画面を表示する。

特開２０１６−１１０３７９号公報

操作パネルには、複数種のソフトウェアボタン（アイコン）が表示されるとともに、複数種のハードウェアボタンが設置される。そして、ボタンの位置や形状（アイコンの絵柄も含む）は操作パネルのメーカーや仕様によって異なる。したがって、或る操作パネルに慣れたユーザーからすると、別の操作パネルは使い難いと感じる場合がある。たとえば、ユーザーが操作パネルに慣れていなければ、目的のボタンを見つけるのに時間がかかるなどの不都合が生じ得る。

ここで、特許文献１では、操作パネルとヘッドマウントディスプレイとを連携動作させる（操作パネルに主画面を表示させヘッドマウントディスプレイに副画面を表示させる）ことによって、操作パネルの操作性を向上させようとしている。しかし、ユーザーが実際に操作する操作パネルに慣れていなければ、特許文献１のように操作パネルとヘッドマウントディスプレイとを連携動作させても、操作パネルの操作性はそれほど向上しない。

本発明は、上記課題を解決するためになされたものであり、操作パネルの操作性を向上させることが可能な表示装置および表示システムを提供することを目的とする。

上記目的を達成するため、本発明の第１の局面による表示装置は、ユーザーにより実際に操作される操作パネルである対象操作パネルをユーザーに視認させつつ画像を表示する表示部と、対象操作パネルを撮影し対象操作パネルの撮影データを出力するカメラ部と、ユーザー指定の操作パネルであるユーザー指定パネルに存在するボタンを模したボタン画像の表示データを記憶するとともに、ボタン画像と対象操作パネルに存在するボタンである対象ボタンとの対応関係を定義した対応関係情報を記憶する記憶部と、対象操作パネルの撮影データに基づき対象ボタンを認識するとともに、対応関係情報において対応するボタン画像が定義された対象ボタンを第１ボタンとして判別し、第１ボタンに対応するボタン画像を第１ボタンと重なるように表示部に表示させる表示処理を行う制御部と、を備える。

本発明の第２の局面による表示システムは、上記表示装置と、表示装置と通信可能に接続され、それぞれが予め登録された操作パネルである複数種の登録操作パネルの各特徴点を示すパネル情報を記憶するとともに、複数種の登録操作パネルのそれぞれごとに対応関係情報を記憶するサーバーと、を備える。そして、制御部は、対象操作パネルの撮影データから対象操作パネルの特徴点を抽出するとともに、複数種の登録操作パネルのうち対象操作パネルと特徴点が同じ登録操作パネルに対応する対応関係情報の送信要求をサーバーに送信し、サーバーから受信した対応関係情報に基づき表示処理を行う。

本発明の構成では、対象操作パネルの対象ボタン（第１ボタン）と重なるようにボタン画像が表示される。ここで、ボタン画像はユーザー指定パネルに存在するボタンを模した画像である。したがって、ユーザーが使い慣れた操作パネルをユーザー指定パネルに指定すれば、ユーザーからは対象ボタン（第１ボタン）が使い慣れたボタンに置換されたように見える。これにより、対象操作パネルの操作性を向上させることができる。また、ユーザーからすると、対象操作パネルのメーカーや仕様が以前使用していた操作パネルとは異なっていても、対象ボタンに割り当てられた機能と対象ボタンの形状（アイコンの絵柄も含む）とを対応付けて覚え直す必要がないので、利便性が良い。

本発明によれば、操作パネルの操作性を向上させることができる。

本発明の一実施形態による表示システムの構成を示す図 機能選択画面を表示している操作パネルを示す図 図２に示した操作パネルが項目選択画面を表示しているときの図 本発明の一実施形態による表示システムが行う処理の流れを示す図 本発明の一実施形態による表示システムが行う表示処理で用いる対応関係情報について説明するための図 本発明の一実施形態による表示システムが表示処理を行っているときのユーザーからの見え方を示す図 本発明の一実施形態による表示システムが表示処理を行っているときのユーザーからの見え方を示す図 本発明の一実施形態による表示システムが表示処理を行っているときのユーザーからの見え方を示す図 本発明の一実施形態による表示システムが表示処理を行っているときのユーザーからの見え方を示す図 本発明の一実施形態による表示システムが表示処理を行っているときのユーザーからの見え方を示す図 本発明の一実施形態による表示システムがユーザーから受け付けるサイズ変更操作について説明するための図

＜表示システムの構成＞
図１に示すように、本実施形態の表示システム１は、ヘッドマウントディスプレイ２およびサーバー３を備える。ヘッドマウントディスプレイ２およびサーバー３は、インターネットなどの広域ネットワークＮＴを介して互いに通信可能に接続される。なお、ヘッドマウントディスプレイ２は「表示装置」に相当する。以下の説明では、ヘッドマウントディスプレイをＨＭＤと称する。

ＨＭＤ２は、画像形成装置（複合機や複写機などの印刷装置）のユーザーにより装着される。たとえば、当該画像形成装置は、コピー機能、スキャンデータを外部機器に送信する送信機能、スキャンデータを自機に保存するボックス機能、および、ＵＳＢメモリーから直接印刷するＵＳＢダイレクトプリント機能など複数種の機能が搭載された複合機である。以下の説明では、ＨＭＤ２を装着したユーザーが実際に使用する画像形成装置に符号４を付す。

ＨＭＤ２は、眼鏡型であり、眼鏡のレンズに相当する部分に画像を表示する（ユーザーの眼前に画像を表示する）。また、ＨＭＤ２は、ユーザーの眼前の風景（物体）を撮影する。画像形成装置４がユーザーの眼前に存在する場合には、ＨＭＤ２によって画像形成装置４の撮影が行われる。

ＨＭＤ２は、表示部２１、カメラ部２２、操作部２３、ＨＭＤ制御部２４、ＨＭＤ記憶部２５およびＨＭＤ通信部２６を備える。ＨＭＤ制御部２４は「制御部」に相当し、ＨＭＤ記憶部２５は「記憶部」に相当する。

表示部２１は、ユーザーがＨＭＤ２を装着したときに、ユーザーの眼と対向する位置に配置される。そして、表示部２１は、ユーザーの眼前に種々の画像を表示する。特に限定されないが、外光を透過させることが可能な光学透過型（光学シースルー型）のディスプレイ装置が表示部２１として用いられる。

たとえば、表示部２１は、ハーフミラーを含み、表示画像をハーフミラーによってユーザーの目に向けて反射する。このとき、外光はハーフミラーを透過してユーザーの目に入射する。したがって、ユーザーがＨＭＤ２を装着した場合（ユーザーの眼前がＨＭＤ２によって塞がれた場合）であっても、ユーザーは外部の風景（物体）を視認することができる。すなわち、表示部２１は、ユーザーに眼前の風景を視認させつつユーザーの眼前に画像を表示する。

カメラ部２２は、ＣＣＤカメラなどを含み、ＨＭＤ２を装着したユーザーの視界方向の撮影が可能な位置に配置される。カメラ部２２は、撮影によって得られた撮影データを出力する。操作部２３は、各種設定を行うための操作を受け付ける。

ＨＭＤ制御部２４は、制御用のプログラムやデータに基づき動作するＣＰＵを含み、ＨＭＤ２を制御するための各種処理を実行する。ＨＭＤ記憶部２５は、不揮発性メモリー（ＲＯＭ）および揮発性メモリー（ＲＡＭ）を含み、ＨＭＤ制御部２４（ＣＰＵ）を動作させるためのプログラムやデータを記憶する。後述するパネル操作支援サービスをユーザーが利用するときには、ボタン画像情報５０および対応関係情報７０がＨＭＤ記憶部２５に記憶された状態で、パネル操作支援サービスに関する各種処理がＨＭＤ制御部２４よって行われる。

ＨＭＤ通信部２６は、ＨＭＤ２を外部機器に通信可能に接続するための通信インターフェースであり、通信用回路などを含む。ＨＭＤ制御部２４は、ＨＭＤ通信部２６を用いてネットワークＮＴにアクセスし、サーバー３と通信する（サーバー３との間で情報を送受信する）。また、ＨＭＤ制御部２４は、ＨＭＤ通信部２６を用いて画像形成装置４と通信する（画像形成装置４との間で情報を送受信する）。ＨＭＤ２と画像形成装置４との間では、近距離無線通信や無線ＬＡＮ通信などの通信規格に準拠した無線通信が行われる。

サーバー３は、サーバー制御部３１、サーバー記憶部３２およびサーバー通信部３３を備える。なお、サーバー３は、後述するパネル操作支援サービスの提供者によって管理される。

サーバー制御部３１は、制御用のプログラムやデータに基づき動作するＣＰＵを含み、サーバー３を制御するための各種処理を実行する。サーバー記憶部２５は、ＲＯＭおよびＲＡＭを含み、サーバー制御部３１を動作させるためのプログラムやデータを記憶する。また、サーバー記憶部３２は、ＨＤＤなど大容量の記憶デバイスを含む。当該記憶デバイスには、後述するパネル操作支援サービスに用いるパネル情報６０および対応関係情報７０が記憶される。

サーバー通信部３３は、サーバー３を外部機器に通信可能に接続するための通信インターフェースであり、通信用回路などを含む。サーバー制御部３１は、サーバー通信部３３を用いてネットワークＮＴにアクセスし、ＨＭＤ２と通信する（ＨＭＤ２との間で情報を送受信する）。

＜操作パネル＞
画像形成装置４は、図２および図３に示すような操作パネル４０を備える。操作パネル４０は、画像形成装置４のユーザー（ＨＭＤ２を装着したユーザー）により操作される。

操作パネル４０は、種々の操作をユーザーから受け付けるためのボタンＢを複数含む。たとえば、操作パネル４０は、使用する機能を選択する機能選択操作や、選択した機能の設定項目（設定値の変更が可能な設定項目）を選択する項目選択操作などの選択操作をユーザーから受け付ける。また、操作パネル４０は、コピージョブなどのジョブの実行および停止を指示する指示操作や、操作パネル４０に入力された設定値のリセットを指示する指示操作をユーザーから受け付ける。ここで挙げた操作は一例であり、他にも、種々の操作の受け付けが操作パネル４０によって行われる。

操作パネル４０に存在するボタンＢの形態は様々であり、操作パネル４０に設けられたタッチパネルディスプレイ４０Ｔにソフトウェアボタン（アイコン）を表示し、ソフトウェアボタンに対するタッチ操作を選択操作や指示操作としてユーザーから受け付ける場合がある。あるいは、操作パネル４０に設置されたハードウェアボタンに対する押下操作を選択操作や指示操作としてユーザーから受け付ける場合もある。以下の説明では、ソフトウェアボタンに符号ＳＢを付すとともにハードウェアボタンに符号ＨＢを付し、それぞれをソフトボタンおよびハードボタンと略称する。なお、図２および図３に示す操作パネル４０のボタンＢは一例であり、ボタンＢの個数や形状、ボタンＢに割り当てる機能などは特に限定されない。

まず、操作パネル４０に表示されるソフトボタンＳＢについて説明する。

操作パネル４０は、画像形成装置４の起動後、図２に示すような機能選択画面４１を初期画面（ホーム画面）として表示する。機能選択画面４１には、機能選択操作を受け付けるためのソフトボタンＳＢが複数配される。図３には、一例として、コピー機能（Ｃｏｐｙ）、送信機能（Ｓｅｎｄ）、ボックス機能（Ｂｏｘ）およびＵＳＢダイレクトプリント機能（ＵＳＢ）の各機能に対応する４つのソフトボタンＳＢが配された機能選択画面４１を図示する。以下、コピー機能のソフトボタンＳＢに符号Ｂ１を付し、送信機能のソフトボタンＳＢに符号Ｂ２を付し、ボックス機能のソフトボタンＳＢに符号Ｂ３を付し、ＵＳＢダイレクトプリント機能のソフトボタンＳＢに符号Ｂ４を付して説明する場合がある。

操作パネル４０は、機能選択画面４１の表示中、複数のソフトボタンＳＢのいずれかに対するタッチ操作を受けると（機能が選択されると）、選択された機能の設定項目を選択する項目選択操作を受け付けるための項目選択画面４２（図３参照）を表示する。項目選択画面４２には、項目選択操作を受け付けるためのソフトボタンＳＢが複数配される。

たとえば、ユーザーがコピー機能を選択したとする。この場合には、図３に示すようなコピー機能の項目選択画面４２が操作パネル４０に表示される。コピー機能の項目選択画面４２には、項目選択操作を受け付けるためのソフトボタンＳＢが複数配される。図３には、一例として、用紙選択、縮小／拡大、濃度およびページ集約の各設定項目に対応する４つのソフトボタンＳＢが配された項目選択画面４２を図示する。

操作パネル４０は、項目選択画面４２の表示中、複数のソフトボタンＳＢのいずれかに対するタッチ操作を受けると（設定項目が選択されると）、選択された設定項目の設定値を設定するための設定画面（図示せず）を表示する。たとえば、ユーザーが用紙選択を選択した場合には、ジョブで使用する用紙サイズを設定するための設定画面が操作パネル４０に表示される。

次に、操作パネル４０に設置されたハードボタンＨＢについて説明する。

操作パネル４０には、ハードボタンＨＢとして、スタートボタン、ストップボタンおよびリセットボタンが設置される。スタートボタンおよびストップボタンは、それぞれ、ジョブの実行指示および停止指示を受け付けるためのハードボタンＨＢである。リセットボタンは、操作パネル４０に入力された設定値のリセット指示を受け付けるためのハードボタンＨＢである。

さらに、操作パネル４０には、ハードボタンＨＢとして、ホームボタン（家のマークが付されたボタン）およびシステムボタン（「システム」という文字列が付されたボタン）が設置される。ホームボタンに対して押下操作を行った場合には、操作パネル４０の表示画面が機能選択画面４１（すなわち、ホーム画面）に遷移する。システムボタンに対して押下操作を行った場合には、操作パネル４０にシステムメニュー（図示せず）が表示される。

＜パネル操作支援サービス＞
操作パネルに存在するボタンの位置や形状（ソフトボタンとしてのアイコンの絵柄も含む）は、画像形成装置のメーカーによって異なる。あるいは、同一メーカーであっても、画像形成装置の種類（どのような機能が搭載されているか）によって、操作パネルに存在するボタンの位置や形状が異なる。

したがって、或る画像形成装置の操作パネル（ここでは、操作パネルＡとする）に慣れたユーザーからすると、別の画像形成装置の操作パネル（ここでは、操作パネルＢとする）は使い難いと感じる場合がある。なぜなら、操作パネルＢに存在するボタンの位置や形状が操作パネルＡとは異なるためである。たとえば、操作パネルＡに慣れたユーザーが操作パネルＢを備えた画像形成装置を用いてコピーを行おうとしたとき、コピー機能のボタン（機能選択操作を受け付けるためのボタン）の位置や形状が操作パネルＡと操作パネルＢとで異なっていれば、コピー機能のボタンを見つけるのに時間がかかる場合がある。

このような場合、パネル操作支援サービスを利用すれば、操作性を向上させることができる。たとえば、パネル操作支援サービスの提供者から専用アプリケーションを取得しＨＭＤ２にインストールすることにより、パネル操作支援サービスの利用が可能となる。

パネル操作支援サービスをユーザーに提供するため、ボタン画像情報５０の生成がサービス提供者によって行われ、パネル操作支援サービスの提供を受けるユーザーが使用するＨＭＤ２のＨＭＤ記憶部２５に予め記憶される（図１参照）。ボタン画像情報５０は、ユーザー指定の操作パネル（ユーザーが使い慣れた操作パネル）であるユーザー指定パネルに存在するボタンを模したボタン画像の表示データを含む。

たとえば、ユーザー指定パネルが表示し得るソフトボタン（アイコン）を模したボタン画像の表示データがボタン画像情報５０に含められる。なお、ユーザー指定パネルが表示し得る全てのソフトボタンについて対応するボタン画像の表示データを生成する必要はなく、ユーザーが選択したソフトボタンに対応するボタン画像の表示データだけを生成しボタン画像情報５０に含めてもよい。また、ユーザー指定パネルに設置されたハードボタンを模したボタン画像の表示データをボタン画像情報５０に含めてもよい。

また、パネル操作支援サービスの提供者が管理するサーバー３は、それぞれがサービス提供者により予め登録された操作パネルでありメーカーおよび仕様が互いに異なる複数種の登録操作パネルの各特徴点を示すパネル情報６０を記憶する（図１参照）。パネル情報６０では、複数種の登録操作パネルのそれぞれについて、操作パネルの輪郭、ボタンの形状や色、ボタンに付された記号（文字および数字を含む）およびボタンの位置などの特徴点が定義される。

さらに、サーバー３は、ユーザー指定パネルに存在するボタンを模したボタン画像と登録操作パネルに存在するボタンとの対応関係を定義した対応関係情報７０を記憶する（図１参照）。なお、対応関係情報７０は登録操作パネルごとに存在し、複数種の登録操作パネルにそれぞれ対応する複数の対応関係情報７０がデータベースＤＢに格納される。

たとえば、ユーザー指定パネルにコピー機能のボタン（ここでは、コピーボタンと称する）が存在する場合、登録操作パネルに存在するボタンのうちユーザー指定パネルのコピーボタンと同じ機能が割り当てられたボタンがコピーボタンのボタン画像に対応するボタンとして定義される。登録操作パネルに存在しユーザー指定パネルには存在しないボタンについては、対応するボタン画像は定義されない。また、登録操作パネルには存在しないユーザー指定パネルのボタンについては、当該ボタンのボタン画像に対応する登録操作パネルのボタンは定義されない。

パネル操作支援サービスの提供を受けるとき、ユーザーはＨＭＤ２を装着し、実際に操作しようとしている操作パネルに近づく（ユーザーが操作パネルを視認する）。以下の説明では、ユーザーが実際に操作しようとしている操作パネルが操作パネル４０（図２および図３参照）であるとする。この場合、操作パネル４０が「対象操作パネル」に相当し、以下の説明では操作パネル４０を対象操作パネル４０と称する。

ユーザーが対象操作パネル４０に近づくと、ＨＭＤ２のカメラ部２２によって対象操作パネル４０の撮影が行われ、対象操作パネル４０の撮影データがカメラ部２２からＨＭＤ制御部２４に出力される。そして、このとき、パネル操作支援サービスのアプリケーションが起動していれば、図４に示すフローチャートに沿った処理がＨＭＤ制御部２４によって行われる。

具体的には、ステップＳ１において、ＨＭＤ制御部２４は、撮影データ中の対象操作パネル４０の検知を行う。たとえば、ＨＭＤ制御部２４は、撮影データに対して所定の画像認識処理（文字認識処理を含む）を行うことによって対象操作パネル４０を検知する。また、このとき、ＨＭＤ制御部２４は、対象操作パネル４０の特徴点（たとえば、対象操作パネル４０の輪郭、ボタンＢの形状や色、ボタンＢに付された記号およびボタンＢの位置など）を示す特徴点情報を抽出する。

そして、ステップＳ２において、ＨＭＤ制御部２４は、対象操作パネル４０と特徴点が同じ登録操作パネルに対応する対応関係情報７０の送信要求をサーバー３に送信する。このとき、ＨＭＤ制御部２４は、対象操作パネル４０の特徴点を示す特徴点情報を送信要求に含める。送信要求を受信したサーバー３は、パネル情報６０に基づき対象操作パネル４０と同じ特徴点（特徴点情報で示される特徴点）を有する登録操作パネルを認識するとともに、当該認識した登録操作パネルに対応する対応関係情報７０をデータベースＤＢから抽出し、当該抽出した対応関係情報７０をＨＭＤ２に送信する。

ＨＭＤ２がサーバー３から対応関係情報７０を受信すると、ステップＳ３において、ＨＭＤ制御部２４は、サーバー３から受信した対応関係情報７０をＨＭＤ記憶部２５に記憶する。なお、ＨＭＤ制御部２４は、ＨＭＤ記憶部２５に記憶した対応関係情報７０に対応する登録操作パネルを対象操作パネル４０と認識する。その後、ステップＳ４において、ＨＭＤ制御部２４は、ＨＭＤ記憶部２５に記憶した対応関係情報７０に基づき表示処理を行う。

以下に、ＨＭＤ制御部２４により行われる表示処理について説明する。

まず、図５を参照し、対象操作パネル４０に存在するボタンＢ（以下、対象ボタンＢと称する）とボタン画像との対応関係について、図２に示す対象操作パネル４０に表示された対象ボタンＢ（Ｂ１〜Ｂ４）を例にとって説明する。以下の説明では、ボタン画像に符号１００を付す。

図５に示す例では、対象操作パネル４０に存在する対象ボタンＢのうち、コピー機能の対象ボタンＢ１、送信機能の対象ボタンＢ２およびボックス機能の対象ボタンＢ３がボタン画像１００に対応付けられている。コピー機能の対象ボタンＢ１はボタン画像１０１に対応し、送信機能の対象ボタンＢ２はボタン画像１０２に対応し、ボックス機能の対象ボタンＢ３はボタン画像１０３に対応する。

また、図５に示す例では、ＵＳＢダイレクトプリント機能の対象ボタンＢ４にはボタン画像１００が対応付けられていない。すなわち、ＵＳＢダイレクトプリント機能の対象ボタンＢ４と同じ機能が割り当てられたボタンがユーザー指定パネルには存在しないということである。

さらに、図５に示す例では、対象ボタンＢが対応付けられていないボタン画像１００が存在する。当該ボタン画像１００はユーザー指定パネルに存在するファックス機能のボタンを模した画像である。対象ボタンＢが対応付けられていないボタン画像１００が存在するということは、当該ボタン画像１００の基となったユーザー指定パネルのボタンと同じ機能が割り当てられたボタンが対象操作パネル４０に存在しないということである。

次に、図６〜図１０を参照し、ＨＭＤ制御部２４が行う表示処理について説明する。以下の説明では、図２に示す機能選択画面４１が対象操作パネル４０に表示されているとする。

（ボタン画像の表示）
ＨＭＤ制御部２４は、表示処理を行うとき、カメラ部２２が撮影した対象操作パネル４０の撮影データに基づき、対象操作パネル４０に存在する対象ボタンＢを認識する。そして、ＨＭＤ制御部２４は、ＨＭＤ記憶部２５に記憶した対応関係情報７０において対応するボタン画像１００が定義された対象ボタンＢを第１ボタンと判別する第１判別処理を行う。たとえば、ＨＭＤ制御部２４は、対象操作パネル４０に表示された対象ボタンＢ（ソフトボタンＳＢ）を第１判別処理の判別対象とする。

第１判別処理を行った結果、第１ボタンと判別した対象ボタンＢが対象操作パネル４０に存在するとき、ＨＭＤ制御部２４は、第１ボタンと判別した対象ボタンＢに対応するボタン画像１００を当該対象ボタンＢと重なるように表示部２１に表示させる処理を行う。これにより、ユーザーからは当該対象ボタンＢ（第１ボタン）がユーザー指定パネルに存在するボタンに置換されたように見える。

たとえば、図５に示す対応関係情報７０に基づきＨＭＤ制御部２４が第１判別処理を行ったとする。この場合には、対象操作パネル４０に存在する対象ボタンＢ（第１判別処理の判別対象となった対象ボタンＢ）のうち、ＨＭＤ制御部２４によって第１ボタンと判別されるのは対象ボタンＢ１〜Ｂ３となる。そして、ユーザーからの見え方は、図６に示すように変化する。図６では、ユーザーの視界を破線で示す。

ＨＭＤ制御部２４による表示処理が行われる前の段階では、図６上図に示すように、ユーザーからは対象操作パネル４０に存在する対象ボタンＢがそのまま見える。その後、ＨＭＤ制御部２４による表示処理が行われると、図６下図に示すように、ボタン画像１０１が対象ボタンＢ１と重なるようにユーザーの眼前に表示され、ボタン画像１０２が対象ボタンＢ２と重なるようにユーザーの眼前に表示され、ボタン画像１０３が対象ボタンＢ３と重なるようにユーザーの眼前に表示される。

（報知画像の表示）
ＨＭＤ制御部２４は、表示処理を行うとき、ＨＭＤ記憶部２５に記憶した対応関係情報７０において対応するボタン画像１００が定義されていない対象ボタンＢを第２ボタンと判別する第２判別処理を行う。たとえば、ＨＭＤ制御部２４は、対象操作パネル４０に表示された対象ボタンＢ（ソフトボタンＳＢ）を第２判別処理の判別対象とする。

第２判別処理を行った結果、第２ボタンと判別した対象ボタンＢが対象操作パネル４０に存在するとき、ＨＭＤ制御部２４は、ユーザー指定パネルには存在しないボタンが対象操作パネル４０に存在することをユーザーに報知するための報知画像２００（図７下図参照）を表示部２１に表示させる処理を行う。このとき、表示部２１は、ＨＭＤ制御部２４により第２ボタンと判別された対象ボタンＢと重なるように報知画像２００を表示する。なお、報知画像２００の表示データはＨＭＤ記憶部２５に予め記憶される。報知画像２００を表示することにより、ユーザーからは対象ボタンＢ（第２ボタン）に報知画像２００が付されたように見える。言い換えると、対象操作パネル４０には存在しユーザー指定パネルには存在しないボタンをユーザーが認識する。

たとえば、図５に示す対応関係情報７０に基づきＨＭＤ制御部２４が第２判別処理を行ったとする。この場合には、対象操作パネル４０に存在する対象ボタンＢ（第２判別処理の判別対象となった対象ボタンＢ）のうち、ＨＭＤ制御部２４によって第２ボタンと判別されるのは対象ボタンＢ４となる。そして、ユーザーからの見え方は、図７に示すように変化する。図７では、ユーザーの視界を破線で示す。

ＨＭＤ制御部２４による表示処理が行われる前の段階では、図７上図に示すように、ユーザーからは対象操作パネル４０に存在する対象ボタンＢがそのまま見える。その後、ＨＭＤ制御部２４による表示処理が行われると、図７下図に示すように、報知画像２００が対象ボタンＢ４と重なるようにユーザーの眼前に表示される。図７下図に示す報知画像２００は一例であり、報知画像２００の形状や色は特に限定されない。

なお、第２判別処理は行われなくてもよい。すなわち、報知画像２００を表示しなくてもよい。図７下図では、一例として、ボタン画像１００および報知画像２００を表示した場合を図示する。

（未対応ボタン画像の表示）
ＨＭＤ制御部２４は、表示処理を行うとき、ＨＭＤ記憶部２５に記憶した対応関係情報７０において対応する対象ボタンＢが定義されていないボタン画像１００を未対応ボタン画像と判別する未対応ボタン判別処理を行う。たとえば、ＨＭＤ制御部２４は、対象操作パネル４０に表示された対象ボタンＢ（ソフトボタンＳＢ）を未対応ボタン判別処理の判別対象とする。

未対応ボタン判別処理を行った結果、未対応ボタン画像と判別したボタン画像１００が存在するとき、ＨＭＤ制御部２４は、未対応ボタン画像と判別したボタン画像１００を対象ボタンＢと重ならないように表示部２１に表示させる。たとえば、表示部２１は、ＨＭＤ制御部２４により未対応ボタン画像と判別されたボタン画像１００を対象操作パネル４０の領域外（輪郭の外側）に表示する。これにより、ユーザー指定パネルのボタンのうち対象操作パネル４０の領域外に表示されたボタン画像１００（未対応ボタン画像）に対応するボタンが対象操作パネル４０には存在しないとユーザーが認識する。

たとえば、図５に示す対応関係情報７０に基づきＨＭＤ制御部２４が未対応ボタン判別処理を行ったとする。この場合、ＨＭＤ制御部２４により未対応ボタン画像と判別されるのは、ユーザー指定パネルに存在するファックス機能のボタンを模したボタン画像１００となる。以下の説明では、当該ボタン画像１００を未対応ボタン画像３００と称する。そして、ユーザーからの見え方は、図８に示すように変化する。図８では、ユーザーの視界を破線で示す。

ＨＭＤ制御部２４による表示処理が行われる前の段階では、図８上図に示すように、ユーザーからは対象操作パネル４０に存在する対象ボタンＢがそのまま見える。その後、ＨＭＤ制御部２４による表示処理が行われると、図８下図に示すように、対象操作パネル４０の領域外に未対応ボタン画像３００が表示される。図８では、対象操作パネル４０の領域外に未対応ボタン画像３００を表示する例を示すが、未対応ボタン画像３００の表示位置は特に限定されず、対象ボタンＢと重ならない位置であればよい。

なお、未対応ボタン判別処理は行われなくてもよい。すなわち、未対応ボタン画像３００を表示しなくてもよい。図８下図では、一例として、ボタン画像１００、報知画像２００および未対応ボタン画像３００を表示した場合を図示する。

（機能画像の表示）
ＨＭＤ記憶部２５は、対象操作パネル４０に存在する対象ボタンＢのうちハードボタンＨＢ（以下、対象ハードボタンＨＢと称する）に割り当てられた機能を示す機能画像４００（図９下図参照）の表示データを記憶する。たとえば、機能画像４００の表示データはパネル操作支援サービスの提供者によって予め生成される。そして、サーバー３からＨＭＤ２への対応関係情報７０の送信時に、機能画像４００の表示データもＨＭＤ２に送信される。また、ＨＭＤ記憶部２５は、対象ハードボタンＨＢと機能画像４００との対応関係を示す情報を記憶する。当該情報は対応関係情報７０に含められる。

ここで、機能画像４００の表示処理について、図９を参照して説明する。ここでは、ホームボタンおよびシステムボタンにそれぞれ対応する機能画像４００が存在するとする。なお、図９では、ホームボタンおよびシステムボタンにそれぞれ符号ＨＢ１およびＨＢ２を付す。また、ホームボタンＨＢ１に対応する機能画像４００に符号４０１を付し、システムボタンＨＢ２に対応する機能画像４００に符号４０２を付す。

ホームボタンＨＢ１およびシステムボタンＨＢ２にそれぞれ対応する機能画像４０１および４０２が存在する場合、ＨＭＤ制御部２４は、ホームボタンＨＢ１に重なるように機能画像４０１を表示部２１に表示させ、システムボタンＨＢ２に重なるように機能画像４０２を表示部２１に表示させる。機能画像４００の形状や色は特に限定されない。たとえば、対応する機能の内容をテキストで表現したテキスト画像が機能画像４００とされる。あるいは、対応する機能の内容を表現するマークを予め定め、当該マークの画像を機能画像４００としてもよい（図１０参照）。

なお、機能画像４００の表示は行われなくてもよい。図９および図１０では、一例として、ボタン画像１００、報知画像２００、未対応画像３００および機能画像４００を表示した場合を図示する。

（画面遷移後の表示）
ＨＭＤ制御部２４は、ボタン画像１００などを表示部２１に表示させる表示処理を行って以降、対象操作パネル４０が画面遷移を行ったか否かを判断する。たとえば、ＨＭＤ制御部２４は、ボタン画像１００の表示中にカメラ部２２に撮影を行わせ、当該撮影によって得られた撮影データに基づき、対象操作パネル４０が画面遷移を行ったか否かを判断する。あるいは、ＨＭＤ制御部２４は、画像形成装置４（対象操作パネル４０）と通信し、対象操作パネル４０が画面遷移を行うと画像形成装置４からＨＭＤ２に送信される画面遷移通知に基づき、対象操作パネル４０が画面遷移を行ったか否かを判断する。

対象操作パネル４０が画面遷移を行ったと判断したとき、ＨＭＤ制御部２４は、表示部２１が行っているボタン画像１００および報知画像２００の表示を一旦停止させる。そして、ＨＭＤ制御部２４は、再度、表示処理を行う。

たとえば、対象操作パネル４０の表示画面が機能選択画面４１（図２参照）から項目選択画面４２（図３参照）に遷移したとする。この場合、ＨＭＤ制御部２４は、項目選択画面４２に存在する対象ボタンＢ（ソフトボタンＳＢ）を対象にして、第１判別処理および第２判別処理を再度行う。そして、ＨＭＤ制御部２４は、第１ボタンと判別した対象ボタンＢが項目選択画面４２に存在するとき、当該対象ボタンＢに重なるようにボタン画像１００を表示部２１に表示させる。また、ＨＭＤ制御部２４は、第２ボタンと判別した対象ボタンＢが項目選択画面４２に存在するとき、当該対象ボタンＢに重なるように報知画像２００を表示部２１に表示させる。

なお、対象操作パネル４０が画面遷移を行ったとき、未対応ボタン画像３００の表示は停止されずに続行される。同様に、機能画像４００の表示も停止されずに続行される。ただし、未対応ボタン画像３００および機能画像４００の各表示も一旦停止し、ボタン画像１００および報知画像２００の表示時に、未対応ボタン画像３００および機能画像４００の表示を再開してもよい。

（表示サイズの変更）
ＨＭＤ制御部２４は、ボタン画像１００の表示中に、カメラ部２２に撮影を行わせる。そして、カメラ部２２による撮影によって得られた撮影データに基づき、サイズ変更操作として予め定められたジェスチャー操作（ボタン画像１００に対する仮想的な操作）が行われたか否かを判断する。その結果、サイズ変更操作が行われたと判断したとき、ＨＭＤ制御部２４は、サイズ変更操作の操作対象となったボタン画像１００の表示サイズを変更する。

特に限定されないが、ＨＭＤ制御部２４は、ピンチアウト操作に相当するジェスチャーがボタン画像１００に対して行われたと判断すると、ボタン画像１００の表示サイズを現在の表示サイズよりも拡大する。一方で、ＨＭＤ制御部２４は、ピンチイン操作に相当するジェスチャーがボタン画像１００に対して行われたと判断すると、ボタン画像１００の表示サイズを現在の表示サイズよりも縮小する。たとえば、ボタン画像１００の表示サイズは３段階に変更可能である。

ここで、図１１を参照し、ボタン画像１０１がサイズ変更操作の操作対象となっている場合を例にとって説明する。ＨＭＤ制御部２４は、サイズ変更操作としてのピンチアウト操作が１回行われると、ボタン画像１０１の表示サイズを１段階拡大する（図１１の上図から下図に変化する）。また、ＨＭＤ制御部２４は、サイズ変更操作としてのピンチイン操作が１回行われると、ボタン画像１０１の表示サイズを１段階縮小する（図１１の下図から上図に変化する）。なお、表示サイズが最大サイズとなっているボタン画像１００に対してピンチアウト操作を行ってもボタン画像１００の表示サイズは変更されず、表示サイズが最小サイズとなっているボタン画像１００に対してピンチイン操作を行ってもボタン画像１００の表示サイズは変更されない。

なお、報知画像２００、未対応ボタン画像３００および機能画像４００にサイズ変更操作を行った場合にも、サイズ変更操作の操作対象となった画像の表示サイズが変更されてもよい。あるいは、報知画像２００、未対応ボタン画像３００および機能画像４００に対するサイズ変更操作は無効としてもよい。

（処理の実行指示／キャンセル指示）
ＨＭＤ制御部２４は、ボタン画像１００の表示中に、カメラ部２２に撮影を行わせる。そして、カメラ部２２による撮影によって得られた撮影データに基づき、ボタン選択操作作として予め定められたジェスチャー操作（ボタン画像１００に対する仮想的な操作）が行われたか否かを判断する。特に限定されないが、タップ操作に相当するジェスチャーがボタン選択操作とされる。

ＨＭＤ制御部２４は、ボタン選択操作を検知したとき、ボタン選択操作で選択されたボタン画像１００に対応する対象ボタンＢに割り当てられた機能に関する処理の実行指示を画像形成装置４（対象操作パネル４０）に送信する。画像形成装置４（対象操作パネル４０）は、ＨＭＤ２から処理の実行指示を受信すると、ＨＭＤ２から指示された処理を実行する。

一例として、機能選択操作を受け付けるための対象ボタンＢ１に対応するボタン画像１０１（図６〜図１０参照）に対してボタン選択操作が行われたとする。ここで、対象ボタンＢ１は、対象操作パネル４０の画面を機能選択画面４１（図２参照）から項目選択画面４２（図３参照）に遷移させるためのボタンである。このため、ＨＭＤ制御部２４は、ボタン画像１０１に対するボタン選択操作を検知すると、機能選択画面４１から項目選択画面４２への画面遷移指示を画像形成装置４（対象操作パネル４０）に送信する。これにより、対象操作パネル４０は、表示画面を機能選択画面４１から項目選択画面４２に遷移する。

別の例として、図示しないが、コピージョブの実行指示を受け付けるための対象ボタンＢが対象操作パネル４０に存在し、当該対象ボタンＢに対応するボタン画像１００が表示されているとする。そして、当該ボタン画像１００に対してボタン選択操作が行われたとする。この場合、まず、ＨＭＤ制御部２４は、画像形成装置４にスキャンジョブの実行指示を送信し、画像形成装置４に原稿のスキャンを行わせ、画像形成装置４による原稿のスキャンによって得られた原稿の画像データを画像形成装置４から取得する。その後、ＨＭＤ制御部２４は、画像形成装置４にプリントジョブの実行指示と共に原稿の画像データを送信し、原稿の画像データに基づく画像の用紙への印刷を画像形成装置４に行わせる。

なお、機能画像４００にボタン選択操作を行った場合にも、ボタン選択操作で選択された機能画像４００に対応する対象ボタンＢ（ハードボタンＨＢ）に割り当てられた機能に関する処理の実行指示が画像形成装置４（対象操作パネル４０）に送信されてもよい。この構成では、たとえば、対象操作パネル４０が項目選択画面４２を表示しているときに、ホームボタンＨＢ１に対応する機能画像４０１（図９参照）に対してボタン選択操作を行うと、項目選択画面４２から機能選択画面４１（ホーム画面）への画面遷移指示がＨＭＤ２から画像形成装置４（対象操作パネル４０）に送信される。これにより、対象操作パネル４０は、表示画面を項目選択画面４２から機能選択画面４１に遷移する。

ここで、図８に示したように、ファックス機能のボタンは対象操作パネル４０には存在しないがユーザー指定パネルには存在するので、ファックス機能のボタンに対応するボタン画像１００は未対応ボタン画像３００として表示される。しかし、たとえば、ファックス機能のボタン形態がソフトボタンであった場合、画像形成装置４にファックス機能が搭載されているにもかかわらず、ファックス機能のボタンの表示が意図的に停止されることがある（対象操作パネル４０にファックス機能のボタンが存在しない状態となる）。

この場合、ＨＭＤ制御部２４は、ファックス機能のボタンに対応する未対応ボタン画像３００へのボタン選択操作を無効化しない。すなわち、ＨＭＤ制御部２４は、ファックス機能のボタンに対応する未対応ボタン画像３００へのボタン選択操作を検知したとき、ファックス機能に関する処理の実行指示を画像形成装置４（対象操作パネル４０）に送信する。たとえば、対象操作パネル４０は、ファックス機能の設定画面を表示する。

また、ＨＭＤ２から画像形成装置４（対象操作パネル４０）に対して、画像形成装置４が行おうとしている処理をキャンセルさせるキャンセル指示が送信される場合がある。たとえば、或るボタン画像１００の表示サイズを拡大するとき、或るボタン画像１００と別のボタン画像１００との重なりを回避するため、別のボタン画像１００を移動させる場合がある。その結果、移動させたボタン画像１００が対応する対象ボタンＢとは異なる対象ボタンＢと重なる場合がある。

たとえば、機能選択画面４１において、送信機能の対象ボタンＢ２に対応するボタン画像１０２がボックス機能の対象ボタンＢ３に重なると、送信機能を選択したいユーザーが誤って、ボタン画像１０２に重なる対象ボタンＢ３をタッチする恐れがある。この場合には、ユーザーの意図に反して、ボックス機能に関する画面（図示せず）が表示されてしまう。

そこで、この場合、ＨＭＤ制御部２４は、画像形成装置４（対象操作パネル４０）にキャンセル指示を送信する。画像形成装置４がキャンセル指示を受信すると、対象操作パネル４０は、画面遷移を行わず、機能選択画面４１の表示を続行する。なお、このとき、ＨＭＤ２から画像形成装置４（対象操作パネル４０）に対して、機能選択画面４１から送信機能に関する画面（図示せず）への画面遷移指示が送信されてもよい。

本実施形態の表示システム１に含まれるＨＭＤ２（表示装置）は、上記のように、ユーザーにより実際に操作される対象操作パネル４０をユーザーに視認させつつ画像を表示する表示部２１と、対象操作パネル４０を撮影し対象操作パネル４０の撮影データを出力するカメラ部２２と、ユーザー指定パネルに存在するボタンを模したボタン画像１００の表示データを記憶するとともに、ボタン画像１００と対象操作パネル４０に存在する対象ボタンＢとの対応関係を定義した対応関係情報７０を記憶するＨＭＤ記憶部２５（記憶部）と、対象操作パネル４０の撮影データに基づき対象ボタンＢを認識するとともに、対応関係情報７０において対応するボタン画像１００が定義された対象ボタンＢを第１ボタンとして判別し、第１ボタンと判別した対象ボタンＢに対応するボタン画像１００を当該対象ボタンＢと重なるように表示部２１に表示させる表示処理を行うＨＭＤ制御部２４（制御部）と、を備える。

本実施形態では、対象操作パネル４０の対象ボタンＢ（第１ボタン）と重なるようにボタン画像１００が表示される。ここで、ボタン画像１００はユーザー指定パネルに存在するボタンを模した画像である。したがって、ユーザーが使い慣れた操作パネルをユーザー指定パネルに指定すれば、ユーザーからは対象ボタンＢ（第１ボタン）が使い慣れたボタンに置換されたように見える。これにより、対象操作パネル４０の操作性を向上させることができる。また、ユーザーからすると、対象操作パネル４０のメーカーや仕様が以前使用していた操作パネルとは異なっていても、対象ボタンＢに割り当てられた機能と対象ボタンＢの形状（アイコンの絵柄も含む）とを対応付けて覚え直す必要がないので、利便性が良い。

また、本実施形態では、上記のように、ＨＭＤ制御部２４は、表示処理を行うとき、対応関係情報７０において対応するボタン画像１００が定義されていない対象ボタンＢを第２ボタンとして判別し、報知画像２００を第２ボタンと判別した対象ボタンＢに重なるように表示部２１に表示させる。これにより、対象操作パネル４０には存在しユーザー指定パネルには存在しないボタンをユーザーに認識させることができる。

また、本実施形態では、上記のように、ＨＭＤ制御部２４は、表示処理を行うとき、対応関係情報７０において対応する対象ボタンＢが定義されていないボタン画像１００を未対応ボタン画像として判別し、未対応ボタン画像と判別したボタン画像１００（３００）を対象ボタンＢと重ならないように表示部２１に表示させる。これにより、ユーザー指定パネルのボタンのうち対象操作パネル４０には存在しないボタンをユーザーに認識させることができる。

また、本実施形態では、上記のように、ＨＭＤ制御部２４は、表示処理を行うとき、対象ハードボタンＨＢに対応する機能画像４００を対象ハードボタンＨＢと重なるように表示部２１に表示させる。これにより、対象ハードボタンＨＢに割り当てられた機能をユーザーに認識させることができる。

また、本実施形態では、上記のように、ＨＭＤ制御部２４は、表示部２１にボタン画像１００を表示させて以降、対象操作パネル４０が画面遷移を行ったとき、表示処理を再度行う。これにより、対象操作パネル４０が画面を遷移した後も、ユーザーからは対象ボタンＢ（第１ボタン）が使い慣れたボタンに置換されたように見える。

また、本実施形態では、上記のように、ＨＭＤ制御部２４は、ボタン画像１００の表示中にカメラ部２２に撮影を行わせ、ボタン画像１００の表示中にカメラ部２２による撮影によって得られた撮影データに基づき、サイズ変更操作として予め定められたジェスチャー操作が行われたか否かを判断し、サイズ変更操作が行われたと判断したとき、ボタン画像１００の表示サイズを変更する。これにより、ボタン画像１００の表示サイズを任意に変更することができるので、ユーザーの利便性が向上する。

また、本実施形態では、上記のように、ＨＭＤ制御部２４は、ボタン画像１００の表示中にカメラ部２２に撮影を行わせ、ボタン画像１００表示中にカメラ部２２による撮影によって得られた撮影データに基づき、ボタン選択操作として予め定められたジェスチャー操作が行われたか否かを判断し、ボタン選択操作が行われたと判断したとき、ボタン選択操作で選択されたボタン画像１００に対応する対象ボタンＢに割り当てられた機能に関する処理の実行指示を画像形成装置４（対象操作パネル４０）に送信する。これにより、対象操作パネル４０を実際に操作する必要がないので、ユーザーの利便性が向上する。

また、本実施形態では、上記のように、サーバー３は、複数種の登録操作パネルの各特徴点を示すパネル情報６０を記憶するとともに、複数種の登録操作パネルのそれぞれごとに対応関係情報７０を記憶する。そして、ＨＭＤ制御部２４は、対象操作パネル４０の撮影データから対象操作パネル４０の特徴点を抽出するとともに、複数種の登録操作パネルのうち対象操作パネル４０と特徴点が同じ登録操作パネルに対応する対応関係情報７０の送信要求をサーバー３に送信し、サーバー３から受信した対応関係情報７０に基づき表示処理を行う。これにより、対象操作パネル４０のメーカーや仕様をユーザーが認識していなくても（対象操作パネル４０に関する情報をＨＭＤ２に入力しなくても）、自動的に、対象操作パネル４０に対応する対応関係情報７０に基づき表示処理が行われるので、ユーザーにとっては利便性が良い。

今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記実施形態では、パネル情報６０およびデータベースＤＢをサーバー３に記憶するようにしたが、本発明はこれに限らず、パネル情報６０およびデータベースＤＢを予めＨＭＤ記憶部２５に記憶し、サーバー３を省略してもよい。

この場合、ＨＭＤ制御部２４は、対象操作パネル４０の特徴点を抽出した後、パネル情報６０に基づき対象操作パネル４０と同じ特徴点を有する登録操作パネルを認識するとともに、当該認識した登録操作パネルに対応する対応関係情報７０をデータベースＤＢから抽出し、当該抽出した対応関係情報７０に基づき表示処理を行う。すなわち、サーバー３が行っていた処理をＨＭＤ制御部２４が行う。

また、上記実施形態では、「表示装置」としてＨＭＤ２を用いる例を示したが、ＨＭＤ２に代えて、スマートホンやタブレット端末を用いることもできる。

また、本実施形態では、ボタン画像１００としてソフトボタンＳＢを模した画像を表示するようにしたが、それに加えて、ハードボタンＨＢを模したボタン画像も表示してもよい。

１ 表示システム
２ ＨＭＤ（表示装置）
３ サーバー
２１ 表示部
２２ カメラ部
２４ ＨＭＤ制御部（制御部）
２５ ＨＭＤ記憶部（記憶部）

Claims (8)

1. ユーザーにより実際に操作される操作パネルである対象操作パネルをユーザーに視認させつつ画像を表示する表示部と、
   前記対象操作パネルを撮影し前記対象操作パネルの撮影データを出力するカメラ部と、
   ユーザー指定の操作パネルであるユーザー指定パネルに存在するボタンを模したボタン画像の表示データを記憶するとともに、前記ボタン画像と前記対象操作パネルに存在するボタンである対象ボタンとの対応関係を定義した対応関係情報を記憶する記憶部と、
   前記対象操作パネルの撮影データに基づき前記対象ボタンを認識するとともに、前記対応関係情報において対応する前記ボタン画像が定義された前記対象ボタンを第１ボタンとして判別し、前記第１ボタンに対応する前記ボタン画像を前記第１ボタンと重なるように前記表示部に表示させる表示処理を行う制御部と、を備え、
   前記記憶部は、前記ユーザー指定パネルには存在しないボタンが前記対象操作パネルに存在することをユーザーに報知するための報知画像の表示データを記憶し、
   前記制御部は、前記表示処理を行うとき、前記対応関係情報において対応する前記ボタン画像が定義されていない前記対象ボタンを第２ボタンとして判別し、前記報知画像を前記第２ボタンと重なるように前記表示部に表示させることを特徴とする表示装置。
2. ユーザーにより実際に操作される操作パネルである対象操作パネルをユーザーに視認させつつ画像を表示する表示部と、
   前記対象操作パネルを撮影し前記対象操作パネルの撮影データを出力するカメラ部と、
   ユーザー指定の操作パネルであるユーザー指定パネルに存在するボタンを模したボタン画像の表示データを記憶するとともに、前記ボタン画像と前記対象操作パネルに存在するボタンである対象ボタンとの対応関係を定義した対応関係情報を記憶する記憶部と、
   前記対象操作パネルの撮影データに基づき前記対象ボタンを認識するとともに、前記対応関係情報において対応する前記ボタン画像が定義された前記対象ボタンを第１ボタンとして判別し、前記第１ボタンに対応する前記ボタン画像を前記第１ボタンと重なるように前記表示部に表示させる表示処理を行う制御部と、を備え、
   前記制御部は、前記表示処理を行うとき、前記対応関係情報において対応する前記対象ボタンが定義されていない前記ボタン画像を未対応ボタン画像として判別し、前記未対応ボタン画像を前記対象ボタンと重ならないように前記表示部に表示させることを特徴とする表示装置。
3. 前記記憶部は、前記対象操作パネルにハードウェアボタンとして設置された前記対象ボタンである対象ハードボタンに割り当てられた機能を示す機能画像の表示データを記憶するとともに、前記機能画像と前記対象ハードボタンとの対応関係を定義した情報を含む前記対応関係情報を記憶し、
   前記制御部は、前記表示処理を行うとき、前記対象ハードボタンに対応する前記機能画像を前記対象ハードボタンと重なるように前記表示部に表示させることを特徴とする請求項１または２に記載の表示装置。
4. 前記制御部は、前記表示部に前記ボタン画像を表示させて以降、前記対象操作パネルが画面遷移を行ったとき、前記表示処理を再度行うことを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
5. 前記制御部は、前記ボタン画像の表示中に前記カメラ部に撮影を行わせ、前記ボタン画像の表示中に前記カメラ部による撮影によって得られた撮影データに基づき、サイズ変更操作として予め定められたジェスチャー操作が行われたか否かを判断し、前記サイズ変更操作が行われたと判断したとき、前記ボタン画像の表示サイズを変更することを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
6. 前記制御部は、前記ボタン画像の表示中に前記カメラ部に撮影を行わせ、前記ボタン画像の表示中に前記カメラ部による撮影によって得られた撮影データに基づき、ボタン選択操作として予め定められたジェスチャー操作が行われたか否かを判断し、前記ボタン選択操作が行われたと判断したとき、前記ボタン選択操作で選択された前記ボタン画像に対応する前記対象ボタンに割り当てられた機能に関する処理の実行指示を前記対象操作パネルに送信することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
7. 前記記憶部は、それぞれが予め登録された操作パネルである複数種の登録操作パネルの各特徴点を示すパネル情報を記憶するとともに、前記複数種の登録操作パネルのそれぞれごとに前記対応関係情報を記憶し、
   前記制御部は、前記対象操作パネルの撮影データから前記対象操作パネルの特徴点を抽出するとともに、前記パネル情報に基づき前記複数種の登録操作パネルのうち前記対象操作パネルと同じ特徴点を有する登録操作パネルを認識し、当該認識した前記登録操作パネルに対応する前記対応関係情報に基づき前記表示処理を行うことを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
8. 請求項１〜６のいずれか１項に記載の表示装置と、
   前記表示装置と通信可能に接続され、それぞれが予め登録された操作パネルである複数種の登録操作パネルの各特徴点を示すパネル情報を記憶するとともに、前記複数種の登録操作パネルのそれぞれごとに前記対応関係情報を記憶するサーバーと、を備え、
   前記制御部は、前記対象操作パネルの撮影データから前記対象操作パネルの特徴点を抽出するとともに、前記複数種の登録操作パネルのうち前記対象操作パネルと特徴点が同じ登録操作パネルに対応する前記対応関係情報の送信要求を前記サーバーに送信し、前記サーバーから受信した前記対応関係情報に基づき前記表示処理を行うことを特徴とする表示システム。

Images