JP7119398B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

近年、３次元画像を空中に表示させる技術がある。ユーザは、メガネ等の付属品を利用しなくても空中に表示された３次元画像をあらゆる方向から見ることができる。

更に、空中におけるユーザの手の位置をセンサで検出することで、ユーザは、空中に表示されている画像に対して何らかの操作を行うことが可能となる。例えば、ユーザは、空中に表示されている操作画面に対して何らかの操作を行うことで、情報の表示、アプリケーションの実行、機器の制御等を行うことが可能となる。

特開２０１７－０６２７０９号公報 特開２０１５－０６０２９５号公報 特開２０１６－０９５６３４号公報

本発明は、空中に表示されている画像の奥行き方向の情報に機能の通知を紐付けていない場合に比して、多様な機能の通知の制御を提供することを目的とする。

本発明に係る情報処理装置は、空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段を有し、前記制御手段は、前記複数の画像の奥行き方向の情報に対するユーザの操作により指定された前記複数の画像の奥行き方向の情報の位置関係によって連携機能の通知の優先順位を設定することを特徴とする。
また、前記制御手段は、ユーザに対面する側に近い位置に配置されている画像から順に優先順位を決定することを特徴とする。
本発明に係る情報処理装置は、空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段を有し、前記制御手段は、前記複数の画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、ユーザにより指定された奥行き方向の位置に紐付けられている機能を利用して実行可能な連携機能の通知を制御し、前記複数の画像は、通信機能を有する第１及び第２の機器それぞれに紐付く機器画像であり、前記第１の機器は、前記第２の機器と通信する複数の通信手段と、前記第２の機器との間で特定の通信規格に従って通信が前記通信手段によって行われた場合、前記第１の機器と前記第２の機器とを用いて実行可能な連携機能の実行を制御する実行制御手段と、を有し、前記制御手段は、前記画像の奥行き方向の情報を重ね合わせる順番に応じて、前記連携機能に含まれる各機能の通知の優先順位を設定することを特徴とする。

また、前記制御手段は、前記画像の奥行き方向の情報に応じて前記画像の表示を制御することを特徴とする。

また、前記制御手段は、前記画像を表示する色の濃さを制御することを特徴とする。

また、前記制御手段は、前記画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、前記画像のうち当該位置から目視側の画像の色を薄くすることを特徴とする。

また、前記制御手段は、ユーザ操作に応じて空中に表示されている画像を、画像の奥行き方向に移動させることを特徴とする。

また、前記制御手段は、前記画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、ユーザにより指定された奥行き方向の位置に紐付けられている機能を利用して実行可能な連携機能の通知を制御することを特徴とする。

また、前記制御手段は、ユーザにより指定された奥行き方向の位置を含む画像内の部分画像に紐付けられている機能を利用して実行可能な連携機能の通知を制御することを特徴とする。

また、ユーザにより操作された奥行き方向の情報に対応する画像は、機器に紐付く機器画像又は機能に紐付く機能画像であることを特徴とする。

また、前記複数の画像は、通信機能を有する第１及び第２の機器それぞれに紐付く機器画像であり、前記第１の機器は、前記第２の機器と通信する複数の通信手段と、前記第２の機器との間で特定の通信規格に従って通信が前記通信手段によって行われた場合、前記第１の機器と前記第２の機器とを用いて実行可能な連携機能の実行を制御する実行制御手段と、を有していることを特徴とする。

また、前記制御手段は、画像の奥行き方向の情報に対してユーザが操作する場合、操作するユーザに応じた通知を行うことを特徴とする。

また、前記制御手段は、操作するユーザが複数検知された場合、各ユーザに割り振った先に通知を行うことを特徴とする。

また、前記割り振った先は、空中以外の表示手段であることを特徴とする。

本発明に係るプログラムは、コンピュータを、空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段として機能させ、前記制御手段は、前記複数の画像の奥行き方向の情報に対するユーザの操作により指定された前記複数の画像の奥行き方向の情報の位置関係によって連携機能の通知の優先順位を設定することを特徴とする。
本発明に係るプログラムは、コンピュータを、空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段として機能させ、前記制御手段は、前記複数の画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、ユーザにより指定された奥行き方向の位置に紐付けられている機能を利用して実行可能な連携機能の通知を制御し、前記複数の画像は、通信機能を有する第１及び第２の機器それぞれに紐付く機器画像であり、前記第１の機器は、前記第２の機器と通信する複数の通信手段と、前記第２の機器との間で特定の通信規格に従って通信が前記通信手段によって行われた場合、前記第１の機器と前記第２の機器とを用いて実行可能な連携機能の実行を制御する実行制御手段と、を有し、前記制御手段は、前記画像の奥行き方向の情報を重ね合わせる順番に応じて、前記連携機能に含まれる各機能の通知の優先順位を設定することを特徴とする。

請求項１，１５に記載の発明によれば、空中に表示されている画像の奥行き方向の情報に機能の通知を紐付けていない場合に比して、多様な機能の通知の制御を提供することができる。特に、複数の画像の奥行き方向の情報の位置関係によって連携機能に含まれる各機能の通知の優先順位をユーザに設定させることができる。

請求項４に記載の発明によれば、画像の表現を増やすことができる。

請求項５に記載の発明によれば、画像の奥行き方向の情報に対応する画像を見やすくすることができる。

請求項６に記載の発明によれば、ユーザにより指定された奥行き方向の位置の画像を見やすくすることができる。

請求項７に記載の発明によれば、画像を前後に移動させることができる。

請求項８に記載の発明によれば、ユーザにより指定された位置に紐付けられている機能を利用して実行可能な連携機能の情報を提供することができる。

請求項９に記載の発明によれば、画像内の部分画像に対応する機能を利用して実行可能な連携機能の情報を提供することができる。

請求項１０に記載の発明によれば、機器画像の奥行き方向の情報に紐付いた機能と機器画像の奥行き方向の情報に紐付いた機能、機器画像の奥行き方向の情報に紐付いた機能と機能画像の奥行き方向の情報に紐付いた機能、あるいは機能画像の奥行き方向の情報に紐付いた機能と機能画像の奥行き方向の情報に紐付いた機能の連携機能の情報を提供することができる。

請求項１１に記載の発明によれば、通信機能を有する機器に紐付く機器画像に対応する機能を利用して実行可能な連携機能の情報を提供することができる。

請求項２に記載の発明によれば、画像の奥行き方向の並び順によって連携機能に含まれる各機能の通知の優先順位をユーザに設定させることができる。

請求項３，１６に記載の発明によれば、空中に表示されている画像の奥行き方向の情報に機能の通知を紐付けていない場合に比して、多様な機能の通知の制御を提供することができる。特に、ユーザが重ね合わせる順番に応じて機能の優先順位を設定させることができる。

請求項１２に記載の発明によれば、操作するユーザに応じて通知の内容を異ならせることができる。

請求項１３に記載の発明によれば、各ユーザに対して通知を異ならせることができる。

請求項１４に記載の発明によれば、各ユーザが利用する表示手段に機能を表示させることができる。

本発明の第１実施形態に係る機器システムを示すブロック図である。 第１実施形態に係る画像形成装置を示すブロック図である。 第１実施形態に係るサーバを示すブロック図である。 第１実施形態に係る端末装置を示すブロック図である。 画像形成装置の外観を示す模式図である。 機器機能管理テーブルの一例を示す図である。 連携機能管理テーブルの一例を示す図である。 単独で利用される機器を示す図である。 機能表示画面の一例を示す図である。 機能表示画面の一例を示す図である。 連携対象の機器を示す図である。 機能表示画面の一例を示す図である。 接続処理を示すシーケンス図である。 第１実施形態において空中ディスプレイに表示されている複合機の概略的な３次元画像を示す図である。 図１４における複合機の画像の内部のある位置を指先で指定したときの、空中ディスプレイに表示される複合機の概略的な３次元画像を示す図である。 第１実施形態においてユーザの提供する内部画像の形成パターンを示す図である。 機器画像が３次元画像の場合の連携機能管理テーブルの一例を示す図である。 第２実施形態に係る連携機能管理テーブルの一例を示す図である。 画面の一例を示す図である。 第３実施形態に係る連携機能管理テーブルの一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 連携機能管理テーブルの一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 機器機能管理テーブルの一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。 機器機能管理テーブルの一例を示す図である。 連携機能管理テーブルの一例を示す図である。 画面の一例を示す図である。 画面の一例を示す図である。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

＜第１実施形態＞
図１を参照して、本発明の第１実施形態に係る情報処理システムとしての機器システムについて説明する。図１には、第１実施形態に係る機器システムの一例が示されている。

第１実施形態に係る機器システムは、複数の機器（例えば機器１０，１２）と、外部装置の一例としてのサーバ１４と、情報処理装置の一例としての端末装置１６と、を含む。図１に示す例では、機器１０，１２、サーバ１４及び端末装置１６は、ネットワーク等の通信経路Ｎを介して互いに通信する機能を備えている。もちろん、機器１０，１２、サーバ１４及び端末装置１６は、通信経路Ｎを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図１に示す例では、２つの機器（機器１０，１２）が機器システムに含まれているが、１つの機器が機器システムに含まれていてもよいし、３つ以上の機器が機器システムに含まれていてもよい。また、複数のサーバ１４や複数の端末装置１６が、機器システムに含まれていてもよい。

機器１０，１２は、特定の機能を有する装置であり、例えば、画像形成機能（スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能）を備えた画像形成装置、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。また、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器等の家電をはじめとするＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）機器でもよい。機器は、ユーザに対してアウトプットを出力する機器（例えば画像形成装置やＰＣ等）であってもよいし、ユーザに対してアウトプットを出力しない機器（例えばセンシング機器）であってもよい。また、後述する連携機能を実行するすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器は、他の装置との間でデータを送受信する機能を有する。

サーバ１４は、各機器が有する機能を管理する装置である。例えば、サーバ１４は、各機器が有する機能、複数の機能を利用する連携機能、等を管理する。また、サーバ１４は、他の装置との間でデータを送受信する機能を有する。

サーバ１４は、ユーザ毎に、ユーザによって利用可能な機能を管理してもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。サーバ１４は、ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報（例えば機能購入履歴情報）を管理してもよい。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、サーバ１４は、一概に購入の有無によって機能を管理しなくてもよい。機能の購入処理は、例えば、サーバ１４によって行われる。もちろん、別の装置によって購入処理が行われてもよい。

端末装置１６は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。端末装置１６は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等）であってもよい。また、端末装置１６は、詳細は後述するように、接続された空中ディスプレイ装置１５０を表示装置として使用するが、それとは別に、フレキシブルディスプレイを有していてもよい。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ（フレキシブル有機ＥＬディスプレイ）、電子ペーパー型のディスプレイ、フレキシブル液晶ディスプレイ、等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩ったり、伸ばしたりすることが可能なディスプレイである。端末装置１６全体がフレキシブルディスプレイによって構成されていてもよいし、フレキシブルディスプレイとそれ以外の構成とが機能的又は物理的に分かれていてもよい。

図１に示すように、端末装置１６には、空中ディスプレイ装置１５０及び人検出装置１５２が有線又は無線にて接続されている。「空中ディスプレイ装置」というのは、何もない実空間（空中）に画像を立体的に表示することのできる表示装置のことをいう。空中ディスプレイ装置１５０は、例えば、１又は複数の据え置き型の投影機を使い、レンズやハーフミラー等を組み合わせることによって空中で光を結像させたりすることで空中に画像を表示する。光素子を発光させて映像を表示する装置やスクリーンを必要とする表示装置とは異なる。複数の投影機を使う場合、異なる方向から投影させて結像させる。なお、投影機は、据え置き型でなくてもスマートフォンのような携帯型の機器で投影してもよい。もちろん、空中空間に表示できる技術であれば、この技術に限定して空中ディスプレイ装置１５０を構成する必要はない。例えば、眼鏡等の付属物を利用する技術を除外するものではない。

また、本実施の形態では、空中ディスプレイ装置１５０が画像を表示する空中空間を「空中ディスプレイ」と称することにする。空中に表示するため２次元空間における液晶パネルのような表示画面は存在しない。従って、空中ディスプレイの大きさ（表示枠）は制限されないということもできる。ただ、例えば、画像が投影機によって空中に表示される場合、投影機によって投影される範囲が画像の表示領域（表示範囲）となり、投影機によって投影される範囲によって空中ディスプレイの大きさは決定される。

また、本実施の形態において取り扱う機器等の実物の画像は、奥行きのある立体画像（３次元画像）を利用することを前提として説明する。ただ、空中ディスプレイに、例えば２次元画像を重畳させて立体的に表示してもよく、２次元画像を重畳させて形成した画像を３次元画像と取り扱ってもよい。また、奥行きのない２次元画像（奥行き＝０の３次元画像とも言える）を表示してもよい。以降の説明では、空中ディスプレイに表示される画像を単に「画像」と称することにする。

人検出装置１５２は、空中ディスプレイに表示されている画像に近付いた人間を検出する装置である。具体的には、空中ディスプレイに表示されている画像を視認可能な位置まで近付いた人間、あるいは少なくとも画像に対して操作可能な位置まで近付いた人間を検出する。例えば、赤外線センサや集電センサなどのセンサ手段を用いてもよいし、その他の手段を用いてもよい。なお、本実施の形態では、画像に近付いて操作するのは人間を想定して説明するが、必ずしも人間である必要はなく、ロボット等他の物体でもよい。この場合、人検出装置１５２は、画像に近付いた物体を検出することになる。

更に、人検出装置１５２は、空中ディスプレイに表示されている画像に対して操作する場合、操作子が指し示す位置（画像の部位）を検出する。操作子は、画像の部位を指し示すことによって何らかの操作をする際に用いられる。操作を伴わずにいずれかの画像の部位を単に指し示すために用いられる指示子と考えてもよい。操作子は、画像に対して操作する物、例えば、人間の指先や人間が用いるペンなどである。本実施の形態では、操作子として人間の指先を例にして説明する。

ところで、ユーザは、実物の機器に対しては、指先で触れることによって指し示す位置を特定することができる。例えば、触れる先が液晶パネルであれば、ユーザは、液晶パネルに触れることによって、その触れた位置に対応する機能処理を実行させるなどの操作を行うことができる。しかしながら、空中ディスプレイに表示されている画像は、スクリーンなどが何もない空中空間に表示されることから、人間が触ろうとしても実際に触れる物はない。つまり、触れることはできない。そこで、本実施の形態においては、人検出装置１５２を設けることによって人間が指し示した位置を検出できるように構成している。すなわち、人検出装置１５２が指先の位置を検出すると、端末装置１６は、空中ディスプレイ装置１５０が表示している画像と、人検出装置１５２が検出した指先とを対応させることで、ユーザが指し示している画像の位置（部位）を検出する。特に、本実施の形態においては、ユーザは、空中に表示されている機器の外周（表面）のみならず機器の内部を指し示すことができる。そして、ユーザが指し示した位置に何らかの機能が対応付けられている場合、そのユーザ操作によって機能が選択されたことをユーザに通知したり、選択された機能を起動（実行）したりする。

以下、第１実施形態に係る機器システムに含まれる各装置について詳しく説明する。

図２を参照して、画像形成装置としての機器１０の構成について詳しく説明する。以下では、機器１０を画像形成装置１０と称する場合がある。図２には、画像形成装置１０の構成が示されている。

通信部１８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部１８は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部１８は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１８は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。

画像形成部２０は画像形成機能を有する。具体的には、画像形成部２０は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能（転送機能）とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成され、そのスキャンデータが送信先（例えば端末装置１６等の外部装置）に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。

記憶部２２はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部２２には、例えば、画像形成の命令を示す情報（例えばジョブ情報等）、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、サーバ１４のアドレスを示すサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。

ＵＩ部２４はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。なお、画像形成装置１０はＵＩ部２４を備えていなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部（ハードウェアＵＩ部）を備えていてもよい。ハードウェアＵＩ部は、例えば、数字入力に特化したハードウェアキー（例えばテンキー）、方向の指示に特化したハードウェアキー（例えば方向指示キー）、等である。

制御部２６は、画像形成装置１０の各部の動作を制御する。

以下、図３を参照して、サーバ１４の構成について詳しく説明する。図３には、サーバ１４の構成が示されている。

通信部２８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部２８は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。

記憶部３０はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３０には、例えば、機器機能管理情報３２、連携機能管理情報３４、各種のデータ、各種のプログラム、各機器のアドレスを示す機器アドレス情報、サーバ１４のアドレスを示すサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。記憶部３０に記憶されている機器機能管理情報３２や連携機能管理情報３４が、定期的に又は指定されたタイミングで端末装置１６に提供され、これにより、端末装置１６に記憶されている情報が更新されてもよい。以下、機器機能管理情報３２と連携機能管理情報３４について説明する。

機器機能管理情報３２は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報（機器識別情報）と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報（例えば資産管理番号等）、機器が設置されている位置を示す情報（機器の位置情報）、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、機器を表す外観画像及び機器の内部構造を表す内部画像を含む。外観画像は、機器の外側（例えば機器の筐体）を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。内部画像は、機器の内部構造を表す画像であり、例えば、指先で指し示された位置によって機器が切断されたときの断面がわかる画像である。また、機器の内部に１又は複数の部品が存在する場合、各部品の画像を含む。機器画像は、機器を撮影することで生成された画像（機器の外側を表す画像等）であってもよいし、機器を模した画像（例えばアイコン等）であってもよい。機能情報は、例えば、機能ＩＤや機能名称等である。例えば、画像形成装置１０がスキャン機能、プリント機能、コピー機能及びスキャン転送機能を有する場合、当該画像形成装置１０のデバイス識別情報には、スキャン機能を示す機能情報、プリント機能を示す機能情報、コピー機能を示す機能情報、及び、スキャン転送機能を示す機能情報が対応付けられている。機器機能管理情報３２を参照することにより、各機器が有する機能が特定（識別）される。

機器機能管理情報３２によって管理されている機器は、例えば機器システムに含まれる機器（例えば機器１０，１２）である。もちろん、機器システムに含まれない機器が機器機能管理情報３２によって管理されてもよい。例えば、サーバ１４は、機器システムに含まれていない新たな機器に関する情報（デバイス識別情報と機能情報とを含む情報）を取得し、機器機能管理情報３２に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、サーバ１４は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報３２を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報３２に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報３２から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。

連携機能管理情報３４は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、例えば、１つの機器（例えば機器１０，１２）が有する複数の機能を連携させることによって実行されてもよいし、複数の機器（例えば機器１０，１２）が有する複数の機能を連携させることによって実行されてもよい。また、操作指示を出している端末装置（本実施形態では端末装置１６）も識別対象の機器に含め、端末装置が有する機能を連携機能の一部として利用するようにしてもよい。

連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。

連携機能管理情報３４は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報３４も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報３４に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報３４から削除され、又は、使用不可な情報として登録される。

複数の機器を連携させる場合、連携機能管理情報３４は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。上記のように、機器機能管理情報３２が更新された場合、その更新に伴って、連携機能管理情報３４も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。

連携機能は、互いに異なる複数の機能を連携させることによって実行される機能であってもよいし、同一の機能を連携させることによって実行される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることにより、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることにより、コピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報３４においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。

連携機能の概念の範疇には、複数の機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能（電話を介した会話が翻訳される機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や機能を連携させることで実現可能となる機能が含まれる。

なお、記憶部３０には、利用可能機能管理情報が記憶されていてもよい。利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報（連携機能情報を含んでいてもよい）と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザＩＤや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することにより、各ユーザが利用可能な機能が特定（識別）される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に（例えば、ユーザに無償又は有償で機能が提供される度に）更新される。

制御部３６は、サーバ１４の各部の動作を制御する。また、制御部３６は、特定部３８を含む。

特定部３８は、機器を識別するためのデバイス識別情報を受け、記憶部３０に記憶されている機器機能管理情報３２において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定（識別）される。例えば、端末装置１６からサーバ１４にデバイス識別情報が送信され、特定部３８によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。機能に関する情報（例えば、機能情報や機能の説明情報等）は、例えばサーバ１４から端末装置１６に送信される。端末装置１６は、デバイス識別情報によって特定される機器が有する機能に関する情報を空中ディスプレイ装置１５０に表示させる。

また、特定部３８は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部３０に記憶されている連携機能管理情報３４において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行される連携機能が特定（識別）される。例えば、端末装置１６からサーバ１４に複数のデバイス識別情報が送信され、特定部３８によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。連携機能に関する情報（例えば、連携機能情報や連携機能の説明情報等）は、例えばサーバ１４から端末装置１６に送信される。端末装置１６は、複数のデバイス識別情報によって特定される複数の機器によって実行される連携機能に関する情報を空中ディスプレイ装置１５０に表示させる。

例えば、１つの機器が識別された場合（例えば１つの機器が撮影された場合）、特定部３８は、当該機器を識別するためのデバイス識別情報を受け、機器機能管理情報３２において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。これにより、１つの機器が識別された場合（例えば１つの機器が撮影された場合）、当該機器が有する機能が特定（識別）される。複数の機器が識別された場合（例えば複数の機器が撮影された場合）、特定部３８は、当該複数の機器に含まれる各機器を識別するためのデバイス識別情報を受け、連携機能管理情報３４において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、複数の機器が識別された場合（例えば複数の機器が撮影された場合）、当該複数の機器が有する機能を利用する連携機能が特定（識別）される。

また、特定部３８は、連携機能に利用される各機能を示す機能情報を受け、記憶部３０に記憶されている連携機能管理情報３４において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行される連携機能が特定（識別）される。例えば、端末装置１６からサーバ１４に複数の機能情報が送信され、特定部３８によって、当該複数の機能情報に対応付けられている連携機能を示す連携機能情報が特定される。上記と同様に、端末装置１６は、複数の機能情報によって特定される複数の機器によって実行される連携機能に関する情報を空中ディスプレイ装置１５０に表示させる。

なお、ユーザが利用可能な機能が管理されている場合、特定部３８は、ユーザを識別するためのユーザ識別情報を受け、記憶部３０に記憶されている利用可能機能管理情報において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能群が特定（識別）される。例えば、端末装置１６からサーバ１４にユーザ識別情報が送信され、特定部３８によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。ユーザが利用可能な各機能に関する情報（例えば各機能の名称を示す情報）は、例えばサーバ１４から端末装置１６に送信される。端末装置１６は、ユーザ識別情報によって特定されるユーザが利用可能な各機能に関する情報を空中ディスプレイ装置１５０に表示させる。例えば、特定部３８は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報３２において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、また、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。

制御部３６は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部３６は、当該ユーザに対して課金処理を適用してもよい。

また、制御部３６は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部３６は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部３６は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置１０から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部３６は、画像データを端末装置１６から受信し、当該画像データを対象として各機能を実行してもよい。制御部３６によって生成された文字データや画像データは、例えば、サーバ１４から端末装置１６に送信される。サーバ１４は外部機器として利用され、連携機能は、サーバ１４を含む複数の機器が有する機能を利用する機能であってもよい。

以下、図４を参照して、端末装置１６の構成について詳しく説明する。図４には、端末装置１６の構成が示されている。

通信部４０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部４０は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部４０は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ通信、近接無線通信等である。通信部４０は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。

撮影手段としてのカメラ４２は、撮影対象を撮影することにより画像データ（例えば静止画像データや動画像データ）を生成する。また、端末装置１６のカメラを利用するだけではなく、ネットワーク等の通信経路に繋がった外部のカメラで撮影された画像データを通信部４０で受け取り、空中ディスプレイ装置１５０に画像データを表示させ、ユーザが画像データを操作できるようにしてもよい。

記憶部４４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置であり、各種のプログラム、各種のデータ、サーバ１４のアドレス情報、各機器のアドレス情報（例えば機器１０，１２のアドレス情報）、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等を記憶する。

ＵＩ部４６はユーザインターフェース部であり、装置制御部と位置特定部を含む。装置制御部は、制御部４８による表示制御に従い空中ディスプレイ装置１５０の動作を制御することにより画像を空中ディスプレイに表示させる。以降の説明では、説明の簡略化のために、ＵＩ部４６又は制御部４８が空中ディスプレイに表示する又は表示させると表現する場合もある。位置特定部は、人検出装置１５２により検出された人間及び操作子としての人間の指先の位置を特定する。本実施の形態では、所定の位置を原点とした３次元座標で空間を表現する場合、位置特定部は、検出した指先等の位置を座標データで特定する。

制御部４８は、端末装置１６の各部の動作を制御する。制御部４８は、例えば表示制御手段（制御手段）として機能し、各種の情報を空中ディスプレイに表示させる。

空中ディスプレイには、例えば、カメラ４２によって撮影された画像や、利用対象の機器（例えば、単独で利用される機器や連携対象の機器）として識別された機器に紐付く画像、機能に紐付く画像、等が表示される。機器に紐付く画像は、カメラ４２によって撮影された当該機器を表わす画像（静止画像又は動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよい。模式的に表す画像のデータは、例えば、サーバ１４に記憶されてサーバ１４から端末装置１６に提供されてもよいし、端末装置１６に予め記憶されていてもよいし、別の装置に記憶されて当該別の装置から端末装置１６に提供されてもよい。機能に紐付く画像は、例えば、その機能を表わすアイコン等の画像である。

上述した機器機能管理情報３２は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、機器機能管理情報３２は、サーバ１４の記憶部３０に記憶されていなくてもよい。同様に、上述した連携機能管理情報３４は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、連携機能管理情報３４は、サーバ１４の記憶部３０に記憶されていなくてもよい。端末装置１６の制御部４８は、上述した特定部３８を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用する連携機能を特定してもよい。この場合、サーバ１４は特定部３８を有していなくてもよい。

利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、利用可能機能管理情報は、サーバ１４の記憶部３０に記憶されていなくてもよい。端末装置１６の制御部４８は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ１４の制御部３６は、その管理機能を有していなくてもよい。端末装置１６の制御部４８は、ユーザ識別情報に基づいて、ユーザによって利用可能な機能を特定してもよい。

更に別の例として、機器１０，１２等の機器に、機器機能管理情報３２や連携機能管理情報３４が記憶されていてもよいし、機器１０，１２等の機器が特定部３８を有していてもよい。つまり、サーバ１４の特定部３８による処理（例えば、機器の識別処理、機能の識別処理、連携機能の識別処理等）は、サーバ１４において行われてもよいし、端末装置１６において行われてもよいし、機器１０，１２等の機器において行われてもよい。

本実施形態では、一例として、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術（拡張現実技術）を適用することにより、デバイス識別情報が取得されて機器が識別される。例えば、ＡＲ技術を適用することにより、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、２次元バーコード等のマーカを用いるマーカ型ＡＲ技術、画像認識技術を用いるマーカレス型ＡＲ技術、位置情報を用いる位置情報ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器を識別してもよいし、機器ＩＤを読み出して機器を識別してもよい。更に、赤外線通信、可視光通信、Ｗｉ－Ｆｉ、ブルートゥースといった各種無線通信機能を備えた機器、端末装置であれば、それら無線通信機能を利用して連携する機器の機器ＩＤを取得することで機器を識別し、連携機能を実行してもよい。

以下、図５を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置１０のデバイス識別情報を取得する場合について説明する。図５には、画像形成装置１０の外観が模式的に示されている。ここでは、マーカ型ＡＲ技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置１０の筐体には、２次元バーコード等のマーカ５０が設けられている。マーカ５０は、画像形成装置１０のデバイス識別情報がコード化された情報である。ユーザは端末装置１６のカメラ４２を起動させ、利用対象の画像形成装置１０に設けられているマーカ５０をカメラ４２によって撮影する。これにより、マーカ５０を表す画像データが生成される。その画像データは、例えば、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が、当該画像データに表されたマーカ画像に対してデコード処理を適用することにより、デバイス識別情報を抽出する。これにより、利用対象の画像形成装置１０（撮影されたマーカ５０を有する画像形成装置１０）が識別される。サーバ１４の特定部３８は、機器機能管理情報３２において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置１０が有する機能が特定（識別）される。

なお、端末装置１６の制御部４８が、マーカ５０を表す画像データにデコード処理を適用することにより、デバイス識別情報を抽出してもよい。この場合、抽出されたデバイス識別情報は、端末装置１６からサーバ１４に送信される。サーバ１４の特定部３８は、機器機能管理情報３２において、端末装置１６から送信されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。端末装置１６の記憶部４４に機器機能管理情報３２が記憶されている場合、端末装置１６の制御部４８が、その機器機能管理情報３２において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定してもよい。

マーカ５０には、画像形成装置１０が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ５０を表す画像データにデコード処理を適用することにより、当該画像形成装置１０のデバイス識別情報が抽出されるとともに、当該画像形成装置１０が有する機能を示す機能情報も抽出される。これにより、画像形成装置１０が特定（識別）されるとともに、当該画像形成装置１０が有する機能が特定（識別）される。このデコード処理は、サーバ１４によって行われてもよいし、端末装置１６によって行われてもよい。

複数の機器が有する機能を利用する連携機能を実行する場合、連携対象の各機器のマーカを撮影することにより各機器のデバイス識別情報が取得され、これにより、連携機能が特定（識別）される。

マーカレス型ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置１６のカメラ４２によって、利用対象の機器（例えば画像形成装置１０）の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称（例えば商品名）や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。その外観画像データは、例えば端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、サーバ１４の記憶部３０には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部３６は、例えば、端末装置１６から送信された外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部３６は、端末装置１６から送信された外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器（カメラ４２によって撮影された機器）が識別される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器を識別してもよい。サーバ１４の特定部３８は、機器機能管理情報３２において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１０）が有する機能が特定される。

なお、端末装置１６の制御部４８が、利用対象の機器（例えば画像形成装置１０）の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、端末装置１６の制御部４８は、端末装置１６の記憶部４４に記憶されている外観画像対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定する。別の例として、端末装置１６の制御部４８は、サーバ１４から外観画像対応付け情報を取得し、当該外観画像対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定してもよい。

複数の機器が有する複数の機能を利用する連携機能を実行する場合、連携対象の各機器の外観の全部又は一部を撮影することにより各機器のデバイス識別情報が取得され、これにより、連携機能が特定（識別）される。

位置情報ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を利用することにより、機器（例えば画像形成装置１０）が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置１６は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。そのデバイス位置情報は、例えば、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、サーバ１４の記憶部３０には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部３６は、その位置対応付け情報において、端末装置１６から送信されたデバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定（識別）される。サーバ１４の特定部３８は、機器機能管理情報３２において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１０）が有する機能が特定（識別）される。

なお、端末装置１６の制御部４８が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、端末装置１６の記憶部４４に記憶されていてもよい。この場合、端末装置１６の制御部４８は、端末装置１６の記憶部４４に記憶されている位置対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定する。別の例として、端末装置１６の制御部４８は、サーバ１４から位置対応付け情報を取得し、当該位置対応付け情報を参照することにより、利用対象の機器のデバイス識別情報を特定してもよい。

複数の機器を利用する連携機能を実行する場合、連携対象の各機器のデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。これにより、連携機能が特定（識別）される。

なお、複数の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術、マーカレス型ＡＲ技術、及び、位置情報ＡＲ技術の中から選択された複数の技術を用いて機器を識別してもよい。また、ある識別技術によって機器を識別できなかった場合に、他の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術やマーカレス型ＡＲ技術によって機器を識別できなかった場合、位置情報ＡＲ技術を用いて機器を識別してもよい。

以下、第1実施形態に係る画像形成システムについて更に詳しく説明する。

図６を参照して、機器機能管理情報３２について詳しく説明する。図６には、機器機能管理情報３２としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する機能を示す情報（機能情報）と、画像ＩＤと、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。画像ＩＤは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像ＩＤは含まれていなくてもよい。例えば、機器ＩＤが「Ｂ」の機器は、複合機（複数の画像形成機能を有する画像形成装置）であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器に紐付く機器画像を識別するための画像ＩＤが対応付けられている。機器に紐付く機器画像のデータは、例えば、サーバ１４の記憶部３０や他の装置に記憶されている。

例えば、ＡＲ技術を適用することにより、利用対象の機器を識別するための機器ＩＤが取得される。サーバ１４の特定部３８は、機器機能管理テーブルを参照することにより、その機器ＩＤに対応付けられている機器名、機能及び画像ＩＤを特定する。これにより、利用対象の機器が識別される。例えば、機器名を示す情報、及び、機器に紐付く機器画像のデータが、サーバ１４から端末装置１６に送信され、それらが空中ディスプレイに表示される。もちろん、カメラ４２によって撮影された画像そのものが空中ディスプレイに表示されてもよい。また、端末装置１６のＵＩ部４６において、機器に紐付く機器画像（例えば、カメラ４２によって撮影された画像や、機器を模式的に表す画像）がユーザによって指定されると、その機器が有する機能に関する情報（例えば、機能情報や機能の説明情報等）が、サーバ１４から端末装置１６に送信されて空中ディスプレイに表示されてもよい。

以下、図７を参照して、連携機能管理情報３４について詳しく説明する。図７には、連携機能管理情報３４としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせと、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。

次に、機器が単独で利用される場合の処理及び連携機能が利用される場合の処理について説明する。本実施の形態では、説明の便宜上、最初に平面的な２次元画像（奥行きのない（ｚ＝０）の画像）が空中ディスプレイに表示される場合を例にして基本的な処理の流れについて説明する。その後に立体的な３次元画像が空中ディスプレイに表示される場合の処理について説明する。

以下、図８を参照して、機器が単独で利用される場合の処理について説明する。図８には、単独で利用される機器の一例が示されている。一例として、画像形成装置１０が、単独で利用される機器であるとする。画像形成装置１０は例えば複合機である。画像形成装置１０は、現実空間に存在する機器である。

例えば、画像形成装置１０の筐体に２次元バーコード等のマーカ５０が設けられている。マーカ型ＡＲ技術又はマーカレス型ＡＲ技術が用いられる場合、ユーザは端末装置１６（例えばスマートフォン）のカメラ４２によって、利用対象の画像形成装置１０を撮影する。これにより、マーカ５０を表わす画像データ又は画像形成装置１０の外観を表わす外観画像データが生成される。空中ディスプレイには機器表示画面５２が表示され、その機器表示画面５２に、画像形成装置１０に紐付く機器画像５４が表示される。機器画像５４は、例えば、カメラ４２による撮影によって生成された画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）である。

カメラ４２による撮影によって生成された画像データは、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が画像データにデコード処理を適用することにより、画像形成装置１０のデバイス識別情報を抽出し、これにより、画像形成装置１０を識別する。別の例として、画像形成装置１０の外観を表わす外観画像データが生成され、端末装置１６からサーバ１４に外観画像データが送信されてもよい。この場合、サーバ１４においては、制御部３６が、外観画像対応付け情報を参照することにより、画像形成装置１０のデバイス識別情報を特定する。これにより、画像形成装置１０が識別される。

また、サーバ１４の特定部３８は、機器機能管理情報３２（例えば図６に示されている機器機能管理テーブル）を参照することにより、画像形成装置１０が有する機能を特定（識別）する。この点について図６を参照して詳しく説明する。画像形成装置１０は、一例として「複合機（Ｂ）」であるとする。特定部３８は、図６に示されている機器機能管理テーブルにおいて、複合機（Ｂ）に対応付けられている機能を特定する。これにより、複合機（Ｂ）が有する機能が特定される。特定された機能に関する情報は、サーバ１４から端末装置１６に送信される。もちろん、機器や機能を識別するための処理は、端末装置１６によって行われてもよい。

なお、機器表示画面５２には、カメラ４２による撮影によって生成された画像の替わりに、識別された画像形成装置１０に紐付く予め用意された画像（撮影で得られた画像そのものではなく模式的な画像（例えばアイコン））や、外部のカメラによる撮影によって生成された画像が、機器画像５４として表示されてもよい。

例えば、機器を撮影することで得られた画像データを利用する場合、現在の機器そのものの外観（例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観）が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。

模式的な画像を利用する場合、模式的な画像のデータは、例えばサーバ１４から端末装置１６に送信される。例えば画像形成装置１０が識別されると、サーバ１４の特定部３８は、図６に示されている機器機能管理テーブル（機器機能管理情報３２）を参照することにより、画像形成装置１０に紐付く模式的な画像を特定する。その模式的な画像のデータはサーバ１４から端末装置１６に送信され、その模式的な画像は機器画像５４として空中ディスプレイに表示される。なお、空中において機器画像５４に関する情報の表示領域（表示範囲）を示すために、図８に示すように機器表示画面（表示枠）５２を付加的に表示してもよい。模式的な画像のデータは端末装置１６に予め記憶されていてもよい。この場合、画像形成装置１０が識別されると、端末装置１６に記憶されている機器画像５４が機器表示画面５２に表示される。模式的な画像のデータは、サーバ１４や端末装置１６以外の装置に記憶されていてもよい。

また、機器が識別されると、その機器の名称を示す情報がサーバ１４から端末装置１６に送信され、端末装置１６において、機器表示画面５２に機器の名称が表示されてもよい。図８に示す例では、画像形成装置１０は複合機であり、その名称「複合機（Ｂ）」が表示されている。

画像形成装置１０が有する機能が特定されると、例えば図９に示すように、端末装置１６の制御部４８は、機能表示画面５６を空中ディスプレイに表示し、その機能表示画面５６に機能に関する情報を表示させる。図９に示すように、機器表示画面５２と同様、空中において機能に関する情報を表示する表示領域として機能表示画面（表示枠）５６を付加的に表示してもよい。機能に関する情報として、例えば、その機能の実行を指示するためのボタン画像が表示される。画像形成装置１０としての複合機（Ｂ）は、例えば、プリント機能、スキャン機能、コピー機能、及び、ファクシミリ機能を有しているため、これらの機能の実行を指示するためのボタン画像が機能表示画面５６に表示される。例えば、ユーザが端末装置１６を使用してプリント機能を表わすボタン画像を指定し、プリント機能の実行を指示すると、プリント機能の実行指示を示す実行指示情報が、端末装置１６から画像形成装置１０に送信される。その実行指示情報には、プリント機能を実行するための制御データや、プリント機能が適用される画像データ等のデータ、等が含まれる。画像形成装置１０は実行指示情報を受けると、その実行指示情報に従ってプリントを実行する。

図９に示す機能表示画面５６のようにユーザにより操作される画面は、通常であればタッチパネル等により実現され、ユーザがタッチすることで入力されるだろうが、空中ディスプレイには、実際にタッチして（触れて）操作できるような実体はない。つまり、空中ディスプレイに表示されるユーザ操作画面は、タッチしないタッチパネルと言える。

図１０には、機能表示画面の別の例が示されている。この機能表示画面５８は、図８に示すように、単体の機器を利用する際に、空中ディスプレイに表示される画面である。図１０に示すように、機能表示画面５６と同様、空中において機能に関する情報を表示する表示領域として機能表示画面（表示枠）５８を付加的に表示してもよい。上述したように、利用対象の機器（例えば画像形成装置１０）が特定され、利用対象の機器が有する機能が特定される。また、利用対象の機器を利用するユーザがユーザ識別情報に対応付けられている機能を示す機能情報、つまり、当該ユーザが利用可能な機能が特定されてもよい。さらに、利用対象の機器が有する機能が特定されるので、提供対象となっている機能群の中で利用対象の機器が有していない機能が特定されてもよい。これらの情報は、機能表示画面５８に表示されてもよい。

図１０に示されている機能表示画面５８には、機能情報の一例として、機能Ａを表すボタン画像６０、機能Ｂを表すボタン画像６２、及び、機能Ｃを表すボタン画像６４が、表示されている。機能Ａは、利用対象の機器（例えば識別された画像形成装置１０）が有している機能であって、ユーザによって利用可能な機能である。機能Ｂは、利用対象の機器が有している機能であって、ユーザによる利用が不可能な機能である。ユーザが機能Ｂの提供を受けることにより、当該ユーザによる機能Ｂの利用が可能となる。機能Ｂが有償の機能であれば、ユーザが機能Ｂを購入することにより、機能Ｂの利用が可能となり、機能Ｂが無償の機能であれば、ユーザが無償で機能Ｂの提供を受けることにより、機能Ｂの利用が可能となる。機能Ｃは、利用対象の機器が有していない機能、つまり、利用対象の機器が対応していない機能である。端末装置１６の制御部４８は、ボタン画像によって表されている機能が、利用対象の機器が有している機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。また、制御部４８は、ボタン画像によって表されている機能が、ユーザによって利用可能な機能であるか否かに応じて、当該ボタン画像の表示態様を変えてもよい。例えば、制御部４８は、ボタン画像の色や形状を変えてもよい。図１０に示す例では、ボタン画像６０，６２，６４はそれぞれ異なる色で表示されている。一例として、利用対象の機器が有している機能であってユーザによって利用可能な機能を表すボタン画像（例えば機能Ａを表すボタン画像６０）は、青色で表示される。利用対象の機器が有している機能であってユーザによる利用が不可能な機能を表すボタン画像（機能Ｂを表すボタン画像６２）は、黄色で表示される。利用対象の機器が有していない機能を表すボタン画像（例えば機能Ｃを表すボタン画像６４）は、灰色で表示される。別の例として、制御部４８は、ボタン画像６０，６２，６４の形状を変えてもよいし、機能表示名のフォントを変えてもよい。もちろん、別の手法によって表示態様を変えてもよい。これにより、ユーザに視認性良く各機能の利用可否が伝えられる。

例えば、ユーザが空中ディスプレイに表示されている機能Ａを表すボタン画像６０を指定し、機能Ａの実行の指示を与えると、機能Ａの実行指示を示す実行指示情報が、端末装置１６から利用対象の機器に送信される。その実行指示情報には、機能Ａを実行するための制御データや、機能Ａによる処理が適用される画像データ等のデータ、等が含まれる。利用対象の機器は実行指示情報を受けると、その実行指示情報に従って機能Ａを実行する。例えば、利用対象の機器が画像形成装置１０の場合であって機能Ａがスキャン転送機能の場合、画像形成装置１０の画像形成部２０によってスキャン機能が実行され、これによりスキャンデータ（画像データ）が生成される。そのスキャンデータは、画像形成装置１０から設定された送信先（例えば端末装置１６）に送信される。

また、ユーザが空中ディスプレイに表示されている機能Ｂを表すボタン画像６２を指定し、機能Ｂの提供を指示した場合、提供処理が実行される。提供処理がサーバ１４によって行われる場合、端末装置１６はサーバ１４にアクセスする。これにより、ユーザによる機能Ｂの利用を可能にするための情報として、機能Ｂの提供を受けるための画面（例えばＷｅｂサイト）が空中ディスプレイに表示される。この画面上で提供手続きを行うことにより、ユーザによる機能Ｂの利用が可能となる。例えば、端末装置１６にはＷｅｂブラウザのプログラムが記憶されており、そのＷｅｂブラウザを利用することにより、端末装置１６からサーバ１４へのアクセスが実現される。ユーザはＷｅｂブラウザを用いてサーバ１４にアクセスすると、空中ディスプレイに、機能提供画面（例えばＷｅｂサイト）が表示され、そのＷｅｂサイトを介して機能が提供される。もちろん、サーバ１４以外のサーバ等によって提供処理が行われてもよい。別の例として、空中ディスプレイには、ユーザによる機能Ｂの利用を可能にするための情報として、管理者等に機能Ｂの利用を依頼するための利用許可依頼画面（例えばＷｅｂサイト）が表示されてもよい。この利用許可依頼画面を介して機能Ｂの利用の許可を管理者等に依頼し、その許可が得られた場合、ユーザによる機能Ｂの利用が可能となる。

以下、図１１を参照して、連携機能が利用される場合の処理について説明する。図１１には、連携対象の機器の一例が示されている。一例として、画像形成装置１０と機器１２としてのプロジェクタ（以下、プロジェクタ１２と称する場合がある）とが、連携対象の機器として用いられるものとする。画像形成装置１０、プロジェクタ１２及び端末装置１６は、現実空間に存在する機器である。

例えば、画像形成装置１０の筐体に２次元バーコード等のマーカ５０が設けられており、プロジェクタ１２の筐体に２次元バーコード等のマーカ６６が設けられている。マーカ６６は、プロジェクタ１２の機器識別情報がコード化された情報である。マーカ型ＡＲ技術又はマーカレス型ＡＲ技術が用いられる場合、ユーザは端末装置１６（例えばスマートフォン）のカメラ４２によって、連携対象の画像形成装置１０とプロジェクタ１２を撮影する。図１１に示す例では、カメラ４２の撮影領域に画像形成装置１０とプロジェクタ１２の両方が含まれる状態で、画像形成装置１０とプロジェクタ１２が一緒に撮影されている。これにより、マーカ５０，６６のそれぞれを表わす画像データが生成される。空中ディスプレイには機器表示画面６８が表示され、その機器表示画面６８に、画像形成装置１０に紐付く機器画像７０とプロジェクタ１２に紐付く機器画像７２が表示される。機器画像７０，７２は、例えば、カメラ４２による撮影によって生成された画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）である。図１１に示すように、機器表示画面５２と同様、空中において機器画像７０，７２に関する情報の表示領域として機器表示画面（表示枠）６８を付加的に表示してもよい。

カメラ４２による撮影によって生成された画像データは、端末装置１６からサーバ１４に送信される。サーバ１４においては、制御部３６が画像データにデコード処理を適用することにより、画像形成装置１０のデバイス識別情報とプロジェクタ１２のデバイス識別情報を抽出し、これにより、画像形成装置１０とプロジェクタ１２を識別する。別の例として、画像形成装置１０とプロジェクタ１２のそれぞれの外観を表わす外観画像データが生成され、端末装置１６からサーバ１４に送信されてもよい。この場合、サーバ１４においては、制御部３６が、外観画像対応付け情報を参照することにより、画像形成装置１０の機器識別情報とプロジェクタ１２のデバイス識別情報を特定する。これにより、画像形成装置１０とプロジェクタ１２が識別される。

また、サーバ１４の特定部３８は、連携機能管理情報３４（例えば図７に示されている連携機能管理テーブル）を参照することにより、画像形成装置１０が有する機能とプロジェクタ１２が有する機能とを利用する連携機能を特定（識別）する。この点について図７を参照して詳しく説明する。画像形成装置１０は、一例として「複合機（Ｂ）」であり、プロジェクタ１２は、一例として「プロジェクタ（Ｃ）」であるとする。特定部３８は、図７に示されている連携機能管理テーブルにおいて、複合機（Ｂ）とプロジェクタ（Ｃ）の組み合わせに対応付けられている連携機能を特定する。これにより、複合機（Ｂ）とプロジェクタ（Ｃ）を連携させることによって実行される連携機能が特定される。特定された連携機能に関する情報は、サーバ１４から端末装置１６に送信される。もちろん、機器や連携機能を識別するための処理は、端末装置１６によって行われてもよい。

なお、機器表示画面６８には、カメラ４２による撮影によって生成された画像の替わりに、識別された画像形成装置１０に紐付く予め用意された画像（例えば模式的な画像（例えばアイコン））や、外部のカメラによる撮影によって生成された画像が、機器画像７０として表示されてもよい。同様に、識別されたプロジェクタ１２に紐付く予め用意された画像や、外部のカメラによる撮影によって生成された画像が、機器画像７２として表示されてもよい。模式的な画像のデータは、上述したように、例えばサーバ１４から端末装置１６に送信されてもよいし、端末装置１６に予め記憶されていてもよいし、それら以外の装置に記憶されていてもよい。

また、機器が識別されると、その機器の名称を示す情報がサーバ１４から端末装置１６に送信され、端末装置１６において、機器表示画面６８に機器の名称が表示されてもよい。図１１に示す例では、画像形成装置１０の名称「複合機（Ｂ）」と、プロジェクタ１２の名称「プロジェクタ（Ｃ）」が表示されている。

なお、複数の機器が撮影された場合であっても、サーバ１４の特定部３８は、機器機能管理情報３２を参照することにより、各機器が有する機能を特定してもよい。図１１に示す例では、特定部３８は、画像形成装置１０が有する機能とプロジェクタ１２が有する機能をそれぞれ特定してもよい。特定された機能に関する情報は、サーバ１４から端末装置１６に送信されてもよい。

連携機能が特定されると、例えば図１２に示すように、端末装置１６の制御部４８は、機能表示画面７４を空中ディスプレイに表示させ、その機能表示画面５６に連携機能に関する情報を表示させる。図１２に示すように、機能表示画面５６と同様、空中において連携機能に関する情報を表示する表示領域として機能表示画面（表示枠）７４を付加的に表示してもよい。連携機能に関する情報として、例えば、その連携機能の実行を指示するためのボタン画像が表示される。複合機（Ｂ）とプロジェクタ（Ｃ）を連携させることで、例えば、複合機（Ｂ）によるスキャンによって生成された画像をプロジェクタ（Ｃ）によって投影する連携機能や、プロジェクタ（Ｃ）によって投影されている画像を複合機（Ｂ）によってプリントする連携機能が実行可能となる。これらの連携機能の実行を指示するためのボタン画像が機能表示画面７４に表示される。例えば、ユーザが端末装置１６を使用してボタン画像を指定し、連携機能の実行を指示すると、その連携機能の実行指示を示す実行指示情報が、端末装置１６から画像形成装置１０とプロジェクタ１２に送信される。画像形成装置１０とプロジェクタ１２は、実行指示情報を受けると、ユーザによって指定された連携機能を実行する。

ユーザの操作によって、連携対象の機器が指定されてもよい。例えば、画像形成装置１０とプロジェクタ１２をカメラ４２によって撮影することにより、図１１に示すように、空中ディスプレイには、画像形成装置１０に紐付く機器画像７０とプロジェクタ１２に紐付く機器画像７２が表示される。なお、機器に紐付く画像は、カメラ４２による撮影で得られた画像であってもよいし、識別された機器に紐付く予め用意された画像（例えば模式的な画像（例えばアイコン））であってもよい。ユーザが機器表示画面６８上で機器画像７０，７２を指定することにより、連携対象の機器として画像形成装置１０とプロジェクタ１２が指定される。例えば、ユーザが機器画像７０を指定すると、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術が機器画像７０に適用され、これにより、画像形成装置１０が特定（識別）される。同様に、ユーザが機器画像７２を指定すると、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術が機器画像７２に適用され、これにより、プロジェクタ１２が特定（識別）される。これにより、画像形成装置１０とプロジェクタ１２によって実行される連携機能が特定され、その連携機能に関する情報が空中ディスプレイに表示される。

別の例として、ユーザが機器表示画面６８上で機器画像７０に触れ機器画像７２までの間を指等で操作する（例えば指先等でなぞる）ことにより、機器画像７０，７２が指定され、画像形成装置１０とプロジェクタ１２が連携対象の機器として指定されてもよい。機器画像７０，７２を触れる順番やなぞる方向は、上記の例と逆であってもよい。もちろん、機器表示画面６８をなぞるためのペンといった指以外の画面接触手段が用いられてもよい。ユーザが機器画像７０と機器画像７２を繋げることにより、機器画像７０、７２が指定され、画像形成装置１０とプロジェクタ１２が連携対象の機器として指定されてもよい。ユーザが機器画像７０と機器画像７２を重ねることにより、機器画像７０，７２が指定され、画像形成装置１０とプロジェクタ１２が連携対象の機器として指定されてもよい。丸を付けるような描画操作によって連携対象の機器を指定してもよいし、連携したい機器に紐付く機器画像を予め設定された時間内に指定することで、連携対象の機器を指定してもよい。連携を解除する場合、ユーザが機器表示画面６８上で解除対象の機器を指定してもよいし、連携解除ボタンを押してもよい。連携対象ではない機器が画像に写り込んでいる場合、ユーザが機器表示画面６８上にてその機器を指定することにより、その機器を連携対象の機器群から除外してもよい。バツ印等を付けるような予め設定された操作によって、解除対象の機器を指定してもよい。

ところで、機器画像７０，７２は、空中に表示されており、実際には触れることはできない。従って、空中ディスプレイに表示される機器表示画面６８及び機器表示画面６８上での機器画像７０，７２の表示位置は特定できるので、ＵＩ部４６は、人検出装置１５２が検出したユーザの指先の位置と機器画像７０，７２の表示位置との関係から機器画像７０，７２に触れるというユーザ操作を検出することになる。また、人検出装置１５２が検出したユーザの指先の位置の遷移からなぞるとか丸を付けるなどのユーザ操作を検出する。ＵＩ部４６の位置特定部は、人検出装置１５２が検出したユーザの指先の位置を特定し、その特定した位置及びその遷移に基づきユーザ操作を検出し、そしてそのユーザ操作を受け付ける。

なお、空中の場合、タッチパネル等の実体のある場合と異なり、画面に実際に触れながら指先を移動させることはできない。従って、ユーザが画面をなぞるような操作をした場合でも、空中においては、実際には奥行き方向にぶれが生じうる。従って、指先の２次元方向（ｘ，ｙ軸方向）の移動に対して、所定範囲内における奥行き方向の位置の変化、いわゆるぶれを許容するように制御するのが好適である。

また、触れる（タッチする）という操作についても同様に、実際のタッチパネルに対するユーザ操作を考慮すると、空中ディスプレイにおける指先の奥行き方向（ｚ軸方向）における位置が画像の表示位置（奥行き方向の位置）に合致する（検出された指先のｚ座標値とタッチされた部分の画像のｚ座標値とが同値）と言うよりも、画像の表示位置から奥行き方向に若干入ったユーザ操作で触れた（タッチした）と検出するようにしてもよい。

連携対象の各機器は別々に撮影されてもよい。例えば、カメラ４２による撮影を複数回に分けることで、連携対象の各機器を識別する。カメラ４２による撮影を複数回に分けた場合、各撮影回で識別された機器のデバイス識別情報は、サーバ１４又は端末装置１６の記憶部に記憶される。例えば、カメラ４２の撮影領域に画像形成装置１０が含まれる状態で画像形成装置１０が撮影され、次に、カメラ４２の撮影領域にプロジェクタ１２が含まれる状態でプロジェクタ１２が撮影される。これにより、画像形成装置１０についての画像データとプロジェクタ１２についての画像データが生成され、各画像データにマーカ型ＡＲ技術又はマーカレス型ＡＲ技術が適用されることにより、画像形成装置１０とプロジェクタ１２が特定（識別）され、画像形成装置１０とプロジェクタ１２の機能を利用する連携機能が特定（識別）される。例えば、連携対象の各機器が互いに近い位置に配置されて、カメラ４２の撮影領域に画像形成装置１０とプロジェクタ１２の両方が必ずしも一緒に含まれるとは限らない。カメラ４２の撮影領域のアングルを変えたり、撮影領域の拡大又は縮小によって対応することができる場合もあるが、そのような操作で対応しきれない場合、撮影を複数回に分けることにより、連携対象の機器を識別することも解決手段としてあり得る。

別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、画像形成装置１０が基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、サーバ１４や端末装置１６の記憶部に予め記憶されていてもよい。ユーザが端末装置１６を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは端末装置１６のカメラ４２によって、基本連携機器以外の連携対象の機器を撮影する。これにより、連携対象の機器が特定（識別）され、基本連携機器と撮影された機器が有する機能を利用する連携機能が特定（識別）される。

上記の例では、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術が用いられているが、位置情報ＡＲ技術が用いられてもよい。例えば、端末装置１６はＧＰＳ機能を備えており、端末装置１６自身の位置を示す端末位置情報を取得し、その端末位置情報をサーバ１４に送信する。サーバ１４の制御部３６は、機器の設置位置を示すデバイス位置情報とデバイス識別情報との対応付けを示す位置対応付け情報を参照し、端末装置１６の位置を基準にして、予め設定された範囲内に配置されている各機器を連携候補機器として特定する。例えば、端末装置１６の位置を基準にして予め設定された範囲内に、複合機、ＰＣ、プリンタ及びスキャナが配置されているものとする。この場合、複合機、ＰＣ、プリンタ及びスキャナが連携候補機器として特定される。各連携候補機器のデバイス識別情報は、サーバ１４から端末装置１６に送信され、空中ディスプレイに表示される。デバイス識別情報として、連携候補機器の画像が表示されてもよいし、デバイスＩＤ等の文字列が表示されてもよい。ユーザは、空中ディスプレイに表示されている連携候補機器群の中から連携対象の機器を指定する。ユーザによって指定された連携対象の機器のデバイス識別情報は、端末装置１６からサーバ１４に送信され、サーバ１４において、連携対象の機器のデバイス識別情報に基づいて連携機能が特定される。空中ディスプレイには、その連携機能に関する情報が表示される。なお、連携候補機器の特定処理及び連携機能の特定処理は、端末装置１６によって行われてもよい。

なお、ＡＲ技術等を適用しても撮影対象の機器が識別されない場合、その撮影対象の機器を表わす機器画像は、機器表示画面に表示されなくてもよい。これにより、識別された機器の視認性が向上する。例えば、識別された機器と識別されない機器が混在し、それぞれがカメラ４２によって撮影された場合、識別されない機器を表わす機器画像を非表示にする。これにより、識別された機器を表わす機器画像が、識別されない機器を表わす機器画像に埋もれずに表示されるので、識別された機器の視認性が向上する。また、識別された機器を表わす機器画像を強調して表示してもよい。例えば、識別された機器を表わす機器画像を特定の色で表示してもよいし、機器画像の縁を強調して表示してもよいし、機器画像を拡大して表示してもよいし、機器画像を振動させて表示してもよい。これにより、識別された機器の視認性が向上する。

以下、機器が有する機能を実行するときの処理について説明する。一例として、連携機能を実行するときの処理について説明する。この場合、端末装置１６から連携対象の機器に対して接続要求が送信され、端末装置１６と連携対象の機器とが接続される。以下、図１３を参照して、この接続処理について説明する。図１３は、その処理を示すシーケンス図である。

まず、ユーザは、端末装置１６を利用して、機器機能実行用のアプリケーション（プログラム）の起動を指示する。端末装置１６の制御部４８は、その指示に応じて当該アプリケーションを起動させる（Ｓ０１）。なお、そのアプリケーションは、端末装置１６の記憶部４４に予め記憶されていてもよいし、サーバ１４等からダウンロードされてもよい。

次に、マーカ型ＡＲ技術、マーカレス型ＡＲ技術又は位置情報ＡＲ技術を適用することにより、連携対象の機器が識別される（Ｓ０２）。もちろん、ＡＲ技術以外の技術によって連携対象の機器が識別されてもよい。マーカ型ＡＲ技術又はマーカレス型ＡＲ技術を適用する場合、例えば、ユーザは、端末装置１６のカメラ４２によって連携対象の機器を撮影する。一例として、画像形成装置１０（複合機（Ｂ））とプロジェクタ１２（プロジェクタ（Ｃ））が連携機器として用いられる場合、ユーザは、カメラ４２によって画像形成装置１０とプロジェクタ１２を撮影する。画像形成装置１０とプロジェクタ１２のそれぞれのデバイス識別情報が取得され、画像形成装置１０とプロジェクタ１２が連携対象の機器として識別される。位置情報ＡＲ技術を適用する場合、画像形成装置１０とプロジェクタ１２のそれぞれの位置情報が取得され、その位置情報に基づいて、画像形成装置１０とプロジェクタ１２のそれぞれのデバイス識別情報が特定され、画像形成装置１０とプロジェクタ１２が識別される。

例えば、連携機能表示の指示がユーザによって与えられた場合、識別された複数の機器が有する機能を利用する連携機能が識別される。空中ディスプレイには、識別された連携機能に関する情報が表示される。（Ｓ０３）。連携機能の識別処理は、サーバ１４によって行われてもよいし、端末装置１６によって行われてもよい。

次に、端末装置１６において、ユーザによって実行対象の連携機能が指定されると、端末装置１６は、その連携機能を実行する連携対象の機器（例えば画像形成装置１０とプロジェクタ１２）に接続要求を示す情報を送信する（Ｓ０４）。例えば、連携対象の機器のアドレスを示すアドレス情報が、サーバ１４に記憶されている場合、端末装置１６は、連携対象の機器のアドレス情報をサーバ１４から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置１６は、連携対象の機器の識別情報からそれぞれのアドレス情報を取得してもよい。別の例として、端末装置１６に、連携対象の機器のアドレス情報が記憶されていてもよい。もちろん、端末装置１６は、別の手法によって連携対象の機器のアドレス情報を取得してもよい。端末装置１６は、連携対象の機器（例えば画像形成装置１０とプロジェクタ１２）のアドレス情報を用いて、連携対象の機器（例えば画像形成装置１０とプロジェクタ１２）に接続要求を示す情報を送信する。

接続要求を示す情報を受けた画像形成装置１０とプロジェクタ１２は、端末装置１６との接続を許可する、又は、許可しない（Ｓ０５）。例えば、画像形成装置１０とプロジェクタ１２が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１６からの接続が許可された場合、画像形成装置１０とプロジェクタ１２の固有の設定情報が端末装置１６から変更されないように、その変更操作を禁止してもよい。例えば、画像形成装置１０の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。

接続の許可又は不許可を示す結果情報が、画像形成装置１０とプロジェクタ１２から端末装置１６に送信される（Ｓ０６）。画像形成装置１０とプロジェクタ１２への接続が許可された場合、端末装置１６と、画像形成装置１０及びプロジェクタ１２と、の間で通信が確立される。

次に、ユーザは端末装置１６を利用して連携機能の実行を指示する（Ｓ０７）。この指示に応じて、連携機能の実行指示を示す実行指示情報が、端末装置１６から画像形成装置１０とプロジェクタ１２に送信される（Ｓ０８）。画像形成装置１０に送信される実行指示情報には、画像形成装置１０にて実行される処理を示す情報（例えばジョブ情報）が含まれ、プロジェクタ１２に送信される実行指示情報には、プロジェクタ１２にて実行される処理を示す情報（例えばジョブ情報）が含まれる。

実行指示情報を受けた画像形成装置１０とプロジェクタ１２は、実行指示情報に従って機能を実行する（Ｓ０９）。例えば、画像形成装置１０（複合機（Ｂ））からプロジェクタ１２（プロジェクタ（Ｃ））へスキャンデータを転送してプロジェクタ１２によってデータを投影する機能のように、連携機能に、画像形成装置１０とプロジェクタ１２との間でデータの送受信が行われる処理が含まれている場合、画像形成装置１０とプロジェクタ１２との間で通信が確立される。この場合、例えば、画像形成装置１０に送信される実行指示情報にはプロジェクタ１２のアドレス情報が含まれ、プロジェクタ１２に送信される実行指示情報には画像形成装置１０のアドレス情報が含まれ、それらのアドレス情報を用いて画像形成装置１０とプロジェクタ１２との間で通信が確立される。

連携機能の実行が終了すると、連携機能の実行完了を示す情報が、画像形成装置１０とプロジェクタ１２から端末装置１６に送信される（Ｓ１０）。空中ディスプレイには、連携機能の実行が完了したことを示す情報が表示される（Ｓ１１）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１６の制御部４８は、エラーを示す情報を空中ディスプレイに表示させ、再度、実行指示情報、又は、接続要求を示す情報を、画像形成装置１０とプロジェクタ１２に送信してもよい。

次に、ユーザは、画像形成装置１０とプロジェクタ１２の連携状態を解除するか否かを確認し（Ｓ１２）、解除の有無に応じた処理が実行される（Ｓ１３）。連携状態を解除する場合、ユーザは、端末装置１６を利用して解除の指示を与える。これにより、端末装置１６と、画像形成装置１０及びプロジェクタ１２と、の間の通信が解除される。同様に、画像形成装置１０とプロジェクタ１２との間の通信も解除される。連携状態を解除しない場合、継続して実行指示を与えてもよい。

また、連携対象の機器を増やしてもよい。例えば３台目の機器の機器識別情報が取得され、画像形成装置１０とプロジェクタ１２を含む３台の機器を連携させることによって実行される連携機能が特定されてもよい。なお、画像形成装置１０とプロジェクタ１２が既に連携機能として識別されていることを示す情報は、サーバ１４や端末装置１６に記憶される。

連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報は、端末装置１６やサーバ１４等に記憶されてもよい。例えば、端末装置１６を利用するユーザのユーザアカウント情報（ユーザ識別情報）が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置１６やサーバ１４等に記憶されてもよい。履歴情報は、端末装置１６によって作成されてもよいし、サーバ１４によって作成されてもよい。履歴情報を参照することにより、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。

なお、連携対象の機器（例えば画像形成装置１０とプロジェクタ１２）は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置１６を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することにより、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、サーバ１４や端末装置１６に記憶されてもよいし、別の装置に記憶されてもよい。

ユーザアカウント情報は、例えば、端末装置１６の記憶部４４に予め記憶されており、端末装置１６の制御部４８は、ユーザ識別手段の一例として機能し、記憶部４４からユーザのユーザアカウント情報を読み込んで、端末装置１６を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部４４に記憶されている場合、ユーザは端末装置１６を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置１６の制御部４８は、端末装置１６にログインしているユーザのユーザアカウント情報を読み込むことにより、ユーザを識別してもよい。更に別の例として、同一の端末装置１６に、１つのユーザアカウント情報のみが記憶されている場合、端末装置１６の制御部４８は、そのユーザアカウント情報を読み込むことによりユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。

ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカウント情報が示すユーザによって過去に利用された連携機能を示す情報が、空中ディスプレイに表示されてもよい。その利用履歴を示す情報は、端末装置１６に記憶されていてもよいし、サーバ１４に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。

なお、単独機能が実行される場合、その単独機能の実行指示を示す情報が、端末装置１６から単独機能を実行する機器に送信される。当該機器は、その実行指示に従って単独機能を実行する。

以上、機器が単独で利用される場合の処理と、連携機能が利用される場合の処理とについて説明した。更に、機器が有する機能を実行する場合の処理についても説明した。上記説明では、便宜的に２次元画像（平面画像）を操作対象となる機器の画像として説明した。空間を座標系で表現した場合、２次元画像は、ｘ軸方向とｙ軸方向で表せる奥行き方向のない画像であるのに対し、３次元画像（立体画像）は、更に奥行き方向（ｚ軸方向）の情報を持つ。換言すると、２次元画像では、機器（の表面）に対して図９や図１０に示したプリントや機能Ａ等の機能を対応付けることに留まるが、３次元画像では、機器の奥行き方向に対して情報を対応付けることができる、つまり、機器の奥行き方向の位置、すなわち機器の内部に対して機能を対応付けることが可能となる。例えば、３次元画像にて表示されている機器の表面には機能Ａを、機器の中心には機能Ｂを、と機器の奥行き方向の位置に応じて機能を対応付けることが可能となる。換言すると、３次元画像の（ｘ１，ｙ１，ｚ１）の位置には機能Ａを、同じ３次元画像の（ｘ１，ｙ１，ｚ２）の位置には機能Ｂを、というように、２次元座標上では同じ座標値（ｘ１，ｙ１）でも奥行き情報（ｚ座標値）に対応させて異なる機能を対応付けることが可能となる。

ところが、通常、空中ディスプレイに表示される機器画像は、機器の外周（表面）の画像であり、機器の内部は視認できない状態で表示される。そして、前述したように、空中ディスプレイに表示される画像は、人間が触ろうとしても実際には触れることはできない。つまり、ユーザが空中ディスプレイに表示されている機器画像の内部を触れようとして、指先を画像の外周（表面）から画像の内部に移動させても、ユーザは、指先を視認できないかもしれない。そうすると、実体のない機器の内部のどの位置まで手を挿入したのか、つまり、機器画像の内部のどの位置を指し示しているのか、ユーザは視認することができない。

そこで、本実施の形態における制御部４８は、前述した表示制御に加えて、空中ディスプレイに表示されている画像の奥行き方向の情報に応じて画像の表示を制御できるようにした。まず、図１４及び図１５を用いて本実施の形態の基本的な動作について説明する。

図１４は、空中ディスプレイに表示されている画像の一例として複合機の画像を示す図である。なお、ユーザが真正面から見たときの画像を図示すると、２次元画像と同様に正面図（ユーザと対向する面の画像）が示されることになり、奥行きが確認できないため、図１４では、説明の便宜上、斜視図により画像を表している。このように、画像は、空中ディスプレイに立体的に表示される。

図１５は、図１４に示すように表示されている複合機の画像に対し、ユーザが画像の内部に指先を差し入れたときの、空中ディスプレイに表示される複合機の画像を示す図である。図１５に示すように、画像の左端下端の角、すなわち画像の底面（複合機が設置されている床面）と左側面と正面（ユーザと対向する側の面）の各角が重なる位置を原点（０，０，０）とする。そして、床の水平方向であって機器画像の幅方向をｘ軸方向、床の垂直方向（機器画像の高さ方向）をｙ軸方向、そして床の水平方向であって機器画像の奥行き方向をｚ軸方向とする。このとき、画像の表面に触れている指先１５４ａの位置の奥行きは、２次元画像に対する操作と同様にｚ＝０となる。ｚ＝０の位置（外観画像の前面）から複合機の画像の内部の方向が画像の奥行き方向であり、正のｚ方向である。ユーザの指先が画像に触れていない場合及び指先が画像の前面に触れているとき（ｚ≦０）は、図１４のように空中ディスプレイには画像の表面が表示される。つまり、画像全体が表示されている状態である。

ここで、ユーザが指先を複合機の内部に挿入したときの表示の状態が図１５になるが、図１５では、ユーザがｚ＝ｎ（ｎは正の数）の位置まで指先を挿入したときの表示例を示している。なお、指先が複合機の内部（画像の外周の内側）に留まるのであれば、ｘ，ｙの座標値は特に問わないこととする。

仮に、指先の位置に応じて画像の表示の形態を変化させない場合、つまり、図１４に例示した表示の状態が維持されている場合、ユーザは、機器画像の外周の画像しか視認できず、指先で指し示す位置の画像（機器画像の内部画像）を視認することはできない。

そこで、本実施の形態においては、指先の位置に応じて画像の表示を制御するようにした。本実施の形態において画像の奥行き方向の情報というのは、指先の位置を示す情報であり、座標値により表される情報である。図１５に例示した表示例によると、ユーザは、奥行きの位置（ｚ＝ｎ）を指先１５４ｂで指し示している。図１５においては、ｚ＝ｎからｚ＝０までの範囲に位置する画像の部分の外周（輪郭等）を破線で示しているが、端末装置１６の制御部４８は、この範囲に含まれる画像を制御対象として表示制御を行う。

例えば、本実施の形態においては、画像を表示する色の濃さを制御する。例えば、ｚ＝０～ｎの範囲に含まれる画像の表示色を薄くする。薄くすることによって機器画像の内部画像、厳密にはｚ＝ｎに位置する画像を視認することができるようになる。あるいは、ｚ＝０～ｎの範囲に含まれる画像の色を透明にする。透明にすることによって、ｚ＝０～ｎの範囲に含まれる画像の外周（輪郭）はわからなくなるが、色を薄くする場合に比してｚ＝ｎに位置する画像をより確実に視認させることができる。あるいは、透明にする場合でも複合機の輪郭は残して表示するようにしてもよい。

このように、制御部４８は、ユーザが指し示す奥行き方向の位置（ｚ＝ｎ）で機器画像を切断し、その切断面からユーザ側の画像、すなわちｚ＝０～ｎの範囲に含まれる画像の表示色を薄く若しくは透明になるよう表示制御する。

ところで、空中ディスプレイ装置１５０が表示する画像の全体が薄く、あるいは少し透けて空中ディスプレイに表示されている場合がある。少し透けているというのは、画像を通して反対側の風景が見える程度の色で表示されているということである。この場合、ｚ＝ｎに位置する機器の内部画像は、ｚ＝０～ｎの範囲に含まれる画像の表示色を薄くしても視認しづらい状態のままかもしれない。そこで、このような場合を想定して、ｚ＝ｎに位置する画像の表示色を濃くするよう制御してもよい。すなわち、制御部４８は、ユーザが指し示す奥行き方向の位置（ｚ＝ｎ）で機器画像を切断し、その切断面の画像を表示する色が濃くなるように表示制御する。このように、ユーザにより指定された位置（ｚ＝ｎ）を含む機器の内部画像の表示色を制御対象としてもよい。

なお、上記説明では、色を薄く又は透明にするよう表示制御する場合、ｚ＝０～ｎの範囲に含まれる画像全体の色を制御対象としたが、ｚ＝０～ｎの範囲に含まれる画像の一部のみを制御対象としてもよい。例えば、指先１５４ｂが示す位置（ｘ１、ｙ１）を中心とした所定範囲内に位置するｚ＝０～ｎの範囲に含まれる画像のみを薄くするよう表示制御してもよい。色を濃くするよう表示制御する場合も同様でよい。すなわち、指先１５４ｂが指し示す位置（ｘ１、ｙ１，ｚ１＝ｎ）を中心とした所定範囲内に位置するｚ＝ｎの画像のみを濃くするよう表示制御してもよい。このように、ユーザにより指定された位置（ｚ＝ｎ）からユーザと対向する側（ｚ＝０～ｎ）の範囲に含まれる画像の一部若しくはユーザにより指定された位置（ｚ＝ｎ）を含む機器の内部画像の一部を表示制御対象としてもよい。これにより、ユーザが指先１５４ｂで指し示した位置は、少なくとも視認しやすくなる。なお、実物の機器において空洞等により実体がない位置には対応する画像はないので（表示すべき画像はないので）、実体がない位置の表示色を制御対象とする必要はない。

ところで、サーバ１４の機器機能管理情報３２には、図１４に示す複合機をはじめ、空中ディスプレイに表示されうる機器１０，１２の外観画像のみならず内部画像が含まれている。また、機器１０，１２における部品の位置及び各部品の画像が含まれている。端末装置１６は、位置特定部が空中ディスプレイ内の指先を検出すると、空中ディスプレイにおける複合機の表示位置及び位置特定部により特定された指先の位置をサーバ１４へ送信する。サーバ１４は、送信されてきた情報に従い指先の位置（ｚ＝ｎ）に位置する機器及び部品の画像を端末装置１６へ送信する。端末装置１６は、サーバ１４から送信されてきた画像に基づきｚ＝ｎにおける断面画像を形成して空中ディスプレイに表示する。なお、サーバ１４は、複合機を空中ディスプレイに表示させる際に複合機の外観画像を端末装置１６へ送信するが、このときに複合機の内部の画像表示に必要な部品の画像や位置情報等を合わせて送信してもよい。これにより、端末装置１６は、指先に移動に応じてその都度指先の位置等の情報をサーバ１４へ送信しなくてすむ。あるいは、機器の部品に関する情報を含む機器機能管理情報３２を端末装置１６に記憶させておいてもよい。端末装置１６は、機器画像を拡縮して表示する場合があるので、機器機能管理情報３２を端末装置１６に記憶させておくのが都合よい。図１５を用いた説明では、機器機能管理情報３２を端末装置１６が有するものとして説明する。

以上説明したように、本実施の形態では、画像を表示する色の濃さを制御することによって機器の内部画像を視認しやすくすることができる。この色の濃さを制御する、すなわち色の濃さを変化させるに際し、色の変化を制御するようにしてもよい。すなわち、色を変化させる速さやタイミングを色の濃さと合わせて制御するようにしてもよい。例えば、指先で奥行き方向の位置（ｚ＝ｎ）が指定されると、ｚ＝０～ｎの範囲に位置する画像の現在表示されている色を所定の色まで徐々に変化させてもよい。「徐々に」というのは、段階的に色の濃淡を変化させることを意味する。変化の速さは単調（等速度）でもよいしそうでなくてもよい。あるいは、指先の動きに連動して色の変化を制御してもよい。すなわち、指先がｚ＝０からｚ＝ｎの位置まで機器画像の奥行き方向に移動していくと、指先が通過した奥行き方向の位置の色を薄くしていく。つまり、指先の移動に追従して機器画像の前面から奥に向かって色が徐々に薄くなっていく。

ｚ＝０～ｎの範囲に位置する画像の色を薄くする場合、「所定の色」というのはｚ＝ｎに位置する画像が視認できる色である。ｚ＝ｎの範囲に位置する画像の色を濃くする場合、所定の色とはｚ＝ｎに位置する画像が視認できる色である。ｚ＝ｎに位置する画像は、機器本来の色で表示するのが好適であるが、これに限る必要はない。

また、ユーザにより指先で位置が指定されてから所定時間経過後に一瞬にして、現在表示されている色を所定の色になるよう変化させるようにしてもよい。所定時間は、適宜設定すればよい。また、所定の色に関しては前述したとおりである。

本実施の形態によれば、以上のようにして、ユーザにより指し示された奥行き方向の位置の画像（立体画像の内部の画像）を視認可能に表示することができる。

そして、３次元画像においても、２次元画像に用いて説明したように機器画像に機能を対応付けておき、ユーザ操作に応じて機能を実行することができる。３次元画像の場合、機器画像に対してだけでなく奥行き方向にも機能を対応付けることができる。そのために、機器機能管理情報３２に含まれる機器が有する機能を示す情報には、機器の部品又は機器の内部の所定位置に対応付けられている機能を示す情報が含まれている。例えば、図１５に示すトナーカートリッジ１５６に対して、トナーカートリッジに関する情報を表示する機能（アプリケーション）を対応付けていたとする。また、用紙トレイ１５８に対して、用紙トレイに関する情報を表示する機能（アプリケーション）を対応付けていたとする。

ユーザが指先でトナーカートリッジ１５６（の断面画像）を指し示したとする。このとき、端末装置１６は、機器機能管理情報３２を参照して、位置特定部により特定された指先の位置（トナーカートリッジ１５６）に対応する機能を特定する。これにより、トナーカートリッジ１５６に関する情報、例えば、トナーの色やトナー残量、推奨交換（補充）時期等を示す情報が空中ディスプレイに表示される。トナーカートリッジに関する情報には、指定されたトナーカートリッジ１５６に特化した情報のみでもよいし、全てのトナーカートリッジの情報が含まれていてもよい。

また、ユーザが指先で用紙トレイ１５８（の断面画像）を指し示したとする。このとき、端末装置１６は、機器機能管理情報３２を参照して、位置特定部により特定された指先の位置（用紙トレイ１５８）に対応する機能を特定する。これにより、用紙トレイに関する情報（用紙サイズ、用紙残量等）が空中ディスプレイに表示される。用紙トレイに関する情報には、指定された用紙トレイ１５８の情報のみでもよいし、全ての用紙トレイの情報が含まれていてもよい。

端末装置１６は、上記例示したトナーカートリッジに関する情報及び用紙に関する情報を、表示されている複合機に問い合わせることによって取得する。また、取得した情報は、表示中の複合機の画像と合わせて空中ディスプレイの空いているスペースに表示してもよいし、複合機の画像に代えて表示するようにしてもよい。なお、指先がトナーカートリッジ１５６や用紙トレイ１５８の画像から外れたときには、表示している情報を即座に、あるいは所定時間経過後に消去してもよいし、他の機能が実行されるまで継続して表示したままにしておいてもよい。複合機の画像を消去していた場合には、複合機の画像を再度表示させてもよい。

ところで、上記説明では、ユーザが指し示す奥行き方向の位置（ｚ＝ｎ）からユーザと対向する側の画像、すなわちｚ＝０～ｎの範囲に位置する画像を薄くするよう制御する場合と、ユーザが指し示す奥行き方向の位置（ｚ＝ｎ）の画像を濃くするよう制御する場合とについて説明した。つまり、いずれにしてもｚ＝ｎとなる位置で画像を切断し、その切断面における機器画像の内部画像をユーザに視認しやすいように表示制御する。ただ、ユーザに提供する画像は、ｚ＝ｎで切断するような単純な切断面の画像に限る必要はない。以下、ユーザに提供する機器の内部画像の変形例について図１６を用いて説明する。

図１６では、空中ディスプレイの表示されている画像を真上から見た場合の画像（平面画像）を図示している。平面画像は、便宜的に矩形形状で示している。そして、図面左下角を原点とし、ｘ，ｚ座標軸を示している。ユーザは、図面下方向から上方向に向けて画像を観るものとする。つまり、ユーザが画像と対向する面（ユーザが画像を目視する側）は図面下方向である。

図１６において示した矢印は、ユーザが指先で画像を指し示す方向、すなわち画像の内部の位置を指定する方向を示している。つまり、図１６において例示するように画像の内部を指先で指し示す方向が目視する方向（図面下から上方向）と必ずしも一致するとは限らない。そして、矢印の先端が指す位置が、ユーザが指し示している位置であり、指先に相当する。なお、図１６においてハッチングした部分に対応する画像が色を薄くするよう表示制御される画像である。そして、切断面を破線で示している。切断面の画像は、画像の色を濃くするよう表示制御される画像である。以降の説明では、ユーザにより指し示された位置に対し、切断面、すなわち色の制御対象とする境界面（図１６においてハッチングをした領域としていない領域との境界となる面）をどのように設定するかと言うことについて説明する。

図１６（ａ）は、図１５を用いて説明したように表示制御した場合の例を示す図である。すなわち、ユーザがｚ＝ｎに位置する画像を指し示したときの図である。図１６（ａ）では、ユーザの指定する方向にかかわらず、指定された奥行き方向の位置を含むユーザと対向する面（ユーザの目視方向と直交する面）を切断面とすることを示している。そのため、図１６（ａ）には、矢印を図示していない。

図１６（ｂ）に示す表示制御の例では、ユーザにより画像内部の位置が指定されると、指定された奥行き方向の位置（ｘｂ，ｙｂ，ｚｂ）を含み、位置を指定する方向に直交する断面を境界面とする。そして、指定された位置から当該位置が指定された側の画像を薄くする表示制御の対象とする。なお、ユーザが真正面（目視側）から位置を指定した場合には、図１６（ａ）と同じになる。

図１６（ｃ）に示す表示制御の例では、ユーザにより画像内部の位置（ｘｃ，ｙｃ，ｚｃ）が指定されると、その指定された位置を含むｚ軸に沿った面（ｘ＝ｘｃ）で機器画像を切断することで境界面を形成する。そして、指定された位置から当該位置が指定された側の画像を薄くする表示制御の対象とする。図１６（ｃ）においては、ユーザは図面左側から指定しているので、機器画像全体のうちハッチングを施した左側（ｘ＝０～ｘｃ）に位置する部分の画像を表示制御の対象とする。

図１６（ｄ）に示す表示制御の例では、ユーザにより画像内部の位置（ｘｄ，ｙｄ，ｚｄ）が指定されると、その指定された位置を含むｚ軸に沿った面（ｘ＝ｘｄ）及びｘ軸に沿った面（ｚ＝ｚｄ）で機器画像を切断することで境界面を形成する。そして、指定された位置から当該位置が指定された側の画像を薄くする表示制御の対象とする。図１６（ｄ）においては、ユーザは図面左側から指定しているので、機器画像全体のうちハッチングを施した左側に位置する部分の画像を表示制御の対象とする。

図１６（ｅ）に示す表示制御の例では、ユーザにより画像内部の位置（ｘｅ，ｙｅ，ｚｅ）が指定されると、当該位置が指定された側の画像を表示制御の対象とする。図１６（ｅ）においては、ユーザは図面左側から指定しているので、その指定された位置を原点と対向する角とし、画像全体からｘ＝０～ｘｅ及びｚ＝０～ｚｅの範囲の画像を切り取るようにして境界面を形成する。そして、機器画像全体のうちハッチングを施した左側に位置する部分の画像を薄くする表示制御の対象とする。なお、ユーザが図面右側から位置（ｘｅ，ｙｅ，ｚｅ）を指定した場合、ｘ＝ｘｅ～ｘ２及びｚ＝０～ｚｅの範囲の画像が表示制御対象となる。

例えば、画像の内部を指示するユーザ（操作者）の他に画像の内部を見るだけのユーザ（目視者）がいるとする。ユーザの左側（機器画像の左側面側）に目視者がいる場合、操作者は、図１６（ｃ），（ｄ），（ｅ）に示すように図面左側から操作することで、操作者のみならず目視者にとっても見やすいように機器の内部画像を表示させることができる。なお、人検出装置１５２によって２人のユーザ（操作者と目視者）が検出された場合、いずれのユーザが操作者（又は目視者）であることを操作者に指定させるようにする。

図１６（ｆ）に示す表示制御の例では、ユーザにより画像内部の位置（ｘｆ，ｙｆ，ｚｆ）が指定されると、その指定された位置を頂点としてえぐり取るように（くり抜くように）して境界面を形成する。そして、えぐり取られる部分の画像を薄くする表示制御の対象とする。平面画像では、図１６（ｆ）に示すようにｘ＝ｘｆ，ｚ＝ｚｆを頂点（最高値）とする正規分布のように境界面が形成される。ここでは、ユーザにより指定された位置を頂点としてくり抜いたように断面を形成したが、ユーザにより指定された位置（（ｘｆ，ｙｆ，ｚ＝０）から（ｘｆ，ｙｆ，ｚｆ）の線分）を中心とした円柱状又は角柱状にくり抜くようにしてもよい。

図１６（ｇ）に示す表示制御の例では、ユーザにより画像内部の位置が指定されると、その指定された位置に機器の部品が存在する場合、該当する部品の画像１６０のみが表示されるように境界面を形成する。そして、画像全体のうち部品の画像１６０以外の画像を薄くする表示制御の対象とする。

図１６（ｈ）に示す表示制御の例では、ユーザにより画像内部の位置が指定されると、その指定された位置に機器の部品が存在する場合、その部品の画像１６０を取り除いた状態で内部画像をユーザに提供する。すなわち、図１６（ａ）のようにユーザと対向する側の画像及び部品の画像を薄くする表示制御の対象とする。

以上説明したように、機器の内部画像をユーザに見せるための断面をどのように設定するかというパターンをいくつか例示したが、これらのパターンに限定する必要はなく、他のパターンで境界面を形成するようにしてもよい。また、以上説明した複数のパターンの１つを固定的に採用してもよいし、上記例示した複数のパターンの中から空中ディスプレイへの表示に利用するパターンをユーザに選択させるようにしてもよい。例えば、図１６（ａ）における境界面の形成を第１表示モード、図１６（ｂ）における境界面の形成を第２表示モード、というように設定しておき、制御部４８は、ユーザにより選択されたモードに切り替えて実行する。

図１６では、便宜の便宜上、平面画像を用いて説明した。そのため、機器画像を垂直に切断することを想定して説明したが、必ずしも垂直に切断面（ユーザに提供する画像の面）を形成する必要はない。図１６に例示したように真上から画像を見た場合、目視する方向（目視側）とユーザと対向する側（ユーザと対面する側）とは同じである。ただ、真横（画像の側面）から画像を見た場合、例えば、画像がユーザの目の高さに表示されるとは限らず、足元に表示される場合もある、画像が足元に表示される場合、ユーザは画像を斜め上方から見ることになる。そうすると、ｚ＝ｎの位置で垂直方向に切断された内部画像が表示されても機器の内部画像は視認しづらいかもしれない。そこで、人検出装置１５２により検出されたユーザの頭の位置を目の位置とみなして、垂直方向ではなくユーザが視認しやすい角度に切断するようにして内部画像を表示するようにしてもよい。つまり、目視位置（ユーザの目の位置）からユーザにより指定された位置に直交するよう切断して機器内部の画像を表示させるようにしてもよい。ここでは、画像が目の位置より下にある場合を例にして説明したが、目の位置より上にあって見上げるような場合、ユーザの正面から左右又は斜めにずれているような場合も同様で、目視位置を考慮して画像を切断するのが好適である。

次に、空中ディスプレイに表示される機器の３次元画像を利用した連携機能について説明する。２次元画像を操作対象とした連携機能については前述したとおりであるが、３次元画像（立体画像）の場合は、更に奥行き方向（ｚ軸方向）の情報を持つため、画像の奥行き方向にも機能を対応付けることができる。

図１７は、機器画像が３次元画像の場合の連携機能管理テーブルの一例を示す図である。以下、図１７を参照して、３次元画像の場合の連携機能管理情報３４について詳しく説明する。図１７に示す連携機能管理テーブルにおいては、機器として複合機、ロボット及びテレビを一例としたマトリックス表が示されている。各機器には、奥行き位置、名称及び位置情報が対応付けられている。奥行き位置は、各機器における奥行き方向の位置を示す情報である。本実施の形態では、各機器に対し単純に表面、中及び最奥（背面）と３分割した例を示しているが、機器に応じて適切に分割すればよい。名称は、当該奥行き位置に設けられている部品や部位等の機器の一部分（以下、「部品」を代表させて説明する）の名称である。当該奥行き位置にある部品の数や種類は、機器に応じて設定する。位置情報は、当該機器における当該部品の位置を示す情報である。各位置に機能を紐付けるので、３次元座標値で設定する。例えば、各機器のある点を基準（原点）に相対的な座標位置を設定すればよい。部品の画像は、ある程度の大きさ（表示範囲）を持つので、その範囲を設定するようにしてもよい。なお、機器に実際に部品が含まれていなくても、位置情報に設定した座標値により指定した位置（範囲）に対応する部分画像を部品として取り扱うようにしてもよい。例えば、位置情報に、機器の中にある空間（空洞）の座標値（範囲）を設定すれば、実際に部品がない位置にも機能を紐付けることができる。このように、３次元画像内の部分画像は、実体のある部品や部位のみならず、空洞等実体のない部分の画像でもよい。

連携機能を設定するためには、図１７に示す連携機能管理テーブルにおけるセルに機能を設定する。例えば、複合機のカートリッジとロボットの腕とが交差するセルには、“連１”が設定されている。“連１”（連携機能１）は、複合機のカートリッジに紐付く機能とロボットの腕に紐付く機能とが連携されていることを示している。例えば、ユーザにより指定されたトナーカートリッジをロボットに補給させるという連携機能が実行される。また、テレビの画面とロボットのカメラとが交差するセルには、“連２”が設定されている。“連２”（連携機能２）は、テレビの画面に紐付く機能とロボットのカメラに紐付く機能とが連携されていることを示している。例えば、テレビのスイッチがオンされたら、ロボットのカメラにて画面の写真を撮るという連携機能が実行される。

このテーブルでは、上記説明したように機能の優先順位が設定可能である。例えば、前述した“連１” （連携機能１）では、複合機のカートリッジに紐付く機能が先に実行される。なお、“連３” （連携機能３）では、ロボットの腕に紐付く機能が優先的に（先に）実行されることになる。

詳細な動作については後述するが、ユーザは、空中ディスプレイに複数の機器画像が表示されている場合において、例えば先に実行したい機能が紐付く機器画像の部品を選択し、その後に連携させたい機能が紐付く機器画像の部品を選択する。このようにして、実行したい機能の優先順位を指定する。

上記説明では、図１７に示す連携機能管理テーブル、すなわち２次元のマトリックス表を用いたので、２つの部品に紐付く機能を連携させる例となったが、３以上の部品に紐付く機能を連携させて連携機能を設定してもよい。また、連携機能を設定する機能は、機器に紐付く機能だけでなくアプリケーションのアイコン画像や実行中のアプリケーションに紐付く画像に紐付く機能でもよい。また、図１７に示す連携機能管理テーブルは、ユーザ毎に設定してもよい。これにより、連携機能の設定をユーザ毎に行うことが可能となる。

なお、連携機能管理テーブルで表される連携機能管理情報３４は、サーバ１４の記憶部３０に記憶されるが、端末装置１６の記憶部４４に記憶しておいてもよい。そうすれば、端末装置１６は、連携機能管理情報３４が必要なときに、その都度サーバ１４に問い合わせる必要がない。後述する動作の説明では、連携機能管理情報３４は端末装置１６に記憶されているものとして説明する。

ところで、図１７に示す連携機能管理テーブルに機器の一例としてテレビを設定したが、連携機能を実行する機器としてテレビのようなＩｏＴ機器が選択可能である。ＩｏＴ機器は、インターネットに接続されたあらゆるモノのことをいう。一般には、ＰＣやスマートフォン等のＩＴ機器以外のモノを指すが、ここでは、説明の便宜上、広義に捉えてインターネットに接続して情報交換が可能なあらゆる機器をＩｏＴ機器と総称することにする。

連携機能は、このようにＩｏＴ機器を用いて実行可能な機能であってもよい。例えば、コネクテッドホーム（ＩｏＴ技術を用いて、家電等の機器同士をネットワークによって接続するシステム）にて連携機能が用いられてもよい。この場合、特定のサーバを介して機器同士が接続してもよいし、特定のサーバを介さずに機器同士が接続してもよい。また、機器やソフトウェアは、ＩＦＴＴＴ（イフト）を介して連携することで、連携機能を実行してもよい。つまり、連携機能の内容が、ある機器やソフトウェアにてトリガーとなる事象が発生した場合に、他の機器やソフトウェアがアクション（処理）を実行するというものであってもよい。また、連携機能の内容が、あるファイルにてトリガーとなる事象が発生した場合に、他のファイルに対してアクション（処理）を実行するというものであってもよい。また、あるアクションが別のトリガーとなって、更に別のアクションを実行する機能も、本実施形態の連携機能の範疇に含まれてもよい。また、複数のＷｅｂサービスを連携させる機能や、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を利用して複数のシステムやサービス等を連携させるＡＰＩ連携が、本実施形態の連携機能の範疇に含まれてもよい。また、ソフトウェアとして、ＲＰＡ（Ｒｏｂｏｔｉｃｓ Ｐｒｏｃｅｓｓ Ａｕｔｏｍａｔｉｏｎ）等のようにブロック単位でまとまった集合機能が用いられてもよい。

本実施の形態における端末装置１６は、空中ディスプレイに表示されて連携機能を実行する機器にもなり得るが、ＩｏＴ機器としての端末装置１６は、他のＩｏＴ機器と通信するために、通信部４０を複数の通信手段（例えば通信チップ等の通信機器）によって構成する。各通信機器は、自身の通信規格（方式）に従って通信する機能を有する。各通信機器の通信規格は互いに異なっていてもよいし、互いに同一であってもよい。また、複数の通信機器の中で、一部の通信機器同士の通信規格が異なり、他の通信機器同士の通信規格が同一であってもよい。なお、通信部４０は、複数の通信規格に対応した１つの通信機器によって構成されてもよい。通信部４０は、通信相手に適した通信規格（つまり、通信相手が対応している通信規格）に従って通信相手と通信してもよい。通信規格（方式）は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ通信、近接無線通信（例えばＮＦＣ等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ等が用いられる。もちろん、別の方式の無線規格が近接無線通信として用いられてもよい。通信部４０は、通信相手に応じて通信規格や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信規格や周波数帯域を切り替えてもよい。

本実施の形態における制御部４８は、空中に表示されている画像の奥行き方向の情報に紐付いた機能の通知を制御するが、以下、空中ディスプレイに表示される３次元画像を利用した連携機能について説明する。なお、連携機能としては、３次元画像で表示される機器に含まれる部品に紐付く機能同士を連携させた連携機能でもよいし、以下の例示する３次元画像と２次元画像との組合せでもよい。また、３次元の機器画像に含まれる部品に紐付く画像と機能に紐付く画像との連携機能でもよい。

また、制御部４８が制御する「通知」というのは、空中ディスプレイへの表示はもちろんのこと、後述するように他の表示手段への表示、また視認可能に通知する表示以外にも、音声出力等五感を通じてユーザに知らせることのできるあらゆる手段を用いてユーザに知らせることをいう。本実施の形態を含め、後述する実施の形態においても文字を表示する画面を空中ディスプレイに表示するが、空中ディスプレイに表示した文字が判読しにくい場合などは、端末装置１６が有する液晶パネルなど他の表示手段に画面を表示するようにしてもよい。

３次元画像を空中ディスプレイに表示させるまでの動作は、図１１に用いて説明した２次元画像の場合と同じでよい。そして、３次元の機器画像を空中ディスプレイに表示させると、ユーザは、前述したように空中ディスプレイに表示されている機器画像の内部に指先を移動させて所望の部品を指し示す。この際、図１５を用いて説明したように、ユーが指し示す位置の手前側（目視側の画像）の色を薄く表示したり、ユーザが指し示す位置を含む断面の画像の色を濃く表示したりするなど画像の色の濃さの制御を行って、ユーザが指し示す位置が視認しやすいようにしてもよい。

ユーザは、所望の部品を指先で指定する。指定は、当該位置に指先を所定時間留めておくようにしてもよいし、指定した旨を表す他の動作によって指定したことを端末装置１６に通知するようにしてもよい。ＵＩ部４６の位置特定部は、ユーザが指先で部品を指定すると、その指先の位置を特定する。制御部４８は、このとき連携機能管理情報３４を参照してユーザがどの部品を指定したのかを確認する。

ところで、連携機能管理情報３４（図１７に示す連携機能管理テーブル）における位置情報には、当該部品の位置を示す情報が設定されている。位置情報として、当該機器画像における部品の表示範囲が設定されている場合、制御部４８は、ユーザの指定位置を当該機器画像に含まれる部品の表示範囲と照合することによって、ユーザが指定している部品を特定することができる。ただ、連携機能管理テーブルにおける位置情報に、範囲を示していない座標値が設定されている場合、ユーザが当該部分の位置情報によって表されている座標値をピンポイントに指し示すことは困難であると考えられる。この場合、ユーザの指定位置から所定範囲内に部品の位置情報がある場合には、ユーザは、当該部品を指定していると認識する。このように、ユーザがしている範囲に許容範囲を設けるようにしてもよい。

また、ユーザが指定した部品を特定すると、ユーザの指定位置若しくは指定されている部品の表示形態を変更するようにしてもよい。例えば、輝度を変える（高輝度又は濃い色の表示にする）、点滅させるなどして、ユーザが所望する位置が正しく指し示されているかをユーザに確認させるようにしてもよい。

なお、ユーザが指定を取り止めた場合、つまり、指先を空中ディスプレイの外へ移動させるなど所定の操作を行って部品の指定を解除した場合、解除された部品の表示を元に戻すように表示制御する。また、解除された部品の手前の画像（表示色を薄くするよう制御した部分の画像）の表示を元に戻すように表示制御する。

１つの機器画像の部品を指定すると、ユーザは、指先を移動させて他の機器画像の部品を指定する。もちろん、同じ機器画像の他の部品を指定するようにしてもよい。制御部４８は、連携機能管理情報３４を参照してユーザがどの部品を指定したのかを確認する。ＵＩ部４６の位置特定部は、指先の移動（遷移）を検出しているので、制御部４８は、機器画像の部品を繋ぐ順番を把握可能である。これにより、制御部４８は、連携機能管理情報３４（図１７に示す連携機能管理テーブル）に基づき連携機能を特定する。例えば、空中ディスプレイに複合機とロボットの各機器画像（３次元画像）が表示されている場合において、ユーザが複合機のカートリッジを指定した後、ロボットの腕を指定した場合、制御部４８は、“連１”（連携機能１）がユーザにより指定されたと特定する。

このように、空中に表示されている画像の奥行き方向の情報（複合機のカートリッジの位置）をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を行う。ここでいう通知には、機能の実行の開始又は結果の通知や、機能の中に含まれる複数の機能をユーザに選択させるなどの通知（図１０等）を含む。

仮に、ユーザが指定した部品に機能が紐付けられていない場合、ユーザの指定位置若しくは指定されている部品の表示形態を変更するようにしてもよい。例えば、輝度を変える（低輝度又は淡い色の表示にする）、点滅させるなどして、紐付いた機能がないことをユーザに通知するようにしてもよい。あるいは、その指定された位置（部品）を含む機器に紐付く機能を利用するようにしてもよい。機器に紐付く機能を利用する場合、指定された位置（部品）に紐付く機能は、指定された位置（部品）を含む機器に紐付く機能とも解釈できる。

連携機能を実行する際、ユーザのアカウント情報を参照して、当該ユーザに応じた通知を行うようにしてもよい。これは、各ユーザに対して設定した連携機能管理テーブルを参照することで実現可能である。例えば、図１０に例示したように、同じ機能表示画面を表示させるとしても、ユーザによって機能Ａが選択できるものの機能Ｂは選択できないようにしたり、機能Ａ，Ｂとも選択できるようにしたりすることが可能となる。また、連携機能管理テーブルが有効に設定されていないユーザには、連携機能が実行できないようにすることも可能である。

また、本実施の形態では、機能表示画面の表示先（通知先）を空中ディスプレイとしている。ただ、複数のユーザが空中ディスプレイを見ている場合、どのユーザ宛の通知なのかがわからなくなる。そこで、通知先は空中ディスプレイに限定する必要はなく、各ユーザに割り振った先に通知を行うようにしてもよい。例えば、ユーザＡは、端末装置１６のディスプレイ、ユーザＢは空中ディスプレイ、ユーザＣはユーザＣが携行するスマートフォン等である。各ユーザの通知先は、例えば、人検出装置１５２に検出された時点で当該ユーザに指定させるようにしてもよい。

また、上記説明では、空中ディスプレイに表示されている機器画像の奥行き方向にある部品画像を繋ぐというユーザ操作に応じて連携機能に含まれる各機能の通知の優先順位を設定する、すなわち、各機能の実行順を設定するようにしたが、優先順位の設定方法は、これに限る必要はない。例えば、ユーザの操作により指定された複数の画像の奥行き方向の情報（部品画像）の位置関係によって連携機能の通知の優先順位を設定するようにしてもよい。具体的にいうと、空中ディスプレイに画像を表示させる際、例えば手前（ユーザと対面する側）から奥に向けて画像を並べて表示させる。手前に配置されている画像から順に機能を実行させるようにしてもよい。あるいは奥から手前という逆の順番で連携機能における各機能の実行順を設定するようにしてもよい。また、具体的な動作は２次元画像の場合を例にして後述するが、画像の奥行き方向の情報を重ね合わせる順番に応じて画像の奥行き方向にある部品画像を繋ぐというユーザ操作に応じて連携機能に含まれる各機能の通知の優先順位を設定してもよい。

タッチパネルのような２次元画面の場合、例えばドラッグ＆ドロップ操作により画面上の画像を移動させることができる。空中ディスプレイの場合もドラッグ＆ドロップ操作を適用してもよいが、奥行き方向の移動は困難であるように考えられる。従って、画像を奥行き方向に移動させる所定の操作が必要となる。例えば、空中ディスプレイに表示されている画像を手のひらで押して奥へ移動する。また、５本の指で画像をつかむ（画像を手のひらに吸着させる）ような操作で手前に移動する。あるいは、画像を両手で持つようにして前後（手前及び奥）に移動させる。このような予め決められた操作によって空中ディスプレイにおける画像を前後に移動できるようにしてもよい。

ところで、近年では、ＩｏＴ機器を連携動作させることができるようになってきている。これは、スマートフォンやタブレット等の端末装置に所定のアプリケーションをインストールして所定の設定をすることで実現する。例えば、端末装置をルームハブと連動させることによって、エアコンやテレビ等の複数の家電のリモコンとして使用する。つまり、端末装置と家電とを連携動作させる。このために、ＩｏＴ機器としての端末装置は、前述したように家電と通信を行うための複数の通信手段を有している。端末装置及び家電を空中ディスプレイに表示させておき、空中ディスプレイ上の端末装置を操作することで家電を操作するように利用できる。例えば、ユーザは、端末装置をテレビのリモコンとして利用したい場合、端末装置に紐付くテレビのリモコンとしての機能と、テレビの放映機能とを対応付けて連携機能を実行する。これにより、端末装置（第1の機器）は、テレビ（第２の機器）との間で特定の通信規格に従って通信を行うことでテレビと連携動作する。また、あるいは、端末装置から所定の設定を行うことで、ＩｏＴ機器である照明器具（スマートＬＥＤライト）とドアセンサを連携動作させる。例えば、ドアが開いたことをドアセンサが検知すると照明器具を点灯させるなどである。ここでは、テレビやドアセンサ等をＩｏＴ機器として例示したが、その他にもスマートプラグ、モーションセンサ等と連携動作させるようにしてもよい。また、上記説明では、端末装置から中継機としてのルームハブを経由してＩｏＴ機器と、あるいはＩｏＴ機器同士を連携動作させる場合を説明したが、中継機としてスマートスピーカを利用したり、ルームハブとサーバなどのように複数の中継機を中継したりして連携機能を実行してもよい。また、端末装置からではなくスマートスピーカから複数のＩｏＴ機器に直接指示を出すようにして連携機能を実行するようにしてもよい。

＜第２実施形態＞
以下、第２実施形態に係るシステムについて説明する。上記の第１実施形態では、機器に紐付く機器画像を選択することで連携機能の表示が制御されるが、第２実施形態では、機能に紐付く機能画像を選択することで連携機能の表示が制御される。機能画像は、例えば、ソフトウェア（アプリケーション等）に紐付く画像であってもよいし、処理が行われる機器に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像（例えば写真）や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。例えば、ソフトウェアに紐付く機能画像がユーザによって選択された場合、その機能画像に紐付くソフトウェアを利用して実行可能な連携機能を示す情報が表示される。以下、第２実施形態について詳しく説明する。本実施の形態では、説明の便宜上、最初に平面的な２次元画像（奥行きのない（ｚ＝０）の画像）が空中ディスプレイに表示される場合を例にして基本的な処理の流れについて説明する。その後に立体的な３次元画像が空中ディスプレイに表示される場合の処理について説明する。

図１８には、第２実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ＩＤ（例えば、ソフトウェアを識別するためのＩＤ）と、機能名（例えばソフトウェア名）を示す情報と、複数の機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能が特定される。例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα，βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。

図１９には、空中ディスプレイに表示される画面７６が示されている。本実施の形態においても第１実施の形態と同様に、空中において情報の表示領域（表示範囲）を示すために、画面（表示枠）７６を付加的に表示する。以降の実施の形態においても同様とする。画面７６には、１又は複数の機能画像が表示される。例えば、端末装置１６にインストールされているソフトウェアに紐付く機能画像が画面７６に表示される。図１９に示す例では、機能画像７８，８０，８２，８４，８６，８８，９０が表示されている。

機能画像７８は、音再生機能に紐付く画像（例えば、音再生ソフトウェアに紐付く画像や、音を再生する機器（例えば再生プレイヤー）に紐付く画像）である。機能画像７８がユーザによって選択されて音再生機能の起動指示が与えられると、例えば、音再生ソフトウェアが起動して音を再生したり、再生プレイヤーが音を再生したりする。

機能画像８０は、パスワード設定機能に紐付く画像（例えば、パスワード設定ソフトウェアに紐付く画像）である。機能画像８０がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。

機能画像８２は、データ送信機能に紐付く画像（例えば、データ送信ソフトウェアに紐付く画像）である。機能画像８２がユーザによって選択されてデータ送信機能の起動指示が与えられると、例えば、データ送信ソフトウェアが起動して、送信対象のデータ等が送信先に送信される。

機能画像８４は、印刷機能に紐付く画像（例えば、印刷ソフトウェアに紐付く画像や、印刷を実行する機器（例えばプリンタや複合機）に紐付く画像）である。機能画像８４がユーザによって選択されて印刷機能の起動指示が与えられると、例えば、印刷ソフトウェアが起動し、設定された印刷条件に従って印刷が行われる。

機能画像８６は、計算機能に紐付く画像（例えば、計算ソフトウェアに紐付く画像）である。機能画像８６がユーザによって選択されて計算機能の起動指示が与えられると、計算ソフトウェアが起動する。

機能画像８８は、電話機能に紐付く画像である。機能画像８８がユーザによって選択されて電話機能の起動指示が与えられると、電話番号の入力画面やアドレス帳が表示され、ユーザによって指定された電話番号に対して電話がかけられる。

機能画像９０は、メール機能に紐付く画像（例えば、メールソフトウェアに紐付く画像）である。機能画像９０がユーザによって選択されてメール機能の起動指示が与えられると、メールソフトウェアが起動する。

第１実施形態と同様に、ユーザが複数の機能画像を指定すると、特定部３８は、ユーザによって指定された複数の機能画像に紐付く複数の機能を識別し、図１８に示されている連携機能管理テーブルを参照することで、当該複数の機能を利用して実行可能な連携機能を特定する。その連携機能を示す情報は、空中ディスプレイに表示される。例えば、ユーザが複数の機能画像を互いに繋げたり、複数の機能画像を互いに重ねたりすることで、当該複数の機能画像が指定されて連携機能を示す情報が表示される。図１９に示す例で説明すると、例えば、機能画像８０，８２が指定された場合（例えば、機能画像８０，８２が互いに繋げられたり、互いに重ねられたりした場合）、パスワードをかける機能とデータを送る機能とを利用して実行可能な連携機能を示す情報が表示される。上記の機能画像は、例えば、スマートフォンのホーム画面やパーソナルコンピュータのデスクトップ画面に表示され、その画面上で複数の機能画像が指定されると、その画面上に連携機能を示す情報が表示される。なお、３個以上の機能画像が指定された場合、３個以上の機能を利用して実行可能な連携機能を示す情報が表示されてもよい。

次に、機能に紐付く機能画像を奥行きのある立体画像（３次元画像）で表現する場合について説明する。

機能が複数の機能を有する場合がある。複合機に搭載される機能は、コピー機能、ＦＡＸ機能、印刷機能等が搭載されている。印刷機能の中でも白黒／カラー印刷、Ａ４／Ａ３サイズでの印刷、片面／両面印刷等種々の機能に分類できる。このように、１つの機能に複数の機能（以下、「サブ機能」ともいう）が搭載されている場合、これらの機能は階層関係にある、すなわち階層構造にて表現できるが、この階層構造の階層の深さを３次元画像の奥行き方向の情報にて表現する。２次元画像の機能画像８４を選択した場合、より細かな設定を行うためには、機能画像８４の選択後に表示される設定画面（サブメニュー画面）から何度か設定画面を表示させながら種々の印刷条件を設定することになる。

機能画像８４を立体画像（３次元画像）で表現して空中ディスプレイで表示した場合、ユーザは、機能画像８４の奥行き方向に指先を移動して所望のサブ機能を選択することで所望の機能（所望の印刷条件が設定されている機能）を選択する。例えば、機能画像８４の奥行き方向に指先を移動して位置を指定すると、その位置に紐付いた機能（印刷条件）が空中ディスプレイに表示される。希望する機能（所望の印刷条件）でなければ、他の位置に指先を移動させる。移動させるにしても、サブ機能は階層構造で表示されるので、１段手前に手を移動させてやり直したり、横にスライドさせたりすればよい。そして、希望する機能を指定しているときに、所定の確定操作を行う。このような動作を実現するためには、第１実施の形態において図７に示す連携機能管理テーブルを設定しておく必要がある。

なお、データに紐付く画像を空中ディスプレイに表示させる際、データ単体の画像を表示させてもよいが、データファイルは、階層構造を成すフォルダに格納されるのが一般的である。従って、空中ディスプレイを利用してデータを取り扱う場合、前述した機能の階層構造のようにルートフォルダの画像（ルート画像）を立体画像にて表示して、ルート画像の奥行き方向にサブフォルダやデータファイルの画像を表示する。そして、ユーザは、ルート画像の内部に指先を入れ移動させることで、サブフォルダに格納されている所望のデータを指定させるようにしてもよい。

＜第３実施形態＞
以下、第３実施形態に係るシステムについて説明する。第３実施形態においては、上記の機器画像と機能画像がユーザによって指定された場合、機器画像に紐付く機器と機能画像に紐付く機能とを利用して実行可能な連携機能を示す情報が表示される。以下、第３実施形態について詳しく説明する。本実施の形態においても、説明の便宜上、平面的な２次元画像（奥行きのない（ｚ＝０）の画像）が空中ディスプレイに表示される場合を例にして基本的な処理の流れについて説明する。

図２０には、第３実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能（例えばソフトウェア）とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、ＩＤの組み合わせ（機器ＩＤと機能ＩＤとの組み合わせ）と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器ＡとしてのＰＣ（Ａ）と機能αとしてのデータ送信機能とを組み合わせることで、例えば、ＰＣ（Ａ）を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。

第１，２実施形態と同様に、ユーザが機器画像と機能画像を指定すると、特定部３８は、ユーザによって指定された機器画像に紐付く機器と機能画像に紐付く機能を識別し、図２０に示されている連携機能管理テーブルを参照することで、当該機器と当該機能とを利用して実行可能な連携機能を特定する。その連携機能を示す情報は、空中ディスプレイに表示される。例えば、ユーザが機器画像と機能画像を互いに繋げたり、機器画像と機能画像を互いに重ねたりすることで、当該機器画像と当該機能画像が指定されて連携機能を示す情報が表示される。なお、１又は複数の機能画像と１又は複数の機能画像が指定された場合、１又は複数の機器と１又は複数の機能とを利用して実行可能な連携機能を示す情報が表示されてもよい。

図２１には、空中ディスプレイに表示される画面７６が示されている。画面７６には、一例として、機器画像７０と機能画像８２が表示されている。機器画像７０は、複合機（Ｂ）に紐付く画像であり、機能画像８２はデータ送信機能（例えばデータ送信ソフトウェア）に紐付く画像である。例えば、上記のＡＲ技術等によって複合機（Ｂ）が識別されると、その複合機（Ｂ）に紐付く機器画像７０が画面７６に表示される。また、データ送信ソフトウェア（α）が端末装置１６にインストールされると、データ送信ソフトウェア（α）に紐付く機能画像８２が画面７６に表示される。

例えば矢印９２で示すように、ユーザが機器画像７０と機能画像８２とを互いに繋げた場合、特定部３８は、機器画像７０に紐付く複合機（Ｂ）を連携対象の機器として識別し、機能画像８２に紐付くデータ送信ソフトウェア（α）を連携対象の機能として識別する。そして、特定部３８は、図２０に示されている連携機能管理テーブルを参照することで、複合機（Ｂ）とデータ送信ソフトウェア（α）とを利用して実行可能な連携機能を特定する。その連携機能を示す情報は、空中ディスプレイに表示される。例えば、ユーザが画面７６上で複数の画像の間を指先でなぞるように移動させることで、当該複数の画像が繋げられる。なお、前述したように、指先は、空中で移動されるため、人検出装置１５２によってそのなぞるような指先の動きが検出される。端末装置１６の制御部４８は、空中ディスプレイに表示されている画面７６に対するユーザ操作を検知する。なお、ユーザが機能画像８２を機器画像７０に繋げた場合も、複合機（Ｂ）とデータ送信ソフトウェア（α）とを利用して実行可能な連携機能を示す情報が表示される。ユーザが、１又は複数の機器画像と１又は複数の機能画像とを繋げた場合、１又は複数の機器と１又は複数の機能とを利用して実行可能な連携機能を示す情報が表示されてもよい。

図２２には、別の操作例が示されている。例えば矢印９４で示すように、ユーザが機器画像７０を機能画像８２まで移動させて機能画像８２上に重ねた場合、特定部３８は、機器画像７０に紐付く複合機（Ｂ）を連携対象の機器として識別し、機能画像８２に紐付くデータ送信ソフトウェア（α）を連携対象の機能として識別する。そして、特定部３８は、図２０に示されている連携機能管理テーブルを参照することで、複合機（Ｂ）とデータ送信ソフトウェア（α）とを利用して実行可能な連携機能を特定する。その連携機能を示す情報は、空中ディスプレイに表示される。例えば、ユーザが指先でドラッグ＆ドロップ操作することで、画像を他の画像に重ね合わせる。図２２に示す例では、ユーザは機器画像７０をドラッグ操作し、機能画像８２に重なる位置で機器画像７０をドロップ操作する。なお、ユーザの音声指示に従って、重ね合わせる画像が指定されてもよい。ユーザが機能画像８２を機器画像７０上に重ねた場合も、複合機（Ｂ）とデータ送信ソフトウェア（α）とを利用して実行可能な連携機能を示す情報が表示される。ユーザが、１又は複数の機器画像と１又は複数の機能画像とを重ねた場合、１又は複数の機能と１又は複数の機能とを利用して実行可能な連携機能を示す情報が表示されてもよい。

複数の画像が重ねられた場合、その重ねられた状態を表わす新たな画像が生成されて表示されてもよい。例えば、図２２に示すように、機器画像７０と機能画像８２とが互いに重ねられたものとする。この場合、図２３に示すように、重ねられた機器画像７０と機能画像８２とをグルーピングすることで生成された新たな合成画像９６が表示される。合成画像９６は、例えば端末装置１６の制御部４８によって生成されてもよいし、サーバ１４の制御部３６によって生成されてもよい。合成画像９６は、機能画像８２上に機器画像７０が重ねられた状態を表す画像である。合成画像９６は、機能画像８２上に機器画像７０が重ねられたそのままの状態を表す画像であってもよいし、その状態を模式的に表す画像（例えばアイコン）であってもよい。なお、合成画像９６が生成された場合も、元の機器画像７０と機能画像８２はそのままの状態で表示される。

なお、第１実施形態においても、複数の機器画像が重ねられた場合、当該複数の機器画像が重ねられた状態を表す合成画像が生成されてもよいし、第２実施形態においても、複数の機能画像が重ねられた場合、当該複数の機能画像が重ねられた状態を表わす合成画像が生成されてもよい。

上記のように合成画像９６が生成された場合、端末装置１６の制御部４８は、合成画像９６を画面７６に残して表示させる。その合成画像９６が、他の機器画像に重ねられたり、他の機能画像に重ねられたりした場合、当該機器画像に紐付く機器や当該機能画像に紐付く機能が、連携対象の機器や機能として識別される。例えば、図２３に示すように、ディスプレイ（Ｄ）が識別され、そのディスプレイ（Ｄ）に紐付く機器画像９８が画面７６に表示されているものとする。合成画像９６が矢印１００で示すように移動させられて機器画像９８上に重ねられた場合、ディスプレイ（Ｄ）が連携対象の機器として識別される。この場合、特定部３８は、図２０に示されている連携機能管理テーブルを参照することで、複合機（Ｂ）、データ送信ソフトウェア（α）及びディスプレイ（Ｄ）を利用して実行可能な連携機能を特定する。その連携機能を示す情報は、空中ディスプレイに表示される。また、ディスプレイ（Ｄ）に紐付く機器画像９８上に合成画像９６が重ねられた状態を表わす新たな合成画像が生成されて表示される。なお、合成画像９６と機器画像９８とが互いに繋げられた場合に、連携機能を示す情報が表示されてもよい。また、合成画像９６と機能画像が互いに重ねられた場合や、合成画像９６と機能画像とが互いに繋げられた場合、その機能画像に紐付く機能、複合機（Ｂ）及びデータ送信ソフトウェア（α）を利用して実行可能な連携機能を示す情報が表示される。

上記のように合成画像を表示し、当該合成画像を、次の連携候補の機器に紐付く機器画像や機能に紐付く機能画像に重ね合わせることで、連携させる機器や機能を増加させることができる。また、合成画像は、連携対象の機器や機能に紐付く画像が重ねられた状態を表わしているため、合成画像を表示することで、どのような機器や機能が連携対象の機器や機能として指定されているのかがユーザにとって視覚的に分かり易い。

上記の合成画像は、次回以降に連携機能を実行する際のショートカット用の画像として用いられてもよい。例えば、ユーザが端末装置１６を用いて、合成画像をショートカット用の画像として登録する指示を与えると、その登録用画面が空中ディスプレイに表示される。この登録画面には、合成画像が表示されるとともに、連携対象の機器と機能とを利用して実行可能な連携機能の登録内容を示す情報が表示される。例えば、連携機能名、連携機能の概要、及び、連携に必要な機器と機能を示す情報が、登録内容を示す情報として表示される。ユーザは端末装置１６を用いて、登録内容（例えば、連携機能名、連携機能の概要等）を編集してもよい。登録画面上でユーザが登録指示を与えた場合、合成画像がショートカット用の画像として登録される。また、ユーザによって登録内容が編集された場合、その編集内容も合成画像に紐付いて登録される。合成画像としてのショートカット用画像が生成されて空中ディスプレイに表示される。ショートカット用画像は、端末装置１６によって生成されてもよいしサーバ１４によって生成されてもよい。複数のショートカット用画像が生成されて登録されると、空中ディスプレイには、ショートカット用画像の一覧が表示されてもよい。なお、ショートカット用画像と登録内容を示す情報は、端末装置１６に記憶される。別の例として、ショートカット用画像と登録内容を示す情報は、ユーザアカウント情報に紐付けられてサーバ１４に記憶されてもよい。この場合、ユーザアカウント情報が端末装置１６からサーバ１４に送信されると、そのユーザアカウント情報に紐付けられた情報（ショートカット用画像と登録内容を示す情報）が、サーバ１４から端末装置１６に送信され、空中ディスプレイに表示される。

なお、ショートカット用画像には、連携対象の機器毎や機能毎に、機器や機能のステータスを示す情報（例えば画像等）が含まれてもよい。例えば、連携対象の機器や機能が連携機能を実行できる状態の場合、その旨を示す画像（例えば緑色や青色の画像）がステータスを示す情報として表示される。連携対象の機器や機能が連携機能を実行できる状態ではない場合、その旨を示す画像（例えば白色や赤色の画像）がステータスを示す情報として表示される。連携機能を実行できる状態とは、例えば、現在、機器や機能が使用されていない状態、故障が発生していない状態、等である。連携機能を実行できない状態とは、例えば、機器や機能が使用されている状態、故障が発生している状態、等である。例えば、端末装置１６が、連携対象の機器のステータスを示す情報を連携対象の機器から取得し、連携対象の機能のステータスを示す情報を取得し、その情報に基づいてステータス情報を表示する。情報の取得はサーバ１４によって行われてもよい。

空中ディスプレイにショートカット用画像が表示されている場合において、ユーザがショートカット用画像を指定して連携機能の実行を指示した場合（例えば、ユーザがショートカット用画像に対してクリック操作やダブルクリック操作をした場合）、そのショートカット用画像に紐付く連携機能を示す情報が表示されたり、その連携機能の実行が制御されたりする。

以上のように、連携機能とショートカット用画像とを紐付けて管理することで、次回以降、連携機能を実行するためのユーザの操作負担が軽減される。

なお、重ね合わせ対象の画像がユーザによって操作された後（例えばドラッグ操作された後）、画面７６上において画像が表示されていない領域で、その操作が解除された場合（例えばドロップ操作された場合）、連携機能が解除されてもよい。例えば、図２２に示すように、機器画像７０が機能画像８２上に重ねられ、図２３に示すように、合成画像９６が生成されて表示されたものとする。このとき、ユーザが、画面７６上において画像が表示されていない領域で合成画像９６の操作を解除すると、複合機（Ｂ）とデータ送信ソフトウェア（α）とを利用して実行可能な連携機能が解除される。つまり、ユーザが、合成画像９６を、画像が表示されていない領域までドラッグ操作し、その領域でドロップ操作することで、連携機能が解除される。こうすることで、簡易な操作で連携機能を解除することができる。もちろん、連携機能を解除するためのボタン画像（例えばアイコン）が画面に表示され、ユーザがそのボタン画像を操作することで（例えばボタン画像を押すことで）、連携機能が解除されてもよい。

また、データ（ファイルともいう）に紐付く画像（例えばアイコン）が、機器画像上に重ねられた場合、端末装置１６の制御部４８は、当該データを、当該機器画像に紐付く機器による処理の対象として登録してもよい。ユーザによって処理の実行指示が与えられた場合、当該機器は、登録されたデータに対して、ユーザによって指定された処理を実行する。データは、例えば文書データ、画像データ等である。例えば、文書データが、複合機に紐付く機器画像上に重ねられた場合、当該文書データは、複合機による処理の対象として登録される。当該複合機に対してユーザによって印刷指示が与えられた場合、登録された当該文書データが当該複合機によって印刷される。

また、データに紐付く画像が、機能画像上に重ねられた場合、端末装置１６の制御部４８は、当該データを、当該機能画像に紐付く機能による処理の対象として登録してもよい。ユーザによって処理の実行指示が与えられた場合、登録されたデータに対して当該機能による処理が実行される。例えば、文書データが、データ送信ソフトウェアに紐付く機能画像上に重ねられた場合、当該文書データは、送信の対象として登録される。ユーザが送信指示を与えた場合、登録された当該文書データが宛先に送信される。

また、データに紐付く画像が機器画像上に重ねられて処理の対象として登録された後に、当該機器画像が機能画像上に重ねられた場合、端末装置１６の制御部４８は、当該データを、当該機器画像に紐付く機器と当該機能画像に紐付く機能とを利用して実行可能な連携機能による処理の対象として登録する。同様に、データに紐付く画像が機能画像上に重ねられて処理の対象として登録された後に、当該機能画像が機器画像上に重ねられた場合、端末装置１６の制御部４８は、当該データを、当該機能画像に紐付く機能と当該機器画像に紐付く機器とを利用して実行可能な連携機能による処理の対象として登録する。その連携機能の実行指示がユーザによって与えられた場合、登録されたデータに対して連携機能による処理が実行される。

以下、連携機能を実行するための別の操作について説明する。

図２４には、空中ディスプレイに表示される画面７６が示されている。例えば、ユーザが、複合機（Ｂ）に紐付く機器画像７０からディスプレイ（Ｄ）に紐付く機器画像９８に対して、矢印１０２で示すように、データ送信ソフトウェア（α）に紐付く機能画像８２を操作した場合、特定部３８は、データ送信ソフトウェア（α）、複合機（Ｂ）及びディスプレイ（Ｄ）を利用して実行可能な連携機能を特定する。その連携機能を示す情報は、空中ディスプレイに表示される。ユーザは、画像の操作として、機能画像８２と機器画像７０，９８を指定してもよいし、機能画像８２と機器画像７０，９８を繋げてもよいし、機能画像８２を機器画像７０，９８上に重ねてもよい。データ送信ソフトウェア（α）、複合機（Ｂ）及びディスプレイ（Ｄ）によって実行可能な連携機能は、例えば、複合機（Ｂ）によるスキャンによって生成された画像データをディスプレイ（Ｄ）に送信して表示するという機能である。図２５に示すように、空中ディスプレイには画面１０４が表示され、その画面１０４に、上記の連携機能を示す情報が表示される。ユーザが「ＹＥＳ」を選択した場合、上記の連携機能が実行され、ユーザが「ＮＯ」を選択した場合、画面は、画像を選択するための画面等に戻る。

図２６には、別の操作例が示されている。端末装置１６の画面７６には、機器画像９８，１０６と機能画像８４が表示されている。例えば、機器画像９８はディスプレイ（Ｄ）に紐付く画像である。ディスプレイ（Ｄ）とカメラ（Ｅ）がＡＲ技術等によって識別された場合、ディスプレイ（Ｄ）に紐付く機器画像９８とカメラ（Ｅ）に紐付く機器画像１０６が表示される。また、機能画像８４は、印刷機能（例えば印刷ソフトウェア）に紐付く画像である。例えば、印刷ソフトウェアが端末装置１６にインストールされた場合、機能画像８４が画面７６に表示される。

例えば、ユーザが符号１０８で示すように複数の機器画像（例えば機器画像９８，１０６）を選択し（例えばグルーピングし）、矢印１１０で示すように、当該複数の機器画像をまとめて機能画像８４に重ねたり、その選択された領域と機能画像８４とを繋げたりした場合、特定部３８は、ディスプレイ（Ｄ）、カメラ（Ｅ）及び印刷ソフトウェアを利用して実行可能な連携機能を特定する。その連携機能は、カメラに保存されている画像とディスプレイに表示されている画像を印刷するという機能である。その連携機能を示す情報が空中ディスプレイに表示される。例えば図２７に示すように、画面１０４が空中ディスプレイに表示され、その画面１０４に、その連携機能を示す情報が表示される。ユーザが「ＹＥＳ」を選択した場合、連携機能が実行され、ユーザが「ＮＯ」を選択した場合、画面は、画面７６等の画面に戻る。

図２６に示す例では、複数の機器画像が選択された上で、その選択された複数の機器画像が機能画像に対して操作されているが、複数の機能画像が選択された上で、その選択された複数の機能画像が機器画像に対して操作されてもよい。また、機器画像と機能画像が選択された上で、その選択された機器画像と機能画像が、機器画像や機能画像に対して操作されてもよい。もちろん、複数の機器画像が選択された上で、その選択された複数の機器画像が他の機器画像に対して操作されてもよいし、複数の機能画像が選択された上で、その選択された複数の機能画像が他の機能画像に対して操作されてもよい。

図２８には、更に別の操作例が示されている。空中ディスプレイの画面７６には、機器画像７０，１０６、及び、機能画像７８，８２，８６，８８，９０が表示されているものとする。例えば、機能画像８６に紐付く機能（例えば計算ソフトウェア）と機器画像７０に紐付く複合機（Ｂ）とを連携させるものとする。ユーザがその連携のための操作を行った場合、機能画像８６以外の機能画像や機器画像７０以外の機器画像がユーザによって操作されてしまうことがある。例えば、連携のための操作として、ユーザが、機能画像８６と機器画像７０とを互いに繋げようとして、軌跡１１２で示すように、画面７６上を指先によって機能画像８６から機器画像７０に向けてなぞった場合（画面７６上をタッチした場合）、その軌跡１１２に沿って表示されている機器画像１０６と機能画像８２も指定されてしまう。この場合、機器画像１０６に紐付くカメラ（Ｅ）と機能画像８２に紐付くデータ送信ソフトウェア（α）も連携対象として指定されてしまう。この指定は、ユーザが意図しないものである。

上記の問題に対処するために、例えば、機器画像又は機能画像が、他の機器画像上に予め定められた時間以上の間、重ねられた場合、特定部３８は、当該他の機器画像に紐付く機器を連携対象の機器として識別する。同様に、機器画像又は機能画像が、他の機能画像上に予め定められた時間以上の間、重ねられた場合、特定部３８は、当該他の機能画像に紐付く機能を連携対象の機能として識別する。

あるいは、機能画像８６から機器画像７０に向けてなぞる際、その他の画像７８，８２，８８，９０，１０６の表示位置を避けるように奥行き方向の位置を変えながら指先を移動させる。例えば、各画像の奥行き方向の位置が同じに揃えられている場合、ユーザは、機能画像８６を指定後、手を少し引いた状態で指先を機能画像８６から機器画像７０まで移動し、触れるようにして機器画像７０を指定する。

図２８に示す例で説明すると、軌跡１１２に沿ってユーザが機能画像８６を機器画像７０上まで移動させ、予め定められた時間以上の間、機能画像８６が機器画像７０上に重ねられた場合、特定部３８は、機器画像７０に紐付く複合機（Ｂ）を連携対象の機器として識別する。この場合、計算ソフトウェアと複合機（Ｂ）を利用して実行可能な連携機能を示す情報が表示される。別の例として、ユーザが機能画像８６を指定した後、軌跡１１２に沿って機能画像８６から機器画像７０まで画面７６上を指先でなぞって、予め定められた時間以上の間、機器画像７０を指定した場合、特定部３８は、機器画像７０に紐付く複合機（Ｂ）を連携対象の機器として識別してもよい。予め定められた時間以上の間、機能画像８６が指定された場合に、特定部３８は、機能画像８６に紐付く計算ソフトウェアを連携対象の機能として識別してもよい。こうすることで、軌跡１１２に沿って表示された機器画像１０６に紐付く機器と機能画像８２に紐付く機能が連携対象の機器や機能として選択されないので、ユーザの意図しない機器や機能が連携対象として選択されることが防止される。なお、図２８では、１つの画面７６に表示されている機能画像８６と機器画像７０を連携対象としたが、空中ディスプレイに表示されている異なる画面それぞれに表示されている画像を連携対象としてもよい。つまり、画面を跨いで連携対象を指定してもよい。

図２９には、更に別の操作例が示されている。空中ディスプレイには画面１１４が表示されている。画面１１４は、基本操作画面としてのデスクトップ画面であり、例えば、主表示領域１１６と副表示領域１１８を含む。

主表示領域１１６には、機器画像、機能画像、ファイルに紐付く画像、フォルダに紐付く画像、等が表示される。また、ソフトウェアが実行された場合（起動させられた場合）、そのソフトウェアの操作画面（例えば、文書編集用の画面、表計算用の画面、画像ビューア、画像処理用の画面、Ｗｅｂブラウザ等）が、主表示領域１１６に表示される。また、連携機能を示す情報も主表示領域１１６に表示される。

副表示領域１１８は、画面１１４の下部の領域に表示される横長の領域であり、いわゆるタスクバーと称される領域である。副表示領域１１８には、例えば、機器画像、機能画像、その他のアイコン等が表示される。副表示領域１１８に表示される画像は、元々の画像が縮小されたサイズを有する画像であってもよいし、元々の画像と同一のサイズを有する画像であってもよいし、元々の画像が拡大されたサイズを有する画像であってもよい。図２９に示す例では、副表示領域１１８には、縮小された画像が表示されている。例えば、画像１２０は機能画像７８の縮小画像であり、画像１２２は、機能画像８６の縮小画像であり、画像１２４は機能画像９０の縮小画像である。もちろん、機器画像の縮小画像が副表示領域１１８に表示されてもよい。副表示領域１１８には、予め定められた機器画像、機能画像、その他のアイコン等が表示されてもよいし、ユーザによって指定された機器画像、機能画像、その他のアイコン等が表示されてもよい。なお、副表示領域１１８は、画面１１４の上部に表示される横長の領域であってもよいし、画面１１４の右側部又は左側部のいずれかに表示される縦長の領域であってもよい。

ユーザによる操作によって、副表示領域１１８に表示されている画像が主表示領域１１６へ移動させられてもよいし、主表示領域１１６に表示されている画像が副表示領域１１８へ移動させられてもよい。図２９に示す例では、矢印１２６で示すように、画像１２４が副表示領域１１８から主表示領域１１６へ移動させられている。このとき、端末装置１６の制御部４８は、縮小画像としての画像１２４を拡大し、拡大後の機能画像９０を主表示領域１１６内に表示させる。移動させられた画像１２４は、副表示領域１１８に表示されない。また、矢印１２８で示すように、機能画像９０が主表示領域１１６から副表示領域１１８へ移動させられてもよい。このとき、端末装置１６の制御部４８は、機能画像９０を縮小し、縮小後の画像１２４を副表示領域１１８内に表示させる。移動させられた機能画像９０は、主表示領域１１６に表示されない。

主表示領域１１６は連携用領域の一例に相当し、その主表示領域１１６に表示されている機器画像や機能画像に対して、連携機能の表示のための操作が可能となる。つまり、上述した各実施形態と同様に、ユーザが、主表示領域１１６に表示されている機器画像や機能画像を操作することで、連携対象の機器や機能が指定され、その指定された機器や機能を利用して実行可能な連携機能を示す情報が表示される。

例えば、ユーザは、連携機能を使用しない場合、機器画像と機能画像を副表示領域１１８に移動させておき、連携機能を使用する場合、その連携機能を実行するために必要となる機器に紐付く機器画像や機能に紐付く機能画像を、副表示領域１１８から主表示領域１１６に移動させてもよい。こうすることで、連携機能の実行に不要な機器に紐付く機器画像や機能に紐付く機能画像が主表示領域１１６に表示されないので、連携のためのユーザ操作が容易となる。

上述した第１から第３実施形態において、ユーザによって指定された機器や機能を利用して実行可能な連携機能が連携機能管理テーブルに登録されていない場合、サーバ１４の特定部３８は、ユーザによって指定された機器や機能を利用して実行可能な連携機能が登録されていないと判断する。この場合、サーバ１４の制御部３６は、指定された機器や機能によって連携機能を実行することができないことを示すメッセージを出力する。このメッセージは、空中ディスプレイに表示される。このような場合であっても、機器の稼働状況、機器が設置されている環境（周辺環境）、機器の機能の変化（更新）、ソフトウェアによる処理の実行状況等によって、連携機能の利用が可能となる場合がある。例えば、複合機とドライヤが接続対象の機器として選択された場合において、当初は、複合機とドライヤによって実行可能な連携機能が存在しない場合であっても、複合機が設置されている環境において結露が発生しているとき、ドライヤによって結露を除去又は防止することが可能となる。この場合、複合機とドライヤを利用することで実行可能な連携機能の利用が可能となるため、その連携機能を示す情報が、空中ディスプレイに表示されてもよい。例えば、サーバ１４の制御部３６は、各機器の稼働状況、各機器が設定されている環境（周辺環境）、各機器の機能の更新状況、ソフトウェアによる処理の実行状況等を監視しており、その監視結果に基づいて、連携機能の利用可能又は不可能を判断してもよい。複合機とドライヤとの組み合わせを例に挙げて説明すると、制御部３６は、複合機の周辺環境が特定の条件を満たした場合に（例えば、複合機の周辺環境にて結露が発生した場合に）、連携機能の利用が可能であると判断して、ドライヤを用いた連携機能を特定（識別）する。機器の稼働状況についても同様であり、制御部３６は、識別又は指定された機器群が特定の稼働状況に該当する場合、その機器群を利用する連携機能の利用が可能であると判断する。また、機器の機能が更新されて、更新後の機能によって連携機能の利用が可能となった場合や、ソフトウェアが利用可能となった場合や、ソフトウェアが更新されて連携機能の利用が可能となった場合等も同様である。

以下、関連処理について説明する。

（関連処理１：連携機能に関する情報の表示の切り替え処理）
以下、関連処理１について説明する。第１実施形態において、複数の機器の選択の順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。以下、図３０から図３２を参照して、この処理について詳しく説明する。

図３０には、連携機能管理情報３４の別の例としての連携機能管理テーブルが示されている。この連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、接続順番を示す情報と、優先順位を示す情報と、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。接続順番は、機器の指定の順番に対応しており、例えば、機器画像を繋げる順番や重ねる順番に対応している。例えばユーザが複数の機器を順番に指定した場合、その指定の順番が接続順番に相当する。また、ユーザが第１機器画像を第２機器画像に繋げた場合、第１機器画像に紐付く第１機器の指定の順番が１番であり、第２機器画像に紐付く第２機器の指定の順番が２番である。また、ユーザが第１機器画像を第２機器画像上に重ねた場合、第１機器画像に紐付く第１機器の指定の順番が１番であり、第２機器画像に紐付く第２機器の指定の順番が２番である。優先順位は、連携機能に関する情報の表示の優先順位である。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」と「印刷機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「印刷機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。例えば、複合機（Ｂ）からＰＣ（Ａ）に機器が接続された場合、つまり、複合機（Ｂ）、ＰＣ（Ａ）の順番で各機器がユーザによって指定された場合、「スキャン転送機能」の優先順位が「１位」となり、「印刷機能」の優先順位は「２位」となる。この場合、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に表示される。これとは逆に、ＰＣ（Ａ）から複合機（Ｂ）に機器が接続された場合、つまり、ＰＣ（Ａ）、複合機（Ｂ）の順番で各機器がユーザによって指定された場合、「印刷機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位が「２位」となる。この場合、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。

例えば、複合機（Ｂ）、ＰＣ（Ａ）の順番で各機器がユーザによって指定された場合、その指定の順番が接続順番として指定される。例えば、ユーザが、複合機（Ｂ）に紐付く機器画像をＰＣ（Ａ）に紐付く機器画像に繋げたり、複合機（Ｂ）に紐付く機器画像をＰＣ（Ａ）に紐付く機器画像上に重ねたりすることで、各機器と接続順番が指定される。機器の接続順番を示す情報は、端末装置１６からサーバ１４に送信される。サーバ１４の特定部３８は、図３０に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機（Ｂ）の組み合わせに対応付けられている連携機能を特定する。これにより、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実行される連携機能が特定される。また、ユーザによって機器の接続順番が指定されると、特定部３８は、連携機能管理テーブルにおいて、その接続順番に対応付けられている優先順位を特定する。図３０を参照して具体例を挙げて説明すると、ＰＣ（Ａ）と複合機（Ｂ）が連携対象の機器として指定されているため、それらによって実行される連携機能は「スキャン転送機能」と「印刷機能」である。また、複合機（Ｂ）からＰＣ（Ａ）へ機器が接続されているため（Ｂ→Ａ）、「スキャン転送機能」の優先順位は「１位」であり、「印刷機能」の優先順位は「２位」である。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ１４から端末装置１６に送信される。端末装置１６の制御部４８は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報として空中ディスプレイに表示させる。

図３１には、空中ディスプレイに表示される画面１３０が示されている。その画面１３０に、連携機能候補に関する情報が表示されている。「スキャン転送機能」の優先順位が「１位」であり、「印刷機能」の優先順位が「２位」であるため、「スキャン転送機能」に関する情報が「印刷機能」に関する情報よりも優先的に（例えば上位に）表示されている。例えば、「スキャン転送機能」に関する情報として、「複合機（Ｂ）でスキャンしたデータをＰＣ（Ａ）に転送する。」という「スキャン転送機能」の説明文が表示される。また、「印刷機能」に関する情報として、「ＰＣ（Ａ）にあるデータを印刷する。」という「印刷機能」の説明文が表示される。

連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。例えば、「ＹＥＳ」ボタンがユーザによって押されると、その「ＹＥＳ」ボタンに紐付く連携機能が実行される。また、画面に「戻る」ボタンが表示されており、ユーザが「戻る」ボタンを押すことにより、機器の接続処理が中止される。

なお、連携機能の特定処理及び優先順位の特定処理は、端末装置１６にて行われてもよい。

別の例として、ＰＣ（Ａ）、複合機（Ｂ）の順番で各機器がユーザによって指定された場合、その指定の順番が接続順番として指定される。例えば、ユーザが、ＰＣ（Ａ）に紐付く機器画像を複合機（Ｂ）に紐付く機器画像に繋げたり、ＰＣ（Ａ）に紐付く機器画像を複合機（Ｂ）に紐付く機器画像上に重ねたりすることで、各機器と接続順番が指定される。機器の接続順番を示す情報は、端末装置１６からサーバ１４に送信される。図３０に示されている連携機能管理テーブルを参照すると、「印刷機能」の優先順位が「１位」であり、「スキャン転送機能」の優先順位は「２位」である。この場合、図３２に示すように、画面１３０において、「印刷機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に（例えば上位に）表示される。

以上のように、機器の指定の順番に応じて、連携機能に関する情報の表示順位が変更される。機器の接続順番は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を指定する操作は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に表示される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。例えば、複合機（Ｂ）、ＰＣ（Ａ）の順番で各機器が選択された場合、「ＰＣ（Ａ）よりも先に複合機（Ｂ）の機能を利用し、複合機（Ｂ）からＰＣ（Ａ）へデータを転送する」という連携機能がユーザによって利用されると予測される。また、ＰＣ（Ａ）、複合機（Ｂ）の順番で各機器が選択された場合、「複合機（Ｂ）よりも先にＰＣ（Ａ）の機能を利用し、ＰＣ（Ａ）から複合機（Ｂ）へデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、機器を選択する順番に応じて連携機能に関する情報の表示順位を変えることにより、ユーザが利用する可能性の高い連携機能に関する情報が優先的に表示される。

関連処理１は、第２実施形態に適用されてもよい。この場合、連携機能管理テーブルにおいては、一例として、機能ＩＤの組み合わせを示す情報と、連携対象の機能名を示す情報と、連携機能を示す情報と、接続順番を示す情報と、優先順位を示す情報と、が互いに対応付けられている。接続順番は、機能の指定の順番に対応しており、例えば、機能画像を繋げる順番や重ねる順番に対応している。例えば、ユーザが複数の機能を順番に指定する場合、その指定の順番が接続順番に相当する。また、ユーザが第１機能画像を第２機能画像に繋げた場合、第１機能画像に紐付く第１機能の指定の順番が１番であり、第２機能画像に紐付く第２機能の指定の順番が２番である。また、ユーザが第１機能画像を第２機能画像上に重ねた場合、第１機能画像に紐付く第１機能の指定の順番が１番であり、第２機能画像に紐付く第２機能の指定の順番が２番である。上述したように、連携機能管理テーブルを参照することで、指定された複数の機能の組み合わせに対応付けられている連携機能が特定され、更に、その指定の順番としての接続順番に対応付けられている優先順位が特定される。空中ディスプレイには、その優先順位に従って、各連携機能に関する情報が表示される。

関連処理１は、第３実施形態に適用されてもよい。この場合、連携機能管理テーブルにおいては、一例として、機器ＩＤと機能ＩＤの組み合わせを示す情報と、連携対象の機器名と機能名を示す情報と、連携機能を示す情報と、接続順番を示す情報と、優先順位を示す情報と、が互いに対応付けられている。接続順番は、機器と機能の指定の順番に対応しており、例えば、機器画像と機能画像とを繋げる順番や重ねる順番に対応している。例えば、ユーザが機器と機能を順番に指定した場合、その指定の順番が接続順番に相当する。また、ユーザが機器画像を機能画像に繋げた場合、機器画像に紐付く機器の指定の順番が１番であり、機能画像に紐付く機能の指定の順番が２番である。それとは逆に、ユーザが機能画像を機器画像に繋げた場合、機能画像に紐付く機能の指定の順番が１番であり、機器画像に紐付く機器の指定の順番が２番である。また、ユーザが機器画像を機能画像上に重ねた場合、機器画像に紐付く機器の指定が１番であり、機能画像に紐付く機能の指定の順番が２番である。それとは逆に、ユーザが機能画像を機器画像上に重ねた場合、機能画像に紐付く機能の指定が１番であり、機器画像に紐付く機器の指定の順番が２番である。上述したように、連携機能管理テーブルを参照することで、指定された機器と機能の組み合わせに対応付けられている連携機能が特定され、更に、その指定の順番としての接続順番に対応付けられている優先順位が特定される。空中ディスプレイには、その優先順位に従って、各連携機能に関する情報が表示される。

（関連処理２：機器の部分を用いた連携処理）
以下、関連処理２について説明する。機器に紐付く機器画像内の位置毎に異なる機能が割り当てられていてもよい。機器画像内の位置がユーザによって指定されると、ユーザによって指定された位置に対応する機能を利用する連携機能に関する情報が表示される。以下、この処理について詳しく説明する。なお、関連処理２において用いる「機器画像内（の）位置」というのは、立体画像における奥行き方向（３次元座標系におけるｚ軸方向）の位置という意味ではなく、平面画像上における画像内（３次元座標系におけるｘ，ｙ軸方向）のことをいう。

図３３には、機器機能管理テーブルの一例が示されている。この機器機能管理テーブルのデータは、機器機能管理情報３２としてサーバ１４に記憶されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器画像内位置を示す情報と、その機器画像内位置に対応する機能を示す情報（機能情報）と、画像ＩＤと、が対応付けられている。機器画像内位置は、機器に紐付く機器画像内の特定の位置（特定の部位）であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置毎に、異なる機能が対応付けられている。

図３４には、空中ディスプレイに表示される画面の一例が示されている。例えば、複合機（Ｂ）とＰＣ（Ａ）が識別されており、その画面１３２に機器画像７０，１３４が表示されている。また、複合機（Ｂ）とＰＣ（Ａ）に含まれる部分も識別されている。部分の識別も、第１実施形態に係る識別技術（例えばＡＲ技術）を用いることで実現される。例えば、機器の各部分を撮影してマーカレス型ＡＲ技術を適用することで、各部分が識別される。

機器画像１３４はＰＣ（Ａ）に紐付く画像である。例えば、機器画像７０において複合機（Ｂ）の本体部分に対応する特定の位置（部分画像７０ａ）には、「プリント機能」が割り当てられている。機器画像７０において複合機（Ｂ）の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する特定の位置（部分画像７０ｂ）には、「スキャン機能」が割り当てられている。機器画像７０において後処理装置に対応する特定の位置（部分画像７０ｃ）には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープルによって止める機能である。また、機器画像１３４においてＰＣ（Ａ）の本体部分に対応する特定の位置（部分画像１３４ａ）には、「データ保存機能」が割り当てられている。機器画像１３４においてＰＣ（Ａ）の表示部に対応する特定の位置（部分画像１３４ｂ）には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて表示する機能である。

なお、端末装置１６の制御部４８は、機器画像内の特定の位置に割り当てられている機能の名称（例えば印刷やスキャン等）を画面１３２に表示させてもよい。これにより、特定の位置にどのような機能が対応しているのかが分かり易い情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。

機器画像において機能が対応付けられている位置がユーザによって指定されると、その指定された位置に対応付けられている機能が連携対象の機能として指定される。ユーザは、指先で機器画像において機能が対応付けられている特定の位置（部分画像）を繋ぐ。例えば、矢印１３６で示すように、ユーザが指先で部分画像７０ｂと部分画像１３４ｂを繋ぐ。これにより、部分画像７０ｂを含む機器画像７０に紐付いた複合機（Ｂ）と部分画像１３４ｂを含む機器画像１３４に紐付いたＰＣ（Ａ）が、連携対象の機器として指定されるとともに、部分画像７０ｂに対応する「スキャン機能」と部分画像１３４ｂに対応する「画面表示機能」が指定される。

連携対象の機器（例えばＰＣ（Ａ）と複合機（Ｂ））が識別されると、サーバ１４の特定部３８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機（Ｂ）を連携させることによって実現される連携機能を特定する。また、特定部３８は、図３３に示されている機器機能管理テーブルを参照することにより、機器画像内においてユーザによって指定された特定の位置に対応付けられている機能を特定する。そして、特定部３８は、ＰＣ（Ａ）と複合機（Ｂ）とを連携させることによって実現される連携機能群の中で、ユーザによって指定された位置に対応付けられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。

上記のようにして特定された連携機能に関する情報と優先順位を示す情報は、サーバ１４から端末装置１６に送信される。端末装置１６の制御部４８は、その優先順位に従って、連携機能に関する情報を連携機能候補に関する情報として空中ディスプレイに表示させる。

例えば図３５に示すように、端末装置１６の制御部４８は、空中ディスプレイに画面１３８を表示させ、その画面１３８に連携機能候補に関する情報を表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」を連携させることによって実行される連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に（例えば上位に）表示される。例えば、「スキャン機能」と「データ保存機能」を連携させることによって実行される連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、スキャン転送表示機能は、複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）の画面に表示する機能である。スキャン転送保存機能は、複合機（Ｂ）によるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）に保存する機能である。図３５に示す例では、各連携機能に関する情報として、各連携機能の説明文が表示されている。

関連処理２によれば、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用する連携機能に関する情報が優先的に表示される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に表示される。

なお、連携機能は、互いに同じ機器又は互いに異なる機器の部分同士を組み合わせて利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。

また、関連処理１，２を組み合わせることで、機器や部分の指定の順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。

また、１つの機器や１つの部分のみがユーザによって指定された場合には、その１つの機器や１つの部分によって実行可能な単独機能を示す情報が空中ディスプレイに表示される。

（関連処理３：機器の部分を用いた連携処理の別の例）
以下、図３６及び図３７を参照して、関連処理３として、部分画像を用いた連携処理の別の例について説明する。

図３６には、機器機能管理テーブルの一例が示されている。この機器機能管理テーブルのデータは、機器機能管理情報３２としてサーバ１４に記憶されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器の部分の名称（例えば部分の種類）を示す情報と、その部分を識別するための部分識別情報としての部分ＩＤと、その部分に割り当てられている機能（その部分が有する機能）を示す情報と、その部分に紐付く部分画像を識別するための部分画像ＩＤと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表わす画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。

具体例を挙げて説明すると、ＰＣ（Ａ）の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像ＩＤには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をＰＣ（Ａ）にて表示する機能である。ＰＣ（Ａ）の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをＰＣ（Ａ）に保存する機能である。

また、複合機（Ｂ）の本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、プリント機能を示す情報が対応付けられている。複合機（Ｂ）の読取部（例えば、複合機（Ｂ）の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分）にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像ＩＤには、スキャン機能を示す情報が対応付けられている。複合機（Ｂ）の後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像ＩＤには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。

機器の部分に割り当てられている機能は、例えば、マーカレス型ＡＲ技術を用いることによって特定（識別）される。例えば、機器の部分がカメラ（例えば端末装置１６のカメラ４２）によって撮影された場合、その部分を表わす外観画像データが端末装置１６からサーバ１４に送信される。サーバ１４の特定部３８は、機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定（識別）する。これにより、撮影された部分に割り当てられている機能が特定（識別）される。例えば、複合機（Ｂ）の本体部がカメラ４２によって撮影された場合、複合機（Ｂ）の本体部を表わす外観画像データが端末装置１６からサーバ１４に送信される。サーバ１４の特定部３８は、機器機能管理テーブルにおいて、その外観画像データに対応付けられているプリント機能を特定する。これにより、複合機（Ｂ）の本体部に割り当てられている機能がプリント機能であることが特定される。

もちろん、機器の部分に割り当てられている機能は、マーカ型ＡＲ技術を用いることによって特定（識別）されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報（例えば部分ＩＤ）がコード化された２次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型ＡＲ技術が適用されると、その部分の部分識別情報（例えば部分ＩＤ）が取得される。マーカ型ＡＲ技術の適用は、端末装置１６で行われてもよいし、サーバ１４で行われてもよい。このように部分識別情報が取得されると、サーバ１４の特定部３８は、機器機能管理テーブルにおいて、その部分識別情報（例えば部分ＩＤ）に対応付けられている機能を特定（識別）する。

図３７には、連携機能管理テーブルの一例が示されている。この連携機能管理テーブルのデータは、連携機能管理情報３４としてサーバ１４に記憶されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分ＩＤの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用する連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。

具体例を挙げて説明すると、ＰＣ（Ａ）の表示部と複合機（Ｂ）の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、ＰＣ（Ａ）の表示部の部分ＩＤと複合機（Ｂ）の本体部の部分ＩＤとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、ＰＣ（Ａ）に保存されているデータを複合機（Ｂ）に送信して、そのデータを複合機（Ｂ）によって印刷する機能である。

また、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部との組み合わせには、連携機能としてのプリント機能が割り当てられており、複合機（Ｂ）の本体部の部分ＩＤとプロジェクタ（Ｃ）の本体部の部分ＩＤとの組み合わせを示す情報には、連携機能としてのプリント機能を示す情報が対応付けられている。連携機能としてのプリント機能は、例えば、プロジェクタ（Ｃ）によって投影されているデータを複合機（Ｂ）に送信して、そのデータを複合機（Ｂ）によって印刷する機能である。

また、複合機（Ｂ）の読取部とプロジェクタ（Ｃ）の本体部との組み合わせには、連携機能としてのスキャン投影機能が割り当てられており、複合機（Ｂ）の読取部の部分ＩＤとプロジェクタ（Ｃ）の本体部の部分ＩＤとの組み合わせを示す情報には、連携機能としてのスキャン投影機能を示す情報が対応付けられている。連携機能としてのスキャン投影機能は、例えば、複合機（Ｂ）によるスキャンによって生成されたデータをプロジェクタ（Ｃ）に送信して、そのデータをプロジェクタ（Ｃ）によって投影する機能である。

なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用する機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用する機能であってもよい。また、連携機能は、３つ以上の部分が有する機能を利用する機能であってもよい。

例えば、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術を利用して、機器の複数の部分（例えば、互いに異なる複数の機器の複数の部分や、同一機器の複数の部分）が特定（識別）されると、サーバ１４の特定部３８は、連携機能管理テーブルにおいて、識別された複数の部分の組み合わせに対応付けられている連携機能を特定（識別）する。これにより、識別（例えば撮影）された複数の部分が有する機能を利用する連携機能が特定（識別）される。例えば、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部が、端末装置１６のカメラ４２によって撮影されて、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部が識別された場合、サーバ１４の特定部３８は、連携機能管理テーブルにおいて、複合機（Ｂ）の本体部とプロジェクタ（Ｃ）の本体部の組み合わせに対応付けられている連携機能としてのプリント機能等を特定する。

関連処理２と同様に、複数の部分が指定された場合、連携機能管理テーブルを参照することで、当該複数の部分を利用して実行可能な連携機能が特定され、その連携機能を示す情報が端末装置１６に表示される。

また、関連処理１，３を組み合わせることで、機器画像や部分画像の指定の順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。

なお、部分画像は機器画像から切り離して移動可能な画像であってもよい。例えば、図３８に示すように、ユーザが、矢印１４２で示す方向に部分画像７０ｂを移動させて部分画像１３４ｂ上に重ねた場合、部分画像７０ｂに紐付く機能と部分画像１３４ｂに紐付く機能とを利用して実行可能な連携機能が特定され、その連携機能を示す情報が表示される。もちろん、部分画像が機器画像の全体に重ねられた場合、部分画像に紐付く機能と機器画像に紐付く機器とを利用して実行可能な連携機能を示す情報が表示されてもよい。

関連処理２，３を第３実施形態に適用してもよい。例えば図３９に示すように、画面１４０に、複合機（Ｂ）に紐付く機器画像７０と、データ送信ソフトウェア（α）に紐付く機能画像８２が表示されている。このとき、ユーザが、部分画像７０ｂと機能画像８２とを繋げた場合、部分画像７０ｂに紐付く機能と機能画像８２に紐付く機能とを利用して実行可能な連携機能が特定され、その連携機能を示す情報が表示される。また、ユーザが、矢印１４４で示す方向に部分画像７０ｂを移動させて機能画像８２上に重ねた場合、部分画像７０ｂに紐付く機能と機能画像８２に紐付く機能とを利用して実行可能な連携機能を示す情報が表示されてもよい。

また、関連処理１，２，３を第３実施形態に適用してもよい。この場合、機器画像や部分画像や機能画像の指定の順番に応じて、連携機能に関する情報の表示が切り替えられる。例えば、各画像を繋げる順番や重ねる順番に応じて、連携機能に関する情報の表示が切り替えられる。

また、機能画像も複数の部分画像を含んでいてもよい。この場合、機能画像全体の中の部分毎に異なる機能が割り当てられており、機能画像全体の中の部分が指定されると、その指定された部分に割り当てられた機能が指定されてもよい。この場合においても、機能画像の中の部分画像と機器画像の中の部分画像とが指定された場合、各部分画像に紐付けられた各機能を利用して実行可能な連携機能が特定され、その連携機能に関する情報が表示される。

上述した第１から第３実施形態を組み合わせてもよい。例えば、端末装置１６の制御部４８は、第１制御モード、第２制御モード及び第３制御モードを切り替えて実行してもよい。第１制御モードは、第１実施形態に対応する制御モードであり、複数の機器画像が指定された場合、当該複数の機器画像に紐付く複数の機器を利用して実行可能な連携機能の表示を制御するモードである。第２制御モードは、第２実施形態に対応する制御モードであり、複数の機能画像が指定された場合、当該複数の機能画像に紐付く複数の機能を利用して実行可能な連携機能の表示を制御するモードである。第３制御モードは、第３実施形態に対応する制御モードであり、機器画像と機能画像が指定された場合、当該機器画像に紐付く機器と当該機能画像に紐付く機能とを利用して実行可能な連携機能の表示を制御するモードである。

例えば、図１１に示すように、空中ディスプレイの画面中に、機器画像が表示されて機能画像が表示されていない場合、制御部４８は第１制御モードを実行する。また、図１９に示すように、画面中に、機能画像が表示されて機器画像が表示されていない場合、制御部４８は第２制御モードを実行する。また、図２１に示すように、画面中に、機器画像と機能画像が表示されている場合、制御部４８は第３制御モードを実行する。

例えば、図２９に示されている主表示領域１１６内に機器画像が表示されて機能画像が表示されていない場合、第１制御モードが実行される。主表示領域１１６内に機能画像が表示されて機器画像が表示されていない場合、第２制御モードが実行される。主表示領域１１６内に機器画像と機能画像が表示されている場合、第３制御モードが実行される。例えば、ユーザが、主表示領域１１６と副表示領域１１８との間で機器画像や機能画像を出し入れすることで、主表示領域１１６内に表示される画像が変わり、これに応じて制御モードが変わる。

（その他の実施形態）
機器画像と機能画像が、画面中の特定の表示領域内に表示されている場合、当該機器画像に紐付く機器と当該機能画像に紐付く機能とを利用して実行可能な連携機能を示す情報が端末装置１６に表示されてもよい。例えば、ユーザが、画面中で、連携させたい機器に紐付く機器画像と機能に紐付く機能画像を上記の特定の表示領域内に移動させ、連携機能の表示指示を与えると、当該機器と当該機能とを利用して実行可能な連携機能を示す情報が表示される。

空中ディスプレイ中の機器画像の表示位置と機能画像の表示位置との関係に応じて、連携機能が変更されてもよい。例えば、機器画像の表示位置と機能画像の表示位置との関係が第１位置関係に該当する場合（例えば、機器画像と機能画像が横に並べて配置された場合）、その第１位置関係に応じた連携機能を示す情報が端末装置１６に表示される。その位置関係が第２位置関係に該当する場合（例えば、機器画像と機能画像が縦に並べて配置された場合）、その第２位置関係に応じた連携機能（第１位置関係に応じた連携機能とは異なる機能）を示す情報が端末装置１６に表示される。例えば、ユーザが画面上で機器画像と機能画像を移動させ、連携機能の表示指示を与えると、そのときの機器画像と機能画像との間の位置関係に応じた連携機能を示す情報が表示される。このような制御を行うことで、簡易な操作（例えば画像を並び替えるという操作）によって連携機能を変更することができる。

また、機器画像の表示位置と機能画像の表示位置との関係が第１位置関係に該当する場合、当該機器画像に紐付く機器と当該機能画像に紐付く機能とを利用して実行可能な連携機能を示す情報が表示され、その関係が第２位置関係に該当する場合、当該機器が有する単独機能を示す情報と当該機能（単独機能）を示す情報とが表示されてもよい。こうすることで、簡易な操作によって単独機能の表示と連携機能の表示を切り替えることができる。

また、端末装置１６の制御部４８は、連携機能の一覧を空中ディスプレイに表示させ、その一覧からユーザによって選択された連携機能を実行することが可能な機器や機能を示す情報を空中ディスプレイに表示させてもよい。そのような機器や機能は、上記の連携機能管理テーブルを参照することで特定される。その特定は例えば特定部３８によって行われ、その特定処理によって特定された情報がサーバ１４から端末装置１６に送信されて空中ディスプレイに表示される。もちろん、端末装置１６によってその特定処理が行われてもよい。例えば、ユーザによって選択された連携機能が、第１機器と第２機能（例えばソフトウェア）とを利用することで実行可能な機能である場合、第１機器を示す情報（例えば第１機器に紐付く画像や名称等）と第２機器を示す情報（例えば第２機器に紐付く画像や名称等）が、空中ディスプレイに表示される。こうすることで、ユーザによって選択された連携機能を実行するために必要な機器や機能がユーザに提供される。なお、ユーザによって選択された連携機能が複数の機器によって実行可能な場合、当該複数の機器を示す情報が空中ディスプレイに表示され、当該連携機能が複数の機器によって実行可能な場合、当該複数の機能を示す情報が空中ディスプレイに表示される。なお、空中ディスプレイに表示される連携機能の一覧は、予め登録された連携機能の一覧であってもよいし、予め定められたタイミングや任意のタイミングで更新されてもよい。また、ユーザによって選択された連携機能を実行するために必要なソフトウェアを当該ユーザが利用することができない場合（例えば、端末装置１６にインストールされていない場合や、利用許可が与えられていない場合）、そのソフトウェアを利用するために必要な操作等を示す情報が空中ディスプレイに表示されてもよい。例えば、そのソフトウェアのインストールをユーザに促す情報や、利用権限を得るために必要な操作を示す情報等が表示される。

上記の画像形成装置１０、サーバ１４及び端末装置１６のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、画像形成装置１０、サーバ１４及び端末装置１６のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像形成装置１０、サーバ１４及び端末装置１６の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像形成装置１０、サーバ１４及び端末装置１６のそれぞれの各部は、例えばプロセッサや電子回路やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像形成装置１０、サーバ１４及び端末装置１６のそれぞれの各部は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等によって実現されてもよい。

１０，１２ 機器、１４ サーバ、１６ 端末装置、１８，２８，４０ 通信部、２０ 画像形成部、２２，３０，４４ 記憶部、２４，４６ ＵＩ部、２６，３６，４８ 制御部、３８ 特定部、１５０ 空中ディスプレイ装置、１５２ 人検出装置。

Claims (16)

1. 空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段を有し、
   前記制御手段は、前記複数の画像の奥行き方向の情報に対するユーザの操作により指定された前記複数の画像の奥行き方向の情報の位置関係によって連携機能の通知の優先順位を設定することを特徴とする情報処理装置。
2. 前記制御手段は、ユーザに対面する側に近い位置に配置されている画像から順に優先順位を決定することを特徴とする請求項１に記載の情報処理装置。
3. 空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段を有し、
   前記制御手段は、前記複数の画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、ユーザにより指定された奥行き方向の位置に紐付けられている機能を利用して実行可能な連携機能の通知を制御し、
   前記複数の画像は、通信機能を有する第１及び第２の機器それぞれに紐付く機器画像であり、
   前記第１の機器は、
   前記第２の機器と通信する複数の通信手段と、
   前記第２の機器との間で特定の通信規格に従って通信が前記通信手段によって行われた場合、前記第１の機器と前記第２の機器とを用いて実行可能な連携機能の実行を制御する実行制御手段と、
   を有し、
   前記制御手段は、前記画像の奥行き方向の情報を重ね合わせる順番に応じて、前記連携機能に含まれる各機能の通知の優先順位を設定することを特徴とする情報処理装置。
4. 前記制御手段は、前記画像の奥行き方向の情報に応じて前記画像の表示を制御することを特徴とする請求項１又は３に記載の情報処理装置。
5. 前記制御手段は、前記画像を表示する色の濃さを制御することを特徴とする請求項４に記載の情報処理装置。
6. 前記制御手段は、前記画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、前記画像のうち当該位置から目視側の画像の色を薄くすることを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、ユーザ操作に応じて空中に表示されている画像を、画像の奥行き方向に移動させることを特徴とする請求項１に記載の情報処理装置。
8. 前記制御手段は、前記画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、ユーザにより指定された奥行き方向の位置に紐付けられている機能を利用して実行可能な連携機能の通知を制御することを特徴とする請求項１に記載の情報処理装置。
9. 前記制御手段は、ユーザにより指定された奥行き方向の位置を含む画像内の部分画像に紐付けられている機能を利用して実行可能な連携機能の通知を制御することを特徴とする請求項３又は８に記載の情報処理装置。
10. ユーザにより操作された奥行き方向の情報に対応する画像は、機器に紐付く機器画像又は機能に紐付く機能画像であることを特徴とする請求項３又は８に記載の情報処理装置。
11. 前記複数の画像は、通信機能を有する第１及び第２の機器それぞれに紐付く機器画像であり、
    前記第１の機器は、
    前記第２の機器と通信する複数の通信手段と、
    前記第２の機器との間で特定の通信規格に従って通信が前記通信手段によって行われた場合、前記第１の機器と前記第２の機器とを用いて実行可能な連携機能の実行を制御する実行制御手段と、
    を有していることを特徴とする請求項８に記載の情報処理装置。
12. 前記制御手段は、画像の奥行き方向の情報に対してユーザが操作する場合、操作するユーザに応じた通知を行うことを特徴とする請求項１又は３に記載の情報処理装置。
13. 前記制御手段は、操作するユーザが複数検知された場合、各ユーザに割り振った先に通知を行うことを特徴とする請求項１２に記載の情報処理装置。
14. 前記割り振った先は、空中以外の表示手段であることを特徴とする請求項１３に記載の情報処理装置。
15. コンピュータを、
    空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段として機能させ、
    前記制御手段は、前記複数の画像の奥行き方向の情報に対するユーザの操作により指定された前記複数の画像の奥行き方向の情報の位置関係によって連携機能の通知の優先順位を設定することを特徴とするプログラム。
16. コンピュータを、
    空中に表示されている複数の画像の奥行き方向の情報をユーザが操作することで、ユーザにより操作された奥行き方向の情報に紐付けられている機能を利用して実行可能な連携機能の通知を制御する制御手段として機能させ、
    前記制御手段は、前記複数の画像の奥行き方向の情報が空中に表示されている画像に対してユーザが指定した奥行き方向の位置を示す場合、ユーザにより指定された奥行き方向の位置に紐付けられている機能を利用して実行可能な連携機能の通知を制御し、
    前記複数の画像は、通信機能を有する第１及び第２の機器それぞれに紐付く機器画像であり、
    前記第１の機器は、
    前記第２の機器と通信する複数の通信手段と、
    前記第２の機器との間で特定の通信規格に従って通信が前記通信手段によって行われた場合、前記第１の機器と前記第２の機器とを用いて実行可能な連携機能の実行を制御する実行制御手段と、
    を有し、
    前記制御手段は、前記画像の奥行き方向の情報を重ね合わせる順番に応じて、前記連携機能に含まれる各機能の通知の優先順位を設定することを特徴とするプログラム。

Images